Python+Scrapy爬取人民网

Python+Scrapy爬取人民网

一.准备工作：

​ ①安装python3

​ ②安装scrapy

​ ③安装docker，用来运行splash，splash是用来提供js渲染服务（python中还需利用pip安装scrapy-splash 库）

注意：win10需要安装docker客户端（https://www.docker.com/

），Linux的安装就比较简单了（自行百度）。安装上docker后，拉取镜像（docker pull scrapinghub/splash），运行镜像（docker run -p 8050:8050 scrapinghub/splash）。

二.人民网分析（http://www.people.com.cn/）：

①本文介绍人民网首页如何抓取，进入人民网展示的就是首页内容，每隔一段时间首页的内容就会更新，如何不断地爬取首页的新闻呢，接下来就看一下首页的源码分析。观察下图，可以看出首页的文章存在ul标签中，点击其它文章会发现，虽然文章都存在ul标签中，但是class name确不一样，下图一ul class=‘list14’,图二的文章连接存在ul class = 'list14 top’的标签中，有两种方法我们可以把这两种标签中的文章url提取出来，一是提取所有的ul,不管标签的class是什么，二是提取class包含‘list14’的ul。提取方法分别如下：

 #提取所有<ul>下面文章的链接，不区分class name
 news_list = response.xpath('//ul//li//a/@href').extract()

#提取<ul> class name包含list14标签下面的文章链接
news_list = response.xpath('//ul[contains(@class,"list14")]//li//a/@href').extract()

​ 图一

​ 图二

②接下来就是如何请求首页地址，获取首页的信息，以及提取出文章url后，如何获得文章的具体内容。获取首页内容的代码如下：

    def start_requests(self):
        # 每隔一段时间定时执行爬虫程序，在爬虫执行钱，清空redis,然后再爬取，避免重复。
        job_redis.delete('dingding:people_urls')
        #人民网网址
        target_url = 'http://www.people.com.cn/'
        #callback是要调用的函数
        yield SplashRequest(url=target_url, callback=self.list_parse, headers=headers,
                                   args={'wait':0.5}, endpoint='render.html')

 # 抓取文章列表函数
    def list_parse(self, response):
        info_type = "资讯（热点）"
        info_platform = "人民网"
        item = MyspiderItem()
        # 提取首页文章的url,提取出来后，可以把url放入redis,后续抓取文章具体内容使用
        news_list = response.xpath('//ul[contains(@class,"list14")]//li//a/@href').extract()

#上面提取出的news_list是个数组，循环数组，把每个文章的article_url放入redis,循环代码省略
job_redis.sadd('dingding:people_urls', article_url)

③文章的url已经存入redis，接下来就可以根据文章的url爬取具体的文章内容了。首先从redis中取文章url,然后根据url发起请求，最后提取response中的内容。代码如下：

#从redis中取文章url
article_url = job_redis.spop('dingding:people_urls')

#发起SplashRequest请求
while article_url:
    # 休眠
    time.sleep(3)
    yield SplashRequest(url=article_url, callback=self.article_parse, headers=headers, 		args={'wait': 0.5}, endpoint='render.html')

# 抓取文章具体内容函数
    def article_parse(self, response):
        info_type = "资讯（热点）"
        info_platform = "人民网"
        p_info = ""
        image = ""
        article_title = ""
        article_content = ""
        article_source = ""
        article_author = ""
        item = MyspiderItem()
        # 标题
        title = response.xpath('//div[@class="clearfix w1000_320 text_title"]/h1/text()').extract()
        # 文章作者
        author = response.xpath('//p[@class="author"]/text()').extract()
        time = response.xpath('//div[@class="box01"]/div[@class="fl"]/text()').extract()
        source = response.xpath('//div[@class="box01"]/div[@class="fl"]/a/text()').extract()

④人民网的新闻会不断更新，为了源源不断的获取网站的数据，就需要设置定时任务，每隔一段时间进行爬取。网站数据的去重这里没有给出，我是在存redis之前操作数据库进行去重，有啥更好的去重办法欢迎指教。我把抓取的文章详情存到数据库了，具体的代码也不给出了，我的一篇爬取36氪网站的文章有相关代码，可以参考一下。