scrapy 学习笔记1 爬取 www.dmoz.org 网站信息

1. 安装配置

1. 具体的安装过程， 官网已经写的很清楚了http://doc.scrapy.org/en/latest/intro/install.html#windows

2. 不过在实际安装过程中还是遇到了一个小问题：
   
   ie, 缺少microsoft visual c++ 9.0 运行库，
   上图中已经告诉我们了解决方法： 去到 http://aka.ms/vcpython27 下载相应文件即可。
   这里直接给出下载链接
   https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

3. Scrapy运行项目时出错：Scrapy 1.0.1 – no active project，Unknown command: crawl，Use “scrapy” to see available commands
   
   这个问题， 我们研究了很久， 终于发现， 是我们的这里的 working directory 配置有问题。 应该将这个工作路径配置到工程的最顶级路径， ie：
   
   至此， scrapy 在pycharm中配置完成

可以参考： http://www.07net01.com/2015/08/904875.html

2. 爬取需要的信息

1. 接下来的操作都是参考 http://doc.scrapy.org/en/latest/intro/tutorial.html 官网的引导完成的， 英文好的可以直接查看原文， 便于理解

2. 新建项目

   scrapy startproject tutorial

   并将项目文件夹用pycharm 打开

3. 确定我们的item 结构
   个人理解， 这个结构有点数据结构的意思在里面， 主要用来保存提取的信息

   import scrapy
   
   class DmozItem(scrapy.Item):
       title = scrapy.Field()
       link = scrapy.Field()
       desc = scrapy.Field()

4. 简单爬虫
   这里有几个要素：

   • name， 标记爬虫
   • start_urls 标记起始url
   • parse，默认的回调函数

   import scrapy
   
   class DmozSpider(scrapy.Spider):
       name = "dmoz"
       allowed_domains = ["dmoz.org"]
       start_urls = [
           "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
           "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
       ]
   
       def parse(self, response):
           filename = response.url.split("/")[-2] + '.html'
           with open(filename, 'wb') as f:
               f.write(response.body)

5. 爬虫运行

   scrapy crawl dmoz

   scrapy 自动为每个 start_urls 中的url 发起request 请求， 对得到的response 调用parse 进行处理

6. 提取信息
   这里面主要用到各种选择器： xpath， css， re， extract

7. 完成版本
   从主页中提取感兴趣的url后， 再对相应的url 页面提取信息

   import scrapy
   
   from tutorial.items import DmozItem
   
   class DmozSpider(scrapy.Spider):
       name = "dmoz"
       allowed_domains = ["dmoz.org"]
       start_urls = [
           "http://www.dmoz.org/Computers/Programming/Languages/Python/",
       ]
   
       def parse(self, response):
           for href in response.css("ul.directory.dir-col > li > a::attr('href')"):
               url = response.urljoin(href.extract())
               yield scrapy.Request(url, callback=self.parse_dir_contents)
   
       def parse_dir_contents(self, response):
           for sel in response.xpath('//ul/li'):
               item = DmozItem()
               item['title'] = sel.xpath('a/text()').extract()
               item['link'] = sel.xpath('a/@href').extract()
               item['desc'] = sel.xpath('text()').extract()
               yield item

8. 存储信息

scrapy crawl dmoz -o items.json

存储效果：