python3+scrapy框架爬虫实践

爬虫的作用与意义：大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。”人们对于海量数据的挖掘和运用越来越密切，预示着爬虫工作者已经成为互联网数据公司的关键性职位，他们不但要精通数据抓取和分析，还要掌握搜索引擎和相关检索的算法，对内存、性能、分布式算法都要有一定的了解，并针对工作进程编排合理的布局。依据数据来预测某一种事物未来的发展趋势，以及对应的风险，提早解决未来即将遇到的风险，防范于未然

scrapy框架概述：Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

了解scrapy爬虫原理：Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下：

总结-scrapy大概流程如下：

1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取     

2. 引擎把URL封装成一个请求(Request)传给下载器   

 3. 下载器把资源下载下来，并封装成应答包(Response)     

4. 爬虫解析Response     

5. 解析出实体（Item）,则交给实体管道进行进一