Zheng__Huang的博客

  前面介绍爬虫分类的时候，我们就对各个网络爬虫工具的优缺点进行了分析。Requests库适合进行轻量化、数据量较小、对速度不敏感的网页爬取；而要进行数据量较大、对网页爬取速度较为敏感的网站爬取，就需要使用Scrapy框架。Scrapy为什么是一个框架而不是库？如何使用这样一个性能更强但又较Requests库复杂的工具进行网站爬取？请看本文讲解。本文涵盖了Scrapy框架开发的几乎所有基础知识以及相关联知识，建议收藏。Scrapy框架简介  Scrapy框架是一个用于爬取网站内容并进行数据提取的应.

Python 网络爬虫从0到1 （5）：re（正则表达式）库入门详解  在上一节Python 网络爬虫从0到1 （4）：Beautiful Soup 4库入门详解中，我们已经能够从由Requests库发起请求得到的HTML响应报文主体中解析页面标签树并能遍历、搜索以得到需要的精确信息。但同时我们也发现了一个问题：标签搜索find()类函数中，只有搜索条件精确匹配，搜索函数才能搜索到需要的内容。但是，在实际应用中，我们常常会遇到一类情况，我们需要获取某一类具有共同特征的一组标签数据，但其各属性并不完全相同

  从先前的几篇文章中，我们已经能够使用Requests库构造请求并获得正确的响应，但是在样例中我们也发现了仅使用Requests库的缺陷。在网络爬虫的设计中，仅能构造请求并收到响应是远远不够的。想要获取响应中有意义的信息并能够由此采取下一步行动，是整个流程中的重要一段。所以本篇文章，我们就来一起学习较为流行的HTML/XML数据分析提取库：Beautiful Soup 4Beautiful Soup 4介绍  Beautiful Soup 4库是一个在Python爬虫设计中非常流行的数据分析提取.

Python 网络爬虫从0到1 （3）：基于Requests库的爬虫入门实战  在学习了Requests库的基本用法后，我们就可以使用Requests库进行一些最简单的网页爬取。由于目前还没有学习Beautifulsoup4库用于分析响应，目前爬虫并不能自动分析与提取响应内容。本章将使用多个样例进行网页爬取，对常见的爬虫问题进行分析并给出解决方法。主要包含商品信息查询、搜索引擎关联搜索、网络图片存储、IP地址属地查询等四个示例。1.爬取某东某商品信息与发起一个请求的过程相同，定义将要爬取的网页

  网络爬虫的发展为使用者了解和收集网络信息提供便利的同时，也带来了许多大大小小的问题，甚至对网络安全造成了一定危害。所以，在真正开始了解网络爬虫之前，我们也需要先了解一下网络爬虫的特性、带来的问题以及开发和使用网络爬虫的过程中需要遵循的规范。网络爬虫的尺寸分类尺寸特性目的实现方式小规模数据量较小，对爬取速度不敏感，数量非常多爬取网页，探索网页信息Requests库中规模数据量较大，对爬取速度较敏感爬取网站和系列网站Scrapy框架大规模数据量和规.

Python 网络爬虫从0到1 （1）：Requests库入门详解  网络爬虫中，网络请求是基础部分。没有网络请求以及响应，网络爬虫的后续数据分析也就失去了意义。Python中的网络请求，主要由Requests库来完成，本篇，我们就来一起认识一下Requests库及其基本使用方法。Requests库简介  Requests库是一个简洁而优雅的Python第三方库，更好地贴合人们的使用习惯，故在http类库中，Requests库非常受开发者青睐。Requests库支持Keep-Alive持久化连接

Python 网络爬虫从0到1 （0）：序与目录序  很多人说，如今，我们正处于一个信息爆炸的时代，被各式各样的信息包裹者。从一个普通用户的角度来看，信息爆炸，不过是在宣传广告中加入“大数据”几字凸显高大上，在推荐栏中总能够“碰巧”获得自己最关注的内容，仅此而已。而在一个开发人员的眼中，一个小小的功能，背后是成千上万行的代码、无数个高楼中亮着如星火般屏幕微光的夜晚，以及自己与团队脑中的知识之海。而网络爬虫，也就是那矗立于海上的一座灯塔，虽只是其中的一点，但也有自己独特的光亮。它的身影，不仅出没于大型项目