为什么网上Python教程这么多，但是做爬虫的这么少呢？

很多人学习Python进阶可能都写过几个爬虫，但是最终做爬虫的人却比较少，是什么原因导致的呢？是爬虫真的没“技术含量”，还是随着反爬的不断提升，做爬虫的代价越来越高难以维持成本？

网上的确有很多Python教程，因为只考虑爬虫逻辑的话，爬虫逻辑很简单，无非就是构造请求、发送请求、解析响应、获得数据，可能几行代码就搞定了，因为简单，而且获得的数据又很好展示，所以网上才会有很多简单的爬虫教程，即使教了，也只是教怎么用Python模拟请求和搜索DOM，最多只能算是真正做爬虫的基础问题。实际上做爬虫，关键问题永远不是怎么去模拟请求这件事。所以想学的同学，有必要听一下这位老师的课、领取python福利奥，想学的同学可以到梦雅老师的围鑫（同音）：前排的是：762，中间一排是：459，后排的一组是：510 ,把以上三组字母按照顺序组合起来即可，她会安排学习的。

一个强大的爬虫，涉及到很多学科的知识，是一门很大的学问。要懂得HTTP协议，知道哪个协议可以帮助节省带宽和时间；要了解数据库知识，不然怎么优化、存储数据？数据库分布式总要懂一点，不然爬虫怎么协作呢？要学习算法，基本的调度算法、爬虫调度需要了解；要学习JavaScript，数据是怎么处理的，如何反向解析这些数据等等。

基础爬虫很简单