为什么写Python爬虫教程

对于“爬虫”， 或许你只是听说过，或许已经有所了解。无论怎样，你可能有过这样的困惑：

• 学了爬虫不知道怎么挣钱？
• 技术不知道如何进阶？
• 遇到问题不知道找谁交流？

十多年前，还是年轻人的冠亦在学习Python时就遇到了这样困惑。

曾经，“独上高楼，望尽天涯路”；
好在，“衣带渐宽终不悔，为伊消得人憔悴”；
而今，“蓦然回首，那人却在，灯火阑珊处”。

在十几年的工作实践中，这些困惑都被一一解开。坚定的目标，专注的追寻，豁然开朗般的领悟，让技术知识融会贯通。领悟得越多就越想把这些经验和知识分享出来，给那些跟曾经的我们有一样困惑的小伙伴们多一点借鉴。于是就动起了笔写下了这份教程。

老冠亦学Python爬虫的过程
冠亦是两个基友，你姑且叫我们冠亦W (码代码10年)和 冠亦V(专业码农12年)，这部教程是我们共同完成，十几年前我们也是自学Python然后工作到今天。

老猿V从读硕期间开始用Python做项目，毕业后一直从事数据抓取，网络舆情分析，自然语言处理工作，具体涉及的是大规模新闻资讯抓取，社交媒体实时抓取，网络舆情分析与处理工作，至今工作十余年。

老猿W这些年的工作是技术工作中夹杂产品运营，在用Python做网站开发，数据抓取的同时，也兼顾公司产品运营，所以老猿W写的爬虫大多是为了配合流量，运营的需要而写。

10年前冠亦W 和 冠亦V 是同事，老猿W 进公司的第一天，老猿V 丢给老猿W 一个Python爬虫程序让修改一下里面的bug，当时在完全不会Python的情况下，冠亦W一边看《One Byte of Python》学习语法，一边摸索着调试程序，从此开始了冠亦W的10年Python之路。

在这十年中冠亦待过小型，大型，创业公司，也曾在各自公司担任过技术总监，从一个纯码农到现在产品运营一肩挑，积累了一点墨水，冠亦V在理论、系统层面积累了蛮多经验，也趟了很多坑，冠亦W在爬虫商业化上，如何通过爬虫技能(不一定是抓群数据)帮助公司业务增长上也有很多认识和体会，想把它们拿出来，分享给新入局者。

爬虫是一个综合技艺
爬虫是一个运用综合技能的工作，一个好的爬虫工程师应该要具备前端(html、JS、浏览器和APP抓包)，HTTP知识，简单数据挖掘(数据结构化、清洗、排重等工作)，数据存储等知识。

熟练运用以上技能可以算作一个合格的爬虫码农，能够处理过百万的网页数据。当处理上千万的网页数据时，你的存储方法，内存调配方式，抓取策略就又需要你打怪升级了。当对抓取的实时性和数据量要求都很高时，爬虫其实又变成了一个社会工程，需要解决大量分布的IP和账号问题。

从最简单的Python爬虫开始练习
不要被上述的一堆名词吓到，如果你是一个初学者，你要做的就是多动手练习，从最简单的爬虫写起，在编码和调试的过程中你会遇到各种各样的问题，这时就是你最好的学习和进阶时刻，在解决这些问题中你会摸索出该去掌握哪些技巧。

这些知识都是老猿在过去一个坑一个坑趟过来的，老猿打算写一个猿人学Python爬虫教程系列，会把Python爬虫教程分成几部分，这部教程主要写给刚学习爬虫的小猿们，后续根据各位看官的反馈来续写第二部教程。

如果你也跟我们一样有过同样困惑，如果你想在早期学习阶段少走一些弯路，那么从现在开始，就跟着冠亦一起来学习Python爬虫吧。