回复“书籍”即可获赠Python从入门到进阶共10本电子书
今
日
鸡
汤
老骥伏枥，志在千里。烈士暮年，壮心不已。
本文以Python爬虫、数据分析、后端、数据挖掘、全栈开发、运维开发、高级开发工程师、大数据、机器学习、架构师这10个岗位，从拉勾网上爬取了相应的职位信息和任职要求，并通过数据分析可视化，直观地展示了这10个职位的平均薪资和学历、工作经验要求。
爬虫准备
1、先获取薪资和学历、工作经验要求
由于拉勾网数据加载是动态加载的，需要我们分析。分析方法如下：
我们发现网页内容是通过post请求得到的，返回数据是json格式，那我们直接拿到json数据即可。所以想学的同学，有必要听一下这位老师的课、领取python福利奥，想学的同学可以到梦雅老师的围鑫（同音）：前边一组是：mengy ,后边一组是：7762,把以上两组字母按照先后顺序组合起来即可，她会安排学习的。
我们只需要薪资和学历、工作经验还有单个招聘信息，返回json数据字典中对应的英文为：positionId,salary, education, workYear（positionId为单个招聘信息详情页面编号）。相关操作代码如下：
文件存储：
基本数据获取：
运行结果：
2、根据获取到的positionId来访问招聘信息详细页面
根据positionId还原访问链接：
访问招聘信息详情页面，获取职位描述（岗位职责和岗位要求）并清理数据：
运行结果：
3、四种图可视化数据+数据清理方式
矩形树图：
玫瑰饼图：
普通柱状图：
词云图：
Python爬虫岗位
关键词解析：
学历：本科
工作月薪：10k-30k
工作经验：1-5年
技能：分布式、多线程、框架、Scrapy、算法、数据结构、数据库
综合：爬虫这个岗位在学历要求上比较放松，大多数为本科即可，比较适合想转业的老哥小姐姐，学起来也不会特别难。而且薪资待遇上也还算比较优厚，基本在10k以上。不过唯一对工作经验要求还是比较高的，有近一半的企业要求工作经验要达到3年以上。
Python数据分析岗位
关键词解析：
学历：本科（硕士比例有所增高）
工作月薪：10k-30k
工作经验：1-5年
技能：SAS、SPSS、Hadoop、Hive、数据库、Excel、统计学、算法
综合：数据分析这个岗位在学历要求上比爬虫要求稍微高一些，硕士比例有所提升，专业知识上有一定要求。薪资待遇上也还算比较优厚，基本在10k以上，同时薪资在30k-40k的比例也有所上升。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。
Python后端岗位
学历要求
工作月薪
工作经验要求
后端技能
关键词解析：
学历：本科
工作月薪：10k-30k
工作经验：3-5年
技能：Flask、Django、Tornado、Linux、MySql、Redis、MongoDB、TCP/IP、数学（哈哈）
综合：web后端这个岗位对学历要求不高，但专业知识上有很大要求，得会Linux操作系统基本操作、三大主流数据库的使用、以及三大基本web框架的使用等计算机相关知识，总体来说难道还是比较大。薪资待遇上也比较优厚，基本在10k以上，同时薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。
Python数据挖掘岗位
关键词解析：
学历：本科(硕士)
工作月薪：20k-40k
工作经验：3-5年
技能：学历(hhh)、Hadoop、Spark、MapReduce、Scala、Hive、聚类、决策树、GBDT、算法
综合：数据挖掘这个岗位，在学历要求是最高的，虽然还是本科居多，但硕士比例明显增加，还有公司要求博士学历。在专业知识上也有很大要求，得会Linux操作系统基本操作、大数据框架Hadoop、Spark以及数据仓库Hive的使用等计算机相关知识，总体来说难道还是比较大。薪资待遇上特别优厚，基本在20k以上，薪资在30k-40k的比例也有近40%，对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。
Python全栈开发岗位
关键词解析：
学历：本科
工作月薪：10k-30k
工作经验：3-5年
技能：测试、运维、管理、开发、数据结构、算法、接口、虚拟化、前端
综合：全栈开发这个岗位什么都要懂些，什么都要学些，在学历要求上并不太高，本科学历即可，在专业知识上就不用说了，各个方面都得懂，还得理解运用。薪资待遇上也还可以，基本在10k以上，薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。总体来说，就我个人而言会觉得全栈是个吃力多薪水少的岗位。
Python运维开发岗位
关键词解析：
学历：本科
工作月薪：10k-30k
工作经验：3-5年
技能：SVN、Git、Linux、框架、shell编程、mysql，redis，ansible、前端框架
综合：运维开发这个岗位在学历要求上不高，除开占一大半的本科，就是专科了。工作经验上还是有一些要求，大多数要求有3-5年工作经验。从工资上看的话，不高也不低，20k以上也占有62%左右。要学习的东西也比较多，前端、后端、数据库、操作系统等等。
Python高级开发工程师岗位
关键词解析：
学历：本科
工作月薪：20k左右
工作经验：3-5年
技能：WEB后端、MySQL、MongoDB、Redis、Linux系统（CentOS）、CI/CD 工具、GitHub
综合：高级开发工程师这个岗位在学历要求上与运维开发差不多，薪资也相差不大，22%以上的企业开出了30k以上的薪资，65%左右企业给出20k以上的薪资。当然，对工作经验上还是要求较高，有近一半的企业要求工作经验要达到3年以上。
Python大数据岗位
关键词解析：
学历：本科（硕士也占比很大）
工作月薪：30k以上
工作经验：3-5年
技能：前端开发、 MySQL、Mongo、Redis、Git 、Flask、Celery、Hadoop/HBase/Spark/Hive、Nginx
综合：现在是大数据时代，大数据这个岗位也是相当火热，在学历要求上几乎与运维开发一模一样。当然，可能数据上出现了巧合，本科居多，工作经验上1-5年占据一大半，薪资上也基本上在20k以上，该岗位薪资在20k以上的企业占了55%左右。
Python机器学习岗位
关键词解析：
学历：本科（硕士也占比很大）
工作月薪：30k以上
工作经验：3-5年
技能：Machine Learning，Data Mining，Algorithm 研发，算法，Linux，决策树，TF，Spark+MLlib，Cafe
综合：机器学习这个岗位在学历要求上比较严格，虽然看起来是本科居多，但对于刚毕业或毕业不久的同学，如果只是个本科，应聘还是很有难度的。当然机器学习岗位薪资特高，60%在30k以上，近90%在20k以上，97%在10k以上。除开对学历要求比较高外，对工作经验要求也比较高，有近一半的企业要求工作经验要达到3年以上。
Python架构师岗位
关键词解析：
学历：本科
工作月薪：30k以上
工作经验：5-10年
技能：Flask，Django，MySQL，Redis，MongoDB，Hadoop，Hive，Spark，ElasticSearch，Pandas，Spark/MR，Kafka/rabitmq
综合：架构师这个岗位单从学历上看不出什么来，但在薪资上几乎与机器学习一样，甚至比机器学习还要高，机器学习中月薪40k以上的占23.56%，架构师中月薪40k以上的占30.67%。在学历要求上比机器学习要略低，本科居多，但在工作经验上一半以上的企业要求工作经验在5-10年。在必要技能上也要求特别严格，比之前说过的全栈开发师有过之而无不及。
看着这月薪，我是超级想去了，你呢？
写在最后
从上文可以看出，Python相关的各个岗位薪资还是不错的，基本上所有岗位在10k以上的占90%，20k以上的也基本都能占60%左右。而且学历上普遍来看，本科学历占70%以上。唯一的是需要工作经验，一般得有个3-5年工作经验，也就是如果24岁本科毕业，27岁就有很大机会拿到月薪20k以上。有没有很心动？
整个系列下来，词云分析虽不完全正确，但大家不难发现，有两个词在每个岗位要求的词云图中都有出现，那就是——经验和熟悉。的确，不论我们做什么，都必须认认真真的去做、去学，在不断的实践中积累经验。
到这里，本系列就结束了，本系列一共爬取了拉钩网10个不同Python相关岗位，每个岗位450条招聘信息，共计4500条。爬取拉钩网其实是个挺简单的事情，只要知道了怎么去分析页面加载即可，获取到数据也不过就是直接返回的json数据，或者正则匹配。我觉得比较有趣也是比较难的是数据清理和可视化分析。后面我会继续学习，也希望大家一起学习，多多交流。
--------- End ---------
看完本文有收获？请转发分享给更多的人
Python爬虫与数据挖掘
Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、
大数据、服务器、Spark、Redis、C++、C、php、
mysql、java、Android、面试题、课堂、其他
老表说
欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持。
文末的广告点一下也是小编先生的莫大支持噢~~~
做知识的传播者，随手转发，Python进阶者与您同行。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
