爱写bug(ID:icodebugs)
作者:爱写bug
前言:
看了很多网站,只发现获取拉勾网招聘信息是只用post方式就可以得到,应当是非常简单了。推荐刚接触数据分析和爬虫的朋友试一下。
在python3.7、acaconda3环境下运行通过
数据爬取篇:
1、伪造浏览器访问拉勾网
打开Chrome浏览器,进入拉勾网官网,右键->检查,调出开发者模式。
然后在拉勾网搜索关键词 算法工程师
回车,然后点击下一页、下一页,此时开发者工具里的Network
下XHR
(表示该网站是以Ajax方式获取刷新信息的)应当如下图(图中已标明了一些关键信息):
每次点击下一页图中XHR下以PositionAjax
开头的请求就会多一条,图下方 Form Data
里 page numberpn
就会增加1,网站地址:https://www.lagou.com/jobs/list_
+ 搜索关键词 city=
+ 城市名称 +&cl=false&fromSearch=true&labelWords=&suginput=
当然搜索关键词是中文的话一定要 unicode 转码。这里我们以关键字为算法工程师,地区为全国 为例,所以URL: