Scrapy
zljun8210
一个从事软件测试10+年捉虫者
展开
-
Scrapy抓取前程无忧招聘信息(静态页面)
前言,为了了解重庆各区招聘软件测试的情况,需要抓取前程无忧中搜索到的招聘信息,并把信息写到数据库,再分析数据。 1. 创建Scrapy项目: scrapy startproject counter 2. 生成Spider: cd counter scrapy genspider cqtester www.51job.com 3. ...原创 2018-06-20 14:31:42 · 1630 阅读 · 0 评论 -
Scrapy爬取百度百聘动态页面
00 上篇爬取了前程无忧网站相关的招聘信息,本篇继续爬取百度百聘的动态招聘信息,同样保存到Mysql数据库。 百度百聘是动态页面,其分页通过JS实现,如下图: 01 实现过程 创建项目、设置Settings、Piplines等,与上篇相同。 1. Spider实现 网上针对此类页面,解决方案有借助Selenium操作实现的,研究实...原创 2018-07-10 15:29:46 · 1112 阅读 · 0 评论