zhoulin753的博客

前段时间学习了用Python写爬虫，使用Scrapy框架爬取京东的商品信息。商品详情页的价格是由js生成的，而通过Scrapy直接爬取的源文件中无价格信息。 　　通过Selenium、Phantomjs便能实现。下面先介绍Phantomjs。 （我的博客原文地址：https://chaycao.github.io/2016/08/19/Scrapy-Selenium-Phantomjs/　请多指教...

采集淘宝商品数据的时候，主要用到了Selenium+PhantomJS。在这个过程中对淘宝的严厉反爬措施佩服至极，个人也得到了很多成长。虽然历经曲折，最终还是能正常运行自己的脚本采集数据。 这里总结一下Selenium+PhantomJS使用中常用的操作。 设置等待时间隐式等待，等同于time.sleep() driver.implicitly_wait(40) 设置PhantomJS发...