python爬虫学习过程,前期我们可能会拿一些静态数据网站做操作,所以学起来相对简单一些,但是在实际工作当中我们遇到的数据并不仅仅只是静态的数据(比如淘宝网、京东网等),所以如何爬取动态的数据,是我们学习的重中之重。今天给大家介绍一个python获取动态数据的工具phantomjs,它对于获取动态数据非常实用的,接下来我会向大家如何安装phantomjs。
PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能,使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情,它都能做到。它不仅是个隐形的浏览器,提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等,同时也提供了处理文件I/O的操作,从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛,诸如网络监测、网页截屏、无需浏览器的 Web 测试、页面访问自动化等。
1.在浏览器输入PhantomJS,找到它的官方下载地址:http://phantomjs.org/download.html 进入网页内,选择与本计算机对应的phantomjs,点击下载
2.下载完成后,将压缩文件解压到桌面,并将文件保存到指定的文件夹中,这里我默认的D:\python
3.设置环境变量,将phantomjs所处的路径复制到环境变量设置的path里面,点击确定
在复制路径前一定要用“;”分号隔开,不然在使用phantomis过程中,会一直报错。
phantomjs的基础应用
from selenium import webdriver
# 使用webkit无界面浏览器
# 如果路径为exe启动程序的路径 那么该路径需要加一个 r
driver = webdriver.PhantomJS(executable_path=r'D:/python/phantomjs-2.1.1-windows/bin/phantomjs.exe')
# 获取指定网页的数据
driver.get('http://news.sohu.com/scroll/')
print(driver.find_element_by_class_name('title').text)