Python爬虫 使用selenium处理动态网页

对于静态网页，使用requests等库可以很方便的得到它的网页源码，然后提取出想要的信息。但是对于动态网页，情况就要复杂很多，这种页面的源码往往只有一个框架，其内容都是由JavaScript渲染出来的。这时候，我们就可以使用selenium来直接驱动浏览器进行爬取。

selenium是一个自动化测试工具，利用它可以驱动浏览器进行一系列操作，并且可以得到当前呈现的网页的源码，对动态页面的爬取非常有效。下面来说一下selenium的简单使用。

一、安装

1. selenium

推荐使用pip直接安装：

pip install selenium

2. ChromeDriver

selenium是一个自动化测试工具，需要配合浏览器驱动来使用，以Chrome为例，首先需要下载自己浏览器对应版本的驱动。版本对照可以到chromedriver与chrome版本映射表查看。另外Chrome版本70以上的可以直接到ChromeDriverMirror根据浏览器版本下载。

下载完成后需要将可执行文件配置到环境变量里，Windows系统可以将chromedriver.exe文件直接拖到python环境的scripts目录下，也可以将其所在路径配置到系统环境变量，Linux系统下可以将可执行文件移动到环境变量目录中：sudo mv chromedriver /usr/bin

配置完成后，在命令行直接输入 chromedriver 如果有如下输出，则环境配置成功：

二、使用

1. 声明浏览器对象

from selenium import webdriver
chrome = webdriver.Chrome()

这样初始化之后在使用它进行浏览器操作时会弹出浏览器界面直到关闭，显然一般情况下我们是希望它默默地在后台干活而不弹出任何界面的，所以还需要设置chrome的无界面模式（老版本可能不支持）：