Python爬虫 使用selenium处理动态网页

对于静态网页，使用requests等库可以很方便的得到它的网页源码，然后提取出想要的信息。但是对于动态网页，情况就要复杂很多，这种页面的源码往往只有一个框架，其内容都是由JavaScript渲染出来的。这时候，我们就可以使用selenium来直接驱动浏览器进行爬取。

selenium是一个自动化测试工具，利用它可以驱动浏览器进行一系列操作，并且可以得到当前呈现的网页的源码，对动态页面的爬取非常有效。下面来说一下selenium的简单使用。

一、安装

1. selenium

推荐使用pip直接安装：

pip install selenium

2. ChromeDriver

selenium是一个自动化测试工具，需要配合浏览器驱动来使用，以Chrome为例，首先需要下载自己浏览器对应版本的驱动。版本对照可以到chromedriver与chrome版本映射表查看。另外Chrome版本70以上的可以直接到ChromeDriverMirror根据浏览器版本下载。

下载完成后需要将可执行文件配置到环境变量里，Windows系统可以将chromedriver.exe文件直接拖到python环境的scripts目录下，也可以将其所在路径配置到系统环境变量，Linux系统下可以将可执行文件移动到环境变量目录中：sudo mv chromedriver /usr/bin

配置完成后，在命令行直接输入 chromedriver 如果有如下输出，则环境配置成功：

二、使用

1. 声明浏览器对象

from selenium import webdriver
chrome = webdriver.Chrome(