python动态渲染页面爬取Selenium的具体使用（一）

最新推荐文章于 2025-02-25 14:09:35 发布

zhi_neng

最新推荐文章于 2025-02-25 14:09:35 发布

阅读量788

点赞数 2

分类专栏： Scrapy 文章标签： python chrome selenium

本文链接：https://blog.csdn.net/zhi_neng/article/details/118344145

版权

本文介绍了Selenium作为自动化测试工具在Python中用于动态页面爬取的使用方法，包括安装准备、基本使用、声明浏览器对象、访问页面、查找节点以及节点操作等步骤。示例代码演示了如何驱动Chrome浏览器，输入搜索词并获取渲染后的页面源代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本文就让我们一起来学习一下它的强大之处吧。

1.准备工作

我们用Chrome为例来学习Selenium的用法。在开始之前，请确保已经正确安装了Chrome浏览器并配置好了ChromeDriver。另外还需要正确安装Python的Selenium库，详细的安装教程大家可以看我之前写的文章。

《Python3请求库Selenium的安装教程》《Python3安装教程之ChromeDriver的安装》

2.基本使用方法

准备工作做好之后，我们来大体看一下Selenium有一些怎样的功能。示例如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser,1000)
    wait.until(EC.presence_of_all_elements_located((By.ID,'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

运行代码之后发现，会自动弹出一个Chrome浏览器。浏览器首先会跳转到百度，然后在搜索框中输入Python，接着跳转到搜索结果页。搜索结果页加载出来后，控制台会输出当前的URL、当前的Cookies和网页源代码。代码过长此处省略。可以看到，我们得到了当前的URL、Cookies和源代码都是浏览器中的真实内容。

所以说，使用Selenium来驱动浏览器加载网页的话，就可以直接拿到JavaScript渲染的结果了，不用担心使用的是什么加密系统。下面我们来详细的了解一下Selenium的具体用法。

3.声明浏览器对象

Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。此外，我们可以使用如下的方式初始化