selenium爬取google搜索页渲染后在代码

1.Windows上部署

• Seleinum
• 谷歌浏览器Chrome
• 谷歌浏览器引擎Chromedriver

注意事项：

1. Chrome的版本要与Chromedriver的版本一致，否则不稳
2. Chrome最好用官方的，安装官方的Chrome，用默认的安装方式

2.安装selenium

pip install selenium
在这里插入代码片

3.安装chrome
官网地址：
https://cloud.google.com/chrome-enterprise/browser/download/

4.安装Chromedirver镜像地址：
https://npm.taobao.org/mirrors/chromedriver/

5.查看自己Chrome的版本
在浏览器中输入：chrome://version/

6.下载对应版本的Chromedriver
在Chromedriver的下载地址中：
没有版本号完全一致的，只能找个差不多的，我测试后发现这两个搭配没问题

7.把Chromedriver放置在Chrome文件夹中

8.通过selenium启动chrome

from selenium import webdriver
# 实例化driver
driver = webdriver.Chrome(
executable_path='D:\Program Files\Chrome\chromedriver.exe',
)
driver.get('http://www.baidu.com')
driver.find_element_by_id('kw').send_keys('相间分析')#搜索关键词
driver.find_element_by_id('su').click()#点击
page_source = driver.page_source#浏览器渲染之后在代码
print(page_source)
diver.quit()#关闭浏览器在这里插入代码片

获得网页的代码：

页面源码查看：