python selenium这一篇就够了

已于 2022-08-26 16:09:22 修改
阅读量608 收藏 6
点赞数
分类专栏： python库的使用 文章标签： python selenium chrome
于 2022-08-23 13:38:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zz891422822/article/details/126482446
版权

使用库 ：import selenium
安装：pip install selenium

selenium目录

安装

下载安装浏览器（下面使用google chrome浏览器示范）
1. 浏览器下载：点击下载google chrome
2. 打开浏览器查看chrome版本为104.0版本在这里插入图片描述
3. 下载对应版本的浏览器驱动
浏览器驱动（建议使用google驱动）
Chrome驱动文件下载：点击下载chromedrive
Firefox驱动文件下载：点解下载geckodriver
IE驱动文件下载：点击下载iedriver
在这里插入图片描述
4. 创建项目，将下载的google浏览器驱动放在项目根目录
在这里插入图片描述
5. 测试代码打开浏览器访问百度

from selenium import webdriver

from time import sleep
# 默认使用根目录的chromedriver
browser = webdriver.Chrome()
# 通过浏览器向服务器发送URL请求
browser.get("https://www.baidu.com/")
sleep(3)
# 关闭浏览器
browser.close()

示例

添加功能

from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep, time
# 默认使用根目录的chromedriver
options = webdriver.ChromeOptions()

# 将浏览器默认设置为最大窗体
options.add_argument('start-maximized')

# 设置默认窗体的启动大小
options.add_argument('window-size=400,2000')

# 使用代理IP
options.add_argument('--proxy-server=http://11.20.11.11:2222')

# 无头模式：虽然看不到，但是一切照旧，在一些特定场景下会失败
options.add_argument('--headless')

# 去掉控制台多余信息
options.add_experimental_option('excludeSwitches', ['enable-logging'])

# 去掉默认的提示自动化信息，没啥用，一般没有什么影响。警告条可能会导致页面内容的遮挡或者挤压，影响自动化测试
options.add_experimental_option('excludeSwitches', ['enable-automation'])

# 读取本地缓存，实现一个有缓存的浏览器，这个指令执行前必须关闭所有本地的chrome浏览器
options.add_argument(r'--user-data-dir=C:\Users\xuzhu\AppData\Local\Google\Chrome\User Data') # add_argument（chrome://浏览器路径/：个人资料路径位置）

# 去掉账号密码弹窗
prefs = {}
prefs["credentials-enable-service"] = False
prefs['profile.password_manager_enable'] = False
options.add_experimental_option("prefs", prefs)

# 指定窗口打开在哪个位置
options.add_argument('window-position=2200,500')

# 隐身模式
options.add_argument('incognito')

driver = webdriver.Chrome(options=options)

浏览器操作

定位

Selenium提供了8种定位方式:

  1. find_element(by=By.CLASS_NAME, value=‘xxx’) # 匹配class属性
from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep
# 默认使用根目录的chromedriver
driver = webdriver.Chrome()
# 通过浏览器向服务器发送URL请求
driver.get("https://www.qq.com/")
h1=driver.find_element(by=By.CLASS_NAME, value='nav-item')
print(h1.text)
sleep(1)
# 关闭浏览器
driver.close()
  1. find_element(by=By.XPATH, value=‘xxx’) xpath定位方法
h1=driver.find_element(by=By.XPATH, value='//li[@class="nav-item"]')
print(h1.text)
  1. find_element(by=By.ID, value=‘xxx’) # 匹配ID属性
h1=driver.find_element(by=By.ID, value='sosobar')
print(h1.text)
  1. driver.find_element(by=By.NAME, value=‘xxx’) # 匹配name属性
h1=driver.find_element(by=By.NAME, value='user')
print(h1.text)
  1. find_element(by=By.TAG_NAME, value=‘li’) # 获取li标签内的内容
h1=driver.find_element(by=By.TAG_NAME, value='li')
print(h1.text)
  1. find_element(by=By.PARTIAL_LINK_TEXT, value=‘坚持底线思维’) # 匹配存在链接的文字，只要存在这些文字就匹配
h1=driver.find_element(by=By.PARTIAL_LINK_TEXT, value='坚持底线思维')
print(h1.text)
  1. find_element(by=By.LINK_TEXT, value=‘坚持底线思维，防范化解风险’) # 匹配存在链接的文字，匹配链接文字部分必须完全相同。
h1=driver.find_element(by=By.LINK_TEXT, value='坚持底线思维，防范化解风险')
print(h1.text)
  1. find_element(by=By.CSS_SELECTOR, value=‘xxx’) # 匹配CSS选择器
# 匹配class
h1=driver.find_element(by=By.CSS_SELECTOR, value='.nav-item')
print(h1.text)
# 匹配ID
h1=browser.find_element(by=By.CSS_SELECTOR, value='#nav-item')
print(h1.text)

界面操作

  1. 点击
driver.find_element(by=By.XPATH, value="//dd/ul//a").click()
  1. 获取元素属性
driver.find_element(by=By.XPATH, value="//dd/ul//a").get_attribute('class')
  1. 输入文字
driver.get("http://www.xmfish.com/")
driver.find_element(by=By.XPATH, value="//input[@class= 'search-txt fl slight']").send_keys('输入的文字123')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iR6YCjdF-1661501295296)(/uploads/upload_68cb28abae6fd9b19437ec0bfc7306f3.png)]

  1. 鼠标操作

悬停

import time
 
from selenium import webdriver
from selenium.webdriver import ActionChains
 
driver = webdriver.Chrome()
driver.get("https://www.runoob.com/html/html-tutorial.html")
driver.maximize_window()
 
# 定位到需要悬停的元素
hover = driver.find_element("xpath","//a[text()=' HTML / CSS']")
 
# 初始化一个ActionChains(driver)类
action = ActionChains(driver)
# 对定位的元素执行悬停操作
action.move_to_element(hover).perform()
 
# 强制等待5s，看一下效果
time.sleep(5)
 
# 关闭浏览器
driver.quit()

点击

import time
 
from selenium import webdriver
from selenium.webdriver import ActionChains
 
driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
driver.maximize_window()
 
# 初始化一个ActionChains(driver)类
action = ActionChains(driver)

# 定位到需要右击的元素
right_click = driver.find_element("xpath","//a[text()='新闻']")
# 对定位的元素执行右击操作
action.context_click(right_click).perform()

# 定位到鼠标需要双击的元素
double_click = driver.find_element("id","su")
# 对定位的元素执行双击操作
action.double_click(double_click).perform()

# 强制等待5s，看一下效果
time.sleep(5)
 
# 关闭浏览器
driver.quit()

挪动滑块距离x,y模拟手动滑动

from selenium.webdriver import ActionChains
import random
dragElement = driver.find_element_by_xpath("//div[@class='secsdk-captcha-drag-icon sc-kEYyzF fiQtnm']")  # 拖拽按钮
action_chains = ActionChains(driver)
action_chains.click_and_hold(dragElement).perform() # 执行按下按钮
random_s = random.randint(3, 10) # 生成随机次数
action_chains.move_by_offset(100-random_s, 0).perform() # 移动距离100像素-随机生成的距离
for i in range(random_s):
    action_chains.move_by_offset(1, 0).perform()  # 挪动
action_chains.release(dragElement).perform()  # 放开

挪动滑块到元素


import time
 
from selenium import webdriver
from selenium.webdriver import ActionChains
 
 
"""
鼠标拖动操作
"""
driver = webdriver.Chrome()
driver.get("https://demos.telerik.com/kendo-ui/dragdrop/index")
driver.maximize_window()
 
# 定位拖动的元素
start_el  = driver.find_element('id','draggable')
# 定位到拖动结束的地方
end_el = driver.find_element('id','droptarget')
#初始化一个类
actions = ActionChains(driver)
#执行拖动操作
actions.drag_and_drop(start_el,end_el).perform()
#强制等待5s
time.sleep(5)
  1. 切换窗口
# **先看下当前窗口url地址：**
print(driver.current_url)
# 打印所有的窗口 ['窗口ID1', '窗口ID2', '窗口ID3'] ==> 窗口句柄
windows = driver.window_handles
print(windows)

# 1 切换到最后的窗口
driver.switch_to.window(drivers[-1])
# 切换到最后的窗口后，打印下url，核对下是不是最后的窗口
print(driver.current_url)

# 2 切换到第二个窗口
# 先获取现在的窗口
current_window = driver.current_window_handle
# 获取第二个窗口的索引(由当前窗口索引+1)
next_window_index = windows.index(current_window) + 1
# 切换到第二个窗口
driver.switch_to.window(windows[next_window_index])
  1. 滚轮操作

使用js脚本拖动到指定地方

target = driver.find_element_by_id("id_keypair")
driver.execute_script("arguments[0].scrollIntoView();", target)  # 拖动到可见的元素去

如果滚动条是针对整个HTML可以用如下方式：通过调整scrollTop的值来上下滑动

js="var q=document.documentElement.scrollTop=10000"  # 滚动到最下面
# js="var q=document.documentElement.scrollTop=0"  # 滚动到最上面
driver.execute_script(js)

如果滚动条是针对某个div可以用如下方式：该页面的滚动条就是针对class='main’的div而言的，
getElementsByClassName返回的是一个元素列表，0表示第一个元素，所以使用的时候要加索引

js = "var q=document.getElementsByClassName('main')[0].scrollTop=10000"  # getElementsByClassName表示获取class='main'的元素列表，0表示第一个，所以使用的时候要加索引
driver.execute_script(js)

如果滚动条是针对整个body可以用如下方式：

js = "var q=document.body.scrollTop=10000"  # documentElement表示获取body节点元素
driver.execute_script(js)

XPATH定位

XPath即XML路径语言，支持从xml或html中查找元素节点，使用XPath完全可以替代其他定位放式，如：

定位方式

find_element_by_xpath(‘//[@id=“”]‘)等同于find_element_by_id(“”)
find_element_by_xpath(’//[@name=“”]’)等同于find_element_by_name(“”)
find_element_by_xpath(‘//[@class=“”]‘)等同于find_element_by_class_name(“”)
find_element_by_xpath(’//标签名’)等同于find_element_by_tag_name(“标签名”)
find_element_by_xpath(‘//a[contains(text(),“”)]’)等同于find_element_by_link_text(“”)
find_element_by_xpath('//[@id=“”]’)等同于find_element_by_partial_link_text(“”)
需要通过一组元素或分层定位的也可以直接使用XPath直接定位到

从浏览器复制出的XPath有可能不靠谱，所以我们要学会XPath的语法

路径

/绝对路径： /html/body/div
//相对路径： //div/form //*/form 路径中可以使用 *代表任意标签
.当前路径： //div/form/. 等同于//div/form
…上级路径: //div/form/… 等同于//div

索引

从1开始： /html/body/div[2] //div[1]/form
属性#

@属性名：定位包含特定属性名的标签, 如//input[@class]
@属性名=“属性值”：定位特定属性名=属性值的标签，如//input[@id=“kw”]
@=“属性值”：定位任意属性名=属性值的标签, 如 //input[@=‘kw’]
多属性结合定位：//input[@id=“kw” and @class=‘kw-class’]或//input[@id=“kw”][@class=“kw-class”] (and处也支持使用or，表示或)

函数#

text()：标签中的文本值，如//a[text()=“百度首页走起~”]
contains(): 包含，如//a[contains(text(), “百度首页”)],非常常用

driver.find_element(by=By.XPATH, value='//a[contains(text(), "百度首页")]')

starts-with(): 以**开头，如//a[starts-with(text(), “百度”]
last(): 最后一个， 如//div[last()]

轴

寻找上层的上层标签

driver.find_element_by_xpath("//div[@id='C']/../..")

parent: 父标签

driver.find_element_by_xpath("//div[@id='C']/parent::*/parent::div")

child：子标签
following: 后面的，如：//*[text()=“用户名”]/following::input[1] # 紧邻文本为用户名的输入框
preceding：前面的

zz891422822
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python+selenium
11-16
压缩包包涵python+selenium的配置环境文档以及所需要安装包，还有一本web自动化测试电子书
Python Selenium
weixin_30770783的博客
01-23 105
首先到pypi上下载selenium，不同版本的selenium对chrome/chormium的版本要求也不同。解压然后将路径添加到PATH。API看了半天没看懂，所以还是到网上直接找了例子进行学习。 #!/usr/bin/env python # -*- coding: UTF-8 -*- from selenium import webdriver from selenium.c...
python爬虫Selenium库详细教程
最新发布
2401_84208172的博客
04-20 541
在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取，这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。
pythonseleniumAPI
weixin_33778544的博客
04-12 348
一、浏览器操作 1、浏览器最大化 driver.maximize_window() #将浏览器最大化显示 2、设置浏览器宽、高 driver.set_window_size(480, 800)#设置浏览器宽480、高800显示 3、控制浏览器前进、后退 driver.back()#浏览器后退 driver.forward()#浏览器前进 二、简单对象的定位 ...
Python selenium
weixin_44210565的博客
08-05 116
selenium selenium 基于浏览器自动化的一个模块 便携的获取网站中动态加载的数据（Ajax） 便携实现模拟登录 Google浏览器 驱动程序下载路径 确定版本映射关系 实例化浏览器对象 传入浏览器驱动程序 bro = webdriver.Chrome(’./chromedriver.exe’) 编写自动操作代码 基于浏览器自动化的操作代码 发起请求：get(url) 标签定位: find系列方法 标签交互: send_keys('xxx) 执行js程序:
Python-Selenium
大白
11-26 200
从回收站拉回来了篇文章，因为某些原因没有持续学习Python+selenium，所以文章也没有写了。放到回收站是因为我觉得这篇文章没什么用，写的也不好，就是参考某位大神的文章初步学习的记录。今天在回收站看到后突然就觉得，不管写的好不好，算是我学习路上留下的一点点痕迹吧。没准以后会重新捡起来呢。 ·怎么去学UI自动化 编程语言（python/java）：需要长期的去学习，比如一些基本语法 sel...
解决Python selenium get页面很慢时的问题
09-19
今天小编就为大家分享一篇解决Python selenium get页面很慢时的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python精通爬虫资料 看这一篇就够了！
09-06
本教程适合想掌握爬虫技术的学习者，以企业主流版本Python 3.7来讲解，内容包括：Python基础、Urllib、解析（xpath、jsonpath、beautiful）、requests、selenium、Scrapy框架等。针对零基础的同学可以从头学起，有...
selenium + python 获取table数据的示例讲解
09-20
今天小编就为大家分享一篇selenium + python 获取table数据的示例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python+selenium点击网页上指定坐标的实例
09-19
今天小编就为大家分享一篇Python+selenium点击网页上指定坐标的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python+selenium 获取一组元素属性值的实例
01-21
以上这篇Python+selenium 获取一组元素属性值的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:python selenium 获取标签的属性值、内容、状态...
selenium PY包
08-30
基于py语言的selenium工具包。
python selenium
Big_Body
12-04 960
python selenium 这个模块玩儿爬虫的都知道，因为这个可以完全模拟人为的对浏览器的操作，在一些反爬虫做的很完善的站点的时候，大家选取这个模块，可以说是百试不爽。 很多浏览器都支持自动操作，我一般用chrome。 模块获取元素和定位按钮的方法有很多，这个大家可以具体官方文档。 这里只是想踩一下Web页面的渲染问题，也就是，我们在使用selenium定位元素时，如果页面没有把你需要的需要...
python--selenium
忘心虚无的博客
07-04 616
一、获得cookie browser = webdriver.Chrome() # 模拟登录操作 。。。。 list_cookies = browser.get_cookies() s = requests.Session() cookies = {} for cookie in list_cookies: cookies[cookie['name']] = cookie['value'] re...
Selenium Python
feng的博客
07-12 801
这篇文章在介绍官网的同时使用了比较多的脚本示例，示例里遇到的问题有部分在本篇文章进行了解释，还有一篇文章专门记录了问题。希望可以给予初学者更多的帮助。
Python爬虫：selenium
热门推荐
mengnf的专栏
02-14 1万+
Python爬虫之selenium
python(基于selenium爬虫)
weixin_52105995的博客
03-10 788
Selenium(web自动化工具)，也可用来爬虫，效率会比requests慢，对于某些网站有反爬机制可以使用此方法。 导入selenium，sleep（间隔时间），csv（数据存储）模块，没有可以进行下载 定义方法，把爬取数据存储为 CSV文件 谷歌浏览器驱动，下载与浏览器相同版本 链接：CNPM Binaries Mirror ​ 可以自己找网站进行练习，我就不贴出来了 for循环是抓取多少页数据 进入到详情页 ...
基于python的selenium_基于Python的Selenium
weixin_39791225的博客
02-11 155
1、环境搭建1)安装Python链接：https://pan.baidu.com/s/1bVGegGjINkSgzbQ6yx1KrA提取码：z23o2)在idea上安装插件3)安装 seleniumpip install selenium-3.12.0-py2.py3-none-any4)准备浏览器驱动器IEDriverServer、chromedriver(google)、geckodriver...
python爬虫——selenium
weixin_53333436的博客
03-19 6040
本文涉及了selenium在爬虫中的应用，包括定位元素，节点操作，添加cookie，反屏蔽等常用操作以及seleium中部分API源码分析
python selenium练习篇
03-17
Selenium是一个用来自动化浏览器的工具，它可以用来模拟用户在浏览器上的操作，如鼠标点击、键盘输入等。在Python中使用Selenium需要...这只是一个简单的例子, Selenium提供了丰富的API可以满足你对自动化浏览器的需求

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值