利用Python中selenium库爬虫实现中国裁判文书网自动登录批量下载功能——最新版详细教程！！———已更新高级检索功能

已于 2024-05-22 16:17:42 修改
阅读量4k 收藏 42
点赞数 40
分类专栏： Python爬虫 文章标签： python selenium 爬虫 chrome
于 2023-12-19 13:58:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwangshun/article/details/135070606
版权

目录

工具准备

Chrome浏览器

如果电脑上没有chrome浏览器或者当前chrome浏览器不是最新版，请先去chrome官网下载安装最新版chrome浏览器
https://www.google.cn/chrome/index.html

ChromeDriver驱动

什么是ChromeDriver

ChromeDriver是一种用于自动化和控制Google Chrome浏览器的工具。它是一个开源的项目，由Google维护，并提供给开发者使用。ChromeDriver充当一个桥梁，允许自动化测试工具或脚本与Chrome浏览器进行交互。

具体来说，ChromeDriver通过与Chrome浏览器通信，执行各种操作，如打开网页、模拟用户输入、获取页面元素等。这对于自动化测试、网页抓取、自动化任务等场景非常有用。

一般来说，如果你想使用Selenium（一个用于自动化测试的工具）来自动化Chrome浏览器，你需要下载并配置ChromeDriver。Selenium将通过ChromeDriver与Chrome浏览器进行通信，从而实现自动化测试脚本的执行。

下载安装

首先，需要检查Chrome浏览器的版本。请按照以下步骤进行：

打开Chrome浏览器后，如下图所示进行操作
在这里插入图片描述
然后就可以看到我们Chrome浏览器的版本了：
在这里插入图片描述

注意：如果你的Chrome浏览器是最新版，一般就不用看了，ChromeDriver也安装最新版即可！！

请记下这个版本号，因为需要确保下载与Chrome浏览器版本相匹配的ChromeDriver

相同版本号只需第一位数字相同即可，比如Chrome版本号是122.0.6261.129，所以ChromeDriver下载版本号122开头的即可
ChromeDriver最新版本链接：https://googlechromelabs.github.io/chrome-for-testing/
打开链接后如下图所示：
在这里插入图片描述
在这里插入图片描述

按照自己电脑的系统选择url进行下载
（像我是windows系统，电脑64位的下载win64就行）

实现细节

ChromeDriver下载完成后解压缩，打开

在这里插入图片描述

  1. 我们需要把chromedriver.exe文件复制到chrome的安装路径
    如果不记得自己Chrome的安装路径的话，就找到Chrome浏览器的快捷方式，右键->打开文件所在的位置

在这里插入图片描述

  1. 如果此时显示的位置Chrome仍是快捷方式不是chrome.exe的话，继续执行右键->打开文件所在的位置

在这里插入图片描述

  1. 然后找到了chrome安装位置，将chromedriver.exe拷贝进来，如下图

在这里插入图片描述
4. 完成复制后，不要急着关闭文件夹，复制一下当前文件路径，也就是chrome.exe的所在路径，后面会用到，比如：C:\Program Files (x86)\Google\Chrome\Application（系统默认安装位置）

环境变量配置

这一步非常关键！！

  1. 在桌面找到此电脑图标，右键–>属性，然后找到高级系统设置
    在这里插入图片描述
  2. 然后点击环境变量
    在这里插入图片描述
  3. 在用户变量中找到Path变量，选中path变量后点击编辑
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/034d915fb8134065ba6703dfd34fdcab.png在这里插入图片描述
  4. 点击新建按钮，然后把刚才复制的chrome.exe的路径位置粘贴到此处，如下图所示：
    . 在这里插入图片描述
  5. 然后切记：退出时有确定键一直选择”确定“键才能使保存生效

Python库安装

  1. 将代码拷贝到Pycharm编辑器中，选择好自己的Python环境（关于如何配置Python环境如果大家不会的话就自行百度一下，网上很多教程）
  2. 如果看到如下图所示的selenium爆红
    selenium
  3. 在编辑器中左下角找到Terminal（终端），
    在这里插入图片描述
  4. 输入命令安装selenium库
pip install selenium
  1. 如果time库爆红，同样的命令安装time库
pip install time

完整代码

现在前面的准备工作已全部就绪，先贴完整python代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select
import time

# 初始化selenium
url = 'https://wenshu.court.gov.cn/website/wenshu/181029CR4M5A62CH/index.html?'

option = webdriver.ChromeOptions()
option.add_argument('--start-maximized')
option.add_experimental_option('excludeSwitches', ['enable-automation'])

# 'profile.default_content_settings.popups': 0  ==  禁用弹出窗口
# 'download.default_directory': 'D:\Desktop\wenshu'  == 设置默认下载路径
# 'profile.default_content_setting_values.automatic_downloads': 1 == 并设置自动下载的选项
prefs = {'profile.default_content_settings.popups': 0, 
		 'download.default_directory': 'D:\wenshu',		# 设置自己的下载路径
         'profile.default_content_setting_values.automatic_downloads': 1}
option.add_experimental_option('prefs', prefs)

driver = webdriver.Chrome(options=option)
# 设置打开的浏览器窗口最大化
driver.maximize_window()
driver.set_page_load_timeout(30)
driver.get(url)

# 转到登录界面自动输入手机号密码进行登录
driver.find_element(By.XPATH, '//*[@id="loginLi"]/a').click()
text = driver.page_source
time.sleep(10)  # 等待页面渲染
# 进入iframe框
iframe = driver.find_elements(By.TAG_NAME, 'iframe')[0]
driver.switch_to.frame(iframe)

# 下面的‘手机号’‘密码’输入自己中国裁判文书网注册的真实手机号密码
username = driver.find_element(By.XPATH, '//*[@id="root"]/div/form/div/div[1]/div/div/div/input')
username.send_keys('手机号')

time.sleep(3)

username = driver.find_element(By.XPATH, '//*[@id="root"]/div/form/div/div[2]/div/div/div/input')
username.send_keys('密码')

time.sleep(2)
driver.find_element(By.XPATH, '//*[@id="root"]/div/form/div/div[3]/span').click()
time.sleep(3)

# 必须加上表单退出，否者就是死元素无法定位
driver.switch_to.default_content()

# 这行代码的作用就相当于你手动点了一下‘刑事案件’那个按钮
# 要下载民事案件就把下一行代码里的刑事案件改成‘民事案件’，以此类推
driver.find_element(By.LINK_TEXT, '刑事案件').click()

time.sleep(10)
# testHtml(driver.page_source)

_lastWindow = driver.window_handles[-1]
driver.switch_to.window(_lastWindow)

# 选择案件批量下载 

# 这行代码的作用就相当于你手动点了一下‘法院层级’那个按钮
# driver.find_element(By.LINK_TEXT, '法院层级').click()

# 按照裁判日期排序显示最新600条
# driver.find_element(By.LINK_TEXT, '裁判日期').click()
# 按照裁判日期从前到后显示最老600条
# driver.find_element(By.LINK_TEXT, '裁判日期').click()

# 按照审判程序排序显示最新600条
# driver.find_element(By.LINK_TEXT, '审判程序').click()
# 按照审判程序从前到后显示最老600条
# driver.find_element(By.LINK_TEXT, '审判程序').click()

# 按照法院层级、地域及法院进行检索
driver.find_element(By.LINK_TEXT, '高级法院(146202)').click()
time.sleep(3)
driver.find_element(By.LINK_TEXT, '上海市(1188)').click()

# 在搜索框输入关键词进行高级检索
# 定位到搜索框
keyword = driver.find_element(By.XPATH, '//*[@id="_view_1545034775000"]/div/div[1]/div[2]/input')
time.sleep(3)
# 输入高级检索关键词，例如 工程纠纷
keyword.send_keys('工程纠纷')
time.sleep(3)
# 点击搜索按钮
driver.find_element(By.XPATH, '//*[@id="_view_1545034775000"]/div/div[1]/div[3]').click()

# 将每页文件数设置为最大,15条
page_size_box = Select(driver.find_element(By.XPATH, '//*[@id="_view_1545184311000"]/div[8]/div/select'))
page_size_box.select_by_visible_text('15')

def test_exceptions(xpath):
    try:
        driver.find_element(By.XPATH, xpath)
        return True
    except:
        return False

page = 1
# 最多显示600条文件,也就是40页
while page <= 40:
    time.sleep(5+page/10)
    for i in range(15):
        time.sleep(5+i/10)
        event_xpath = '//*[@id="_view_1545184311000"]/div[' + str(i+3) + ']/div[6]/div/a[2]'
        if test_exceptions(event_xpath) == True:
            driver.find_element(By.XPATH, event_xpath).click()
        else:
            event_xpath = '//*[@id="_view_1545184311000"]/div[' + str(i+3) + ']/div[5]/div/a[2]'
            if test_exceptions(event_xpath) == True:
                driver.find_element(By.XPATH, event_xpath).click()

    # 下一页按钮,不能用Xpath定位,因为“下一页”按钮位置不固定
    # driver.find_element(By.LINK_TEXT, '下一页').click()
    time.sleep(5)
    driver.find_element(By.LINK_TEXT, '下一页').click()
    # 必须加上表单退出，否者就是死元素无法定位
    driver.switch_to.default_content()
    page += 1

# 关闭整个浏览器窗口并终止与浏览器的会话
driver.quit()

运行时

代码也配置无误后，运行代码会自动弹出一个chrome浏览器窗口界面

弹出界面显示下图输入验证码时需要用户手动输入并点击确定：
在这里插入图片描述
正常情况下不需要用户进行任何操作。输入账号、密码，点击登录按钮登录这些都是会自动执行的！！！
代码中很多操作都设置有延迟几秒的操作，所以代码运行过程中只要没有中断，网页突然自动关闭，就没问题。大家不要着急，只需耐心等待即可。
注意：代码运行后除非上述输入验证码，其他时间耐心等待，不要离开当前运行的脚本窗口，不要点击任何地方

下载自定义

  1. 修改代码中第17行设置自己想要的下载路径：
'download.default_directory': 'D:\xxx\xxx',
 分隔符注意用单个的反斜线'\'；可以是不存在的路径，会自动创建该路径
  1. 代码37行和42行修改为真实的已注册的手机号密码
line 37: username.send_keys('XXX')		XXX改为自行注册的手机号
line 42: username.send_keys('XXX')		XXX改为注册时设置的密码

  1. 自定义选择下载内容
    在这里插入图片描述

    1，2，3，4，5这五行代码：

  • 全部注释---------------------------------按照法院层级从高到低排序
  • 保留1，注释其他----------------------按照法院层级从低到高排序
  • 保留2，注释其他----------------------按照裁判日期由近到远排序
  • 保留2和3，注释其他-----------------按照裁判日期由远到近排序
  • 保留4，注释其他----------------------按照审判程序由近到远排序
  • 保留4和5，注释其他-----------------按照裁判日期由远到近排序

高级检索

下面代码片段在完整代码部分已经给出
（1）按照法院层级、地域及法院进行检索

driver.find_element(By.LINK_TEXT, '高级法院(146202)').click()
time.sleep(3)
driver.find_element(By.LINK_TEXT, '上海市(1188)').click()

注意：关键词后面的数字肯定会随着时间的改变而变化，根据当时页面显示的数字自行修改数字大小

（2）通过在搜索框输入关键词进行高级检索

# 定位到搜索框
keyword = driver.find_element(By.XPATH, '//*[@id="_view_1545034775000"]/div/div[1]/div[2]/input')
time.sleep(3)
# 输入高级检索关键词，例如 工程纠纷
keyword.send_keys('工程纠纷')
time.sleep(3)
# 点击搜索按钮
driver.find_element(By.XPATH, '//*[@id="_view_1545034775000"]/div/div[1]/div[3]').click()

爬虫该网站次数过多可能会有封号的风险，请大家谨慎使用

鲸鱼的眼泪
关注
  • 40
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
爬虫爬取裁判文书网_爬取中国裁判文书网的初步尝试——爬虫学习笔记（3）...
weixin_29073241的博客
01-25 1万+
今天在CSDN上看了不少帖子，发现裁判文书网的爬取难度很高，据说是由国内顶尖的瑞数信息提供的防护措施，在请求参数中加入了三个加密参数，什么DES3加密直接把我看懵了。对于初学者，我们只好另找一种笨办法——selenium。如果说requests是将我们伪装成浏览器发送请求，那么selenium就是将浏览器当做我们的提线木偶。相比requests，selenium既有优点也有缺点。优点在于...
中国裁判文书网爬虫分析
SCUTJcfeng的博客
05-01 9028
前言 本篇主要分析文书网爬虫思路，仅供个人学习之用，切勿用于任何商业用途。 分析一 中国裁判文书网首页地址：http://wenshu.court.gov.cn/ 随便点击一下搜索，进入： 进入第一个结果： 注意圆圈中的下载按钮，点击下载，一个.docx格式的文档就安安稳稳的躺在你的电脑硬盘上了。 到这里初步分析结束，我们自然就想到了爬虫的内容： ...
利用selenium实现中国裁判文书网自动登录批量下载功能
Mr.Gogh的博客
09-08 5429
利用selenium实现中国裁判文书网自动登录批量下载功能 最近关于一个法律机器人项目研究中，需要收集一些法律文件以及一些法律问答，需要大量的数据。然后就把目标定在了文书网，人为下载有点浪费人力，并且数量实在太大了。所以就自动化实现一下。 直接上代码了，挺简单的。 # -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.support.select import Select from selenium.we
使用CDP进行高效浏览器自动化与调试
gitblog_00013的博客
05-18 363
使用CDP进行高效浏览器自动化与调试 项目地址:https://gitcode.com/mafredri/cdp CDP 是一个用Go语言编写的库，提供了类型安全的Chrome DevTools协议绑定。它使开发者能够方便地与Google Chrome或Chromium进行交互，并且可以扩展到支持任何实现该协议的调试目标，如Node.js、Edge DevTools Protocol和Safari...
python爬取裁判文书并分析_裁判文书网爬虫攻克
weixin_39845825的博客
12-01 3696
最近因为公司需要爬取裁判文书网的某一类别文章数据,于是简单研究了一下,发现网站数据全是js加载的,于是想都没想直接用selenium尝试爬取,没想到竟然有selenium都抓取不到的js(刚毕业的python小白哈哈)。于是在网上搜取各种裁判文书网的爬虫思路方法,发现有还是有挺多前辈研究过的,我根据他们的思路也研究了一下,但是作为小白的我也只能明白大概思路,但是有很多省略没写的地方我也是全然不会,...
帮师妹写的裁判文书内容提取程序：可做进一步提取模板
python__reported的博客
02-27 3465
帮师妹写的裁判文书内容提取：可做进一步提取模板一、提取结果二、提取内容三、代码 一、提取结果 二、提取内容 需求内容为：被告、裁判文书案号、时间、地域、刑事强制措施、罪名、刑罚 整体运用的技术：主要采取的是正则匹配，因为裁判文书的这些表述是存在一定的模式的，法言法语的要求是的语言表述一般比较固定；当然在被告名字处正则匹配可能会遗漏，于是通过pyhanlp实体识别进行了进一步的精确化 遇到的一些问题：多主体不同罪名 这一问题主要通过被告名称进行定位，如果名字在该段文字中且存在这一罪名，
爬取裁判文书网(一)
cf313995的博客
03-18 7299
1、裁判文书网地址 http://wenshu.court.gov.cn/ 2、网站分析 (1)网站类型是动态网站。 (2)网页源代码中并没有我们想要的页面内容，且引用许多js代码。 (3)查看列表页是否有专门的json接口。 (4)通过开发者工具查看network，发现了一个json接口。即ListContent。 (5)通过研究json接口，发现它是一个post请求。 (6)发现是post...
裁判文书网爬虫
weixin_47891328的博客
08-31 2513
本文章不涉及到具体方法 只是提供一个思路，只做学术交流讨论，不得违法。 裁判文书网的反爬主要分为两部分，第一部分是请求列表页的data内有两个加密的参数： (1).ciphertext (2).__RequestVerificationToken 这两个参数的加密方式其实很容易就能找到，通过chrome的network的全局搜索就可以找到这三个参数加密的js代码，只需要拷贝下来之后使用pyexecjs模块来运行这些js其实就可以获得这三个加密的参数了，然后放到post请求的data内去请求就可以
chromedriver与chrome的对应关系表
幽影冥狐的博客
05-04 1064
chromedriver与chrome的对应关系表 
裁判文书网APP数据的抓取
weixin_38840577的博客
07-18 7087
       第一次爬取APP数据记录一下，裁判文书网APP数据的抓取，可以获得数据，但是是加密过之后的数据。下边是源码： import uuid import datetime import requests import json import hashlib import random from random import choice from court.ip_lists impo...
关于裁判文书网的一些建议
Mr.Gogh的博客
01-07 1160
关于裁判文书网的一些建议 有部分小伙伴私聊我一些文书网的东西。原因应该是我关于文书网批量下载的博文，写得太过简单。但我认为实现思路其实就这么简单，登录爬取，就没其他操作可言了。今天整理一下大概的问题。 数据爬取需谨慎，学习就学习，知道怎么行就好。 1. 为什么我的selenium在跳转页面后就是空白？ 这个问题吧是chrome driver被检测了，这个很常见。 解决方式：下载可以将exe文件转换为16进制文件的软件。通过搜索 $cmd_ 把搜到的改为 $xxx_ 就行了。 2. 下载按钮和批量框，点击不
Python-WenshuSpiderScrapy框架爬取中国裁判文书网案件数据
09-09
Wenshu_Spider-Scrapy框架爬取中国裁判文书网案件数据
中国裁判文书爬虫修正之登录函数.py
09-04
对之前下载selenium中国裁判文书网爬虫.zip的一个修正补充，需要将之前的爬虫函数变成类，然后加入这个登录函数即可
爬取裁判文书网是 对guid，vl5x解析用到的js文件
08-17
爬取裁判文书网是 对guid，vl5x解析用到的js文件
文书网getKey()
09-28
中国裁决文书网getKey()的js文件，略作修改，对未定义方法修改。
基于Python3 实现的爬取知网数据的爬虫，可根据知网高级检索进行搜索，提供文献基本信息、文献下载、文献摘要等详细信息爬取功能
04-05
* 可根据网络及知网反爬虫情况选择性开启详细信息抓取及下载caj文献功能。 * 利用excel表格快速查看所需文献摘要等信息，可根据excel提供下载链接选择性下载，防止下载过快导致知网反爬。 # 使用方法 ## 安装依赖 >...
python项目源码-实现selenium的自动化知网文献爬虫源码+文档说明.rar
最新发布
05-19
本项目旨在通过Python编程语言，结合Selenium自动化测试工具，构建一个针对中国知网（CNKI）文献的爬虫系统。该系统能够模拟用户操作，自动检索、下载并整理知网上的学术文献，从而为计算机相关专业的在校学生、教师...
python网络爬虫零基础入门-思维导图合集，01-爬虫基础、02-requests模块、03-数据提取、04-selenium
03-30
它可以模仿人类在网络上浏览和查找信息的行为,自动地检索、提取和存储网络上的信息。本文将为读者介绍如何使用Python语言进行网络爬虫,从零基础开始学习这门技能。 首先,需要安装Python语言环境和相关爬虫库。Python...
基于selenium模拟天眼查登录并爬取企业注册等信息的爬虫
04-21
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆...
python用Selenium库爬虫窗口最大化
06-10
要使用Selenium库在Python中实现爬虫窗口最大化，可以使用以下代码： ```python from selenium import webdriver # 创建一个Chrome浏览器实例 driver = webdriver.Chrome() # 最大化浏览器窗口 driver.maximize_window() ``` 在这个例子中，我们首先导入了`webdriver`模块，然后创建了一个Chrome浏览器实例。接着，我们使用`maximize_window()`方法最大化了浏览器窗口。 这样，当你运行这个代码时，Selenium会打开一个Chrome浏览器窗口并将其最大化，以便你可以更好地查看爬取的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鲸鱼的眼泪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值