
爬虫
文章平均质量分 66
zhangzeyuaaa
这个作者很懒,什么都没留下…
展开
-
Chrome控制台的妙用之使用XPATH
谷歌浏览器,对于作为程序员的我们来说可以是居家必备了,应该用的相当的熟悉了,我们用的最多的应该是network选项吧,一般用来分析网页加载的请求信息,比如post参数之类的,这些基本的功能基本上够用了,今天我说的不是network模块,而是console命令模块的使用,关于console命令的使用网上也有很多的介绍了,但是大多数的都是互相抄袭,根本不知道谁才是作者,在此和大家分享一下 谷歌控制台的命令的妙用。通过网上的信息我得知目前控制台方法和属性有:["$$", "$x", "dir", "转载 2021-12-28 14:11:30 · 3585 阅读 · 1 评论 -
玩转FiddlerScript(自定义函数)
模拟场景: 脚本实现阻塞请求A,等待N秒之后,自动放行请求A因为项目的业务逻辑,需要模拟这样的场景,刚开始我也很纠结郁闷,觉得无从下手,还不如手工来的快一些,因为涉及到时间,又不敢保证每次手工操作的准确性。没办法,只能硬着头皮啃这个大难题,后来我就把这个问题一步步拆解,化繁为简,之后再逐渐攻克每一个难点,这样就在不知不觉中解决了这个疑难杂症。思路: 第一问: 如何让请求阻塞呢?之前都是在界面上执行命令,bpu *** ,bpafter ** ,怎么用脚本来实现遇到请求A就自动拦截呢?这个我们转载 2021-08-07 23:27:50 · 994 阅读 · 0 评论 -
Fiddler高级用法—FiddlerScript抓取app网页json数据并保存
目录1|0FiddlerScript1|1环境搭建1|2简单Fiddler Script1|3show you mine code2|0写在最后:2|1环境问题:2|2Fiddler Script脚本问题:1|0FiddlerScript1|1环境搭建官网下载:https://www.telerik.com/fiddler安装步骤参照下面这篇文章(安装证书抓取https皆有详细步骤):https://www.cnblogs.com/liulinghua90/p/91转载 2021-08-07 23:08:38 · 2793 阅读 · 0 评论 -
解决Fiddler无法抓取ios端HTTPS请求的问题
近日公司服务升级,将所有的接口请求由HTTP升级为了HTTPS,升级后在手机中安装了Fiddler的证书,Android端抓取HTTPS请求一切正常,可是在ios端抓取HTTPS请求时一直提示“此服务器的证书无效”搜索后发现,ios10.3以后,安装了证书不是默认启动的,需要从设置中手动开启,下面记录下整个操作流程以备后用。1、安装证书启动Safari,输入Fiddler所在机器的IP地址和端口号(如192.168.1.129:8888)打开Fiddler证书页面,点击“FiddleRoot ce转载 2021-08-07 22:22:56 · 2087 阅读 · 0 评论 -
fiddler更新后证书导出和报错的坑(The root certificate could not be located.)
用过fiddler的,大家都知道它的强大。不过每次打开它总会弹出提示更新的对话框,很烦!在设置里可以取消掉更新提示!在fiddler正常使用的情况下,不建议去更新新版本。打开fiddler时update更新提示框:证书导出报错:The root certificate could not be located.打开浏览器浏览网页时证书报错:Creation of the root certificate was not succesful.没办法,小编为了解决fid...转载 2021-08-07 22:14:26 · 2852 阅读 · 0 评论 -
通过mitmproxy代理抓取头条用户文章列表(selenium(Chrome浏览器) Java版)
头条(https://www.toutiao.com/c/user/50083450127/#mid=50083839790)引入了反爬虫机制,下面通过代理,注入JS代码,修改相关环境变量,越过爬虫检测。一、下载mitmproxy下载mitmproxywindows版:https://www.mitmproxy.org/downloads/#5.1.1/二、安装mitmproxy...原创 2020-05-07 08:29:21 · 813 阅读 · 1 评论