- 博客(4)
- 收藏
- 关注
RSS订阅原创 遇到http2.0的情况时，爬虫该怎么做
分享一个之前做做过的项目,一个美国的外卖平台Doordash.前期开发很顺利,程序正常跑了4个月左右 ，突然间网站改版，之前的接口位置并未改动，改版后还在那个原位置没有动，可是，一直请求不到，找了好长时间，才发现是http2.0的……话不多说，肝着！1.先看进入页面，通过charles 抓包工具进行抓包2.观察charles抓到包的信息3.发现抓到的包里 http请求是2.0的 http2.0对爬虫很不友好，因为requests不支持http2.0的请求，scrapy框架只是支持
2022-02-15 11:41:18
1163
原创 微信小程序手机本地抓包解析
部分微信小程序会有很严重的风控，在使用抓包工具时，发现无法抓取到任何有用的包，那就直接进手机的文件管理，找到手机本地产生的包环境:微信开发者工具wxappUnpackernode环境adb编译阶段：1.首先找到小程序的安装包，可以找个手机，点开小程序后，找到手机文件目录, 一般是这样的目录。/data/data/com.tencent.mm/MicromMsg/c6dxxxxxxxxxxxxx/appbrand/pkg/*.wxapkg2.把这些包从手机里导出
2022-02-14 17:53:50
11484
1
原创 海伦司公众号js逆向
采集地址：门店指引一.进行抓包分析1.get请求没有带有参数进行请求 请求成功 code码为12.过了两分钟后 url所带参数没变 请求失败 code码为-13.进行多次请求，进行数据对比上方数据发现time时间戳和authtoken字段在变 根据时间戳进行的数据加密二. 进入界面的sources寻找js文件 一般加密文件在webpack:// 进入webpack://寻找js内的加密token字段在在fetch.js文件内展...
2022-02-14 17:44:36
461
原创 抓包安卓7以上ca证书安装方法
电脑安装了Charles(其他抓包工具也是一样的原理) 一台已root手机(模拟器也可以,但部分app会检测) 电脑安装adb制作证书导出证书把证书(.pem格式)导出到本地路径,名称为charles.pem, 并到该路径打开cmd2.修改名称openssl x509 -inform PEM -subject_hash_old -in cacert.pem 将输出的类似 8efb32d4 的值进行复制重命名证书:格式 哈希值.数字 , 后缀数字用来区...
2022-02-14 16:36:47
2613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人