爬虫
文章平均质量分 64
我是一匹村民
这个作者很懒,什么都没留下…
展开
-
遇到http2.0的情况时,爬虫该怎么做
分享一个之前做做过的项目,一个美国的外卖平台Doordash.前期开发很顺利,程序正常跑了4个月左右 ,突然间网站改版,之前的接口位置并未改动,改版后还在那个原位置没有动,可是,一直请求不到,找了好长时间,才发现是http2.0的……话不多说,肝着!1.先看进入页面,通过charles 抓包工具进行抓包2.观察charles抓到包的信息3.发现抓到的包里 http请求是2.0的 http2.0对爬虫很不友好,因为requests不支持http2.0的请求,scrapy框架只是支持原创 2022-02-15 11:41:18 · 1140 阅读 · 0 评论 -
微信小程序手机本地抓包解析
部分微信小程序会有很严重的风控,在使用抓包工具时,发现无法抓取到任何有用的包,那就直接进手机的文件管理,找到手机本地产生的包环境:微信开发者工具wxappUnpackernode环境adb编译阶段:1.首先找到小程序的安装包,可以找个手机,点开小程序后,找到手机文件目录, 一般是这样的目录。/data/data/com.tencent.mm/MicromMsg/c6dxxxxxxxxxxxxx/appbrand/pkg/*.wxapkg2.把这些包从手机里导出原创 2022-02-14 17:53:50 · 11457 阅读 · 1 评论 -
海伦司公众号js逆向
采集地址:门店指引一.进行抓包分析1.get请求没有带有参数进行请求 请求成功 code码为12.过了两分钟后 url所带参数没变 请求失败 code码为-13.进行多次请求,进行数据对比上方数据发现time时间戳和authtoken字段在变 根据时间戳进行的数据加密二. 进入界面的sources寻找js文件 一般加密文件在webpack:// 进入webpack://寻找js内的加密token字段在在fetch.js文件内展...原创 2022-02-14 17:44:36 · 447 阅读 · 0 评论 -
抓包安卓7以上ca证书安装方法
电脑安装了Charles(其他抓包工具也是一样的原理) 一台已root手机(模拟器也可以,但部分app会检测) 电脑安装adb制作证书导出证书把证书(.pem格式)导出到本地路径,名称为charles.pem, 并到该路径打开cmd2.修改名称openssl x509 -inform PEM -subject_hash_old -in cacert.pem 将输出的类似 8efb32d4 的值进行复制重命名证书:格式 哈希值.数字 , 后缀数字用来区...原创 2022-02-14 16:36:47 · 2582 阅读 · 0 评论