爬虫
中国好小伙-_-
这个作者很懒,什么都没留下…
展开
-
Python爬取数据的注意事项
1、F12->network-XHR:ajax是个好东西,好多数据直接异步加载,切记不能忽略!2、Scrapy爬取某网站数据,在settting中延迟设为1秒,单IP,无代理,9级request跳转(包含FormRequest),最后一级(第10级)yield item.平均5秒完成一条数据入库(MongoDB)3、有些请求的headers中,Referer的值为空或者None,也必...原创 2017-07-24 17:29:58 · 902 阅读 · 0 评论 -
Appium注意事项
1、安装时,一定注意配置Android_Home环境变量,不然导致的结果就是appium认为没有可连接的device原创 2018-06-27 17:08:49 · 285 阅读 · 0 评论 -
Mitmproxy注意事项
1、安装证书时,连接mitmdump所启动的代理后,访问mitm.it网站,然后选择设备类型的证书,安装即可原创 2018-06-28 16:01:46 · 2456 阅读 · 0 评论 -
字体反爬代表
1. 分析1.1 定位目标元素 1.2 查看网页源代码 1.3 requests 请求提取得到大量错误信息对比猫_眼_电_影抓取到unicode编码,天_眼_查混合使用正常字体和自定义字体,难点在于如何从 '红' 转化为 '美'。一开始认为一定有js进行了转化,最后发现直接通过 FontCreator 搜索 '红' 返回结果为 '美' 。。。 1.4...转载 2018-10-19 11:59:25 · 1257 阅读 · 0 评论 -
windows win32 API大全
【1】. API之网络函数 WNetAddConnection :创建同一个网络资源的永久性连接 WNetAddConnection2 :创建同一个网络资源的连接 WNetAddConnection3 :创建同一个网络资源的连接 WNetCancelConnection :结束一个网络连接 WNetCancelConnection2 :结束一个网络连接 WNetCloseEnum :结...转载 2018-10-29 18:21:36 · 9419 阅读 · 0 评论