Python
皮蛋瘦肉没有肉
红灯需硬闯,马路要横穿
展开
-
抓包工具Charles安装与使用(大多数人都会遇到的问题)
一、下载Charles 我这里使用的版本是4.2,目前最新版本是4.2.7。 下载地址:https://www.charlesproxy.com/download/latest-release/ 注册码(亲测可用): Registered Name: https://zhile.io License Key: 48891cf209c6d32bf4 二、配置Charles 1.启动...原创 2019-01-13 13:47:09 · 885 阅读 · 0 评论 -
最新!python模拟登陆知乎
想爬一些知乎的数据,但过程并不顺利,这几天看了网上很多大神的帖子,最近的也是18年8月的。目前知乎改版,网上现有的方法全部都不能登陆了,会报参数异常的错误。 捣鼓了好久,曲线救国,2种方法 一、selenium 用selenium模拟浏览器登陆,首先QQ要在电脑上登陆,python代码自动打开chrome浏览器,选择以QQ登陆的方式登陆知乎,这里需要人工点一次登陆才行。真的是曲线救国。。。。...原创 2019-01-14 11:35:18 · 518 阅读 · 1 评论 -
爬虫必备良药(一)——设置随机User-Agent
前言 最近在自学爬虫,琢磨各种防封、防反爬虫措施,于是乎想自己收集一些user-agent用来做随机header,偶然发现github上有一个专门提供随机ua的库,遂记录之 GitHub 名称:fake-useragent Demo setting.py DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddleware.usera...原创 2019-01-22 10:19:09 · 987 阅读 · 0 评论