python爬虫 scrapy框架 知乎zhihu 模拟登陆
这几天了解了一下scrapy框架,想爬取知乎用户信息来练习一下。然后发现在进入每个用户的followers和followees网页时,需要用户登录,否则无法爬取。
上网搜索了一下资料,网上说是要将用户名和密码post 到 http://www.zhihu.com/login。但是试了一下发现不行。原来现在登陆是post到 http://www.zhihu.com/login/email
用chrome开发者工具看了一下登陆的过程,
原创
2015-08-11 17:00:33 ·
3535 阅读 ·
0 评论