zhm9484的博客

原创 python爬虫 scrapy框架 知乎zhihu 模拟登陆

这几天了解了一下scrapy框架，想爬取知乎用户信息来练习一下。然后发现在进入每个用户的followers和followees网页时，需要用户登录，否则无法爬取。 上网搜索了一下资料，网上说是要将用户名和密码post 到 http://www.zhihu.com/login。但是试了一下发现不行。原来现在登陆是post到 http://www.zhihu.com/login/email 用chrome开发者工具看了一下登陆的过程，