- 博客(3)
- 资源 (18)
- 收藏
- 关注
原创 爬虫出现Forbidden by robots.txt
说结论,关闭scrapy自带的ROBOTSTXT_OBEY功能,在setting找到这个变量,设置为False即可解决。 使用scrapy爬取淘宝页面的时候,在提交http请求时出现debug信息Forbidden by robots.txt,看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制,防止爬虫来抓取页面,于是在spider中填入各种header信息,伪装成浏览器,结果还是不行。。。用
2017-06-22 16:26:10 527
原创 org.eclipse.ui.ide.workbench could not be found in the registry
scala eclipse org.eclipse.ui.ide.workbench could not be found in the registry
2017-06-22 16:21:32 6436 3
异步校验jquery-ajax
2015-04-12
hibernate自动化工具
2014-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人