反爬技术研究 —— 网站是通过什么方式来发现爬虫的? 记录下目前已知的几种。 请求头header,user-agent:用scrapy编写时务必修改其默认值。单一IP非常规的访问频次。单一IP非常规的数据流量。大量重复简单的网站浏览行为。只下载网页,没有后续的js、css请求。chromedriver浏览器参数识别,跟安装的浏览器不一致。通过设置一些陷阱来发现爬虫,例如一些通过CSS对用户隐藏的链接,只有爬虫才会访问到。云端AI技术:分析用户行为 案例网站: 妈妈网:https://www.mama.cn/辣妈帮:http://www.lamabang.com/淘宝网:https://www.taobao.com/