Scrapy设置User-Agent随机代理

最新推荐文章于 2024-04-17 13:54:10 发布

zhb1nk

最新推荐文章于 2024-04-17 13:54:10 发布

阅读量961

点赞数

本文链接：https://blog.csdn.net/zhaohaibo_/article/details/105242805

版权

本文介绍了如何在Scrapy中利用fake-useragent库设置User-Agent的随机代理，以避免因网站识别爬虫导致的访问限制。通过安装fake-useragent，创建RandomUserAgentMiddleware中间件，并在settings中配置，可以在每个请求中动态改变User-Agent。

摘要由CSDN通过智能技术生成

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些爬虫被网站禁止，但通过伪装 UA 可以绕过检测。

常见的User-Agent形式如：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36

本文解决的是Scrapy设置随机用户代理池的方法，使用到的是fake-useragent。

安装fake-useragent
pip install fake-useragent

在Scrapy中建立一个RandomUserAgentMiddlware:

from fake_useragent import UserAgent
class RandomUserAgentMiddlware(object):
    # 随机更换user-agent
    def __init__(self, crawler):
        super(RandomUserAgentMiddlware, self).__init__()
        self.ua = UserAgent()
        self.ua_type