![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫工具
初学者小龚
水滴汇成大海
展开
-
爬虫工具篇-ProxyBroker-代理IP管理
ProxyBroker是一个Python库,用于自动获取代理IP地址,实现爬虫的IP地址轮换和防封禁。它可以从多个代理IP来源获取代理IP地址,同时支持自定义代理IP来源。ProxyBroker支持多线程和异步处理,可用于高并发的爬虫场景。原创 2023-03-24 18:58:46 · 74967 阅读 · 2 评论 -
爬虫工具篇-fake_useragent_extended-随机请求头
fake_useragent_extended是一个基于fake_useragent的Python库,可以随机生成伪造的请求头信息。和fake_useragent相比,fake_useragent_extended增加了一些额外的功能,如随机生成浏览器插件信息、操作系统信息等。总之,fake_useragent_extended提供了一些额外的功能,可以更加灵活地生成随机请求头信息,使得爬虫更具有隐蔽性和稳定性。原创 2023-03-24 18:42:08 · 75065 阅读 · 51 评论