selenium 反爬虫识别特征处理

最新推荐文章于 2024-08-21 21:48:28 发布

zhang_qings

最新推荐文章于 2024-08-21 21:48:28 发布

阅读量1k

点赞数

分类专栏： selenium 使用技巧文章标签：爬虫 selenium python

本文链接：https://blog.csdn.net/zhang_qings/article/details/122360843

版权

selenium 使用技巧专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了两种方法避免网站识别Selenium为爬虫：一是通过添加`excludeSwitches`选项，二是使用`--disable-blink-features`。然而，长期使用后仍需不断寻找更新解决方案。

摘要由CSDN通过智能技术生成

因为业务中发现网站对selenium特征识别为爬虫了，因此在搜索引擎中搜索进行处理

方式一

# 实例化一个浏览器对象
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
if sys.platform == "win32":
    browser = webdriver.Chrome(driver_path, options=options)
else:
    browser = webdriver.Chrome(options=options)
browser.implicitly_wait(30)
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})

此方法虽然可以躲避识别，但是在使用过一段时候后，依然出现被屏蔽的问题。

因此只有继续搜索然后再stackoverflow 中又找到了新的答案。

方式二（推荐）#

# 实例化一个浏览器对象
options = webdriver.ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
if sys.platform == "win32":
    browser = webdriver.Chrome(driver_path, options=options)
else:
    browser = webdriver.Chrome(options=options)