selenium 接管浏览器

参考：https://www.shuzhiduo.com/A/ke5j06Vmzr/

一、问题
使用selenium自动化测试爬取知乎的时候出现了：错误代码10001：请求异常请升级客户端后重新尝试，这个错误的产生是由于知乎可以检测selenium自动化测试的脚本，因此可以阻止selenium的继续访问。这也算是比较高级的反爬取措施。

二、解决
解决方法，使用自己打开的一个浏览器，再用selenium接管这个浏览器这样就可以完成反爬的处理。
1.建议一个新的映射，以保存原来的chrome不被污染
1)添加环境变量
将chrome.exe放入系统环境变量中，找到驱动位置添加变量，如果没找到，最快的方法就是点击图标右键，点击访问文件地址
chrome.exe位置

快捷访问方式，在菜单栏同样可以

2)新建一个存放新环境的文件夹并映射
使用指令【chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\data_info\selenium_data"】
其中--remote-debugging-port是建立新的移植位置，其中端口后面会使用(自定义)， --user-data-dir是数据存储的目录(自定义)

此时会打开一个网页放着就行，不能关闭，如果关闭了，需要指令【chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\data_info\selenium_data"】重新打开，在打开的网页访问“127.0.0.1:9222”，若能访问成功，可，不行重新检查以上步骤

2.selenium代码接管
通过下面的代码就可以登录知乎

import time
import json
 
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
 
class ZhiHu:
    def __init__(self):
        self.url = 'https://www.zhihu.com/'
        self.chrome_options = Options()
        self.chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")  #  前面设置的端口号
        self.browser = webdriver.Chrome(executable_path=r'E:\Environment\python_global\Scripts\chromedriver.exe', options=self.chrome_options)  # executable执行webdriver驱动的文件
 
    def get_start(self):
        self.browser.get(self.url)
        # time.sleep(20)  # 可以选择手动登录或者是自动化，我这里登录过就直接登陆了
        info = self.browser.get_cookies()  # 获取cookies
        print(info)
        with open(r"..\download_txt\info.json", 'w', encoding='utf-8') as f:
            f.write(json.dumps(info))
 
if __name__ == '__main__':
    zhihu = ZhiHu()
    zhihu.get_start()

三、结果展示

四、总结
利用这个selenium接管正在使用的浏览器就可以绕过知乎的反爬，当然也可以做更多的爬虫，selenium在爬虫的使用中还是有重要的地位，偷懒一点就可以使用这个。这种方法可以获取cookies这样在使用其他的爬虫，就可以使用这个cookies会加快爬取的效率，以及突破不适用浏览器的反爬措施。这引起我们另一个思考，我们直接接管我们正常的chrome好像更加的高效，这个可以以后的学习中尝试一下。