工具和资料
- QQ群 - Javascript高级爬虫https://jq.qq.com/?_wv=1027&k=5Bcu3YU -作者自建群,欢迎加入!
- 中国商标网加密接口https://github.com/rockswang/wsjs.saic.mmewmd -仅做演示
- awesome-jave-crawlerhttps://github.com/rockswang/awesome-java-crawler - 作者收集的爬虫相关工具和资料
前言
这两天开始看puppeteer,发现居然也能被某数的前端js检测出来!?
github的issue区找了找,原来puppeteer启动的chrome里面,是有navigator.webdriver属性的,搞什么搞么,老外真是做那啥还要立牌坊......
方案1
issue区里看到的解决方案:
await this.page.evaluateOnNewDocument(() => {
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined,
});
}
但是说实话这个还是有点问题的,因为用"webdriver" in navigator还是能检测出来。
方案2
想找找到底哪个环节把"webdriver"属性加上的,但是文本搜索发现puppeteer源码中并没有......
后来chrome中用chrome:version看了一下命令行启动参数,结果发现了这个:"--enable-automation" ......
一看就有问题,为了确认特意搜了一下这个命令行参数的说明:
--enable-automation: Inform users that their browser is being controlled by an automated test.
确认了可以干掉了,启动chrome时加个忽略默认参数即可:
const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});