使用 pyppeteer 碰到的错误

pyppeteer 实在是有点坑,坑太多了,填不完。

使用 pyppeteer 碰到的错误

  • pyppeteer.errors.ElementHandleError: Error: failed to find element matching selector ".btn_ok"

    我使用了下面的代码后出现的:为了实现检测元素是否存在,存在则程序结束,不存在则重试

    btn_ok = await page.Jeval('.btn_ok', 'node => node.style')

    mark

    解决办法:

    btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]')

    但是使用这个之后,当滑动失败之后,重现刷新滑动验证码之后,又会出现下面的错误。

    更新(2020-01-20):

    之前的理解错误了,这个根本原因是执行关闭浏览器 await browser.close() 的时候没有权限删除用户的浏览数据。

    解决办法:

    定义浏览器的时候设置参数 'userDataDir': r'D:\temporary',指定一个用户可以执行的目录,这样的话就可以了。

    但是这样的话,相当于保存了用户的浏览数据。

    可能又会碰到这么个错误,事件循环打开浏览器后,并没有执行,直接返回结果

    看了一下文档,调用 createIncogniteBrowserContext()直接打开一个无痕浏览器。这样就爽多了

    关闭的时候需要注意分开关闭,无痕关闭,正常打开的浏览器也需要关闭。

  • pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

mark

解决办法:这是由于库本身的问题。pyppeteer 库的问题。

mark

具体可参考 天猫淘宝知乎爬虫神器 – Pyppeteer

也可以降低 websockets 的版本,改为 6.0 的版本

pip install websockets==6.0

这样问题就会少很多

我的公众号

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
sctapy是一个基于Python的数据采集框架,而pyppeteer是它所使用的一个模块。pyppeteer是一个无头浏览器(Headless Browser)的Python库,它提供了与浏览器进行交互和操作的能力。 使用sctapy和pyppeteer进行数据采集是非常便捷和灵活的。首先,我们需要安装pyppeteer库,并且确保安装好了相关的依赖,如Chrome浏览器。然后,我们可以使用pyppeteer启动一个无头浏览器实例,并且模拟用户在浏览器中的操作,比如点击、输入等。同时,我们可以通过pyppeteer获取浏览器当前的页面内容,包括HTML、CSS和JavaScript执行的结果。 使用pyppeteer的过程可以分为以下几个步骤:首先,我们需要导入pyppeteer模块,并创建一个事件循环(Event Loop)。然后,我们通过pyppeteer的launch函数启动一个无头浏览器实例,并创建一个新的页面对象。接下来,我们可以使用页面对象的方法来模拟用户的操作,比如点击、输入和滚动等。同时,我们可以通过页面对象的方法来获取页面的内容,比如获取页面的HTML代码或者特定元素的文本内容。最后,我们需要关闭浏览器实例,释放资源。 总体而言,sctapy结合pyppeteer可以帮助我们方便地进行网络数据的采集和处理工作。通过使用无头浏览器模拟用户行为,我们可以爬取动态网页上的数据,并进行更加复杂的数据处理和分析。同时,pyppeteer提供了丰富的API和功能,使得我们能够更加精确和高效地控制浏览器的行为和获取页面内容。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

裸睡的雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值