Pyppeteer

目录

1.基本使用

2.理论背景：线程，进程，协程

3.谷歌浏览器的设置与使用（browse closed unexpectedly）

4.一段可以成功运行的代码

5.登陆淘宝

6.cookie设置

---

1.基本使用

（1）pyppeteer的github官网：https://miyakogi.github.io/pyppeteer/

源代码学习的一点小收获

a)打开chrome的命令结构：subprocess.Popen([谷歌路径，参数],**{'env':None}, shell=True)

b)Popen.poll()检查子进程是否已结束，设置并返回returncode属性。

Popen.poll() is None说明浏览器未关闭或已正常打开，否则说明浏览器异常关闭或没有正常打开

（2）这个帖子讲的很好：http://www.r9it.com/20171106/puppeteer.html

（3）法可以参照puppeteer的github官网，二者用法基本相似：

https://github.com/GoogleChrome/puppeteer/blob/v1.14.0/docs/api.md#

（4）一些问题的解决：http://www.cnblogs.com/baihuitestsoftware/p/10531462.html

（5）有一些不错的操作：https://cloud.tencent.com/developer/article/1388037

（6）忽略https错误

    //如果是访问https页面 此属性会忽略https错误
    ignoreHTTPSErrors: true,

 

2.理论背景：线程，进程，协程

（1）在def前加入async声明，就可以定义一个协程函数
（2）一个协程函数不能直接调用运行，只能把协程加入到事件循环loop中。asyncio.get_event_loop方法可以创建一个事件循环，然后使用run_until_complete将协程注册到事件循环，并启动事件循环。

（3）一些文档

python中yield的用法详解——最简单，最清晰的解释：https://blog.csdn.net/mieleizhi0522/article/details/82142856

Python Async/Await入门指南：http://www.cnblogs.com/dhcn/p/9032461.html
Python黑魔法 --- 异步IO（ asyncio） 协程：https://www.jianshu.com/p/b5e347b3a17c

3.谷歌浏览器的设置与使用（browse closed unexpectedly）

（1）下载符合要求的浏览器版本

浏览器好像没有自动下载，暂时没搞清楚，按下面的方法设置的了一下，调用一定要指出路径
puppetter安装就踩坑-解决篇：https://juejin.im/post/5b99c9ece51d450e51625630
浏览器下载后还需设置兼容性和管理员运行，并取消打开确认http://www.xitonghe.com/jiaocheng/Windows10-7809.html
pyppetter调用时要指出路径。通过按照源代码要求设置默认路径后可以直接调用chromium，繁琐麻烦没必要了。

pathtochrome = r'D:\software\chrome-win32\chrome.exe'
browser = await launch({'headless': False, 'args': ['--no-sandbox'], 'executablePath': pathtochrome})

（2）subprocess.Popen(["cat test.txt"])运行报错，subprocess.Popen(["cat test.txt"],shell=True)正确。pyppeteer源代码表述需要修改。launcher.py中找到如下代码

self.proc = subprocess.Popen(  # type: ignore
    self.cmd,
    **options,
)

在里面加一行

self.proc = subprocess.Popen(  # type: ignore
    self.cmd,
    **options,
    shell=True,
)

 （3）将目录下的浏览器打开后安装user agent switcher，设置好后。但是以后调用时不能访问手机页面，怎么访问手机页面还不着调。

4.一段可以成功运行的代码

# coding = uft-8
import asyncio
from pyppeteer import launch

async def main():
    # browser = await launch()
    pathtochrome = r'D:\software\chrome-win32\chrome.exe'
    browser = await launch({'headless':False, 'executablePath':pathtochrome})

    page = await browser.newPage()
    await page.goto('http://example.com')
    await page.screenshot({'path': 'example.png'})
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())
print(asyncio.get_event_loop().run_until_complete(main()))

5.登陆淘宝

https://blog.csdn.net/qq_42196922/article/details/85337709

 

6.cookie设置

async def main(username,pwd,url):
    pathtochrome = r'D:\software\chrome-win32\chrome.exe'
    # await self.page.setViewport({'width': 1080, 'height': 960})
    browser = await launch({'headless': False, 'executablePath': pathtochrome, 'deviceName': 'Nexus 5'})
    page = await browser.newPage()
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
    # 读取cookie
    for f in open('taobao.txt', 'r'):
        cookies = json.loads(f)
        await page.setCookie(cookies)
    await page.goto(url)
    time.sleep(20)
    await browser.close()

7.iframe

frame = page.iframe[num]  # num为所需要的frame在所有iframe中的编号

await frame.type('#J_StandardPwd input', pwd, {'delay':10})

8.page.evaluate

8.1  格式

page.evaluate('''js命令''')

JavaScript之查找元素：https://www.cnblogs.com/web-lexi/p/4295206.html

8.2  JS基础

（1）selector：https://developer.mozilla.org/en-US/docs/Web/CSS/CSS_Selectors

（2）==$0表示当前正在查看的内容，鼠标在F12Element中点到哪一行，后面就会有这个

（3）:before和:after是CSS中定义的伪元素,配合content属性，可以在元素的前面或后面插入新元素,content即插入元素的值,

这些添加不会出现在DOM中，不会改变文档内容，不可复制，仅仅是在css渲染层加入。所以不要用:before或:after展示有实际意义的内容，尽量使用它们显示修饰性内容，例如图标。https://blog.csdn.net/weixin_39181833/article/details/79774078

:before和:after的内容没有实际意义

遇到这种情况，直接找到点击后的下一页url，page.goto()该url

（4）定位并点击

await page.evaluate('''() => document.getElementsByClassName("text")[0].click()''')
await page.click(".search-button > button")  # 找到class为search-button的element，并找到其下的button标签执行点击
注：查找的classname 'submit icon-btn-search'这种中间有空格的是不可以的

 

 

 

 

9.pyppeteer.errors.NetworkError: Protocol error Runtime.callFunctionOn: Target closed.

模块安装了websockets 7，卸载后重新安装websockets 6.