python&爬虫
python的相关知识
基于python进行爬虫的相关知识
zhangxiao986
这个作者很懒,什么都没留下…
展开
-
基于python爬虫的几种方法
一 requests,json格式数据#1.获取链接url =#2.获取响应response = requests.get(url)response = response.content.decode()#3.提取数据response = json.loads(response) # json字符串→python字典#4.保存数据f.write...原创 2020-02-19 17:06:12 · 555 阅读 · 0 评论 -
Appium环境搭建
1.appium1.1搭建步骤严格按照下面两个链接搭建步骤,软件安装顺序也按照这两个链接Appium+python自动化1-环境搭建(上):https://www.cnblogs.com/yoyoketang/p/6128725.htmlAppium+python自动化2-环境搭建(下):https://www.cnblogs.com/yoyoketang/p/6128730.ht...原创 2019-06-02 17:31:53 · 108 阅读 · 0 评论 -
selenium一些操作与问题解决
目录1.selenium的chromedriver参数add_argument2.谷歌模拟手机浏览器3.selenium报错Element is not clickable at point解决方法4.'chromedriver' executable needs to be in PATH5.常用chrome浏览器插件1.selenium的chromedriver参数ad...原创 2019-05-06 19:44:30 · 714 阅读 · 0 评论 -
Pyppeteer
目录1.基本使用2.理论背景:线程,进程,协程3.谷歌浏览器的设置与使用(browse closed unexpectedly)4.一段可以成功运行的代码5.登陆淘宝6.cookie设置1.基本使用(1)pyppeteer的github官网:https://miyakogi.github.io/pyppeteer/源代码学习的一点小收获a)打开chrome的...原创 2019-06-02 17:32:49 · 1822 阅读 · 0 评论 -
mongodb下载与常用命令
查看当前的数据库:db查看所有的数据库:show dbs /show databases切换数据库:use db_name删除当前的数据库:db.dropDatabase()创建集合:向不存在的集合中第⼀次加⼊数据时, 集合会被创建出来手动创建结合:db.createCollection(name,options),db.createCollection("sub"...原创 2020-02-19 16:45:49 · 314 阅读 · 0 评论 -
win10下pycharm(python3.7)安装scapy
scapy无法通过settings直接点一点安装,这样安装完是无法正常使用的,主要安装方法如下:(1)安装好python3.7,我已经安装好(2)安装Npcap:https://nmap.org/npcap/#downloadwindows 平台安装这个,双击后一路next按照默认设置完成安装(3)安装scapy下载scapy源码:https://github.co...原创 2019-10-04 23:21:41 · 2222 阅读 · 1 评论 -
四种列表的插入方法及其效率
# coding:utf-8from timeit import timeitdef count_append(): lists = [] for x in range(0, 100000): lists.append(x)cost_time = timeit(stmt=count_append, number=1)print("append花费的时...转载 2019-06-02 17:37:22 · 766 阅读 · 0 评论