python
文章平均质量分 51
zhangge3663
这个作者很懒,什么都没留下…
展开
-
Python进阶 -- 3.处理CSV格式
CSV文件格式将数据作为一系列以逗号分隔的值(CSV)(1). 分析CSV文件头import csvfilename = '111.csv'with open(filename) as f: reader = csv.reader(f) header_row = next(reader) print(header_row)(2).打印文件头及其位置import csvfilename = '111.csv'with open(filename) as转载 2021-03-08 10:23:05 · 171 阅读 · 0 评论 -
Python中json.loads()无法解析单引号字符串问题的两种解决方法
目录1、json文件的保存与加载2、json.loads()无法解析单引号字符串问题3、解决方案方案一:替换单引号方案二:在使用json.loads()前使用eval()和json.dumps()进行处理1、json文件的保存与加载一般来说,我创建字典、保存为json文件、加载json文件的常用做法如下面代码所示。import json# 创建字典dict = {}dict['id'] = 'cc695906217'dict['name'] = '种冲'# 打印转载 2021-02-20 19:14:36 · 2727 阅读 · 0 评论 -
几种无监督学习示例
无监督学习模型是识别无标签数据结构的模型。这里简单介绍几种的无监督学习算法。分别是主成分分析(PCA)、高斯混合模型、流形学习算法(Isomap)。1.主成分分析(PCA)这里使用鸢尾花数据集进行演示,将它降维到两个维度,然后再可视化。其实,降维的任务是要找到一个可以保留数据本质特征的低维矩阵来描述高维数据,理解数据中的主要方差,降维通常用于辅助数据可视化工作的。当然,PCA并不是一个队每个高维数据集都有效的算法,数据集中的异常点会影响PCA的效果。因为这个缺点,很多PCA变体被开发出来了,在skl转载 2021-02-03 13:41:16 · 1908 阅读 · 0 评论 -
小白都看得懂的监督学习与无监督学习
hello~一晃就十一月啦!开始写简书也半个月啦!之前对机器学习中的监督学习与无监督学习,只是有个概念,前几天学习知识的时候,又遇到了,所以打算好好记录下来。在理解监督学习和无监督学习之前,我们先来聊一聊什么是机器学习(ML)?机器学习:首先呢,学习可以称为一个举一反三的过程,举个栗子:我们在学生时代经常参加的考试,考试的题目在上考场前我们未必做过,但是在考试之前我们通常都会刷很多的题目,通过刷题目学会了解题方法,因此考场上面对陌生问题也可以算出答案。机器学习的思路也类似:我们可以利用一些训转载 2021-02-03 13:07:08 · 267 阅读 · 0 评论 -
python读取文件最后一行
处理文件时,一个常见的需求就是读取文件的最后一行。那么这个需求用python怎么实现呢?一个朴素的想法如下:with open('a.log', 'r') as fp: lines = fp.readlines() last_line = lines[-1]即使不考虑异常处理的问题,这个代码也不完美,因为如果文件很大,lines = fp.readlines()会造成很大的时间和空间开销。解决的思路是用将文件指针定位到文件尾,然后从文件尾试探出一行的长度,从而读取最后一行。代码转载 2021-01-20 17:37:41 · 8163 阅读 · 0 评论 -
Python类的定义和使用
为了代码的编写方便简洁,引入了类的定义;一般,使用 class 语句来创建一个新类,class之后为类的名称(通常首字母大写)并以冒号结尾,例如:<span style="color:#000000"><code>class Ticket(): def __init__(self,checi,fstation,tstation,fdate,ftime,ttime): self.checi=checi self.fstation=fsta转载 2021-01-17 20:29:55 · 2113 阅读 · 0 评论 -
python类的使用(类定义,构造器,类属性,方法)
注:这里只描述使用方法,具体类的概念长篇大论就不要为难我这个懒人了。总之一句话编程语言只是一个工具,会用就行,好用就行。打破砂锅问到底,我觉得有必要研究一下C,汇编,电子链路等。class cltdy: #定义类,并起一个名字 n = 1000 #类属性,类内的变量 def __init__(self,name,age,profession='IT民工'): #构造函数,类接收外部传入参数全靠构造函数 self.name = name se转载 2021-01-17 20:28:46 · 201 阅读 · 0 评论 -
python调用其它文件函数或类
B.py调用A.py的函数或类(B.py和A.py在同一个文件夹下)调用函数A.py文件:def add(x,y): print('和为: %d'%(x+y))B.py文件:import AA.add(1,2)或者:from A import addadd(1,2)调用类:A.py文件:class A: def __init__(self,xx,yy): self.x = xx self.y = yy转载 2021-01-14 10:09:22 · 170 阅读 · 0 评论 -
解决pip is configured with locations that require TLS/SSL问题
python3.7安装, 解决pip is configured with locations that require TLS/SSL问题1.安装相关依赖yum install gcc libffi-devel zlib* openssl-devel libffi-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make -y2.下载并解压wge转载 2020-09-30 11:51:42 · 3132 阅读 · 0 评论 -
python3安装过程中出现的ssl问题,No module named _ssl或者renaming “_ssl“ since importing it failed
如果安装Python或者运行Python的时候报了上面的错误,那么首先你需要确定自己是否安装了openssl,若安装了openssl,请确定openssl的安装位置及lib和include被安装在哪里,另外在/usr/lib64中是否有libssl.so.1.1和libcrypto.so.1.1等文件,一般而言openssl的lib及include位置为/usr/local/lib64/ 或 /usr/local/lib/ 或 /usr/local/openssl/lib/及/usr/local/inc..转载 2020-09-30 09:06:13 · 1131 阅读 · 0 评论 -
解决: pip install 由于目标计算机积极拒绝,无法连接
在虚拟环境pip install时,一开始我以为只是第三方包的问题,但是后面pip Install都这样:WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', NewConnectionError('<pip._vendor.urllib转载 2020-09-29 15:26:38 · 9070 阅读 · 6 评论 -
linux安装xgboost快速高效方法
1.先安装gitubuntu: apt-get install gitcentos: yum install git2.下载xgboost仓库,注意有--recursive(有子模块)git clone --recursive https://github.com/dmlc/xgboost.gitcd xgboost./build.shcd python-packagepython setup.py install3.测试pythonimport xg.转载 2020-09-27 17:16:08 · 595 阅读 · 0 评论 -
pandas.DataFrame()的基本操作
感觉上pandas的DataFrame就像numpy中的矩阵,不过它拥有列名和索引名,实际操作起来会更方便一些。如:df = pd.read_clipboard()df.columnsdf.Ratingsimport numpy as npimport pandas as pdfrom pandas import Series, DataFrame# 使用 浏览器 打开 某网址#import webbrowser#link = 'https://www.tiobe.com/转载 2020-09-25 16:17:52 · 118 阅读 · 0 评论 -
python数据分析之pandas里的Series
1 Series线性的数据结构,series是一个一维数组Pandas会默认用0到-1来作为series的index,但也可以自己指定index(可以把index理解为dict里面的key)1.1 创造一个series数据import pandas as pdimport numpy as nps = pd.Series([9, 'zheng', 'beijing', 128])print(s)打印0 91 zheng2 ...转载 2020-09-25 15:52:56 · 514 阅读 · 0 评论 -
jupyter命令把.ipynb文件转化为.py文件
在当前文件夹下面按下Shift + 右键 打开cmd终端然后输入:jupyter nbconvert --to script *.ipynb就能把当前文件夹下面的所有的.ipynb文件转化为.py文件转载 2020-09-16 16:55:29 · 207 阅读 · 0 评论 -
第二届高校大数据比赛之鼠标轨迹识别
比赛地址http://bdc.saikr.com/c/cql/34541赛题鼠标轨迹识别当前广泛运用于多种人机验证产品中,不仅便于用户的理解记忆,而且极大增加了暴力破解难度。但攻击者可通过黑产工具产生类人轨迹批量操作以绕过检测,并在对抗过程中不断升级其伪造数据以持续绕过同样升级的检测技术。我们期望用机器学习算法来提高人机验证中各种机器行为的检出率,其中包括对抗过程中出现的新的攻击手段的检测。数据格式评测指标F = 5PR/(2P+3R)*100数据读取和处理######数据转载 2020-09-15 13:55:29 · 1074 阅读 · 0 评论 -
大数据挑战赛-鼠标轨迹识别
大数据挑战赛-鼠标轨迹识别,竞赛官网:http://bdc.saikr.com/c/cql/345411.我们看一下整个竞赛的详情赛题描述 鼠标轨迹识别当前广泛运用于多种人机验证产品中,不仅便于用户的理解记忆,而且极大增加了暴力破解难度。但攻击者可通过黑产工具产生类人轨迹批量操作以绕过检测,并在对抗过程中不断升级其伪造数据以持续绕过同样升级的检测技术。我们期望用机器学习算法来提高人机验证中各种机器行为的检出率,其中包括对抗过程中出现的新的攻击手段的检测。比赛数据 本题目...转载 2020-09-15 12:01:48 · 2769 阅读 · 2 评论 -
大数据挑战赛(大佬篇)
相对于我的杂乱无章,dalao们做比赛时将每个环节分文件处理,这样好看也好改,分别分为以下几个步骤:1.数据处理2.特征选择3.调参4.模型融合5.过拟合的处理在做特征提取时,可以提取得到的数据都提取了12种特征,一共提取了大概一百多个特征...可能这就是我与大佬的差距。这是特征提取的代码:# -*- coding: utf-8 -*-"""Created on Sat Jul 8 10:45:13 2017@author: YangE-mail: xieear转载 2020-09-14 20:48:20 · 987 阅读 · 0 评论 -
PyAutoGUI——图形用户界面自动化
PyAutoGUI模块通过屏幕xy坐标系统确定目标位置,控制鼠标和键盘发送虚拟击键和鼠标点击,完成点击按钮、填写表单等操作,在没有模块对应你要操作的无聊任务的时候,也不失为一个不错的选择。PyAutoGUI的坐标轴系统pyautogui的鼠标函数使用x,y坐标,原点在屏幕左上角,向右x坐标增加,向下y坐标增加,所有坐标都是正整数,没有负数坐标。如图所示:pyautogui.size() #返回屏幕宽高像素数的元组 .转载 2020-09-14 15:52:48 · 343 阅读 · 0 评论 -
Python控制鼠标和键盘-PyAutoGUI用法详解
PyAutoGUI——让所有GUI都自动化安装命令:pip install pyautogui1.简介1.1 目的PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,多平台支持(Windows,OS X,Linux)。可以用pip安装,Github上有源代码。下面的代码让鼠标移到屏幕中央。import pyautoguiscreenWidth, screenHeight = pyautogui.size()pyautogu转载 2020-09-14 15:50:04 · 789 阅读 · 0 评论 -
使用pyppeteer爬取淘宝商品
之前我用pyppeteer绕过了淘宝登录时对于web driver的检测,但是这并不意味这登录后就没有检测了,今天我就来以爬取搜索关键字得到的商品名称为例操作一下。整个过程有 4 步:1.登录,2.输入关键字并点击搜索,3.滑到最底部并获取数据,4.点击下一页,然后重复步骤 3,4 直到没有下一页(实际上一个账号并不能每一页全部爬完,要想全部爬完可能要买或者借账号,下面的教程我只爬前几页的数据)。然后就是要搭好一个框架,为了让程序看起来简单,我就使用面向对象的设计方法来设计这个程序,大致代码如下.转载 2020-08-24 17:14:07 · 1118 阅读 · 0 评论 -
Python爬虫神器pyppeteer
简介pyppeteer是非官方 Python 版本的 Puppeteer 库,浏览器自动化库,由日本工程师开发。Puppeteer是 Google 基于 Node.js 开发的工具,调用 Chrome 的 API,通过 JavaScript 代码来操纵 Chrome 完成一些操作,用于网络爬虫、Web 程序自动测试等。pyppeteer使用了 Python 异步协程库asyncio,可整合 Scrapy 进行分布式爬虫。pyppeteer维护得不好;puppet 木偶;puppet...转载 2020-08-24 16:30:47 · 1022 阅读 · 0 评论 -
pyppeteer:比selenium更高效的爬虫利器
pyppeteer github地址:https://github.com/miyakogi/pyppeteerpyppeteer 英文文档地址:https://miyakogi.github.io/pyppeteer/pyppeteer 官方文档 API Reference:https://miyakogi.github.io/pyppeteer/reference.htmlpuppeteer(Nodejs版 selenium)快速入门:https://blog.csdn.net/f.转载 2020-08-24 15:15:18 · 1545 阅读 · 0 评论 -
Python网络爬虫--Scrapy使用IP代理池
自动更新IP池写个自动获取IP的类proxies.py,执行一下把获取的IP保存到txt文件中去:代码# *-* coding:utf-8 *-*import requestsfrom bs4 import BeautifulSoupimport lxmlfrom multiprocessing import Process, Queueimport randomimport jsonimport timeimport requestsclass Proxies(objec转载 2020-06-10 15:23:14 · 1831 阅读 · 1 评论 -
builtins.ModuleNotFoundError: No module named ‘’scrapy.contrib‘’
builtins.ModuleNotFoundError: No module named 'scrapy.contrib'错误原因: 旧模块被弃用解决办法查看对应自己所用scrapy版本的官方文档,找到解决办法。将上述代码修改如下,问题解决。DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, 'scrapy.downloadermid转载 2020-06-10 14:53:46 · 1844 阅读 · 0 评论 -
selenium webdriver 启动三大浏览器Firefox,Chrome,IE
一、安装Python3 1.进入Python官方网站: https://www.python.org/downloads/下载并安装最新版本的Python(建议安装Python3)>下面是Python官网上几个版本的区别: (1) .web-based installer是需要通过联网完成安装的 (2) .executable installer 是...转载 2020-02-11 18:22:10 · 384 阅读 · 0 评论 -
Python3解决UnicodeDecodeError:'utf-8' codec can't decode byte..问题终极解决方案
0x00 问题引出:最近在做一个买房自动化分析Python脚本,需要爬取网页。在使用urllib获取reqest的response的时候,还要进行解码。见语句:result = res.decode('utf-8')当执行该语句的时候,会造成异常:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in p...转载 2020-01-15 14:19:37 · 4782 阅读 · 0 评论 -
php短信接口开发(http协议)
作为公司的一名技术,每天会碰到很多新手朋友咨询有关短信接口开发的问题,下面就以php语言为例为大家介绍下短信接口如何开发。一、接口说明1、提交方式与编码http请求都应以POST形式提交,编码为UTF-82、请求地址请求地址(host)为: http://www.lx198.com/sdk/不同的协议拥有不同的提交地址 方式是在以上地址后面增加相应的地址;3、准备工作...转载 2019-12-24 20:16:53 · 407 阅读 · 0 评论 -
使用python实现往手机发短信(基于twilio)
目的:使用twilio给你的手机发短信。Twilio是一个位于加利福尼亚的云通信(PaaS)公司。Twilio允许开发者通过使用它提供的API进行编程来接电话,收发短信等。先来看一下效果图:再来看一下代码:from twilio.rest import TwilioRestClient# 下面认证信息的值在你的twilio账户里可以找到account_sid = "AC...转载 2019-12-24 18:01:22 · 1769 阅读 · 1 评论 -
POP3收取邮件
SMTP用于发送邮件,如果要收取邮件呢?收取邮件就是编写一个MUA作为客户端,从MDA把邮件获取到用户的电脑或者手机上。收取邮件最常用的协议是POP协议,目前版本号是3,俗称POP3.Python内置一个poplib模块,实现了POP3协议,可以直接用来收邮件。注意到POP3协议收取的不是一个已经可以阅读的邮件本身,而是邮件的原始文本,这和SMTP协议很像,SMTP发送的也是经过编码后...转载 2019-12-24 17:30:03 · 559 阅读 · 0 评论 -
SMTP发送邮件
SMTP是发送邮件的协议,Python内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块,email负责构造邮件,smtplib负责发送邮件。首先,我们来构造一个最简单的纯文本邮件:from email.mime.text import MIMETextmsg = MIMEText("hello,...转载 2019-12-24 15:47:13 · 1194 阅读 · 0 评论 -
Python3+WebSockets实现WebSocket通信
一、说明1.1 背景说明前端时间同事说云平台通信使用了一个websocket的东西,今天抽空来看一下具体是怎么个通信过程。从形式上看,websocket是一个应用层协议,socket是数据链路层、网络层、传输层的抽象;从应用场合上看,websocket可以使用javascript实现,而socket不能用javascript实现;从实际效果上看,和一般的socket连接用起来没什么区别...转载 2019-12-03 14:32:43 · 2386 阅读 · 2 评论 -
python中判断变量的类型
转自:https://www.cnblogs.com/xmnote/p/9334743.htmlpython的数据类型有:数字(int)、浮点(float)、字符串(str),列表(list)、元组(tuple)、字典(dict)、集合(set)一般通过以下方式进行判断:1、isinstance(参数1,参数2)描述:该函数用来判断一个变量(参数1)是否是已知的变量类型(参数2)类...转载 2019-04-18 12:17:36 · 226 阅读 · 0 评论 -
Python3--unitest框架的使用
转载地址:https://blog.csdn.net/u013378642/article/details/82386226Selenium自动化测试-unittest单元测试框架使用unittest官方文档一、前置条件(setUp)、后置条件(tearDown)和Test Suite的使用#文件名: test_case01.py#coding=utf-8import uni...转载 2019-03-06 14:15:05 · 471 阅读 · 1 评论 -
Python3快速入门----(3) dict(字典结构)
转载地址:https://blog.csdn.net/asialee_bird/article/details/79560355#先回忆列表的操作animals=["cat", "dog", "rabbit"] #找到list中某个值(第一种方法)for animal in animals: if (animal == "cat"): print("Cat...转载 2019-03-11 11:15:36 · 182 阅读 · 0 评论 -
Python断言方法:assert
转载地址:https://blog.csdn.net/qq_39247153/article/details/81082313前言在测试用例中,执行完测试用例后,最后一步是判断测试结果是pass还是fail,自动化测试脚本里面一般把这种生成测试结果的方法称为断言(assert)。用unittest组件测试用例的时候,断言的方法还是很多的,下面介绍几种常用的断言方法:assertEq...转载 2019-03-11 11:36:40 · 7335 阅读 · 0 评论 -
os.system如何传参
转载地址:https://blog.csdn.net/njafei/article/details/72764990今天写脚本的时候,正好希望在python脚本中调用另外一个python脚本,就使用了os.system来实现这个功能(当然,还有很多的办法,而且每种方法满足的需求不都一样,有兴趣的读者可以谷歌下)。但是我需要给这个调用里面传入一个参数,网上查了半天,感觉都不太清晰,就写了这篇...转载 2019-03-11 11:46:58 · 2440 阅读 · 0 评论 -
python字符串切割:str.split()和re.split()对比
转载地址:https://blog.csdn.net/hawkerou/article/details/535181541、str.split不支持正则及多个切割符号,不感知空格的数量,比如用空格切割,会出现下面情况。>>> s1="aa bb cc">>> s1.split(' ')['aa', 'bb', ' ', 'cc']因此s...转载 2019-03-11 11:56:41 · 792 阅读 · 0 评论 -
Requests 2.18.1文档
发送请求使用Requests发送网络请求非常简单。一开始要导入Requests模块:>>> import requests然后,尝试获取某个网页。本例中,我们来获取Github的公共时间线>>> r = requests.get('https://api.github.com/events')现在,我们有一个名为r的 Resp...转载 2019-03-11 14:46:09 · 146 阅读 · 0 评论 -
'ascii' codec can't encode characters in position 20-24:ordinal not in range(128)报错根本解决办法
转载地址:https://blog.csdn.net/Mickey220521/article/details/82759930遇到这个问题,本人解决了一下午,亲测有效,可以解决根本问题。讲一下背景哈,使用python写的一个报告系统,本地调试没问题,生产服务在查询条件使用中文的时候,会出现这个报错。1、本地python环境2、生产python环境上面两个环境能明显看...转载 2019-03-21 11:33:43 · 2449 阅读 · 0 评论