python
裸睡的雨
菜鸟自学中
展开
-
Python 简繁体切换 zhconv
pip install zhconvzhconv 提供基于 MediaWiki 词汇表的最大正向匹配简繁转换。Python 2, 3 通用。支持以下地区词转换:zh-cn 大陆简体zh-tw 台灣正體zh-hk 香港繁體zh-sg 马新简体zh-hans 简体zh-hant 繁體正好适合我不求转换质量的轻量需求,所以介绍给更多需要的人。而且虽然该项目stars很少,但中途发现作者还参与过维护jieba分词。调用也非常简单>>> from zhconv import原创 2020-12-23 12:20:13 · 2904 阅读 · 0 评论 -
windows环境下python3安装Crypto
直接安装Crypto是不好使的。因为历史原因导致的比较混乱,引用外部博友的解释内容如下:这个时候pycryptodome就来了,它是pycrypto的延伸版本,用法和pycrypto是一模一样的;所以,我现在告诉大家一种解决方法--直接安装:pip install pycryptodome但是,在使用的时候导入模块是有问题的,这个时候只要修改一个文件夹的名称就可以完美解决这个问题,Pyth...转载 2019-11-18 15:08:02 · 198 阅读 · 0 评论 -
pip 安装库时碰到的错误 AttributeError: 'str' object has no attribute 'decode'
python 使用 pip 命令安装库的时候碰到的错误AttributeError: 'str' object has no attribute 'decode'解决:修改源码进入 compat.py 文件原来:改后:重新执行安装命令python3里面,字符串要先encode手动指定其为某一编码的字节码之后,才能decode解码。...原创 2019-11-08 14:14:37 · 6508 阅读 · 1 评论 -
windows环境下python3安装Crypto
直接安装Crypto是不好使的。因为历史原因导致的比较混乱,引用外部博友的解释内容如下:pycrypto、pycrytodome和crypto是一个东西,crypto在python上面的名字是pycrypto,它是一个第三方库,但是已经停止更新三年了,所以不建议安装这个库;这个时候pycryptodome就来了,它是pycrypto的延伸版本,用法和pycrypto是一模一样的;所以,我现在...转载 2019-10-26 16:45:52 · 157 阅读 · 0 评论 -
关于Python 多线程为何适合IO密集型任务
io密集型任务,一般情况下,io有发送数据(output)和返回数据(input)两个过程。就是发送消息,等待返回消息。python多线程在处理io的时候,一个线程获得GIL发送消息,然后等待返回消息(阻塞),python此时释放GIL, 其他线程得到GIL发送消息,然后同样等待返回消息(阻塞)......,这样保证了IO传输过程时间的合理利用,提高io传输效率。关于GIL的工作方式:http...原创 2019-01-07 11:09:21 · 2087 阅读 · 0 评论 -
selenium 安装与 chromedriver安装,以及无头模式的设置
直接使用pip安装1 pip install selenium用 Chrome 浏览器来测试from selenium import webdriverbrowser = webdriver.Chrome()browser.get('http://www.baidu.com/')运行这段代码,会自动打开浏览器,然后访问百度。如果程序执行错误,浏览器没有打开,那么应该是没...原创 2019-01-02 21:22:16 · 3856 阅读 · 2 评论 -
Python2.7安装mysql-Python,碰到的问题
安装时碰到这样的错误,EnvironmentError: mysql_config not found找了很多方法都不管用,最后找到原因是因为我centos中已经装过mysql,mysql的版本为5.7. mysql-devel和mysql的版本不匹配。解决方法:自己下载和自己mysql版本匹配的mysql-devel1.查看安装了什么版本的mysql和相关的包rp...原创 2019-01-07 17:45:45 · 469 阅读 · 0 评论 -
LeetCode中的题
给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1] ...原创 2019-02-15 23:04:30 · 88 阅读 · 0 评论 -
Python文件读写模式r,r+,w,w+,a,a+的区别
原创 2019-01-03 17:06:01 · 1942 阅读 · 1 评论 -
将csdn的文章爬取,并将图片保存到本地
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/11/13 10:20# @Author : jia.zhao# @Desc : # @File : csdn_demo.py# @Software: PyCharmimport requestsfrom lxml import etree...原创 2018-11-16 16:27:49 · 551 阅读 · 1 评论 -
使用urllib爬取图片时出现的错误urllib.error.ContentTooShortError
urllib.error.ContentTooShortError: <urlopen error retrieval incomplete这是因为urlretrieve下载文件不完整造成的可以接受这种异常重新写一个方法处理这个问题,可以在去调用这个方法重新去下载,也可以重新用requests下载。因为重新调用这个方法,有时下载会超时。参考博客https://blog.csdn....原创 2018-11-16 11:00:17 · 8642 阅读 · 0 评论 -
python字符串替换
原创 2018-11-09 16:15:15 · 1804 阅读 · 0 评论 -
urllib模块的使用
1.基本方法urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)- url: 需要打开的网址- data:Post提交的数据- timeout:设置网站的访问超时时间...原创 2018-11-06 17:57:03 · 122 阅读 · 0 评论 -
学习爬虫时遇到的问题TypeError: cannot use a string pattern on a bytes-like object 与解决办法
TypeError: cannot use a string pattern on a bytes-like objectpython2.7和Python3的区别,Python3需要给代码加上html = html.decode('utf-8')Python2.7则不需要更多内容关注我的微信公众号...原创 2018-11-06 10:38:48 · 3245 阅读 · 0 评论 -
创建Python虚拟环境
服务器上跑的项目一多,每个项目的环境不一定一样。所以创建个虚拟环境还是很有必要的,Python2的虚拟的环境首先安装,virtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹,用来使用Python工程所需的包。pip install virtualenv第二步,选择目录,执行下面的代码,会在当前目录下创建以名为ve...原创 2019-01-12 21:35:36 · 127 阅读 · 0 评论 -
开源项目osrroom的安装及部署文档地址
https://www.cnblogs.com/rslai/p/8249812.htmlhttps://osroom.github.io/osroom-doc/osr/v1.0/uwsgi -d --ini uwsgi.ini原创 2019-01-12 21:36:44 · 277 阅读 · 0 评论 -
请求头,cookie转字典,时间戳转时间
headers转字典(传递复制的header字符串)def headers_to_dict(headers): row_headear = headers.split('\n') row_dict = dict() for i in row_headear: if i == '': continue row = i....原创 2019-07-23 10:08:33 · 523 阅读 · 0 评论 -
Python的第三方库requests提示警告InsecureRequestWarning的问题
Python的第三方库requests提示警告InsecureRequestWarning的问题import urllib3urllib3.disable_warnings()原创 2019-07-23 10:01:40 · 677 阅读 · 0 评论 -
io.UnsupportedOperation: File not open for writing错误解决
出现这个问题的是因为我要将读过的文件清空使用下面这个方法f.truncate()一运行就会出现错误,下面是原来的代码:with open("msg.json", 'r', encoding='utf8') as f: content = f.read() f.seek(0) f.truncate() print(content)错误信息Traceba...原创 2019-07-16 16:02:58 · 3511 阅读 · 1 评论 -
python字符串与url编码的转换
python字符串与url编码的转换https://blog.csdn.net/tangzongyu123/article/details/75224468原创 2019-07-05 16:30:52 · 1571 阅读 · 0 评论 -
Python操作redis碰到的问题集合(碰到一个更新一个)
欢迎关注微信公众号,有更多干货分享redis 与Python交互取出来的是bytes类型Python操作redis,存进去是字符串,但是出来就变成bytes类型了解决:redis 与Python交互取出来的是bytes类型这里我们存进去的是字符串类型的数据,取出来却是字节类型的,这是由于python3的与redis交互的驱动的问题,Python2取出来的就是字符串类型的。Python操...原创 2019-06-09 22:01:10 · 439 阅读 · 0 评论 -
js逆向,破解企名片网站的加密参数
打开网站–企名片主要是破解企业数据列表的加密,红框圈起来的链接:企名片直接请求网站,response 响应的信息里面没有想要的数据,那应该就是js动态加载的数据,所以直接点击 XHR 你就会看到这两个请求响应的信息里面都有一个超长的加密字符串,所以大胆猜测一下,应该就是我们需要的数据,其他的点进去啥也没有。然后怎么去解析这个参数呢?解析加密数据 encrypt_data最简单,...原创 2019-05-17 00:11:39 · 1084 阅读 · 0 评论 -
抓包工具mitmproxy安装使用
mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。mitmproxy还有两个关联组件。一个是mitmdump,它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。另一个是mitmweb,它是一个Web程序,通过它我们可以清楚观察mitmproxy捕获的请求。...原创 2019-03-03 19:23:50 · 682 阅读 · 0 评论 -
爬取知乎碰到的问题-----------------------3、关于url中出现sign的解决办法
2019-01-16 18:08:37 [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.zhihu.com/signin?next=http%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fbantys> (referer: https://zhihu.com/people...原创 2019-01-16 18:11:23 · 2977 阅读 · 4 评论 -
爬取知乎碰到的问题-------------------------2、 关于碰到mysql的1064错误
基本这个错误都是因为SQL语句错误,所以仔细看SQL语句。 刚开%S上没有加引号,所以报错。再就是复制到mysql里试试。一试基本错误就出来了原创 2019-01-16 18:06:14 · 167 阅读 · 0 评论 -
运行python脚本后台执行
方法一:脚本后加&加了&以后可以使脚本在后台运行,这样的话你就可以继续工作了。但是有一个问题就是你关闭终端连接后,脚本会停止运行;python3 run.py >/dev/null 2>&1 &1方法二:使用nohup在后台执行命令nohup python3 run.py >/dev/null 2>&1 &a...转载 2018-10-30 16:59:22 · 2529 阅读 · 0 评论 -
爬虫爬取表情
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/10/26 15:27# @Author : jia.zhao# @Desc : # @File : doutu_request.py# @Software: PyCharmfrom selenium import webdriverimpo...原创 2018-10-26 17:58:19 · 535 阅读 · 0 评论 -
使用schedule模块定时执行任务
import scheduleimport time def job(): print("I'm working...") schedule.every(10).minutes.do(job)schedule.every().hour.do(job)schedule.every().day.at("10:30").do(job)schedule.every(5).to(1...原创 2018-10-26 16:00:10 · 1310 阅读 · 2 评论 -
Django安装MySQLDB
Django安装mysqldb直接使用pip安装失败,错误提示如下在该网址下载.whl文件https://www.lfd.uci.edu/~gohlke/pythonlibs/pip install mysqlclient-1.3.13-cp36-cp36m-win_amd64.whl...原创 2018-09-10 10:06:38 · 1153 阅读 · 0 评论 -
关于爬虫模拟美团登陆后,解决302重定向的问题的方法
帮忙测测我的博客,别太夸张,谢谢http://123.207.61.85:6789/在使用requests中的方法模拟登陆,没有用scrapy中本来的方法。self.session.get(self.get_url, data=post_data, headers=self.headers)登陆之后去请求下一个链接的时候,就会出现下面的错误scrapy DEBUG Redir...原创 2018-09-04 17:32:04 · 10294 阅读 · 7 评论 -
Cenos7 yum安装mongodb以及各种错误的解决办法
# 更新 2019.9.22 00:11安装mongodb 4.0首先是yum源的内容:[mongodb-org-4.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/ gpgcheck=1enabled=1...原创 2018-08-28 17:09:28 · 5629 阅读 · 1 评论 -
关于Python使用writer写入CSV文件时时会出现空行
直接加关键字参数lineterminator='\n'解决current_dir = ('.') file_name = os.path.join(current_dir, "school.csv") csvfile = open(file_name, 'w', encoding='gbk') # writer = csv.writer(csvfile,...原创 2018-08-21 10:04:00 · 283 阅读 · 0 评论 -
解决NameError: global name '__file__' is not defined
在使用线程定时跑Python代码是,获取当前路径的代码base_dir = os.path.join(os.path.dirname(__file__))在第二次运行时会提示上面的错误NameError: global name '__file__' is not defined经过在查资料找到了两个解决办法第一个:对代码做如下修改base_dir = os.pat...原创 2018-08-13 16:48:40 · 16349 阅读 · 9 评论 -
Python实现定时任务的两种方式,
写脚本的时候碰到一个问题,就是需要定时去执行任务,最开始使用Timer方法def fun(): print 1 t = threading.Timer(60*10, load_stat) t.start()if __name__ == '__main__': fun()就是这样的定时任务,但是它会不停的去创建线程,cpu的资源消耗的太多,而且Pytho...原创 2018-08-15 16:12:27 · 1487 阅读 · 0 评论 -
Python 的多线程没有提供停止的方法,解决办法
帮忙测测我的博客,别太夸张,谢谢http://123.207.61.85:6789/def stop_smon(): # 文件存在则停止线程 print "停止检测中" # base_dir = os.path.join(os.path.dirname(__file__)) # base_dir = os.path.dirname(os.path.rea...原创 2018-08-14 10:42:20 · 5288 阅读 · 0 评论 -
关于django models中的关系操作三
关于django models中的关系操作三GOOD LUCKY 2018Django 模型层对三种关系模型(1:1,1:N,M:N)都有强大的支持 本次介绍三种关系模型中的M对N关系:M对N模型在sql语言中,M:N关系是通过建立一个中间关系表来完成,该中间表定义了到两个主表的外键。所以也可以用两个1:N来定义M:N. 同时django模型定义了一种更直接的M:N关系的建模方式,即在...原创 2018-06-25 14:24:33 · 177 阅读 · 0 评论 -
关于django models中的关系操作二
关于django models中的关系操作二GOOD LUCKY 2018Django 模型层对三种关系模型(1:1,1:N,M:N)都有强大的支持 本次介绍三种关系模型中的一对N关系:一对N模型在sql语言中,1:N关系是通过在‘附表’中设置到‘主表’的外键引用来完成在Django模型层,可以用models,Foreignkey 类型的字段定义外键代码展示'''内容分类表'''class ...原创 2018-06-25 10:07:41 · 465 阅读 · 0 评论 -
关于django models中的关系操作一
关于django models中的关系操作一GOOD LUCKY 2018Django 模型层对三种关系模型(1:1,1:N,M:N)都有强大的支持 本次介绍三种关系模型中的一对一关系:一对一模型在sql语言中,一对一关系是通过在两个表之间定义相同的主键来完成。在Django模型层中,可以在任意一个模型中定义OneToOneField字段并定义相互之间的一对一关系 from djang...原创 2018-06-25 10:01:58 · 303 阅读 · 0 评论 -
关于pycharm使用github
http://blog.csdn.net/senos/article/details/52689343看看这个,我就是照着这个做的转载 2018-02-07 15:57:52 · 243 阅读 · 0 评论 -
python中的数据类型
python中的数据类型python有5个标准数据类型 Numbers(数字),String(字符串),list(列表),Tuple(元组),Dictionary(字典),#Number数字 指定一个值时,Number对象就会被创建 var1 = 1; var2 = 2 可以通过del删除一个或多个对象原创 2018-01-31 09:41:42 · 249 阅读 · 0 评论