Python使用
文章平均质量分 56
Yajun-Z
这个作者很懒,什么都没留下…
展开
-
sqlalchemy搭配mysqlconnector和pymysql时遇到的问题记录
使用sqlachemy + mysqlconnector:Traceback (most recent call last): File "D:\ProgramData\Anaconda3\lib\site-packages\mysql\connector\conversion.py", line 179, in to_mysql return getattr(self, "_{0}...原创 2019-03-11 12:24:16 · 3042 阅读 · 3 评论 -
Python 绝对路径获取
获取当前执行文件和执行文件夹的绝对路径:from os.path import dirname, abspathprint(abspath(__file__)) # 获取当前执行文件的绝对路径print(dirname(abspath(__file__))) # 获取当前执行文件夹的绝对路径...原创 2019-01-31 11:14:45 · 1441 阅读 · 0 评论 -
Python 日期加减
利用Python获取某个日期(形如xxxx-xx-xx)之前或之后多少天的日期:import datetimedef get_day(date, step=0): """获取指定日期date(形如"xxxx-xx-xx")之前或之后的多少天的日期, 返回值为字符串格式的日期""" l = date.split("-") y = int(l[0]) m = in...原创 2019-01-31 10:13:58 · 2191 阅读 · 0 评论 -
Python 爬虫乱码解决思路
这里从网页的压缩方式提供两种解决方法。方法1:# 查看`headers`中是否设置:'accept-encoding': 'gzip, deflate, br',# 如果有,修改为:'accept-encoding': 'gzip',方法2:安装brotlipy,依照文档使用。原因:原因为你同意了该种压缩方式后,有的服务器便采用了br这种压缩方法,该种压缩的解压方式目前还不是R...原创 2019-01-30 17:07:26 · 400 阅读 · 0 评论 -
Python Requests爬虫库的基本用法
简单介绍requests目前是Python中很受欢迎的一个库。目前很多的教程中都会有讲到requests,但它们通常从整个爬虫的原理讲起,讲到这部分知识时更多的注重于呈现运行结果,而忽略使用本身应该注意的一些点,这里我将结合自身的使用做一个简单总结,对需要特别注意的点进行标注,代码很少,但其模式已经足够适用于大多数目标。使用方法基本用法(GET)GET请求方式是最常用的方式:impor...原创 2019-01-28 14:20:42 · 413 阅读 · 0 评论 -
Python 装饰器为什么要双层嵌套
参考链接:python装饰器为什么要双层嵌套函数python装饰器为什么要双层嵌套从上述回答中的几个有助于装饰器理解的 关键点:装饰器发生在 定义 阶段而不是 执行 阶段。装饰器返回的是一个被装饰过的 函数定义。结合第二点理解now = foo(now)。原因:如果没有嵌套,实际上装饰器返回的要么是原函数的定义,要么根本不是函数,也就是说函数根本没有被装饰。即使碰巧得到了...原创 2019-01-31 15:25:45 · 1495 阅读 · 0 评论 -
使用Python发送邮件
背景“懒”是程序猿的第一生产力,从最开始依次进入各个运行程序查看日志,发展到用脚本一次性搜集异常日志,每天只需要登陆服务器敲一个运行命令都觉得太麻烦了。于是就想到定时检测,当有异常的时候再通知我上线查看。当时查看了两种方法,一种是借助微信,一种则是邮件,两者都有现成的库,简单调用即可。这里选择了邮件,相比微信发送感觉更简单可靠一点,适合长时间挂机。网上有很多教程,但很多过期失效的,以下代码自...原创 2019-01-25 10:07:41 · 1539 阅读 · 0 评论 -
使用Python建立和维护爬虫代理IP池
IP_Pool前言刚好前段时间突然萌发了自己做一个代理池的想法,于是就用了一些通俗的方法来实现,一来能方便自己理解,二来也加强学习。这里开放给大家,给大家提供一点参考,使用前请务必要仔细查看README.md文件。Github:Proxy_IP_Pool总体构思定期从公开的代理网站上采集ip,在进行初次验证后进行格式化并保存到指定文件;定期检测已存ip的有效性;提供api接口查看...原创 2018-11-09 15:09:20 · 1455 阅读 · 0 评论 -
Python爬虫在一个循环体访问页面、处理数据并构造数据列表时造成的内存不断增加而Killed, 如何释放?
recordLogger.info("> Collecting Android ranking query_date:{}".format(today)) app_list = [] format_data = [] for country in country_list: app_list += RankingDataHandler.for...原创 2019-07-24 18:20:37 · 887 阅读 · 0 评论