![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
红鲤鱼与绿鲤鱼与驴__
记录学习过程中的点点滴滴
展开
-
Python 中的文件操作方法
Python 文件操作用到的方fa文件打开 f = open(r’test.txt’, r)文件读写 f.read() f.readline() f.readlines() f.write() f.writeline() f.writelines()文件描述符移动与获取 f.tell() f.seek()文件关闭 f.close()文件迭代方法:原创 2016-11-28 14:00:04 · 506 阅读 · 0 评论 -
python BitMap实现
假设有20亿个int类型不重复非负数的数字,而我们只有4G的内存空间,如何将其排序?一个int类型数据占据4个Byte,而1个Byte占据8个bit位。20亿个int大概需要7.45GB的内存。那么4G的空间是决计不够的我们可以用1bit来存储一个int的目的,只要遍历一下这个bitmap,就可以自然地得到数字序列的排序。并且理论上它所占用的空间只有原来的1/32,20亿个数字,现在只需要23...原创 2019-04-24 18:49:16 · 1374 阅读 · 0 评论 -
python GIL锁问题
学习内容来源于《流畅的python第17章内容》,我觉得讲的挺清楚的CPython 解释器本身就不是线程安全的, 因此有全局解释器锁(GIL)确保线程操作安全 ,所以一次只允许使用一个线程执行 Python 字节码。 因此, 一个 Python 进程通常不能同时使用多个 CPU 核心。这是 CPython 解释器的局限, 与 Python 语言本身无关。 Jython 和 IronPytho...原创 2019-03-15 18:52:14 · 230 阅读 · 0 评论 -
python读取表中的json再重新写入会出现中文变成unicode码
有一个表中的字段 是gbk格式,比如该字段是comment:这是人和公园的西门然后 将该字段 要插入另一个表(utf8)中的某个字段:该字段是个json,往该json中添 加一个新的字段comment。操作步骤:读取json,添加comment字段,json.dumps(data),写入表中。发现表中是unicode编码, 且所有中文都变成字符串形式u8fd9u662fu4ebau54...原创 2018-10-29 16:26:42 · 1100 阅读 · 0 评论 -
python concurrent.futures 并行执行
concurrent.futures 并行任务包 ThreadPoolExecutor() ProcessPoolExecutor()这里写代码片执行器对象class concurrent.futures.Executor提供异步执行调用的方法的抽象类。它不应直接使用,而应通过其具体子类使用 submit(fn, *args, **kwargs) map(...原创 2018-09-07 18:46:21 · 724 阅读 · 0 评论 -
python multiprocessing
官方文档:https://docs.python.org/3.7/library/multiprocessing.html#using-a-pool-of-workers# multiprocessing — Process-based parallelism 基于进程的并行性# introduction multiprocessing多处理# multiprocessing ...原创 2018-09-07 16:45:23 · 3130 阅读 · 0 评论 -
'gb18030' codec can't decode byte 0x80 in position 10: incomplete multibyte sequence
‘gb18030’ codec can’t decode byte 0x80 in position 10: incomplete multibyte sequence 出现这种报错的问题原因是:我们要解码的数据不符合我们期望的类型,所以有时候我们知道数据的编码格式,但是其中有一些其他格式的数据,这样我们就要将其他的格式数据进行忽略,否则解码会报错,程序运行不下去,在decode 中添加’ign...原创 2018-09-06 11:17:17 · 27755 阅读 · 0 评论 -
python在使用pool时候Can't pickle type 'NoneType'
在python中使用multiprocessing中pool的时候 报错:Traceback (most recent call last): File "street_order_data_detail_into_db.1.py", line 500, in <module> get_result = [res.get() for res in multiple_re...原创 2018-09-05 17:00:54 · 935 阅读 · 0 评论 -
python3 的并行执行的解释及例子
class threading.Thread(group=None, target=None, name=None,args=(), kwargs=None, *, daemon=None)target= 线程调用的函数name = 线程名字 默认 thread_Nargs = () 函数参数tulpl.start() # 线程启动.run() # 线程任务运行.join(timeo...原创 2018-08-24 17:06:31 · 1910 阅读 · 0 评论 -
python3中的random模块函数例子
random模块import randoma = random.random() # [0,1) 返回floatprint(a)b = random.uniform(10,11) #[10,11) #返回floatprint(b)c = random.sample(range(10000),10) # 抽样,从0~9999 抽取10个唯一元素 返回listprint(c)d =...原创 2018-08-23 17:48:29 · 339 阅读 · 0 评论 -
python报错问题
1、Python中’Nonetype’ object is not iterable的问题 None 值被赋给了多个变量,如下 a, b = None 该对象的值为None,可能被赋值的时候出现问题(源数据为None) *当一个函数没有return语句,函数会返回None,此时如果将函数返回值赋给多个变量,则容易出现上述错误。2、TypeError: c...原创 2018-08-20 16:25:16 · 667 阅读 · 0 评论 -
vscode配置python扩展插件,以及双环境配置
1、插件列表2、setting.json文件配置用户设置{ "window.zoomLevel": 0, "[python]": {}, "workbench.colorTheme": "One Dark Pro", // By default, create file username "fileheader.Author": "dab.原创 2018-08-20 15:59:33 · 13487 阅读 · 0 评论 -
python 时间和日期
Python时间和日期操作需要用到datetime和time标准库模块。 计算当前时间: delete_time = str(time.strftime("%Y-%m-%d 00:00:00", time.localtime(time.time()))) "可选YmdHMS"一、time模块 1.time模块表...原创 2018-08-20 15:37:50 · 252 阅读 · 0 评论 -
python的日期迭代
获取一段时间的列表import datetime# 获取一段时间的列表def get_range_date(): start_time = datetime.date(2018,1,1) end_time = datetime.date(2018,1,10) day_range = list() for i in range((end_time - s...原创 2018-08-20 15:29:05 · 1299 阅读 · 0 评论 -
python json解析报错 'unicode' object has no attribute 'has_key'
python 中 json解码时候 解析数据会报错: 报错 ‘unicode’ object has no attribute ‘has_key’ 这是因为我们在使用python的 json.loads() 时候. 会将json的string类型转换为 python的unicode类型,这个不是重点 重点是 json数据中某一项的值为None就是为空,这个时...原创 2018-08-22 16:46:40 · 16170 阅读 · 0 评论 -
python中的列表推导式、字典推导式 对文件使用
@字典推导式#city_rate.txt 存储数据如下110000 0.88120000 0.65130100 0.65130200 0.65130300 0.65#将文件中的数据转换成 字典(键值对)方法#这个方法在python3中可用,在python2.7中用不了会出错code_to_rate = {k:v for k,v in [line.strip().spli...原创 2018-07-04 17:37:35 · 411 阅读 · 0 评论 -
python 函数内部修改全局变量
有一个全局file_content 的list,在函数内部向其append数据,是可以的,不需要加global 修饰, 但是当 在函数内部进行对其 赋值操作时,需要用global修饰该全局变量,因为赋值操作默认作为局部变量, 对全局变量进行赋值修改,需要进行显示global声明 每一次读取file_content时候,读取完或者开始读取的时候要重新对该list清空, 防止每次读取都会将上一...原创 2018-06-12 11:26:05 · 19470 阅读 · 0 评论 -
python 文本数据处理
未完待续import selectorsimport csvimport collectionsimport operatordef csv_test(filename): with open(filename, mode="r", encoding='utf-8') as f: try: f_csv = csv.reader(f) ...原创 2018-05-10 00:23:09 · 556 阅读 · 0 评论 -
python2 json中写入中文后dumps后转为gbk编码
数据库中某个表中的某个字段比如opt 是json 格式 该表的编码是gbk另外一个数据库的某个表格式是utf8的,comment字段也是json的那么 如何将comment字段中的 某个key的值 取出来 存进opt中,并且 查看以gbk格式查看opt能够正常显示汉子对opt 进行操作 该opt是gbk格式 需要解码的时候 使用对应的编码格式jopt = json.loads(opt,en...原创 2019-07-02 17:13:21 · 1830 阅读 · 1 评论