![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多进程、多线程
文章平均质量分 55
木下瞳
这个作者很懒,什么都没留下…
展开
-
setDaemon python守护进程,队列通信子线程
使用setDaemon()和守护线程这方面知识有关, 比如在启动线程前设置thread.setDaemon(True),就是设置该线程为守护线程,thread.setDaemon()设置为True, 则主线程执行完毕后会将子线程回收掉,设置为false,主进程执行结束时不会回收子线程。与队列一起使用,主进程需要一个子线程处理东西,共享一个变量,他们的通信就可以用队列,当主进程有元素塞入,子线程才会处理,这样做的意义在于:避免子线程无限死循环,导致退不出程序,也就是避免传说中的孤儿进程。原创 2023-01-20 14:08:47 · 1630 阅读 · 2 评论 -
多进程,多线程公共用变量
参考:Python 多进程之间共享变量 - 知乎Python 多线程之间共享变量很简单,直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元,这种方法就不可行了。不过 Python 标准库已经给我们提供了这样的能力,使用起来也很简单。但要分两种情况来看,一种是 Process 多进程,一种是 Pool 进程池的方式。Process 多进程使用 Process 定义的多进程之间共享变量可以直接使用 multiprocessing 下的 Value,Array,Queue 等,转载 2022-04-10 14:58:23 · 412 阅读 · 0 评论 -
多线程连接数据库
目录多线程 update MySQL多线程 update MySQL数据库里面有一批数据,使用 python 串行更新代码如下:from sqlalchemy import create_engineimport timeimport pandas as pdstart = time.time()# 连接con = create_engine('mysql+pymysql://root:123456@localhost:3306/activity_analysic?ch原创 2022-04-09 19:53:03 · 5115 阅读 · 0 评论 -
pandas 多进程 pandarallel
背景python 有自己的多进程包multiprocessing 去实现并行计算,但在 pandas 处理数据中,使用multiprocessing 并不好使,只听见风扇转啊转,就不见运行完毕。找到一个 pandas 多进程的方法,pandarallel 库,做一下测试。小数据集(先试过了 5w)可能多进程还没单进程快,因为进程开启关闭也要一点时间;于是我弄了 100w 数据来测试:数据处理利用以上数据做以下处理:1.剔除 titile,comment 两列文本中的表情符..原创 2022-04-05 19:27:40 · 2540 阅读 · 0 评论 -
并发库 concurrent
# 导入concurrent.futures模块from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutorimport datetime# 线程的执行方法def print_value(value): print('Thread' + str(value))# 每个进程里面的线程def my...原创 2020-02-01 22:11:15 · 289 阅读 · 0 评论 -
多进程,多线程
1.vs下用法导入创建进程池:Pool()from multiprocessing import poolp = pool.Pool(2)p.map(re_scraper,urls)pool.Pool()里面的参数为创建的进程池,re_scrapre为函数,urls为穿入参数2.pycharm下用法: from multiprocessing import ...原创 2018-07-16 22:29:22 · 207 阅读 · 0 评论