Python2.7 Queue模块学习

本文介绍了Python中的Queue模块,包括队列的使用、大小设置以及常用方法。接着讨论了多进程的创建与管理,如Process和进程池(pool)的运用。文章还提到了多进程间通信的问题,指出在使用Queue时需注意的父子进程通信限制,并提及了解决方案——使用multiprocessing.Manager。最后,文章提及了锁在多进程操作队列时的重要性。
摘要由CSDN通过智能技术生成

最近接触一个项目,要在多个虚拟机中运行任务,参考别人之前项目的代码,采用了多进程来处理,于是上网查了查python中的多进程

一、先说说Queue(队列对象)

Queue是python中的标准库,可以直接import 引用,之前学习的时候有听过著名的“先吃先拉”与“后吃先吐”,其实就是这里说的队列,队列的构造的时候可以定义它的容量,别吃撑了,吃多了,就会报错,构造的时候不写或者写个小于1的数则表示无限多

import Queue

q = Queue.Queue(10)

向队列中放值(put)

q.put(‘yang’)

q.put(4)

q.put([‘yan’,’xing’])

在队列中取值get()

默认的队列是先进先出的

>>> q.get() 
'yang' 
>>> q.get() 

>>> q.get() 
['yan', 'xing'] 
>>>

 

当一个队列为空的时候如果再用get取则会堵塞,所以取队列的时候一般是用到

get_nowait()方法,这种方法在向一个空队列取值的时候会抛一个Empty异常

所以更常用的方法是先判断一个队列是否为空,如果不为空则取值

队列中常用的方法

Queue.qsize() 返回队列的大小  
Queue.empty() 如果队列为空,返回True,反之False  
Queue.full() 如果队列满了,返回True,反之False 
Queue.get([block[, timeout]]) 获取队列,timeout等待时间  
Queue.get_nowait() 相当Queue.get(False) 
非阻塞 Queue.put(item) 写入队列,timeout等待时间  
Queue.put_nowait(item) 相当Queue.put(item, False)

 

二、multiprocessing中使用子进程概念

Python中的queue模块提供了多种队列实现,包括FIFO(先进先出)队列、LIFO(后进先出)队列和优先级队列。这些队列都是线程安全的,可以在多线程环境下使用。 queue模块中最常用的类是Queue类,它实现了一个FIFO队列。Queue类提供了以下方法: 1. put(item, block=True, timeout=None):将item放入队列中。如果block为True(默认值),并且队列已满,则阻塞直到有空间可用。如果timeout不为None,则阻塞timeout秒,如果还是没有空间可用,则抛出Queue.Full异常。 2. get(block=True, timeout=None):从队列中取出一个元素并返回。如果block为True(默认值),并且队列为空,则阻塞直到有元素可用。如果timeout不为None,则阻塞timeout秒,如果还是没有元素可用,则抛出Queue.Empty异常。 3. qsize():返回队列中的元素个数。 4. empty():如果队列为空,返回True,否则返回False。 5. full():如果队列已满,返回True,否则返回False。 除了Queue类,queue模块还提供了LifoQueue类和PriorityQueue类。LifoQueue类实现了一个LIFO队列,PriorityQueue类实现了一个优先级队列,其中元素按照优先级从小到大排序。 下面是一个使用Queue类的例子: ```python import queue import threading def worker(q): while True: item = q.get() if item is None: break print(item) q.task_done() q = queue.Queue() num_worker_threads = 4 threads = [] for i in range(num_worker_threads): t = threading.Thread(target=worker, args=(q,)) t.start() threads.append(t) for item in range(20): q.put(item) q.join() for i in range(num_worker_threads): q.put(None) for t in threads: t.join() ``` 这个例子中,我们创建了一个Queue对象,并启动了4个线程来处理队列中的元素。主线程向队列中放入20个元素,然后等待队列中的所有元素都被处理完毕。最后,主线程向队列中放入4个None元素,以通知工作线程退出。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值