python生产者与消费者模型

生产者消费者模型当中有两大类重要的角色，一个是生产者（负责造数据的任务），另一个是消费者（接收造出来的数据进行进一步的操作）。

神马是生产者和消费者？

生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据
之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞
队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
这就像，在餐厅，厨师做好菜，不需要直接和客户交流，而是交给前台，而客户去饭菜也不
需要不找厨师，直接去前台领取即可。

为什么要使用生产者消费者模型？

 在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入了生产者与消费者模型。让它们之间可以不停的生产和消费。

实现生产者消费者模型三要素：

1、生产者

2、消费者

3、队列（或其他的容哭器，但队列不用考虑锁的问题）

什么时候用这个模型？

程序中出现明显的两类任务，一类任务是负责生产，另外一类任务是负责处理生产的数据的（如爬虫）

用该模型有个蛇好处？

1、实现了生产者与消费者的解耦和

2、平衡了生产力与消费力，就是生产者一直不停的生产，消费者可以不停的消费，因为二者不再是直接沟通的，而是跟队列沟通的。
来简单的写一个线程的生产者消费者模型：

# 导入time模块
import time
# 导入线程模块
from threading import Thread
# 导入队列模块
from queue import Queue
# 创建队列
q = Queue(10)  # 厨师初始生产的包子

# 定义生产者
def producer(name):
    count = 1  # 给生产出来的包子计数
    # 一直生产包子
    while True:
        q.join() # join在这里会等待，直至task_done()发送信号后，再放行
        q.put(count)
        print('生产者%s正在生产第%d个包子'%(name,count))
        count+=1
        time.sleep(2)
# 定义消费者
def customer(name):
    count = 1 # 给消费者吃了的包子计数
    # 一直获取包子
    while True:
        bao_zi = q.get() #获取厨师队列中的包子
        print('消费者%s正在吃第%d个包子'%(name,bao_zi))
        count +=1
        q.task_done() # put和get一次之后，取完包子后给join发送信号
        time.sleep(1)

if __name__ == '__main__':
    # 设置t1线程
    t1 = Thread(target=producer,args=('刘大厨',))
    # 设置t2线程
    t2 = Thread(target=customer,args=('翠花',))
    # 启动线程
    t1.start()
    t2.start()

关键的两个方法
task_done():消费者用此方法发出信息，表示q.get()的返回项目已经被处理。如果调用此方法的次数大于从队列中删除项目的数量，将会导致ValueError异常。

join()：生产者调用此方法进行阻塞，直到队列中所有的项目都被处理了。