multiprocessing

multiprocessing模块

如果你打算编写多进程的服务程序，Unix/Linux无疑是正确的选择。由于Windows没有fork调用，难道在Windows上无法用Python编写多进程的程序？由于Python是跨平台的，自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。multiprocessing模块提供了一个Process类来代表一个进程对象，这个模块表示像线程一样管理进程，这个是multiprocessing的核心，它与threading很相似，对多核CPU的利用率会比threading好的多。

 看一下Process类的构造方法：

__init__(self, group=None, target=None, name=None, args=(), kwargs={})

参数说明： 
group：进程所属组。基本不用 
target：表示调用对象。 
args：表示调用对象的位置参数元组。 
name：别名 
kwargs：表示调用对象的字典。

创建子进程时，只需要传入一个执行函数和函数的参数，创建一个Process实例，并用其start()方法启动，这样创建进程比fork()还要简单。 join()方法表示等待子进程结束以后再继续往下运行，通常用于进程间的同步。

注意： 
在Windows上要想使用进程模块，就必须把有关进程的代码写在当前.py文件的if __name__ == ‘__main__’ :语句的下面，才能正常使用Windows下的进程模块。Unix/Linux下则不需要。

Pool类

 Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。 
下面介绍一下multiprocessing 模块下的Pool类下的几个方法：

.apply()

函数原型：apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数，同python中的apply函数一致，主进程会被阻塞直到函数执行结束（不建议使用，并且3.x以后不在出现）。

.apply_async

函数原型：apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一致，但它是非阻塞的且支持结果返回后进行回调。

.map()

 函数原型：map(func, iterable[, chunksize=None])

Pool类中的map方法，与内置的map函数用法行为基本一致，它会使进程阻塞直到结果返回。 
注意：虽然第二个参数是一个迭代器，但在实际使用中，必须在整个队列都就绪后，程序才会运行子进程。

.map_async()

函数原型：map_async(func, iterable[, chunksize[, callback]])
与map用法一致，但是它是非阻塞的。其有关事项见apply_async。

.close()

关闭进程池（pool），使其不在接受新的任务。

.terminal()

结束工作进程，不在处理未处理的任务。

.join()

主进程阻塞等待子进程的退出， join方法要在close或terminate之后使用。

    apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；异步，多个线程同时执行

    apply(func[, args[, kwds]])：使用阻塞方式调用func,执行完一个进程后再去执行其他线程。

    close()：关闭Pool，使其不再接受新的任务；

    terminate()：不管任务是否完成，立即终止；

    join()：主进程阻塞，等待子进程的退出， 必须在close或terminate之后使用；

    apply_async(func, args=(), kwds={}, callback=None, error_callback=None)：callback:回调函数，可接收func函数的返回值

.注意点： 主进程不会等待子进程结束后，再结束。需要加join()

    join()必须放在close语句之后
 

#!/usr/bin/python
# --*-- coding:utf-8 --*--
import multiprocessing
import sys,os,time
result = []#把运行的进程池放入，空的列表
def run(msg):#定义正在处理进程编号数的函数功能
    #打印正在处理的进程编号数与对应的系统进程号
    print ('threading number:%s %s' %(msg,os.getpid()))
    time.sleep(2)
p = multiprocessing.Pool(processes = 25)#绑定事例，同时执行25个线程

for i in range(100):
    result.append(p.apply_async(run,('%s' %i,)))#异步传输正在运行的进程数字号码

p.close()#关闭正在运行的25个进程
#p.join()

for res in result:#获取运行结果
    res.get(timeout=5)