Python多进程实现多核并发

1.多线程和多进程

Python多线程由于有全局锁的缘故，在执行的时候，同一时间只能执行一个线程，并不能实现多核并发，对于CPU密集型的任务来说，效率和单线程没区别。如果需要多核并发的话，可以采用多进程的方式实现。

2.代码

下面举一个简单的例子说明：

from multiprocessing import Pool
import time

# 要执行的任务
def task(name):
    print('process %s is running' % name)
    time.sleep(1)  # 模拟任务执行的时间
    print('process %s done' % name)


if __name__ == '__main__':
    start_time = time.time()
    pool = Pool(processes=4)  # 创建进程池，指定最大并发进程数
    for i in range(4):
        pool.apply_async(task, (i,))  # 每个进程调用task函数， 用元组的形式传递参数
    pool.close()  # 关闭进程池
    pool.join()  # 主进程等待进程池中的进程执行完毕
    end_time = time.time()
    duration = end_time - start_time
    print('main process duration: %.3fs' % duration) # 总的运行时间

运行结果：

process 0 is running
process 1 is running
process 2 is running
process 3 is running
process 0 done
process 2 done
process 1 done
process 3 done
main process duration: 1.529s