python怎么并行

python怎么并行

为了保证多线程数据安全，python语言的设计中，有个全局解释锁GIL(global interpretor lock)，每个线程在开始运行时必须获得锁，遇到I/O或sleep挂起时释放锁，从而保证同一时刻只有一个线程在运行，多个线程在不同的时间片上执行，达到多任务的目的，使python具有 并发 能力，使得python可以充分使用CPU的单个核心。多线程并发在python网络爬虫中使用普遍，可以一次性开启大量下载任务，而大部分任务都在等待I/O的状态，比单线程速度快很多倍，另外，使用协程也能达到到多线程的的效果。
很多时候我们希望提高效率，充分利用多核CPU的优势，同时执行多个任务，做到多任务 并行，应该怎样做呢？既然绕不开GIL，解决方案有：

1. 使用多进程，开启多个python实例，使用进程池
2. 用C/C++写出多线程代码，通过cython调用；或者将C/C++编译成dll文件(linux下为so文件)，通过ctypes模块直接调用其中的代码；用python的C接口写拓展，或者用Boost.Python等。
3. 换解释器，不用C语言版的Pyhton，而是使用jpython(java)，pypy(python)，ironpython(C#)等

note: python2中单个线程每执行固定字节码后会主动释放GIL锁，python3中改为每隔固定时间主动释放GIL锁。

python多线程demo

import time
from threading import Thread
def countdown(n):
    while n > 0:
        n -= 1

count = 2e7
start = time.time()
n_threads = 10 # 线程数
threads = [Thread(target=countdown, args=(count//n_threads,)) for i in range(n_threads)] 
for t in threads: t.start() # 启动多个线程
for t in threads: t.join() # 等待线程结束
print(time.time() - start)

在多核CPU上运行上述代码，无论线程数是1还是10，运行时间几乎相同，多线程不能利用多核优势提高效率。

python多进程demo

import time
import os
from multiprocessing import Pool
def countdown(n):
    while n > 0:
        n -= 1

if __name__ == "__main__":
    count = 2e7
    start = time.time()
    # n_processes = os.cpu_count()
    n_processes =