Python多进程共享全局变量

当我们使用multiprocessing时，可能会发现进程之间不共享全局变量。

问题示例：

让我们来看一个问题的例子，有两个输入列表，两个进程从中读取并将其附加到最终列表，然后将合并的列表打印输出。

import multiprocessing
final_list = []

input_list_one = ['a', 'b', 'c', 'd']
input_list_two = ['e', 'f', 'g']

def worker(data):
    for item in data:
        final_list.append(item)

process1 = multiprocessing.Process(target=worker, args=[final_list_one])
process2 = multiprocessing.Process(target=worker, args=[final_list_two])

process1.start()
process2.start()
process1.join()
process2.join()

print(final_list)

运行代码时：

$ python3 mp_list_issue.py
[]

如大家所看到的，输出列表为空。

解决方案：

我们需要使用multiprocessing.Manager.List。

摘自Python文档：

“multiprocessing.Manager返回一个已启动的SyncManager对象，该对象可用于在进程之间共享对象。返回的管理器对象对应于生成的子进程，并且具有创建共享对象并返回相应代理的方法。”
 

import multiprocessing
manager = multiprocessing.Manager()
final_list = manager.list()

input_list_one = ['a', 'b', 'c', 'd']
input_list_two = ['e', 'f', 'g']

def worker(data):
    for item in data:
        final_list.append(item)

process1 = multiprocessing.Process(target=worker, args=[final_list_one])
process2 = multiprocessing.Process(target=worker, args=[final_list_two])

process1.start()
process2.start()
process1.join()
process2.join()

print(final_list)

当我们再运行脚本时，我们可以看到预期的输出：

$ python3 mp_list.py
['a', 'b', 'c', 'd', 'e', 'f', 'g']