multiprocessing 进程池 数据共享

注:嵌套列表必须也声明为 multiprocessing.Manager().list() ,否则针对嵌套列表的操作无效,因此,建议先构建列表,再创建共享列表进行初始化:

import multiprocessing


def test1(mlist):
    mlist.append(['111', '222', '333'])
    mlist.append(['444', '555', '666'])
    mlist.append(['777', '888', '999'])


# 如果传入的是共享数据,此函数无效
def test2(mlist):
    mlist[1].append('aaa')
    mlist[2].append('bbb')


def test_process(m_shared_list, m_lock):
    m_info = m_shared_list.pop()

    m_pid = multiprocessing.current_process().pid
    m_pname = multiprocessing.current_process().name
    m_lock.acquire()
    print('start', m_pid, m_pname, m_shared_list)
    m_lock.release()
    time.sleep(random.random())

    m_shared_list.append(m_info)
    m_lock.acquire()
    print('done', m_pid, m_pname, m_shared_list)
    m_lock.release()

    return 0


# 使用进
Python中,进程池(Process Pool)是一种用于并行处理任务的高效方式。进程池允许多个进程共享资源,以便同时执行多个任务。然而,进程之间的资源共享需要特别注意,因为每个进程都有自己的独立内存空间。 以下是一些常见的资源共享方法: 1. **共享内存(Shared Memory)**: - 使用`multiprocessing`模块中的`Value`和`Array`类,可以在进程之间共享简单的数据类型(如整数、浮点数和字符数组)。 ```python from multiprocessing import Process, Value, Array def f(n, a): n.value = 3.14 for i in range(len(a)): a[i] = -a[i] if __name__ == '__main__': num = Value('d', 0.0) arr = Array('i', range(10)) p = Process(target=f, args=(num, arr)) p.start() p.join() print(num.value) print(arr[:]) ``` 2. **Manager对象**: - `multiprocessing.Manager()`提供了更高层次的共享对象,如列表、字典等。这些对象可以通过网络在多个进程之间共享。 ```python from multiprocessing import Process, Manager def f(d, l): d[1] = '1' d['2'] = 2 d[0.25] = None l.reverse() if __name__ == '__main__': with Manager() as manager: d = manager.dict() l = manager.list(range(10)) p = Process(target=f, args=(d, l)) p.start() p.join() print(d) print(l) ``` 3. **队列(Queue)和管道(Pipe)**: - 使用`multiprocessing.Queue`和`multiprocessing.Pipe`可以在进程之间传递数据。这些方法适用于生产者-消费者模型。 ```python from multiprocessing import Process, Queue def f(q): q.put([42, None, 'hello']) if __name__ == '__main__': q = Queue() p = Process(target=f, args=(q,)) p.start() print(q.get()) # prints "[42, None, 'hello']" p.join() ``` 4. **文件或数据库**: - 通过文件或数据库进行数据共享也是一种常见的方法。进程可以将数据写入文件或数据库,其他进程再从中读取数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值