python笔记：进程和线程—多进程

一、进程和线程的定义

进程：对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程。

线程：有些进程还不止同时干一件事，比如Word，它可以同时进行打字、拼写检查、打印等事情。在一个进程内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”称为线程（Thread）。

二、多进程和多线程

由于每个进程至少要干一件事，所以，一个进程至少有一个线程。当然，像Word这种复杂的进程可以有多个线程，多个线程可以同时执行，多线程的执行方式和多进程是一样的，也是由操作系统在多个线程之间快速切换，让每个线程都短暂地交替运行，看起来就像同时执行一样。

三、创建一个子进程

3.1Unix/Linux操作系统下创建一个子进程使用fork()调用

3.1.1代码及运行结果

Unix/Linux操作系统下提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。

子进程永远返回0，而父进程返回子进程的ID，子进程只需要调用getppid()就可以拿到父进程的ID。因为一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID。

代码：

使用os模块的fork函数创建子进程

import os

print('Process (%s) start...' % os.getpid())
# Only works on Unix/Linux/Mac:
pid = os.fork()
if pid == 0:
    print('I am child process (%s) and my parent is %s.' % (os.getpid(), os.getppid()))
else:
    print('I (%s) just created a child process (%s).' % (os.getpid(), pid))

运行结果：

Process (876) start...
I (876) just created a child process (877).
I am child process (877) and my parent is 876.

3.1.2 注意

windows上没有fork调用，无法运行上述代码，但是mac系统是是基于BSD（unix）的一种内核，故可以在mac上运行。

3.1.3 应用 

有了fork调用，一个进程在接到新任务时就可以复制出一个子进程来处理新任务，常见的Apache服务器就是由父进程监听端口，每当有新的http请求时，就fork出子进程来处理新的http请求。

3.2 window操作系统下创建一个子进程使用multiprocessing

multiprocessing模块就是跨平台版本的多进程模块，multiprocessing模块提供了一个Process类来代表一个进程对象

3.2.1代码及运行结果

以下代码表示启动一个子进程并等待其结束：

注：其中的join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步。

运行结果如下：

总结：使用创建子进程时，只需要传入一个执行函数和函数的参数，创建一个Process实例，用start()方法启动，这样创建进程比fork()还要简单。 即模板为p=Process（target=子进程执行函数，args=函数参数）

3.2.2注意

注意以上的一句代码 p = Process(target=run_proc, args=('test',))中的“args=('test',)”的 ”，“不能去掉，否则会报错如下：

四、用进程池的方式批量创建子进程

代码：

运行结果：

五、控制子进程的输入与输出

”四“部分中主要是提到了创建子进程，由于我们创建了子进程后，还需要控制子进程的输入和输出。故”五“中主要是讲如何控制子进程的输入和输出。

subprocess模块可以让我们非常方便地启动一个子进程，然后控制其输入和输出。

代码：

运行结果：

如果子进程还需要输入，则可以通过communicate()方法输入：

运行结果如下：

六、进程间通信

操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制，提供了Queue、Pipes等多种方式来交换数据。

6.1代码及运行结果

以Queue为例，在父进程中创建两个子进程，一个往Queue里写数据，一个从Queue里读数据，代码：

运行：

6.2注意

6.2.1注意读写顺序

此处 写入读入的顺序，不是

put A ,put B,put C,get A,get B,get C

是由于：如果将Queue()想象为一条流水线，pw = Process()和pr = Process()相当于流水线上的工人站在流水线两边。

同时启用pw和pr子进程，一个工人pw这边把东西['A', 'B', 'C']放到流水线Queue()上，另外一个工人pr里面就能看到了。

6.2.2注意保存py文件时，不要使用包名

刚开始将代码文件保存为queue.py显示报错如下

是由于:python的库并不那么严格，如果你不小心放了个跟库同名的.py文件，那么可能调用的是你放的那个文件。