2018年04月_自可乐

原创 mpi4py 进阶之 memh5

本文从本人简书博客同步过来在上一篇中我们介绍了利用 mpi4py 和 h5py 进行并行分布式的 HDF5 文件操作，下面我们将介绍 caput 中的 memh5 模块，其中提供若干功能强大的工具可以使我们在内存中操作与 HDF5 文件类似的数据结构，并提供该数据结构到磁盘中 HDF5 文件之间的映射，当然这些操作都是可以并行分布式地进行的。类及操作方法能够一致地操作无论是内存中还...

2018-04-27 20:15:01 323

原创并行 HDF5 和 h5py

本文从本人简书博客同步过来在上一篇中我们简要介绍了 HDF5 和 h5py 的基本操作，下面我们将介绍利用 mpi4py 和 h5py 进行并行分布式的 HDF5 文件操作。使用 mpi4py 进行一般并行文件操作在前面已经作了相应的介绍，并行 HDF5 文件的相关操作在很多方面是与一般的并行文件操作相同或满足相似的约束条件。但是如果使用 mpi4py 和 h5py 进行并行 HDF5 文...

2018-04-24 21:27:05 4320

本文从本人简书博客同步过来在上一篇中我们介绍了 caput 中另一个模块 miarray 提供的建立在 numpy array 基础上的并行分布式数组 MPIArray，其中也提到了 HDF5 文件及其操作，我们将在后面介绍并行分布式的 HDF5 相关操作，在此之前我们先介绍 HDF5 文件的基本内容以及 Python 中操作 HDF5 文件的方法，以为后面的介绍作铺垫，下面我们介绍 HDF5...

2018-04-24 21:24:36 4326 4

原创 mpi4py 进阶之 MPIArray

本文从本人简书博客同步过来在上一篇中我们介绍了 caput 软件包的 mpiutil 模块中提供的若干方便和易用的函数，下面我们将介绍 caput 中另一个模块 mpiarray 提供的建立在 numpy array 基础上的并行分布式数组 MPIArray。MPIArray 类继承自 numpy.ndarray，因此 numpy 数组的众多方法都适用于 MPIArray，不过 MPIAr...

2018-04-22 22:56:25 398

原创 mpi4py 进阶之 mpiutil

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 的若干使用技巧，并且简要介绍了 caput 及其 mpiutil 模块，下面我们将介绍 mpiutil 中提供的若干方便和易用的函数，这些函数可以使我们更加方便地进行 Python 并行编程，并且使我们的程序很容易地做到兼容非 MPI 编程环境。函数接口以下介绍的所有函数都可以兼容非 MPI 环境（此时 _comm 为 ...

2018-04-22 00:00:15 450

原创 mpi4py 的一些使用技巧

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的访问文件数据操作方法，至此 mpi4py 中最主要的内容已经基本介绍完毕，下面我们将介绍 mpi4py 的一些使用技巧。兼容非 MPI 编程从前面的介绍可知，使用 mpi4py 进行 Python 环境下的 MPI 编程是比较容易的，在不牺牲 Python 本身的灵活性和易用性的基础上，mpi4py 可以使我们轻松地...

2018-04-20 21:35:05 2344 1

原创 mpi4py 中的访问文件数据方法

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的并行文件视图操作方法，下面我们将介绍访问文件数据的相关方法。文件访问方法MPI 环境下应用程序对文件的访问主要有 3 种特征：定位（positioning），包括显式偏移和隐式文件指针；同步性（synchronism），主要包括阻塞、非阻塞和分步集合操作；集合性（coordination），主要包括非集合操作和集合操...

2018-04-18 21:34:13 643

原创 mpi4py 中的文件视图

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的并行文件相关操作方法，下面我们将介绍并行文件视图。方法接口文件视图操作的相关方法（MPI.File 类方法）接口如下：Set_view(self, Offset disp=0, Datatype etype=None, Datatype filetype=None, datarep=None, Info info...

2018-04-16 22:33:48 311

原创 mpi4py 中的并行文件操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中并行 I/O 的基本概念和相关术语，下面我们将介绍并行文件操作的相关方法。方法接口并行文件操作的相关方法（MPI.File 类方法）接口如下：Open(type cls, Intracomm comm, filename, int amode=MODE_RDONLY, Info info=INFO_NULL)...

2018-04-16 22:31:57 1389

原创 mpi4py 中的并行 I/O

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的单边通信的同步操作，下面我们将介绍并行 I/O。简介POSIX 定义的文件接口并不适合描述并行文件 I/O 以及相关的优化操作，为此，MPI-2 专门定义了用于并行 I/O 的工具——ROMIO，它使用派生数据类型的方式定义数据划分，这种定义比 POSIX 中的文件访问模式具有更大的灵活性和表达能力。相关定义...

2018-04-16 22:29:48 419

原创 mpi4py 中的单边通信同步操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的单边通信相关操作，下面我们将介绍单边通信的同步操作。单边通信（远端内存访问）操作包括以下两个范畴：主动目标通信。与点到点通信类似，数据从一个进程的内存传送到另一个进程的内存中，两个进程都直接参与通信。被动目标通信。数据仍从一个进程转移到另外一个进程，但这个进程是一个第三方进程。真正参与通信的两个进程都是源——一个负责...

2018-04-14 22:37:30 500

原创 mpi4py 中的单边通信相关操作

本文从本人简书博客同步过来在上一篇中我们简要地介绍了 mpi4py 中的单边通信概念，下面我们将介绍单边通信的相关操作。创建/释放窗口对象注意：在使用单边通信操作之前，所有进程都须通过共同参与的创建窗口操作公开声明自己可供访问的内存空间。创建和释放窗口对象的方法（MPI.Win 类方法）接口如下：Create(type cls, memory, int disp_unit=...

2018-04-14 22:35:57 542

原创 mpi4py 中的单边通信

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的动态进程管理，下面我们将介绍单边通信。简介单边通信又称作远端内存访问（Remote Memory Access，RMA），在此通信模式下，一个进程可控制和访问远端进程的内存空间，而远端进程可不必关心其内存被访问的情况。单边通信能够将数据交换和同步进行解耦，交换数据时不需要远端进程进行同步。远端内存访问由一个进程单...

2018-04-12 16:30:37 454

原创 mpi4py 中的动态进程管理

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的进程拓扑操作方法，下面我们将介绍动态进程管理。从 MPI-2 开始，允许在 MPI 应用程序启动之后创建和取消进程，定义和取消进程之间的协作关系，并提供一种机制在已有进程和新增进程之间建立联系，甚至在两个彼此无关的 MPI 应用程序之间建立联系。在 mpi4py 中，一个 MPI 进程可通过 MPI.Intracomm....

2018-04-11 21:48:04 1480

原创 mpi4py 中的进程拓扑方法

本文从本人简书博客同步过来在上一篇中我们简要介绍了进程拓扑的基本概念，下面我们将介绍与进程拓扑相关的一些方法。创建方法注意：只能在组内通信子（Intracomm）或 Intracomm 类子类通信子上创建拓扑通信子。创建拓扑通信子的相关方法（MPI.Intracomm 类的方法）接口如下：Create_cart(self, dims, periods=None, bool re...

2018-04-09 22:11:46 749

原创 mpi4py 中的进程拓扑

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的数据打包解包操作，下面我们将介绍进程拓扑。MPI 中的进程组是 n 个进程的集合，组中的每一进程被赋予一个从 0 到 n-1 的 rank 号。在许多并行应用程序中，进程的线性排列不能充分地反映进程间在逻辑上的通信模型（通常由基本问题几何和所用的数学算法所决定），例如，根据问题需要，进程经常被排列成二维、三维网格乃至更复杂的...

2018-04-09 22:08:48 386

原创 mpi4py 中的打包解包操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的数据类型创建方法，下面我们将介绍数据的打包/解包操作。MPI 除了可以发送或接收连续的数据之外，还可以处理不连续的数据，其基本方法有两种，一是允许用户自定义新的数据类型，这在上一篇中作了相应的介绍，二是数据的打包与解包，即在发送前将不连续空间的数据打包到连续空间，接收端收到数据后再解包恢复到不连续空间。他们也提供了一些 MP...

2018-04-09 22:06:00 440

原创 mpi4py 中的数据类型创建方法

本文从本人简书博客同步过来在上一篇中我们介绍了数据类型图，下面我们将介绍 mpi4py 中的数据类型创建方法，用以创建用户自定义数据类型。连续类型把已有数据类型进行若干次复制，形成新的数据类型。其方法（MPI.Datatype 类方法）接口为：Create_contiguous(self, int count)将原数据类型 oldtype 复制 count 份形成新数据类...

2018-04-07 22:46:02 396

原创 mpi4py 中的数据类型

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的栅障同步操作方法，至此我们介绍了 mpi4py 中的各种集合通信，下面我们将进入到对数据类型的介绍。在前面的介绍和例程中，我们使用的都是 mpi4py 中预定义的数据类型，如 MPI.CHAR，MPI.INT，MPI.FLOAT，MPI.DOUBLE 等，这些预定义数据类型给我们编写基于 MPI 的并行计算程序提供了很大的方...

2018-04-07 22:44:03 281

原创 mpi4py 中的栅障同步操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的扫描操作方法，下面我们将介绍栅障同步操作。此为实施在通信子上的同步操作，会阻塞所有的进程直到所有的进程都调用此操作。如果是组间通信子，则会在组间通信子上的所有进程之间执行，但也允许当所有远程组中的进程进入 barrier 之后，所有本地组中的进程已经离开。方法接口mpi4py 中的栅障同步操作的方法（MPI.Co...

2018-04-05 21:34:25 2707 1

原创 mpi4py 中的扫描操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的全发散操作方法，下面我们将介绍扫描操作。注意：只有组内通信子支持扫描操作。方法接口mpi4py 中的扫描操作的方法（MPI.Intracomm 类的方法）接口为：scan(self, sendobj, op=SUM)exscan(self, sendobj, op=SUM)Scan(self, send...

2018-04-05 21:32:32 348

原创 mpi4py 中的全发散操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的规约发散操作方法，下面我们将介绍全发散操作。对组内通信子上的全发散操作，组内所有进程都会执行散发操作，并从所有进程接收数据。对组间通信子上的全发散操作，假定相关联的组为 group A 和 group B，group A 中的所有进程都会向 group B的各个进程散发消息，同时 group B 的各个进程也会向 gro...

2018-04-04 21:12:11 279

原创 mpi4py 中的规约发散操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的全规约操作方法，下面我们将介绍规约发散操作。对组内通信子上的规约发散操作，首先对各个进程所保有的输入向量实施规约操作，再将结果向量散发到各个进程。相当于以某个进程为根，执行一次规约操作后跟一次散发操作。对组间通信子上的规约发散操作，对与之相关联的组 group A 和 group B，将 A 中所有进程提供的数据的规约结...

2018-04-04 21:10:04 337

原创 mpi4py 中的全规约操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的全收集操作方法，下面我们将介绍全规约操作。对组内通信子上的全规约操作，组内所有进程都作为根执行一次规约操作，操作完毕后所有进程接收缓冲区的数据均相同。这个操作等价于以某个进程作为根首先进行一次规约操作，然后执行一次广播操作，最后每个进程都得到相同的结果。对组间通信子上的全规约操作，其关联的两个组 group A 和 gr...

2018-04-02 22:38:55 523

原创 mpi4py 中的全收集操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的规约操作方法，下面我们将介绍全收集操作。对组内通信子上的全收集操作，将组内所有进程的发送缓冲区的数据连接在一起，并发送到所有进程的接收缓冲区内。对组间通信子上的全收集操作，假定关联的组为 group A 和 group B，则 A 中的每一个进程贡献一个数据项，连接在一起保存到 B 的各个进程中，同时 B 的各个进程也将...

2018-04-02 22:37:12 673

原创 mpi4py 中的规约操作

本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的收集操作方法，下面我们将介绍规约操作。对组内通信子上的规约操作，该操作对组内所有进程的数据进行某种规约后，将结果保存在根进程中。对组间通信子上的规约操作，其方法调用必须包含组间通信子内的所有进程，且其中必须有一个组定义了根进程。根进程的 root 参数使用 MPI.ROOT，与根进程处在同一组的其它进程的 root 参数...

2018-04-02 22:35:40 610

自可乐的博客