- 博客(12)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 mpi4py 并行读/写 numpy npy 文件的方法
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中获得高性能 I/O 的方法和建议，下面我们将介绍 mpi4py 并行读/写 numpy npy 文件的方法。在使用 mpi4py 写并行计算程序时经常涉及到对 numpy 数组的操作，常用的操作是将一个大的 numpy 数组按照某种特定的方式分布到各个 MPI 进程中进行并行处理。在某些时候可能需要将这个数组存储到文件中，无论...
2018-08-12 09:57:50
1841
原创 mpi4py 中获得高性能 I/O 的方法和建议
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的文件互操作性，下面我们将介绍 mpi4py 中获得高性能 I/O 的方法和建议。MPI 在底层实现中可充分利用集合操作和非连续数据读/写进行面向文件系统/设备的特殊优化。因此使用 MPI I/O 操作，最重要的就是要活用其提供的几个特征：单次非连续数据访问，集合操作，非阻塞操作，理解并灵活设置适合文件系统特征的各 hint，...
2018-08-12 09:48:52
599
原创 mpi4py 中的文件互操作性
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中 I/O 操作的一致性语义，下面我们将介绍 mpi4py 中的文件互操作性。文件是一种持续性的存储，当程序运行完后依然会存在（只要程序不删除文件），可能会被其他程序或在其他环境中使用，因此文件的互操作性就是一个问题。所谓文件互操作就是指一个运行环境/进程写入文件的数据能够被另外的环境/进程所正确解析。MPI 程序操作的文件只是...
2018-08-09 17:30:03
357
原创 mpi4py 中 I/O 操作的一致性语义
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中 I/O 相关的 hints，下面我们将介绍 mpi4py 中 I/O 操作的一致性语义。MPI 的 I/O 操作的一致性语义指明了多个进程进行 I/O 操作的结果。MPI 程序访问文件都通过一个集合操作 MPI.File.Open 返回的文件句柄来执行，应提供以下 3 个级别的一致性：使用相同文件句柄访问文件的串行一致...
2018-08-09 17:28:11
421
原创 mpi4py 中 I/O 相关的 hints
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的共享文件指针 I/O 操作，下面我们将介绍 mpi4py 中 I/O 相关的 hints。MPI 允许用户为 MPI 实现传递一些 hints。对 I/O 操作，这是通过一些 I/O 操作方法的 info 参数来进行传递的，这些方法包括 MPI.File.Open，MPI.File.Set_view，MPI.File.Set...
2018-08-09 17:24:55
446
原创 mpi4py 中的共享文件指针 I/O 操作
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的非阻塞 I/O 操作，下面我们将介绍 mpi4py 中的共享文件指针 I/O 操作。共享文件指针每个通过 MPI.File.Open 打开的文件，除了每个进程所拥有的独立文件指针之外，还存在一个全局唯一的为每个进程所共享的共享文件指针。共享文件指针也是以相对于进程当前文件视图的相对位置计算，并且共享文件指针和每个进程...
2018-08-06 21:16:01
641
原创 mpi4py 中的非阻塞 I/O 操作
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中读/写文件中数组的方法，下面我们将介绍 mpi4py 中的非阻塞 I/O 操作。MPI 支持前面介绍过的所有读/写方法(包括使用独立文件指针和显式偏移地址的读/写方法，非集合和集合读/写方法)的非阻塞版本。非阻塞读/写方法的名称一般是在对应的阻塞读/写方法的名称前面加上 I，如 Iread/Iwrite，Iread_at/Iw...
2018-08-06 21:13:47
522
原创 mpi4py 中读/写文件中数组的方法
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的不连续读/写和集合 I/O 操作，下面我们将介绍 mpi4py 中读/写文件中数组的方法。在并行科学计算程序中，经常会涉及到读/写文件中的数组（包括子数组和分布式数组，数组可以是多维的，规则分布或不规则分布的）。MPI 提供了相应的方法使这种类型的操作方便而高效。在并行应用中，数组一般会按照某种方式分布在多个进程中，而程...
2018-08-05 16:55:09
915
原创 mpi4py 中的不连续读/写和集合 I/O 操作
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的简单并行 I/O 操作，下面我们将介绍 mpi4py 中的不连续读/写和集合 I/O 操作。在前面的介绍中，我们没有设定文件视图，或者说使用了默认的文件视图。MPI 中的文件视图定义文件中对一个进程可见的部分，一个 MPI 读/写操作方法只能操作文件中其可见的部分，而会跳过其不可见的部分。当一个文件刚被打开时，默认情况下，整...
2018-08-03 21:33:36
562
原创 mpi4py 中的简单并行 I/O 操作
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的 memory 对象及内存操作，下面我们将介绍 mpi4py 中的简单并行 I/O 操作。在前面我们已经简要地介绍了 mpi4py 中的并行 I/O 及文件视图等相关概念和操作，但是 MPI 中的 I/O 操作应该是 MPI 标准中最复杂和最难理解的部分，因为 MPI 中 I/O 操作的方法非常多，而且极易发生混淆（可参见这...
2018-08-03 21:31:17
1117
原创 mpi4py 中的 memory 对象及内存操作
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的客户端-服务器编程方法，下面我们将介绍 mpi4py 中的 memory 对象及内存操作。Python 是一种比较高级的动态编程语言，通过其提供的高级对象和语法，我们一般不需要直接同底层的内存操作打交道，比如说，在 Python 中，我们一般不会如在 C/C++ 等语言中一样先分配内存区域，然后使用分配的内存，使用完后再释放...
2018-08-02 16:41:52
758
原创 mpi4py 中的客户端-服务器编程
本文从本人简书博客同步过来在上一篇中我们介绍了 mpi4py 中的 Op 对象，下面我们将介绍 mpi4py 中的客户端-服务器编程。MPI 允许在不拥有相同通信子对象的两个进程组之间建立通信联系。该功能可以适用于很多场合，如：应用程序分两个部分，各自独立启动，但在运行时需要建立通信联系。某些可视化工具需要连接到正在运行的进程上。并行的 server 程序可能需要与多个并行的 c...
2018-08-02 16:39:55
476
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人