自可乐的博客

原创 SLURM 资源管理系统

本文从本人简书博客同步过来在上一篇中我们简要介绍了 LSF 作业管理系统，下面将介绍 SLURM 资源管理系统。简介SLURM （Simple Linux Utility for Resource Management）是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统，被世界范围内的超级计算机和计算集群广泛采用。SLURM 维护着一个待处理工作的队列并管理此...

原创 LSF 作业管理系统

本文从本人简书博客同步过来在上一篇中我们简要介绍了 PBS 作业管理系统，下面我们将介绍 LSF 作业管理系统。简介LSF （Load Sharing Facility）是一个被广泛使用的作业管理系统，具有高吞吐、配置灵活的优点。通过 LSF 集中监控和调度，可以充分利用计算机的CPU、内存、磁盘等资源。常用命令bqueues：查看计算队列bhosts：查看计算节点...

原创 PBS 作业管理系统

本文从本人简书博客同步过来在上一篇中我们非常简单地介绍了在 C 语言中嵌入 mpi4py 程序的方法。前面我们所给出的各个例程一般都是在单台计算机上直接使用 mpiexec 或 mpirun 执行的，但是在实际应用中，对规模比较大的高性能计算任务，一般会提交到集群或超级计算机平台上进行计算。集群系统具有低成本、高性能的特性，提供了强大的批处理和并行计算能力，代表了高性能计算机发展的新方向。...

原创 在 C 语言中嵌入 mpi4py 程序

本文从本人简书博客同步过来在上一篇中我们介绍了用 f2py 包装 Fortran 语言 MPI 程序以供 mpi4py 调用的方法，可以看到包装 C， C++，Fortran 等其它计算机语言的 MPI 程序供 mpi4py 调用是比较容易的，其实反过来将 mpi4py 程序嵌入其它计算机语言中也不难，下面我们将介绍在 C 语言程序中嵌入 mpi4py 程序的方法。Python 与 C 之...

原创 使用 f2py 包装 Fortran MPI 程序

本文从本人简书博客同步过来在上一篇中我们介绍了用 Boost.Python 包装 C++ 语言 MPI 程序以供 mpi4py 调用的方法，下面我们将介绍使用 f2py 包装 Fortran MPI 程序的方法。f2py (Fortran to Python interface generator) 是 numpy 中自带的一个 Fortran 到 Python 的接口生成工具，支持 Fo...

原创 使用 boost.Python 包装 C++ MPI 程序

本文从本人简书博客同步过来在上一篇中我们介绍了用 SWIG 包装 C 语言 MPI 程序以供 mpi4py 调用的方法，用 SWIG 包装 C++ 的方法也类似，如有需要读者可以参考以上的介绍以及 SWIG 的使用文档完成对 C++ MPI 程序的包装。除了可以使用 SWIG 包装 C/C++ 之外，还可以使用 C++ 的 boost.Python 库包装 C/C++ MPI 程序以供 mpi...

原创 使用 SWIG 包装 C MPI 程序

本文从本人简书博客同步过来在上一篇中我们介绍了在 mpi4py 中包装和调用 C 语言 MPI 程序的方法。在实际应用中直接使用 Python/C API 编写 Python 扩展模块是比较麻烦的，要求对 Python/C API 非常熟悉才能很好地运用，更常用的做法是使用像 SWIG 这样的工具来包装 C/C++ 程序文件，下面我们介绍用 SWIG 包装 C 语言 MPI 程序以供 mpi4...

原创 在 mpi4py 中包装和调用 C MPI 程序

本文从本人简书博客同步过来在上一篇中我们介绍了使用 scalapy 调用 ScaLAPACK 进行分布式内存的线性代数运算。Python 作为一种胶水语言，可以非常容易地包装和调用其它计算机语言已有的程序代码和工具库，如果我们有用 C，C++，Fortran 或其它计算机语言编写的 MPI 计算程序，也能很容易地将其包装后在 mpi4py 中进行调用。另外我们也可以用这些计算机语言编写一些运算...

原创 mpi4py 进阶之 scalapy

本文从本人简书博客同步过来在上一篇中我们非常简要地介绍了 ScaLAPACK 软件。虽然 ScaLAPACK 在设计上作了很多工作使其方法接口与 LAPACK 尽量保持一致，但是直接使用 Fortran 或 C 语言按照上一篇中介绍的步骤使用 ScaLAPACK 仍然是一件比较麻烦和容易出错的事情，就好比我们使用 numpy.linalg 或 scipy.linalg （在底层调用 BLAS ...

原创 ScaLAPACK 简介

本文从本人简书博客同步过来在上一篇中我们介绍了一个非常实用的工具 mpipool，下面我们将简要地介绍并行分布式线性代数运算工具 ScaLAPACK，然后我们会介绍在 python 中使用 ScaLAPACK 的工具 scalapy。简介ScaLAPACK（Scalable LAPACK 简称）是一个并行计算软件包，适用于分布式存储的 MIMD （multiple instruct...

原创 mpi4py 进阶之 mpipool