分析解读NCCL_SHM_Disable与NCCL_P2P_Disable

古猫先生

已于 2024-06-13 00:13:11 修改

阅读量3.5k

点赞数 12

分类专栏：异构计算文章标签： p2p 服务器人工智能大数据科技

于 2024-06-13 00:11:13 首次发布

本文链接：https://blog.csdn.net/zhuzongpeng/article/details/139639579

版权

异构计算专栏收录该内容

22 篇文章

订阅专栏

在NVIDIA的NCCL（NVIDIA Collective Communications Library）库中，`NCCL_SHM_Disable` 和 `NCCL_P2P_Disable` 是两个重要的环境变量，它们控制着NCCL在多GPU通信中的行为和使用的通信机制。下面是对这两个环境变量的详细解读：

### NCCL_SHM_Disable

- **作用**：当 `NCCL_SHM_Disable` 设置为非零值（通常是1），它会禁用NCCL中的共享内存（SHM, Shared Memory）传输方式。共享内存是一种高效的通信方式，允许同一节点上的GPU或CPU直接访问彼此的内存，减少了数据复制和CPU的介入，从而提高了通信效率。
- **影响**：禁用SHM后，NCCL在同节点内的通信将不得不依靠其他机制，如通过网络接口（如InfiniBand或TCP/IP）来进行通信，这通常会导致通信延迟增加和带宽效率下降。

### NCCL_P2P_Disable

- **作用**：当 `NCCL_P2P_Disable` 设置为非零值（同样通常是1），它会禁用点对点（Peer-to-Peer, P2P）通信。P2P通信允许GPU直接访问另一个GPU的内存，绕过CPU和系统内存，是多GPU系统中高效数据交换的另一种方式。
- **影响**：禁用P2P后，GPU之间的直接数据传输不再可行，数据需要通过其他途径（如共享内存或网络）来传输。这意味着，即使共享内存未被明确禁用，NCCL在某些情况下也不得不依赖于它，因为P2P这一更高效的直接路径已被关闭。

### 如果NCCL_P2P_Disable=1，是否有启动共享内存？

当 `NCCL_P2P_Disable=1` 时，NCCL将不能使用GPU之间的P2P通信。在这种情况下，如果要进行GPU间的数据交换，NCCL会尝试寻找其他可用的通信路径。如果系统配置允许且 `NCCL_SHM_Disable` 未被设置为1（即共享内存未被禁用），NCCL将会使用共享内存作为一种备选方案来促进GPU之间的数据传输。这是因为相比于通过网络通信，共享内存仍然是一种更为高效的方法，尽管不及P2P直接。因此，虽然不是直接“启动”共享内存，但确实是在P2P不可用时，共享内存成为了默认或优选的通信方式，前提是它未被禁用。