【RDMA】最全RDMA学习教程（建议收藏）

已于 2022-07-01 09:27:05 修改
阅读量4.1k 收藏 44
点赞数 3
分类专栏： 10 存储知识 文章标签： linux 服务器 网络 七牛云存储
于 2022-07-01 09:26:16 首次发布
原文链接：https://blog.csdn.net/bandaoyu/article/details/120485737
版权

目录

RDMA技术分享

 RDMA技术分享

RDMA技术详解

RDMA编程

RDMA 网络

ROCE|iWarp

性能优化

配置和特性优化

Qos流控 

命令和测试

文档和相关资料

作者:bandaoyu,随时更新,源文连接:https://blog.csdn.net/bandaoyu/article/details/120485737

RDMA技术分享


 RDMA技术分享

1. RDMA概述
https://blog.csdn.net/bandaoyu/article/details/112859853
1. RDMA概述 - 知乎
2. 比较基于Socket与RDMA的通信
https://blog.csdn.net/bandaoyu/article/details/112861399
3. RDMA基本元素和编程基础
https://blog.csdn.net/bandaoyu/article/details/112861431
4. RDMA操作类型|WRITE|READ
https://blog.csdn.net/bandaoyu/article/details/112861454
5. RDMA基本服务类型
https://blog.csdn.net/bandaoyu/article/details/112861469
6. RDMA之Memory Region
https://blog.csdn.net/bandaoyu/article/details/112861488
7. RDMA之Protection Domain
https://blog.csdn.net/bandaoyu/article/details/113115845
8. RDMA之Address Handle
https://blog.csdn.net/bandaoyu/article/details/113116613
9. RDMA之Queue Pair
https://blog.csdn.net/bandaoyu/article/details/113118302
10. RDMA之Completion Queue
https://zhuanlan.zhihu.com/p/259650980
11. RDMA之Shared Receive Queue
https://blog.csdn.net/bandaoyu/article/details/113120391
12. RDMA之Verbs|OFED
https://blog.csdn.net/bandaoyu/article/details/113125244
13. RDMA之用户态与内核态交互
https://blog.csdn.net/bandaoyu/article/details/113125473
14. RDMA之Memory Window
https://blog.csdn.net/bandaoyu/article/details/120485072
15. RDMA之RoCE & Soft-RoCE
https://blog.csdn.net/bandaoyu/article/details/120485632
16. RDMA之DDP(Direct Data Placement)
https://blog.csdn.net/bandaoyu/article/details/120485693

17. RDMA之RDMAP(Remote Direct Memory Access Protocol)

https://blog.csdn.net/bandaoyu/article/details/125234164?spm=1001.2014.3001.5501

18. RDMA之MPA(Marker PDU Aligned framing)

https://blog.csdn.net/bandaoyu/article/details/125234209?spm=1001.2014.3001.5501

19. RDMA之iWARP & Soft-iWARP

https://blog.csdn.net/bandaoyu/article/details/125234243?spm=1001.2014.3001.5501

20. RDMA之Pyverbs(Python Verbs)

https://blog.csdn.net/bandaoyu/article/details/125234422?spm=1001.2014.3001.5502

21. RDMA之内存地址基础知识

https://blog.csdn.net/bandaoyu/article/details/125234262?spm=1001.2014.3001.5502

22. RDMA之基于Socket API的QP间建链

https://blog.csdn.net/bandaoyu/article/details/125234310?spm=1001.2014.3001.5502

23. RDMA之基于CM API的QP间建链

https://blog.csdn.net/bandaoyu/article/details/125234340?spm=1001.2014.3001.5502

RDMA技术详解

【RDMA】技术详解（一）：RDMA概述

https://blog.csdn.net/bandaoyu/article/details/112859853

【RDMA】技术详解（二）：Send Receive操作

https://blog.csdn.net/bandaoyu/article/details/112859932

【RDMA】技术详解（三）：理解RDMA Scatter Gather List|聚散表

https://blog.csdn.net/bandaoyu/article/details/112859981

【RDMA】技术详解（四）：RDMA之Verbs和编程步骤

https://blog.csdn.net/bandaoyu/article/details/112860396

RDMA编程

【RDMA】RDMA 编程实例（rdma_cm API）：

https://blog.csdn.net/bandaoyu/article/details/116062334

【RDMA】RDMA SEND/WRITE编程实例（IBV Verbs ）：

https://blog.csdn.net/bandaoyu/article/details/115988785

https://blog.csdn.net/bandaoyu/article/details/112852477

verbs 编程注意事项

https://blog.csdn.net/bandaoyu/article/details/124327417

【RDMA】rdma_cm和verbs的区别|libibverbs和librdmacm的区别：

https://blog.csdn.net/bandaoyu/article/details/115668933

https://blog.csdn.net/bandaoyu/article/details/120723270

使用socket api编写RDMA程序?

https://blog.csdn.net/bandaoyu/article/details/120726746

RDMA 网络

ROCE|iWarp

https://blog.csdn.net/bandaoyu/article/details/117560876

IWarp模式貌似只能用librdmacm建立连接而无法用libibverbs ：

Connecting Queue Pairs - RDMAmojo RDMAmojo

性能优化

配置和特性优化

【RDMA】基于RoCE的应用程序的MTU注意事项|探测网络中的MTU设置

https://blog.csdn.net/bandaoyu/article/details/116706925

【翻译】低延迟选择 RoCE 或 iWARP？ 

https://blog.csdn.net/bandaoyu/article/details/119001100

InfiniBand如何工作和小消息通信性能优化方案

https://blog.csdn.net/bandaoyu/article/details/119204643

IBV_SEND_INLINE和IBV_SEND_SIGNALED的原理|RDMA小消息通信性能优化 

https://blog.csdn.net/bandaoyu/article/details/119207147

使用‘无信号完成’(Working with Unsignaled completions)|IBV_SEND_SIGNALED 

https://blog.csdn.net/bandaoyu/article/details/119145598

infiniband提升Redis性能|UC和RC时延比较|RC和UD性能比较 

https://blog.csdn.net/bandaoyu/article/details/117081940

优化 RDMA 代码的提示和技巧 

https://blog.csdn.net/bandaoyu/article/details/120713020

fork（）-->ibv_fork_init的使用对性能的影响

https://blog.csdn.net/bandaoyu/article/details/124327417?spm=1001.2014.3001.5501

Qos流控 

无损网络和PFC（基于优先级的流量控制）|ECN

https://blog.csdn.net/bandaoyu/article/details/115346857

RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC 

https://blog.csdn.net/bandaoyu/article/details/115633835

基于RoCE v1配置PFC （非讲原理） 

https://blog.csdn.net/bandaoyu/article/details/115582637

低时延网络实践---百度高级项目|PFC+ECN 

https://blog.csdn.net/bandaoyu/article/details/118498539

优化理论指导

https://download.csdn.net/download/bandaoyu/33184815

命令和测试

InfiniBand IB常用命令|历史命令记录_ 

https://blog.csdn.net/bandaoyu/article/details/115798693

RDMA通信测试工具|RDMA信息查询工具 

https://blog.csdn.net/bandaoyu/article/details/115798045

RDMA抓包|ibdump 用法说明 

https://blog.csdn.net/bandaoyu/article/details/115791233

infiniband网卡安装|InfiniBand 连接和状态诊断工具|测试RDMA网卡是否正常工作 

https://blog.csdn.net/bandaoyu/article/details/115906185

错误记录

https://blog.csdn.net/bandaoyu/article/details/116539866

文档和相关资料

【RDMA】文档和教程和相关知识;https://blog.csdn.net/bandaoyu/article/details/112861368

https://www.freesion.com/article/8223180236/

RDMA 学术或测试研究 

《Scalable RDMA RPC on Reliable Connection with
Efficient Resource Sharing》：http://storage.cs.tsinghua.edu.cn/papers/eurosys19-scalerpc.pdf/

（陈游旻、陆游游、舒继武：http://storage.cs.tsinghua.edu.cn/misc/cym/cym-cv-ch.pdf/）

《FaSST: Fast, Scalable and Simple Distributed Transactions with
Two-sided (RDMA) Datagram RPCs》：https://www.cs.cmu.edu/~dga/papers/fasst_osdi.pdf

《StaR: Breaking the Scalability Limit for RDMA》 https://icnp21.cs.ucr.edu/papers/icnp21camera-paper30.pdf

云计算雷哥
关注
  • 3
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RDMA编程用户手册-官方中文版
03-23
因为工作需要,将这个 Mellanox 的编程用户手册翻译成了中文，便于大家 学习参考。其中第一章和第二章参考了网络上的一些已有翻译，并做了部分纠 错。其他借助了 google 翻译。发布时候我会同时上传英文原版和翻译版，以便 纠错。
深入浅出全面解析RDMA
架构师技术联盟
02-14 1427
    RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。它将数据直接从一台...
网络安全最全【RDMA】最全RDMA学习教程（建议收藏）_rdma python(1)，精心整理
最新发布
2401_84297265的博客
05-09 356
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！内容实在太多，不一一截图了。
【RDMA】RDMA 学习资料总目录
bandaoyu的note
09-26 1万+
SavirRDMA 分享 1. RDMA概述 https://blog.csdn.net/bandaoyu/article/details/112859853 https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信 https://blog.csdn.net/bandaoyu/article/details/1128613993. RDMA基本元素和编程基础 https://blog.csdn.net/bandaoyu/article/de.
【RDMA】20. RDMA之Pyverbs(Python Verbs)
bandaoyu的note
06-11 833
【RDMA】RDMA 学习资料总目录_bandaoyu的博客-CSDN博客SavirRDMA 分享1. RDMA概述https://blog.csdn.net/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https://blog.csdn.net/bandaoyu/article/details/1128613993. RDMA基本元素和编程基础https://blo
2024年网络安全最新AI：143-基于深度学习的实时视频人物识别与跟踪(1)，【绝对干货
2401_84263434的博客
05-07 774
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
access open 知乎_12. RDMA之Verbs
weixin_33978451的博客
12-27 1505
（最近正好要在公司讲一下Verbs，所以先更这篇，Memory Window晚一点再更。再次吐槽一下知乎对Markdown的支持实在是太垃圾了……有时间会重新排版）Verbs直译过来是“动词”的意思，它在RDMA领域中有两种含义：1) 由IB规范所描述的一组抽象定义，规定了各厂商的软硬件在各种Verbs下应该执行的动作或者表现出的行为，IB规范并未规定如何编程实现这些Verbs，在这种含义下，Ve...
20. RDMA之Pyverbs(Python Verbs)
weixin_39094034的博客
11-01 475
Verbs API有多种实现，最基础也是最常见的Verbs API是基于C语言实现的，这套接口被集成在rdma-core，也就是用户态RDMA协议栈中。这些API以ibv_为前缀，比如ibv_create_qp()，ibv_reg_mr()等等。
【RDMA】低时延网络实践---百度高级项目|PFC+ECN
bandaoyu的note
07-05 3643
原文：https://www.sohu.com/a/190664909_210640 低时延网络的实践： 第一是低时延网络解决方案，会介绍百度在低时延网络解决方案设计过程中如何思考的 第二是低时延网络技术展望，会介绍低时延网络技术研究方向 第三是总结。 以前数据中心： 追求大带宽，无阻塞 。 现在数据中心： 追求低时延、无丢包。 网络时延组成5部分：光电传输时延、数据串行时延、设备转发时延、重新排队时延、主机处理时延。 光电传播时延：是固定值，没办法改变 数据串行时延和设备
[RDMA-高级计算机网络report] Congestion Control for Large-Scale RDMA Departments
xiongyuqing的博客
03-01 801
本文主要解决的问题是在RoCEv2体系中，基于优先级的拥塞控制PFC是一种粗粒度的机制。它在端口（或端口加优先级）级别上运行，并且不区分流。PAUSE机制是基于每个端口（和优先级）的，而不是基于每个流的。这将导致Unfairness和Victim flow等问题。
全网最全面的RDMA拥塞控制教程
10-30
远程直接内存访问（RDMA，Remote Direct Memory Access）是一种高效的数据传输技术，它允许网络中的一个系统直接存取另一个系统的内存，而无需通过中央处理器（CPU）进行数据的中转。这种技术在高性能计算（HPC）、...
intel E810 RDMA驱动安装
10-06
"intel E810 RDMA驱动安装" 本文档详细记录了intel E810 RDMA驱动的安装过程，包括安装前的准备工作、安装RDMA驱动、安装LAN驱动、安装irdma驱动、安装rdma-core库、设置网卡驱动加载模式等步骤。 安装前的准备...
RDMA编程实例源码（rdma_cm API）
05-12
**远程直接内存访问(RDMA)...通过分析和学习这些源码，你可以深入理解RDMA编程的细节，掌握如何利用rdma_cm API构建高效、低延迟的网络应用。在实际项目中，理解并熟练运用这些技术能够极大地提升系统的性能和效率。
ib_rdma.rar_rdma
09-24
对于理解这个主题，需要深入学习InfiniBand协议、RDMA原理以及如何使用verbs接口进行编程。"ib_rdma.c"源代码文件是实现这些功能的关键，通过阅读和分析代码，可以进一步了解RDMA技术的细节及其在实际应用中的实现...
rdma 编程详解
02-14 2751
1.相关名词解释 1.1 rdma-core 指开源RDMA用户态软件协议栈，（用户空间的驱动）包含用户态框架、各厂商用户态驱动、API帮助手册以及开发自测试工具等。 rdma-core在github上维护，我们的用户态Verbs API实际上就是它实现的。https://github.com/linux-rdma/rdma-core 1.2 kernel RDMA subsystem 指开源的Linux内核中的RDMA子系统，（内核空间的驱动）包含RDMA内核框架及各厂商的驱动。 RDMA子系统.
DMA、链式DMA、RDMA（精华讲解）
zz2633105的博客
08-08 1万+
DMA、PCIe DMA、链式DMA、RDMA
【RDMA】技术详解（一）：RDMA概述
热门推荐
bandaoyu的note
01-20 5万+
原文：https://blog.csdn.net/qq_21125183/article/details/86522475 1. DMA和RDMA概念 1.1 DMA DMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。 传统内存访问需要通过CPU进行数据copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中。DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统
高性能网络之PFC（Priority Flow Control，优先级流控制）
ohio0102
04-09 1230
PFC
RDMA学习方法，RDMA的拥塞算法现状及演进方向
07-21
学习 RDMA（Remote Direct Memory Access）可以通过以下方法进行： 1. 学习基本概念：了解 RDMA 的基本概念和工作原理，包括 RDMA 网络架构、RDMA 传输协议（如 InfiniBand、RoCE 等）、RDMA 操作模型和数据传输过程等。 2. 阅读文档和规范：查阅相关的 RDMA 文档和规范，包括官方文档、标准规范和协议说明。这些文档可以提供关于 RDMA 的详细信息和技术细节。 3. 参考教材和教程：有一些专门的书籍和教程介绍了 RDMA 技术，包括 RDMA 的原理、设计和实现。可以通过阅读这些教材来深入了解 RDMA。 4. 参加培训和课程：参加相关的培训课程或在线学习平台上的课程，了解 RDMA 的基本原理和应用实践。这些课程通常会提供理论讲解、案例分析和实验演示等。 关于 RDMA 的拥塞算法现状及演进方向，以下是一些常见的拥塞算法和发展趋势： 1. 基于随机早期检测（Random Early Detection, RED）的拥塞控制算法：RED 算法是一种基于随机策略的拥塞控制算法，通过在网络节点上监测队列长度，并根据队列长度的阈值来丢弃或标记数据包，以减少网络拥塞。RED 算法可以应用于 RDMA 网络中，以实现拥塞控制。 2. 基于传输控制协议（Transmission Control Protocol, TCP）的拥塞控制算法：TCP 是一种常见的传输层协议，具有强大的拥塞控制机制。在 RDMA 网络中，可以借鉴 TCP 的拥塞控制算法，如 TCP Vegas、TCP New Reno 等。 3. 基于反馈和控制论的拥塞控制算法：近年来，一些研究提出了基于反馈和控制论的拥塞控制算法，如 Proportional Integral (PI) 控制器、Model Predictive Control (MPC) 等。这些算法可以根据网络状态和性能指标进行动态调整，以实现更精确和高效的拥塞控制。 4. 数据中心拥塞控制算法：随着数据中心规模的增大和应用负载的复杂化，数据中心网络的拥塞控制成为一个重要问题。一些新的拥塞控制算法针对数据中心网络特点进行优化，如 DCTCP、Homa 等。这些算法通过优化拥塞信号传输和调度策略，以提高数据中心网络的性能和吞吐量。 未来 RDMA 拥塞算法的发展方向可能包括以下几个方面： 1. 更精确和动态的拥塞控制：研究人员正在探索更精确和动态的拥塞控制算法，以适应不同网络环境和负载的变化。 2. 机器学习和人工智能在拥塞控制中的应用：机器学习和人工智能技术的发展为拥塞控制提供了新的思路和方法。未来可能会有更多基于机器学习的拥塞控制算法被提出和应用。 3. 跨层次优化：拥塞控制不仅仅局限于传输层，还需要考虑与其他网络层次（如网络拓扑、路由选择等）的协同优化，以实现更高效的拥塞控制。 4. 针对特定应用场景的优化：不同应用场景对网络性能和延迟要求不同，可能需要定制化的拥塞控制算法来满足特定需求。 为了更深入了解 RDMA 的拥塞算法现状和演进方向，建议阅读相关的学术论文、专业期刊和会议论文，以及参考相关的研究报告和技术博客。同时，参与学术会议和研讨会也是了解最新研究动态和交流学习的好途径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值