07-05 RDMA 与 RoCE:让数据绕过 CPU 走高速通道
07-05 RDMA与RoCE 可以先理解成“VIP 传送带”:数据从一台机器内存直接进另一台机器内存,少让 CPU 当搬运工。
一、RDMA 是什么
RDMA = Remote Direct Memory Access,远程直接内存访问。普通网络收发要经过内核和 CPU 多次处理,RDMA 尽量绕开这些步骤,降低延迟和 CPU 占用。
二、为什么 AI 需要它
AI 训练里 GPU/服务器之间同步频繁,延迟和 CPU 开销都会变成浪费。RDMA 让数据搬运更接近“高速直达”。
三、RoCE 是什么
RoCE = RDMA over Converged Ethernet,把 RDMA 跑在以太网上。好处是利用以太网生态,难点是要把以太网调成低丢包、低延迟的环境。
四、和拥塞控制
普通 04-02 TCP拥塞控制 面向公网公平,AI 集群更像封闭高速园区,需要更精细的队列、PFC、ECN、拥塞控制。
一句话总结
RDMA 减少搬运环节,RoCE 把这种能力搬到以太网上。