GPU-communication-test
本文最后更新于：3 天前
背景
由于需要实现张量并行，考虑测试实验室153服务器的GPU通信指标。
GPU间需要大量的交换数据，于是GPU通信性能成为了非常重要的指标。NVIDIA推出的GPUDirect就是一组提升GPU通信性能的技术。但GPUDirect受限于PCI Expresss总线协议以及拓扑结构的一些限制，无法做到更高的带宽，为了解决这个问题，NVIDIA提出了NVLink总线协议。
测试方式
1 | |
即可得出GPU之间的通信速率
GPU-communication-test
http://example.com/2024/03/15/GPU-communication-test/