模型通信-Euler的博客

累计撰写 211 篇文章
累计创建 82 个标签
累计收到 0 条评论

目录CONTENT

以下是模型通信相关的文章

【模型通信】多机多卡通信体系梳理：NVLink、InfiniBand 与 RoCE 在深度学习模型规模持续扩大的背景下，单机单卡训练已无法满足大模型训练的吞吐需求。多机多卡架构成为主流方案，而在这类系统中，通信链路的带宽与延迟几乎直接决定训练效率与可扩展性。因此，理解 GPU 通信体系是大规模训练工程实践中不可绕过的核心基础。本文将从整体架构视角出发，系统梳理多机多卡训练通信方案
- 2025-12-01
- 0
- 0
- 0
- AI前沿