面向超级节点的 Scale-up 互联系统

活动简介

本次演讲探讨了超节点互连系统扩展中的挑战与优化，重点分析了架构转变和通信策略对性能的影响。随着模型架构转向稀疏/线性注意力，KV缓存压力降低，但张量并行和序列并行显著增加了集体通信需求。互连系统需在性能、成本和生态系统间取得平衡，以高效支持训练和推理需求。