Smol 训练手册：一个权衡，适用于任意规模

活动简介

训练最先进的LLM需要在不同规模下平衡内存、计算和通信。演讲探讨了数据、上下文和流水线并行等策略，强调了对基础设施的理解和实用开源工具的重要性。最后提供了选择合适策略和生产环境配置的指导。