具体日期、时间与会场确认后将在此补充。
本次演讲系统介绍 llm-d 分布式推理控制平面,包括智能路由、端点选择、推理池、模型服务器、前缀与负载感知调度、KV Cache 分层卸载、Prefill–Decode 分离、专家并行、流控与弹性扩缩容,并覆盖 Kubernetes、Slurm、Ray 和裸金属环境。
讲师