vLLM 工作坊
llm-d：打造跨负载、跨模态、跨硬件、跨平台的分布式推理平面
13:10–13:40 签到，工作坊于 13:40 正式开始。
活动简介
本次演讲系统介绍 llm-d 分布式推理控制平面，包括智能路由、端点选择、推理池、模型服务器、前缀与负载感知调度、KV Cache 分层卸载、Prefill–Decode 分离、专家并行、流控与弹性扩缩容，并覆盖 Kubernetes、Slurm、Ray 和裸金属环境。
讲师
13:10–13:40 签到，工作坊于 13:40 正式开始。
本次演讲系统介绍 llm-d 分布式推理控制平面，包括智能路由、端点选择、推理池、模型服务器、前缀与负载感知调度、KV Cache 分层卸载、Prefill–Decode 分离、专家并行、流控与弹性扩缩容，并覆盖 Kubernetes、Slurm、Ray 和裸金属环境。
讲师
