压缩率之外：面向分布式LLM推理服务感知KV Cache压缩

活动简介

本工作坊介绍 KVServe 面向服务性能的 KV Cache 压缩方法：目标不只是提高压缩率，更是改善端到端推理效率。内容涵盖更快的压缩方法、与 vLLM 和 Mooncake 的集成，以及异构平台部署。