SGLang中的KV Cache使用

活动简介

本工作坊介绍 SGLang 如何使用 KV Cache，从前缀复用延伸到分层缓存，涵盖用于缓存复用的 RadixAttention 与 Unified RadixAttention、跨存储层迁移缓存的 HiCache，以及面向混合注意力模型的 Unified Memory Pool。