开源大模型端侧推理性能优化与Agent协同

活动简介

随着边缘计算快速发展，在资源受限的端侧设备上部署开源大语言模型已成为关键挑战。本次演讲介绍如何通过模型压缩、量化、剪枝和高效调度，在保持精度的同时降低延迟、内存占用与能耗；并进一步探讨轻量端侧智能体与云端模型如何通过任务拆分、分布式推理和知识共享进行协作，从而提升吞吐量和响应速度，支持自动化系统、物联网与移动助手等实时智能应用。