清华开源AKV：面向大模型智能体的KV缓存工程服务，平均成本降约28%

清华大学与香港中文大学研究者开源AKV，一套面向大模型智能体的KV缓存工程服务系统：不汇总旧对话历史，而是让智能体删除选定的KV缓存条目并继续复用其余部分。系统含服务端与策略库、不含模型权重，基于SGLang，Apache-2.0许可；论文在8张A800-80GB上以BF16运行，快速入门可用张量并行2在2张GPU上服务GPT-OSS-120B。评测覆盖GPT-OSS-120B（约5.1B激活）、MiniMax-M2.7（230B总量约10B激活）与MiroThinker-1.7-Mini（30B总量约3B激活）三模型及四项智能体基准。相对阈值摘要，平均成本下降27.7%，平均任务分数提高1.7分。最佳情形为GPT-OSS-120B在SWE-bench Verified：单任务成本由20.0美分降至9.7美分，分数由40.0升至43.2。最差情形为MiniMax-M2.7在BrowseComp-Plus得分58.9，低于文本工程方案的62.3达3.4分。作者对比称上下文工程改写前缀会使后续KV失效并迫使后缀重预填，因而常晚且激进地摘要、可能丢掉中间轮细节；缓存工程则直接操作KV条目。