你的代理程序需要多少内存？

在之前的讨论中，我们比较了ALTK-Evolve与ACE，并展示了如何交付代理程序的自我提炼指南会影响准确性和成本。本文进一步探讨了一个关键问题：给代理程序配备多少内存才是合适的？研究表明，为代理程序提供记忆功能并不是一个简单的开关操作，而是一个需要根据模型能力进行校准的过程。例如，在评估八种不同规模的模型时发现，强大的模型能够吸收并应用完整的指南集，从而提高任务完成率；而对于较小或较弱的模型来说，采用紧凑的核心指南加上每次任务检索少量相关指南的方法效果最佳。此外，精心选择的检索方法可以同时实现最高的准确性和最低的成本：gpt-oss-120b在仅增加5%令牌的情况下，任务完成率提高了+16.1个百分点，并且提示缓存使得即使使用完整的指南集也能保持生产环境下的成本效益。