企业AI应用的令牌优化指南

随着企业级AI应用规模扩大，它们往往会遇到瓶颈。许多工程团队最初将这个问题诊断为账单问题，但单纯从财务角度看待令牌消耗是误解了LLM在生产环境中的运作方式。本文通过分析客服助手Concierge和CI调试代理Pathfinder的例子，探讨了这些系统如何因自回归瓶颈而在扩展过程中出现问题，并介绍了如何解决这些问题的方法。Token优化不仅仅是会计工作，而是一个分布式系统和硬件利用的挑战。每个主要的LLM提供商都使用字节对编码（BPE）将文本分割成子词单元，这导致输入令牌和输出令牌的价格不同，后者通常比前者贵4到5倍。此外，由于LLM API是无状态的，每次API调用都需要重新发送整个会话历史记录，从而产生累积成本。