Chip Huyen 分享如何降低推理成本

去年的 P99 开发者大会上，畅销书《AI 工程》作者 Chip Huyen 发表了关于如何降低推理成本的主题演讲。她指出，虽然训练一个前沿模型是一次性费用，但每次进行推理时都需要支付相同的费用，这使得长期来看训练成本难以回收。Huyen 认为优化推理的关键在于关注几个关键延迟指标：时间到第一个令牌（TTFT）、每个输出令牌的时间（TPOT）以及端到端延迟。她将在今年的 P99 CONF 2026 大会上再次分享她的研究成果，深入探讨这些想法在过去一年中的发展和变化。Huyen 的研究表明，在模型生命周期中，训练与推理的成本比例可能在1:10至1:100之间，而推理成本过高可能导致无法回收训练费用。