别只看开源模型基准，要评估整条推理栈

公开基准成绩本应帮工程师挑对开源模型，但现实并非如此：基准多反映最优表现，而生产要求模型反复可用，还受输入信息与准确性等因素影响，尤其难以判断长时程 AI 任务能否完成。AI 云厂商 Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 对 The New Stack 表示，应用结合行业基准与内部基准／评测架，才能对齐组织所需推理结果；该公司与客户合作时一直这样做。Wang 因 Nebius 收购其联合创立的推理优化初创 Eigen AI 而加入（约 6.43 亿美元交易于五月公布）；Nebius 通过 Token Factory 出售推理服务。他指出客户常自带基准，可用其智能体工作流与轨迹评估可达成功率；公开基准往往覆盖不了生产里的多领域任务，易使智能体任务与推理调用真实成本错位，需要情景学习。因此不宜把过多时间耗在挑模型上，而应审视整条推理栈：按成本灵活的开源栈还是前沿模型来选型。偏成本时会评估 Kimi、DeepSeek 及更轻的 flash 类模型能否达标、是否需微调；偏精度时常收窄至两三个大型开源模型再微调，并确认长上下文与缓存输入能达到预期。