如何把 AI 生产环境反馈转化为更好的智能体

智能体上线、服务运行正常，但它的回答是否在变好？文章指出，通过把生产环境追踪记录、整理后的数据和评估体系连接起来，团队可以发现故障、选择改进方向，并在新版本面向用户之前证明其有效。首次部署固然是一个里程碑，但难题随之而来：如何保持输出准确、让客户满意，成本又是多少？经过几轮迭代后，团队花在维护工具和协调交接上的时间，可能比改进应用本身还多。文章分析了团队之间的断层：训练模型的 AI 工程师将其移交给应用或站点可靠性工程团队后，前者清楚什么是“好”的输出，后者负责运行中的服务，双方往往各看各的系统。应用追踪数据进入为正常运行时间而设计的仪表盘，值班工程师看到服务健康，研究团队却对回答质量和用户情绪知之甚少；评估套件随用户行为变化而逐渐过时，却无人负责更新；研究人员、AI 工程师和业务负责人在下一次发布时又回到各自的仪表盘。文章建议先厘清由谁把生产故障转化为评估用例、由谁负责让用例保持最新；如果这需要在团队之间来回复制上下文，问题就出在交接环节。文章还提出连接改进流程的各个阶段，即运行模型或智能体、观察其行为、将信号整理为数据、改进系统、评估结果并循环往复，每个阶段都要携带足够的上下文，供下一个团队采取行动。其中运行阶段需要为工作负载选择模型及智能体框架，也就是模型周围的代码和工具，并采集部署后调查其行为所需的信号。