真实场景测试：人工智能编程智能体近四分之三任务仍需人工收尾

阿里巴巴和亚洲多所大学的研究者基于真实用户变更请求，构建了编程智能体新基准Co-Design Bench。智能体须按用户要求改写现有网页应用，输入有时包括图像、录音、视频或文档。即使最好的模型也只能完整完成约四分之一的任务。在测试的十个模型中，GPT-6 Astra平均能满足一项任务约70%的要求，但完全正确的任务只占26.4%。多数情况下它完成了大部分工作，却至少留下一处未完成，用户几乎总要再收尾。现有基准已经过易：模型一旦能运行、检查并自行修正代码，分数就会超过99%，彼此差异几乎测不出来。在WebCompass-edit等旧基准上模型接近满分，而Co-Design Bench仍拉开超过35个百分点的差距。该基准取自真实编程会话请求，并侧重用户多次改述或回滚的案例，因此多为实践中已让智能体为难的任务，既有从收据提取金额并更新所有关联合计这类小改动，也有项目级大改。多模态赛道要求从收据、表格或视频中提取数值，并一致更新所有相关视图。评分很严：一名评委在浏览器中测试完成后的应用，另一名再复核每个通过判定，并查找原型凑数或写死结果，只有真正可用的功能才给分。GPT-6 Astra之后是Claude Opus 5和Qwen3.8-Max，Grok 4.6排在最后。在更大改动上，体量小得多的Qwen3.8-27B升至第二，但作者不认为这代表普遍优势。当任务同时包含布局、设计、交互和内容等更多类型改动、尤其是三到四种时，全部十个模型表现都会下降，这类缠绕要求在真实项目中却是常态。GLM-5.2在较小改动上消耗的token接近GPT-6 Astra的六倍，得分仍明显更低。GPT-6 Astra在两条赛道都领先，但完整解决的多模态任务只有41%，代码库任务不到18%。把同一模型放进不同运行环境，结果差异很大：Qwen3.8-27B在更大改动上的得分可以是75%，也可以只有56%，哪个模型领先也取决于环境。作者建议始终同时报告模型与工作环境，企业选型应二者成套测试。该基准也有局限：每项任务只评估一个固定请求，不包含用户追问或中途纠正，评委也可能出错。METR的一项研究显示，项目负责人对生成代码的实际接受率约比SWE-bench Verified分数低24个百分点。测试环境缺陷也可能让智能体并未真正解决问题就过关；不过近期一项研究发现，更复杂的运行环境几乎没有可测益处，即便token消耗高达三倍。