Anthropic的Fable 5.2完成41.3%的真实自由职业任务，一年前这一比例仅为2.5%

Anthropic的Fable 5.2在一项面向真实自由职业任务的基准测试中完成了41.3%的工作。该基准约一年前推出时，当时表现最好的系统Manus仅完成2.5%的任务，Fable 5.2现在完成的专业任务数量是其16倍以上。今年7月，同系列较旧的Fable 5仍以约16%的成绩领先，彼时最优秀的智能体已在八个月内将达到专业质量的任务完成比例提高了四倍以上。四个月后，Fable 5.2达到41.3%，大约是Fable 5在7月成绩的2.5倍。其直接前代Fable 5.1略低于18%，Fable 5.2完成量是其两倍以上。排行榜随后是Anthropic的Opus 5.5，成绩为21.25%，以及OpenAI的GPT 6 Astra，为20.83%。Fable 5.2的成功率几乎是市场上次优系统的两倍。谷歌在该测试中最强的模型Gemini Argon 4以17.08%位列第五，较旧的GPT-5.2或Gemini 3 Pro低于3%。Scale Labs在X上表示，Fable 5.2最大的进步出现在音频和音乐剪辑、建筑与室内设计，以及三维模型制作；该智能体还能处理此前领先模型经常失败的冗长复杂项目。Fable 5.2成功完成的任务中，有近50项是测试中此前没有任何人工智能智能体解决过的。Scale Labs称，该系统在工业产品设计和动画等其他任务上仍几乎难以胜任。研究人员指出，智能体失败时通常会交出业余水准的作品、不完整的结果、损坏的文件或自相矛盾的设计。与往往只考察单项技能的传统测试不同，RLI研究论文覆盖完整的工作任务。数据集包含来自Upwork平台358名经过验证的专业人士已完成的240个项目，合计价值约14.4万美元。单个项目平均费用632.60美元，人类自由职业者平均耗时略低于29小时，任务范围包括视频剪辑、CAD设计、游戏开发和数据分析。为完成这些工作，智能体可使用配备Blender、GIMP或Audacity等常见专业软件的虚拟工作区，以及用于图像、音频和视频生成的专用人工智能工具。经过训练的人类专家会手动检查智能体是否成功完成任务：他们在相应专业软件中打开提交的文件，并将其输出与人类自由职业者交付的成果直接比较。CAIS试图用另一个人工智能自动完成这一费时审校，但迄今未能成功，因为人工智能审校者自身几乎无法操作这些专业软件，容易被表面精致但技术上有缺陷的提交材料误导，从而对模型评分过于宽松。