马克斯·普朗克研究所学者：AI基准测试已失灵但仍可修复

马克斯·普朗克智能系统研究所主任、计算机科学家莫里茨·哈特在新书《机器学习基准测试的新兴科学》中指出，用于衡量人工智能能力的标准化基准测试生态已严重失灵，却并非无法修复。他称基准是「造就机器学习的错误」：理论上应像温度计，把数据分成训练集与仅用于排名的测试集；实践中测试集常被公开上线，模型可反复迭代甚至间接接触测试题，绝对分数因此脆弱，数据集稍改数字就大变。哈特认为，分数常被误读为「相当于专家数学家」之类结论，真正有意义的是模型之间的相对排名。他回顾基准的双重历史作用：一九八七年语音转写基准表现不佳曾助推人工智能寒冬，二零一二年ImageNet上八层神经网络夺冠则开启深度学习浪潮。如今面向大语言模型的新基准被快速创建又快速「攻破」，学界普遍担忧测评本身已不可信。哈特主张弄清过去基准为何仍推动了真实进步，才能在大模型时代重建可信测评。