苦涩教训提出者萨顿向大语言模型规模化拥趸再抛苦涩一课：单靠算力不足以实现智能

图灵奖得主理查德·萨顿近日发文指出，单靠原始算力并不足以实现智能，人工智能科学需要巧妙的新方法，而且“远未完成”。该帖文在X上的人工智能社区引发广泛讨论。萨顿在2019年著名文章《苦涩教训》中主张，能随算力扩展的通用方法最终会胜过精巧的人工设计路径，关键是能随算力增长、而非依赖人类假设的思路。这一立场并不新鲜。他此前已批评仅靠扩大大语言模型规模的局限，称合成数据是“一个大错误”，因为现实世界无限复杂，任何模拟都只是“微观”的，人类专业知识作为瓶颈会阻碍真正的规模扩展。他呼吁构建带有世界模型、能持续从自身经验中学习的智能体：世界远比互联网文本所能捕捉的更为复杂，当前语言模型训练结束后便不再学习，须在不破坏旧知识的前提下持续学习。离开OpenAI探索新路径的杰里·特沃雷克认为，苦涩教训仍然成立，但投入训练的算力越多，算法就越重要；有些算法能够扩展，有些会走进死胡同，许多扩展维度仍完全未被探索。他写道，Transformer规模化的阶段性成功，叠加对苦涩教训的误读，“已经把整整一代科学家的大脑给奖励黑客了”。杰登·特奥多次看到苦涩教训抑制学术研究，有前景的想法因偏离其精神而被否定。他认为这并非萨顿的过错，而是对其原意的误读；事后看来似乎不符苦涩教训的想法，后来常被更干净、更通用的方法取代，但这并不表示那些想法有错，它们常是当时推动进展的关键。他希望学界不要一出现就否定这类工作：“一个想法不必永远经得起规模扩展，也能成为人工智能进步的重要贡献。”这一张力体现在新一波初创公司中。THE DECODER最新《前沿雷达》第5期追踪到45家押注这些空白的新实验室。特沃雷克运营其中的Core Automation，寻找预训练和强化学习之外的学习算法。这些创始人包括萨顿及其Oak Lab，都相信人工智能还能强大得多，但怀疑单靠今天这套配方到不了那里。仍有人押注大语言模型规模化。OpenAI首席执行官萨姆·奥特曼认为大语言模型规模扩展远未耗尽，并指责批评者过于确信规模化做不到什么，从而拖慢一代研究者。证据是OpenAI的一个模型最近反驳了数学家长久未能攻克的一个数学猜想。他认为世界模型有用，如在机器人领域，但数据显然支持继续扩展大语言模型。Anthropic首席执行官达里奥·阿莫代伊看法类似，称规模化进展像没有尽头的彩虹。作为技术路线完全押注于此的两家公司负责人，两人在此立场上显然有偏向性。