...
...

OpenAI与谷歌Meta科学家警告:AI“思维链”正变得难以追踪

大多数支持

来自OpenAI、谷歌DeepMind、Anthropic和Meta的40多位科学家联合发布论文,警告随着AI模型推理能力增强,我们或将逐渐失去对其“思维过程”的追踪能力。研究指出,当前广泛使用的“思维链(Chain of Thought, CoT)监控”方法,能帮助人类理解AI如何逐步得出答案并及时发现其潜在的恶意行为或被操控迹象。然而,随着强化学习等训练手段的发展,未来AI或将不再以人类语言进行推理,甚至可能有意识地隐藏其思考过程。研究者呼吁将CoT可监测性纳入AI模型训练和部署的核心安全指标,以防止AI系统“黑箱化”并失控。