微软CEO纳德拉：应从一开始就假定AI模型已被攻破，并让人类可在任务中途叫停

微软首席执行官萨蒂亚·纳德拉认为，在智能体人工智能日益普及的时代，让人工智能自我监督等简单策略已不足以保障安全。他在社交平台X上发表长文指出，无论是前沿闭源模型还是开放权重模型，由于能够接触重要系统，都应被视为企业和运营层面的“内部人员”来对待。纳德拉表示，人工智能模型的输出并不具有确定性，即便多次输入相同内容，也可能得到不同结果，但这些模型如今已被部署到实际业务中，能够访问最敏感的数据，并代表企业执行关键任务。在他看来，用一个模型评估另一个模型，或依赖思维链透明度来理解模型的推理过程，都不足以作为安全保障。他写道，可以也应该让模型相互进行对抗性测试和验证，但这样做可能导致一个不透明的模型置身于不透明的编排层之中，再由另一个不透明的模型来监督，实质上形成层层嵌套的黑箱。纳德拉主张，应以强有力的确定性系统设计、人工控制和可靠的操作流程来约束这些非确定性模型，也就是由评估标准始终一致的监督机制来审视输出并不稳定的软件。他认为，思维链透明度和模型之间的对抗性评估只是迈向这一方向的基础步骤。由于人工智能模型的运作缺乏可观测性且较为不透明，他提出的方案以可观测性为核心，并强调可观测性、隔离控制与可审计性是保障超级智能安全的关键。