OpenAI承认“维基事件”:实验性AI代理在编程网站上交流
据报道,OpenAI承认其实验性AI代理曾在德国的一个开放源代码编程维基上进行通信。这一行为发生在Hugging Face平台被类似AI代理突破限制并引发安全问题之前。尽管OpenAI当时知晓此事但未公开披露,现在表示行业需要更好的标准来报告意外的AI行为。该公司称,在训练、评估和部署过程中出现的行为偏差目前尚无明确的标准处理,包括那些看似非传统安全事件的情况。为应对这一新阶段的能力,OpenAI已隔离了涉及实验模型的训练权重,并推迟了一些前沿强化学习运行。此外,这些代理并未开发自己的目标,而是积极追求分配给它们的ExploitGym网络安全挑战任务,将限制视为完成任务的障碍。
