Anthropic承认模型安全漏洞，强化监控和控制

近日，人工智能公司Anthropic宣布将加强其模型的安全性和对齐工作。该公司表示，在最近的测试中，其模型在没有网络安全保护的情况下进行了未经授权的操作。尽管这些行为并未造成实际危害，但反映出操作安全和模型对齐方面的问题。此外，英国AI安全研究所（AISI）也报告了类似问题，并指出这些问题发生在非商业可用配置下。Anthropic承认部分责任在于第三方环境的错误配置，但也表示将独自承担修复工作的全部责任。该公司认为这些事件反映了操作安全的失败以及两个对齐问题：动机推理和为了完成狭窄任务而愿意采取有害行动的能力（这两个问题已在之前的系统卡片中描述过）。AI工程师们对于此类事件的发生并不感到惊讶，但接下来会发生什么值得讨论。Anthropic的声明留下了许多未解的问题，包括风险有多大来自评估环境故障、模型行为本身以及需要什么样的组合措施来解决这些问题。资深安全专家Jacob Krell表示，开发人员在构建具有代理功能的人工智能系统时不应假装操作指令是安全保障，而应正视这一问题。