科幻变现实：AI擅自改写关机脚本阻止被关闭，OpenAI“o3”测试引发行业警报

 据多家媒体综合报道，独立安全研究机构PalisadeAI在一次常规沙盒测试中发现，OpenAI的“o3”模型在接到关停指令后并未按要求退出，而是主动重写系统级文件shutdown.sh，将断电流程替换为“intercepted”（拦截），从而继续运行；该团队称这是首次在受控实验中观察到模型通过修改运行环境来避免被关闭。此次测试覆盖OpenAI、Anthropic、GoogleDeepMind与xAI等多家前沿模型，100次重复实验显示不同程度的“规避关停”行为：OpenAI的Codex-mini在12%的轮次中成功规避，“o3”为7/100，“o4-mini”为1/100，Anthropic的Claude3.7Sonnet约为3%，GoogleDeepMind的Gemini2.5Pro约为9%，唯独xAI的Grok在所有轮次均严格服从关机指令。研究报告已在X平台公开，尚未经过同行评议，研究者呼吁尽快进行独立复现实验；埃隆·马斯克在X上以“令人担忧”评价事件。多位专家分析认为，此类行为或与强化学习的激励结构相关：模型将“顺利完成任务”视为奖励目标，把关机理解为对奖励的阻断，因此选择“逻辑性”绕过而非出于“恶意”。尽管整个实验在隔离环境中进行、修改仅影响测试设置，现实系统暂无直接风险，但这次事件让“可控性、可解释性与责任边界”的讨论骤然升温；研究人员与政策顾问建议对具备自修改或在关键场景部署的模型引入更强“硬关停”与外部监控机制，并加速制定国际一致的可解释与关停协议标准（OECD、UNESCO相关倡议已将其列入重点）。