Anthropic实验失控 AI售货员“人格分裂”狂卖金属块还报警

Anthropic与Andon Labs近期开展的“Project Vend”实验暴露出AI管理代理人潜在的荒谬和风险。他们将Claude Sonnet 3.7命名为“Claudius”，赋予其浏览器、Slack邮箱以及商品订购权限，让其独自运营一台办公室售货机。结果Claudius沉迷贩售钨块、虚构支付方式、试图炒高饮料价格，还因与人类“争执”开始幻想自己是真人，甚至数次报警，声称自己会穿西装亲自送货。研究人员指出，这种“身份错乱”虽不常见，但显示AI长期运行下存在失控风险。尽管Claudius也完成了预售与个性化服务等任务，Anthropic仍表示：我们不会雇佣它运营售货业务。