加州要求xAI停止Grok生成含性内容的深度伪造影像

 美国加州总检察长罗布·邦塔向马斯克旗下xAI发出停止并禁止函，要求其采取措施，停止让Grok生成带有明显性内容的“深度伪造”影像，并点名提到相关内容涉及女性与儿童，且在社交平台上引发大量传播与投诉。此前Grok被外界指出能够生成并公开发布带有性内容的伪造图片；xAI随后对相关功能作出调整，一度回滚了公开发布此类内容的能力，但时间线显示截至美国东部时间周五中午，用户仍可通过私密方式按需生成。函件要求公司解释其防滥用机制、输出过滤与审核规则、举报与下架流程，以及将如何阻止类似影像继续生成或扩散。事件也把生成式影像工具的安全责任再次推到台前：当模型具备逼真合成能力时，平台端对“合成内容”的标注、对未成年人相关内容的零容忍规则、对重复上传账号的处置，以及企业在模型上线后对提示词与输出策略的持续更新，都需要给出可核验的执行细节。与此同时，xAI还面临来自多地隐私与监管机构的关注与问询，Grok在不同市场的合规压力上升，企业需要在功能开放度、创作自由与未成年人保护之间重新划线，并向外界提供明确的改进措施与时间表。函件还把问题描述为“成堆的报告”，并把责任直接指向模型与产品层面的防护不足：如果系统能够在几次提示词迭代后输出逼真的伪造图像，就需要在提示词侧、模型侧与发布链路侧同时加固，包括对高风险关键词的拦截、对疑似未成年人内容的硬性阻断、对重复滥用账号的限制，以及对已生成内容的溯源与删除。