研究称 AI 聊天机器人正在为用户构建“算法自画像”

高度个性化已成为 AI 聊天机器人的核心卖点，而这种能力很大程度上依赖用户主动分享的大量个人信息，用户往往并不完全清楚所提供数据的范围和影响。德国马克斯·普朗克软件系统研究所、马克斯·普朗克安全与隐私研究所等机构的研究人员今年早些时候发表研究，将聊天机器人通过记忆功能、根据用户在私密对话中自我披露的信息形成的个性化画像称为“算法自画像”。研究团队分析了80名用户依据欧洲隐私法获取并捐赠的 ChatGPT 对话记录，在其中65人的对话中识别出2050条记忆条目。结果显示，96%的情况下，ChatGPT 在用户未明确要求的情况下自行创建或更新了记忆；多数记忆直接来自用户分享的信息，但也有部分基于未必正确的推断，例如有用户请其推荐与涅槃乐队相似的乐队，系统便记下该用户喜欢涅槃乐队。研究还发现，52%的记忆条目涉及用户的心理状态，包括欲望、意图、情绪和信念。研究完成后，OpenAI 于6月推出升级的记忆系统，可自动综合过往对话，持续更新用户偏好、目标和个人处境画像；用户可查看摘要，但官方承认摘要未必涵盖系统掌握或使用的全部信息。OpenAI 自2月起在 ChatGPT 中引入广告，并表示在用户开启个性化广告的前提下，可利用过往对话和记忆定制广告，同时称广告商无法获取对话或记忆，广告也不影响回答。卡内基梅隆大学 CyLab 安全与隐私研究所所长洛丽·克拉诺指出，人们容易把 AI 当作可以倾诉的陌生人，但 AI 一定会记录对话；许多系统默认可用用户输入训练模型，信息还可能在不同情境间渗透，例如依据健康或财务状况给出未必对用户有利的建议。