智能体人工智能考验零信任：去认证攻击可在数秒内完成

本文由贝尔法斯特女王大学提供。全球已有多支团队借助由编排器管理的智能体编组，开发用于风险评估、客户画像、撮合与信息产出等应用，并略微介入决策。这类系统通常设置检查点，提示智能体删除历史相关信息，以免决策被过往记录带偏；但后续提示仍可能让智能体调出本应删除的内容，或被诱使泄露更多信息，这属于典型的上下文恢复攻击，由此引出指令是否确被执行、证据何在的问题。有人将零信任架构用于编排和管理智能体活动，核心是永不信任、始终验证；但其中的策略执行点本身仍须被信任，因此是否存在真正的零信任、以及能否信任其所执行的策略，仍是疑问。在设有恰当护栏的前提下采用智能体可能有益；若向基于现成模型训练的随机智能体开放系统并盲目依赖，则会带来显著网络风险。例如在氛围编程中把全部代码交给组织外部的不可信对象，可能导致漏洞在多个面上扩散，并影响智能体查询的可信执行。在低容错且缺乏追踪的自主智能体网络中，对每条查询做实时验证在计算上代价很高，会面临内存与执行之间的权衡。若过度依赖仅有单一可信层的智能体生态，一旦发生零日攻击，整个体系可能暴露。该校一项内部实验显示，在智能体编排下，常见的去认证攻击可快至两到三秒，几乎没有响应和修补的时间。在异步自主条件下证明信任的影响可能很大。团队提出可采用人工智能物料清单，或借助分布式账本技术提供可追溯、不可篡改的信任基础，并使相关信任向量不绑定于特定平台。他们还指出横向异常仍待研究：智能体在某一任务上表现符合预期，并不意味着在所有相关组件中都可被信任。低信任治理可在短期带来较高收益，但系统失效后的恢复成本尚未探明，且不易限制在局部，例如智能体失控引发的供应链问题需要清查所有接触点。该研究组的其他博士课题还涉及人工智能主权与问责，假说是主权与信任须一并治理，并需理解规范可信执行的法律；漏掉信息与漏掉指令的影响并不相同。现实困难之一是，在智能体自主性很高的无状态系统中，若未采用过去依赖的基于状态的建模来治理信任，信任溯源的收敛性和可靠性会明显下降。把策略执行点作为单一实体并期望其扩展到所有智能体交互，可能低估了问题的规模。该校网络人工智能中心正在探索帮助企业扩大规模并建立面向商业应用的智能体流水线，日常关注部署规模、工作流异常检测、攻击面与脆弱性的持续评估，以及纯智能体人工智能与任务驱动的多智能体系统之间的差异。