AI代理带来“影子AI”与越权执行风险,AI安全赛道融资热度上升
随着企业把生成式AI从“聊天助手”推向可执行任务的AI代理(agent),安全风险的形态正在从“模型会不会胡说”转向“系统会不会越权做事”。在更复杂的企业环境里,AI代理往往需要读取邮件、日历、CRM、代码仓库与工单系统,还可能被授予创建工单、修改权限、触发付款流程或调用内部API的能力;一旦发生提示注入、权限配置不当或供应链组件被污染,风险就不再停留在内容层面,而是可能变成可操作的资产与数据事件。另一个被频繁提及的现象是“影子AI”:员工绕过IT与安全部门私自接入第三方模型或插件,把内部文件、客户数据或源代码丢进未经审计的工具里完成工作,短期效率提升,长期却增加合规与泄露概率。围绕这些变化,AI安全创业公司与投资人把重点放在几类可落地的防线:第一类是身份与权限最小化,把代理能做的动作拆成可审计、可撤销的细粒度授权,并为高风险动作增加二次确认与策略门槛;第二类是运行时监控,对代理的链式调用、工具使用与数据流向做日志留存与异常检测,避免“看不见的自动化”在后台持续扩散;第三类是数据治理与脱敏,把敏感字段在进入模型前做替换或令牌化,并规定哪些数据可被用于上下文检索;第四类是红队化测试与对抗评估,专门模拟提示注入、越权请求与社工诱导,提前暴露薄弱点。相关融资升温的原因也更直接:企业愿意为“让代理可控地跑起来”付费,而不是只为一个更会写文案的模型买单;同时监管与行业合规对可追溯、可解释的自动化流程要求上升,使得安全与治理工具更容易进入采购清单。
支持率>95%