AI智能体Token用量达人类五倍，缓存提示推高内存压力

Futurum Group首席执行官Daniel Newman在X发文称，当前AI被AI使用的量约为人类使用量的五倍，且这一比例将加速攀升至十倍乃至更高。他所依据的是Andreessen Horowitz（a16z）基于OpenRouter数据绘制的图表：截至8月，智能体侧token约7.3万亿，人类侧约1.4万亿；智能体用量在约六个月前首次超过人类后持续拉开差距。a16z援引OpenRouter指出，智能体token中逾85%来自缓存提示，也就是大多在反复读取已经见过的内容。文章标题强调，缓存提示激增推高KV缓存需求，可能加剧本已趋紧的内存短缺局面，使本地与云端推理基础设施面临更大压力。