CPU在AI时代的重要性

随着人工智能从聊天机器人转向自主代理，CPU的角色变得越来越重要。Google Compute Engine的产品经理Mo Farhat表示，当前六到八亿参数模型的表现比以往更好，并且对于某些专业任务，CPU可以提供大约每秒25个令牌的速度，这足以满足代理工作负载的需求。尽管大型语言模型通常运行在加速器上，但CPU也负责编排、数据准备、语义搜索和向量数据库等任务。Arm的软件生态系统负责人Bhumik Patel指出，公司专注于支持这些大规模工作的软件和基础设施层。不同类型的自主代理执行不同类型的任务，包括代码执行和API调用等典型的CPU工作。