针状模型2发布：仅14MB的开源工具调用模型

Cactus Compute公司发布了针状模型2，这是一个用于工具调用、设备使用和结构化提取的开源45M参数模型。整个模型以单一14MB二进制文件形式提供，并且可以在大约28MB内存中运行一个完整会话。该模型采用Cactus Quants技术进行训练和部署，在公司自己的C++引擎内封装，无需安装运行时环境或在推理时间下载任何内容。据报道，针状模型2在Raspberry Pi 5上的解码吞吐量为每秒500个令牌，在Meta Quest 3S和Apple Vision Pro上为400至1,500个令牌/秒，在低于200美元的手机上为300至700个令牌/秒。该模型的设计理念是将混乱的句子映射到带有类型签名的功能调用，这不需要世界知识或开放式的散文描述。