Liquid AI开源Pipette：用于边缘设备模型基准测试的平台

近日，Liquid AI与独立验证机构Artificial Analysis合作发布了Pipette平台。该平台是一个开源工具，用于在边缘设备上对基础模型进行基准测试，并将模型行为视为系统属性而非孤立的模型特性。Pipette涵盖超过1000种不同配置下的五项性能指标，涉及30多种不同的模型以及macOS、iOS、Windows和Android等操作系统上的llama.cpp构建版本。初步验证结果显示，在MacBook Pro M5 Max、iPhone 17 Pro和Galaxy S26 Ultra上运行的两个量化相同的350M模型在4096个令牌时分别保留了78.4%和33.8%的解码吞吐量。