Weka推出新存储平台，缓存模型预计算令牌以节省GPU资源

随着大规模语言模型的广泛应用，GPU内存成为生产环境中最昂贵且最容易耗尽的资源。为解决这一问题，Weka公司推出了其新的存储平台NeuralMesh 6和首款自主研发硬件Wekapod 3。该平台通过聚合NAND闪存来模拟GPU内存，并声称可以将成本降低至原来的几分之一。此外，NeuralMesh 6还具备可组合多租户、统一文件与对象存储、元数据优先复制以及AlloyFlash和Always-On数据缩减等四大功能，旨在提高现有GPU投资的利用率，减少推理成本并加快新AI工作负载的部署速度。Weka公司创始人兼首席执行官Liran Zvibel表示，客户在获得新的计算资源后希望立即开始运行，而NeuralMesh 6可以帮助他们在一小时内启动和运行。该平台通过缓存模型预计算令牌来解决多轮对话中重复计算的问题，从而提高GPU的效率。