英伟达发布Cosmos 3 Edge：40亿参数的边缘设备模型

近日，英伟达发布了专为边缘设备设计的Cosmos 3 Edge模型，该模型拥有40亿参数。这款开放世界模型旨在帮助机器人和视觉AI代理理解周围环境，并在本地进行实时推理和动作生成。作为Cosmos 3系列的一部分，Edge是第三款产品，也是最小的一款，大约只有Super版本的六分之一大小。它特别针对工厂、仓库和医院等边缘设备的需求设计，在内存受限的情况下提供数据中心级别的性能表现。Cosmos 3 Edge采用混合Transformer架构，包括自回归塔和扩散塔两个部分，分别处理视觉和文本令牌的理解与推理以及预测、生成和神经模拟任务。通过共享多模态注意力层，该模型能够先对场景进行推理再输出结果。