Meta 开源权重模型 Muse Spark Open：约八千亿参数多模态混合专家模型

Meta 发布开源权重模型 Muse Spark Open。该混合专家模型可处理文本、图像、音频与视频，总参数约八千一百六十亿，每个 token 约激活四百二十亿参数，上下文窗口最高约一百万 token，输出为文本。相较此前的 Muse Glimmer，Spark Open 在更大规模上采用 MoE 架构，并被描述为当前美国开源权重模型中能力较强的一款。训练面向智能体式编程，包括阅读代码库、编写与调试代码、调用工具，也可结合截图、语音备注或屏幕录制辅助开发。架构上每层 MoE 有二百五十六个专家，每次选择八个；检查点提供 BF16 与 NVFP4 格式。文章还介绍了运行、微调与基于该模型构建的示例。模型延续计划、行动、观察与自我纠正的长任务工作方式，并可在含图像的场景中浏览网页。