德国 Aleph Alpha 发布开源双语 MoE 模型 Kolibri，激活参数仅 34.6 亿

德国人工智能公司 Aleph Alpha 正式发布了名为 Kolibri 的开源混合专家模型。该模型专为英语和德语双语场景设计，拥有 781 亿总参数，但每个 token 仅激活 34.6 亿参数，激活率约为 4.4%。Kolibri 支持高达 104 万 tokens 的上下文窗口，并采用 Apache 2.0 许可协议发布在 Hugging Face 上，符合欧盟通用人工智能行为准则、欧盟人工智能法案及 GDPR 等监管要求。模型架构包含 50 个 Transformer 块，结合滑动窗口注意力与全注意力机制，并使用针对德语优化的分词器，在德语文本上 token 数量减少 11.2%。训练阶段涵盖了 24T tokens，其中超过 2T 为经过筛选的德语数据。后训练过程结合了监督微调与强化学习。基准测试显示，Kolibri 在英语和德语多项评测中表现优异，特别是在 GPQA Diamond 和 AIME 等推理任务上得分领先，整体评分高于其内部前身模型。部署方面，FP8 检查点约为 78GB，可在单张 B200、B300 或 H200 GPU 或通过 vLLM 服务运行。该模型适合在公共管理、工业和航空航天等受监管行业进行主权部署。