Poolside发布Laguna S 2.1：轻量级代码生成模型在多语言基准测试中表现优异

近日，Poolside公司发布了Laguna S 2.1，这是一款具有1180亿参数的混合专家（MoE）模型。该模型支持高达100万个令牌的上下文窗口，并在长时编码基准测试中表现出色，甚至超越了数倍于它的大型模型。Laguna S 2.1采用稀疏激活机制，在每个步骤仅使用约80亿参数，从而实现了高效运行。此外，它还在SWE-Bench Multilingual多语言代码生成任务上取得了78.5%的高分，领先于其他公开披露规模的模型。Poolside团队发布了BF16、FP8、INT4和NVFP4格式的权重，并提供了官方GGUF和MLX转换以及DFlash草案模型。从训练开始到发布仅用了不到九周的时间，在多个基准测试中表现出色。