IFM发布K2 Horizon：六款Apache 2.0许可模型

近日，MBZUAI于2025年五月成立的前沿实验室——基础模型研究所（IFM）发布了K2 Horizon项目。该项目包含六款不同规模的模型，从0.9B到375B-A23B不等，并且所有模型均采用Apache 2.0许可协议开源。除了模型本身，IFM还提供了预训练语料库、中间检查点、训练代码、配置文件和详细的日志记录，使得K2 Horizon成为有史以来最大的完全开放源码的AI模型发布项目。这些资源包括了从原型设计到大规模部署所需的全部工具和技术支持，确保团队可以在不同规模下进行无缝扩展。此外，IFM还引入了一种新的稀疏性技术——MoVA（混合值注意力），该技术将专家路由扩展到了多头注意机制本身，从而在不牺牲性能的情况下提高了模型的可扩展性和效率。