小米发布MiMo-V2.6,展示开放性训练过程
小米近日发布了其最新的人工智能模型MiMo-V2.6,该模型在参数量、上下文窗口等方面表现出色,与OpenAI和Anthropic的最新模型处于同一水平。MiMo-V2.6-Pro拥有1万亿参数,其中420亿参数同时活跃,支持100万令牌的上下文窗口,并且支持文本、图像、音频和视频等多种模态。小米不仅展示了模型的性能指标,还通过公共仪表板直播了强化学习训练过程,公开了训练成本等细节。这一做法在行业内较为罕见,展示了小米在人工智能领域的开放性和透明度。小米的直播显示,MiMo-V2.6-Flash模型的训练成本为854,044美元,而MiMo-V2.6-Pro模型的训练成本为2,620,670美元,总计约350万美元。此外,小米还公开了模型的预训练成本,尽管具体数字尚未公布。
