OpenBMB发布MiniCPM5-2B：一个在34个基准测试中平均得分53.9的轻量级语言模型

OpenBMB发布了MiniCPM5系列中的第二个检查点——MiniCPM5-2B，这是一个拥有25亿参数的密集型因果语言模型。该模型在34个基准测试中平均得分53.9，在代码推理、工具使用和长上下文理解方面表现出色。训练过程包括稳定和衰减阶段、中期适应目标数据分布以及深度思考SFT和基于批评者的JustRL II算法进行的强化学习。最终步骤是策略蒸馏，将16个RL专家合并为一个模型，并在每个响应位置计算学生与教师之间的优势估计。此外，OpenBMB还发布了Ultra-FineWeb等训练数据集。