社区开发者发布MiniCPM5-1B本地运行模型
一位名为GnLOLot的社区开发者发布了基于OpenBMB MiniCPM5-1B的基础模型,并在其上进行了微调,生成了一个可以在本地硬件上运行的657MB模型。该模型使用了GGUF构建方式,无需API密钥和云服务调用。基础模型已经内置了原生思考模板,可以通过enable_thinking开关在思考模式和非思考模式之间切换。开发者通过与Fable 5数据进行监督微调来改进编码和指令遵循能力。这种微调方法不是传统的蒸馏技术,而是通过对教师模型生成的回复和推理痕迹进行监督学习,使该1B参数模型能够模仿响应格式和风格,但不吸收教师模型的能力。
