Hugging Face推出框架适配器,提升模型在特定智能体框架上的表现与效率

Hugging Face团队介绍了一种“框架适配器”(harness adapters)方法:在自定义任务分布上结合强化学习,并针对所用的智能体框架进行训练,从而得到更准确、更高效的模型。文章指出,现有模型通常面向通用表现,并未针对所有框架和具体任务充分优化,因此模型与框架组合后,仍会在实际任务上留下性能和效率空间。以Qwen3.8-27B为例,该模型在pi框架上的Terminal-Bench 2.1得分为39%,平均每项任务消耗2.9K个token;在冻结原有权重并加入经强化学习训练的自定义LoRA适配器后,一次通过率升至55%,平均token用量降至1.5K,主要原因是模型推理更少、调用工具更少,并且首次执行表现更好。团队此前关于多框架强化学习和框架适配器的工作,已在数据分析和代码构建任务上显示类似效果。本次则进一步检验该方法在27B规模、更难的真实软件工程任务上是否成立,覆盖Pi、OpenCode和Hermes Agent三种框架,并提供可复用的训练配方。具体做法是为Qwen3.8-27B分别训练一个面向各框架的LoRA适配器,强化学习在框架内部完成;数据集、训练和智能体滚动推理均在Hugging Face Hub的Jobs中进行,使用TRL的AsyncGRPOTrainer、OpenEnv和Harbor。每个适配器在对应框架下的两项基准上,表现和效率均优于基座模型。三个LoRA还可合并为一个“超级适配器”,在上述三种框架中无需改动即可运行。训练时,框架按实际发布版本运行,训练器通过框架与vLLM之间的代理记录并学习其产生的精确token。最终Docker镜像中预装的框架版本为Pi 1.5.2、OpenCode 2.2.7和Hermes Agent v0.22.6。任务集来自Hugging Face Hub上的两个来源,以及Repo2RLEnv中Tasksmith流水线生成的第三部分,所有任务均经过openenv validate筛选,并对照基座模型Qwen3.8-27B做了同样的难度检查。相关适配器、GGUF、强化学习任务和safeagents插件等产物,可在Hugging Face合集中浏览。
编号 NEWS-21718