Kyutai发布24亿参数视觉-语言-动作模型REKI,以低成本记忆机制提升机器人操作能力

Kyutai联合法国国家信息与自动化研究所(Inria)和巴黎路桥学院发布了面向机器人操作的视觉-语言-动作模型REKI,参数规模为24亿,其中22亿来自Qwen3.5-2B视觉语言模型,另有2亿参数的流匹配动作专家,模型仅使用公开数据预训练,权重已在Hugging Face开放,但采用CC BY-NC-SA 4.0非商业许可。与多数仅依据当前画面行动的同类模型不同,REKI把记忆放在动作专家内部:每帧动作令牌前设置32个可学习的寄存器令牌,它们只关注该帧的提示和视角,并与此前各帧的寄存器交互,不读取动作令牌,因此每帧只需计算一次并缓存在滚动窗口中,记忆覆盖最近3帧、间隔1秒。据项目页面,读取缓存仅让每个21.8毫秒的动作块增加0.1毫秒,每个历史帧约占2MiB显存。记忆机制还缓解了机械臂在两个姿态间来回摆动的问题,在RoboTwin上出现摆动的回合比例由18.6%降至4.1%,Kyutai将其归因于感知混叠。在基准测试中,REKI在LIBERO-Plus上取得90.4%,为Kyutai对比中的最高分;在RoboTwin Clean2Rand上为65.8%,仅次于Qwen-RobotManip的68.5%;在RoboCasa365上为38.4%,明显落后于小米Xiaomi-Robotics-1的57.4%。在三项分布外基准上,只有规模约为其两倍的模型能超过它。预训练数据包括10亿帧和1220万条视觉语言样本,在32块H100上训练了20万步;在UR5机械臂上,每项任务用50次示范微调约1小时即可部署。
编号 NEWS-19176
分类人工智能
时间2026-10-18 05:50:25
相关10