Polymathic AI与普林斯顿等发布FlashMap:流映射草稿器最高加速LLM解码6.14倍

Polymathic AI、普林斯顿大学、南加州大学信息科学研究所、纽约大学与弗拉蒂龙研究所的研究者发布了FlashMap。该推测解码草稿器用连续流映射取代离散扩散草稿器,可在一次前向传播中起草完整的16个token块,且块内token相互一致。在Qwen3-8B上,团队报告GSM8K任务可达最高6.14倍无损加速。面向Qwen3-8B与Qwen3-4B的草稿器权重已上线Hugging Face,并提供vLLM与SGLang插件。草稿器规模约5亿参数(Qwen3-8B为5亿、Qwen3-4B为4.75亿),起草块长K=16;与目标模型同卡运行,论文测速使用单块NVIDIA H200 NVL、并发1、bf16。在Qwen3-8B上它是测试中最快的草稿器,平均约比重新训练的DFlash快7%;最佳为温度0时GSM8K加速6.14倍(接受长度7.69个token),最差为温度1时Alpaca加速2.28倍;在Qwen3-4B(温度0)上有9项任务中的4项落后于DFlash。FlashMap将高斯噪声一步映射为token块:小草稿器提出K个token,目标模型一次并行校验全部K个并保留最长匹配前缀,输出与目标模型完全一致。速度取决于接受token数与起草成本:EAGLE-3自回归起草使成本随块长上升,DFlash则以块扩散一次起草整块。
编号 NEWS-20097
分类人工智能
时间2026-10-29 00:12:16
相关10