DeepSeek 开源 DeepInfer：支撑 DeepSeek-V4.1-Flash 的推理框架

DeepSeek 已开源 DeepInfer，这是支撑其线上服务、并驱动 DeepSeek-V4.1-Flash 的推理框架，采用 Apache 2.0 许可；同时发布了 MIT 许可的 deepseek-recipe，覆盖词元编码与解码层。对开发者而言，这相当于公开了前沿实验室真实服务栈的一角。按模型卡说明，当前主要支持 DeepSeek-V4.1-Flash，上下文窗口可达约 100 万词元。运行平台包括 NVIDIA SM100（Blackwell）GPU 与华为昇腾 950 NPU；基准测试中预填充用 4 块 GPU、解码用 64 块。DeepSeek 称单集群每日可服务约 155 万亿词元；在 EP64、约 131072 上下文、每 rank 256 请求时，单 GPU 输出吞吐可超过每秒 2.5 万词元。框架最初主要基于 vLLM，并吸收了 SGLang 与 TensorRT-LLM 的思路。发布范围侧重离线推理所需核心能力，未包含 KV 缓存系统、预填充与解码拆分以及负载均衡。部署问答还给出商业背景：谷底计价下整体收入约合每 GPU 小时 38 美元。