DeepSeek AI 发布 DeepSeek-V4.1-Flash，支持百万上下文和压缩KV缓存

DeepSeek AI 最新发布的 DeepSeek-V4.1-Flash 是一个多模态混合专家模型，拥有5520亿个骨干参数和1960亿个额外的Engram参数，并支持百万级别的上下文窗口。该模型在预填充阶段激活80亿参数，在解码阶段激活160亿参数，KV缓存占用空间为每令牌890字节，比DeepSeek-V4-Flash小约四倍。通过将骨干网络分为20层因果编码器和20层解码器，并采用压缩稀疏注意力（CSA）技术，模型在计算效率上得到了显著提升。此外，该模型采用了Decoder SWA Bounded Replay技术，减少了预填充阶段的计算量。每个CSA2层被静态分配为三种模式之一：全模式、重新索引模式和重用模式，从而进一步优化了缓存大小和计算资源利用。