DeepSeek与月之暗面模型起始权重中疑似藏有NVIDIA Blackwell硬件指纹，指向3000至4500块GPU的训练集群

据Wccftech报道，在美国与中国之间的芯片紧张局势因英伟达前任首席执行官黄仁勋突然离职而再次升温之际，Unemployment Labs开展的取证分析显示，若干中国人工智能模型在训练过程中可能使用了数千块英伟达最新的Blackwell人工智能GPU。该实验室试图通过逆向工程模型权重、还原用于初始化训练的处理器线程数，来匹配专门与Blackwell芯片相关的硬件指纹。报道称，DeepSeek和月之暗面（Moonshot）开发的顶尖中国人工智能模型，在初始化训练阶段可能依赖了英伟达Blackwell GPU。Unemployment Labs的报告虽声称可表明部分中国实验室曾接触到先进的Blackwell GPU，但也补充说，这些证据并非用来评估是否违反了Blackwell GPU出口管制规定。该数据依靠将每块芯片的硬件印记与通过分析模型权重得到的印记进行匹配，结果显示，单次训练运行使用的集群规模约在3000至4500块Blackwell GPU之间，参与实验室的多模型合计足迹则高达约12000块芯片。研究人员分析了这些人工智能模型已发布的权重，并据此找出在DeepSeek及其他机构开始训练时生成初始模型权重的随机种子。权重也称参数，用于将输入转化为输出。Depue表示，多数权重会在训练阶段发生变化，但初始集合可由某些静态权重确定。模型起始权重的精确布局会反映初始化它们的芯片核心数量。配图说明，一块拥有6个流式多处理器（SM）、每个SM各8个线程的GPU，其权重排列与5个SM的GPU输出并不匹配，图片来源为Unemployment Labs。所谓种子，是输入随机数生成器以产生初始权重的值；这组初始数字会被锁定在一种矩阵图案中，该图案取决于训练初始化时所用人工智能GPU的设计架构。DuPue称，他们将模型中静态权重的图案与英伟达Hopper和Blackwell GPU的流式多处理器布局所产生的初始化图案进行了比对，并据此认为这些模型是以英伟达芯片启动训练的。由于每类人工智能芯片的处理核心数量固定，这一硬件布局决定了在训练开始前将起始随机数放入模型的精确网格图案。不同GPU架构的SM布局不同，因此只要深入查看模型权重，就有可能识别出GPU类别。