混合专家模型新剪枝方法HOPE兼顾专家两两协作，裁掉一半专家后智能体编程最高提升6.1%

混合专家模型把大语言模型做到数千亿参数规模，但推理时每个专家多层感知机都要占内存，即便对单个词元来说绝大多数专家并不参与计算。以Qwen3.5-122B为例，其48个混合专家层每层有256个专家，约250GB参数内存中有95%被这些专家占用，而每个词元每层实际只用8个专家。永久删掉最不重要的专家是缓解这一内存瓶颈的直接办法：它避免了动态装卸专家带来的延迟，无需额外训练，也能与量化配合。现有剪枝方法多按校准数据给每个专家打一个重要性分数，再在各层单独去掉分数最低的专家。这类一阶方法假定各专家彼此独立，但实验和既有研究都表明，专家会形成稳定的共同激活协作组，忽略这种互动会让激进剪枝效果变差。研究人员提出的HOPE（高阶专家剪枝）是一种考虑专家两两互动的二阶方法。在剪掉50%专家时，HOPE的平均排名优于其他方法，在智能体编程任务上比次优剪枝方法最高提升6.1%。标准混合专家层用门控权重为每个词元选出得分最高的K个专家，K通常为8。若单独看专家A似乎可以删除，但经常与它协作、且本身很重要的专家B会因此失去搭档，一阶方法分别打分就会漏掉这一点。直接最小化剪枝误差很难计算，因为被删专家会被门控分数次高的专家顶上，替换对象又取决于删谁。HOPE为此构造可计算的替代量Z，它严格上界约束剪枝误差的主要部分：Z是被删且本会被选中的专家之门控权重与输出模长乘积之和的平方。展开后会出现专家对之间的交叉项，也就是一阶方法丢掉的互动信息。在校准集上最小化Z的期望可写成二次规划：在固定删除数量下，寻找使二次型最小的0-1指示向量。其中F矩阵的对角元衡量单个专家重要性，非对角元衡量两名专家在共同激活词元上的门控加权输出乘积。对总参数量1060亿、每层128个专家的GLM-4.5-Air，早期、中期和后期层的F矩阵在聚类后都呈现块状结构，对角附近的明亮块对应互动较强的专家组。HOPE的校准开销与其他专家剪枝方法相同，只需对校准数据做一次前向计算；额外的二次规划虽非凸，但用常规求解器每层约1到2秒，相对校准时间可以忽略。