混合专家模型路由策略解析：Top-K、专家选择、Sigmoid门控与动态路由（2026指南）

混合专家模型在处理每一个词元时，都要重复做出同一项决定：由哪些专家来处理该词元，这项决定由路由器负责。路由策略会影响各大开放模型的质量、负载均衡和在线服务成本。本文介绍生产环境中使用的七种路由策略，以及采用各策略的模型。路由器的专家池规模从 Mixtral 的 8 个到 DeepSeek-V4-Pro 的 384 个不等，每个词元会激活 1 到 8 个专家。路由开销体现在多 GPU 专家并行中，每一次选择都会变成全对全的网络通信。就性能而言，采用 Sigmoid 打分并配合无需辅助损失的偏置均衡，是 2026 年前沿开放混合专家模型的主流做法。无损失均衡在 10 亿参数规模上将最大违规指标 MaxVio 从 0.72 降至 0.04，同时降低了困惑度。效果最差的是专家选择策略：它会在因果模型中泄漏未来词元，一项测试出现了约 10% 的异常损失下降。总的来看，基于偏置的均衡不会引入互相干扰的梯度，这是其最大优点；但没有任何一种路由器能够省去服务阶段的负载修正。混合专家路由的机制，是把每个词元送往一小部分专家网络。路由器先为每个专家打分，保留得分最高的候选并对其输出加权，只有被选中的专家才会运行。以 Mixtral 8x7B 为例，每个词元可以触及 470 亿参数，但实际激活的参数量为 130 亿。