Nvidia发布Rubin架构优化，提升大规模AI推理性能

NVIDIA即将推出的Vera Rubin平台将在今年晚些时候亮相，旨在应对大规模生成式AI模型的推理需求。该平台通过优化Tensor Memory Accelerator（TMA）和提高矩阵运算性能等手段提升GPU利用率和通信效率，从而实现更高的推理吞吐量和更低的成本。Rubin架构改进了TMA，以更高效地管理不断增长的混合专家（MoE）模型，并且在矩阵操作中将K维度的工作负载翻倍，显著提高了性能。此外，通过优化Softmax操作和提供更细粒度的依赖关系管理，进一步提升了推理效率。这些改进使得Rubin平台能够在大规模生成式AI应用中实现更高的吞吐量和更低的成本。