feaOS 旁注与此刻
人工智能 来源:Hugging Face Blog 整理:feaOS 2026-10-20 20:18:02

PyTorch 2.15 的 MPS:Mac 迎来 FP8 与更快的本地大模型解码

PyTorch 2.15 的 MPS:Mac 迎来 FP8 与更快的本地大模型解码 图片

Hugging Face 的 PyTorch 团队介绍二点一五版中 Metal Performance Shaders 后端的进展:面向在 Mac 上跑与训练模型的用户,浮点八位格式登陆 MPS,可把 float8_e4m3fn 以约半精度浮点一半的空间存放,并支持缩放矩阵乘等在 CUDA 与中央处理器上已有的算子。混合专家模型解码相对二点一四提速约五至六点五倍,在 M3 Ultra 上 Qwen3.6-35B-A3B 从每秒九点四 token 升至六十一点三,LFM2.5-8B-A1B 从二十三点六升至一百二十三点六,得益于原生分组矩阵乘、专用解码路径、更少的图形处理器与中央处理器同步以及更快的 top-k 路由;稠密模型也受益于单行线性层专用矩阵向量核,以及词表上约八倍的 softmax。线性代数方面补上复数 LU 与三角求解、更快的小矩阵求逆与 QR;卷积、填充、dropout、插值反向与归约等路径也加速,Wan2.2 视频变分自编码器解码峰值显存由约二百七十吉字节降至约八吉字节。Qwen-Image-2.1 变分自编码器编码在二点一四曾在 MPS 上静默损坏图像,同一填充修复后编解码往返峰值信噪比从十点零六分贝升至二十九点九五分贝,接近中央处理器结果。公开 MPS 流与更可靠的事件计时也一并开放。系统要求升为 macOS 十五与 Python 三点十一及以上;文末预告二点十六将把注意力算子全面迁到 Metal 并继续加速大模型解码。

编号 NEWS-19368
分类人工智能 时间2026-10-20 20:18:02 相关10