INT21 用 AI 集群约一小时重写 Drama 3 推理运行时

自称“用算力改进算力”的自改进基础设施初创公司 INT21 将焦点从日益稀缺的英伟达 GPU 转向软件侧：通过 AI 代理集群以 Rust 编写定制推理运行时，在约一小时内为 Fish Audio 的 Drama 3 模型构建可用推理引擎，并显著提速。其 SwarmOS 可同时编排数千代理，在专用于构建推理运行时的 Inference Engine Factory 中工作；推理引擎负责把模型权重载入 GPU、TPU 或 CPU 并执行前向计算以生成词元。代理在持续三步循环中并行生成多种实现、在真实硬件（如 NVIDIA B200）上对照既有最优基线评测，再保留更快者并丢弃失败者。INT21 并不从零训练模型，而是依托跨七类模型的二十余套推理引擎积累架构特定优化经验，例如 FP8 混合专家或线性注意力，使新引擎以旧引擎为起点缩短部署时间。方法核心之一是把 Python 移出部署路径：Python 易用但偏慢，常需进程间通信等手段掩盖 CPU 延迟；代理改用更贴近硬件极限的编译型内存安全语言 Rust 编写运行时，从而省去这些笨重绕行。公司称，增购更多 B200 与修好运行时是正交的两件事。