Respan 放弃 LiteLLM 包装层，发布 Rust 开源 AI 网关

Respan 于周二发布用 Rust 编写的开源 AI 网关。此前该公司用两年时间在 LiteLLM 外包了逾十万行包装代码。新网关以精简核心加插件取代旧架构，插件负责模型提供商、路由、MCP 工具、实时语音与安全控制。转折点出现在 2026 年 1 月：一次常规 LiteLLM 升级导致间歇性连接失败，公司回滚后仍未查明原因，此后不再直接升级 LiteLLM，改为逐条引入上游修复。为降低维护负担，团队借鉴 Nginx 思路，将核心保持精简，把路由、提供商与安全等能力移入插件；开发者可按同一接口自建插件而无需改动底层。部分集成体量很小，例如 Mistral 提供商仅约二十二行；像 Groq 将令牌用量写在不同字段这类差异也可单独处理，便于更新单一提供商而不牵动网关其余部分。