Buoyant发布开源Kinference：面向Kubernetes与vLLM的推理控制平面

Linkerd背后的公司Buoyant发布了开源项目Kinference，面向在Kubernetes上构建推理平台，作为Kubernetes与vLLM的推理控制平面：位于一组vLLM工作节点前方，决定每个请求路由到何处，并在同一层施加路由策略、令牌速率限制、感知KV缓存的负载均衡以及按租户的指标。目标是服务多家内部客户、托管多种开源权重模型的开发团队中位于模型服务器之上的那一层。项目采用Apache 2.0许可，托管于GitHub，当前版本为v0.1.0-alpha.7，以Rust编写，通过5个Kubernetes自定义资源定义（CRD）配置，可运行在任何启用GPU且部署了vLLM的Kubernetes集群；Buoyant基准测试中每个资源池使用3块L40S GPU。相对普通Kubernetes Service路由，在前缀共享密集的流量上自称有显著提升：共享前缀工作负载的中位首Token时间（TTFT）从6.88秒降至0.31秒（约改善95%）；在无共享前缀的提示上则几乎无中位TTFT收益（6.92秒对6.83秒）。官方FAQ将其定位为：vLLM是数据平面，Kinference是控制平面，从而把Kubernetes加vLLM变成策略驱动的多租户推理平台。