NVIDIA发布个人AI路由器(PAIR)：开源虚拟推理路由器

近日，NVIDIA发布了Personal AI Router (PAIR)，这是一款开源的虚拟推理路由器。它能够自动发现家庭网络中的兼容机器，并将独立的推理请求调度到这些设备上执行。PAIR不是新的推理引擎，而是通过代理Ollama或LM Studio接口来决定模型在哪个节点运行。PAIR目前作为公共测试版发布，支持Windows、macOS和Linux系统安装。该软件完全在本地网络中运行，仅需互联网下载模型。PAIR的设计决策在于不引入新的集群API，现有的代理捆绑包无需任何更改即可使用。通过mDNS自动发现附近的系统，并且可以通过IP地址手动添加节点。所有节点之间的通信需要通过六位数的PIN码进行配对和验证。