英伟达谈本地与前沿模型的结合之道

英伟达高级总监乔伊·康威在接受采访时表示，小型化模型性能不断提升，可以与大型前沿模型协同工作。他强调了根据任务复杂度选择合适模型的重要性，并指出通过智能路由技术，用户可以在不牺牲效率的情况下利用多种模型处理不同任务。康威还介绍了英伟达在这一领域的贡献，包括其开源推理服务软件Dynamo。此外，他还提到了英伟达与LangChain的合作，后者使用Nemotron 3 Ultra模型，在商业任务上达到了顶级封闭模型的性能水平，但成本仅为后者的十分之一。这种多模态协作系统能够提供更好的用户体验和更高的效率。