利用旧数据中心GPU构建桌面级AI工作站

通过合理利用老旧的数据中心GPU，如NVIDIA的Tesla V100，个人用户可以构建强大的AI工作站。尽管这些2017年的硬件设备在性能上可能不如最新的顶级在线模型，但它们仍然能够运行现代大型语言模型，并且具有完全本地化的优点。Andrew展示了一种方法，通过自制PCI卡将两个V100集成在一起，使得更大规模的模型可以完整地加载到内存中。这种方法不仅节省成本，还为那些希望减少对云服务依赖的人提供了另一种选择。随着越来越多的数据中心硬件在二手市场上流通，这种做法可能会影响全球经济格局，特别是对于那些没有明显竞争优势的大公司而言。