Anthropic研究员展示自我改进AI的早期成果

近日，Anthropic发布了一篇名为《自动化研究人员可靠地缓解对齐失败》的新论文。该研究展示了AI系统如何通过自我学习和优化来改善模型在特定行为不一致性问题上的表现，并且在10个基准测试中均取得了显著成效。这项由陈岳涵领导的研究表明，自动化的AI研究员能够在六小时内超越经验丰富的研究人员提出的方案，成本仅为后者的大约三十分之一。尽管这种方法具有高效性和低成本的优势，但其有效性依赖于基准测试准确反映对齐目标，并且需要持续维护和扩展相关文献库。此外，该研究还指出自动化系统在改进模型训练实践方面可能具备潜力，甚至有可能在未来使人类AI研究人员变得不再必要。