AAAS研究:ChatGPT科学论文摘要不达标,易牺牲准确性换取简化

美国科学促进会(AAAS)在一项为期一年的实验中发现,ChatGPT在撰写《Science》新闻简报式的论文摘要时虽能模仿结构,但往往牺牲准确性以换取简洁。研究显示,64篇论文的摘要仅获平均2.26分(满分5分),记者们批评其混淆因果与相关、缺乏方法与局限性说明,并存在过度夸大结果的问题。AAAS表示,即便将其作为初稿也需大量事实核查,编辑成本不低于从零撰写。目前ChatGPT难以满足SciPak团队的专业要求,但若未来模型升级,仍可能重启测试。
支持率>95%