ChatGPT在顶会审稿中的影响:斯坦福新研究揭开真相

科技 2024-04-02 10:27 阅读:20

最近,一项来自斯坦福大学的研究揭示了一个令人震惊的现象:顶级AI会议中的审稿意见中,AI生成内容的比例大幅增加。这一研究引起了Reddit等社区的热议,人们开始质疑科学家的真正作用。

研究人员分析了ICLR、NeurIPS、CoRL和EMNLP等顶会的审稿意见,发现在ChatGPT问世后,“AI含量”大幅增加,最高达到16.9%,远超过之前的水平。这一现象让人不禁思考,科学家们究竟在做些什么呢?

除了数据分析,研究人员还发现高“AI含量”意见具有一些共同特点。这些意见中常出现形容词如“commendable”、“meticulous”和“intricate”,语义上更加同质化。此外,这些意见往往在截止日期前三天提交,且作者对自己的意见信心较低。

为了分析审稿意见中的AI含量,研究人员设计了一种分布式“GPT量化”方法,能够有效估计AI生成内容的比例。通过这一方法,他们得出了前述结论,并引发了广泛讨论。

除了审稿意见,ChatGPT还被广泛用于论文撰写。研究发现,许多论文中都存在ChatGPT生成的痕迹,甚至有些论文直接使用ChatGPT进行总结、翻译等工作。这一现象引发了人们对科学写作的思考。

在学术界,ChatGPT的使用并非禁止,但如何合理运用AI技术仍是一个值得深入思考的问题。无论是论文撰写还是审稿意见,人们都应该谨慎使用AI,保持“智力多样性”,并思考如何激励好的实践。ChatGPT的出现,让我们重新审视人类与AI在知识工作中的关系,这是一个需要认真思考的议题。