哇塞,一个机器学习工具可以超级轻松识别出用ChatGPT写的化学论文,这是11月6日发表在《细胞报告物理科学》上的一项研究结果。这种专门的分类器比现有的两种AI检测器效果更好,它可以帮助学术出版商识别由AI文本生成器书写的论文。
研究共同作者、堪萨斯大学劳伦斯分校化学家Heather Desaire说:“文本分析领域的大多数人都想要一个通用的可以检测任何东西的工具。” 但是通过制造一个针对特定类型论文的工具,“我们真正在追求准确性”。
研究结果表明,通过定制适用于特定写作领域的软件,可能可以增强AI检测器的研发效果。Desaire说:“如果你能快速轻松地建立一些东西,那就不难为不同领域建立工具。”
写作风格的要素
Desaire和她的同事首先在6月描述了他们的ChatGPT检测器,当时他们将其应用于《科学》杂志的Perspective文章。该检测器使用机器学习检查写作风格的20个特征,包括句子长度的变化、某些词和标点的频率,以判断一段文字是学术科学家写的还是ChatGPT写的。研究表明“你可以用少量特征就获得很高的准确度”。
ChatGPT等AI工具如何颠覆科学出版
在最新研究中,检测器通过训练在美国化学学会(ACS)出版的10种化学期刊的介绍部分。Desaire说,他们选择介绍部分,因为如果ChatGPT可以访问背景文献,这部分对它来说相对较易写。研究人员使用100篇已发表介绍作为人类撰写的文本进行训练,然后要求ChatGPT-3.5用ACS期刊的风格写200篇介绍。其中100篇提供论文标题,另100篇提供摘要。
在测试由人和AI基于同样期刊标题生成的介绍时,该工具以100%的准确率识别出ChatGPT-3.5撰写的部分。对于基于摘要生成的ChatGPT介绍,准确率略低,为98%。该工具对ChatGPT最新版本ChatGPT-4的文本识别效果同样出色。相比之下,AI检测器ZeroGPT根据不同ChatGPT版本以及是基于标题还是摘要生成文本,识别AI撰写介绍的准确率只有约35%至65%。OpenAI开发的ChatGPT制造商自己的文本分类器表现也很差——它识别AI撰写介绍的准确率只有约10%至55%。
这个新的ChatGPT检测器甚至在没有接受训练的期刊介绍上表现良好,并且捕捉到从各种提示生成的AI文本,包括一种旨在迷惑AI检测器的提示。但是,该系统针对科学期刊文章进行了高度专门化。当提供大学校报的真实文章时,它未能将其识别为人类撰写。
更广泛的问题
柏林应用科技大学研究学术剽窃的计算机科学家Debora Weber-Wulff说,作者正在做“迷人的事情”。她说,许多现有工具试图通过搜索AI生成写作的预测文本模式来确定作者身份,而不是通过查看写作风格特征。“我从未想过在ChatGPT上使用文体测量法。”
但是Weber-Wulff指出,推动ChatGPT在学术界应用还有其他问题。她指出,许多研究人员面临着快速撰写论文的压力,或者他们可能不认为撰写论文过程是科学重要的一部分。AI检测工具无法解决这些问题,也不应被视为“社会问题的神奇软件解决方案”。