据《华尔街日报》报道,OpenAI开发了一种工具,可能会抓住那些通过ChatGPT写作业作弊的学生。但公司内部正在讨论是否要真正发布这一工具。
在给TechCrunch的声明中,OpenAI的一位发言人确认,公司正在研究《华尔街日报》所描述的文本水印方法,但由于“涉及的复杂性及其对OpenAI以外更广泛生态系统的潜在影响”,公司正在采取“慎重的态度”。
“我们正在开发的文本水印方法在技术上很有前景,但在研究替代方案时,我们正在权衡重要的风险,包括被不良行为者规避的可能性,以及对非英语使用者等群体的潜在不成比例影响,”这位发言人说。
这种方法与之前大多数检测AI生成文本的努力不同,后者大多无效。OpenAI自己去年就关闭了其之前的AI文本检测器,因为其“准确率低”。
通过文本水印,OpenAI将专注于检测ChatGPT生成的文本,而不是其他公司的模型。该方法通过改变ChatGPT选择词语的方式,实质上在写作中创建一个看不见的水印,稍后可以通过一个单独的工具检测到。
在《华尔街日报》故事发布后,OpenAI还更新了五月份关于检测AI生成内容的研究博客文章。更新中指出,文本水印在“高度准确,甚至对本地篡改(如改写)有效”,但对“全球篡改(如使用翻译系统、用另一生成模型重写,或要求模型在每个单词之间插入特殊字符然后删除该字符)”的抗性较差。
因此,OpenAI写道,这种方法“对于不良行为者来说很容易规避。”OpenAI的更新还呼应了发言人的观点,认为文本水印可能会“污名化AI作为非母语英语使用者的有用写作工具。”