ChatGPT 制造商 OpenAI 发布了一个“分类器”工具,可以检测 AI 编写的文本,但指出不应依赖它。
ChatGPT 可以创建答案的提示范围之广令教育工作者感到震惊,因为一些学生开始将 AI 生成的论文和家庭作业作为自己的作业上交。
教育是一个可以受益于 OpenAI 新分类器的领域,它可以自动检测 AI 生成的论文和家庭作业。 它可能会允许不同于 say 的回应,限制它的使用,就像纽约学校最近所做的那样。 澳大利亚各地的学校部门也禁止使用 ChatGPT。
该分类器还可以帮助像开发者问答网站 Stack Overflow 这样的公司,该网站在其版主被有时正确的解决方案淹没后禁止 ChatGPT 回答。
虽然分类器可以消除一些检测工作,但 OpenAI 表示不可能可靠地检测所有 AI 编写的文本,并且存在许多影响其有效性的限制。
分类器正确地将 26% 的 AI 编写的文本识别为“可能是 AI 编写的”——它的真阳性率。 它在 9% 的时间里错误地将人类编写的文本识别为人工智能编写的——这是误报。 换句话说,它很有可能无法检测到由未透露它是由 AI 编写的人提交的文本,并且它有可能会在两种情况下都给文本贴上错误标签。 但它声称,与之前基于 GPT-2 的检测器相比,该分类器“对来自最新人工智能系统的文本更加可靠”。
OpenAI 在一份新闻稿中表示:“我们正在公开提供该分类器,以获取有关此类不完美工具是否有用的反馈。”并补充说,它希望该工具能够“引发关于 AI 素养的讨论”。
免费的网络分类器工具可在此处获得。 要使用它,用户需要将一部分文本复制并粘贴到文本框中,然后按提交。 它会将文本评为“非常不可能”、“不太可能”、“不清楚是否是”、“可能”或“可能”由 AI 生成。
分类器需要至少 1,000 个字符——大约 150 到 250 个单词——来分析文本。 OpenAI 警告说,编辑 AI 生成的文本很容易避开检测程序。 此外,该工具更有可能错误标记儿童编写的文本和非英语文本,因为它主要针对成人编写的英语内容进行训练。
此外,OpenAI 表示它“没有彻底评估分类器在检测与人类作者合作编写的内容方面的有效性。”
它说该工具“不应用作主要的决策工具”,而应作为其他确定一段文本来源的方法的补充。