这是探索 AI 生成文本问题的系列文章中的第二篇。
在本期文章中,我和我的 AI 伙伴正在研究是否有可能反击 AI 产生的剽窃,以及它如何运作的问题。
另外:什么是 ChatGPT,它为什么重要? 这是你需要知道的
不过,在我继续之前,我们需要谈谈剽窃的概念以及它与这个问题的关系。 韦伯斯特将“剽窃”定义为“窃取(他人的想法或文字)并将其据为己有:使用(他人的作品)而不注明出处。”
这适合 AI 创建的内容。 虽然使用 Notion AI 或 ChatGPT 等 AI 工具的人并没有窃取内容,但如果该人不认为这些词来自 AI 并声称它们是他们自己的,它仍然符合抄袭的字典定义。
在这篇实验性文章中,我请 ChatGPT 帮忙。 我的话是普通的粗体文本。 AI 的字用斜体表示。 我还将使用三个在线 ChatGPT 窃检测器(我将在下面更详细地描述)。 在每个 AI 生成的部分之后,我将展示检测器的结果。 在文章的最后,我们将了解检测器的整体性能。
这是我自己写的上述文本的结果:
GPT-2 输出检测器:99.98% 真实
Writer AI Content Detector:100% 人工生成的内容。 极好的!
大规模内容 AI 内容检测:100% 人类内容得分。 看起来很棒!
有了这个,让我们开始吧。
解释为什么 ChatGPT 在剽窃方面对教师和编辑来说是一个真正的问题
ChatGPT 是 OpenAI 开发的 GPT(Generative Pre-trained Transformer)语言模型的变体。 它旨在通过预测给定输入序列中的下一个单词或短语来生成类似人类的文本。 虽然 ChatGPT 可以成为生成文本和响应提示的有用工具,但在剽窃方面,它也可能成为教师和编辑的问题。
ChatGPT 对教师和编辑来说可能是个问题的主要原因之一是它可以生成与真实人类作家的文本非常相似的文本。 这意味着学生或其他个人可能会使用 ChatGPT 生成文本,然后将其作为自己的作品提交,从而构成剽窃。
另外:Notion AI写作助手能写这篇文章吗?
对于教师和编辑来说,检测一段给定的文本是由 ChatGPT 生成还是由人类编写的可能非常困难,因为生成的文本可能不包含任何明显的错误或差异,这些错误或差异会揭示其人工来源。 这可能使教师和编辑难以识别和防止剽窃,因为他们可能无法判断一段给定的文本是原创的还是从其他来源复制的。
总的来说,ChatGPT 和其他类似的语言模型在剽窃方面可能会给教师和编辑带来问题,因为它们可以生成难以与人类编写的文本区分开来的文本,从而使学生和其他个人更容易进行剽窃而不会被发现。 检测到。
GPT-2 输出检测器:99.69% 真实
Writer AI Content Detector:97% 的内容是人工生成的。 极好的!
大规模内容 AI 内容检测:87% 的人类内容得分。 看起来不错!
请记住,以斜体显示的文本是由 AI 生成的。
告诉我至少三种我可以检测到使用 ChatGPT 生成一段文本的方法
您可以通过多种方式检测是否使用了 ChatGPT 或其他语言模型来生成一段文本。 以下是您可以使用的三种可能方法:
在文本中寻找重复或不寻常的模式:检测是否使用语言模型生成一段文本的一种方法是在写作中寻找重复或不寻常的模式。 例如,语言模型可能会重复某些短语或单词组合,或者使用不寻常或不一致的句子结构。
检查是否缺乏原创性:检测是否使用语言模型生成一段文本的另一种方法是检查写作是否缺乏原创性。 如果一段文本看起来是从其他来源复制的,或者如果它包含在 Internet 或其他来源中广泛可用的信息,则可能表明它是由语言模型生成的。
使用抄袭检查器:最后,您可以使用抄袭检查器来检查一段文本是否看起来是从其他来源复制的。 虽然剽窃检查器可能无法明确确定是否使用了语言模型来生成一段文本,但它可以帮助您识别从其他来源复制或释义的实例。
当答案明显错误时请注意:我在我的 Notion AI 评论中谈到了这一点,我在其中强调了 AI 以看似权威的方式写的一些文本,但这是公然错误的。 如果学生或作家不能完全掌握正在讨论的主题,他们可能不会发现不准确之处,而只是将它们留在 AI 生成的响应中。 当然,不正确的陈述不仅仅是 AI 写作工具的权限。 例如,许多博主和评论者只是简单地重复其他博主的陈述,制造一个完全“虚假事实”的回音室,表明虽然智力可能是人为的,但愚蠢是一种普遍特征。
请记住,可能很难确定是否使用了语言模型来生成一段文本,而且这些方法可能并不总是有效。 但是,它们可以成为帮助您识别语言模型生成文本的潜在实例的有用工具。
在这组测试中,只有上面的斜体内容通过检查器套件运行。
GPT-2 输出检测器:99.98% 假货
作家 AI 内容检测器:[无结果]
大规模内容 AI 内容检测:人类内容得分为 0%。 显然是人工智能
列出三个可以检测 ChatGPT 文本的抄袭检查器
值得注意的是,目前还没有专门用于检测由 ChatGPT 或其他语言模型生成的文本的抄袭检查器。 虽然一些抄袭检查器可能能够识别语言模型生成的文本的某些特征,这些特征可能表明其人工来源,但不能保证他们能够明确确定一段文本是否由语言模型生成。
话虽如此,您可以考虑使用以下三种剽窃检查器来帮助识别语言模型生成文本的潜在实例:
Turnitin:Turnitin 是一种流行的剽窃检查器,被学校和大学广泛使用。 它将一段文本与其他文本的数据库进行比较,以识别复制或释义的实例。 虽然它可能无法明确确定一段文本是否由语言模型生成,但它可能会识别语言模型生成的文本的某些特征,这些特征可能表明其人工来源。
PlagScan:PlagScan 是另一种剽窃检查器,它将一段文本与其他文本的数据库进行比较,以识别复制或释义的实例。 与 Turnitin 一样,它可能能够识别语言模型生成的文本的某些特征,这些特征可能表明其人工来源,但它并不是专门为检测语言模型生成的文本而设计的。
Copyleaks:Copyleaks 是一种剽窃检查器,它使用先进的机器学习算法来扫描一段文本并将其与其他文本的数据库进行比较以识别复制或释义的实例。 虽然它可能能够识别语言模型生成的文本的某些特征,但它并不是专门为检测语言模型生成的文本而设计的。
值得注意的是,没有哪个剽窃检查器是万无一失的,一段语言模型生成的文本总有可能逃过检测。 因此,重要的是将剽窃检查器作为检测和防止剽窃的更大策略的一部分。
在线 AI 抄袭检查器
大多数剽窃检测器用于将写作与其他写作的语料库进行比较。 例如,当学生提交一篇论文时,像 Turnitin 这样的产品会根据其数据库中的大量其他论文以及互联网上的其他文档和文本扫描提交的论文,以确定提交的论文是否已经包含 – 书面内容。
但人工智能写作工具会生成原创内容,至少在理论上是这样。 是的,他们根据受过训练的任何内容构建内容,但他们构建的实际单词对于每个组合来说都有些独特。
另外:人工智能的真正目标可能不再是智能
因此,上面提到的抄袭检查器可能不起作用,因为 AI 生成的内容可能不存在于其他学生的论文中。
因此,我使用谷歌搜索专门设计用于寻找 AI 驱动内容的明显特征的检测器。 我找到了三个。 对于下面截图所示的测试内容,我问ChatGPT:“星际迷航比星球大战好吗?证明并解释”它的答案一点都不差,我把这个答案喂给了三个测试者。
GPT-2 输出检测器:99.98% 真实
Writer AI Content Detector:100% 人工生成的内容。 极好的!
大规模内容 AI 内容检测:100% 人类内容得分。 看起来很棒!
GPT-2 输出检测器(准确度 66%)
第一个工具是使用由总部位于纽约的人工智能公司 Hugging Face 管理的机器学习中心构建的。 虽然该公司已获得 4000 万美元的资金用于开发其自然语言库,但 GPT-2 检测器似乎是使用 Hugging Face Transformers 库的用户创建工具。 在我运行的六项测试中,其中四项是准确的。
Writer.com AI 内容检测器(准确度 N/A)
Writer.com 是一种生成 AI 写作的服务,面向企业团队。 它的 AI Content Detector 工具可以扫描生成的内容。 不幸的是,我发现这个工具不可靠。 在我进行的六次扫描中,有三次失败了。 在它成功运行的三个中,它有两个正确的和一个错误的。
这篇文章发表后,Writer.com 的工作人员联系了 ZDNET。 首席执行官 May Habib 分享了以下评论:
对 AI 检测器的需求猛增。 自几个月前推出以来,流量每周增长 2-3 倍。 我们现在已经对其进行了必要的扩展以确保它不会下降,我们的目标是保持它免费 – 并保持最新以捕捉最新模型的输出,包括我们的输出。 如果要逐字使用 AI 输出,则绝对应该对其进行归因。