自2022年11月推出以来,ChatGPT 一直备受关注。其根据输入内容和上下文提供类似于人类的回应能力,给一些重视原创内容的领域带来了困扰,包括教育、内容营销、出版、新闻和法律等领域。他们最大的问题是“我们如何区分 AI 和人类创作的内容?”以及“我们如何检测出 AI 生成的内容?”。
人工检测
人类仍然是最好的 AI 检测器。
最基础的,我们可以通过人工检测的方式检查样本内容,以下是五个关键特征:
- 一致性:AI 生成的文本通常在风格、语气和词汇上是一致的,而人类创作的内容可能会展现更多的变化和细微差别。
- 连贯性:当回复复杂问题时,AI 的内容有时可能缺乏连贯性。而人类创作的内容则通常更具连贯性并遵循逻辑结构。
- 创新性:AI 生成的文本可能会包含重复或公式化的短语,而人类创作的内容更有可能是有创意的。
- 错误:AI 生成的内容比人类创作的内容更容易出错,特别是在模型没有经过充分训练的领域。
- 上下文:AI 有时可能会难以理解给定提示的上下文,导致不适当或无关的回复,而人类创作的内容更有可能针对特定的上下文和受众进行调整。
机器检测
事实上,包括 OpenAI 在内的许多公司,都推出了自动检测工具,帮助用户识别由 AI 生成的文本。接下来,我们将试用一些知名的检测工具,看看效果。
但在此之前,正如要使用 ChatGPT 一样,你首先需要解决的就是突破封锁问题。你可以理解为我们国内网站与国外网站之间,有一道无形的封锁线,想要实现对国外网站、国外工具的访问,就需要你突破这道封锁,徒手当然是不行的,你需要借助到一样工具,也就是科学上网工具。
简单地说,你只需要下载并连接科学上网工具,即可实现对下述这些国外网站的访问。
出于网速与隐私性的考虑,我推荐大家使用 AHA 加速器。
AHA 加速器可以提供安全的地区锁定,保持长时间的稳定连接,并且它的使用步骤足够简单,支持各类使用人群的轻松上手,每逢节假日期间还会有促销活动,性价比超高。
OpenAI 新推出的分类工具
网站链接地址:https://platform.openai.com/ai-text-classifier
该工具可以区分人类创作的内容和各种人工智能系统生成的文本。然而,OpenAI 也承认在当前阶段这个工具并不完全可靠。
首先,OpenAI 所能检测的文章,必须至少含有 1000 个字符,在英文里,大约为 150-250 个字符,但在中文里,就必须只能是 1000 个汉字了,这也就代表着,要想使用这个工具检测中文文章,至少得是个千字长文。
如果强行对短文进行检测,官方有公告说明:分类器对于短文本(少于 1000 个字符)的检测非常不可靠,甚至更长的文本有时会被分类器错误地标记。
除此之外,你还需要知道:
- 分类器并不总是准确的,它可能会错误地标记 AI 生成的和人类写的文本,并且语气上很自信;
- 建议仅对英文文本使用分类器,因为它在其他语言上的表现比起英语要差得多,并且在代码上非常不可靠;
- 它无法可靠地识别绝对正确的文本,例如,它无法预测前 1000 个数字的列表是由 AI 还是人类写的,因为这个正确答案是明显相同的,谁写的都一样;
- AI 生成后的文本,经过人工的改动之后,很可能会规避掉分类器的检测;
- 如果输入与训练集中的文本有着很大的区别,分类器会做出错误判断。
送入 OpenAI 中检测的文章,最终可能会得到以下五种结果:
- 非常不可能是 AI 生成的;
- 不太可能是 AI 生成的;
- 不清楚是否是 AI 写的;
- 可能是 AI 生成的;
- 很可能是 AI 生成的。
例如,我们将莎士比亚的《暴风雨》输入检测,结果是“very unlikely AI-generated”,即不是 AI 生成的。我们又将 ChatGPT 生成的内容输入检测,结果是 “likely AI-generated”。
虽然它在我们测试的样本中表现还不错,但 OpenAI 给出的数据是,该工具只能检测出26%的 AI 内容,并且有9%的概率会将人类创作的内容误认为机器生成的。另外,结合我们前文中说的要求,文本越长的情况下,工具的检测结果更可信。
ZeroGPT
网站链接地址:https://www.zerogpt.com/
ZeroGPT 是一个简单、免费的工具,适用于“学生、教师、教育工作者、作家、雇员、自由职业者、文案撰稿人和地球上所有人”,声称准确率为98%。它使用一种专有的、未公开的技术,称为 DeepAnalyse,经过了对 1000 万篇文章和文本的训练。
用户将文本粘贴到网站上的对话框中,即可开始检测。
送入 ZeroGPT 中检测的文章,最终可能会得到以下五种结果:
- 文本是人类编写的
- AI/GPT 生成的
- 大部分是 AI/GPT 生成的
- 最可能是 AI/GPT 生成的
- 可能是 AI/GPT 生成的
- 包含混合信号且部分为 AI/GPT 生成的
- 可能是人类编写但可能包含 AI/GPT 生成部分
- 最可能是人类编写但可能包含 AI/GPT 生成部分
- 最可能是人类编写
它算是一个满分五分,评分可以达到 4.5 的网站,无需登录,辨别率也较高,但它目前的广告框架较多,对使用者来说可能体验不是上佳。
Copyleaks
网站链接地址:https://copyleaks.com/ai-content-detector
反抄袭软件公司 Copyleaks 最近也发布了一款 AI 检测工具。该平台声称其具有 99.12% 的准确率,并提供企业级 LMS 和 API 集成功能,允许企业将 AI 内容检测功能融合到内部系统中。该工具同时支持英语、德语、西班牙语、法语和葡萄牙语。
同时,该公司还开发了 Chrome 插件,安装后可以对浏览的网页内容进行检测。
在我们测试的几款工具中,该平台准确率最高。对于人类创作的内容,它准确地检测到了文本是由人类生成的。而当我们提供 ChatGPT 生成的文本时,该平台显示了 99.7% 的可能性是由 AI 生成的,在准确率上我们认为可以达到 80%,支持免费使用,但该工具不能显示文章整体内容的 AI 率。
GPTZero
网站链接地址:https://gptzero.me/
GPTZero 工具出自一位 22 岁的普林斯顿大学华裔学生爱德华(Edward Tian)之手,2023年1月3日 上线,一周内就有超过3万人使用,一度导致程序崩溃。而推特上的演示视频,更是吸引了超过 700 万人次的观看。
近日,爱德华又发布了迭代版本 GPTZeroX,升级的最大特点是可以识别“人类+AI”混写的文本,检测出来后由 ChatGPT 生成的内容会被黄色高亮标记出来。而且 GPTZeroX 还可以批量导入文件,支持 Word、PDF 和 TXT 等格式。这对于教师来说是一个很实用的功能,毕竟学生的作业动辄就是几十份。GPTZero 上线一天之内,已经涌进了 40 万访问量,收到了 220 万次服务请求。爱德华表达了对教育工作者的支持,他曾在推特上表示:我承诺,本网站对个体教师和教育工作者保持免费。
这款工具能够检测出超过 98% 的由 ChatGPT 生成的作品。GPTZero 的目的是为了打击 AI 抄袭。GPTZero 使用两个指标来判断文本是否由机器人撰写:困惑度和突发性。
困惑度衡量文本的复杂度:如果 GPTZero 对文本感到困惑,那么它具有很高的复杂度,更可能是人类写的;相反地,如果 GPTZero 对文本更熟悉——因为它已经接受过这样的数据训练——那么它就具有较低的复杂度,因此更可能是 AI 生成的。
突发性则用以比较句子的变化:人类往往写的内容更具有突发性,例如,会出现一些较长或复杂的句子与较短的句子并存,而 AI 生成的句子往往更统一。
尽管 GPTZero 非常流行并且在教育界广受欢迎,但它也并非万无一失。有些用户在测试时也报告了错误结果。因此,用户在使用 GPTZero 时应谨慎。
总结
就像大家看病有时会多跑几个医院以防误诊一样,对文章是否是 AI 生成的判断,我们也建议大家多使用几款工具判定后,再汇总采纳一个综合的意见,毕竟没有任何一个生成工具可以拥有百分百的准确率。
尽管 AI 检测器能够在一定程度上区分人类编写的文本和 AI 编写的文本,但它们并不是绝对可靠的。无论什么时候,人类始终是最好的 AI 检测器,因为我们具有独特的语言理解能力和直觉。我们能够理解上下文、语境和语言中的微妙差异,这些能力对于准确地判断文本是否由 AI 生成至关重要。
发表回复