人工智能发展一日千里。
在短短两个月的时间里，OpenAI发布的 ChatGPT席卷全球。
不少地方教育行政部门，忧虑学生可能会使用人工智能生成文本来替代完成老师布置的作业，于是，在不少地方，禁止学生在校内使用 ChatGPT，纽约、澳大利亚的新南威尔士州、昆士兰州，相信后续还会有地方教育行政部门跟进这个禁令。
昨天，自留地君发布了《GPTZeroX帮教师用AI检测AI抄袭》介绍了GPTZero试图通过技术解决方案，来打消教师和地方教育行政部门的隐忧。
早上上网，看到相关报道，OpenAI发布了人工智能生成文本分类器（New AI classifier for indicating AI-written text），他们推出的这个经过训练的分类器，可以区分人工智能编写的文本和人工编写的文本。
OpenAI 声称，我们的分类器并不完全可靠。
虽然不可能可靠地检测所有人工智能生成的文本，但是，OpenAI相信，好的分类器可以在一定程度上有助于消除使用人工智能工具进行学术造假，为那些将人工智能生成的文本谎称为由人类编写的虚假声明提供检测工具。
OpenAI 承认，他们的的分类器有许多重要的局限性。
它不应该被用作主要的决策工具，而是作为其他确定一段文本来源的方法的补充。
在其官网上，OpenAI 对于这个分类器也做了6点限制说明：
1、分类器在短文本（少于 1,000 个字符）上非常不可靠。甚至更长的文本有时会被分类器错误地标记。
2、有时，人类编写的文本会被他们的分类器错误的、但是很自信地标记为 AI 生成的。
3、OpenAI 建议仅对英文文本使用分类器。它在其他语言中的表现要差得多，并且在代码上不可靠。
4、无法可靠地识别非常可预测的文本。例如，无法预测前 1000 个素数的列表是由人工智能生成的，还是由人类编写的，因为正确答案总是相同的。
5、可以编辑 AI 编写的文本以避开分类器。像OpenAI这样的分类器可以根据成功的攻击进行更新和再训练，但是，目前尚不清楚检测是否具有长期优势。
6、众所周知，基于神经网络的分类器在其训练数据之外的校准很差。对于与我们训练集中的文本有很大不同的输入，分类器有时非常有信心做出错误的预测。
很遗憾，如同ChatGPT一样，OpenAI 继续限制我们国内 IP 的访问，我们没有办法实际使用和测试这个分类器，其具体效果如何，尚不清楚。
在自留地君看来，有效鉴别和识别人工智能生成文本（包括其他媒体形式），一直是伴随着人工智能技术发展，尤其是生成性人工智能发展和应用的一个重要课题，是引发包括版权、原创性和技术伦理等诸多争议的焦点，也是全球教育工作者、学术出版机构、以及技术哲学家们讨论的一个重要问题。
我们既要保持开放，积极尝试和探索，也要充分地理解和认识到人工智能生成生成的文本的潜在风险。
无论是之前，自留地介绍的 GPTZero，还是OpenAI这次推出的分类器，其实都是用人工智能鉴别人工智能生成文本，它们在课堂上和学术出版与评审中的应用也注定具有自己的局限性和负面影响。
据报道，OpenAI 已经为教育工作者开发了关于使用 ChatGPT的初步资源，其中概述了一些用途、以及相关的限制和注意事项。虽然此资源主要针对教育工作者，但是，OpenAI 希望他们的分类器和相关分类器工具，能够对记者、错误/虚假信息研究人员和其他群体产生影响。
Generted by Lexica.art