近日，据多家外媒爆料，OpenAI其实掌握一种方法，能够相当可靠地检测到是否有人使用ChatGPT完成作业或者撰写研究论文。可尽管人们普遍担心学生依靠生成式AI作弊，可该公司却一直没有将解决方案对外公开。
据知情人士披露和《华尔街日报》看到的内部文件内容，该项目在OpenAI内部陷入了长达两年的激烈争论，而且早在一年之前就已做好了发布准备。其中一位知情人士表示，“其实只差临门一脚了。”
在实际决策过程中，OpenAI员工一直在该公司当初宣称的透明度承诺，和吸引并留住用户的愿望之间摇摆不定。因为在对忠实ChatGPT使用者群体开展的一项调查中，该公司发现近三分之一的用户会因为反作弊技术的出现而不再继续使用。
OpenAI“秘密武器”被曝光：能识别哪些是AI写的内容，准确率高达99.9%
OpenAI一位发言人表示，公司担心该工具可能会对非英语母语人士等群体产生格外重大的影响。她解释道，“我们正在开发的文本水印方法在技术层面极具前景，但也存在着重大风险，目前我们正在研究替代方案并权衡这些风险。在我们看来，考虑到问题的复杂性以及对OpenAI之外更广泛生态系统的潜在冲击，我们有必要采取更为审慎的处理方法。”
支持该工具发布的员工，包括帮助开发该工具的员工都曾在内部表示，与这种技术可能带来的益处相比，上述观点显得微不足道。
生成式AI能够在几秒钟内根据一条提示词，免费输出完整的作业甚至是研究论文。教师和教授们纷纷表示，他们迫切需要官方帮助来打击这种滥用AI技术的行为。
纽约市高中英语与新闻学教师AlexaGutterman表示，“这已经成了大问题，跟我共事的每一位老师都在讨论这种趋势。”
民主与技术中心（一家关注技术政策的非营利组织）最近开展的一项调查发现，59%的初中和高中教师明确发现有学生在使用AI帮助完成作业，这一比例较上学年增长了17个百分点。
OpenAI公司CEOSamAltman和首席技术官MiraMurati也参与了关于反作弊工具的讨论。有知情人士透露，Altman对该项目给予肯定，但并未推动其发布。
《华尔街日报》所属的NewsCorp新闻集团也与OpenAI建立了内容许可合作伙伴关系。
给AI生成的内容打“水印”，学生党求放过
ChatGPT的底子是一套AI系统，该系统能够预测句子中接下来最可能出现什么单词或者语句片段（被称为token）。OpenAI正在讨论的这款反作弊工具会略微改变token的选取方式，依靠这种变化创建一种被称为“水印”的模式。
该水印对于人眼来说无法察觉，但却可以通过OpenAI的检测技术被识别出来。检测器会给出一个分数，用以衡量整个文档或者部分文档内容由ChatGPT生成的可能性。
根据内部文件，在ChatGPT创建了足够多的新文本之后，水印机制的有效性高达99.9%。
斯坦福大学研究员JohnThickstun所在的团队也在开发类似的AI文本水印方法，他表示“明天太阳原地爆炸的概率，都比学生们不用AI写文章的几率大。”
但也有一位知情的OpenAI员工表示，他们担心这些水印可以通过简单的技术清除，比如由谷歌将文本翻译成另一种语言，之后再翻译回来；或者让ChatGPT在文本中添加表情符号，再将其手动删除。
公司内部普遍认为，这款检测器究竟该交给谁使用也是个大问题。如果使用的人太少，那它就缺乏现实意义；而如果广泛对外开放访问权限，恶意人士可能会破解其中采用的水印技术。
OpenAI员工还讨论过将检测器直接提供给教育工作者或者外部企业，以帮助学校识别由AI撰写的论文和抄袭作品。
谷歌也曾开发过一款水印工具，可以检测由其GeminiAI生成的文本。这款工具名为SynthID，目前处于beta测试阶段，尚未广泛对外开放。
OpenAI也有工具可以确定图像内容是否由其文本到图像生成器DALL-3所输出，而且已经在今年春季开放了测试。知情员工表示，该公司其实优先考虑的是音频和视觉水印，而非文本。毕竟考虑到美国已经迎来又一个选举年，前者的危害明显更大。
用蝙蝠侠“埋雷”，教师与学生斗智斗勇
2023年1月，OpenAI发布了一种算法，旨在检测由包括其自家模型在内的多种AI模型编写的文本，但成功率只有6%。七个月之后，OpenAI决定将其撤回。
还有其他由外部企业和研究人员开发的类似AI输出文本检测工具，不少教师表示他们已经试用过这些工具，但有时候不仅无法检测到由先进大语言模型生成的文本、还经常会产生误报。
在佐治亚州一所私立高中作者的教育行业AI顾问MikeKentz表示，起初，学生们“以为老师找到了某些神秘魔法，能够发现他们使用AI的行为。但到了年底……他们终于发现其实老师根本就没有可靠的确认方法。”
也有部分教师鼓励学生使用AI来帮助研究或者为当前思路提供反馈。但问题在于，如果学生纯靠ChatGPT这样的应用程序完成作业，那他们自己甚至都不知道学了些什么。
去年，犹他大学政治学教授JoshMcCrain给学生们布置了一项写作作业，其中也掺杂了某些难以辨认的短文本片段，要求学生在作业中引用蝙蝠侠的内容。而如果他们把作业直接粘贴进AI对话框，这部分说明也会被纳入其中。
果然，少数学生提交的作业中就以毫无意义的方式引用了蝙蝠侠。McCrain还在进一步调整写作作业，希望保证更多关注AI不太熟悉的时事素材，同时恳求学生不要把作业完全交给AI处理。“我一直在努力向学生们强调这一点：这是你自己的学习过程，不能偷懒。”
到底该不该用的争论已持续多年
知情人士指出，关于水印工具的讨论早在OpenAI于2022年11月推出ChatGPT之前就开始了，而且长期成为冲突和对立的根源。这款工具由计算机科学教授ScottAaronson开发而成，他在得克萨斯大学两年休假期间一直在OpenAI从事安全工作。
2023年初，OpenAI公司联合创始人之一JohnSchulman在一份共享Google文档中概述了该工具的优势和缺点。OpenAI高管则决定在采取进一步行动之前，先征求更多人的意见。
在接下来的一年半时间里，OpenAI的管理层反复讨论这项技术，并希望通过数据分析来决定到底要不要对外发布。
一份内部文件显示，OpenAI于2023年4月委托开展的一项调查指出，全球民众以四比一的比例支持AI检测工具的推出。
而就在同月，OpenAI又对ChatGPT用户进行了调查，发现69%的受访者认为由作弊检测技术导致的误判会令AI滥用“罪名”失控。近30%的人还强调，如果ChatGPT决定部署水印机制，那么他们将转投不部署水印的其他竞争对手，至少会减少对ChatGPT的使用。
OpenAI公司内部还一直存在担忧，即反作弊工具可能会损害ChatGPT的写作质量。但知情人士表示，OpenAI今年早些时候进行了一项测试，发现水印并不会影响ChatGPT的性能。
根据内部文件，参与测试的员工总结道：“既然我们确认了水印不会降低输出质量，恐怕就很难继续反对文本水印机制的落地了。”
今年6月初，OpenAI高层团队和研究人员再次开会讨论了此项目。小组一致认为水印技术的效果很好，但去年ChatGPT用户调查的结果仍然至关重要。据了解会议情况的人士介绍，人们表示公司应该研究其他尚未证实，但可能在用户群体中激发争议较少的新方法。
内部文件显示，与会者们认为OpenAI应当在今年秋季之前制定一项计划，尝试引导公众对于AI透明度的看法，包括围绕这个方向推动新的立法行动。
6月这场会议的摘要明确提到，“如果做不到这一点，我们作为负责任行为者的信誉就会受到威胁。”
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益，请与本站联系，我们将及时更正、删除、谢谢。
https://www.414w.com/read/1019873.html
