报告称 OpenAI 采集了超一百万小时的 YouTube 视频来训练 GPT-4

IT之家4月7日消息，本周早些时候，《华尔街日报》报道称AI公司在收集高质量训练数据方面遇到了困难。今天，《纽约时报》详细介绍了AI公司处理此问题的一些方法，其中涉及到属于AI版权法模糊灰色区域的内容。

报道称，OpenAI迫切需要训练数据，并开发了Whisper音频转录模型来克服困难，转录了超过100万小时的YouTube视频来训练其最先进的大型语言模型GPT-4。

报道提到，OpenAI在2021年耗尽了有用的数据供应，并在耗尽其他资源后讨论了转录YouTube视频、播客和有声读物的可行性。此外，OpenAI使用了包括来自Github的计算机代码、国际象棋走棋数据库和来自Quizlet的作业内容。

据报道，OpenAI公司知道这在法律上存在问题，但认为这是合理使用。《泰晤士报》则透露，OpenAI总裁GregBrockman亲自参与了所使用视频的收集。

OpenAI发言人LindsayHeld在一封电子邮件中告诉TheVerge，该公司为其每个模型策划了“独特”的数据集，以“帮助他们了解世界”并保持其全球研究竞争力。Held补充说，该公司使用“众多来源，包括公开数据和非公开数据的合作伙伴”，并且正在考虑生成自己的合成数据。

谷歌发言人MattBryant在一封电子邮件中表示，该公司“看到了有关OpenAI活动的未经证实的报告”，并补充说“我们的robots.txt文件（IT之家注：网站与爬虫间的君子协定）和服务条款都禁止未经授权的抓取或下载YouTube内容”。

IT之家注意到，YouTube首席执行官NealMohan近日在采访中公开表示，尽管没有直接证据表明OpenAI使用YouTube视频来训练Sora（文本生成视频的AI模型），但警告称这种行为违反了YouTube现行的平台服务条款。

Meta同样也遇到了数据可用性的限制，在《泰晤士报》听到的录音中，Meta的AI团队为了努力追赶OpenAI，讨论了未经许可使用版权作品的情况。该公司在浏览了“互联网上几乎可用的英语书籍、散文、诗歌和新闻文章”后，显然考虑采取一些措施，例如支付图书许可费用，甚至直接收购一家大型出版商。