我们非常感谢Jan为OpenAI所做的一切,我们知道他离开后仍会继续为我们的使命做出贡献。鉴于他离职引起的问题,我们想解释一下我们对整体战略的看法。
首先,我们提高了对AGI风险和机遇的认识,以便世界能更好地为其做好准备。我们多次展示了深度学习规模化的巨大可能性,并分析其影响;在这种呼吁还不普及之前就呼吁对AGI进行国际治理;并帮助开创了评估AI系统灾难性风险的科学。
其次,我们一直在为安全部署日益强大的系统奠定基础。第一次弄清楚如何使一项新技术安全并不容易。例如,我们的团队为安全地将GPT-4推向世界做了大量工作,并且自那时起,我们不断改进模型行为和提升对滥用的监控,以应对部署过程中学到的经验教训。
第三,未来将比过去更艰难。我们需要不断提升我们的安全工作,以匹配每个新模型的风险。去年我们采用了准备框架,以帮助系统化地完成这一任务。
这似乎是谈谈我们对未来看法的最佳时机。
随着模型变得越来越强大,我们预计它们将开始更深入地与世界整合。用户将越来越多地与由多个多模态模型加上工具组成的系统交互,而不是仅仅通过文本输入和输出与单个模型交谈。
我们认为这样的系统将对人们非常有益,并且可以安全地交付,但这将需要大量基础性工作。这包括在它们训练时连接到的内容上的深思熟虑,解决可扩展监督等难题,以及其他新的安全工作。在我们朝这个方向前进时,我们还不确定何时能达到我们的安全发布标准,如果这推迟了发布时间,我们也能接受。
我们知道我们无法想象每一个可能的未来场景。因此,我们需要非常紧密的反馈循环,严格的测试,每一步都要仔细考虑,世界级的安全性,以及安全性和能力的和谐。我们将继续进行针对不同时间尺度的安全研究。我们也在继续与政府和许多利益相关者合作,共同致力于安全。
通往AGI的道路上没有现成的成功范本。我们认为经验理解可以帮助指引前进的道路。我们既相信实现巨大的上升空间,也致力于减轻严重的风险;我们非常认真地对待我们的角色,并仔细权衡对我们行动的反馈。
奥特曼对相关股权问题的回应
关于最近有关OpenAI如何处理股权的事情:
我们从未收回任何人的已归属股权,如果人们不签署离职协议(或不同意不诋毁协议),我们也不会这样做。已归属的股权就是已归属的股权,仅此而已。
在我们以前的离职文件中有关于潜在股权取消的条款;虽然我们从未收回任何股权,但这不应该出现在任何文件或沟通中。这是我的责任,这是我在管理OpenAI时为数不多的几次真正感到尴尬的情况之一;我当时不知道这种情况的发生,我本应该知道。
过去一个月左右的时间里,团队已经在修正标准离职文件的过程中。如果有任何签署了这些旧协议的前员工对此感到担忧,他们可以联系我,我们也会修正这些协议。对此非常抱歉。
杨立昆的评论
在我看来,在“紧急找出如何控制比我们聪明得多的AI系统”之前,我们需要有一个关于比家猫更聪明的系统设计的开端。
这种紧迫感反映了对现实极为扭曲的看法。
难怪组织中更务实的成员试图边缘化超级对齐小组。
就像有人在1925年说“我们急需找出如何控制能够以接近音速跨越海洋运输数百名乘客的飞机”一样。
在涡轮喷气发动机发明之前,并且在任何飞机都未能不间断地跨越大西洋之前,要让长途客机变得安全是很难的。
然而,我们现在可以完全安全地乘坐双引擎喷气式飞机飞行半个地球。
这并不需要某种神奇的安全配方。
这花了几十年的精心工程和反复改进。
对于智能系统,过程将会类似。
它们需要多年时间才能变得像猫一样聪明,还需要更多年的时间才能变得像人类一样聪明,更不用说更聪明了(不要将当前LLM的超人知识积累和检索能力与实际智能混为一谈)。
它们需要多年时间来部署和微调,以在变得越来越聪明的同时提高效率和安全性。
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/549351.html