当地时间4月18日，Meta正式发布了外界期待已久的大语言模型Llama3，共有80亿和700亿参数两种版本，号称是最强大的开源大语言模型。
Meta表示，Llama3在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。
在同日Youtube平台公布的一段长达1个多小时、2万字的深度访谈中，Meta公司首席执行官扎克伯格分享了有关Llama3的更多信息，以及Meta在人工智能（AI）领域的深入思考，包括AI助手Meta.ai的演变、未来AI技术的发展方向和开源AI的潜在风险等。
关于Llama3模型：4050亿版本预计今年晚些时候推出
Meta的Llama3大模型不仅将作为开源软件提供给开发者社区，还将为AI助手Meta.ai提供支持。扎克伯格在访谈中表示，“我们正在做的最重要的事情是升级模型。有了Llama3，我们现在认为Meta.ai是人们可以免费使用的最智能的AI助手。我们还整合了Google和Bing以获取实时知识。”
谈及Llama3，扎克伯格称，“我们实际上训练了三个版本，分别是80亿、700亿和4050亿的密集模型，其中4050亿的模型仍在训练中。然而，对于80亿和700亿的模型，我对其结果感到非常兴奋。它们在规模方面处于领先地位。”
据他介绍，这些新版本将为现有版本带来多模态性、更多语言性和更大的上下文窗口。Meta希望今年晚些时候推出4050亿的模型，尽管仍在训练中，但就目前的训练水平而言，它已经达到约85MMLU（注：MMLU意为“多语言理解均值”，是一项用于衡量大语言模型性能的指标），预计其将在许多基准测试中拥有领先的基准。700亿的模型大约是82MMLU，在数学和推理方面拥有领先的分数。
关于AI模型训练：资本之外，能源将成为限制
谈及AI大模型的训练，此前有报道称，Meta计划在今年年底前采购35万个英伟达NvidiaGPU。
对此，扎克伯格在访谈中透露，“那是我们的整个舰队。我们建立了24000个集群，这些集群是我们用于训练大型模型的单个集群。由于我们服务的社区规模庞大，我们所需的推理计算与训练的比率可能比大多数其他做这些事情的公司高得多。”
他同时指出，大型AI模型的训练可能会面临资本和能源限制等问题。“我认为在我们达到这一点（指的是资本投入不再值得）之前，你会遇到能源限制。因为我认为还没有人建造过千兆瓦的单一训练集群。”未来，也许获得能源许可就像一个受到严格监管的政府职能。
关于AI未来：多模态和情感理解至关重要
当被问及Llama版本如Llama10最终是否会强大到取代程序员时，扎克伯格说：“我不确定我们是在取代人，还是在为人们提供工具来做更多的事情。但是，我并不认为人类存在一个单一的智力门槛，因为人们拥有不同的技能。在某种程度上，我认为人工智能可能会在大多数方面超越人类，这取决于模型的强大程度。但我认为这是一个渐进的过程。我并不认为AGI（通用人工智能）是一蹴而就的。我认为你基本上是在添加不同的功能。”
他还特别提到了多模态性的重要性。“最初是照片、图像和文本，但最终是视频。”他同时称，“我还没有看到业内其他人关注的一点就是情感理解。”Meta正在努力提升AI的推理能力和记忆能力，以应对更复杂的用户需求。
至于未来几十年AI的发展，扎克伯格认为，人工智能的出现与人类进化的重要性相当。AI将改变我们的工作方式，并为人们提供所有创造性的工具来做不同的事情，将真正使人们能够做他们更想做的事情。
关于开源：会开源100亿美元模型，但不会开源产品
谈及广泛使用AI可能带来的问题时，扎克伯格说：“我想到的一个安全类比是，并不只是人工智能，很多不同的东西都有安全漏洞。”
那社会应该如何应对这个问题呢？他认为，开源软件是解决此问题的一个重要部分，它使得当对软件进行改进时，它不会仅仅局限于一家公司的产品，而是可以广泛部署到许多不同的系统中。而且这些东西的工作原理是有标准的，世界有可能在短时间内共同升级。在他看来，这种情况比一个人工智能更集中的世界要健康得多。
在访谈中，他也坦承，AI也可能带来风险。“我认为缓解这种情况的最佳方法可能是拥有优秀的开源人工智能，使其成为标准。在很多方面，它可以成为领导者。这样一来，它就确保了这是一个更加公平和平衡的竞争环境。”
他强调，“基本上，我通常非常倾向于认为开源对社区和我们都有好处，因为我们会从创新中受益。但如果在某个时候，某样东西的能力发生了一些质的变化，我们觉得开源是不负责任的，那么我们就不会开源。”
在被问及是否会开源100亿美元的模型时，他表示，只要对他们有帮助，就会开源。然而，他同时也提到，“我们在开源软件方面有着悠久的历史，但我们不倾向于开源我们的产品，我们不会将Instagram的代码开源。我们采用了大量的基础设施，并将其开源。在我们的历史上，最大的项目可能就是开放计算项目，我们将所有的服务器、网络交换机和数据中心的设计开源。这个项目最终证明非常有价值，因为虽然很多人都可以设计服务器，但现在行业已经对我们的设计进行了标准化。这意味着供应链基本上都是围绕我们的设计建立的。随着数量的增加，对每个人来说都更便宜了，为我们节省了数十亿美元。”
