微软和OpenAI的秘密计划: 豪赌千万亿参数模型

虎嗅APP2024-04-01 20:29:14  48

微软正在计划投资1150亿美元、数百万芯片建造数据中心,支持OpenAI持续扩展其AI系统的规模达到千万级参数。

这个被称为星门(Stargate)的超级计算机,将于2028年推出。这一数据中心预计将需要5GW电力,为OpenAI提供的算力将提升几个数量级。

这1150亿美元计划,相当于微软目前全年资本支出的3倍,分为五个阶段,微软已经开始了第四阶段,为OpenAI构建一个较小的超级计算机,预计2026年推出。目前OpenAI与微软正忙于前三个阶段。

进入最后两个阶段,微软将采购大量的芯片,预计英伟达的GPU仍然是主力,但芯片供应将会更加多元化,既包括微软自己研发的主要用于推理的芯片,也包括其他芯片厂商的供应。

据硅谷科技媒体Information透露,OpenAICEO奥特曼正在推动这一计划,微软也做出了初步的成本估算。

微软很可能负责资助该项目,其成本将是目前一些最大数据中心的100倍,这表明未来几年可能需要巨额投资来建设AI的计算能力。

据硅谷业内传闻,目前GPT-5已经完成预训练,正处于对齐阶段,预计夏季推出。如果像业内预估的那样其参数规模将是GPT-4的十倍,GPT-5的参数规模将在20万亿左右。

微软已经开始为GPT-6的训练部署算力,按照目前的大模型扩展节奏,以每代模型一年到一年半左右扩展一个数量级,GPT-6的参数规模将在200万亿左右,2026年推出。2028年将是GPT-7推出的时间,参数规模将会达到2000万亿。

不仅仅是训练需要耗费大量的算力,随着生成式人工智能进入大规模部署应用阶段,推理需要的算力更大。

正如对Sora所需算力的估算,其推理的峰值,需要72万个H100GPU的算力,以目前H100的市场价计算[3.65万美元/每H100(80GB)],GPU的投资就需要274亿美元。预计Sora将于年内推出。

据博通公司透露,它的一个重要客户,正在准备在几年内打造一个百万加速芯片级的算力集群,业内认为就是谷歌。而目前Metak号称最大的算力集群,相当于65万张H100GPU。

另外,苹果真正入局生成式AI,宣告个人AI时代的到来,被认为是AI真正进入大规模部署应用阶段。据传苹果与谷歌、OpenAI都在洽谈,在其超过20亿的设备上建立SOTA大模型Gemini和GPT等的入口。而谷歌正在迅速把Gemini模型部署到数十亿部安卓设备上,包括三星和谷歌自己的终端设备。最近亚马逊也在加快部署Claude3。今年下半年,AIPC的推出也将进入高潮。目前ChatGPT上亿的活跃用户,日耗电约50万度。

大模型的训练和推理阶段,都将耗费巨大的能源。尤其是大模型的功能越来越强,从大型语言模型扩展到多模态模型,并且通过视觉理解物理世界,视觉的能耗强度比语言功能能耗强度高出三个数量级。

据TheInformation报道,微软和OpenAI可能考虑选址威斯康星州的MountPleasant。这个系统可能需要的电力达到5GW,以至于微软和OpenAI正在考虑配套建设核电厂。

这么大规模的数据中心将面临种种挑战,因为需要“在一个机架中放入比微软通常使用的更多的GPU,以提高芯片的效率和性能。”这意味着还需要设计新的冷却技术。

微软和OpenAI也可能利用这项目的设计,减少对英伟达的依赖。尽管微软在当前项目中使用英伟达的InfiniBand电缆,但OpenAI希望在星门项目中避免使用InfiniBand。OpenAI声称它更愿意使用以太网电缆。

今年早些时候传出奥特曼有意打造AI芯片,并寻求筹集高达7万亿美元的资金投资芯片的工厂。去年,微软公布了其专为AI项目设计的128核心Arm数据中心CPU和Maia100GPU。还有报道称微软正在为其AI数据中心开发自己的网络设备。

但超级计算机将位于何处,以及它将建在一个单一的数据中心还是“在地理位置相近的多个数据中心中”,也都存在着不确定性。

为2028年的算力做规划,也必须考虑芯片和数据中心技术的进步。

台积电预测,在未来10年,GPU集成的晶体管数将达到1万亿个。与此同时,未来15年,每瓦GPU性能将提高1000倍。

GTC2024大会上,英伟达CEO黄仁勋祭出世界最强GPU——BlackwellB200,整整封装了超2080亿个晶体管,它包括了两个GPU的芯粒(die)。比起上一代H100(800亿),B200晶体管数是其2倍多,而且训AI性能直接飙升5倍,运行速度提升30倍。价格将在3万美元到4万美元之间。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/101557.html
0
随机主题
运输利勃海尔956创新药「烧钱一哥」看到盈利曙光?美国收割阴影笼罩全球, 中国主动出击, 用黄金对抗美元霸权星二代的四组对比, 一目了然的颜值差距告诉你, 遗传基因骗不了人云辟谣|成都熊猫基地14号圈舍环境恶劣, 场馆设施不达标? 系谣言多功能跨界自动挡弯梁ADV——力腾190, 正式命名为军刀并开始盲定没想到, 5月还未结束, 33岁金晨就以这种形式翻车了中俄多个大动作落地,美债连续三个月缩减,美联储发现绷不住了听我的劝告: 早入手小米14 Pro的人别轻易看价格, 你会后悔美西方抢钱, 俄斗到底, 反制裁开始, 普京没收德最大银行在俄资产中方增兵按加速键, 美航母连夜撤退, 印度军舰抵菲, 为2件事而来女子为了帮衬娘家, 婚内转移财产300万, 丈夫得知后诉讼离婚小米SU7上市之后,新能源二手车绷不住了,特斯拉也拉裤兜子了红米Turbo3直降300元?1699告诉你什么叫“生死看淡,不服就干”TVB港剧推荐! 值得N刷的三部经典武侠剧!一口价6.99万起,标配1.5T+双大屏+独悬,探店2024款瑞虎7新趋势!北青:伊万征调多名跑动能力和身体条件俱佳的国脚!17.2%! 大规模设备更新释放经济增长后劲崔康熙两大嫡系夏窗驰援鲁能时间敲定, 能力已获认可, 值得期待申花客胜河南加油站的汽油都藏在哪里?那么多的油,是怎么防止它发生危险的?
最新回复(0)