AI发展的核心三要素就是算力、算法和数据，在人工智能的训练和推理过程中，每一步都需要消耗大量算力。伴随着人工智能开发热度的水涨船高，英伟达的GPU芯片也越发一芯难求。CoreWeave作为一家被业界称为“算力黄牛”的公司，通过向开发者提供GPU托管服务，成立以来获得英伟达力挺，并在四年内估值成长到560亿人民币。
在不久前美国的一档节目中，CoreWeave公司的联合创始人和首席战略官Brannin McBee探讨了GPU 背后的经济账，数据中心冷却技术的创新，以及人工智能基础设施对搜索、广告和电子商务等行业的未来挑战和影响。
Brannin McBee认为，GPU云基础设施市场面临的瓶颈是，如何获得足够的数据中心容量来满足不断增长的需求，而限制数据中心容量的就是电力。微软和亚马逊都在将IDC建到核电站旁边。虽然有大量的可再生能源，比如太阳能、风能，但这两样东西都不适合数据中心。我们需要的是更多的基础负荷电力，传统电力比如煤炭和天然气发电。
同时，Brannin McBee表示，Coreweave今年的收入会增长10倍，到2024年底的所有算力已经售罄。现在有大约500名员工，年底将会接近800人。而其中很多需求是训练到推理的转换推动的，训练你可能需要1万卡训练，但比如Chatgpt这种一旦进入推理， 需要的是1百万张卡。
Brannin McBee表示，在AI算力需求增长大幅提升的情况下，过去十年建立的云基础设施需要面临重建。原因是，之前的云基础设施，是为了序列化的工作负载而建造的，不是为了AI这种并行化工作负载。所以，你必须以AI被采用的速度重建它，这是一件极其困难的事情，因为速度太快了，预计到2030年，算力供需才能到达平衡。
01 GPU背后的经济账
02 芯片之外：数据中心建设如何应对挑战
03 GPU计算市场需求火热，英伟达成最大赢家
04 大语言模型训练瓶颈突破的物理难题
05 Brannin McBee的AI发展预言
06 AI新基建的供需探讨
/ 01 / GPU背后的经济账
Jason Calacanis：以目前英伟达最顶尖的 H100 为例，它不仅仅是一个 GPU，更像是一个机架，可以容纳许多个 GPU。我记不清确切的数字，但 H100 可以容纳好几个GPU。据我了解，单个H100的售价在三万到四万美元之间。
Brannin McBee：它是一个服务器，或者我们在网络中称之为节点，一个服务器通常有8个GPU。服务器将被放入一个机柜，机柜将被组合进一个数据中心，并将电力引入数据中心以及将其连接到互联网。每个服务器中的每个GPU的价格范围是准确的。因此，服务器的成本可能高达25万美元。
Jason Calacanis：所以你们做的就是出租单个 H100 GPU 或服务器中的单个 GPU，就像一个集群中的节点一样，每小时收费 4 美元左右，对吗？
Brannin McBee：完全正确。我们的优势在于能够大规模提供这项服务。我们不像其他公司那样只服务于一次性只使用一个 GPU 的个人用户。我们的客户一次性会使用一万个 GPU，并且它们会作为一个整体的网络结构协同工作，这就形成了一台超级计算机。建立如此大规模的单一架构是一个非常密集的工程项目，能做到这一点的公司并不多。
没有现成的模板，只有三四家公司在全球范围内建立如此规模的架构。通过规模扩大，你实际上是在创造一种更加稀缺的资源。对于一个GPU或者一万个GPU来说，工程解决方案是完全不同的。一万个GPU需要一个全新的工程解决方案。相应地，我们也不会因为采用的GPU多就有优惠。
Jason Calacanis：如果我们以每小时 4 美元的成本来计算，那么能源成本占其中的多少？因为这些东西非常依赖能源，它们消耗大量的能源。所以我很想知道，其中有多少是能源成本？未来的数据中心在哪里？因为这些 GPU 的功耗是 CPU 的几倍，可能需要依靠大量的电力。所以，你能给我们解释一下吗？
Brannin McBee：是的，正如您所说，数据中心容量限制是目前市场存在的一个相当大的瓶颈。需要注意的是，这并不是指数据中心本身的物理空间，而是能够为数据中心提供充足的电力供应。增加数据中心的电力供应才是关键。可以说，云基础设施或 GPU 云基础设施市场面临的下一个瓶颈是如何获得足够的数据中心空间来满足不断增长的需求。
从成本方面来看，电力大约占我们提供此基础设施成本的 10% 左右，而基础设施本身才是成本的主要部分，通常折旧期为 6 年。电力的确消耗很大，但与 CPU 基础设施相比，在完成相同工作的情况下，GPU 基础设施的效率要高得多。例如，要在 GPU 上运行相同的工作负载，与 CPU 相比，您需要使用更多的 CPU 核心才能达到相同的解决方案。因此，虽然按单位密度来看，GPU 会消耗更多电量，但从工作负载的角度来看，它们效率更高。
Jason Calacanis：我看过一个研究，说一个这样的GPU，以60%到70%的容量运行，就相当于美国普通家庭的能源消耗，而这只是其中之一。所以，如果有人使用了1万个这样的GPU，或者像扎克伯格将会使用数百万个这样的GPU，这就相当于让100万家庭上网什么的，是吧？
Brannin McBee：是的，这是一种巨量消耗，但它也是一种变革性技术。它从数据中释放出的价值是我们以前从未观察到的。
Jason Calacanis：是的，您说得很有道理。我的意思是，我甚至都没有带着评判的眼光看待这个问题，比如它消耗的能量是否值得。从长远来看，即使它消耗的能量很多，但如果它能带来巨大的收益，例如治愈癌症、找到我们目前无法想象的可再生能源或核聚变解决方案，那么这些收益显然会抵消能源成本，并创造一个能源独立的未来。
/ 02 / 芯片之外：数据中心建设如何应对挑战
Jason Calacanis：现在的问题是，当人们购买这些 GPU 并寻找放置地点时，行业正在发生什么？当您正在努力建设基础设施时，我们是否已经面临能源枯竭的困境？人们都在哪里寻找安置这些设施的合适地点？
我听说核电站将成为放置这些 GPU 数据中心的地方，也就是将核电站和这些数据中心建在一起。这个说法有道理吗？
Brannin McBee：是的，没错。据我了解，似乎是微软或亚马逊正在收购核电站，并在其旁边建设数据中心。
您提到了数据中心空间以外的问题，这的确是值得全国关注的。过去十年来，可再生能源产能大幅增加，这当然很棒，但这些新增产能未必能满足持续增长的需求。正如您所知，太阳能依赖阳光，风能依赖风力。这些能源对于数据中心甚至电动车来说都并非完美解决方案，因为数据中心和电动车都需要持续稳定的电力供应。传统上，基荷电力来自煤炭和天然气。过去十年里，天然气更受青睐，因为煤炭排放污染严重。
就我个人而言，我希望未来能更多地使用核能，但核电站的建设需要时间。因此，未来十年，选址和建设将是关键所在。
我们已经签约了大量的电力供应，以确保我们业务的增长概况，但这将成为市场中所有参与者的瓶颈。
Jason Calacanis：关于热量呢？这些设备会产生大量的热量，你知道，这个国家的一些地区比其他地方更温暖。人们是不是把这些数据中心移到北方以获得冷空气？我们看到过图片，数据中心有着开放的一面，冷风直吹进来，基本上是敞开的门。
因为在其他地方，如果你把这些GPU放在得克萨斯州，你会用空调来冷却它们。这似乎是双倍低效。所以也许可以稍微谈谈今天这些设备产生的热量，如果没有空调有希望让它们降温吗？
Brannin McBee：您提出的这个问题非常棒。很有趣，它让我想起我过去挖矿的日子。当时我们使用带有敞开侧壁和巨大风扇的仓库，并且由于安全性和可靠性方面的原因，无法在寒冷的北方地区运行此类基础设施。
对于此类 GPU 基础设施，必须在被评定为四级甚至五级的数据中心环境中运行。四级和五级是数据中心可靠性、安全性以及环境控制方面的最高等级。亚马逊、谷歌或微软等公司使用的就是此类数据中心，它们专为云基础设施而设计。
除了热量之外，另一个需要注意的因素是噪音。在这些环境中，噪音会非常大，甚至能达到 100 分贝以上。这与它们产生的热量和用于冷却的空气流动直接相关。
更关键的是围绕基础设施的负载。运行基础设施本身可能只需要 1 个单位的能量，但冷却基础设施、运行网络和其他相关设备则可能需要额外 1.2 到 1.3 个单位的能量。目前，世界领先的数据中心主要采用强制空冷的方式来解决这个问题，即每分钟通过这些高度密闭的舱室输送数万立方英尺的空气。这样一来，所有热量都会集中在一个狭小的空间内，然后通过大量空气进行冷却。冷却空气的温度有时会进行调节，但有时也仅仅是使用室外空气。
不过，未来液体冷却将成为主流。届时，我们将采用直接芯片液冷技术，并将能效比从大约 1.3 降低到 1.1 左右。因此，随着我们转向液体冷却环境，GPU 基础设施的整体能效将会得到提升。我们正与 Switch 等领先的数据中心运营商合作，共同推动并实施这一技术，以便在新一代 GPU 上应用。
液体冷却确实可以分为两大类。第一类是浸没式冷却，就像把服务器放入一个超大号的游泳池中，当然体积会缩小很多。第二类是直接芯片液冷，即在芯片上安装管道进行冷却。我们将采用直接芯片液冷的方式，因为它在运营方面效率更高。我们认为整个行业也将朝着这个方向发展。
浸没式冷却虽然听起来简单粗暴，但也有其自身的缺点。例如，当服务器需要维修时，您需要先将它从液体中取出。这可能需要花费大约一个小时的时间让液体沥干，才能让技术人员进行检修。这会大大延长服务器的停机时间。
相比之下，直接芯片液冷就高效得多。维修时，只需将芯片取出即可，无需担心液体泄漏或飞溅到数据中心的其他设备上。数据中心的环境需要保持高度的洁净和密封，甚至连纸板都禁止携带入内，因为纸板也是可燃物。此外，空气中漂浮的微粒可能会聚集在服务器节点上，造成损坏。
/ 03 / GPU计算市场需求火热，英伟达成最大赢家
Jason Calacanis：你的客户有需求放缓的迹象吗？比如告诉你：“我们已经部署了一万个GPU了，我们现在想提升利用率，不需要更多了”。还是说他们依旧非常急切地需要更多GPU？
Brannin McBee：我想从几个方面来谈谈这个问题。首先，今年我们的收入将增长约十倍，而且我们今年剩余时间的产能都已售罄。我们现在大约有 500 名员工，到年底将接近 800 人。今年的生产计划已经全部排满。整个行业都呈现出这种态势。对这种计算能力存在着一种无法撼动的需求。
这在很大程度上是由从训练模型到推理的转变所驱动的。推理实际上是从训练中提取商业价值的过程。因此，你想训练一个基础模型，它需要在我们构建的配置中进行计算，比如这些包含一万个 GPU 的集群。然后你需要让它发挥作用，比如从中获得收入并创造产品。我们观察到，训练一个模型可能需要一万个 GPU，但推理的规模与用户数量直接相关。例如，在 chatGPT 中进行一次查询就会启动一个 GPU。现在有 100 万、500 万甚至 1000 万人在这样做，这决定了推理的规模。因此，推理将真正与该市场的增长挂钩。
Jason Calacanis：尽管他们可能不需要在训练阶段指数级使用 GPU，但他们会在这方面变得越来越高效。他们真正需要的是推理。当人们提出查询时，这属于推理范畴，而不是训练模型，而是向模型提问，这需要大量的计算资源。如果我们以 H100 每小时满负荷运行为例，它可以处理多少个查询？我知道答案总是有条件的，但对于一个平均查询来说，这些东西的成本是每查询几美分。这个估计是否准确？
Brannin McBee：您说得对。更准确的说法应该是每次查询成本几分钱或是几美元。正如您所说，随着时间的推移，效率也会提高。但需求量确实令人难以置信。
退一步想，现有云基础设施在过去十年里建立起来，并不是为这种用例设计的。它是为可序列化工作负载构建的，而不是可并行化工作负载。从某种意义上说，您需要重建云，而且必须以人工智能软件采用的速度来重建物理基础设施。这是一个令人费脑筋的概念，因为人工智能软件的采用速度比我们今天观察到的任何技术都要快。今年我们在北美建造了 28 个数据中心，我们是世界上最大的此类基础设施运营商之一。但我们仍然无法满足需求，并且在未来几年内看不到这种状况会缓解。
Jason Calacanis：接下来我们将讨论 LPU，它使用 GPU，价格非常昂贵。你有没有开始看到这些语言处理单元逐渐出现在硬件架构中？你认为这会对降低行业成本和拥有专为推理环节打造的硬件产生积极影响吗？
Brannin McBee：就像《魔戒》中没有一个戒指可以统治一切一样，我也不认为会有一个 GPU、LPU 或某种加速器能够主宰一切，同样也不会只有一个模型能够统治一切。我认为将会有许多针对不同目标的不同模型。就像不同的模型可以完成不同的任务，比如辅助驾驶汽车、攻克癌症或是成为一个人工智能角色等等。不同的模型将用于完成不同的任务。然后将会有针对每种不同类型模型而设计的最有效的基础设施。
这就是你看到像微软、Meta 等实体都在专注于构建自己的芯片的原因。他们并不是想取代 GPU，而只是试图解决他们内部运行的不同模型的问题。我们观察到，GPU 的定位在于基础模型和最新一代模型，最苛刻和复杂的工作负载将继续由 GPU 处理。而且英伟达在不断迭代更新 GPU 方面拥有令人难以置信的解决方案，我们认为这些模型将继续在英伟达的平台上积累。
对于推理任务，我认为基础设施将会有不同的层次来提供解决方案。可以说，如果一个模型是在 100 个 GPU 上训练的，那么它很可能会在 100 个 GPU 上进行推理，而不会改换其他硬件。要改变这种架构设计也比较困难。困难的原因之一是英伟达的软件，例如他们的驱动程序解决方案 CUDA。英伟达在 2010 年代初期非常明智地开源了该驱动程序解决方案，以支持该领域以及想要开发此类产品的工程师。现在，CUDA 已经事实上成为了整个市场的默认解决方案。这类似于 CPU 的驱动程序，几十年来，一切都是为 X86 架构设计的，即使存在比 X86 更优秀的架构，也没什么关系。因为人们都使用 X86，因为如果你说要去学习另一个东西，并寄希望于其他人也会使用它，那么这样做会带来效率损失。还不如使用大家都用的东西，这就是主导市场的原因。英伟达通过其卓越的软硬件基础设施解决方案，挖了一条令人难以逾越的护城河。我认为这将使人们在很长一段时间内继续使用他们的平台。
Jason Calacanis：现在人们是否正在使用 CUDA 来处理其他 GPU 呢？因为它开源了，而且显然可以用于并行计算。例如，当你使用超级计算机时，你需要将一个任务分发到许多不同的 GPU 上。那么人们是直接使用 CUDA，还是对它进行了改编，以便将任务发送到一些英特尔服务器或一些英伟达服务器上？这是否会为更开源的未来打开可能性？然后我也很好奇您对开源芯片和芯片架构的看法，以及您是否认为它们会在这一领域产生某种影响。
Brannin McBee：这个问题稍微超出了我的专业领域。的确存在一些分支，例如能够让 CUDA 在不同基础设施上运行的软件，但这些软件会带来巨大代价。没错，它们会带来性能损失和可配置性损失。损失程度非常高，以至于我们没有一个客户会提出这样的需求。性能损失可能会达到 30%、60% 甚至 80%。因此，对于这种计算能力的最大使用者来说，最自然的做法是坚持使用英伟达的软件和基础设施。
这正好引出了您的第二个问题，关于开源。老实说，我很难下定论，但我想要强调的是，英伟达在 GPU 研发和发展道路上扮演着举足轻重的角色。他们投入了大量的资金，确保拥有市场上性能最强的基础设施。当然，开源基础设施也可能存在一些应用场景，类似于 Groq 或其他定制芯片的情况。但我认为绝大多数工作负载都将继续使用 GPU 基础设施。
Jason Calacanis：那么这个领域的第二名和第三名是谁呢？他们有机会瓜分市场份额吗，还是说接下来十年我们还将生活在一个由英伟达统治的世界？
Brannin McBee：是的，我认为在相当长一段时间内，我们都将生活在“英伟达世界”里。没错，市场上还有 AMD，但他们没有性能训练结构。这是一种英伟达专有的技术，使用 AMD 的基础设施根本无法构建性能相当的训练结构。因此，AMD 的产品实际上只能用于推理。而且，如果你已经用英伟达训练了模型，那么将软件和基础设施转移到兼容 AMD 的系统将非常困难。当然，我认为这是安德鲁 (Andy，指 AMD CEO) 会花时间去关注的市场，但我们目前还没有看到客户对此有需求。
还有规模问题。没错，我们是大型的算力使用者。当然，也有一些用户只需要一到十个 GPU，他们可能会说，我想用我的 300 系列显卡工作。但对于需要成千上万个 GPU 的实体来说，他们会坚持使用英伟达，我们还没有看到任何偏离这种做法的迹象。
/ 04 / 大语言模型训练瓶颈突破的物理难题
Jason Calacanis：对于训练大型语言模型而言，当前一个关键挑战是 InfiniBand 或以太网解决方案在传输数据时的吞吐量。比起GPU性能，这是否是更大的瓶颈？
Brannin McBee：是的，构建非阻塞InfiniBand架构是至关重要的。所谓非阻塞是指每个组件都能以与其他部件相同的性能和效率运行，没有任何性能障碍。
这本质上是一个物理工程难题。一个拥有16000个 GPU 的结构，相当于大约2000个节点或服务器（每个服务器有8个 GPU）。它需要在整个结构中建立48000个独立连接。你需要将 InfiniBand 连接到服务器中的每个 GPU，然后连接到交换机，从而成为这个结构的一部分。每个连接都必须正确建立，而这一切需要用到总长达 500 英里的光纤线缆。我们不仅建造过这种规模的结构，还建造过更大更小的版本。可以说，我们建造了很多这样的东西，也铺设了大量的光纤。
这的确是一个前所未有的复杂物理问题。以前运行以太网、托管网站或存储数据时，根本不会遇到这种情况。过去不需要以这种方式构建结构，那时候每个服务器只需要一个连接，而不是 8 个连接。而且，我们现在需要在一个连续的非阻塞结构中，在一个单一的占地面积内完成这一切。
因此，我们正同时面临着许多新问题，投入了巨额资金，并且在有史以来发展最快的技术环境中消耗着大量资金，这在整个市场上都造成了问题。而我们的解决方案是提供一个只专注于这类工作负载的软件解决方案。相应地，我们通过拥有最佳的工程解决方案并实际将其交付给最终用户，将客户吸引到我们的平台上。
/ 05 / Brannin McBee的AI发展预言
Jason Calacanis：我们从未见过像微软、Meta 和谷歌这样的大公司遇到过这种情况。这些公司拥有庞大的资金储备，但它们无法再通过并购进行资本部署了。因为西方国家存在一个框架，它限制了大型科技公司进行收购。
过去，像苹果或谷歌这样拥有巨额现金储备的公司（数千亿到上万亿美金），可以自由收购 Uber、Airbnb 或 Coinbase 这样的公司。现在，即使是价值 200 亿美金的 Figma 公司，你也很难收购，因为很可能会被监管机构阻止。小规模的收购都可能受阻，那么这些科技巨头还能用这些资金做什么呢？
答案之一是将基础设施作为一种竞争优势来构建。现在他们拥有了庞大的基础设施，但问题是，这些基础设施能带来多少实际的工作机会？毫无疑问会有一些，也可能转化为商业产品，但这总比将资金闲置更好。与其仅仅是为了赚取微薄的利息或回购股票，这是一种更有效的资本利用方式。
更妙的是，拥有这些基础设施可能会催生意想不到的创新工作。比如，Meta 团队里的某个天马行空的人可能会想：“如果我们做xxx会怎么样？” 拥有这样的基础设施可以让这些有疯狂想法的人尝试一下，花个一百万美元在这个庞大的基础设施上运行一个任务（按比例付费），说不定他们会发现一些非常有趣的东西。
您一直在观察这些科技巨头，那么您认为他们正在使用这些基础设施做哪些有趣的项目？当然，其中一些项目是公开的，另一些则是保密的，我不想泄露任何人的商业机密。但您能透露一下，当这些公司来找您寻求解决方案或分享他们的构建项目时，您觉得哪些项目或垂直领域最具前景吗？
Brannin McBee：我认为人工智能最先、最快被大规模应用的领域，将是与现有产品无缝集成的领域。人们不需要学习新东西，就能自然而然地使用这项技术。它不需要用户下载新应用，而是直接整合到现有的产品中。
我想，这类应用将主要以co-pilot的形式出现。确切地说是将 AI 技术整合到现有应用程序中，帮助用户完成既有流程。我们正目睹这类辅助工具解决方案的快速发展。然而，此类产品能否大规模应用， 取决于云基础设施能否承载庞大的用户群。
请记住，每次用户通过辅助工具产品进行查询时，都会用到 GPU 资源。因此，云基础设施本质上限制了此类产品的发展速度。我们甚至看到一些产品因为缺乏足够的云基础设施支持其发布而推迟上市。
Jason Calacanis：是的。必应曾经做过定制答案的尝试。你不得不点击第二个按钮才能获取，进入另一种体验模式。而有些由人工智能驱动的搜索引擎则会自动做出回应，因为他们没有像谷歌那样庞大的查询流量。如果每一次谷歌搜索都会产生一次对GPU的查询，那将会使谷歌目前破产，因为他们有如此多的查询量，而每个查询多花费3或4美分，世界上就没有足够的基础设施来转换所有这些查询。
Brannin McBee：这就引出了一个问题，人工智能对于软件产品而言，会成为一种税收还是利润增长点。我认为对于某些产品来说，它将成为一种税收。它可能会被纳入管理，他们可能无法从这些产品中获得直接的增量收益。但是，如果你不集成这种人工智能"税收"，另一种结果可能就是你会失去用户和市场份额，被别人赶超。
Jason Calacanis：对。搜索引擎是一个完美的例子。如果必应为他们5%左右的市场份额提供这种功能，他们将因为构建这项业务而开始赔钱。而对于谷歌来说，这是他们的核心业务。如果他们在90%的查询上启用这一功能，他们一旦开始赔钱，就有可能颠覆整个业务模式，对吗？
Brannin McBee：没错。正如您所说，另一个有趣的点是，谷歌如果没有足够的基础设施容量，可能就无法整合人工智能。这就是为什么我们看到一些公司开始感到沮丧。例如，微软投入了大量资本支出，以确保拥有必要的庞大基础设施。因为正如我之前提到的，要实现大规模计算，就需要将计算资源去商品化。拥有大规模计算能力本身就成为了一种战略优势。因此，我个人认为另一个将快速采用人工智能的领域是广告领域。
投放广告时，您总是希望它能触达目标受众，然后这部分受众中只有一小部分会真正对广告产生认同，通常只是很小的一部分。
如果我们可以利用生成式 AI 来根据用户的元数据随需创建始终适用的广告，那么效果将会大大提升。
比如说，您住在犹他州，拥有一艘绿色皮划艇，正在寻找一辆新款起亚汽车。您看中了一辆蓝色的起亚，并且已经浏览过几天了。现在，您将不再仅仅收到一个普通的灰色起亚广告，而是看到一个蓝色的起亚汽车，车顶载着一艘绿色皮划艇，正行驶在犹他州的沙漠中前往河流的画面。而且，在您购买这辆起亚之前，您可能会看到好几个类似的广告。
用户不会意识到这是生成式 AI 的作用，但它将对广告领域产生巨大影响并颠覆整个行业。对于广告商来说，使用这种技术将变得必不可少，因为广告的有效性将大大提高。
Jason Calacanis：太令人着迷了！想想 Meta 发生的事，当苹果公司匿名化智能手机数据时，人们认为他们会因为难以进行定向广告而陷入困境。但实际上，这反而刺激了他们大力发展人工智能。现在，Meta 在个性化方面取得了更进一步的进展，正如您所说的一样。
如果人工智能知道您有两个孩子，它就会在您的吉普牧马人广告中展示两个儿童座椅，并且车顶上还绑着您的皮划艇（或者其他任何车型）。广告中还会出现孩子们坐在车里的画面，文案会突出该车对幼儿或小孩的友好性，并可能展示一些可以让孩子们在后排看 Netflix 的媒体中心装置。
人工智能将拥有如此多的信息来定制广告，以至于广告所描绘的理想生活和现实生活之间的差距将大大缩小。没错，广告通常都描绘理想生活。
这就像《少数派报告》一样，所有的一切都让人联想到这部电影。未来广告的个性化程度将达到令人震惊的水平，甚至可以说有些“毛骨悚然”。这就像是能够读心术的广告一样。
Brannin McBee：是的，以前从未有过这样的体验。需要注意的是，以前制作大众媒体广告需要投入大量资源。而现在，每次生成这种随时更新的迭代式广告时，都需要查询基础设施。因此，这种新型广告将对基础设施的需求非常庞大。
我认为这将是一种更有效的广告支出方式，但它也将对背后的基础设施提出巨大需求。总而言之，我认为co-pilot目前正在大规模应用，但广告领域才是真正能够实现大规模应用的下一个重要领域。
/ 06 / AI新基建的供需探讨
Jason Calacanis：是的，这非常有道理。广告业是一个巨大的产业。没错，正如您所说，任何拥有大量数据和频繁交易的地方，都是 GPU 和人工智能革命大展身手的绝佳场所，因为这些地方的数据更新频繁且涉及交易行为。例如亚马逊向您推荐商品的方式，以及他们如何让您在亚马逊上购买商品，而不是去沃尔玛或凯特琳等实体店。
可以说，电子商务领域，尤其是最后一公里的配送，已经受到了影响。看看优步和 Instacart（本质上相当于优步外卖）的广告收入就知道了。它们每年的广告收入大约都在 10 亿美元左右。而亚马逊的广告收入现在可能已经达到了 300 亿到 400 亿美元。
就这三个看似基于交易的业务而言，即购买日用品、食品配送、移动出行和亚马逊购物，它们都正在成为广告业务，并且这对于它们来说是纯利润。人工智能对这些业务的影响将会非常巨大。
Brannin McBee：是的，所有的一切最终都指向生成式人工智能。没错，所有事物都在朝这个方向汇聚。而这正是所有这些技术所需要的，这也再次印证了我之前关于需求量的问题。
在未来几年内，我们看不到满足现有需求的基础设施建设的明确路径。上一代的云计算架构并不是为应对这种情况而设计的。这并不是简单地更换一个用户界面，或者说稍微调整一下软件就能解决的问题。它需要的是根本性的改变，就像特斯拉与福特汽车的制造工艺之间的巨大差异一样。
Jason Calacanis：现在，大家会不会担心基础设施建设过剩？如果我们放缓基础设施建设，之后会不会也有这样一个时间点，让我们觉得这将足够满足需求？您认为我们什么时候拥有足够的产能，什么时候供需关系会恢复正常？
Brannin McBee：数据中心还存在着很大的供需不平衡。这其中涉及到多个部分。比如所有用于搭建数据中心的基础设施，还有为其供电。这是一个非常复杂的物理堆栈。老实说，可能要到本世纪末才会看到供需关系重新平衡。但这不是说数据中心建设过剩，它仍然处于高速增长轨道上。只是到那时，数据中心的基础设施才可能赶得上需求。
像用于托管网站的云基础设施，它是可替代的。把你网站托管在 AWS、GCP 还是 Azure 似乎没什么区别，它们都像是托管网站的相同产品。
但现在这种可替代性正在改变。正确的理解是，由于我们在软件层面和物理层面构建基础设施的方式不同，因此在 AWS 上托管的 H100 与在 CoreWeave 上托管的 H100 是非常不同的。所以，以前存在的可替代性现在正通过软件和基础设施的颠覆而变得不可替代。
