近日，在上海世界人工智能大会期间，国产GPU创企摩尔线程宣布对其夸娥（KUAE）智算集群解决方案进行重大升级，从当前千卡级别大幅扩展至万卡规模。该集群以全功能GPU为底座，旨在打造能够承载万卡规模、具备万P级浮点运算能力的国产通用加速计算平台。
摩尔线程创始人兼CEO张建中向观察者网表示，相信通用人工智能（AGI）一定会到来。之前没有万卡集群，有些模型在千卡集群上无法训练出来，“当万卡集群建起来，Scaling（扩展性）往上走，准确度、精度、IQ能力都在提升的话，有了实际价值，就会建下一个集群。”
在现场，摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司等，分别就三个万卡集群项目进行了战略签约，多方将聚力共同构建好用的国产GPU集群。
摩尔线程CEO张建中 图源：观察者网
万卡集群已成入场券
大模型自问世以来，关于其未来的走向和发展趋势亟待时间验证，但从当前来看，几种演进趋势值得关注，使得其对算力的核心需求也愈发明晰。
首先，ScalingLaw将持续奏效。ScalingLaw自2020年提出以来，已揭示了大模型发展背后的“暴力美学”，即通过算力、算法、数据的深度融合与经验积累，实现模型性能的飞跃，这也成为业界公认的将持续影响未来大模型的发展趋势。ScalingLaw将持续奏效，需要单点规模够大并且通用的算力才能快速跟上技术演进。
其次，Transformer架构不能实现大一统，和其他架构会持续演进并共存，形成多元化的技术生态。生成式AI的进化并非仅依赖于规模的简单膨胀，技术架构的革新同样至关重要。
Transformer架构虽然是当前主流，但新兴架构如Mamba、RWKV和RetNet等不断刷新计算效率，加快创新速度。随着技术迭代与演进，Transformer架构并不能实现大一统，从稠密到稀疏模型，再到多模态模型的融合，技术的进步都展现了对更高性能计算资源的渴望。
与此同时，AI、3D和HPC跨技术与跨领域融合不断加速，推动着空间智能、物理AI和AI4Science、世界模型等领域的边界拓展，使得大模型的训练和应用环境更加复杂多元，市场对于能够支持AI+3D、AI+物理仿真、AI+科学计算等多元计算融合发展的通用加速计算平台的需求日益迫切。
多元趋势下，AI模型训练的主战场，万卡已是标配。随着计算量不断攀升，大模型训练亟需超级工厂，即一个“大且通用”的加速计算平台，以缩短训练时间，实现模型能力的快速迭代。当前，国际科技巨头都在通过积极部署千卡乃至超万卡规模的计算集群，以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的诉求进一步升级，万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。
然而构建万卡集群并非一万张GPU卡的简单堆叠，而是一项高度复杂的系统工程。
摩尔线程CEO张建中对观察者网表示，算力集群不光是一个计算GPU，怎么把它组织成一个大的网络，相互之间的通讯效率还可以更高，去满足MFU（算力利用率）达到60%的最优目标，这要靠网络通讯、计算存储一起来解决。“只有软硬件结合，才能把整个集群算力发挥到最高。否则用户买了一万卡，可能还没有2000卡的效率高，那规模上就没有效果了。”
摩尔线程GPU 图源：观察者网
能否打破英伟达一家独大？
据摩尔线程介绍，夸娥（KUAE）是该公司的智算中心全栈解决方案，以全功能GPU为底座，软硬一体化、完整的系统级算力解决方案，包括以夸娥计算集群为核心的基础设施、夸娥集群管理平台（KUAEPlatform）以及夸娥大模型服务平台（KUAEModelStudio）等。
基于对AI算力需求的深刻洞察和前瞻性布局，摩尔线程夸娥智算集群可实现从千卡至万卡集群的无缝扩展，旨在满足大模型时代对于算力“规模够大+计算通用+生态兼容”的核心需求，整合了超大规模的GPU万卡集群、极致的计算效率优化以及高度稳定的运行环境。
“我们现在万卡集群还没有搭建，已经在用的是千卡级集群。当用户要在我们的千卡上训练一个大模型时，如果是已经适配过的，基本上不需要做任何工作。如果是第一次适配，可能当天或者几个小时之内就可以在我们的平台上跑起来，但是性能调优是一个比较花时间的工作，因为不同模型使用方法不一样，国外不同的芯片厂策略不一样。”张建中说道。
“我们的产品跟国内外主流生态在兼容性方面做的很好，开发者移植到夸娥集群上，几乎不需要修改代码，迁移成本接近0，可以在数小时之内完成迁移。当然用户可能需要花数天时间去调优性能，但整体迁移成本很低，并不需要几周时间。”摩尔线程CTO张钰勃补充称。
当前，国产GPU的主要策略就是先兼容英伟达CUDA生态，把用户迁移成本尽量降低，那在这种举措下，像摩尔线程、天数智芯等国产GPU，能否打破英伟达一家独大？
“这是一个很难回答的问题，首先在美国，那么多公司抢不到英伟达的份额，说明英伟达还是很强的，用户是用脚投票的。但在国内不一定，因为某些原因受限，这样国产GPU就有机会。所以我相信中国市场格局和美国可能会完全不一样。”张建中对观察者网说道。
在发布会现场，摩尔线程携手中国移动通信集团青海有限公司等，分别就青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目战略签约。发布会后，无问芯穹、清程极智、360、京东云、智平方等五家企业登台，分享了摩尔线程夸娥智算集群如何助力其在大模型训练、大模型推理、具身智能等不同场景和领域的创新。
