AI芯片激战正酣！Meta震撼发布全新AI推理芯片，性能飙升300%，强效支撑Llama高负荷运算，引领行业新潮流！
微软去年便宣布，采用台积电尖端的5nm技术，成功打造Azure Maia 100与Azure Cobalt 100芯片，引领行业创新。近日，谷歌也紧随其后，发布了自研数据中心芯片Axion，旨在降低高昂的AI竞赛成本，展现其技术实力与前瞻布局。
Meta再掀科技热潮，震撼发布第二代芯片——Meta Training and Inference Accelerator v2（MTIAv2）。这款芯片以卓越性能引领行业潮流，标志着Meta在人工智能领域的又一次重大突破。不容错过，敬请期待其带来的科技革新！
话不多说，先来看看MTIAv2的硬件表现。
容量、计算、带宽翻倍
MTIAv2工艺卓越，性能飙升！相较于去年Meta推出的MTIAv1搭载的7nm芯片，MTIAv2升级至5nm芯片，频率跃升至1.35GHz。其稠密算力近乎提升3.5倍，稀疏算力更是激增近7倍。尤其在INT8精度下，惊人地达到708TFLOPS。MTIAv2，无疑是工艺与性能的双料冠军！
得益于稀疏计算流水线体系结构的优化，本地PE存储、片上SRAM及LPDDR5容量翻倍，带宽更是增至3.5倍，实现了显著的性能提升，展现了强大的技术实力与创新能力。
能耗升级显著，从25W跃升至90W，性能飙升。英伟达H100功耗稳定在350~500W，INT8精度下稀疏算力高达3026TFLOPS，每瓦性能与MTIAv2持平。在平台层，通过翻倍的设备数量与双插槽CPU，MTIAv2展现惊人实力，实现模型服务吞吐量6倍增长，每瓦性能更比MTIAv1系统提升1.5倍。高效能、强算力，助您轻松应对各种计算挑战。
MTIAv2架构专为排名与推荐模型量身打造，适应不同模型大小与计算量差异，即便差异高达10-100倍。芯片设计巧妙平衡计算、内存带宽与容量，即便在较低的batch size下，也能实现高效利用。其卓越性能，确保了高效、稳定的模型服务，满足各类业务需求。
然而，芯片竞赛的挑战不仅在于芯片本身，其完整的计算生态也至关重要。
Meta完整的计算生态
相较于商用GPU，MTIAv2凭借Meta对芯片生产及使用的全栈掌控，包括配套硬件、软件及编译器等，实现了更高效能，展现了卓越的性能优势。
▲MTIAv2全栈的计算生态
Meta匠心打造的大型机架式系统，由3机箱精巧集成，每机箱搭载12块电路板，每板凝聚2块芯片智慧，总计承载72个MTIAv2，展现强大硬件配套实力，引领行业技术新潮流。
Meta精心打造的这一系统，实现了芯片功率与性能的极致释放。系统通信借助PCIe Gen5技术，大幅提升了带宽与可扩展性。若需进一步扩展至机架外，RDMA网卡将是理想之选，助力系统性能再上新台阶。
Meta团队作为PyTorch的创始力量，始终致力于提升软件的可编程性与开发效率。MTIA堆栈与PyTorch 2.0、TorchDynamo和TorchInductor的深度融合，不仅优化了前端图形处理流程，从捕获、分析到转换、提取，一气呵成，更创新性地实现了与MTIA硬件的解耦，打造出高度可复用的机制。这一举措将引领软件领域的新潮流，让开发者尽享高效编程的极致体验。
MTIA编译器卓越非凡，其低级别编译器接收图形输出，生成高效且设备优化的代码。底层运行时堆栈与驱动程序/固件无缝对接，而MTIA流式处理接口则提供强大功能，管理设备内存、运行运算符及执行编译图操作，确保设备性能最大化，满足各类编译需求。
Meta精心打造了Triton-MTIA编译器后端，这一高效机器学习计算内核编写工具，专为MTIA硬件量身打造，以优化代码性能。Triton语言的通用性使其完美适配非GPU硬件架构如MTIA。Triton-MTIA后端通过提升硬件利用率与支持高性能内核，实现效率飞跃，更搭载自动调优功能，智能探寻最佳内核配置。这一创新之举，将代码性能提升至全新高度，引领机器学习计算新纪元。
Meta将Triton语言特性与PyTorch 2.0完美融合，大幅拓宽了对PyTorch操作符的支持范围。此举使得开发者在编译前（AOT）和即时编译（JIT）流程中，均可畅享Triton-MTIA的便捷，不仅显著提升开发效率，更在计算内核创作方面赋予无限可扩展性。Meta的这一创新，无疑为开发领域注入了强大动力。
未来将持续投资
Meta去年资本支出高达280亿美元，占收入21%。今年，公司计划将支出提升至370亿美元，重点投向AI领域的服务器与数据中心建设。此举涵盖向英伟达采购GPU芯片及MTIAv2研发等关键项目，彰显Meta在AI领域的雄心与实力。
Meta官网宣布，MTIA将作为长期规划的核心，专注于构建与扩展顶尖、高效的AI基础设施，以支撑其独特的AI工作负载。此举实为Meta大模型发展之重要铺垫。据悉，Meta下周将重磅推出Llama 3大语言模型，参数量高达140B，较前代翻了一番，实力不容小觑。期待Meta在AI领域再创辉煌！
-对此，您有什么看法见解？-
