智能驾驶正在进入“端到端”时代。
7月30日，小鹏汽车在广州举办AI智驾技术发布会，预计在今年四季度实现“门到门”的智能驾驶，即居住小区停车场到单位园区停车场的高级辅助驾驶。
无独有偶，理想也公布了端到端自动驾驶技术架构，由端到端模型、VLM视觉语言模型、世界模型三个部分共同组成。其中，端到端模型接受传感器输入，并直接输出行驶轨迹用于控制车辆，而视觉语言模型的作用是为端到端模型提供决策依据，世界模型则用于验证和强化学习。
总体来看，自特斯拉向在美推送了版本号为V12.1.2 Beta的端到端FSD后，几乎所有车企及头部智驾公司都在投入团队与资源推进端到端技术方案。
众所周知，当前主流的智驾系统几乎采用的都是模块化模型，感知、决策、规划分属三个独立的模型，且需要靠人工去书写各种规则、调试各种Corner case，很难使智能驾驶系统达到人类老司机水平。
然而，端到端大模型实现了“感知决策一体化”，可以减少信息传递的错误，解决城市NOA等高阶智能驾驶效率低且泛化性差等痛点，被认为是高阶智能驾驶的必经之路。
很显然，伴随着端到端+AI大模型的演进，一场巨大的供应链变革即将到来。
01
端到端+AI大模型，高阶智驾的终局路径？
据了解，从传统自动驾驶模型向“端到端”演进，将经历四个阶段：感知“端到端”、决策规划模型化、模块化端到端、 以及One Model端到端。目前来看，由于需要巨大的投入和成本，国内大部分玩家距离“One Model端到端”还有很长的距离，大部分还停留在还停留在已构建感知模块模型，探索规划、控制模型的阶段。
对此，爱芯元智车载解决方案产品经理李翰指出，端到端+AI大模型是高阶智驾技术演进的必然阶段，但目前端到端大模型落地还面临着诸多的挑战。“One Model端到端属于完全黑箱系统，其不可解释性具备一定的安全隐患。如何保证基于数据驱动的规控系统的性能下限，不仅需要海量驾驶行为数据的收集，也需要算法训练的持续改进。同时，端到端如何部署到端侧，还是一个问题。”
李翰认为，就目前阶段来看，模块化的两段式端到端方案，即规控部分使用基于规则化和基于神经网络的规控算法并行，既可以使智驾更加拟人化，提高系统性能上限，又可以有相对的安全兜底，守住系统下限，是当前阶段智驾系统最优的解决方案之一。
而地平线认为，智驾系统要做到“好用”，必须要解决Scale Out（横向泛化性提升）和Scale Up（纵向性能上限提升）难题。地平线的方法是通过融合基于规则的系统与数据驱动的端到端系统，采用端到端与交互博弈，在确保系统下限可控的同时，大幅提升系统上限，打造出“Scale Out”和“Scale Up”的最优解。
比如地平线已经推出了采用的是动态、静态、OCC（Occupancy占用网络）三网合一的端到端感知架构，能够同时处理动态、静态目标，精准还原物理世界的真实环境，使得SuperDrive在任何道路环境下都能兼顾场景通过率、通行效率和行为拟人，实现高准确度的感知。
无论是在拥堵汇流、路口交互、礼让骑行人，还是在拥堵换道、城市环岛通行等复杂城区场景下，SuperDrive都能通过其端到端感知架构为驾驶者提供优雅从容的智能驾驶体验。
总体来看，“One Model端到端”自动驾驶高度依赖训练数据，而当前可利用的数据还存在仿真场景真实度低、标注数据类型单一、训练场景泛化性差等问题，短期内将以“分段式端到端”为主。
未来，随着数据、算力等方面的逐步突破，端到端有望逐步收敛至一体化结构，并结合多模态大模型、世界模型等不断加强感知、认知和决策能力，让机器拥有自主学习、思考和分析能力，无疑可以更好地处理复杂的驾驶任务，让智驾系统可以向人类司机一样灵活且人性化。
李翰表示，生成式AI大模型可以对信息高度提取和压缩，从而制造出海量多样化的数据，极大提高了智驾系统对环境的“理解”和行为“预测”能力，可以很好地解决智驾系统的“长尾问题”。因此，通过AI大模型赋能端到端，已经成为了未来提升智能驾驶系统能力的重要方向。
不过，需要特别提及的是，业内人士一致认为，端到端一定是未来，但不是自动驾驶的终点。比如，蔚来智能驾驶研发副总裁任少卿就曾公开表示，端到端并非自动驾驶技术路线的终局，传统的端到端方案 +“世界模型”才能将自动驾驶推进到下一个阶段。
而理想也认为，数据驱动的端到端只能实现 L3，要继续迈向 L4，需要 + 基于知识驱动的视觉语言模型/世界模型。
02
行业洗牌加速来临
可以预见，端到端技术正在开启智能驾驶新的进化大门，届时整个智能驾驶行业也将进入洗牌期。预计一两年，车企及智驾企业将会拉开巨大的差距。
一方面，端到端大模型极其复杂，从算力、OS、模型到数据、地图、仿真等都并非一件简单的事，构建了玩家的高门槛，不仅需要玩家不断提升算力规模，还需要投入大量的资金与人力。
对此，小鹏智驾负责人李力耘曾公开表示，端到端是一大堆综合工程的组合，犹如一个巨大的大冰山。大部分人看到的是水面上的部分，但更重要的是水面以下95%的部分。“以前智能驾驶的诸多高效、高质量数据，端到端用不上，但这些全栈自研的原始数据，以及由此构建的闭环能力、体系能力，却是真正决定一家车企能否在面向AI的淘汰赛中成为活下来的关键。”
另一方面，端到端技术正在推动传感器技术、芯片等进行巨大的变革。比如端到端大模型既对云端训练算力的规模要求巨大，也对落地端侧芯片要求极高，需要具备高带宽、高内存、异构多核大算力等特性。
据了解，特斯拉对计划在2024年年底前对DOJO智算中心投资超10亿美元，目标是总算力提升至10万PFLOPS；而小鹏汽车预计今年在算力上投入1亿美元，而理想的算力储备则为2400PFLOPS。
李翰指出，要实现端到端自动驾驶，离不开关键的计算芯片的支持，要求芯片厂商做到架构的创新、核心IP的突破以及性能的飞跃，还要满足低功耗散热等特性，这对于AI芯片公司来说也将是不小的挑战。
据了解，爱芯元智一直在持续布局AI技术，已经具备了极致端侧推理优化等能力。比如爱芯元智第五代NPU，可提供类似FSD V12版本的端到端算法方案，能够支持端到端模型在爱芯的大算力芯片上进行规模化推理。以及实现数据高速传输，Transformer极致专项优化和高效部署。
而地平线算法平台总架构师穆黎森也指出，端到端大模型的到来，不仅对于计算平台的算力要求巨大，还要求计算平台要支持Transformer、大语言模型等算法。“以前大家用的比较多的神经网络是CNN，现在大家主要以Transformer为主，大幅提高了计算平台对于缓存计算比例的要求，同时还需要我们在硬件设计上去支持Transformer这些特殊的算子。”
毫无疑问，伴随着越来越多车企“押注”端到端，以及端到端智能驾驶的逐步落地，智能驾驶产业即将迎来大洗牌。对此，小鹏汽车何小鹏曾公开表示，伴随着AI大模型时代的到来，未来10年中国汽车主流品牌或只剩下7家。
