一次全行業(yè)的端到端切換，讓車企們的智駕競賽又回到同一起跑線上。
隨著特斯拉基于端到端路線的 FSD v12.5 版本在北美地區(qū)已經(jīng)取得了令人驚艷的效果，今年以來，國內(nèi)的玩家從中領(lǐng)悟了智駕升級的“武功秘籍”。（關(guān)于端到端的技術(shù)原理，虎嗅汽車團隊曾在《特斯拉，要跟華為開戰(zhàn)了》一文中有過詳細解析）
在模塊化堆規(guī)則時期，代碼bug修復能力越強，智駕能力表現(xiàn)越好，同時場內(nèi)玩家通過開城和落地速度也隨之分野。但問題在于，僅憑傳統(tǒng)的智駕規(guī)則無法從根本上解決現(xiàn)實世界的理解和推理問題，沒辦法解決許多復雜場景和 Corner case。
因此，“上限不高”的規(guī)則時代很快被大模型和端到端的到來取代，尤其是后者近乎“一日千里”的迭代速度，更是讓一眾車企紛紛其規(guī)則轉(zhuǎn)投端到端技術(shù)路徑，這其中便包括蔚小理華等玩家。
端到端已經(jīng)成為智駕行業(yè)下一代共識方案，雖然沒有人能明確端到端是否是自動駕駛的終局方案，但目前沒有比端到端更好的智駕技術(shù)方案。
基于此，本期暗信號旨在梳理目前場內(nèi)頭部玩家是如何進行“端到端技術(shù)路線”布局，通過不同玩家的不同做法和落地進度，窺見車企智駕能力的演進以及接下來智駕行業(yè)的競爭錨點。
理想：雙系統(tǒng)協(xié)同，“世界模型”外掛
理想其實是端到端路線的激進派。
根據(jù)理想汽車公開的技術(shù)架構(gòu)，其端到端自動駕駛技術(shù)方案分為端到端模型、VLM 視覺語言模型、世界模型三部分。
基于快慢系統(tǒng)理論，理想汽車形成了自動駕駛算法架構(gòu)的原型——
系統(tǒng) 1 由 One Model 端到端模型實現(xiàn)，通過接收傳感器輸入，并直接輸出行駛軌跡用于控制車輛；
系統(tǒng) 2 由 VLM 視覺語言模型實現(xiàn)，其接收傳感器輸入后，經(jīng)過邏輯思考，輸出決策信息給到系統(tǒng) 1。
雙系統(tǒng)構(gòu)成的自動駕駛能力將在云端利用世界模型進行訓練和驗證。
端到端模型的輸入主要由攝像頭和激光雷達構(gòu)成，多傳感器特征經(jīng)過 CNN 主干網(wǎng)絡(luò)的提取、融合，投影至 BEV 空間，疊加車輛狀態(tài)信息和導航信息，經(jīng)過 Transformer 模型的編碼，與 BEV 特征共同解碼出動態(tài)障礙物、道路結(jié)構(gòu)和通用障礙物，并規(guī)劃出行車軌跡。
目前，系統(tǒng) 1 的訓練數(shù)據(jù)庫已有 3 億多參數(shù)，其這一模型在實際駕駛中能夠具備更高的通用障礙物理解能力、超視距導航能力、道路結(jié)構(gòu)理解能力等。
系統(tǒng) 2 的VLM視覺語言模型主要面向的是 5% 的特殊交通場景，如遇到分時段限行、潮汐車道等負責的交通規(guī)則理解，相當于副駕坐了個駕校的教練時刻監(jiān)督駕駛行為，目前已有 22 億參數(shù)。
VLM視覺語言模型的工作原理是，將Prompt（提示詞）文本進行Tokenizer（分詞器）編碼，并將前視相機的圖像和導航地圖信息進行視覺信息編碼，再通過圖文對齊模塊進行模態(tài)對齊，終統(tǒng)一進行自回歸推理，輸出對環(huán)境的理解、駕駛決策和駕駛軌跡，傳遞給系統(tǒng)1輔助控制車輛。
在實際應(yīng)用場景中，如果系統(tǒng)二發(fā)現(xiàn)行駛過程中地面路面非常坑洼不平時候，其會給系統(tǒng) 1 發(fā)一個降速的提醒，并會像ChatGPT一樣告知駕駛員路面信息，終輸出駕駛建議，類似“車輛將慢速行駛，以減少顛簸”。
在兩大系統(tǒng)之外，理想利用重建+生成式的世界模型，為自動駕駛系統(tǒng)能力的學習和測試創(chuàng)造了虛擬環(huán)境，相當于通過生成真題題庫，讓系統(tǒng) 1、2 在虛擬世界進行考試，以驗證和提高系統(tǒng)能力。
小鵬汽車：“三網(wǎng)融合”
小鵬聲稱是國內(nèi)首個量產(chǎn)上車的端到端大模型，但其并非采用“一體化”的“端到端智駕大模型”，而是包括三個部分——神經(jīng)網(wǎng)絡(luò)Xnet+規(guī)控大模型XPlanner+大語言模型XBrain。
其中，神經(jīng)網(wǎng)絡(luò)XNet實現(xiàn)的是“感知”層面的功能，相當于眼睛。
神經(jīng)網(wǎng)絡(luò)XNet能將攝像頭采集到的信息，通過動態(tài)XNet+靜態(tài)XNet+2K占用網(wǎng)絡(luò)，用超過200萬個網(wǎng)格重構(gòu)世界，對現(xiàn)實世界中的可通行空間進行3D還原，包括動態(tài)障礙物（行人、車輛等）、靜態(tài)障礙物（水馬、路障等）、路面標識（箭頭、車道線等）等信息，進行純視覺感知識別。
據(jù)官網(wǎng)數(shù)據(jù)，其感知范圍面積可達1.8個足球場大小，同時識別50+個目標物。
基于圖像數(shù)據(jù)的感知輸入，規(guī)控大模型XPlanner負責“模塊化”智駕路線中的“決策規(guī)劃”和“控制執(zhí)行”功能，類似于小腦。
相比“模塊化”智駕路線中的“決策規(guī)劃”模塊，規(guī)控大模型XPlanner的優(yōu)勢在于不需要人類手寫規(guī)則代碼，完全依靠神經(jīng)網(wǎng)絡(luò)模型，通過海量數(shù)據(jù)的不間斷訓練，優(yōu)化駕駛策略，讓車輛有更類人的駕駛習慣和駕駛思維。
AI大語言模型XBrain充當“大腦”的角色，相當于給了智能駕駛輔助系統(tǒng)超越感知的“認知能力”。這其實與理想的系統(tǒng)二的功能有相似之處。
XBrain能夠認識待轉(zhuǎn)區(qū)、潮汐車道、特殊車道、路牌文字等路上交通信息。例如，面對“前方道路施工，請換道”等環(huán)境信息，其能夠看懂并理解從而讓車輛執(zhí)行對應(yīng)的操作。
小鵬方面表示，端到端大模型上車后，每2天進行一次迭代，18個月內(nèi)小鵬智能駕駛能力將提高 30 倍。
華為：兩網(wǎng)協(xié)同，用安全網(wǎng)絡(luò)兜底
和小鵬一樣，華為的端到端技術(shù)架構(gòu)同樣是分段式——感知部分采用 GOD網(wǎng)絡(luò)（General Object Detection，通用障礙物識別），決策規(guī)劃采用PDP網(wǎng)絡(luò)（Prediction-Decision-Planning，預測決策規(guī)控）實現(xiàn)。
先看感知層面。在華為 ADS 2.0 時期，其采用的是BEV+GOD+RCR網(wǎng)絡(luò)，BEV負責看到（BEV, Bird's Eye View，視覺為中心的鳥瞰圖），GOD負責“看懂物”（GOD, General Obstacle Detection Network，通用障礙物檢測網(wǎng)絡(luò)），RCR負責看懂路（RCR，Road Cognition & Reasoning，道路拓撲推理網(wǎng)絡(luò)），由此實現(xiàn)感知層面的識別。
不過，這個階段依舊是規(guī)則堆疊的階段，如果傳感器識別的路況信息是曾經(jīng)訓練過的特征信息，則能夠直接輸出給規(guī)控一個正確方案，但如果遇到一些未曾訓練好的場景，智駕系統(tǒng)就容易出錯或是不工作。
由此到了 ADS 3.0 階段，華為將 GOD 和 RCR 的算法納入到一個完整的 GOD 感知神經(jīng)網(wǎng)絡(luò)之中，實現(xiàn)了從簡單的“識別障礙物”到深度的“理解駕駛場景”。
另外，華為采用PDP（預測決策規(guī)控）網(wǎng)絡(luò)實現(xiàn)預決策和規(guī)劃一張網(wǎng)，基于感知數(shù)據(jù)規(guī)劃行車路線。
有了GOD+PDP 神經(jīng)網(wǎng)絡(luò)模型之后，華為再利用云端 AI 訓練平臺進行大量的數(shù)據(jù)訓練，讓模型得以迭代升級。
華為同樣認為“讓 AI 去開車”這件事十分激進，目前的人工智能都會AI幻覺，有30%左右的錯誤率，于是其在端到端模型中加入了“本能網(wǎng)絡(luò)安全”進行兜底，提供誤踩油門防碰撞功能，路面自適應(yīng) AEB，在濕滑路面、雨雪路面可提前舒適制動等功能。
蔚來：引入NWM世界模型的端到端架構(gòu)
關(guān)于端到端，蔚來沒有公開過這一方面的技術(shù)架構(gòu)。從已有的公開消息來看，其對端到端的應(yīng)用目前在主動安全功能層面。
今年7月，蔚來推送了基于端到端算法實現(xiàn)的AEB系統(tǒng)，通過讓模型學習真實環(huán)境下的優(yōu)秀避險數(shù)據(jù)，覆蓋更多“不規(guī)則”的危險場景，目前已積累了超過20億公里的事故數(shù)據(jù)和緊急避險數(shù)據(jù)。相較于標準AEB，端到端架構(gòu)的AEB在路口場景方面的緊急制動正確響應(yīng)提升了5.2倍。
在蔚來智能駕駛研發(fā)副總裁任少卿看來，自動駕駛的大模型需要拆解成若干個層級，第一步是模型化，第二步是端到端，去掉不同模塊間人為定義的接口，第三步是大模型。
2023年，蔚來在高速NOA的規(guī)控里加入AI神經(jīng)網(wǎng)絡(luò)，雖然任少卿曾表示蔚來的端到端智駕方案是將感知模型與規(guī)控模型合并，實現(xiàn)信息無損傳遞，但在其看來，只是端到端給出規(guī)劃路徑還不足夠，智能駕駛走向大模型化需要具備認知和預測能力，即預判、推演其他交通參與者行為和交通環(huán)境的變化。
由此，蔚來在今年 NIO IN 上發(fā)布了蔚來世界模型 NWM——NIO World Model。從蔚來智能駕駛技術(shù)架構(gòu)NADArch 2.0來看，蔚來已在算法層升級為引入NWM世界模型的端到端架構(gòu)。
據(jù)了解，NWM是一個多元自回歸生成式的具身駕駛模型，可全量理解數(shù)據(jù)，具備長時序推演和決策能力，能在 100 毫秒內(nèi)推演出 216 種可能發(fā)生的場景。另外，作為生成式模型，NWM 能基于 3 秒的駕駛視頻，生成 120 秒的想象視頻。
目前業(yè)內(nèi)對于世界模型有著不同的應(yīng)用思考，國內(nèi)廠商多是把世界模型作為驗證的一環(huán)，例如上述提到理想的技術(shù)架構(gòu)中，就引入了世界模型以重建+生產(chǎn)的方式生成模擬數(shù)據(jù)，作為獨立的架構(gòu)存在。
雙方對于世界模型在智駕上應(yīng)用出現(xiàn)分歧的核心因素在于，蔚來看到了世界模型對于智駕推演、預測的可能性和可行性，但理想認為，世界模型能力還不夠成熟，例如在生成上會出現(xiàn)幻覺等。
可以確定的是，將世界模型引入智駕領(lǐng)域是車企們下一步探索的方向。
端到端沒有標準答案
透過頭部自研廠商的技術(shù)路徑可以看到，圍繞端到端這一概念，不同廠商設(shè)計出不同的技術(shù)路線和模型架構(gòu)，無論是 One Model 的端到端還是分段式的“部分端到端”都有玩家押注。
由于技術(shù)仍處在探索階段，目前業(yè)內(nèi)也沒有一個可供參考的實踐案例（特斯拉雖然在北美推送了 V12.5版本，但其端到端網(wǎng)絡(luò)架構(gòu)至今還未對外披露），在當前的發(fā)展階段，行業(yè)內(nèi)對端到端的路徑還沒有形成共識。
雖然沒有標準答案，但這并不妨礙車企給出各自的解題思路。
當然，空談技術(shù)路線并無過多意義，技術(shù)的價值在于落地，對于消費者來說，端到端技術(shù)的落地，帶來直觀的感受便是智駕能力的提升。
從部分早鳥用戶的使用感受以及媒體評測視頻來看，搭載端到端的車型能夠適應(yīng)更多的城市路況，例如能夠在路邊開啟智駕功能、實現(xiàn)環(huán)島通行、在遇到障礙物時能夠借道繞行等。
與此同時，端到端帶來的“門到門”體驗也是升級的一部分。諸如小鵬、華為等玩家都已透露將推送能夠暢通ETC、小區(qū)入口檔桿、工廠內(nèi)部道路等場景的智駕版本，實現(xiàn)從家門口到辦公室門口的“門到門”。
另外，人工接管次數(shù)也有了明顯的下降。在規(guī)則驅(qū)動時期，車輛開啟智能駕駛后，遇到規(guī)則以外的突發(fā)路況、或是稍微復雜的城市路況時都需要人工接管，但端到端大模型具備更高上限的理解能力和處理能力，能夠有效降低接管次數(shù)，更為絲滑地處理不同路況。
當然，端到端目前還只是起步階段，車企也在通過測試、迭代以優(yōu)化其模型效果?？梢灶A見的是，當下的汽車產(chǎn)業(yè)正迎來全新的智駕技術(shù)競賽。
相較于規(guī)則階段，端到端架構(gòu)需要投入更多資源和資金。優(yōu)質(zhì)數(shù)據(jù)的篩選、清洗、標注、儲存，模型訓練所需的算力基礎(chǔ)設(shè)施，部署大模型能力等，無不需要投入。
特斯拉CEO馬斯克就曾強調(diào)過數(shù)據(jù)對端到端的重要性：“用100萬個視頻case訓練，勉強夠用；200萬個，稍好一些；300萬個，就會感到Wow（驚嘆）；到了1000萬個，就變得難以置信了。”
何小鵬也曾提到，“自動駕駛有非常大的數(shù)據(jù)門檻，而且越往后越難成功，頭部效應(yīng)會越來越明顯。”
數(shù)據(jù)量是一方面，對國內(nèi)車企而言，算力訓練也是一大競爭維度。不同于特斯拉能夠大肆采購英偉達的顯卡儲備算力，在國內(nèi)，用于云端訓練的芯片一卡難求，不少車企都在高價收購。
郎咸朋就曾在交流中透露，去年年底花了大量資金買卡。據(jù)理想汽車初步估算，要從 L2+ 走向L3，甚至是L4階段，起碼需要30 EFLOPS的算力儲備。
從算力層面來看，根據(jù)公開信息，部分廠商的訓練資源如下：
特斯拉 100 EFLOPS（預計 2024 年年末可達到）
華為 5 EFLOPS（2024 年 8 月）
蔚來 1.4 EFLOPS（2023 年 9 月）
理想 4.5 EFLOPS（2024 年 7 月）
小鵬 2.51 EFLOPS（2024 年 7 月）
資源投入背后其實也是關(guān)乎資金的戰(zhàn)役。小鵬汽車對外表示在AI訓練上已投入了35億費用，今后每年還將投入超過7億元用于算力訓練。郎咸朋更是直言沒有10億美元利潤，未來玩不起自動駕駛。
誰家的數(shù)據(jù)更多，誰家的數(shù)據(jù)更有價值，誰家的算力更高，迭代效果更好等，都會影響端到端路徑的實際應(yīng)用表現(xiàn)。這是一場關(guān)乎數(shù)據(jù)量、算力和投入的戰(zhàn)役，車企的智駕能力終也將走向落地之時實現(xiàn)分野。
對用戶而言，在不久的將來，端到端技術(shù)帶來的產(chǎn)業(yè)變化和智駕功能升級也將有更為具象化的感知。
本文鏈接：http://www.zh1234.com/news13047.html抄不了特斯拉的作業(yè) 蔚小理華可咋整
