隨著自動駕駛技術(shù)的不斷成熟，車輛需要在復(fù)雜多變的道路環(huán)境中安全地行駛，這就要求系統(tǒng)不僅能“看見”周圍的世界，還要能“理解”和“推測”未來的變化。世界模型可以被看作一種對外部環(huán)境進(jìn)行抽象和建模的技術(shù)，讓自動駕駛系統(tǒng)在一個簡潔的內(nèi)部“縮影”里，對真實(shí)世界進(jìn)行描述與預(yù)測，從而為感知、決策和規(guī)劃等關(guān)鍵環(huán)節(jié)提供有力支持。

什么是世界模型？

我們不妨先把“世界模型”想象成一種“數(shù)字化的地圖”加上“未來預(yù)言機(jī)”。傳統(tǒng)地圖只能告訴我們現(xiàn)在的位置、道路的形狀和一些靜態(tài)信息，但世界模型不僅記錄當(dāng)下路況，還能夠模擬未來幾秒鐘、幾分鐘里可能會發(fā)生的變化。舉個例子，當(dāng)一輛自動駕駛汽車行駛在城市道路上，它通過攝像頭、激光雷達(dá)等傳感器不斷獲取如路邊行人、其他車輛、交通信號燈等周圍環(huán)境信息。世界模型會把這些輸入數(shù)據(jù)轉(zhuǎn)換成一種更小、更抽象的內(nèi)部“狀態(tài)”，類似于把一幅高分辨率的街景圖壓縮成一串?dāng)?shù)字編碼。

當(dāng)汽車需要判斷前方車輛是在減速還是加速、行人是否有可能橫穿馬路時，它會在這個“數(shù)字空間”里模擬幾次不同的動作效果，快速判斷最安全的方案。在實(shí)際采集和理解真實(shí)圖像時，直接在攝像頭或雷達(dá)數(shù)據(jù)的原始像素或點(diǎn)云上進(jìn)行預(yù)測計算，速度會很慢且耗費(fèi)大量算力；而如果先把環(huán)境“壓縮”成低維的數(shù)字表示，再在這個空間里進(jìn)行多步推演，計算效率會高很多，也更容易應(yīng)對傳感器噪聲帶來的不確定性。

要實(shí)現(xiàn)這樣的“抽象與模擬”，其實(shí)需要通過神經(jīng)網(wǎng)絡(luò)來自動學(xué)習(xí)。整個過程可以分為三個關(guān)鍵步驟：先是“壓縮”，也就是把原始的圖像、點(diǎn)云等高維感知數(shù)據(jù)變成一個更簡潔的向量表示；接著是“預(yù)測”，也就是在這個向量空間里學(xué)習(xí)環(huán)境如何隨時間變化；最后是“還原”，即把預(yù)測得到的向量再“解碼”回圖像或其他可視化信息，幫助系統(tǒng)評估模擬結(jié)果是否符合真實(shí)情況。

在學(xué)術(shù)界和工業(yè)界，這種編碼—預(yù)測—解碼的思路大多通過一種叫做“變分自編碼器”（Variational Autoencoder，簡稱VAE）或者它的升級版“遞歸狀態(tài)空間模型”（Recurrent State Space Model，RSSM）來實(shí)現(xiàn)。VAE會先學(xué)習(xí)把每一幀攝像頭圖像壓縮成一個“潛在向量”，然后再嘗試從這個向量重建出相似的圖像；而RSSM在此基礎(chǔ)上，為潛在向量加入了時間維度，通過循環(huán)神經(jīng)網(wǎng)絡(luò)（比如LSTM或者GRU）捕捉連續(xù)幀之間的動態(tài)變化。這樣一來，世界模型既能為當(dāng)前的環(huán)境狀態(tài)建立一個穩(wěn)定的數(shù)字化表示，又能在這個空間里做長短期的多步預(yù)測。

為什么自動駕駛需要世界模型？

為什么要把世界模型應(yīng)用于自動駕駛的仿真訓(xùn)練？原因很簡單：讓計算機(jī)“在腦海里”先演練，再付諸于真實(shí)道路。過去，自動駕駛算法大多數(shù)依賴“模型外訓(xùn)練”（Model-Free Training），需要在真實(shí)或高度仿真的場景里不斷嘗試、碰撞和糾正，這樣會消耗大量的仿真資源和時間。而世界模型所帶來的“模型內(nèi)訓(xùn)練”（Model-Based Training）思路則是，當(dāng)汽車收集到足夠多的真實(shí)駕駛數(shù)據(jù)后，先用這些數(shù)據(jù)訓(xùn)練出一個能夠高度還原現(xiàn)實(shí)世界的模型。之后，算法在這個模型里進(jìn)行不斷的強(qiáng)化學(xué)習(xí)和策略優(yōu)化，只在必要時回到真實(shí)環(huán)境里檢驗(yàn)，極大減少了對真實(shí)車輛、真實(shí)道路的依賴。其實(shí)這就像飛行員先在模擬器里反復(fù)訓(xùn)練，再到真機(jī)上飛行，既能提高安全性，也能大幅節(jié)省訓(xùn)練成本。世界模型一旦能準(zhǔn)確反映現(xiàn)實(shí)交通的規(guī)則與動態(tài)，就能在數(shù)據(jù)的驅(qū)動下讓自動駕駛系統(tǒng)更快地學(xué)會如何避險、跟車、超車和規(guī)避突發(fā)情況，而不必每次都把車開到馬路上去做實(shí)驗(yàn)。

由于不同城市、不同路段的交通狀況往往具有差異，單純用一個固定場景訓(xùn)練出來的算法，到了新環(huán)境就可能表現(xiàn)欠佳。世界模型能夠在潛在空間中模擬多種場景變化，其中包括在高峰時段的城市道路、夜晚燈火昏暗的郊區(qū)公路、雨天積水的路段，甚至是突發(fā)事故或行人闖入的極端情況。通過在單一模型里融合不同場景的特征，自動駕駛算法可以在“內(nèi)部模擬”階段反復(fù)演練多種極端工況，從而提高在真實(shí)道路上應(yīng)對新場景時的適應(yīng)能力和魯棒性。換句話說，世界模型相當(dāng)于給算法準(zhǔn)備了一個“千變?nèi)f化的訓(xùn)練場”，幫助它在各種復(fù)雜情形下都能提前“練手”，提升泛化能力。

在實(shí)際汽車硬件上部署世界模型時，也有一些有趣的技術(shù)細(xì)節(jié)。車載計算單元（ECU）通常算力有限、內(nèi)存受限，因此需要將訓(xùn)練完成的世界模型進(jìn)行剪枝、量化，或者利用知識蒸餾等手段壓縮模型規(guī)模，才能在實(shí)時運(yùn)行時保證延遲足夠低。很多廠商還會借助專門的硬件加速平臺，比如NVIDIA Drive或者英偉達(dá)的Xavier模塊，將深度神經(jīng)網(wǎng)絡(luò)模型加載到專用芯片里。在這樣一個軟硬結(jié)合的架構(gòu)里，車輛能夠在幾毫秒內(nèi)完成世界模型的編碼與預(yù)測，從而為決策模塊提供快速且可靠的“未來場景”信息。如果前方三秒鐘內(nèi)預(yù)測到有行人可能從右側(cè)沖出，車輛就可以在極短時間內(nèi)計算最優(yōu)的制動或轉(zhuǎn)向方案，以確保安全。

世界模型部署的難點(diǎn)

要讓世界模型真正落地并發(fā)揮優(yōu)勢，也并非易事。第一大挑戰(zhàn)在于數(shù)據(jù)的采集與多樣性，世界模型要學(xué)會準(zhǔn)確地還原現(xiàn)實(shí)，就需要大量涵蓋各種道路、天氣、交通密度等場景的高質(zhì)量數(shù)據(jù)。而有些如暴雨天的道路積水、急彎處突然出現(xiàn)的行人或者車輛失控等極端或風(fēng)險場景在真實(shí)環(huán)境下往往難以收集到足夠樣本。如果模型只在“平時”的數(shù)據(jù)上學(xué)得很好，到真正出現(xiàn)罕見場景時可能就會力不從心。為應(yīng)對這一點(diǎn)，就有技術(shù)提出將現(xiàn)實(shí)數(shù)據(jù)與仿真數(shù)據(jù)結(jié)合起來，先用虛擬仿真器生成極端工況的“補(bǔ)充樣本”，再用現(xiàn)實(shí)數(shù)據(jù)做微調(diào)；同時，還會采用域適應(yīng)（Domain Adaptation）等技術(shù)，讓模型在不同數(shù)據(jù)源之間遷移時損失更低，減少“模擬到真實(shí)”的性能差距。

第二大挑戰(zhàn)是長期預(yù)測的誤差累積。因?yàn)槭澜缒Ｐ驮跐撛诳臻g里一次又一次地根據(jù)上一步的結(jié)果預(yù)測下一步，隨著預(yù)測步數(shù)的增加，小小的誤差就會不斷疊加，最終導(dǎo)致與真實(shí)環(huán)境嚴(yán)重偏離。這在做短期預(yù)測（比如一兩秒）時還可以接受，但如果要做更長時間范圍的規(guī)劃時，就需要特別關(guān)注。對此可采用在訓(xùn)練時用“半監(jiān)督、自回歸”和“教師強(qiáng)制”相結(jié)合的策略，即讓模型既學(xué)會用自己預(yù)測的產(chǎn)出作為下一個輸入，也偶爾用真實(shí)觀測數(shù)據(jù)來校正；另外，在損失函數(shù)里加入對多步預(yù)測誤差的懲罰，讓模型對長距離時序的穩(wěn)定性更敏感。實(shí)車測試時，如果模型預(yù)測與真實(shí)觀測的偏差超過閾值，就啟用在線校準(zhǔn)機(jī)制，強(qiáng)制把模型狀態(tài)拉回到真實(shí)數(shù)據(jù)上，從而避免誤差在長時間范圍里爆炸式增長。

第三大難題是如何讓世界模型具備一定可解釋性與安全性保障。自動駕駛是典型的安全關(guān)鍵系統(tǒng)，如果模型內(nèi)的“潛在向量”像黑盒一樣無法理解，當(dāng)車輛決策出現(xiàn)異常時很難追根溯源。此外，模型可能會被對抗攻擊擾亂，使其對同一個路況輸出完全不同的預(yù)測，這會對行車安全造成嚴(yán)重威脅。對此，可以在世界模型里加入一些可解釋性的設(shè)計，例如讓部分潛在向量專門對應(yīng)車道線、交通標(biāo)志或其他幾何信息，讓模型內(nèi)部有一部分“白盒”成分，便于排查與驗(yàn)證；同時，在部署前進(jìn)行大規(guī)模的對抗樣本測試，評估在噪聲或故意篡改下的魯棒性，并對潛在向量空間做安全檢查，確保在異常輸入下能及時觸發(fā)緊急制動或安全預(yù)警。

世界模型的未來趨勢

隨著自監(jiān)督學(xué)習(xí)和多源數(shù)據(jù)融合技術(shù)的發(fā)展，世界模型將進(jìn)一步優(yōu)化。目前，大多數(shù)世界模型仍然需要大量帶標(biāo)簽或弱標(biāo)簽數(shù)據(jù)來學(xué)習(xí)；日后更理想的方式是讓模型自己從數(shù)以百萬計的無標(biāo)簽駕駛視頻中挖掘時空規(guī)律，用對比學(xué)習(xí)來保證不同時間或不同視角下的潛在表示保持一致，這樣就能在不依賴人工標(biāo)注的情況下持續(xù)改進(jìn)。而且，未來的世界模型有望與符號推理結(jié)合，比如把交通規(guī)則、路網(wǎng)拓?fù)�、駕駛意圖等用邏輯符號表達(dá)，與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的表示互相補(bǔ)充，既能做出嚴(yán)格符合規(guī)則的決策，也能充分利用數(shù)據(jù)驅(qū)動的優(yōu)勢。這種“混合型”世界模型將更加穩(wěn)定可靠，也更容易通過法規(guī)與安全認(rèn)證。隨著車聯(lián)網(wǎng)（V2X）技術(shù)的普及，世界模型還能夠與云端和其他車輛協(xié)同感知，實(shí)現(xiàn)實(shí)時在線更新：當(dāng)某一地區(qū)突然發(fā)生大規(guī)模擁堵或事故時，其他車輛探測到的路況信息、云端的高精地圖更新，都可以立即反饋到每輛車的世界模型里，讓它們快速調(diào)整預(yù)測，提高對極端情況的敏銳度。

世界模型為自動駕駛系統(tǒng)帶來了一個“在腦海中仿真”的能力，讓車輛能夠在更小、更高效的內(nèi)部空間里對未來環(huán)境做多步預(yù)測，從而加快決策速度、降低誤判風(fēng)險，并在面對多樣化與復(fù)雜化的道路場景時表現(xiàn)得更從容。但要讓這一能力發(fā)揮最大效益，還需要在數(shù)據(jù)收集、長期預(yù)測穩(wěn)定性、可解釋性、安全性和車端部署效率等方面持續(xù)優(yōu)化與攻堅。伴隨著深度學(xué)習(xí)、硬件加速和車聯(lián)網(wǎng)等技術(shù)的不斷進(jìn)步，世界模型將在自動駕駛領(lǐng)域扮演越來越關(guān)鍵的角色，幫助我們實(shí)現(xiàn)更安全、更智能的無人駕駛出行體驗(yàn)。

-- END --

       原文標(biāo)題 : 自動駕駛中常提的世界模型是個啥？