上海車展期間，理想汽車發布了最新的戰略計劃「雙能戰略」，而雙能戰略的核心有兩個方面：一，智能戰略；二，電能戰略。

這兩個戰略也很好理解，智能戰略包含智能駕駛和智能座艙，電能戰略則是圍繞增程電動和純電展開。

01

理想智能駕駛邁入 3.0 時代

在智能駕駛方面，理想汽車始終堅持全棧自研，今天，理想智能駕駛邁入3.0時代，從高速場景進入到城市場景。

在預測及規劃中，通過實時輸出交通參與者未來的行動軌跡，為決策規劃提供準確信息。

理想在即將量產的城市 NOA 導航輔助駕駛算法中，使用了三種神經網絡大模型算法：

靜態 BEV 網絡算法

動態 BEV 網絡算法

Occupancy 網絡算法

對物理世界進行還原，并使用 NeRF 技術增強 Occupancy 網絡算法使之實現更高的精度和細節。

靜態 BEV 可以在部分攝像頭被遮擋，車道線模糊的時候依舊可以補充出道路結構，解決了高精地圖數據實時性的問題；動態 BEV 神經網絡具備了一定的「腦補」能力，已經與人類的思維方式高度接近。

比如當車輛同時出現在多顆攝像頭視野內時，動態 BEV 可以穩定地追蹤并感知出物體的距離與速度。

Occupancy 網絡算法，則可以對物理世界進行數據化建模，通過純視覺可以還原物理世界的真實場景，例如路上的垃圾桶、臨時的施工牌等「通用障礙物」。

在這個基礎上，理想汽車使用 NeRF 技術，進一步提升了 Occupancy 在遠距離的分辨率，讓系統的感知能力更加強大。

簡單說就是，基于以上三種神經網絡大模型算法的感知結果，系統會實時輸出周圍所有交通參與者的軌跡預測結果，這樣的預測結果可以為理想汽車的智能駕駛系統在城市復雜場景的決策規劃提供準確信息。

理想AD Max 3.0的城市NOA導航輔助駕駛系統二季度開始推送內測用戶。到 2023 年年底，推送的國內城市將超過 100 座，用一套技術，完全打通城市與高速。

車展期間我們專訪了郎咸朋博士和趙哲倫，看看他們對理想自動駕駛的一些介紹。

專訪：

理想汽車智能駕駛副總裁郎咸朋

理想汽車智能駕駛產品負責人趙哲倫

記者：您公布的關于自動輔助駕駛最新技術大家都很震撼。我注意到您分享的 PPT 中有個數字：訓練里程達 4 億公里以上，關于這部分是否可以分享一下理想汽車目前用于訓練的超算中心的具體情況？

郎咸朋：我們的超算中心在默默的建立，我們之所以不對外講，是因為我們希望有些東西可以保密，但是我們的算力儲備，可以說是國內第一的。

我們對超算中心的建設是堅定的，大模型網絡必須要有算力儲備，我們會在合適的時間專門來說這件事。

記者:是理想汽車自己搭建的還是跟合作伙伴一起做的？

郎咸朋：這個我們都在考慮，我們之前用的是百度云和阿里云搭建的訓練集群。

記者：我們現在整個網絡的進度跟這些訓練相關性是怎樣的？

郎咸朋：他們現在已經完全滿足我們現在的訓練要求，我們已經有國內第一能力的訓練集群了。

記者：我聽說現在即使是 AD Pro 的方案，它回傳的圖像包括毫米波數據也可以加入到整個大模型的訓練當中，AD Max 車型也可以用是嗎？

郎咸朋：這是可以的。

如果再說的細節一點，因為現在用大模型，它對數據樣本的精準標注這部分可以減少一定的要求。

像原來一般情況下做的數據訓練，因為數據量少所以需要對每張圖的標注都精雕細琢。所以基于大量的數據樣本速度就會提升的非常快。

基于一個大模型做主干，加上幾個小的模型做微調，會對整體能力起到非常好的效果，這其中一個大模型是關鍵。

舉個例子，這就像是我們考數學，是需要多積累數學知識提升能力的，到了臨考試時再刷兩套真題，這樣的話我的考試成績就會非常好，但是你永遠刷題，能力無法提升也不行。

記者：北京馬上要開始進行「早鳥測試」，那針對普通用戶參與「早鳥測試」的規則已經定好了么？

趙哲倫：這部分目前已經有一些初步的計劃，基本上在前期我們還是會篩選之前在高速 NOA 場景下使用頻率相對高的，我們需要的客戶最核心的要素是確實喜歡使用智能駕駛功能，并且使用的頻率會比較高。

在前期對這套系統要有比較高的包容性和理解能力。

我們現在在云端做自動化標注，標注效率很高，實際上靜態 BEV 和動態 BEV 的結果超出我們的預期，對于下游規劃算法做的非常友好，這也是我們能把一切提前的核心原因，確實是效率會提高。

記者：您剛剛說的時候提到了基于視覺進行智能駕駛輔助功能相關的部署研發，昨天華為說的是基于感知，激光雷達長期來看是什么樣的地位？會是保底選擇還是參與很多核心的感知？

郎咸朋：我覺得分兩個問題回答：一個是對激光雷達的看法；一個 Occupancy 占用網絡的問題。

先說一下 Occupancy 占用網絡，現在做 Occupancy 樣本時，我們會用到激光雷達，它來給我們提供 4D 的樣本，這是 Occupancy 的輸入，也用了激光雷達。

在使用 Occupancy 占用網絡時，我們希望它能做到純識別感知的能力，這是我們正在探索或正在做的。

對于激光雷達來說，一是激光雷達對夜間安全性是一個很好的補充，另外是對我們積累的樣本和數據是很好的傳感器。

趙哲倫：我補充一點，當車子開過去之后的后像場景，門關起來之后依然在變化，如果是前像的話，過去就沒了。

記者：我想問一下，未來幾年之內，有去掉激光雷達的計劃嗎？

郎咸朋：我們現在還在做測試，但現在不敢說去掉，還是要看研發的進展和進度。

記者：目前理想的車型上是否有搭載 4D 毫米波雷達？

郎咸朋：已經搭載了，沒有對外因為我們在做 4D 毫米波雷達的驗證，現在雖然是 4D 毫米波雷達，但更多還是應用于普通雷達的能力。

因為 4D 毫米波雷達比較新，我們需要更完整的驗證之后，才能確定它的特點和特性是不是可以發揮出來像它說的那么好。

記者：目前 4D 毫米波雷達是搭載在哪些車型上？

郎咸朋：在理想 L7 Pro 車型上。

記者：我想問一下，咱們年底要開放 100 個城市的 NOA，在城市方面怎么做配合？還是說嘗試有些城市不做當地的測試直接開放？怎么判斷普及策略？

郎咸朋：這是一個很好的問題，我們認為要做就做第一。

第一，因為理想汽車的城市 NOA 不依賴于高精地圖，從理論上來講只要有導航的地方，我們其實就可以覆蓋。所以哪怕 200 城、300 城也有可能。

第二，關于測試的部分，我們現在測試的手段還是拿自己的測試車去實驗，我們現在搭建的「波塞冬」訓練平臺，做影子測試驗證的一些手段，可以幫我們進行驗證，而不是用自己的測試車去做驗證，這個速度會非常快。

記者：現在的測試方式是不是一個城市當中有足夠的車主數量并且有足夠高的 NOA 層級，我們從理論上就可以認為這個城市具備開放的條件？

郎咸朋：大的邏輯是這樣的，但是可能不用非開著輔助駕駛，人開著也是可以的。

因為背后有影子模式這種機制。

趙哲倫：這將會非常高效的輔助我們去開放城市 NOA，但實際上我們在當地還會做一些范化性的驗證。

記者：因為城市 NOA 的技術難度要比高速 NOA 會更大一點，我個人感受理想在輔助駕駛方面相對比較保守。

理想的城市 NOA 還會和之前一樣保守嗎？

郎咸朋：我認為保守和激進應該是在產品的表現和產品體驗上的一些感受。

首先是要符合我們產品定義。

其次從技術上來說，我們在技術領域并不是保守派，大家也能看到我們在過去五年默默積累的這些技術。

比如，從 BEV 網絡技術點上我們是領先的，至于產品策略表現什么形式，這和我們產品的功能設計相關。

趙哲倫：這確實是很難被理解的問題，因為從我們的保有量級別來說，AI 大部分就是招回率和準確率的取舍。

如果我們變道策略做的非常激進，但因為我們用戶量級每天可以到幾十萬公里，在這樣的大用戶量級里，這個變道的風險率，不是說它會出事，但它的風險率一定會提升。

所以我們把變道整體的策略變得相對更保守，對整體安全性和穩定性會更有幫助。

我們基于大用戶量級去考慮問題的時候，會考慮最極端的情況，但回到媒體端的測試，大家會覺得為什么你很保守？

因為大家大部分日常使用是沒有問題的，但在很極端的情況下，我們的策略會對整體系統的安全性有很大的幫助。

因為我們整體還是希望能把這個東西做到標配，做到更多用戶能使用，跟極客的策略還是不一樣的，所以我們整體上還會把它做到普通用戶也能使用和適應，能應對更多的極端場景。

記者：那之后會不會有本地部署，學習性的？

趙哲倫：目前倒還沒有討論，目前還是做通用的「司機」。

記者：對于國外的道路功能會如何？比如說我買個車在國外開？

趙哲倫：目前從算法上完全沒有問題。但什么時候出海還是跟隨整體車型出海的計劃去定，算法上是沒有問題的。

記者：我覺得現在不夠熟悉智能駕駛的用戶，并不知道邊界和極限在哪里，特別是用戶量增大以后。我現在是根據經驗來去判斷該不該接管他，什么時候能夠放心？

趙哲倫：如果是可預期的風險，內部在做策略的話，規劃算法承接最后的整體控制。

在識別到橫向或縱向控制已經難以確保安全性，比如意識到需要很大的力把方向拽回來，我們會提前向駕駛員預警，這種情況是有的。

包括有時他發現需要很強的急剎，但系統制動力沒法達到及時性那么高的情況下，車輛就會提前預警。

總體來說，任何系統失常的情況，無論是縱向還是橫向，都會提前發出報警，因為你已經是老用戶了，其實你的預判比它會更早一些。

比方說你的預判是提前 3-4 秒會接管，但系統預判會是 1-2 秒時間，所以往往你會覺得車輛沒有提前告知。

記者：我每次看到彎道會提前把好，害怕車輛突然放開？

趙哲倫：你會發現到彎道，如果放開，一定會有很強的告警，這個我們是做了很強的邏輯。

記者：會不會考慮去放開一個層級？比如說對于熟悉用戶或者小白用戶自由選擇強度的問題？

趙哲倫：目前已經在做策略了，最新的 OTA 4.4 會做一個邏輯，在設置上會找到提醒的簡潔模式和詳細模式，熟手用簡潔模式就可以了，出廠默認會到詳細模式。

記者：硬件淘汰周期大概會有多久？2021 年的理想 ONE 我到現在都在開，智能輔助駕駛當時用的時候還行，也在沒當時體驗好了，Max 硬件配置至少在多長區間能跟上你們的開發節奏？

郎咸朋：我們的開發節奏跟基礎演進相關聯。

去年底出了 GPT，大模型就出來了，出來之后就要用這個技術，匹配一定的算力，這就很難去評定我們是主動還是被動。

硬件研發和生產也是有周期的，我個人認為這個周期三五年是要有的，最近這幾年發展比較快，我覺得硬件算力提升主要還是看軟件算法發展的快不快，如果發展的快，硬件肯定要跟著提升。

記者：我們在做線下調研的時候發現，媒體、廠商和用戶，對安全的定義不太一樣，我們會感覺只要剎住了，能夠避免危險的情況出現就是安全了。但對于用戶來說可能覺得一腳急剎，就是不安全的。如果消除這點分歧的話，這個模塊，可能會更提前的去預知危險的情況出現，包括提前做出預警，這個大概有沒有一個周期說在哪個節點之前？

趙哲倫：這個其實就是郎博今天分享中的預測能力，預測也是非常難的，今天郎博分享的這些東西全部都是檢測到的物理世界，這些東西全部進入到我們的大模型中會出一個預測結果，但這些預測結果到底準確不準確依賴于感知準不準，感知不準確預測結果就不準，感知準確預測結果就會更準。

這本身是個持續提升的過程。

郎咸朋：剛才提的我們要做到剛才的能力，除了檢測識別準確之外，還有一個能力就是預判準確，人其實是有預判，我這個系統會算算命，大概 4 秒鐘、5 秒鐘之后大家會是什么樣的狀態而且比較準一點。

我要知道每一個動態物體它過去、現在和未來的位置、速度，過去就是歷史的軌跡可以記錄，現在就靠當前這一針的識別檢測，那么未來這幾秒鐘就是我剛才說的預測能力。

剛才說人的安全性、安全感，它就來自于一個預測能力，這樣預測的能力，剛才哲倫提到來自于感知能力的強依賴，今天主要分享的感知能力，動態的，靜態的以及你不認識的一些東西也做出來了，相當于那地方有個黑乎乎的東西，雖然我不知道是什么，但我知道我不能壓上去或者直接開過去。

像這樣的一些東西，我都要把它全部實時的感知出來，并且有準確的預測，這個預測你們也可以看，別的家都沒有放過預測的東西，很少或者沒有，我們把預測線都顯示出來了，這個視頻有機會可以發給大家。

其實每個物體包括行人、車輛、三輪車，它在未來幾秒鐘要去哪，軌跡怎么走，速度是什么樣的，在我們的大模型里都可以輸出出來，而這再進一步就是，我能不能更好、更安全的做一些安全的東西，這就是我們產品力會慢慢的提升。但是，在時間點上，我們只能說盡快。

記者：昨天這個問題我也問過華為，他們說激光雷達是差不多，大家認為是 2025 年就可以，但我感覺這個難度還是遠超預期？

趙哲倫：這主要取決于一些場景，比如路口的掉頭特別是窄路，左邊車道的車會先向右邊打一把再轉向左邊，去進行一個大掉頭，針對類似行為的預測就會比較困難，預測也分難易等級，通常道路上大部分情況我們認為比較快的都能達到。

但再往后可能用戶的行為或者他的行動跟大量的數據是非預期的，這到后面比較長尾的問題就需要解決。

郎咸朋：預測還是非常難的，特別是一個人他向前加速突然又急剎車向后轉，你完全無法預測 3 秒鐘或者 5 秒鐘之后是什么樣的，但我們只能說盡量的準確預測。

同時，我們盡量預測的快一點，即使調整我們也可以實時跟著變，這兩個要素，一個要準一個要快，都是我們要完成的。

記者：我們每進入一個城市，有沒有它的硬性指標，比如說需要有多少輛高配車型，在一個城市內跑多少公里，然后這個城市已經決定開放了，目前這個可以公布嗎？

趙哲倫：開放的基本邏輯和順序和當地的保有量相關，100 多座城市覆蓋保有量已經 90% 以上了。

郎咸朋：我們跟別人不一樣，別人是按照城市來開放，按照行政區劃分來開放，因為要依賴于地圖的開放。我們開放的邏輯是數據驅動的邏輯，這個城市的車多、里程多，在里面測試的相對多一些，這個城市的數據量大、需求量大，那這個城市就更早的容易被開放出來，是這樣的邏輯。

記者：所以就核心標準是數據，比如說一個城市大概積累多少數據？

趙哲倫：我們會評估當地用戶在復雜路口的覆蓋率，因為復雜路口的訓練量級是比較重要的，數據的體量我們還是要稍微保密一下，后面有機會會同步給大家。

記者：現在對于變道超車邏輯看起來相對保守，這是因為家庭用戶的車型定位還是大車應該減少頻繁的操作？從尺寸角度來說，我們要跟其他車企做智能輔助駕駛區別開，另外還有分層的問題，我們以后會跟交付一樣單獨開通一個機器模式和標準模式嗎？到底是因為定位問題還是尺寸問題？

趙哲倫：首先是變道策略比較保守，在比較狹小的空間里或者說后車有比較高速的侵入趨勢時，是不是能進行變道？

這部分跟定位是有關系的，我們面對的用戶跟其他品牌有些不同，有大量的是比較普通的，甚至是從原來豪華車置換的用戶，本身甚至連 LCC 這樣的功能都沒使用過，所以用到 NOA 這樣的功能，我們希望整體上相對來說更偏向于安全，或者是保守一些，是這樣的策略。

另外，從車身尺寸的角度來說，我們在做任何輔助駕駛功能時都比其他車型困難一些。

舉個例子，比如特斯拉 Model3 感覺并不會很明顯，因為本身車寬比較窄，但因為我們車寬都超過兩米，車道中稍微有些靠左或右，用戶會非常敏感，這對整體算法的控制精準度要求非常高。

目前可以看到對我們 L7、L8 和 L9 基本上具備這樣范化能力，包括后面會出相對更小的車型，我們都可以完全覆蓋，做完大的再做小的相對容易一些。

第三個是分層，目前其實前面說的我們在交付邏輯上已經在做這部分的考慮了，目前還沒做非常嚴格的，比如說你是新手就一定不能怎么用，這個目前還沒有做。

記者：比如說是否有激進模式跟標準模式？

趙哲倫：這個會放在后面階段做個性化，我們認為第一階段先用一個通用的，把用戶大部分的 80% 的需求滿足好，下階段才需要 20% 比方說有人有激進有人有保守的需求。

審核編輯 ：李倩