電子發燒友網報道（文/周凱揚）這年頭不少車企都開始自主研發自動駕駛系統，連帶部署數據中心和超算已經不是什么新鮮事了。除了特斯拉的DOJO和GPU超算以外，小鵬也在本月宣布與阿里云合作搭建了全國最大的自動駕駛智算中心“扶搖”，算力可達600PFLOPS，看來新一輪的軍備競賽很快就會拉開帷幕。

對于自動駕駛的開發來說，模型訓練至關重要，尋常的服務器CPU基本無法滿足這個負載需求，所以不少車企都在借助英偉達的GPU開展訓練，特斯拉也不例外。正巧今年的Hot Chips大會上安排了三場特斯拉的分享，都與特斯拉的AI與DOJO平臺有關，特斯拉的幾位自動駕駛與AI部門負責人也都透露了他們在軟硬件上的一些進展，就當是作為下個月底特斯拉AI日的前瞻了。

DOJO超算

特斯拉的DOJO是他們自研自用的機器學習超級計算機，采用了高度可擴展而且完全分布式的系統，對神經網絡訓練負載進行了專門的優化，支持靈活適應新的算法和應用。根據特斯拉Autopilot硬件工程師Emil Talpes的說法，DOJO從設計之初就是為了大型系統設計的，而不是基于目前已有的商用小系統，再把規模做大。

DOJO的基礎組成部分，就是它的D1裸片。D1基于臺積電7nm工藝，單個裸片面積占645mm²。大家都知道蘋果M1 Ultra的die size相當大，可哪怕是M1 Ultra的單個裸片大小也只有432mm²。D1采用了極度模塊化的設計，每個D1上共有354個DOJO處理單元，而且以2D陣列的形式物理和邏輯排布，單個D1在2GHz下的算力可達362TFLOPS。

由5x5排布的25個合格D1芯片（KGD）組成了一個DOJO訓練模塊，整個模塊從電、熱、機械結構上都是完全集成在一起的，模塊水平層面負責不同模塊之間的通信，而垂直層面則解決15kW的供電和散熱問題。

整個DOJO系統就是由DOJO訓練模塊按2D網格結構排列而成，網格邊緣配置了DOJO接口處理器（DIP）來提供共享內存支持。而本屆Hot Chips上，特斯拉終于放出了這一處理器的詳細情報。

表面看上去，DIP像是一張PCIe卡，而它實際上使用的也確實是32GB/s的PCIe 4.0接口，配有32GB的HBM內核，提供800GB/s的總內存帶寬。但這PCIe 4.0的接口只是用于連接主機，真正發揮其性能的是特斯拉自研的TTP協議接口，提供900GB/s的超大帶寬給訓練模塊。

訓練模塊的邊緣配置了5個DIP卡，如此一來每邊都提供了160GB的共享DRAM，并通過這5張卡實現4.5TB/s的最大帶寬。要想擴展網絡通信的話，比如SmartNIC或交換機，DIP也原生硬件支持標準以太網上的TTP通信，當然了選擇這種通信方式的話帶寬也會降低至50GB/s，延遲也會增加。

整個系統即一個ExaPOD，由10個機柜，超過100萬片D1 CPU組成，算力可達1.1EFLOPS。而這樣的算力為特斯拉帶來了前所未有的訓練性能，尤其是在自動標注上。

被機器取代的人工標注員

雖然是特斯拉本身的商用車走的純視覺方案，但特斯拉路測車隊并不局限于提供視頻片段，畢竟去年就有人發現特斯拉的路測車輛頂著激光雷達在收集數據。在特斯拉路測車隊提交的片段中，除了視頻數據以外，還有IMU、GPS和測距儀等傳感器給出的數據。

這些數據經過離線神經網絡后，根據汽車行駛軌跡進行靜態世界重構，同時根據移動物體和動力學對物體進行自動標注。特斯拉可以自行選擇需要進行標注的片段，比如查詢可視條件不佳下的最近車輛，系統會自動返回這些片段然后進行自動標注。再加上特斯拉的4D標注，也就是在標注一次后，同時標注所有相機中的多幀畫面，極大地加快了標注速度。根據特斯拉的說法，他們可以在一周之內收集并自動標注1萬個片段。
這也就是特斯拉引入DOJO超算的原因，雖然標注的工作量在不斷提升，但隨著機器學習硬件資源的增多，手動標注的占比越來越低，而自動標注開始占據主導，這或許才是為何特斯拉標注團隊開始裁員的真相。

仍在繼續擴大規模的GPU超算

DOJO作為一個純CPU的超算系統，能做到以上已經相當厲害了，然而我們也不能忘記了特斯拉的另外兩臺GPU超算。早在2021年，特斯拉最新的一臺GPU超算規模就已經達到了720個節點，每個節點包含8塊英偉達A100 80GB GPU，整個系統的總GPU數達到了驚人的5760塊。

根據英偉達給出的數據，每個A100的算力有312TFLOPS，這也就意味著這臺最新GPU超算的算力已經超越了E級，達到了可怕的1.8EFLOPS。不過這里的E級和我們平常說的E級超算還是有區別的，TOP500的那些超算跑分用的是LINPACK HPL，用到的是64位雙精度的格式，得出的實際應用性能。而英偉達的A100的312TFLOPS是基于16位半精度來算的，而且是峰值性能。

可即便如此，這臺超算的實力也能在TOP500上名列前茅，根據特斯拉前AI主管Andrej Karpathy的說法，單論算力（峰值）的話，特斯拉這臺GPU超算確實能在去年六月的超算榜上名列第五。

而近期，特斯拉負責AI基礎設施和AI平臺團隊的工程經理Tim Zaman宣布，特斯拉已經將這臺超算的規模再度升級，A100 80GB GPU的數量再度提升28%，達到了可怕的7360個。這價格十萬左右的GPU一下就添置近2000個，不得不承認特斯拉確實愿意下血本。Tim Zaman表示哪怕單論GPU數量，這臺超算也能排名世界第七了。

至于峰值算力，這臺超算目前大概還是在第五的位置，這是因為今年的前五席多出了兩位新晉選手，第一名的Frontier和第三名的LUMI都比這臺超算要強。而且特斯拉也并沒有提交LINPACK HPL的跑分結果，畢竟這套系統已經投入使用，特斯拉作為商業公司，也沒必要去停止手頭的訓練負載而追求跑分。DOJO的話，特斯拉并沒有公開升級其規模，上文中的1.1EFLOPS的峰值算力也是基于BF16的，所以也不適合拿來直接對比。

寫在最后

電動車時代的來臨給不少造車新勢力降低了門檻，然而自動駕駛技術的存在又將整個門檻拉高了一大截。從目前頭部企業的動向來看，搭建智算中心，拿高密度的計算資源去跑訓練或許是唯一的自研路線，這樣法規完善后，才能讓自動駕駛汽車在全國范圍內鋪開，自動駕駛也不會局限于試點技術。

但是否摸清楚了技術路線，是否愿意砸這個錢，以及回報率高低才是他們邁出這一步關鍵，畢竟要讓一個車企去組建團隊搞芯片設計，這個要求還是有些過分了，但僅僅是與云服務廠商合作打造這樣一個智算中心，同樣也得付出不小的成本。