在前不久的 Baidu Create 2019 百度 AI 開發者大會上，Apollo 發布了業內首創的 AVP 專用車載計算平臺——百度 AVP 專用量產計算單元 ACU-Advanced。這是一篇“硬核”的技術文章。正是這些后臺的“硬核”技術，成就了令人炫目的自動駕駛。本文中介紹的相關技術已經落實在 Valet Parking 產品中的量產 ACU 硬件上。

人工智能技術是自動駕駛的基礎，算法、算力和數據是其三大要素。本文探討的就是其中的“算力”。算力的高低，不僅直接影響了行駛速度的高低，還決定了有多大的信息冗余用來保障駕駛的安全。算力最直觀地體現在硬件上，而汽車對自動駕駛的控制器有特殊的要求。實踐中遇到的挑戰是，多種多樣的加速需求和有限的硬件資源的矛盾。需求的來源既包括深度學習前向推測、也包括基于規則的算法。硬件資源受限包括了：FPGA 資源受限和內存帶寬受限。

算法工程師采用浮點數 float32 對模型進行訓練，產出的模型參數也是浮點型的。然而在我們使用的 FPGA 中，沒有專用的浮點計算單元，要實現浮點數計算，代價很大，不可行。使用 int8 計算來逼近浮點數計算，也即實現量化計算，這是需要解決的第一個問題。

在量化前，需要完成1000000次 float32 的乘法。量化成 int8 后，需要完成1000000次 int8 的乘法，和30000次量化、反量化乘法。由于量化和反量化占的比重很低，量化的收益就等于 int8 取代 float32 乘法的收益，這是非常顯著的。

FPGA 片上存儲非常受限，對于絕大多數的算子，不可能將輸入或者輸出完整緩存到片上內存中。而是從內存中一旦讀取足夠的數據，就開始計算。一旦計算到足夠多，就立即把結果寫到內存。和內存數據的流式交互是個公共的需求，我們開發了能兼顧所有算子的 DMA 的接口。

只有對于單次計算耗時很長、或調用非常頻繁的獨立任務算子，我們才為其定制單獨 DMA 的模塊，取得的收益是，這個算子可以通過多線程調度和其它 FPGA 算子并行計算。這是綜合收益和代價后，做出的以資源換時間的折衷。

Int8 的計算，可以使用 DSP 或其它邏輯資源來完成。邏輯資源有更多的用途，所以我們占用 DSP 來完成 int8 的乘累加計算。FPGA 內部的 DSP48E2 可以接受 27bit 的乘數?？梢园褍蓚€ int8 的乘數排列在高 8bit 和低 8bit，進行一次乘法后，再兩個乘積完整的分離出來。這樣，就實現了單個 DSP 一個時鐘周期完成了兩個乘法，達到了算力倍增的效果。

Deconv 和 conv 是網絡中計算量最大的兩個算子，計算資源復用收益很大。但它們計算形式上差別很大，直接復用計算資源很困難。我們在理論上進行突破，實現了通用的資源復用的方法。簡言之，SDK 要對 conv 的計算參數進行擴充以兼容 deconv，在計算 deconv 時，需要對卷積核進行分拆、重排，偽裝成 conv。FPGA 計算完畢后，增加少量邏輯對結果進行修飾。

ARM 計算：有些算子，比如多通道的 softmax、concat、split 等，出現頻率很低，數據量不大，對整體幀率影響很小，還有些算子比如 PSRoiPooling、計算區域不確定、數據不能保證對齊，非常不適合 FPGA 加速。把這兩類算子放在 ARM 上實現。在 ARM 上對計算影響最大的單個因素是緩存命中率。通過數據重排、改變遍歷順序等，提高緩存命中率，可以把表觀 ARM 算力提高幾十倍。

NEON 加速：采用 NEON 指令可以對多通道的 Softmax 算子有效加速，加速比雖然不及 FPGA，但相對于直接采用未優化的 C++ 的代碼在 ARM 上執行，效果可以提升數倍。其它對齊的計算，大多可以通過 NEON 處理器加速數倍。

MaliGPU：我們目前使用 Xilinx ZU 系列的 FPGA，自帶 MaliGPU 400，原本被設計用來顯示時渲染，并不支持 CUDA、OpenCL 等常用庫。經過特殊的驅動方式，我們做到可以利用它實現一些受限的逐像素算子。我們實際計算使用的硬件資源包括了 FPGA、MaliGPU、ARM 主處理器、ARM Neon 協處理器4種。通過 ARM（主處理其和協處理器）和 MaliGPU 實現對部分算子進行承接，有效緩解了 FPGA 的資源壓力。

而采用動態量化，搜索量化尺度和進行量化，需要分散在相鄰的兩個算子中實現。為了保證精度，中間結果需要以半浮點（float16）形式表示。這帶來兩個問題：CPU 并不能直接對 FP16 的數據進行轉換或計算，所以需要 FPGA 提供額外的算子，提供快速的 float32 / int8 和 float16 轉換。這些額外的算子，是 CNN 本身不需要的，這構成了浪費。Float16 需要的緩存比 int8 大了一倍。浪費了 FPGA 的存儲資源。

而靜態量化，離線提供了固定的量化參數，中間計算結果以量化后的 int8 形式來表示。以上的浪費都得以避免。盡管靜態量化對模型訓練做額外的要求，我們最終決定切換到靜態量化。通過 SDK 將各種參數進行變換和合并，單個 conv 算子可以完成最多支持4個算子的組合 conv + batchnorm + scale + relu。

靜態量化降低了內存吞吐，這也是我們放棄動態量化易用性的一個原因。任務的幀率是峰值算力、各算子算力、支持的算子種類三個因素復合作用的結果。以上技術已經用到了 ACU 硬件中，把百度 Valet Parking 產品的幀率在數量級上進行了提高。接下來，我們會陸續發布更多這樣的“硬核”技術文章，讓更多開發者們更加細致地了解 Apollo 自動駕駛背后的技術。