說到純視覺的自動駕駛方案，大家第一個想到的就是Tesla吧。的確，早在2021年，Tesla就已經實現了純視覺的BEV檢測方案，而且效果非常好。

細心的同學可能發現了，這套BEV方案中將相機空間的圖像轉換到BEV空間的核心組件就是Transformer。

Transformer來源于自然語言處理領域，首先被應用于機器翻譯。后來，大家發現它在計算機視覺領域效果也很不錯，而且在各大排行榜上碾壓CNN網絡。

目標檢測領域中，視覺Transformer不僅可以實現2D檢測、3D檢測，還可以實現多模態檢測，BEV視角下的檢測，性能也非常出色。

因此，掌握Transformer相關知識和工程基礎成為了企業招聘算法工程師的一個技能要求點，也是簡歷上的一個很大的加分項。

然而，想要掌握基于Transformer的目標檢測算法，有以下3個難點：

理解Transformer背后的理論基礎，比如自注意力機制（self-attention）, 位置編碼（positional embedding），目標查詢（object query）等等，網上的資料比較雜亂，不夠系統，難以通過自學做到深入理解并融會貫通。

掌握基于Transformer的目標檢測算法的思路和創新點，一些Transformer論文涉及的新概念比較多，話術沒有那么通俗易懂，讀完論文仍然不理解算法的細節部分。

2

Transformer代碼不易看懂，因為作用機制與CNN有不少差別，所以完全理解代碼并實踐應用需要花費很大功夫。

3

那么如何學習基于Tansformer的目標檢測算法呢？

實踐部分

審核編輯：劉清