安富利手勢識別平臺又進化了，在樹莓派上，安富利實現了攝像頭和毫米波雷達融合的手勢識別方案。攝像頭負責識別靜態手勢，攝像頭讀取的圖像，經過openCV和機器學習分類器后，完成手勢識別，最后輸出1,2,3,4 等結果。后期借助于TensorFlow架構將Hand Tracking GPU整合進融合平臺。毫米波雷達負責動態手勢的識別， 相對于攝像頭，毫米波雷達可以更好的保護客戶隱私，而且算法簡單不需要GPU以及神經網絡的支持，因此反應更快功耗更低。目前安富利借助于英飛凌BGT60TR13芯片，實現了揮手，旋轉手勢以及揉搓手指等6種手勢識別。關于毫米波雷達的手勢控制具體內容和演示視頻可參考往期文章《利用毫米波完成精細化手勢識別》。

硬件平臺

攝像頭負責采集圖像，在樹莓派上借助于Python開發環境，實現了手勢提取和識別。利用攝像頭完成手勢識別，目前有很多架構和開源代碼可以參考，目前比較火熱甚至被玩壞的 Hand Tracking GPU，這款應用基于TensorFlow 目前已經開源，小伙伴們可以盡情的玩起來了。

英飛凌60GHz雷達處理芯片BGT60TR13，5GHz的掃頻帶寬，在FMCW工作模式中，可以實現3cm的距離分辨率，可以識別精細的手勢。安富利目前的手勢識別算法運行在60GHz的毫米波雷達平臺上，掃頻帶寬為3GHz，目前已經實現旋轉，左右揮手，上下揮手以及揉搓手指等手勢識別。樹莓派作為中央處理器，接收來自攝像頭和毫米波雷達的傳感器數據，并完成手勢識別并顯示在顯示屏上，方案如圖 1所示。

圖 1安富利手勢識別平臺

軟件流程 安富利北京實驗室目前已經完成一整套代碼開發，方便客戶做二次開發。具體功能如圖 2所示，在毫米波雷達方向上信號流為2-D FFT變換， 基于硬件加速的峰值搜索，恒虛警算法篩選潛在目標，基于相差比較方法計算角度波達方向角，以及在SDK環境下的手勢分類識別，最后將手勢識別結果顯示在GUI上。在攝像頭方向上，借助于openCV完成攝像頭采集，輪廓提取并借助于scikit-learn庫函數中的SVC分類器完成手勢分類。

圖 2 軟件功能框圖

演示效果截圖

在截圖中，第一排顯示的是基于攝像頭的手勢識別，簡單演示了識別1,2,3,4,5。第二排，主要是演示了基于毫米波雷達的手勢識別，能夠識別左揮手，右揮手，順時針旋轉手勢，逆時針旋轉手勢。以及包括揉搓手指的微多普勒手勢，包括接近雷達和遠離雷達。