一、 前言

臉部辨識是一個從影像或影片中識別人物的系統，此技術已經存在幾十年，但在過去的幾年里，它的應用越來越明顯和普及，因為它現在為創新解決方案提供技術支援，像蘋果推出Face ID功能取代指紋辨識，讓消費者也注意人臉辨識的應用。

臉部辨識在許多應用程式和行業垂直領域都很實用，在臉部上取出具有“辨別度”的特征值，相同的一個人在不圖裝扮、表情與視角的情境之下，還具有非常類似的特征值。相反地？？，對于不同人的臉部，特征值是不同的，必需很容易區別出來。在使用人工智能（AI）之前，使用特定算法：每個工程師必須開不同的算法，使用不同的模型，去準確達到臉部偵測、人臉特征值的擷取以達到臉部辨識效果。

二、硬體介紹

本方案推薦使用GreenWaves Technologies GAPuino開發板搭配PixArt PAJ6100U6攝像頭模組，GAPuino使用SPI設定PAJ6100U6暫存器參數，透過CPI從PAJ6100U6取得圖像資料傳送至GAPuino，GAPuino進行推論算法CNN或SSD，透過推論結果產生圖像歸類，例如人臉、貓及狗，當推論結果辨識為人臉時，即可控制門鎖開門或其他應用。

GreenWaves Technologies GAPuino內置GAP8芯片，GAP8是一款多核可編程超低功耗應用處理器，旨在為物聯網邊緣端（傳感器端）提供新一代超低功耗應用平臺，用于將圖像，聲音等復雜信息在本地即完成一些較復雜運算，如卷積神經網絡推理等。GAP8物聯網應用處理器采用臺積電55nm超低功耗制程，以致于讓長期依賴電池供電的邊緣設備可以智能化。GAP8采用八加一個基于RISC-V的高效內核的方式設計，并植入了自己的擴展指令集（DSP，向量化， SIMD，復數運算等），這讓它擁有極致的能效架構。

原相（PixArt）科技的always-on低功耗電腦視覺感測器 （Ultra-Low Power Computer Vision） 產品以獨特的省電架構進行開發，PAJ6100U6 系由一個低功耗全域快門 QVGA （320x240） 感測器，以及一個具 90 度對角視野 （diagonal field of view） 的可回流焊光學鏡頭而組成。其可低至 1400uW （30fps QVGA） 的耗電功率，極低功耗下持續支援智慧觸發機制和視覺決策能力，對于須透過視覺來感知周遭環境的裝置，是不可或缺的一部分，適合為人工智能學習裝置提供視覺相關服務，可應用于智能門鎖、智能玩具（Always ON臉部與表情偵測）、智能家電與物聯網。

三、系統流程

使用云端平臺或電腦進行訓練模型，當模型訓練完成后，使用gap_sdk內的nntool進行轉換，將轉換后的模型導入程式碼中，搭配PixArt全局式快門（Global Shutter）功能，取得完整圖像進行卷積神經網絡（Convolutional Neural Network；CNN ）推論判斷，GAPuino只具備推論功能，模型的部分請使用者自行訓練。GAPuino可視為超低功耗Edge AI，無需連接網路，當模型訓練完后，燒錄制GAPuino內即可運作。

卷積神經網路（Convolutional Neural Network， CNN）是一種前饋神經網路，一直是深度學習中最重要的一部分，CNN 在影像辨識中甚至可以超越人類辨識的精準度，許多影樣辨識的模型也都是以CNN的架構為基礎去做延伸。

SSD（Single Shot MultiBox Detector）其中Single shot表示SSD算法屬于one-stage方法，MultiBox表示SSD是多框預測。將邊界框的輸出空間離散為不同層特征圖上的一組不同尺寸和長寬比的默認框，其主要為在圖片的不同位置進行密集抽樣，抽樣時可以采用不同尺度和長寬比，適用于處理多種尺寸的對象。

四、場景應用1

智能門鎖，程式內部流程請查看方案方塊圖， GAPuino透過CPI取得PixArt PAJ6100U6圖像資料后，經由內部CNN計算輸出結果，再根據CNN結果輸入至SSD取得臉型框的座標，過濾框座標大小，若框座標過小則代表為誤判區需要做移除，進行過濾后才是最終結果，如果臉型座標列表長度不為0則能夠開啟門鎖，反之則回到PixArt PAJ6100U6進行下一次的循環，下方為部分程式碼。

GAPuino搭配PixArt PAJ6100U6攝像頭，應用臉部辨識功能，配置于智能門鎖上，當判別為臉型時，門鎖系統可以判斷是否開門，當距離攝像頭1.4米時，發現照片內有臉型就進行開門，下圖為顯示結果，藍色方匡為辨識區域，辨識到臉型后右上方顯紅色區塊。

智能門鎖整體搭配GAPuino與PixArt PAJ6100U6攝像頭，門鎖整體方案于（基于Qualcomm QCA4024 的雙模全自動智能門鎖Turnkey 方案）將控制線對接至GAPuino開發板上，透過GAPuino做判斷是否開門，目前專案為當發現臉型時驅動門鎖開門，整體圖片如產品應用圖所示。

五、場景應用2

貓/狗臉辨識智能喂食器，將TFlite模型抽換為狗或貓模型，并針對模型進行程式碼調整，當辨識到貓或狗才開啟食物閘門，保持飼料新鮮不受潮。

參考資料

PixArt PAJ6100U6

GreenWaves Technologies.

基于Qualcomm QCA4024 的雙模全自動智能門鎖Turnkey 方案

卷積神經網路- 維基百科

目標檢測|SSD原理與實現- 知乎
編輯：hfy