電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>使用 FPGA 快速路徑構(gòu)建高性能、高能效的邊緣 AI 應(yīng)用

使用 FPGA 快速路徑構(gòu)建高性能、高能效的邊緣 AI 應(yīng)用

2512857 2022-11-24 | pdf | 439.27KB | 次下載 | 免費

資料介紹

希望在邊緣推理處理器上實施人工智能 (AI) 算法的設(shè)計人員一直面臨著降低功耗和縮短開發(fā)時間的壓力，即使處理需求在增加。現(xiàn)場可編程門陣列 (FPGA) 為實現(xiàn)邊緣 AI 所需的神經(jīng)網(wǎng)絡(luò) (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對于不熟悉 FPGA 的開發(fā)人員來說，傳統(tǒng)的 FPGA 開發(fā)方法可能看起來很復(fù)雜，常常導(dǎo)致開發(fā)人員轉(zhuǎn)向不太理想的解決方案。希望在邊緣推理處理器上實施人工智能 (AI) 算法的設(shè)計人員一直面臨著降低功耗和縮短開發(fā)時間的壓力，即使處理需求在增加。現(xiàn)場可編程門陣列 (FPGA) 為實現(xiàn)邊緣 AI 所需的神經(jīng)網(wǎng)絡(luò) (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對于不熟悉 FPGA 的開發(fā)人員來說，傳統(tǒng)的 FPGA 開發(fā)方法可能看起來很復(fù)雜，常常導(dǎo)致開發(fā)人員轉(zhuǎn)向不太理想的解決方案。本文介紹了本文介紹了Microchip TechnologyMicrochip Technology的一種更簡單的方法，它讓開發(fā)人員繞過傳統(tǒng)的 FPGA 開發(fā)，使用 FPGA 和軟件開發(fā)工具包 (SDK) 創(chuàng)建經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或者使用基于 FPGA 的視頻工具包立即進入智能嵌入式視覺應(yīng)用程序開發(fā)。的一種更簡單的方法，它讓開發(fā)人員繞過傳統(tǒng)的 FPGA 開發(fā)，使用 FPGA 和軟件開發(fā)工具包 (SDK) 創(chuàng)建經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或者使用基于 FPGA 的視頻工具包立即進入智能嵌入式視覺應(yīng)用程序開發(fā)。為什么要在邊緣使用 AI？為什么要在邊緣使用 AI？邊緣計算為工業(yè)自動化、安全系統(tǒng)、智能家居等不同領(lǐng)域的物聯(lián)網(wǎng) (IoT) 應(yīng)用程序帶來了許多好處。在以工廠車間為目標(biāo)的工業(yè)物聯(lián)網(wǎng) (IIoT) 應(yīng)用程序中，邊緣計算可以通過消除基于云的應(yīng)用程序的往返延遲來顯著縮短過程控制循環(huán)中的響應(yīng)時間。同樣，基于邊緣的安全系統(tǒng)或智能家居門鎖即使在與云的連接意外或有意斷開時也能繼續(xù)發(fā)揮作用。在許多情況下，在任何這些應(yīng)用程序中使用邊緣計算都可以通過減少產(chǎn)品對云資源的依賴來幫助降低總體運營成本。而不是隨著對其產(chǎn)品的需求增加而面臨對額外昂貴的云資源的意外需求，邊緣計算為工業(yè)自動化、安全系統(tǒng)、智能家居等不同領(lǐng)域的物聯(lián)網(wǎng) (IoT) 應(yīng)用程序帶來了許多好處。在以工廠車間為目標(biāo)的工業(yè)物聯(lián)網(wǎng) (IIoT) 應(yīng)用程序中，邊緣計算可以通過消除基于云的應(yīng)用程序的往返延遲來顯著縮短過程控制循環(huán)中的響應(yīng)時間。同樣，基于邊緣的安全系統(tǒng)或智能家居門鎖即使在與云的連接意外或有意斷開時也能繼續(xù)發(fā)揮作用。在許多情況下，在任何這些應(yīng)用程序中使用邊緣計算都可以通過減少產(chǎn)品對云資源的依賴來幫助降低總體運營成本。而不是隨著對其產(chǎn)品的需求增加而面臨對額外昂貴的云資源的意外需求，對機器學(xué)習(xí) (ML) 推理模型的快速接受和不斷增長的需求極大地放大了邊緣計算的重要性。對于開發(fā)人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應(yīng)延遲和云資源成本。對于用戶而言，使用本地推理模型可以增加他們的產(chǎn)品將繼續(xù)運行的信心，盡管互聯(lián)網(wǎng)連接偶爾會中斷或產(chǎn)品供應(yīng)商的基于云的產(chǎn)品發(fā)生變化。此外，對安全和隱私的擔(dān)憂會進一步推動對本地處理和推理的需求，以限制通過公共互聯(lián)網(wǎng)傳輸?shù)皆贫说拿舾行畔⒘俊?/font>對機器學(xué)習(xí) (ML) 推理模型的快速接受和不斷增長的需求極大地放大了邊緣計算的重要性。對于開發(fā)人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應(yīng)延遲和云資源成本。對于用戶而言，使用本地推理模型可以增加他們的產(chǎn)品將繼續(xù)運行的信心，盡管互聯(lián)網(wǎng)連接偶爾會中斷或產(chǎn)品供應(yīng)商的基于云的產(chǎn)品發(fā)生變化。此外，對安全和隱私的擔(dān)憂會進一步推動對本地處理和推理的需求，以限制通過公共互聯(lián)網(wǎng)傳輸?shù)皆贫说拿舾行畔⒘俊?/font>開發(fā)用于基于視覺的對象檢測的神經(jīng)網(wǎng)絡(luò)推理模型是一個從模型訓(xùn)練開始的多步驟過程，通常使用公開可用的標(biāo)記圖像或自定義標(biāo)記圖像在 ML 框架（例如 TensorFlow）上執(zhí)行。由于處理需求，模型訓(xùn)練通常使用云端或其他高性能計算平臺中的圖形處理單元 (GPU) 執(zhí)行。訓(xùn)練完成后，模型將轉(zhuǎn)換為能夠在邊緣或霧計算資源上運行的推理模型，并將推理結(jié)果作為一組對象類別概率提供（圖 1）。開發(fā)用于基于視覺的對象檢測的神經(jīng)網(wǎng)絡(luò)推理模型是一個從模型訓(xùn)練開始的多步驟過程，通常使用公開可用的標(biāo)記圖像或自定義標(biāo)記圖像在 ML 框架（例如 TensorFlow）上執(zhí)行。由于處理需求，模型訓(xùn)練通常使用云端或其他高性能計算平臺中的圖形處理單元 (GPU) 執(zhí)行。訓(xùn)練完成后，模型將轉(zhuǎn)換為能夠在邊緣或霧計算資源上運行的推理模型，并將推理結(jié)果作為一組對象類別概率提供（圖 1）。圖 1：為邊緣 AI 實施推理模型位于需要使用可用或自定義訓(xùn)練數(shù)據(jù)在框架上訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)的多步驟過程的最后。（圖片來源：微芯科技）圖 1：為邊緣 AI 實施推理模型位于需要使用可用或自定義訓(xùn)練數(shù)據(jù)在框架上訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)的多步驟過程的最后。（圖片來源：微芯科技）