不同于傳統觀點認為的那樣

AI就一定需要GPU、TPU、FPGA等平臺

一定需要高速的網絡帶寬

邊緣計算正成為新時代AI主力軍

貿澤電子聯合與非主辦的第4期明星開發板就來聊聊為邊緣計算而生的英特爾的神經計算棒2代，簡稱NCS2。其作用很簡單，就是加速AI計算，尤其是人工智能中的邊緣計算，從本質上來說它就是一個邊緣計算的載體。

NCS 2采用全鋁合金外殼，整個產品精致小巧，尺寸差不多比兩根手指小，外觀設計也花了一番心思，有助于提高散熱。NCS 2采用USB 3.0 Type-A接口，能直接插在電腦上即可使用，或許這就是最簡單的邊緣計算解決方案？

Myriad X

NCS2加速深度學習推理主要依賴于內部的視覺處理單元 Myriad X。這里有必要提一下，深度學習的細分領域非常多，而Myriad X主要的特點是針對深度學習中的圖像和視頻的處理。

Myriad X VPU內部架構：

神經計算引擎：

借助這款適用于深度神經網絡的片上加速器，Myriad X可以實現每秒超過 1 萬億次運算的 DNN 推理性能。因此可以在不犧牲功耗或準確性的情況下在邊緣實時運行深度神經網絡。

2.5 MB的同質化片上內存：

允許最高 450 GB/秒的內部帶寬，通過最小化片外數據傳輸來盡可能減少延遲并降低功耗。

16 個可編程的128 位 VLIW 矢量處理器：

針對計算機視覺工作負載進行了優化，靈活地運行多個并行的成像和視覺應用程序。

多種高優先級的外設功能支持：

比如最多可在Myriad X上直接連接 8 個高清分辨率 RGB 攝像頭，支持高達每秒 7 億像素圖像信號處理吞吐量，支持4K/60 Hz幀率的編碼。

如果單看Myriad X，你對它的性能提升沒多少概念，那么對比1代的Myriad 2，這種優勢更加明顯。可以參考以下這張表：

計算能力提升到了4萬億次，計算性能是1代的4倍；

增加到16個矢量處理器；

新增了神經計算引擎；

片上存儲和帶寬更大；

支持了LPDDR4；

支持4K 60Hz的M/JPEG編碼或者4K 30Hz的H.264/H.265編碼；

接口方面也增加了PCIe3.0，增加到16 Lanes的MIP接口。

當然啦，這些參數在目前看來，很多CPU、GPU都可以做到，但是你不能忽略一個參數，那就是功耗，Myriad X的優勢在于能實現這些功能的前提下保持了較低的功耗，相比能夠提供同等效果的GPU，Myriad X的功耗最少降低了十幾倍。

總之，我們可以預見，在Myriad X加持下的NCS2，其特色很明顯：① 高能效比，將機器視覺應用推向極致；② 在邊緣運行，不依賴云計算連接③ 采用USB接口，方便的支持各種深度學習的原型開發。

所以，對于目前市面上火爆的需要有較強圖像/視頻處理能力且需要電池供電的應用，如服務型機器人、無人機、AR/VR等設備，基于Myriad X的NCS2優勢明顯。

OpenVINO工具包

NCS 2該如何開發？英特爾官方的回答是：OpenVINO工具包。OpenVINO工具基于卷積神經網絡，可以快速部署模擬人類視覺的應用程序和解決方案，可在英特爾硬件上擴展計算機視覺工作負載，從而最大限度地提高性能。

如上圖所示，這是OpenVINO工具包的一些工具，主要分為3個部分：

右上角是傳統的電腦視覺庫，包含英特爾優化過的OpenCV、OpenVX及范例，可以在推論過程中，有需要用到前處理及后處理器的時候，用來加速運算；

右下角是其它工具集以及庫，如英特爾的Media SDK，通過GPU來加速decode；應用OpenCL讓應用程序在不同平臺上運作，及FPGA相關的插件；及運行時所需要的環境；

而左邊這部分就是OpenVINO深度學習推論的核心，也就是我們簡稱的DLDT。在DLDT中包含兩個功能的組件：MO以及IE，還有使用C++和python所做的不同范例；OpenVINO除了支持深度學習中一些預先公開好的模型外，也提供英特爾自行訓練的模型，針對各種不同的應用，如行為、表情以及物件偵測等等。

目前OpenVINO支持包括win10、Linux、Raspbian、Mac OS，基本上涵蓋了主流的幾個操作系統，因此友好性還是不錯，可以說是英特爾建立AI生態的大功臣。

環境配置

NCS 2與OpenVINO工具包的組合可謂是如虎添翼，但是要真正使用起來，環境搭建的基本步驟還是免不了：

①下載OpenVINO工具包，最新版本2021.1

②解壓壓縮包，然后到目標文件夾下執行安裝，可以安裝GUI版本或者純命令版本

③安裝額外的依賴的軟件包

④設置環境變量

⑤配置模型優化器

⑥配置神經計算棒USB驅動程序

按照教程下來就可以把基本環境搭建起來。

NCS 2實測：對比英特爾CPU

本次主要測試3個demo：

將推理引擎與經過預先訓練的模型結合使用，用于執行車輛檢測，車輛屬性和車牌識別的任務（對比英特爾CPU）

Benchmark，推理性能測試（對比英特爾CPU）

基于攝像頭的實時識別功能（NCS2）

想知道測試結果誰勝誰負？視頻見分曉。

寫在最后

NCS 2在某些特定的邊緣計算領域還是非常強大的，其本身的優勢也在于開發和優化AI離線應用，除了配合計算機，NCS2還可以配合帶各種USB接口的單板計算機，比如在創客群體中用戶數量最為龐大的開源單板計算機 樹莓派。

因此，如果你有一些想法，想要用Myriad X做些什么，那不妨可以先上貿澤電子官網購買一個NCS2實際體驗一番，畢竟NCS2配合上英特爾的OpenVINO工具包對于開發AI加速的應用還是非常友好的，哪怕你只是初學者！

☆

相關電路方案推薦

標題：在Raspberry Pi上構建Kubernetes智能邊緣集群

在Raspberry Pi上構建Kubernetes“ Intelligent Edge”集群是一次很棒的學習體驗！

在Raspberry Pi上構建Kubernetes Intelligent Edge 集群是一種很棒的學習體驗，是構建強大的Intelligent Edge 解決方案的墊腳石，也是一種令人印象深刻的方式，可以打動您的朋友。你的開發技能優勢可以在使用云與天青Kubernetes服務。

Kubernetes集群是使用Raspberry Pi 4節點構建的，并且功能非常強大。它已通過Python和C＃Azure函數，Azure自定義視覺機器學習模型以及NGINX Web服務器進行了測試。

該項目構成了《智能邊緣》系列四部分的基礎。

后續主題將包括：

將Python和C＃Azure函數構建，調試和部署到Raspberry Pi Kubernetes群集，并學習如何從Kubernetes托管容器訪問硬件。

開發，部署和管理上邊緣智力與Azure的物聯網邊緣上Kubernetes。

dapr.io 入門，它是事件驅動的可移植運行時，用于在云和邊緣上構建微服務。

系統配置：

Kubernetes集群的設置是完全腳本化的，并且有據可查。

硬件組成部分：

· Raspberry Pi 4 Model B

· Raspberry Pi 3 Model B+

· Pimoroni Blinkt!

責任編輯：xj

原文標題：親測神經計算棒 PK 傳統筆電CPU：為邊緣計算而生，誰更強？

文章出處：【微信公眾號：電路設計技能】歡迎添加關注！文章轉載請注明出處。