支撐工業 4.0 的關鍵技術之一是在邊緣實施機器學習推理的能力。根據應用程序的需要，機器學習推理可以分析遙測數據以對預測性維護進行建模，以防止出現停線情況。或者，應用程序可以檢查生產線上制造或包裝的物品。

對生產線上的項目進行目視檢查的能力需要一個能夠以高幀率（>30fps 幀/秒）運行圖像處理和機器學習算法的高性能系統。能夠實施能夠進行此類處理的解決方案也需要強大的功能。這正是 Xilinx 的 Xilinx ? Kria? K26 系統級模塊 (SoM) 和 KV260 Vision AI 入門套件等產品可以提供幫助的地方。

Xilinx ? Kria ? SoM 和 Vision AI 入門套件

Xilinx ? Kria ? K26 SoM及其 KV260 Vision AI 入門套件支持視覺和 AI 算法的快速原型設計。Kria K26 SoM 為設計工程師提供了一個高性能異構系統，它結合了高性能 Arm ?處理器和高級可編程邏輯。這種組合允許應用程序在處理系統或可編程邏輯中得到最佳實現。這種融合的結果是一個基于邊緣的解決方案，它提供了一個響應迅速、確定性和節能的解決方案。

Kria 不同于傳統的 Xilinx 產品，因為它是作為 SoM 交付的。SoM 不僅結合了集成電路，還包括必要的支持易失性和非易失性存儲器、時鐘和電源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 內存、16GB eMMC、512Mb QSPI、TPM 安全模塊和必要的電源基礎設施組成（圖 1）。雙 240 針連接器可分出 245 個 I/O，可輕松連接您的應用程序。

圖 1：Xilinx Kria K26 SoM 允許設計工程師利用可編程邏輯的并行特性與高性能 Arm ?處理器內核相結合。（來源：貿澤電子）

為幫助設計工程師著手開展工作，Xilinx提供了Kria KV260 Vision AI 入門套件。Kria KV260 Vision AI Starter Kit 包含一個用于 SoM 的載卡，它提供以下接口：

3個MIPI接口

USB 3

HDMI

顯示端口

國標以太網

模式

這些接口使設計工程師能夠創建復雜的基于視覺的 AI 解決方案。這些解決方案可以支持從 MIPI 到 USB 攝像頭和以太網實時流協議 (RTSP) 以及傳統 HDMI 和 DisplayPort 接收器的一系列視頻源和接收器。

該入門套件還附帶一系列應用程序，展示了開始開發基于視覺的 AI 應用程序是多么容易。這些應用包括可以檢測人臉的智能相機；多流跟蹤和識別；缺陷檢測；和自然語言處理。Kria 開箱即用架構的優點之一是能夠重新編譯不同的網絡并替換示例網絡。

設計工程師可以使用 Vitis ? AI 來利用常用的 AI 開發框架，例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在邊緣和云端加速 AI 推理算法。Vitis AI 技術堆棧支持常用框架，并提供在 Xilinx 設備上開發和部署 ML/AI 算法所需的一切，包括 Kria K26 SoM。

Vitis AI 堆棧的核心是 Xilinx 深度學習處理器單元 (DPU)，它在可編程邏輯中實現，并針對卷積神經網絡的實現進行了優化（圖 2）。可用于實現VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等網絡。

圖 2：Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度學習推理應用程序的過程。（來源：賽靈思）

為了利用可編程邏輯的并行特性，DPU 執行已使用 AI 量化器量化為 int-8 的網絡。

在硬件中實現 DPU 模型并使用 Vitis AI 訓練和編譯網絡后，就可以使用 Vitis 開發軟件以創建完整的最終解決方案（圖 3）。

圖 3：Xilinx Vitis AI 部署模型圖（來源：Xilinx）

制造應用用例

讓我們更深入地了解 Xilinx Kria SoM 如何用于制造應用。創建制造應用程序不一定需要任何可編程邏輯設計。但是，它需要軟件開發以及使用 Xilinx 的 Vitis AI 訓練和編譯新機器學習模型的能力。

Kria K26 SoM 和 KV260 Vision 入門套件非常適合需要快速圖像處理的應用，例如檢測標簽是否已正確貼在生產線上的裝運箱上。在此示例中，設計工程師使用 Kria K26 SoM 在生產線上檢查包裹，并通過 Mobilenet 網絡正確識別盒子上標簽的位置。可以從包含正確和錯誤標簽位置的圖像數據集中訓練該網絡（圖 4和圖 5）。

圖 4：使用 Mobilenet 網絡的正確標簽位置示例（來源：貿澤電子）

圖 5：使用 Mobilenet 網絡的錯誤標簽位置示例（來源：貿澤電子）

訓練完成后，該網絡可以部署在 Kria K26 SoM 上，結合 Linux GStreamer 支持，實時檢查生產線上的包裹（圖 6）。如果檢測到貼錯標簽的盒子，部署的應用程序可以做出適當的響應。

圖 6：Xilinx 正確識別正確標簽的示例（來源：貿澤電子）

結論

生產線是快節奏的環境。在發貨前檢測制造或包裝缺陷的能力對于提高交付和客戶滿意度至關重要。然而，自動化檢測設備需要在不減慢生產線速度的情況下進行處理和決策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入門套件等產品可以提供幫助。

設計工程師可以使用 Kria KV260 視覺 AI 入門套件快速開始開發視覺和 AI 原型設計解決方案并演示概念驗證。Kria K26 SoM 實現了設計的可移植性，從概念、原型設計到最終設計解決方案，所需的更改極少，除了與載卡的接口。

使用 Kria K26 SoM 可以降低與創建具有復雜異構 FPGA、存儲器和電源架構的嵌入式系統解決方案相關的開發成本和風險。通過結合 Vitis AI 堆棧和開箱即用的解決方案，Kria K26 SoM 使開發團隊能夠通過利用可編程邏輯的高性能特性來創建復雜的視覺和基于 AI 的解決方案，而無需進行可編程邏輯設計專家。

學到更多

如果您想了解有關 Kria SOM 的更多信息并查看為工業應用程序創建 AI 解決方案的分步演練，請參閱使用 KRIA SoM項目文章部署基于邊緣的 AI。

審核編輯黃昊宇