當計算系統根據經過訓練的機器學習算法進行預測時，就會發生推理。雖然推理的概念并不新鮮，但在邊緣執行這些高級操作的能力是相對較新的。

基于邊緣的推理引擎背后的技術是嵌入式計算機。但顯然，它遠遠不止于此，它具有放大的計算能力，大量的存儲空間以及實時處理大量數據所需的I / O。目標是盡可能靠近生成數據的位置執行操作，從而在最短的時間內獲得最準確的結果。該位置通常非常靠近傳感器，外部數據被輸入到系統中。一旦做出決策，它們通常會被送回邊緣進行，從而推動邊緣的實時決策。

基于邊緣的推理引擎的一個關鍵問題是其部署環境。例如，它是否必須設計用于處理沖擊和振動？它會產生極高的溫度或低溫嗎？它是否會提供性能加速的正確平衡？對每個問題的回答都可能導致不同的設計，或者至少以不同的方式進行設計。

一些供應商擁有全套內部環境問題測試設備。這將包括熱調節模擬，當然還有沖擊和振動。在大多數應用中，專為“堅固耐用和熱應用”而設計的系統意味著它可以在-40°C至+ 70°C的溫度范圍內工作，并且可以承受高達20 G的沖擊和3 Grms的振動。

為人工智能而增強

通用嵌入式計算機和設計用于處理推理算法的計算機之間有明顯的區別。首先，推理引擎對計算性能的要求最高。任何設計人員都可以從貨架上撤下高端 X86 處理器并將其整合到系統中，即使是包含數據中心平臺功能的系統。但是，在硬件和軟件方面，需要人工智能系統方面的深厚專業知識和經驗，才能設計出具有最大吞吐量的系統。Premio的專家通過其工業級計算機平臺的強大硬件工程和設計滿足了這一要求。

Premio提出了一種稱為邊緣增強節點的模塊化技術，可以最大限度地提高邊緣的系統性能。硬件節點以物理方式連接到平臺的下半部分，并為需要數據采集以獲得實時見解的邊緣級工作負載提供硬件加速。這種兩件式模塊化設計有助于保持平臺的耐用性，同時通過創新型罐式磚塊和 GPU 中的非易失性內存 （NVMe） 固態磁盤驅動器 （SSD） 提供性能加速，以實現并行計算性能。每個邊緣加速節點都使用高 RPM 主動冷卻來確保這些組件的可靠性。

Premio提供了許多不同的邊緣增強節點。例如，RCO-6000-CFL-2N2060S 選件增加了一個可熱插拔的 NVMe 固態硬盤罐，能夠容納多達兩個 15 毫米 U.2 固態硬盤和一個 PCIe GPU。第二種選擇是 RCO-6000-CFL-4NH，可增強存儲功能，支持 x2 熱插拔 NVMe 固態硬盤罐，可容納兩個 15 毫米 U.2 固態硬盤，用于支持硬件和軟件 RAID 的高容量 NVMe 存儲。第三個選項 RCO-6000-CFL-8NS 專注于更高速的 NVMe 存儲，使系統集成商能夠添加多達 8 個 7 毫米、2.5 英寸的存儲。U.2 NVMe 固態硬盤，即將推出用于普瑞米歐的邊緣提升節點產品組合。

這種類型的拓撲非常重要，因為對于基于邊緣的推理系統，存儲與駐留在背板上的I / O分開，從而最大限度地提高性能。“秘訣”在于平衡PCIe通道的可用數量以提供最佳性能，這是Premio能夠從其嵌入式和數據中心計算機架構設計組合中提取的設計技術。

必須考慮的其他I / O包括USB，COM接口，甚至5G。對于電路板供應商和 OEM 來說，處理高吞吐量 I/O 的一個好方法是通過模塊化 I/O 子板來增加靈活性。通過這種方法，系統可以準確地提供所需的I / O，并消除特定于應用程序的工作負載的不必要的I / O選擇。

面向 ADAS 應用的人工智能

當今一個流行的應用是ADAS或高級駕駛員輔助系統。這些復雜的系統基于有效的數據收集和共享為自動駕駛汽車應用提供動力，旨在為五級自動駕駛提供不斷更智能的算法。

注意到這顯然是一個基于邊緣的應用，邊緣增強節點設計團隊肯定會結合適當的加固功能和熱調節。例如，系統操作員需要始終動態了解箱內的溫度。在這里，可能的情況包括風扇。作為耗電組件，該風扇僅在必要時打開電源。

在Premio為客戶提供的軟件開發工具包中，有一個應用程序可以讓他們最大限度地利用這些風扇，確定它們應該何時打開，它們應該以什么速度運行，等等。該軟件還提供了一個安全閥，因為它可以將所有I / O讀取操作從各種外圍設備暫停回CPU。也可以使用物理按鈕和LED指示燈執行此操作。

最大化電源效率

功率效率是基于邊緣的推理引擎的首要任務。系統設計人員認識到需要將處理能力放在更靠近物聯網傳感器的位置。一個直接的解決方案是添加各種性能加速器，通常采用 GPU、NVMe 存儲和 M.2 加速器的形式。此設計策略的權衡是，每個組件都是耗電的組件，需要解決功耗與性能預算的問題。將這些任務分離到邊緣增強節點可提高處理能力并減少主機處理器上的負載，主機處理器的負載在其加固的寬功率輸入（從 9 V 到 48 V DC）中隔離。模塊化邊緣加速節點的一個獨特功能是，它為可靠性至關重要的最苛刻的邊緣工作負載中的強大性能加速模塊（NVMe SSD、GPU 或 m.2 加速器）提供電源穩定性。

由于基于邊緣的推理引擎會生成大量數據，因此存儲是關鍵。邊緣加速節點包括一個 6 Gbit/s SATA 接口，可連接四個驅動器（兩個內部驅動器和兩個外部驅動器）。然而，對于此應用程序而言，合并 NVMe 驅動器可能會改變游戲規則。在這種特殊情況下，它最多通過四個 2.5 英寸 15 毫米驅動器和八個 2.5 英寸 7 毫米驅動器中的另一個選項進行處理。

雖然板載存儲至關重要，但將數據與云協調的能力也至關重要。在此方案中，此過程通過標準千兆以太網或 10 Gbit/s 模塊進行處理。無線或蜂窩LTE也是選項，具體取決于應用程序和環境。由于該設計提供靈活的I/O子板，用戶甚至可以集成5G子板模塊，以實現5G部署的超低延遲連接。

安全性和下一代可升級性

雖然任何工業平臺都必須包含適當的安全措施，但將系統性能推向邊緣會使安全性變得更加重要。Premio 以公認的行業標準（如 TPM 2.0）為基礎來加密數據。然后是要解決的物理方面 - 有人從字面上竊取物理系統。為了解決這個問題，邊緣增強節點上的 NVMe 驅動器位于鎖和鑰匙驅動器籠后面。

邊緣增強節點的模塊化使其本質上可升級。只需在模塊可用時將其換成性能更高的版本即可。雖然此功能可能會略微增加物料清單（BOM），但它可以保護長期投資，因為可以保證系統具有更長的有效壽命。在軟件方面，可以通過LAN在現場進行無線升級，并且由于內置的安全功能，可以放心地完成。而隨著行業走向云原生升級路徑，這已經成為升級的首選方式。只要系統保持“容器化”狀態，安全問題就會得到解決和管理 - 無論是在系統的整個生命周期內，還是在不斷變化的數字安全威脅環境中。

Premio認識到，其本地化的制造使公司在競爭中占據了一席之地。所有組裝都在洛杉磯的工廠進行，無論訂單大小。這消除了海外供應鏈的潛在負擔，加快了上市時間并簡化了部署，使客戶能夠非常快速地啟動和運行企業規模和部署。

審核編輯：郭婷