如今，幾乎所有企業都開發或采用應用軟件，對發票、人力資源檔案或產品規格等信息的處理進行編碼。整個行業已經開始在集中式數據中心或云中，以及在商店、工廠和家用電器等邊緣位置部署和執行這些企業應用程序。

最近，企業軟件的性質發生了變化，因為開發人員現在將人工智能納入了他們的應用程序中。根據 Gartner 的數據，到 2027 年，深度學習形式的機器學習將包含在超過 65% 的 edge 用例中，而 2021 這一比例還不到 10% *。使用 AI ，您不需要為每個可能的輸入編碼輸出。相反，人工智能模型從訓練數據中學習模式，然后將這些模式應用于新的輸入。

自然，管理基于 AI 的應用程序所需的過程不同于為純粹確定性、基于代碼的應用程序而發展的管理。這是真的，尤其是對于邊緣的基于 AI 的應用程序，在這些應用程序中，計算資源和網絡帶寬都很稀缺，并且容易訪問設備會帶來安全風險。

基于 AI 的應用程序受益于新的工具和過程，可以在邊緣安全地部署、管理和擴展。

傳統企業軟件與邊緣 AI 應用程序之間的差異

傳統企業軟件和邊緣 AI 應用程序的設計和管理方式有四個根本區別：

集裝箱化

數據策略

更新

安全

集裝箱化

虛擬化一直是企業在世界各地的數據中心部署傳統應用程序時采用的主要部署和管理工具。對于傳統的應用程序和環境，虛擬化為在虛擬機監控程序上運行的這些工作負載提供了結構、管理和安全性。

雖然虛擬化仍在幾乎每個數據中心使用，但我們看到容器技術在人工智能應用程序中的廣泛應用，尤其是在邊緣。在最近一份關于 The State of Cloud Native Development 的報告中，云原生計算基金會強調“……從事邊緣計算的開發人員對容器和Kubernetes 的使用率最高。”76%的邊緣AI應用程序使用容器，63%使用Kubernetes。

為什么那么多開發人員在邊緣使用容器來處理 AI 工作負載？

表演

可擴展性

彈性

可移植性

表演

容器虛擬化主機操作系統的內核，而在傳統的虛擬化中，虛擬機監控程序虛擬化物理硬件，并在每個實例中創建來賓操作系統。這允許容器以完全裸機性能運行，而不是接近裸機性能。這對于許多邊緣 AI 應用程序來說是至關重要的，尤其是那些具有安全相關用例的應用程序，其中響應時間以亞毫秒為單位。

容器還可以在同一個系統上運行多個應用程序，從而提供整合，而不需要虛擬化的性能開銷。

可擴展性

邊緣 AI “數據中心”可能分布在數百個位置。基于云的管理平臺為管理員提供了集中管理環境的工具，這些環境可以擴展到數百和數千個位置。通過利用網絡和智能軟件進行擴展，而不是讓人員前往每個邊緣位置，可以降低成本、提高效率和恢復能力。

彈性

AI 應用程序通常通過擴展提供彈性。同一應用程序的多個克隆在負載平衡器后面運行，當克隆失敗時，服務將繼續。

即使邊緣環境只有一個節點，容器策略也可以確保應用程序自動重新啟動，使停機時間降到最低。

可移植性

將應用程序容器化后，可以將其部署在任何基礎設施上，無論是裸機、虛擬機還是各種公共云上。還可以根據需要放大或縮小它們。有了容器，應用程序可以像在任何云中一樣輕松地在邊緣服務器上運行。

虛擬機和容器在幾個方面有所不同，但它們是在單個平臺上部署多個獨立服務的兩種方法。許多供應商提供的解決方案同時適用于 Red Hat OpenShift 和 VMware Tanzu 這兩種環境。

邊緣環境既有虛擬化，也有容器化，但隨著越來越多的邊緣 AI 工作負載投入生產，預計將朝著裸機和容器的方向發展。

數據策略

下一個區別是數據在傳統邊緣應用程序和邊緣 AI 應用程序生命周期中的作用。

傳統的邊緣應用程序通常會接收少量結構化數據流，如買賣點交易、患者病歷或說明。處理后，應用程序會發回類似的結構化信息流，例如支付授權、分析結果或記錄搜索。當數據被使用時，它對應用程序不再有用。

與傳統應用程序不同，人工智能應用程序的生命周期超越了分析和推理，包括重新培訓和持續更新。 AI 應用程序從傳感器（通常是攝像頭）傳輸數據，并對數據進行推斷。一部分數據在邊緣位置收集，并共享回集中的數據中心或云，以便用于重新培訓應用程序。

由于這種對數據的依賴可以改進應用程序，因此，強大的數據策略至關重要。

從邊緣向數據中心或云傳輸數據的成本受數據大小、網絡帶寬以及應用程序需要更新的頻率的影響。以下是人們在邊緣 AI 應用程序中采用的一些不同的數據策略：

收集錯誤推論

收集所有數據

收集有趣的數據

收集錯誤推論

至少，一個組織應該收集所有錯誤的推論。當人工智能做出錯誤推斷時，需要識別、重新標記數據，并用于重新培訓，以提高模型精度。

然而，如果只使用錯誤的推斷進行再培訓，模型可能會經歷一種稱為模型漂移的現象。

收集所有數據

選擇將其所有數據發送到中央存儲庫的組織通常會遇到帶寬和延遲不是限制因素的情況。這些組織使用這些數據重新培訓或調整并構建新模型。或者，他們也可以將其用于批量數據處理，以收集不同的見解。

收集所有數據的好處是可以利用巨大的數據池。缺點是它的成本非常高。通常，移動那么多數據甚至都不可行。

收集有趣的數據

這是數據收集的最佳點，因為它平衡了對有價值數據的需求與傳輸和存儲數據的成本。

有趣的數據可以包含組織預期對其當前或未來模型或數據分析項目有價值的任何數據。例如，對于自動駕駛汽車，從天氣相似的相同街道收集的大多數數據不會顯著改變模型的訓練。然而，如果正在下雪，這些數據將有助于發送回中央存儲庫，因為它可以改進極端天氣下駕駛的模型。

更新

傳統 edge 軟件的功能內容是通過代碼傳遞的。開發人員編寫并編譯在邊緣設備上執行的指令序列。任何管理和編排平臺都必須適應軟件的更新，以修復缺陷、添加功能和修復漏洞。

開發團隊通常每月、每季度或每年發布新代碼，但并不是每個新版本都會立即推送到邊緣系統。相反， IT 團隊傾向于等待大量更新，只有在必要時才進行更實質性的更新。

相反， Edge AI 應用程序遵循不同的軟件生命周期，該生命周期以 AI 模型的培訓和再培訓為中心。每次模型更新都有可能提高準確性和精度，或增加或調整功能。模型更新的頻率越高，它就變得越準確，從而為組織提供額外的價值。

例如，如果一個檢驗 AI 應用程序的準確率從 75% 提高到 80% ，那么該組織會發現遺漏的缺陷更少，從而提高產品質量。此外，更少的誤報導致更少的產品浪費。

?

圖 1 ：。典型邊緣 AI 解決方案的生命周期

在圖 1 中，步驟 5 和 6 詳細說明了再培訓過程，這對于更新模型至關重要。

部署邊緣人工智能解決方案的組織應該經常更新模型。通過從一開始就通過容器等云本地部署實踐構建再培訓流程，并實施強大的數據戰略，組織可以開發可持續的 edge AI 解決方案。

安全

對于許多 IT 團隊來說，邊緣計算代表著安全范式的巨大轉變。在 castle and moat 網絡安全模型中，網絡外部沒有人能夠訪問內部數據，但網絡內部的每個人都可以訪問。相反，邊緣環境本質上是不安全的，因為幾乎每個人都有物理訪問權限。

邊緣人工智能應用程序加劇了這一問題，因為它們是使用價值極高的企業知識產權構建的，而企業知識產權是企業的生命線。它代表了允許企業差異化的競爭優勢，是其功能的核心。

雖然安全性對所有應用程序都很重要，但在使用 AI 應用程序時，提高邊緣的安全性也很重要。有關更多信息，請參閱 邊緣計算：安全架構師的考慮事項 。

人身安全

數據隱私

企業知識產權

訪問控制

人身安全

由于邊緣設備位于物理數據中心之外，因此邊緣計算站點的設計必須假定惡意參與者可以物理訪問計算機。為了應對這種情況，可以采用物理篡改檢測和安全引導等技術，作為額外的安全檢查。

數據隱私

Edge AI 應用程序通常存儲真實世界的數據，如語音和圖像，這些數據傳達了有關人們生活和身份的高度隱私信息。 Edge AI 開發人員肩負著保護此類私人數據寶庫的責任，以維護其用戶的信任并遵守法規。

企業知識產權

推理引擎結合了對大量專有數據的學習以及機器學習團隊的專業知識和工作。將這些推理機的控制權交給競爭對手可能會極大地削弱公司在市場上的競爭力。

訪問控制

由于這些環境的分布式特性，幾乎可以保證有人需要遠程訪問它們。實時（ JIT ）訪問是一種策略，用于確保向人員授予在有限時間內完成任務所需的最低權限。

設計邊緣 AI 環境

隨著企業從部署傳統企業應用程序轉向邊緣 AI 應用程序，維護支持傳統應用程序的相同基礎架構并不是一個可擴展的解決方案。

對于成功的 edge AI 應用程序，更新組織的部署方法、數據策略、更新節奏和安全策略非常重要。

NVIDIA 提供的軟件可幫助企業在任何地方開發、部署和管理其 AI 應用程序。

例如，幫助組織跨我們創建的分布式位置管理和部署多個 AI 工作負載 NVIDIA Fleet Command ，一個用于容器編排的托管平臺，可優化邊緣系統和 AI 應用程序的供應和部署。

為了幫助企業快速起步，我們創建了 NVIDIA LaunchPad ，這是一個免費的程序，提供對必要硬件和軟件堆棧的即時、短期訪問，以體驗端到端解決方案工作流，例如構建和部署 AI 應用程序。

關于作者

Tiffany Yeung 是 NVIDIA Edge 和企業計算解決方案的產品營銷經理。 Tiffany 專注于利用 NVIDIA 邊緣解決方案使醫院、商店、倉庫、工廠等實現創新。在 NVIDIA 之前， Tiffany 的背景是創業，她曾為許多財富 500 強公司提供咨詢。

審核編輯：郭婷