這項邊緣計算基礎設施計劃高調起步，目前已在其基于 NVIDIA EGX 的系統(tǒng)上實現(xiàn)數(shù)十種 AI 用途，這些系統(tǒng)由 Triton 推理服務器管理。

2019 年，美國郵政總局 （USPS） 每天需要識別和跟蹤超過 1 億封郵件。

USPS 的 AI 架構師 Ryan Simpson 提出了一個想法。他希望將郵政團隊正在開發(fā)的一個圖像分析系統(tǒng)擴展到更廣泛的領域，以解決這個大海撈針的問題。

他認為如果將邊緣 AI 服務器戰(zhàn)略性地部署在其處理中心，USPS 便能夠分析每個中心生成的數(shù)十億張圖像。分析結果（以幾個關鍵數(shù)據(jù)點表示）可以通過網(wǎng)絡快速分享。

這位數(shù)據(jù)科學家和來自 NVIDIA 的六位架構師以及其他人設計了在為期三周的開發(fā)周期中所需的深度學習模型，這個開發(fā)周期就像是一場漫長的黑客馬拉松。這項工作是邊緣計算基礎設施計劃 （ECIP） 的開端，該計劃是一個分布式邊緣 AI 系統(tǒng)，目前正在 USPS 的 NVIDIA EGX 平臺運行。

邊緣AI平臺

事實證明，邊緣 AI 能夠實現(xiàn)不錯的性能。ECIP 已在運行另一款類似自動眼睛的應用程序，用于跟蹤各種業(yè)務需求的物品。

負責監(jiān)管各個系統(tǒng)（包括 ECIP）的經(jīng)理 Todd Schimmel 表示：“過去需要八到十個人花上幾天才能找到包裹，現(xiàn)在只需一兩個人幾個小時就能分揀好。”ECIP 使用的是慧與（HPE）的 NVIDIA 認證邊緣服務器。

另一項分析更能說明問題。該分析表明，在擁有 800 個 CPU 的服務器網(wǎng)絡上需要兩周時間完成的一項計算機視覺任務，而基于一臺 HPE Apollo 6500 服務器上的 4 個 NVIDIA V100 Tensor Core GPU，只需 20 分鐘就能完成。

如今，每個邊緣服務器每天可以處理來自 1000 多臺郵件處理機器的 20 TB 圖像。NVIDIA 開源軟件 Triton 推理服務器充當數(shù)字郵遞員，可以根據(jù) 195 個系統(tǒng)的需求和適合方式，分別提供 AI 模型。

適用于邊緣的新一代應用程序

USPS 提出了適用于 ECIP 的新一代應用程序的需求，該應用程序使用光學字符識別 （OCR） 來簡化其成像工作流程。

“過去，我們會購買新的硬件、軟件，即 OCR 的整個基礎設施；或者使用公共云服務，我們必須將圖像傳輸至云端，這需要大量的帶寬，而且上傳大約 10 億張圖像會花費大量成本。”Schimmel 說。

現(xiàn)如今，新的 OCR 用例將在由 Kubernetes 管理、Triton 提供服務的 ECIP 容器內(nèi)作為深度學習模型運行。

借助這個系統(tǒng)軟件，ECIP 在疫情最初幾周順利完成了初始部署。運營商準備好容器，讓首批系統(tǒng)開始運行，同時交付其他系統(tǒng)，并在安裝各個節(jié)點的完整網(wǎng)絡時更新這些系統(tǒng)。

Schimmel 表示：“部署非常順利。”隨后又補充道：“我們在 2019 年 9 月簽訂合同，2020 年 2 月開始部署系統(tǒng)，到 8 月完成了大部分硬件部署，USPS 對此很滿意。”

Triton加快模型交付

作為 ECIP 計劃中軟件的一部分，Triton 可以自動將不同的 AI 模型交付到不同系統(tǒng)，這些系統(tǒng)可能擁有不同版本的 GPU 和 CPU，支持不同的深度學習框架。這為邊緣 AI 系統(tǒng)節(jié)省了大量時間，例如擁有近 200 臺分布式服務器的 ECIP 網(wǎng)絡。

一個檢查郵件的應用程序需要 6 個以上的深度學習模型支持，每個模型負責檢查特定功能。此外，運營商還期望借助更多的模型來增強應用程序，從而在未來實現(xiàn)更多功能。

Schimmel 表示：“我們目前部署的模型有助于管理郵件和郵政服務，這有助于我們維護使命。”

一批邊緣AI應用程序

目前為止，從企業(yè)分析到金融和營銷，USPS 的各個部門已經(jīng)提出了 30 個 ECIP 應用程序的想法。Schimmel 希望今年能啟動并實現(xiàn)其中幾個應用。

一個系統(tǒng)能自動檢查包裹的郵費是否符合其大小、重量和目的地。另一個系統(tǒng)則能自動破譯損壞的條形碼，該系統(tǒng)最快能在今年夏天上線。

他說道：“這對我們和客戶都大有益處。我們可以知道一個特定包裹位于何處。AI 解決方案雖然不是萬能的，但它可以填補空白、提升我們的表現(xiàn)。”

這項工作屬于 USPS 更宏偉的目標，他們希望能探索數(shù)字足跡，以造福客戶的方式解鎖數(shù)據(jù)的價值。

他表示：“我們處于邊緣 AI 之旅的起步階段。我們的員工每天都在思考將機器學習應用于機器人、數(shù)據(jù)處理和圖像處理的新方法。”

編輯：jq