Cloud-native 是與 Edge AI 相關(guān)的最重要的概念之一。這是因?yàn)?cloud native 為應(yīng)用程序部署提供了大規(guī)模支持。它還提供了性能、彈性和易管理性，這些都是 Edge AI 的關(guān)鍵功能。云本機(jī)和邊緣 AI 如此交織，以至于我們相信 Edge AI 的未來(lái)是云本地的 。

這篇文章概述了云本機(jī)組件以及準(zhǔn)備好應(yīng)用程序云本機(jī)的步驟。我將向您展示如何在 NVIDIA Fleet Command ，這是一種云服務(wù)，用于在邊緣部署和管理應(yīng)用程序，采用云本機(jī)原則構(gòu)建。

如果遵循所有這些步驟，結(jié)果就是可以輕松地在 Fleet Command 和其他云本機(jī)部署和管理平臺(tái)上部署云本機(jī)應(yīng)用程序。

什么是云本機(jī)？

Cloud native 是一種開(kāi)發(fā)和運(yùn)行應(yīng)用程序的方法，它包含了云計(jì)算交付模型的靈活性、可伸縮性和彈性。云本機(jī)方法允許組織構(gòu)建具有彈性和可管理性的應(yīng)用程序，從而允許更靈活的應(yīng)用程序部署。

云本機(jī)開(kāi)發(fā)的關(guān)鍵原則有：

微服務(wù)

容器

舵圖

CI / CD

DevOps 公司

什么是微服務(wù)？

微服務(wù)是軟件開(kāi)發(fā)的一種形式，其中應(yīng)用程序被分解為更小的、自包含的服務(wù)，這些服務(wù)相互通信。這些自包含服務(wù)是獨(dú)立的，這意味著它們中的每一個(gè)都可以自己更新、部署和擴(kuò)展，而不會(huì)影響應(yīng)用程序中的其他服務(wù)。

微服務(wù)使開(kāi)發(fā)應(yīng)用程序更快，更新、部署和擴(kuò)展這些更新的過(guò)程更容易。

什么是容器？

容器是一個(gè)軟件包，它包含在任何計(jì)算環(huán)境中可靠運(yùn)行應(yīng)用程序所需的所有信息和依賴(lài)項(xiàng)。容器可以輕松地部署在不同的操作系統(tǒng)上，并提供可移植性和應(yīng)用程序隔離。

整個(gè)應(yīng)用程序可以被容器化，但應(yīng)用程序的各個(gè)部分也可以被容器化。例如，容器與微服務(wù)配合得非常好，在微服務(wù)中，應(yīng)用程序被分解為小型、自給自足的組件。每個(gè)微服務(wù)都可以在容器中打包、部署和管理）。此外，可以在集群中部署和管理多個(gè)容器。

容器非常適合邊緣部署，因?yàn)樗鼈兪鼓軌驅(qū)?yīng)用程序、依賴(lài)項(xiàng)和環(huán)境變量一次性安裝到容器映像中，而不是安裝在應(yīng)用程序運(yùn)行的每個(gè)系統(tǒng)上，從而使管理多個(gè)部署變得非常簡(jiǎn)單。

這對(duì)于邊緣交換非常重要，因?yàn)橐粋€(gè)組織可能需要在一個(gè)巨大的物理距離上安裝和管理數(shù)百或數(shù)千個(gè)不同的部署，因此盡可能多地自動(dòng)化部署過(guò)程至關(guān)重要。

什么是舵圖？

對(duì)于復(fù)雜的容器部署，例如跨多個(gè)站點(diǎn)和多個(gè)系統(tǒng)部署多個(gè)應(yīng)用程序，許多組織使用 Helm charts 。 Helm 是一個(gè)運(yùn)行在 Kubernetes （稍后討論）之上的應(yīng)用程序包管理器。沒(méi)有它，您必須為每個(gè)工作負(fù)載手動(dòng)創(chuàng)建單獨(dú)的 YAML 文件，指定部署所需的所有詳細(xì)信息，從 pod 配置到負(fù)載平衡。

Helm charts 通過(guò)允許組織定義可重用的部署模板，以及版本控制和在部署過(guò)程中定制應(yīng)用程序等其他好處，消除了這一繁瑣的過(guò)程。

什么是 CI / CD ？

持續(xù)集成（ CI ）使您能夠協(xié)作地迭代和測(cè)試新代碼，通常是通過(guò)將其集成到共享存儲(chǔ)庫(kù)中。

連續(xù)交付（ CD ）是從 CI 階段獲取新構(gòu)建并將其加載到存儲(chǔ)庫(kù)的自動(dòng)化過(guò)程，在存儲(chǔ)庫(kù)中可以輕松地將其部署到生產(chǎn)中。

在將新代碼集成到現(xiàn)有解決方案中時(shí)，適當(dāng)?shù)?CI / CD 流程可以避免服務(wù)中斷。

什么是 DevOps ？

術(shù)語(yǔ) DevOps 指的是合并開(kāi)發(fā)人員和運(yùn)營(yíng)團(tuán)隊(duì)的過(guò)程，以簡(jiǎn)化開(kāi)發(fā)和向客戶(hù)交付應(yīng)用程序的過(guò)程。

DevOps 對(duì)于云本地技術(shù)非常重要，因?yàn)檫@兩個(gè)概念的理念都集中于持續(xù)、輕松地向客戶(hù)提供解決方案，并創(chuàng)建端到端的開(kāi)發(fā)管道以加速更新和迭代。

什么是云本機(jī)管理？

既然已經(jīng)解釋了云本機(jī)的核心原則，那么討論如何在生產(chǎn)中管理云本機(jī)應(yīng)用程序就很重要了。

編排容器的主要平臺(tái)是 Kubernetes 。 Kubernetes 是開(kāi)源的，允許組織部署、管理和擴(kuò)展容器化應(yīng)用程序。

一些組織已經(jīng)在 Kubernetes 之上構(gòu)建了企業(yè)級(jí)解決方案，以提供獨(dú)特的優(yōu)勢(shì)和功能：

Red Hat OpenShift

VMWare Tanzu

Azure Kubernetes 服務(wù)

NVIDIA Fleet Command

為任何 Kubernetes 平臺(tái)準(zhǔn)備應(yīng)用程序的過(guò)程，無(wú)論是 Kubernetes 本身還是構(gòu)建在 Kubernetes 之上的解決方案，本質(zhì)上都是相同的。每個(gè)解決方案都有特定的配置步驟，以確保組織的云本機(jī)應(yīng)用程序可以有效運(yùn)行而不會(huì)出現(xiàn)問(wèn)題。

使用 NVIDIA Fleet Command 部署云本機(jī)應(yīng)用程序

本節(jié)以 NVIDIA Fleet Command 為例介紹配置過(guò)程，并指出所需的具體配置。

第 0 步：理解 Fleet Command

Fleet Command 是一種用于跨不同邊緣位置管理應(yīng)用程序的云服務(wù)。它基于 Kubernetes 構(gòu)建并部署云本機(jī)應(yīng)用程序，因此將應(yīng)用程序放到 Fleet Command 上的步驟與將應(yīng)用程序放到其他云本機(jī)管理平臺(tái)上的步驟相同。

假設(shè)應(yīng)用程序已經(jīng)構(gòu)建，將該應(yīng)用程序安裝到 Fleet Command 上只需四個(gè)步驟：

將應(yīng)用程序容器化

確定應(yīng)用程序要求

建立舵圖

在 Fleet Command 上部署

步驟 1 ：將應(yīng)用程序容器化

Fleet Command 將應(yīng)用程序部署為容器。通過(guò)使用容器，您可以在同一系統(tǒng)上部署多個(gè)應(yīng)用程序，還可以輕松地跨多個(gè)系統(tǒng)和位置擴(kuò)展應(yīng)用程序。此外，所有依賴(lài)項(xiàng)都打包在容器中，因此您知道應(yīng)用程序?qū)⒃跀?shù)千個(gè)系統(tǒng)中執(zhí)行相同的操作。

為應(yīng)用程序構(gòu)建容器很容易。有關(guān)更多信息，請(qǐng)參閱 容器裝卸工指南 。

下面是一個(gè) Dockerfile 示例，用于使用 NVIDIA CUDA 基本映像構(gòu)建的自定義深度學(xué)習(xí)容器：

FROM nvcr.io/nvidia/cuda:11.3.0-base-ubuntu18.04
CMD nvidia-smi #set up environment
RUN apt-get update && apt-get install --no-install-recommends --no-install-suggests -y curl
RUN apt-get install unzip
RUN apt-get -y install python3
RUN apt-get -y install python3-pip #copies the application from local path to container path
COPY app/ /app/
WORKDIR /app #Install the dependencies
RUN pip3 install -r /app/requirements.txt ENV MODEL_TYPE='EfficientDet'
ENV DATASET_LINK='HIDDEN'
ENV TRAIN_TIME_SEC=100 CMD ["python3", "train.py"]

在本例中，/app/包含所有源代碼。為容器創(chuàng)建 Dockerfile 后，可以使用該文件構(gòu)建容器，然后將其上載到云中的私有注冊(cè)表，以便可以輕松地將容器部署到任何位置。

步驟 2 ：確定應(yīng)用程序需求

容器完成后，需要確定應(yīng)用程序正常運(yùn)行所需的內(nèi)容。這通常涉及到考慮安全、網(wǎng)絡(luò)和存儲(chǔ)需求。

Fleet Command 是一個(gè)安全的軟件堆棧，它能夠控制應(yīng)用程序在其部署的系統(tǒng)中可以訪(fǎng)問(wèn)哪些硬件和軟件。因此，您的應(yīng)用程序應(yīng)該圍繞以下安全最佳實(shí)踐進(jìn)行設(shè)計(jì)：

避免特權(quán)容器

將管理員和應(yīng)用程序流量與存儲(chǔ)流量分離

最小化系統(tǒng)設(shè)備訪(fǎng)問(wèn)

等等

圍繞這些安全需求設(shè)計(jì)應(yīng)用程序部署，在以后配置網(wǎng)絡(luò)和存儲(chǔ)時(shí)牢記這些安全需求。

下一步是確定需要什么樣的網(wǎng)絡(luò)訪(fǎng)問(wèn)需求，以及如何從容器中公開(kāi)網(wǎng)絡(luò)。

通常，應(yīng)用程序需要不同的端口和路由來(lái)訪(fǎng)問(wèn)任何邊緣傳感器和設(shè)備、管理流量、存儲(chǔ)流量和應(yīng)用程序（云）流量。這些端口可以使用NodePorts或更高級(jí)的 Kubernetes 網(wǎng)絡(luò)配置（如入口控制器）從 Fleet Command 公開(kāi)。

最后，應(yīng)用程序可能需要訪(fǎng)問(wèn)本地或遠(yuǎn)程存儲(chǔ)以保存持久數(shù)據(jù)。 Fleet Command 支持hostPath卷裝載功能。還可以使用其他 Kubernetes 功能，例如持久卷和持久卷聲明。

如果需要，可以在 Fleet Command 系統(tǒng)上單獨(dú)部署本地路徑或 NFS 供應(yīng)器，以配置本地或遠(yuǎn)程存儲(chǔ)。如果應(yīng)用程序支持此功能，還可以將其配置為連接到云存儲(chǔ)。

有關(guān)更多信息，請(qǐng)參閱 Fleet Command 應(yīng)用程序開(kāi)發(fā)指南 。

步驟 3 ：建立舵圖

既然應(yīng)用程序需求已經(jīng)確定，現(xiàn)在就應(yīng)該創(chuàng)建一個(gè) Helm chart 。

與容器一樣，F(xiàn)leet Command 上的 Helm 圖表也有一些特定要求。以下是一個(gè) NVIDIA DeepStream Helm 圖表 的示例，作為參考，以幫助構(gòu)建部署在 Fleet Command 中的舵圖。

要從頭開(kāi)始創(chuàng)建您自己的頭盔圖表，請(qǐng)首先運(yùn)行以下命令創(chuàng)建示例頭盔圖表。此命令使用 NGINX Docker 容器生成一個(gè)示例舵圖，然后可以為任何應(yīng)用程序自定義該容器。

$ helm create deepstream

創(chuàng)建舵圖后，該圖的目錄結(jié)構(gòu)如下所示：

deepstream
|-- Chart.yaml |-- charts |-- templates | |-- NOTES.txt | |-- _helpers.tpl | |-- deployment.yaml
| |-- ingress.yaml
| `-- service.yaml
`-- values.yaml 

接下來(lái)，修改這些值。具有以下突出顯示值的 yaml 文件，用于配置 DeepStream 容器和網(wǎng)絡(luò)的示例舵圖。

image: repository: nvcr.io/nvidia/deepstream pullPolicy: IfNotPresent # Overrides the image tag whose default is the chart appVersion. tag: 5.1-21.02-samples imagePullSecrets: []
nameOverride: ""
fullnameOverride: "" serviceAccount: # Specifies whether a service account should be created create: false # Annotations to add to the service account annotations: {} # The name of the service account to use. # If not set and create is true, a name is generated using the fullname template name: "" podAnnotations: {} podSecurityContext: {} # fsGroup: 2000 securityContext: {} # capabilities: # drop: # - ALL # readOnlyRootFilesystem: true # runAsNonRoot: true # runAsUser: 1000 service: type: NodePort port: 8554 nodeport: 31113

創(chuàng)建自定義舵圖后，可以將其上載到容器旁邊的專(zhuān)用注冊(cè)表。

步驟 4 ：在 Fleet Command 上部署

將應(yīng)用程序容器化并構(gòu)建舵圖后，將應(yīng)用程序加載到 Fleet Command 。應(yīng)用程序加載到 NGC 上，這是一個(gè)用于 GPU 加速的應(yīng)用程序、模型和容器的中心，然后可以在 Fleet Command 上部署。應(yīng)用程序可以是公共的，但也可以托管在私有注冊(cè)表中，在該注冊(cè)表中，訪(fǎng)問(wèn)權(quán)限僅限于組織。

整個(gè)過(guò)程將在 Fleet Command 用戶(hù)指南 ，但在 Fleet Command 演示視頻 。

獎(jiǎng)勵(lì)步驟：加入我們的合作伙伴生態(tài)系統(tǒng)

最近， NVIDIA 宣布擴(kuò)大 NVIDIA Metropolis 合作伙伴計(jì)劃 現(xiàn)在包括 Fleet Command 。 Metropolis 的合作伙伴如果將其應(yīng)用程序配置為部署在 Fleet Command 上，則可以免費(fèi)訪(fǎng)問(wèn)該解決方案，以便為客戶(hù)操作 POC 。通過(guò)使用 Fleet Command ，合作伙伴無(wú)需在客戶(hù)環(huán)境中構(gòu)建定制的解決方案進(jìn)行評(píng)估。他們可以使用 Fleet Command 并在幾分鐘內(nèi)將其應(yīng)用程序部署到客戶(hù)站點(diǎn)。

開(kāi)始使用云本機(jī)

這篇文章介紹了云本機(jī)技術(shù)的核心原則，以及如何使用 Fleet Command 讓?xiě)?yīng)用程序做好云本機(jī)準(zhǔn)備。

您的下一步是獲得在云本機(jī)環(huán)境中部署和管理應(yīng)用程序的實(shí)踐經(jīng)驗(yàn)。 NVIDIA LaunchPad 可以提供幫助。

LaunchPad 提供對(duì) Fleet Command 實(shí)例的即時(shí)、短期訪(fǎng)問(wèn)，以便在實(shí)際服務(wù)器上輕松部署和監(jiān)控實(shí)際應(yīng)用程序。動(dòng)手實(shí)驗(yàn)室將引導(dǎo)您完成整個(gè)過(guò)程，從基礎(chǔ)設(shè)施配置和優(yōu)化到在適用用例的上下文中部署應(yīng)用程序，例如在網(wǎng)絡(luò)邊緣部署 vision AI 應(yīng)用程序。

關(guān)于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計(jì)算解決方案的產(chǎn)品營(yíng)銷(xiāo)經(jīng)理。在加入 Edge & Enterprise 業(yè)務(wù)部門(mén)之前，特洛伊曾在自主汽車(chē)業(yè)務(wù)部門(mén)和 NVIDIA 電網(wǎng)產(chǎn)品集團(tuán)從事?tīng)I(yíng)銷(xiāo)活動(dòng)和支持產(chǎn)品 GTM 。

審核編輯：郭婷