作者

英特爾AI軟件布道師

武卓博士

曾主持國家級(jí)及省部級(jí)科研項(xiàng)目十余項(xiàng)，已授權(quán)國際國內(nèi)專利十余項(xiàng)。

目前，數(shù)字化浪潮席卷全球，人類社會(huì)已經(jīng)進(jìn)入智能時(shí)代。萬物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實(shí)現(xiàn)數(shù)字化智能化的重要架構(gòu)之一。本文我們將簡要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開源的OpenVINO工具套件，在“端—邊—云”快速實(shí)現(xiàn)高性能人工智能推理。

1邊云協(xié)同的必要性及

OpenVINO工具套件簡介

眾所周知，18世紀(jì)60年代人類開始了第一次工業(yè)革命，從此進(jìn)入“蒸汽時(shí)代”，接著進(jìn)入了電氣時(shí)代和信息時(shí)代，當(dāng)前人類社會(huì)正在發(fā)生第四次工業(yè)革命，即智能時(shí)代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)上指出，要擁抱四大超級(jí)技術(shù)力量。這四大超級(jí)技術(shù)力量分別是：第一，無所不在的計(jì)算。計(jì)算能力正滲透到我們生活的方方面面，作為人和技術(shù)的交互點(diǎn)，跨越現(xiàn)有和新興設(shè)備。第二，無處不在的連接，即萬物互聯(lián)。第三，從云到邊緣的基礎(chǔ)設(shè)施。它創(chuàng)造一個(gè)動(dòng)態(tài)可靠的路徑來連接計(jì)算和數(shù)據(jù)，實(shí)現(xiàn)規(guī)模和容量無限擴(kuò)展的云與無限延伸的智能邊緣相結(jié)合。第四是人工智能。這四大超級(jí)技術(shù)力量并不是技術(shù)孤島，而且相互協(xié)同，相互融合，共同推動(dòng)產(chǎn)業(yè)的巨大變革。

四大超級(jí)技術(shù)力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應(yīng)的節(jié)點(diǎn)做快速且及時(shí)的處理，從而減少數(shù)據(jù)處理的延時(shí)；高價(jià)值數(shù)據(jù)經(jīng)過邊緣提取后，高效率的傳遞到云端，借助云端的超級(jí)計(jì)算力量挖掘數(shù)據(jù)背后隱含的價(jià)值，讓用戶可以開發(fā)相應(yīng)的服務(wù)，實(shí)現(xiàn)科技向善。沒有邊云協(xié)同，這四大超級(jí)技術(shù)力量將被割裂，數(shù)據(jù)將成為孤島，智能時(shí)代要求的智能化、無人化和集群化將無法實(shí)現(xiàn)。如下圖所示，將云端規(guī)模開發(fā)的優(yōu)勢與邊緣端推理的好處結(jié)合起來，能夠使得邊云協(xié)同的優(yōu)勢發(fā)揮到最大化，將無限的數(shù)據(jù)變成可操作的洞察力。

下圖是一個(gè)智能制造工廠中，利用“端—邊—云”協(xié)同架構(gòu)，利用人工智能技術(shù)實(shí)現(xiàn)實(shí)時(shí)產(chǎn)品缺陷檢測的例子。在這個(gè)場景中，每個(gè)工位構(gòu)成了“端”，在工位上架設(shè)的攝像頭可以每秒采集超過400張產(chǎn)品生產(chǎn)過程中的圖片。因此，在端這一側(cè)利用 AI 推理技術(shù)，對(duì)實(shí)時(shí)產(chǎn)生的大量圖片進(jìn)行 AI 推理，從而避免將海量數(shù)據(jù)同時(shí)傳輸?shù)皆贫水a(chǎn)生的高成本及延時(shí)。生產(chǎn)流水線構(gòu)成了這個(gè)場景中的“邊”，一些更為復(fù)雜的推理任務(wù)可以實(shí)時(shí)的在邊側(cè)完成，并進(jìn)行跨工位的調(diào)度。最終所有的推理結(jié)果可以進(jìn)一步推送到云端，進(jìn)行數(shù)據(jù)集中以及更為深層次的分析，同時(shí)邊緣端產(chǎn)生的部分?jǐn)?shù)據(jù)也可以推送至云端，作為訓(xùn)練數(shù)據(jù)的補(bǔ)充，用于對(duì)深度學(xué)習(xí)模型進(jìn)行重訓(xùn)練，以獲得更高的準(zhǔn)確性。

通過上述的例子，我們可以看出，在邊云協(xié)同的架構(gòu)中，一個(gè)很重要的步驟就是將 AI 的推理擴(kuò)展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時(shí)進(jìn)行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實(shí)時(shí)決策。而能夠?qū)崿F(xiàn)邊緣端方便進(jìn)行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開源的OpenVINO工具套件。

OpenVINO工具套件經(jīng)過近四年的發(fā)展和演進(jìn)，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學(xué)習(xí)框，更可以支持深受中國開發(fā)者喜愛的 PaddlePaddle 飛槳深度學(xué)習(xí)框架。同時(shí)，為了方便開發(fā)者在邊緣端部署深度學(xué)習(xí)模型，實(shí)現(xiàn)“一次撰寫，任意部署（Write once，deploy anywhere）”的目的，OpenVINO可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個(gè)硬件平臺(tái)的部署。只需要改動(dòng)一行代碼，就可以實(shí)現(xiàn)多硬件平臺(tái)部署。

尤為值得一提的是，在 OpenVINO2022.1版本中，為了使得開發(fā)者更加便捷的使用 OpenVINO進(jìn)行深度學(xué)習(xí)的推理，更推出了 AUTO 插件（“auto device”）。開發(fā)者只需要使用這樣的一行代碼

就可以在邊緣端實(shí)施 AI 推理時(shí)，由 AUTO 插件自動(dòng)化的檢測開發(fā)者環(huán)境中可以用來進(jìn)行 AI 推理的設(shè)備，并自動(dòng)化的選擇更為合適的硬件設(shè)備進(jìn)行 AI 推理。另外，根據(jù)不同使用場景的使用需求不同，AUTO 插件在使用時(shí)，還允許開發(fā)者選擇不同的“performance hint”性能指標(biāo)模式，從而按照使用需求，獲得高吞吐量或者低延時(shí)的推理性能。

2在微軟云機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上利用

OpenVINO快速實(shí)現(xiàn) AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進(jìn)行快速部署以外，在云端，比如微軟云 Azure 的機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上，也可以利用 OpenVINO工具套件快速實(shí)現(xiàn)深度學(xué)習(xí)模型的部署，并進(jìn)行相應(yīng)的深度學(xué)習(xí)模型的優(yōu)化及推理加速。實(shí)現(xiàn)步驟如下：

步驟一

在 Azure 上注冊個(gè)人賬號(hào)，并在機(jī)器學(xué)習(xí)平臺(tái)上建立自己的工作室，就類似于建立一個(gè)自己運(yùn)行推理的專用路徑。工作室建立好之后，每次運(yùn)行 AI 推理時(shí)，只需要點(diǎn)擊“啟動(dòng)工作室”之后，就可以進(jìn)入可以進(jìn)行模型部署及推理的頁面了。

步驟二

在啟動(dòng)工作室之后，即進(jìn)入以下頁面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源，因此，我們在頁面上相應(yīng)選擇Notebooks，即進(jìn)入可以使用Jupyter Notebook 運(yùn)行代碼，進(jìn)行 AI 推理的頁面。

頁面地址：https://github.com/openvinotoolkit/openvino_notebooks

步驟三

在進(jìn)入 Notebooks 頁面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁面以 git clone 的方式，直接將OpenVINO Notebooks 在 GitHub 上的資源導(dǎo)入在 Azure ML 平臺(tái)上的工作室。

所有 notebooks 代碼示例導(dǎo)入過后，即可看到文件夾內(nèi)包含的所有代碼示例。

步驟四

申請 Azure 上的計(jì)算資源，運(yùn)行 notebook 代碼。

以運(yùn)行 Notebook 213 機(jī)器問答代碼示例，在申請好并打開計(jì)算資源的使用后，運(yùn)行機(jī)器問答 notebook 代碼示例，運(yùn)行結(jié)果如下，

3小結(jié)：

在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠?qū)崿F(xiàn)快速深度學(xué)習(xí)模型優(yōu)化、推理及任意部署的英特爾開源 OpenVINO工具套件。并通過一個(gè)實(shí)例，向大家展示了如何在 Azure 機(jī)器學(xué)習(xí)平臺(tái)上利用 OpenVINO快速實(shí)現(xiàn)深度學(xué)習(xí)模型的推理。

關(guān)于英特爾 OpenVINO開源工具套件的詳細(xì)資料，包括其中我們提供的三百多個(gè)經(jīng)驗(yàn)證并優(yōu)化的預(yù)訓(xùn)練模型的詳細(xì)資料，請您點(diǎn)擊：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外，為了方便大家了解并快速掌握 OpenVINO工具套件的使用，我們還提供了一系列開源的 Jupyter notebook demo。運(yùn)行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO工具套件實(shí)現(xiàn)一系列、包括 OCR 在內(nèi)的、計(jì)算機(jī)視覺及自然語言處理任務(wù)。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯：湯梓紅