分析是一個非常通用的術(shù)語，用于關(guān)聯(lián)和消化原始數(shù)據(jù)以產(chǎn)生更有用的結(jié)果。分析算法可以像數(shù)據(jù)縮減或傳感器讀數(shù)流的平均一樣簡單，也可以像最復(fù)雜的人工智能或機(jī)器學(xué)習(xí) (AI/ML) 系統(tǒng)一樣復(fù)雜。如今，分析通常在云中執(zhí)行，因?yàn)樗亲罹呖蓴U(kuò)展性和成本效益的解決方案。然而，在未來，分析將越來越多地分布在云、邊緣計算和端點(diǎn)設(shè)備上，以利用它們改進(jìn)的延遲、網(wǎng)絡(luò)帶寬、安全性和可靠性。在這里，我們將討論一些與傳統(tǒng)云邊界之外的分布式分析相關(guān)的架構(gòu)和權(quán)衡。

分布式分析如何增加價值

簡單的分析涉及數(shù)據(jù)縮減、關(guān)聯(lián)和平均，從而導(dǎo)致輸出數(shù)據(jù)流比輸入數(shù)據(jù)小得多。考慮為大型建筑物供應(yīng)淡水的系統(tǒng)。了解系統(tǒng)中各個點(diǎn)的壓力和流量以優(yōu)化泵和監(jiān)控消耗可能很有價值。這可能涉及分布在分配管道周圍的一系列壓力和流量傳感器。軟件會定期詢問傳感器，調(diào)整泵設(shè)置，并為建筑經(jīng)理創(chuàng)建消耗報告。但是，傳感器的原始讀數(shù)可能會產(chǎn)生誤導(dǎo)——例如，沖洗固定裝置時的瞬間壓力下降。分析算法可以對給定傳感器隨時間的讀數(shù)進(jìn)行平均，并組合和關(guān)聯(lián)來自多個傳感器的讀數(shù)，以創(chuàng)建更準(zhǔn)確和有用的管道狀況圖。所有這些讀數(shù)都可以發(fā)送到基于云的分析，但如果傳感器自己進(jìn)行一些平均，而本地邊緣計算機(jī)進(jìn)行關(guān)聯(lián)和報告，這將是一個更高效的架構(gòu)。這就是分布式分析，它可以提高許多分析系統(tǒng)的效率、準(zhǔn)確性和成本。

當(dāng)采用 AI/ML 技術(shù)時，分析變得更加復(fù)雜。AI/ML 通常分兩個階段運(yùn)行：

模型構(gòu)建階段，其中大量數(shù)據(jù)被提煉為 AI/ML 系統(tǒng)生成模型

推理階段，該模型通常實(shí)時應(yīng)用于系統(tǒng)中的數(shù)據(jù)流以生成所需的結(jié)果

在今天的系統(tǒng)中，模型幾乎總是建立在大型服務(wù)器群或云端，通常作為離線過程。然后，將生成的 AI/ML 模型打包并運(yùn)送到不同的系統(tǒng)，這些系統(tǒng)在實(shí)時數(shù)據(jù)上運(yùn)行模型的推理階段，從而生成所需的結(jié)果。推理階段可以在云端運(yùn)行，但最近一直在向邊緣移動，以改善延遲、網(wǎng)絡(luò)帶寬、可靠性和安全性。在決定為每個階段使用哪個級別的計算資源時，權(quán)衡是值得考慮的。

AI/ML 的推理階段

AI/ML 的推理階段相對容易分布在多個對等級處理器或處理層的上下層次結(jié)構(gòu)中。如果模型是預(yù)先計算的，則 AI/ML 算法運(yùn)行的數(shù)據(jù)可以跨多個處理器拆分并并行運(yùn)行。在多個對等級處理器之間拆分工作負(fù)載可提供容量、性能和規(guī)模優(yōu)勢，因?yàn)殡S著工作負(fù)載的增加，可以使用更多的計算資源。它還可以提高系統(tǒng)可靠性，因?yàn)槿绻粋€處理器出現(xiàn)故障，相鄰的處理器仍然可以完成工作。推理也可以在層次結(jié)構(gòu)的多個級別之間進(jìn)行拆分，也許算法的不同部分在處理器的不同級別上運(yùn)行。這允許以邏輯方式拆分 AI/ML 算法，允許層次結(jié)構(gòu)的每個級別執(zhí)行算法的最有效子集。例如，在視頻分析 AI/ML 系統(tǒng)中，攝像頭中的智能可以執(zhí)行自適應(yīng)對比度增強(qiáng)，將此數(shù)據(jù)交給邊緣計算機(jī)執(zhí)行特征提取，將其發(fā)送到附近的數(shù)據(jù)中心執(zhí)行對象識別，最后發(fā)送到云端可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。

AI/ML 算法的學(xué)習(xí)階段

AI/ML 算法的學(xué)習(xí)階段更難分配。問題是上下文大小。為了準(zhǔn)備模型，AI/ML 系統(tǒng)獲取大量訓(xùn)練數(shù)據(jù)，并使用各種復(fù)雜的學(xué)習(xí)階段算法對其進(jìn)行消化，以生成在推理階段相對容易執(zhí)行的模型。如果在給定的計算節(jié)點(diǎn)上只有一部分訓(xùn)練數(shù)據(jù)可用，則算法將難以泛化模型。這就是為什么訓(xùn)練最常在云端進(jìn)行，那里的內(nèi)存和存儲空間幾乎是無限的。然而，某些場景要求訓(xùn)練算法分布在多個對等級計算節(jié)點(diǎn)或云到邊緣層次結(jié)構(gòu)的上下。特別是，邊緣學(xué)習(xí)使學(xué)習(xí)過程能夠從附近的傳感器收集大量訓(xùn)練數(shù)據(jù)，并在沒有云參與的情況下對其采取行動——這可以改善延遲、可靠性、安全性和網(wǎng)絡(luò)帶寬。先進(jìn)的分布式學(xué)習(xí)算法正在開發(fā)中以應(yīng)對這些挑戰(zhàn)。

結(jié)論

AI/ML 是幾乎所有電子系統(tǒng)的重要未來能力。了解如何在計算資源層次結(jié)構(gòu)中劃分這些系統(tǒng)的推理和訓(xùn)練能力的選項是我們未來成功的關(guān)鍵。

該博客由 Charles Byers 撰寫，最初于 2020 年發(fā)布。貿(mào)澤于 2021 年 6 月更新了該博客。

“ 后退

分享2

CHARLES C. BYERS 是工業(yè)互聯(lián)網(wǎng)聯(lián)盟的副首席技術(shù)官，現(xiàn)在加入了 OpenFog。他致力于邊緣霧計算系統(tǒng)、通用平臺、媒體處理系統(tǒng)和物聯(lián)網(wǎng)的架構(gòu)和實(shí)施。此前，他是思科的首席工程師和平臺架構(gòu)師，以及阿爾卡特朗訊的貝爾實(shí)驗(yàn)室研究員。在電信網(wǎng)絡(luò)行業(yè)的三十年中，他在語音交換、寬帶接入、融合網(wǎng)絡(luò)、VoIP、多媒體、視頻、模塊化平臺、邊緣霧計算和物聯(lián)網(wǎng)等領(lǐng)域做出了重大貢獻(xiàn)。他還是多個標(biāo)準(zhǔn)機(jī)構(gòu)的領(lǐng)導(dǎo)者，包括擔(dān)任工業(yè)互聯(lián)網(wǎng)聯(lián)盟和 OpenFog 聯(lián)盟的首席技術(shù)官，并且是 PICMG 的 AdvancedTCA、AdvancedMC、

Byers 先生在威斯康星大學(xué)麥迪遜分校獲得電氣和計算機(jī)工程學(xué)士學(xué)位以及電氣工程碩士學(xué)位。在業(yè)余時間，他喜歡旅行、烹飪、騎自行車和在他的工作室里修修補(bǔ)補(bǔ)。他擁有 80 多項美國專利。

審核編輯黃昊宇