超越云端的分布式分析

分析是一個非常通用的術語，用于關聯(lián)和消化原始數(shù)據(jù)以產(chǎn)生更有用的結果。分析算法可以像數(shù)據(jù)縮減或傳感器讀數(shù)流的平均一樣簡單，也可以像最復雜的人工智能或機器學習 (AI/ML) 系統(tǒng)一樣復雜。如今，分析通常在云中執(zhí)行，因為它是最具可擴展性和成本效益的解決方案。然而，在未來，分析將越來越多地分布在云、邊緣計算和端點設備上，以利用它們改進的延遲、網(wǎng)絡帶寬、安全性和可靠性。在這里，我們將討論一些與傳統(tǒng)云邊界之外的分布式分析相關的架構和權衡。

分布式分析如何增加價值

簡單的分析涉及數(shù)據(jù)縮減、關聯(lián)和平均，從而導致輸出數(shù)據(jù)流比輸入數(shù)據(jù)小得多?？紤]為大型建筑物供應淡水的系統(tǒng)。了解系統(tǒng)中各個點的壓力和流量以優(yōu)化泵和監(jiān)控消耗可能很有價值。這可能涉及分布在分配管道周圍的一系列壓力和流量傳感器。軟件會定期詢問傳感器，調(diào)整泵設置，并為建筑經(jīng)理創(chuàng)建消耗報告。但是，傳感器的原始讀數(shù)可能會產(chǎn)生誤導——例如，沖洗固定裝置時的瞬間壓力下降。分析算法可以對給定傳感器隨時間的讀數(shù)進行平均，并組合和關聯(lián)來自多個傳感器的讀數(shù)，以創(chuàng)建更準確和有用的管道狀況圖。所有這些讀數(shù)都可以發(fā)送到基于云的分析，但如果傳感器自己進行一些平均，而本地邊緣計算機進行關聯(lián)和報告，這將是一個更高效的架構。這就是分布式分析，它可以提高許多分析系統(tǒng)的效率、準確性和成本。

當采用 AI/ML 技術時，分析變得更加復雜。AI/ML 通常分兩個階段運行：

模型構建階段，其中大量數(shù)據(jù)被提煉為 AI/ML 系統(tǒng)生成模型

推理階段，該模型通常實時應用于系統(tǒng)中的數(shù)據(jù)流以生成所需的結果

在今天的系統(tǒng)中，模型幾乎總是建立在大型服務器群或云端，通常作為離線過程。然后，將生成的 AI/ML 模型打包并運送到不同的系統(tǒng)，這些系統(tǒng)在實時數(shù)據(jù)上運行模型的推理階段，從而生成所需的結果。推理階段可以在云端運行，但最近一直在向邊緣移動，以改善延遲、網(wǎng)絡帶寬、可靠性和安全性。在決定為每個階段使用哪個級別的計算資源時，權衡是值得考慮的。

AI/ML 的推理階段

AI/ML 的推理階段相對容易分布在多個對等級處理器或處理層的上下層次結構中。如果模型是預先計算的，則 AI/ML 算法運行的數(shù)據(jù)可以跨多個處理器拆分并并行運行。在多個對等級處理器之間拆分工作負載可提供容量、性能和規(guī)模優(yōu)勢，因為隨著工作負載的增加，可以使用更多的計算資源。它還可以提高系統(tǒng)可靠性，因為如果一個處理器出現(xiàn)故障，相鄰的處理器仍然可以完成工作。推理也可以在層次結構的多個級別之間進行拆分，也許算法的不同部分在處理器的不同級別上運行。這允許以邏輯方式拆分 AI/ML 算法，允許層次結構的每個級別執(zhí)行算法的最有效子集。例如，在視頻分析 AI/ML 系統(tǒng)中，攝像頭中的智能可以執(zhí)行自適應對比度增強，將此數(shù)據(jù)交給邊緣計算機執(zhí)行特征提取，將其發(fā)送到附近的數(shù)據(jù)中心執(zhí)行對象識別，最后發(fā)送到云端可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級功能，例如威脅檢測或熱圖生成。這可以是高效的分區(qū)。

AI/ML 算法的學習階段

AI/ML 算法的學習階段更難分配。問題是上下文大小。為了準備模型，AI/ML 系統(tǒng)獲取大量訓練數(shù)據(jù)，并使用各種復雜的學習階段算法對其進行消化，以生成在推理階段相對容易執(zhí)行的模型。如果在給定的計算節(jié)點上只有一部分訓練數(shù)據(jù)可用，則算法將難以泛化模型。這就是為什么訓練最常在云端進行，那里的內(nèi)存和存儲空間幾乎是無限的。然而，某些場景要求訓練算法分布在多個對等級計算節(jié)點或云到邊緣層次結構的上下。特別是，邊緣學習使學習過程能夠從附近的傳感器收集大量訓練數(shù)據(jù)，并在沒有云參與的情況下對其采取行動——這可以改善延遲、可靠性、安全性和網(wǎng)絡帶寬。先進的分布式學習算法正在開發(fā)中以應對這些挑戰(zhàn)。

結論

AI/ML 是幾乎所有電子系統(tǒng)的重要未來能力。了解如何在計算資源層次結構中劃分這些系統(tǒng)的推理和訓練能力的選項是我們未來成功的關鍵。

該博客由 Charles Byers 撰寫，最初于 2020 年發(fā)布。貿(mào)澤于 2021 年 6 月更新了該博客。

“ 后退

分享2

CHARLES C. BYERS 是工業(yè)互聯(lián)網(wǎng)聯(lián)盟的副首席技術官，現(xiàn)在加入了 OpenFog。他致力于邊緣霧計算系統(tǒng)、通用平臺、媒體處理系統(tǒng)和物聯(lián)網(wǎng)的架構和實施。此前，他是思科的首席工程師和平臺架構師，以及阿爾卡特朗訊的貝爾實驗室研究員。在電信網(wǎng)絡行業(yè)的三十年中，他在語音交換、寬帶接入、融合網(wǎng)絡、VoIP、多媒體、視頻、模塊化平臺、邊緣霧計算和物聯(lián)網(wǎng)等領域做出了重大貢獻。他還是多個標準機構的領導者，包括擔任工業(yè)互聯(lián)網(wǎng)聯(lián)盟和 OpenFog 聯(lián)盟的首席技術官，并且是 PICMG 的 AdvancedTCA、AdvancedMC、

Byers 先生在威斯康星大學麥迪遜分校獲得電氣和計算機工程學士學位以及電氣工程碩士學位。在業(yè)余時間，他喜歡旅行、烹飪、騎自行車和在他的工作室里修修補補。他擁有 80 多項美國專利。

審核編輯黃昊宇