片上網絡Net-on-chip在人工智能和機器學習領域應用

人工智能（AI）和機器學習（ML）在現代科技領域中的廣泛應用，特別關注了它們在傳感器、邊緣設備、邊緣計算、數據中心和云端的角色，在這些不同領域中，Net-on-chip（NoC）技術的關鍵作用。

在圣克拉拉舉行的人工智能硬件峰會和在布魯塞爾舉行的 Autosens 峰會，很多內容都在交匯。

網絡片上網絡（Network-on-Chip，NoC）是集成電上的一種基于網絡的通信子系統，用于SoC中的模塊之間。IC上的模塊用于模擬計算機系統的各種功能，并且在網絡科學的意義上被設計成模塊化的。網絡片上網絡是一個基于路由器的分組交換網絡，連接了SoC模塊。

從傳感器到數據中心，人工智能和機器學習無處不在。

1）傳感器是人工智能和機器學習應用的起點，負責從環(huán)境中收集各種原始數據，涵蓋了從溫度讀數到圖像的各種信息。傳感器內部集成了SoC人工智能處理，這是一個新興的概念，主要用于基本數據的預處理。例如，物聯網傳感器使用輕量級機器學習模型對數據進行過濾或處理，從而減少了傳輸負擔和原始數據量。這種本地處理不僅有助于減少延遲，還能保持帶寬的穩(wěn)定。隨著汽車電子架構的不斷發(fā)展，EE架構需要權衡在計算發(fā)生的位置以及如何在區(qū)域計算和中央計算之間分配任務方面做出決策。

2）邊緣設備通常包括移動電話、平板電腦或其他靠近數據源的便攜式設備。汽車也可以看作是一種邊緣設備，但有著獨特的“輪上的傳感器到數據中心”的計算分布方式。在邊緣設備上執(zhí)行人工智能和機器學習模型對于需要實時處理和低延遲的應用程序至關重要，例如增強現實（AR）和自動駕駛汽車等無法依賴“始終在線”連接的應用。這些設備上部署的模型經過優(yōu)化，以在設備上實現更快的響應速度，并增強數據隱私性，因為數據不總是必須傳輸到中央服務器。

3）邊緣計算是人工智能和機器學習可能在用戶察覺之外發(fā)生的領域。遠端計算指的是距離云數據中心最遠但距離用戶最近的基礎設施。這種計算模式適用于需要比邊緣設備更多計算資源和功率，但又需要比云解決方案更低延遲的應用程序。高級分析模型或推理模型，這些模型對邊緣設備至關重要，但對延遲非常敏感?！斑吘壢斯ぶ悄堋眮砻枋鲈谶@個層面進行的計算，包括了自動輔助駕駛汽車、聯網設備以及智能手機上的面部識別和實時交通更新等應用。

4）數據中心和云則成為計算資源的中心，提供卓越的處理能力和存儲，非常適合用于訓練復雜且資源密集型的人工智能和機器學習模型，并管理大規(guī)模的數據集。數據中心內的高性能計算集群可以處理復雜任務，比如訓練深度神經網絡或進行廣泛的模擬。但由于資源限制，這些任務在邊緣設備上無法實現。最初，生成式人工智能主要駐留在這些中心地帶，通常需要特殊的加速設備，這種生成式人工智能逐漸向“設備上的生成式人工智能”發(fā)展，這就是高通等公司所展示的趨勢。

在整個人工智能和機器學習生態(tài)系統中，各層之間相互連接，形成了無縫的工作流程。傳感器可能會收集數據并進行初始處理，然后將數據發(fā)送到邊緣設備進行實時推理。在數據傳輸到數據中心進行深入分析和（重新）訓練模型之前，可能需要在遠端或近端邊緣計算資源上進行更詳細的分析，以獲得更精細的結果。

NoC（片上網絡）是人工智能和機器學習領域的關鍵推動者，在以下三個方面發(fā)揮重要作用：

1）連接各種常規(guī)的人工智能/機器學習子系統，快速傳輸數據是關鍵，因此需要寬位寬、廣播能力和虛擬通道功能的支持；

2）降低芯片上所有模塊集成的風險，NoC確保各部件之間高效的通信，解決了集成問題；

3）在小芯片場景中連接各種硅芯片（D2D）或芯片到芯片（C2C）環(huán)境中的各種芯片，這需要適當的協議支持。為了實現這些功能，NoC必須支持各種協議。

Arteris的FlexNoC和Ncore技術受到了市場的關注，解決了片上網絡的問題，幫助客戶降低了集成風險，使他們能夠專注于構建下一代AI和RISC-V CPU產品。關于小芯片之間的連接問題，行業(yè)內正就物理接口（如XSR、BOW、OHBI、AIB和UCIe）及其數字控制器進行激烈討論。NoC和“SuperNoC”等技術必須支持適當的協議，行業(yè)內正在探討Arm的CHI C2C和其他提案。為了實現理想的開放式小芯片生態(tài)系統，需要各家公司共同努力。

AI/ML的快速發(fā)展將推動半導體領域的發(fā)展，而NoC技術將在AI/ML集群中發(fā)揮關鍵作用，連接各個部分，促使技術不斷創(chuàng)新，實現更高效的數據處理和傳輸。

編輯：黃飛

?