片上網(wǎng)絡(luò)（NoC）技術(shù)的發(fā)展及其給高端FPGA帶來的優(yōu)勢

Speedster 7t FPGA上的二維片上網(wǎng)絡(luò)（2D NoC）支持高帶寬數(shù)據(jù)加速應(yīng)用

作者：黃侖，Achronix資深現(xiàn)場應(yīng)用工程師

1. 概述

在摩爾定律的推動下，集成電路工藝取得了高速發(fā)展，單位面積上的晶體管數(shù)量不斷增加。片上系統(tǒng)（System-on-Chip，SoC）具有集成度高、功耗低、成本低等優(yōu)勢，已經(jīng)成為大規(guī)模集成電路系統(tǒng)設(shè)計的主流方向，解決了通信、圖像、計算、消費電子等領(lǐng)域的眾多挑戰(zhàn)性的難題。 隨著片上系統(tǒng)SoC的應(yīng)用需求越來越豐富，SoC需要集成越來越多的不同應(yīng)用的IP（Intellectual Property）。另外，片上多核系統(tǒng)MPSoC（MultiProcessor-System-on-Chip）也已經(jīng)成為必然的發(fā)展趨勢。

隨著SoC的高度集成以及MPSoC的高速發(fā)展，對片上通信提出了更高的要求。片上網(wǎng)絡(luò)技術(shù)（Network-on-Chip，NoC）在這個時候也得到了極大的應(yīng)用，它本質(zhì)上就是提供一種解決芯片內(nèi)不同IP或者不同核心之間數(shù)據(jù)傳輸?shù)钠贤ㄐ欧桨浮?/p>

片上網(wǎng)絡(luò)技術(shù)從發(fā)明至今已有20多年的歷史，在SoC中已經(jīng)有了廣泛的應(yīng)用。針對片上網(wǎng)絡(luò)高帶寬、低延遲的特性，主流FPGA公司也開始考慮將NoC用于高端FPGA中來解決數(shù)據(jù)傳輸?shù)母邘捫枨?。Achronix的新一代7nm工藝的Speedster 7t便是最早集成了NoC的高端FPGA之一。如圖1所示。

圖1 Speedster 7t FPGA結(jié)構(gòu)圖

2. 片上互連架構(gòu)的發(fā)展

片上互聯(lián)架構(gòu)的發(fā)展主要經(jīng)歷了三個階段：共享總線（Bus）、Crossbar以及片上網(wǎng)絡(luò)（NoC）［1］。

（1） 傳統(tǒng)的SoC片上通信結(jié)構(gòu)一般采用共享總線的方式。在共享總線結(jié)構(gòu)中，所有的處理器和IP模塊共享一條或多條總線。當有多個處理器同時訪問一條總線時候需要有仲裁機制來決定總線的所有權(quán)。共享總線片上通信系統(tǒng)結(jié)構(gòu)一般比較簡單，且硬件代價也小。但是帶寬有限，而且?guī)捯矝]法隨著IP的增多而進行擴展。1996年，ARM公司提出的AMBA總線廣泛應(yīng)用于嵌入式微處理器的片上總線，現(xiàn)在已經(jīng)成為事實上的工業(yè)標準。

圖2 典型的AMBA總線系統(tǒng)［2］

（2） 對于傳統(tǒng)的共享總線，當多個處理器同時去訪問不同的IP的時候，因為需要仲裁機制去決定總線的所有權(quán)，所以傳統(tǒng)的總線方式在這種情況下就會造成一定的瓶頸，最大的問題就是訪問的延時。在這種情況下，為了滿足多處理同時訪問的需求同時提高整個系統(tǒng)的帶寬，一種新的解決方案Crossbar孕育而生，如圖3所示一個典型的Crossbar結(jié)構(gòu)。

Crossbar保證了多路通信同時進行的實時性，只要不是訪問同一個目標設(shè)備，就不需要用到仲裁，大大減少了因為仲裁帶來的瓶頸問題。但是隨著設(shè)備數(shù)的增加，Crossbar的規(guī)模會以幾何級數(shù)增長。所以通常我們通過橋接設(shè)備去級聯(lián)多個Crossbar來支持設(shè)備的擴展。但是橋接設(shè)備可能會成為系統(tǒng)的瓶頸，增加傳輸?shù)难舆t。

圖3 典型的單向8x8 Crossbar

實際應(yīng)用中，我們通常也會采用Crossbar和共享總線相結(jié)合的方式，用橋接器將Crossbar網(wǎng)絡(luò)和共享總線網(wǎng)絡(luò)連接起來，如圖4所示一個典型的混合型拓撲結(jié)構(gòu)。

圖4 典型的混合拓撲網(wǎng)絡(luò)

（3） 片上網(wǎng)絡(luò)NoC帶來了一種全新的片上通信方法，顯著優(yōu)于傳統(tǒng)的總線式和Crossbar的性能。NoC是一種可擴展性更好的設(shè)計。在NoC架構(gòu)中，每一個模塊都連接到片上路由器，模塊傳輸?shù)臄?shù)據(jù)則是形成了一個個數(shù)據(jù)包，通過路由器去送達數(shù)據(jù)包的目標模塊。如圖5所示是一個典型的NoC結(jié)構(gòu)，圖中的R表示Router， 所有的Router可以是同步，但每個Router所連接的PE（Processing Element）與Router異步，自成一個時鐘域（Clock Domain）。所以基于NoC的系統(tǒng)能更好地適應(yīng)在復(fù)雜多核SoC設(shè)計中使用的全局異步局部同步時鐘機制。另外，NoC可以支持各種擴展功能，比如流量控制（flow control）、服務(wù)質(zhì)量（QoS）等等。 因此，NoC是多核系統(tǒng)的最佳互聯(lián)機制。

圖5 典型的片上網(wǎng)絡(luò)NoC結(jié)構(gòu)

3. NoC在高端FPGA的應(yīng)用

FPGA在日益增長的數(shù)據(jù)加速需求上正在發(fā)揮越來越重要的作用。為了滿足云計算和邊緣計算中各種高性能應(yīng)用的需求，F(xiàn)PGA作為一種可編程可定制化的高性能的器件逐步成為一條部署高吞吐量數(shù)據(jù)加速的快捷途徑。但同時這些高性能的加速應(yīng)用也對高端FPGA提出了更高的要求，高算力、高帶寬的數(shù)據(jù)傳輸以及高帶寬的存儲器。

片上網(wǎng)絡(luò)技術(shù)已經(jīng)比較廣泛的用于SoC中，并取得了比較好的效果。近年來才慢慢用于FPGA中，Achronix創(chuàng)建了一種可最大限度地提高系統(tǒng)吞吐量的Speedster 7t FPGA芯片，創(chuàng)新地將二維片上網(wǎng)絡(luò)（2D NoC）運用到了FPGA中，可以在邏輯陣列內(nèi)的處理單元與各種片上高速接口和存儲器接口之間高速地傳輸數(shù)據(jù)，真正實現(xiàn)了數(shù)據(jù)密集型應(yīng)用吞吐量的最大化。有了片上網(wǎng)絡(luò)的FPGA如虎添翼，帶來了傳統(tǒng)FPGA所不及的很多優(yōu)勢，勢必在各種數(shù)據(jù)加速應(yīng)用中發(fā)揮巨大的作用。

4. NoC給Speedster 7t FPGA帶來的優(yōu)勢

Achronix Speedster 7t FPGA擁有支持單通道速率112Gbps的SerDes、400G以太網(wǎng)MAC、PCIe GEN5控制器以及帶寬高達4Tbps帶寬的GDDR6控制器，為各種數(shù)據(jù)加速應(yīng)用提供了高帶寬的I/O接口和高帶寬的存儲器。在這類應(yīng)用中，會有大量的數(shù)據(jù)進入FPGA進行處理，處理后的數(shù)據(jù)會通過FPGA輸出，所以除了FPGA算力以外，數(shù)據(jù)移動速度直接決定了器件的性能以及用戶的體驗。為了提高數(shù)據(jù)傳輸速率，Achronix在Speedster 7t FPGA中專門設(shè)計了不同于傳統(tǒng)FPGA數(shù)據(jù)移動通道的片上網(wǎng)絡(luò)。如圖6所示。這是一個可橫跨和垂直跨越FPGA邏輯陣列的創(chuàng)新性的、高帶寬的二維片上網(wǎng)絡(luò)（2D NoC），它不僅可以連接到所有FPGA高速接口、高帶寬存儲器接口，還可以作為內(nèi)部邏輯之間的互連。

圖6 Speedster 7t片上網(wǎng)絡(luò)（NoC）結(jié)構(gòu)

Speedster 7t FPGA上的二維片上網(wǎng)絡(luò)（2D NoC）不是由可編程邏輯搭建，而是固化的ASIC邏輯實現(xiàn)，固定運行頻率為2GHz，每一行或者每一列的NoC都可以作為兩個單向256位實現(xiàn)雙向的通路，所以每個方向可提供512Gbps的帶寬，整個網(wǎng)絡(luò)總帶寬則能達到27Tbps。

下面的表格列出了Speedster 7t FPGA中NoC的特性。

NoC為FPGA提供了以下幾項重要優(yōu)勢：

（1） 大幅提高設(shè)計性能，解決一些高性能應(yīng)用如400G以太網(wǎng)的性能瓶頸：通常在數(shù)據(jù)流經(jīng)過400G以太網(wǎng)MAC解包以后會是一個超高位寬且需要運行在很高頻率的處理，這在傳統(tǒng)FPGA邏輯單元里面是無法實現(xiàn)的，而NoC就能解決性能瓶頸。我們會在后續(xù)文章具體說明。

（2） NoC是在傳統(tǒng)可編程邏輯之外額外增加的走線資源，所以在高資源占用設(shè)計中可以降低布局布線擁塞的風險。

（3） NoC包含了異步時鐘轉(zhuǎn)換，仲裁控制等邏輯，可以去替代傳統(tǒng)的邏輯去做高速接口和總線管理等，所以利用NoC可以簡化用戶設(shè)計節(jié)省一部分傳統(tǒng)資源（LE、FIFO和布線等）的使用。

（4） NoC部分是ASIC固化邏輯，功耗比傳統(tǒng)的FPGA可編程邏輯實現(xiàn)要低很多。

（5） 利用NoC可以實現(xiàn)真正的模塊化設(shè)計。傳統(tǒng)高端FPGA設(shè)計通常是需要一個FPGA工程師團隊來完成，每個工程師設(shè)計自己模塊，在FPGA整個芯片里調(diào)試驗證自己模塊，然后再把各個模塊連接成更大的完整設(shè)計，這時候會由于資源占用上升，通常需要花很多時間去優(yōu)化布局甚至去修改設(shè)計以達到目標性能。而在Achronix Speedster7t 中可以讓模塊之間通過NOC互聯(lián)，再借助對于單個模塊功能性能調(diào)試完成后固定布局技術(shù)，甚至可以達到NoC互聯(lián)后整體設(shè)計不需要額外聯(lián)調(diào)的可能。這樣可以大幅減少研發(fā)工作量和時間。

后面我們會繼續(xù)深入了解Speedster 7t FPGA上的二維片上網(wǎng)絡(luò)（2D NoC），并且會用一些具體的設(shè)計來講解如何在Speedster 7t FPGA上使用NoC以及NoC給FPGA設(shè)計帶來的好處，敬請期待。?

參考文獻：

1.The SoC Interconnect Fabric： A Brief History by Kurt Shuler 2013

2.AMBA specification 2.0

3.A comparison of Network-on-Chip and Busses by Arteris

4.片上通信結(jié)構(gòu)-共享總線和NoC的分析與比較 周文彪，張巖，毛志剛 2007

5.Achronix website www.achronix.com