從頭設(shè)計(jì)一個張量流處理器TSP架構(gòu)

接下來如何將這些組件封裝，進(jìn)而組建成一個系統(tǒng)？首先是將GroqChip與散熱器封裝在一張卡上，然后將八張這種卡集合成一個GroqNode，最后再將八個GroqNode加一個備用包打包到一個GroqRack中，并使其在云端也可訪問。

這種橫向擴(kuò)展排列方式非常獨(dú)特。第一，它利用封裝層次來制作低直徑網(wǎng)絡(luò)，這利用了蜻蜓拓?fù)洌╠ragonfly topology），而蜻蜓拓?fù)溆掷昧朔庋b局部性（packaging locality）。它創(chuàng)建了所謂的軟件調(diào)度的直連網(wǎng)絡(luò)（software-scheduled direct network），支持每個TSP上的16個直接相連的芯片到芯片鏈路進(jìn)行通信。?

橫向擴(kuò)展組織利用較小的網(wǎng)絡(luò)直徑將多達(dá)8個芯片打包到一個節(jié)點(diǎn)中，這8個芯片使用28根電線連接到它們的7個中轉(zhuǎn)點(diǎn)，這些電線被放置在每個節(jié)點(diǎn)底層，使我們能夠豐富地連接單個節(jié)點(diǎn)內(nèi)的8個TSP，以再次利用封裝的局部性。這些節(jié)點(diǎn)使用電線連接，較長的電線將在機(jī)架到機(jī)架網(wǎng)絡(luò)（rack-to-rack network）之間使用光纜。?

蜻蜓拓?fù)涫欠謱油負(fù)?。它首先通過識別這8個TSP構(gòu)建成一個組，每個TSP都公開四個全局端口，所以8×4是32個端口。這32個虛擬端口用于連接全局系統(tǒng)，使能夠連接多達(dá)30到32個單個系統(tǒng)中共計(jì)264個TSP的對等節(jié)點(diǎn)。

我們可以實(shí)現(xiàn)這個想法，并將這個機(jī)架作為本地組，如此一來，我們將能夠在系統(tǒng)中連接多達(dá)145個機(jī)架，從而實(shí)現(xiàn)超過10000 TSP的總可擴(kuò)展性。?

Groq的橫向擴(kuò)展拓?fù)涫褂抿唑淹負(fù)鋪硗耆B接機(jī)架內(nèi)的八個全局節(jié)點(diǎn)集，如下圖所示。

該結(jié)構(gòu)提供了一個備用節(jié)點(diǎn)作為熱備用（hot spare），并利用網(wǎng)絡(luò)的邊緣和節(jié)點(diǎn)對稱性來提供n+1冗余，由此提高系統(tǒng)彈性。

04?全局同步網(wǎng)絡(luò)

這個系統(tǒng)組織的核心是全局同步網(wǎng)絡(luò)。當(dāng)然，目前這個網(wǎng)絡(luò)并不是真正同步的，因?yàn)橄到y(tǒng)中的每個節(jié)點(diǎn)都還沒有統(tǒng)一的全局時(shí)鐘。我們提供了同步行為的假象，還特別使用了一系列硬件和軟件技術(shù)、硬件對齊計(jì)數(shù)器和軟件對齊計(jì)數(shù)器，幫助檢測何時(shí)發(fā)生漂移并補(bǔ)償漂移。

全局同步網(wǎng)絡(luò)由多同步鏈路組成，這意味著它們大部分是同步的，在驅(qū)動每個鏈接的時(shí)鐘晶體的容差范圍內(nèi)是同步的。正是對于這一點(diǎn)的利用，使得我們能夠檢測到漂移何時(shí)發(fā)生，并通過硬件和軟件技術(shù)對其進(jìn)行補(bǔ)償。

再次強(qiáng)調(diào)，在這個部分必須啟用ISA支持，以便能夠?qū)@些芯片間的鏈接進(jìn)行糾偏（我們有特定的指令支持糾偏）。

此外，這些鏈接不是硬件流控制，而是軟件流控制。軟件控制鏈接的運(yùn)行節(jié)奏，以確保它們永遠(yuǎn)不會溢出或下溢。該鏈接的核心是前向糾錯，這樣就可以在每個網(wǎng)絡(luò)鏈路上都有一個固定的延遲，讓編譯器能夠推斷出需要消息傳遞的時(shí)間。

從概念上講，這些計(jì)數(shù)器在機(jī)器剛復(fù)位時(shí)相互獨(dú)立，然后將它們放入鎖步（lock step），可能會隨著時(shí)間的推移略有漂移，但我們會消除偏移并將它們重新放入鎖步。這就是我們?nèi)绾卧诜植际较到y(tǒng)中保持同步行為的方法。

不同于傳統(tǒng)網(wǎng)絡(luò)依賴硬件判優(yōu)機(jī)制來動態(tài)競爭一組輸出端口，我們讓編譯器可以調(diào)度所有物理網(wǎng)絡(luò)端口，使它可以像調(diào)度ALU或矩陣一樣調(diào)度網(wǎng)絡(luò)鏈接。傳統(tǒng)方法只會對網(wǎng)絡(luò)中的擁塞做出反應(yīng)，而不是對擁塞做出反應(yīng)后進(jìn)行自適應(yīng)路由，以試圖改善因競爭而導(dǎo)致的熱點(diǎn)（hot spots）問題。?

相反，我們的首要原則是完全避免競爭，并將流量模式分散到網(wǎng)絡(luò)上的可用路徑多樣性中，以顯現(xiàn)和利用額外的對分帶寬。

我們將tensor視為消息，換句話說，我們將tensor作為數(shù)據(jù)包進(jìn)行路由，這些連續(xù)的向量流在時(shí)間上背對背出現(xiàn)，形成一個tensor。這使我們能將消息構(gòu)建為向量序列，能夠非常有效地在網(wǎng)絡(luò)上對消息進(jìn)行編碼，而編碼開銷僅為2.5%。

05?確定性的負(fù)載平衡

同時(shí)，利用最小和非最小路由是我們這個想法的核心。系統(tǒng)中的每個TSP在每個源目標(biāo)對之間都有一個最小路徑，但是也有很多非最小路徑。在這種情況下，編譯器可以查看張量的大小，并決定在其上傳播多少條路徑，以最大限度地減少在網(wǎng)絡(luò)傳輸時(shí)的序列化延遲。

這使我們能夠進(jìn)行所謂的確定性負(fù)載平衡，而不必使用更傳統(tǒng)的自適應(yīng)路由方法去適應(yīng)或響應(yīng)網(wǎng)絡(luò)中的擁塞。傳統(tǒng)的方法有其自身的問題，因?yàn)橹荒芸吹揭恍〔糠志W(wǎng)絡(luò)，只能查看輸出端口的擁塞狀態(tài)，這可能導(dǎo)致做出錯誤的決定，選擇一條可能比目前路徑更擁擠的糟糕路徑。

我們的方法做出了更好的權(quán)衡，它允許編譯器對所有物理鏈路進(jìn)行負(fù)載平衡，就像我們對芯片上的任何其他功能單元進(jìn)行負(fù)載平衡一樣。

Groq芯片間鏈路的核心是簡化的通信協(xié)議和流量控制。流量控制是由軟件明確驅(qū)動的，沒有硬件流量控制，所以軟件必須確保它們不會溢出或下溢，我們設(shè)計(jì)的就是保證確定性成為首要原則，這也是設(shè)計(jì)的基石。

如果看一下傳統(tǒng)的RDMA類型的請求，我們向目標(biāo)發(fā)出讀取請求，并且該讀取將造成內(nèi)存事務(wù)（memory transaction），然后將這個回復(fù)回流到網(wǎng)絡(luò)，以便以后使用。?

更簡單的方法是讓編譯器知道正在讀取的地址，并且數(shù)據(jù)只在需要時(shí)通過網(wǎng)絡(luò)推送，以便在源頭使用。這使得我們能夠以更少的網(wǎng)絡(luò)消息和更少的開銷來實(shí)現(xiàn)更高效的網(wǎng)絡(luò)傳輸。

06?可靠性

我們在整個系統(tǒng)中利用了TSP和網(wǎng)絡(luò)內(nèi)的冗余。例如制造良率的問題，芯片實(shí)際上是由21條超級通道構(gòu)成的，而我們只使用了20條，因此可以允許出現(xiàn)一條無效的超級通道。這意味著我們可以在編譯器中隱藏備用的超級鏈接，實(shí)際上也確實(shí)將硬件細(xì)節(jié)隱藏在其中。

這使我們能夠使用一個全優(yōu)的芯片，其能夠包容目前領(lǐng)域可能存在的一些缺陷。

此外，每個架構(gòu)內(nèi)的冗余電源和冗余節(jié)點(diǎn)提供了額外的冗余。不僅如此，確定性還簡化和改進(jìn)了ASIC的設(shè)計(jì)過程，設(shè)計(jì)和驗(yàn)證可以通過硬件和軟件需要確保的一些假設(shè)來表達(dá)，并保證硬件和軟件需要確保彼此進(jìn)行驗(yàn)證。例如，硬件制造的任何保證需要作為軟件假設(shè)進(jìn)行驗(yàn)證。

軟件堆棧對可靠性和冗余性起著重要作用，特別是在運(yùn)行時(shí)層面處理異常處理時(shí)。這就是為什么所有鏈路都需要前向糾錯，如果遇到錯誤，則需要軟件重演（software replay），并且通過運(yùn)行時(shí)處理。

為了保護(hù)所有片上數(shù)據(jù)結(jié)構(gòu)，我們使用單糾錯和雙檢測（SECDED）來保護(hù)所有數(shù)據(jù)路徑、所有流寄存器、所有指令緩沖區(qū)和芯片上的指令提示。我們稱這種方法為無處不在的ECC。

既然開銷很容易計(jì)算，那么我們可以利用這一點(diǎn)。在這個問題上偏執(zhí)一點(diǎn)是值得的，因?yàn)榇_實(shí)有過無記載數(shù)據(jù)損壞，我的谷歌前同事在他們的論文《cores that don't count（不算數(shù)的內(nèi)核）》中聲明了這一點(diǎn)。重要的是，我們要成為客戶數(shù)據(jù)的好管家。

因此，我們需要保護(hù)所有關(guān)鍵的硬件結(jié)構(gòu)，在這個圖中，每一個被編號的灰色框都是流寄存器，SECDED保護(hù)著它們的安全，當(dāng)張量在芯片流動時(shí)，我們可以對它再次保護(hù)。

此外，我們希望提供異常處理來避免常見問題，例如算術(shù)異常，算術(shù)溢出或下溢，可以通過提前決定異常語義來處理先驗(yàn)，例如編譯器可以通過使用飽和指令來避免任何算術(shù)溢出，比如加減飽和或乘以飽和。這讓我們可以避免值溢出，并將溢出位精度精確到一個很小的值。

07?負(fù)載評估

因此，如果查看我們獨(dú)特的工作負(fù)載，會發(fā)現(xiàn)它們往往都與線性代數(shù)有關(guān)，因?yàn)檫@是機(jī)器學(xué)習(xí)以及許多HPC代碼的主力。舉個例子，看一下喬里斯基分解（Cholesky Factorization），它使用塊循環(huán)將這個三角形元素?cái)U(kuò)展到多個芯片。

我們在TSP上實(shí)現(xiàn)了BERT和BERT Large的最先進(jìn)的結(jié)果，并展示了如何真正有效地完成一般矩陣乘法。最后，當(dāng)我們準(zhǔn)備進(jìn)行通信時(shí)，就能體會到所有上述優(yōu)點(diǎn)，即使我們的引腳帶寬比競品芯片少，也能夠更好地利用該引腳帶寬，并采取細(xì)粒度通信的優(yōu)勢，換句話說，小張量在這個網(wǎng)絡(luò)上可以非常有效。

08?總結(jié)

簡單總結(jié)一下。首先，所有這些內(nèi)容都是為了使編譯器更高效且更輕量級，從編譯器取得的快速進(jìn)展就可以看出，我們已經(jīng)能夠更廣泛地編譯各種不同類型操作的模型。因此，從更廣泛的角度來看，我們試圖實(shí)現(xiàn)的是可預(yù)測和可重復(fù)性的性能，以在整個系統(tǒng)中提供低延遲和高吞吐量，以及支持軟件定義的硬件方法。

我們不是要通過抽象去掉細(xì)節(jié)，而是要控制底層的硬件。我們希望公開一組正確的架構(gòu)可見狀態(tài)，將其交給編譯器，它可以從第一性原理推斷正確性，使軟件和異常處理分別在編譯時(shí)和運(yùn)行時(shí)處理。

最后，我們啟用了同步通信模型，該模型使得在非常大的系統(tǒng)中進(jìn)行無鎖通信，這是我們希望能夠幫助到你的超級力量。

審核編輯：劉清