從頭設(shè)計(jì)一個(gè)張量流處理器TSP架構(gòu)

接下來(lái)如何將這些組件封裝，進(jìn)而組建成一個(gè)系統(tǒng)？首先是將GroqChip與散熱器封裝在一張卡上，然后將八張這種卡集合成一個(gè)GroqNode，最后再將八個(gè)GroqNode加一個(gè)備用包打包到一個(gè)GroqRack中，并使其在云端也可訪(fǎng)問(wèn)。

這種橫向擴(kuò)展排列方式非常獨(dú)特。第一，它利用封裝層次來(lái)制作低直徑網(wǎng)絡(luò)，這利用了蜻蜓拓?fù)洌╠ragonfly topology），而蜻蜓拓?fù)溆掷昧朔庋b局部性（packaging locality）。它創(chuàng)建了所謂的軟件調(diào)度的直連網(wǎng)絡(luò)（software-scheduled direct network），支持每個(gè)TSP上的16個(gè)直接相連的芯片到芯片鏈路進(jìn)行通信。?

橫向擴(kuò)展組織利用較小的網(wǎng)絡(luò)直徑將多達(dá)8個(gè)芯片打包到一個(gè)節(jié)點(diǎn)中，這8個(gè)芯片使用28根電線(xiàn)連接到它們的7個(gè)中轉(zhuǎn)點(diǎn)，這些電線(xiàn)被放置在每個(gè)節(jié)點(diǎn)底層，使我們能夠豐富地連接單個(gè)節(jié)點(diǎn)內(nèi)的8個(gè)TSP，以再次利用封裝的局部性。這些節(jié)點(diǎn)使用電線(xiàn)連接，較長(zhǎng)的電線(xiàn)將在機(jī)架到機(jī)架網(wǎng)絡(luò)（rack-to-rack network）之間使用光纜。?

蜻蜓拓?fù)涫欠謱油負(fù)?。它首先通過(guò)識(shí)別這8個(gè)TSP構(gòu)建成一個(gè)組，每個(gè)TSP都公開(kāi)四個(gè)全局端口，所以8×4是32個(gè)端口。這32個(gè)虛擬端口用于連接全局系統(tǒng)，使能夠連接多達(dá)30到32個(gè)單個(gè)系統(tǒng)中共計(jì)264個(gè)TSP的對(duì)等節(jié)點(diǎn)。

我們可以實(shí)現(xiàn)這個(gè)想法，并將這個(gè)機(jī)架作為本地組，如此一來(lái)，我們將能夠在系統(tǒng)中連接多達(dá)145個(gè)機(jī)架，從而實(shí)現(xiàn)超過(guò)10000 TSP的總可擴(kuò)展性。?

Groq的橫向擴(kuò)展拓?fù)涫褂抿唑淹負(fù)鋪?lái)完全連接機(jī)架內(nèi)的八個(gè)全局節(jié)點(diǎn)集，如下圖所示。

該結(jié)構(gòu)提供了一個(gè)備用節(jié)點(diǎn)作為熱備用（hot spare），并利用網(wǎng)絡(luò)的邊緣和節(jié)點(diǎn)對(duì)稱(chēng)性來(lái)提供n+1冗余，由此提高系統(tǒng)彈性。

04?全局同步網(wǎng)絡(luò)

這個(gè)系統(tǒng)組織的核心是全局同步網(wǎng)絡(luò)。當(dāng)然，目前這個(gè)網(wǎng)絡(luò)并不是真正同步的，因?yàn)橄到y(tǒng)中的每個(gè)節(jié)點(diǎn)都還沒(méi)有統(tǒng)一的全局時(shí)鐘。我們提供了同步行為的假象，還特別使用了一系列硬件和軟件技術(shù)、硬件對(duì)齊計(jì)數(shù)器和軟件對(duì)齊計(jì)數(shù)器，幫助檢測(cè)何時(shí)發(fā)生漂移并補(bǔ)償漂移。

全局同步網(wǎng)絡(luò)由多同步鏈路組成，這意味著它們大部分是同步的，在驅(qū)動(dòng)每個(gè)鏈接的時(shí)鐘晶體的容差范圍內(nèi)是同步的。正是對(duì)于這一點(diǎn)的利用，使得我們能夠檢測(cè)到漂移何時(shí)發(fā)生，并通過(guò)硬件和軟件技術(shù)對(duì)其進(jìn)行補(bǔ)償。

再次強(qiáng)調(diào)，在這個(gè)部分必須啟用ISA支持，以便能夠?qū)@些芯片間的鏈接進(jìn)行糾偏（我們有特定的指令支持糾偏）。

此外，這些鏈接不是硬件流控制，而是軟件流控制。軟件控制鏈接的運(yùn)行節(jié)奏，以確保它們永遠(yuǎn)不會(huì)溢出或下溢。該鏈接的核心是前向糾錯(cuò)，這樣就可以在每個(gè)網(wǎng)絡(luò)鏈路上都有一個(gè)固定的延遲，讓編譯器能夠推斷出需要消息傳遞的時(shí)間。

從概念上講，這些計(jì)數(shù)器在機(jī)器剛復(fù)位時(shí)相互獨(dú)立，然后將它們放入鎖步（lock step），可能會(huì)隨著時(shí)間的推移略有漂移，但我們會(huì)消除偏移并將它們重新放入鎖步。這就是我們?nèi)绾卧诜植际较到y(tǒng)中保持同步行為的方法。

不同于傳統(tǒng)網(wǎng)絡(luò)依賴(lài)硬件判優(yōu)機(jī)制來(lái)動(dòng)態(tài)競(jìng)爭(zhēng)一組輸出端口，我們讓編譯器可以調(diào)度所有物理網(wǎng)絡(luò)端口，使它可以像調(diào)度ALU或矩陣一樣調(diào)度網(wǎng)絡(luò)鏈接。傳統(tǒng)方法只會(huì)對(duì)網(wǎng)絡(luò)中的擁塞做出反應(yīng)，而不是對(duì)擁塞做出反應(yīng)后進(jìn)行自適應(yīng)路由，以試圖改善因競(jìng)爭(zhēng)而導(dǎo)致的熱點(diǎn)（hot spots）問(wèn)題。?

相反，我們的首要原則是完全避免競(jìng)爭(zhēng)，并將流量模式分散到網(wǎng)絡(luò)上的可用路徑多樣性中，以顯現(xiàn)和利用額外的對(duì)分帶寬。

我們將tensor視為消息，換句話(huà)說(shuō)，我們將tensor作為數(shù)據(jù)包進(jìn)行路由，這些連續(xù)的向量流在時(shí)間上背對(duì)背出現(xiàn)，形成一個(gè)tensor。這使我們能將消息構(gòu)建為向量序列，能夠非常有效地在網(wǎng)絡(luò)上對(duì)消息進(jìn)行編碼，而編碼開(kāi)銷(xiāo)僅為2.5%。

05?確定性的負(fù)載平衡

同時(shí)，利用最小和非最小路由是我們這個(gè)想法的核心。系統(tǒng)中的每個(gè)TSP在每個(gè)源目標(biāo)對(duì)之間都有一個(gè)最小路徑，但是也有很多非最小路徑。在這種情況下，編譯器可以查看張量的大小，并決定在其上傳播多少條路徑，以最大限度地減少在網(wǎng)絡(luò)傳輸時(shí)的序列化延遲。

這使我們能夠進(jìn)行所謂的確定性負(fù)載平衡，而不必使用更傳統(tǒng)的自適應(yīng)路由方法去適應(yīng)或響應(yīng)網(wǎng)絡(luò)中的擁塞。傳統(tǒng)的方法有其自身的問(wèn)題，因?yàn)橹荒芸吹揭恍〔糠志W(wǎng)絡(luò)，只能查看輸出端口的擁塞狀態(tài)，這可能導(dǎo)致做出錯(cuò)誤的決定，選擇一條可能比目前路徑更擁擠的糟糕路徑。

我們的方法做出了更好的權(quán)衡，它允許編譯器對(duì)所有物理鏈路進(jìn)行負(fù)載平衡，就像我們對(duì)芯片上的任何其他功能單元進(jìn)行負(fù)載平衡一樣。

Groq芯片間鏈路的核心是簡(jiǎn)化的通信協(xié)議和流量控制。流量控制是由軟件明確驅(qū)動(dòng)的，沒(méi)有硬件流量控制，所以軟件必須確保它們不會(huì)溢出或下溢，我們?cè)O(shè)計(jì)的就是保證確定性成為首要原則，這也是設(shè)計(jì)的基石。

如果看一下傳統(tǒng)的RDMA類(lèi)型的請(qǐng)求，我們向目標(biāo)發(fā)出讀取請(qǐng)求，并且該讀取將造成內(nèi)存事務(wù)（memory transaction），然后將這個(gè)回復(fù)回流到網(wǎng)絡(luò)，以便以后使用。?

更簡(jiǎn)單的方法是讓編譯器知道正在讀取的地址，并且數(shù)據(jù)只在需要時(shí)通過(guò)網(wǎng)絡(luò)推送，以便在源頭使用。這使得我們能夠以更少的網(wǎng)絡(luò)消息和更少的開(kāi)銷(xiāo)來(lái)實(shí)現(xiàn)更高效的網(wǎng)絡(luò)傳輸。

06?可靠性

我們?cè)谡麄€(gè)系統(tǒng)中利用了TSP和網(wǎng)絡(luò)內(nèi)的冗余。例如制造良率的問(wèn)題，芯片實(shí)際上是由21條超級(jí)通道構(gòu)成的，而我們只使用了20條，因此可以允許出現(xiàn)一條無(wú)效的超級(jí)通道。這意味著我們可以在編譯器中隱藏備用的超級(jí)鏈接，實(shí)際上也確實(shí)將硬件細(xì)節(jié)隱藏在其中。

這使我們能夠使用一個(gè)全優(yōu)的芯片，其能夠包容目前領(lǐng)域可能存在的一些缺陷。

此外，每個(gè)架構(gòu)內(nèi)的冗余電源和冗余節(jié)點(diǎn)提供了額外的冗余。不僅如此，確定性還簡(jiǎn)化和改進(jìn)了ASIC的設(shè)計(jì)過(guò)程，設(shè)計(jì)和驗(yàn)證可以通過(guò)硬件和軟件需要確保的一些假設(shè)來(lái)表達(dá)，并保證硬件和軟件需要確保彼此進(jìn)行驗(yàn)證。例如，硬件制造的任何保證需要作為軟件假設(shè)進(jìn)行驗(yàn)證。

軟件堆棧對(duì)可靠性和冗余性起著重要作用，特別是在運(yùn)行時(shí)層面處理異常處理時(shí)。這就是為什么所有鏈路都需要前向糾錯(cuò)，如果遇到錯(cuò)誤，則需要軟件重演（software replay），并且通過(guò)運(yùn)行時(shí)處理。

為了保護(hù)所有片上數(shù)據(jù)結(jié)構(gòu)，我們使用單糾錯(cuò)和雙檢測(cè)（SECDED）來(lái)保護(hù)所有數(shù)據(jù)路徑、所有流寄存器、所有指令緩沖區(qū)和芯片上的指令提示。我們稱(chēng)這種方法為無(wú)處不在的ECC。

既然開(kāi)銷(xiāo)很容易計(jì)算，那么我們可以利用這一點(diǎn)。在這個(gè)問(wèn)題上偏執(zhí)一點(diǎn)是值得的，因?yàn)榇_實(shí)有過(guò)無(wú)記載數(shù)據(jù)損壞，我的谷歌前同事在他們的論文《cores that don't count（不算數(shù)的內(nèi)核）》中聲明了這一點(diǎn)。重要的是，我們要成為客戶(hù)數(shù)據(jù)的好管家。

因此，我們需要保護(hù)所有關(guān)鍵的硬件結(jié)構(gòu)，在這個(gè)圖中，每一個(gè)被編號(hào)的灰色框都是流寄存器，SECDED保護(hù)著它們的安全，當(dāng)張量在芯片流動(dòng)時(shí)，我們可以對(duì)它再次保護(hù)。

此外，我們希望提供異常處理來(lái)避免常見(jiàn)問(wèn)題，例如算術(shù)異常，算術(shù)溢出或下溢，可以通過(guò)提前決定異常語(yǔ)義來(lái)處理先驗(yàn)，例如編譯器可以通過(guò)使用飽和指令來(lái)避免任何算術(shù)溢出，比如加減飽和或乘以飽和。這讓我們可以避免值溢出，并將溢出位精度精確到一個(gè)很小的值。

07?負(fù)載評(píng)估

因此，如果查看我們獨(dú)特的工作負(fù)載，會(huì)發(fā)現(xiàn)它們往往都與線(xiàn)性代數(shù)有關(guān)，因?yàn)檫@是機(jī)器學(xué)習(xí)以及許多HPC代碼的主力。舉個(gè)例子，看一下喬里斯基分解（Cholesky Factorization），它使用塊循環(huán)將這個(gè)三角形元素?cái)U(kuò)展到多個(gè)芯片。

我們?cè)赥SP上實(shí)現(xiàn)了BERT和BERT Large的最先進(jìn)的結(jié)果，并展示了如何真正有效地完成一般矩陣乘法。最后，當(dāng)我們準(zhǔn)備進(jìn)行通信時(shí)，就能體會(huì)到所有上述優(yōu)點(diǎn)，即使我們的引腳帶寬比競(jìng)品芯片少，也能夠更好地利用該引腳帶寬，并采取細(xì)粒度通信的優(yōu)勢(shì)，換句話(huà)說(shuō)，小張量在這個(gè)網(wǎng)絡(luò)上可以非常有效。

08?總結(jié)

簡(jiǎn)單總結(jié)一下。首先，所有這些內(nèi)容都是為了使編譯器更高效且更輕量級(jí)，從編譯器取得的快速進(jìn)展就可以看出，我們已經(jīng)能夠更廣泛地編譯各種不同類(lèi)型操作的模型。因此，從更廣泛的角度來(lái)看，我們?cè)噲D實(shí)現(xiàn)的是可預(yù)測(cè)和可重復(fù)性的性能，以在整個(gè)系統(tǒng)中提供低延遲和高吞吐量，以及支持軟件定義的硬件方法。

我們不是要通過(guò)抽象去掉細(xì)節(jié)，而是要控制底層的硬件。我們希望公開(kāi)一組正確的架構(gòu)可見(jiàn)狀態(tài)，將其交給編譯器，它可以從第一性原理推斷正確性，使軟件和異常處理分別在編譯時(shí)和運(yùn)行時(shí)處理。

最后，我們啟用了同步通信模型，該模型使得在非常大的系統(tǒng)中進(jìn)行無(wú)鎖通信，這是我們希望能夠幫助到你的超級(jí)力量。

審核編輯：劉清