如何使用加速PyTorrch2.0變異器

如何使用加速PyTorrch2.0變異器和新推出的變異器irch. combile 。以下列示例為例加速大語言模型的方法納米gptGPT模式在Andrej Karpropt的 Andrej Karpathy 中采用,采用新的規(guī)?；?dot 產(chǎn)品關(guān)注量操作員通過加速PT2變換器,我們選擇閃光點(diǎn)定制內(nèi)核,并實(shí)現(xiàn)每個(gè)批次(用Nvidia A100 GPUs測(cè)量)更快的培訓(xùn)時(shí)間,從~143ms/批量基線到~113ms/批量基準(zhǔn),此外,利用SDPA操作員加強(qiáng)實(shí)施提供更好的數(shù)字穩(wěn)定性。最后,利用加插投入進(jìn)一步優(yōu)化,如果加插投入與加插關(guān)注相結(jié)合,導(dǎo)致~87ms/批量。

最近,在日常生活中大量采用大型語言模式(LLMs)和創(chuàng)性AI,在時(shí)間和硬件利用方面,與這些不斷增長(zhǎng)的模式緊密結(jié)合,培訓(xùn)成本不斷增加。加速變壓器(以前稱為“更好的變換器”)和JIT 匯編PyTorch 2.0 點(diǎn)火2.0.

在博客文章中,我們探索了利用SDPA的定制內(nèi)核實(shí)施(也稱“縮放點(diǎn)產(chǎn)品關(guān)注”)獲得的培訓(xùn)優(yōu)化,這是變壓器模型中的一個(gè)關(guān)鍵層。SDPA的定制內(nèi)核用一個(gè)全球優(yōu)化的內(nèi)核取代了若干獨(dú)立的連續(xù)操作,避免分配大量的CUDA中間內(nèi)存。這個(gè)方法提供了許多優(yōu)勢(shì),包括但不限于:通過減少記憶帶寬瓶頸,減少記憶足跡以支持較大批量尺寸,提高SDPA的性能計(jì)算,減少記憶足跡以支持較大批量尺寸,以及最終通過預(yù)先縮放輸入壓強(qiáng)器增加數(shù)字穩(wěn)定性。 這些優(yōu)化在NameGPT上展示,這是Andrej Karpath公司對(duì)GPT的開放源實(shí)施。

背景

擴(kuò)大對(duì)點(diǎn)產(chǎn)品的關(guān)注是多頭公司關(guān)注的基本構(gòu)件,正如在2002年“注意是你們所需要的一切”并在LLM和產(chǎn)生性AI模型中廣泛應(yīng)用。

圖1:以“注意是你們所需要的一切”使用新的PyTorrch SDPA操作員,多點(diǎn)關(guān)注由投射線層、SDPA操作員和投射線層有效實(shí)施。

使用新的縮放的多位元產(chǎn)品注意操作器,多頭關(guān)注可以僅僅在三個(gè)步驟中進(jìn)行:投射線性層、SDPA和投射線性層。

PyTorrch 2. 支持為特定用途案例優(yōu)化的多個(gè)不同內(nèi)核,并有具體要求。內(nèi)核拾取器為特定輸入參數(shù)組合選擇最佳內(nèi)核。如果不為特定輸入?yún)?shù)組合優(yōu)化“自定義內(nèi)核 ” , 內(nèi)核拾取器將選擇一個(gè)能夠處理所有輸入組合的普通內(nèi)核。

PyTorch 2.0 點(diǎn)火2.0號(hào)發(fā)射裝置為SDPA操作員安裝了3個(gè)裝置:

用于執(zhí)行函數(shù)中SDPA的數(shù)學(xué)方程式的通用內(nèi)核sdpa_math 地圖 ()

基于文件的優(yōu)化內(nèi)核“閃電注意”支持對(duì)SDPA進(jìn)行評(píng)價(jià),在計(jì)算SM80結(jié)構(gòu)(A100)時(shí)采用16位浮點(diǎn)數(shù)據(jù)類型。

基于文件的優(yōu)化內(nèi)核“不需要O(n%2) 內(nèi)存執(zhí)行,并落實(shí):舊前,它支持了范圍更廣的建筑結(jié)構(gòu)(SM40和以后的SM40)上的32和16位浮數(shù)據(jù)類型。效率( mem) 效率( P)內(nèi)核

請(qǐng)注意,兩個(gè)優(yōu)化的內(nèi)核(上面列出兩個(gè)和三個(gè))都支持一個(gè)鍵嵌入面罩,并將支持的注意面罩限制為因果注意。 今天加速的 PyTorch 2.0 點(diǎn)火2.0 變換器只在指定使用因 - 因 - 因 - 因 - 原因當(dāng)指定掩罩時(shí),將選擇通用內(nèi)核,因?yàn)榉治鏊峁┭谡值膬?nèi)容太昂貴,無法確定它是否為因果遮罩。PT2 加速變換器博客.

使用納米GPPT的快速加速變換器

SDPA操作員是GPT模型的關(guān)鍵組成部分,我們確定開放源碼納米GPT模型是展示PyTorch 2.0 點(diǎn)火2.0加速變異器實(shí)施方便和效益的絕佳候選者。 以下展示了加速變異器在NAMGPT上啟用的確切過程。

這一過程主要圍繞取代現(xiàn)有的SDPA實(shí)施程序,由新加入的F.scald_dot_product_product_access 運(yùn)營(yíng)商取代。功能.py。這個(gè)程序可以很容易地調(diào)整,使操作員能夠進(jìn)入許多其他LLMs?；蛘?用戶可以選擇調(diào)用 F. multi_head_attention_forward () 或酌情直接使用 nn. Multi HeadAtention 模塊。以下代碼片斷從 Karpathy 的 N納米GPT 倉庫中修改。

第1步:確定現(xiàn)有的SDPA執(zhí)行情況

就納米GPT而言,SDPA是在模型中實(shí)施的。以因果自 心類別。在撰寫本報(bào)告時(shí),為該員額對(duì)最初執(zhí)行部分作如下調(diào)整。

第2步:用火炬取代縮放_(tái) dot_ product_ 注意

目前,我們可以注意到以下幾點(diǎn):

第36至42行界定我們正在取代的SDPA的數(shù)學(xué)實(shí)施

39號(hào)線上應(yīng)用的面具不再相關(guān),因?yàn)槲覀兪褂玫氖强s放_(tái)dot_product_product_product_acceptions因 - 因 - 因 - 因 - 原因旗幟。

第41行使用的輟學(xué)層現(xiàn)在也沒有必要。

換掉SDPA 的火炬( 縮放為_ dot_ product_ product_ attention), 并刪除多余的代碼, 產(chǎn)生以下效果 。

或者,也可以將原始面罩傳遞到attn-mask 縮略圖然而,由于上述內(nèi)核限制,將執(zhí)行限制在只支持通用sdpa_math 地圖內(nèi)核

第3步(邦斯):用墊板更快的墊板

除了SDPA的性能改善之外,我們的分析還取得了良好的附帶勝利。 在Andrej的“迄今為止對(duì)納米GPT(~25%的加速率)最戲劇化的優(yōu)化 ” , 就是簡(jiǎn)單地將鱷魚的體積從50257個(gè)增加到50304個(gè)(接近64個(gè)的倍數(shù) ) 。 ”

vocab 大小決定了 GPT 輸出層的 matmuls 尺寸, 這些尺寸太大, 以至于它們正在使用占多數(shù)整個(gè)訓(xùn)練循環(huán)的時(shí)間點(diǎn)。 我們發(fā)現(xiàn),他們的表現(xiàn)大大低于A100GPU上可以達(dá)到的最高量。NVIDIA的制表文件64 元素對(duì)齊將產(chǎn)生更好的效果。 事實(shí)上, 掛貼這些配制板可以實(shí)現(xiàn)近3x加速 。 根本原因是不對(duì)齊的內(nèi)存存存取大大降低了效率。 更深入的分析可見于此推特線索.

通過這種優(yōu)化,我們進(jìn)一步縮短了每批培訓(xùn)時(shí)間,從~113毫斯(利用閃光關(guān)注)減少到~87毫斯。

結(jié)果結(jié)果結(jié)果 結(jié)果 結(jié)果

下圖顯示了利用Pytorch定制內(nèi)核取得的性能。

基準(zhǔn)線(執(zhí)行NanoGPT):~14 300米

sdpa_math 地圖( generic): ~ 134ms (6. 71% 更快)

效率( mem) 效率( P)內(nèi)核:~119米(快20.16%)

閃閃注意內(nèi)核:~113米(26.54%更快)

閃光- 注意加插 vocab:~ 8700米(64.37%更快)

所有代碼都運(yùn)行在80GB HBM[A100 SXM4 80GB]的8x NVIDIA Corporation A100服務(wù)器上,為試驗(yàn)?zāi)康?將這一輟學(xué)率設(shè)為0。

圖2:使用定制內(nèi)核和火炬的量級(jí)點(diǎn)產(chǎn)品注意和定制內(nèi)核和火炬。納米gpt在此顯示 。

加強(qiáng)數(shù)字模型穩(wěn)定

除了速度更快之外,PyTorrch的實(shí)施工作通過避免許多執(zhí)行方案失去準(zhǔn)確性,提高了數(shù)字穩(wěn)定性。在這里,但基本上PyTollch 實(shí)施規(guī)模的查詢和關(guān)鍵矩陣之前由于SDPA的合并定制內(nèi)核結(jié)構(gòu),這一縮放在計(jì)算關(guān)注結(jié)果時(shí)不會(huì)增加間接費(fèi)用,相比之下,個(gè)別計(jì)算組成部分的實(shí)施需要分別進(jìn)行預(yù)先縮放,按額外費(fèi)用計(jì)算。

改進(jìn)內(nèi)存消耗

然而,使用SDPA火炬內(nèi)核的另一個(gè)大優(yōu)點(diǎn)是記憶足跡減少,從而可以使用較大的批量尺寸。下圖比較了經(jīng)過一小時(shí)的閃光關(guān)注培訓(xùn)和因果關(guān)注基線實(shí)施后的最佳驗(yàn)證損失。從可以看出,基線因果關(guān)注實(shí)施(在8x NVIDIA Corporation A100服務(wù)器上,有80GB HBM, 80 GB HBM)實(shí)現(xiàn)的最大批量規(guī)模為24個(gè),大大低于以閃光關(guān)注實(shí)現(xiàn)的最大數(shù)量,即39個(gè)。

圖3:使用 " 閃電注意 " 使得能夠使用較大批量的批量,使用戶在經(jīng)過一小時(shí)培訓(xùn)后獲得較低的驗(yàn)證損失(越小越好)。

結(jié) 結(jié) 結(jié) 結(jié)

新推出的PyTorrch SDPA運(yùn)營(yíng)商為培訓(xùn)變異器模型提供了更好的性能,對(duì)昂貴的大型語言模型培訓(xùn)特別有價(jià)值。

與固定批量規(guī)模的基準(zhǔn)相比,培訓(xùn)速度加快26%以上

與基準(zhǔn)量相比,用加插詞匯表實(shí)現(xiàn)進(jìn)一步加快速度,使總優(yōu)化率達(dá)到約64%

額外數(shù)字穩(wěn)定性

附錄A:分析注意數(shù)字穩(wěn)定

我們?cè)诒竟?jié)更深入地解釋前文提到的通過預(yù)估SDPA輸入矢量而獲得的增強(qiáng)數(shù)字穩(wěn)定性。 下面是納米GPT數(shù)學(xué)應(yīng)用SDPA的簡(jiǎn)化版本。 這里需要指出的是,查詢?cè)诓豢s放的情況下進(jìn)行矩陣倍增。

# 納米gpt implementation of SDPA
# notice q (our query vector) is not scaled !
att = (q @ k.transpose(-2, -1)) * (1.0 / math.sqrt(k.size(-1)))
att = att.masked_fill(self.bias[:,:,:T,:T] == 0, float('-inf'))
att = F.softmax(att, dim=-1)

# Dropout is set to 0, so we can safely ignore this line in the implementation# att = self.attn_dropout(att) 

y_ nanogpt 識(shí)別器( y_ nanogpt) = att @ v # (B, nh, T, T) x (B, nh, T, hs) -> (B, nh, T, hs)

以下是火炬中等量的數(shù)學(xué)執(zhí)行情況?？s放_(tái) dot_ product_ 注意.

調(diào)

在數(shù)學(xué)方面,兩種方法應(yīng)當(dāng)相等,然而,我們的實(shí)驗(yàn)表明,在實(shí)踐中,我們從每一種方法得到的結(jié)果不同。

使用上述方法,我們核實(shí)了y 之前的 y_ 縮數(shù)(_S)匹配使用縮放_(tái) dot_ product_ 注意方法時(shí)y_ nanogpt 識(shí)別器( y_ nanogpt)沒有。

排火炬聯(lián)盟具體地說,我們表明:

y_dpa = cherch.nn. 功能._ scald_dot_ product_atunited( q, k, v, attn-mask 縮略圖=self. bias) [, : : : , T, : T] ! = 0, diut_ p= 0.0, 需要_ attn_ weights = False, 原因=False, ) toch.allclose( y_ sdpa, y_ nanogpt)

附錄B:復(fù)制實(shí)驗(yàn)結(jié)果

試圖復(fù)制這些結(jié)果的研究人員應(yīng)首先從Andrej納米GPT存儲(chǔ)庫的以下承諾開始:b3c17c6c6a363357623f2223aaa4a8b1e89d0a465。在測(cè)量每批量速度改進(jìn)時(shí),這一承諾被用作基準(zhǔn)。對(duì)于包括添加詞匯優(yōu)化(按批量速度進(jìn)行最大改進(jìn))在內(nèi)的結(jié)果,使用以下承諾:77e7e04c26577846df30c1ca2d9f7cbb93ddeab。從任一取出中,選擇實(shí)驗(yàn)的內(nèi)核與使用該內(nèi)核相比是微不足道的。

可以通過上下文管理器選擇想要的內(nèi)核 :

火炬. 后端. cuda. sdp_ 內(nèi)核( 啟用_ math = False, 啟用_ flash = False, 啟用_ mem_ valid = true): 火車( 模型)

審核編輯：彭菁