PyTorch教程23.5之選擇服務(wù)器和GPU

23.5.1。選擇服務(wù)器

通常不需要購買具有許多線程的高端 CPU，因?yàn)榇蟛糠钟?jì)算都發(fā)生在 GPU 上。也就是說，由于 Python 中的全局解釋器鎖 (GIL)，在我們擁有 4-8 個(gè) GPU 的情況下，CPU 的單線程性能可能很重要。在所有條件相同的情況下，這表明內(nèi)核數(shù)量較少但時(shí)鐘頻率較高的 CPU 可能是更經(jīng)濟(jì)的選擇。例如，在 6 核 4 GHz 和 8 核 3.5 GHz CPU 之間進(jìn)行選擇時(shí)，前者更可取，盡管其總速度較低。一個(gè)重要的考慮因素是 GPU 使用大量功率，因此會(huì)散發(fā)大量熱量。這需要非常好的散熱和足夠大的機(jī)箱來使用 GPU。如果可能，請(qǐng)遵循以下準(zhǔn)則：

1. 電源。GPU 使用大量電力。每個(gè)設(shè)備最高 350W 的預(yù)算（檢查顯卡的峰值需求而不是典型需求，因?yàn)楦咝Тa會(huì)消耗大量能源）。如果您的電源不能滿足需求，您會(huì)發(fā)現(xiàn)您的系統(tǒng)變得不穩(wěn)定。

2. 機(jī)箱尺寸。GPU 很大，輔助電源連接器通常需要額外的空間。另外，大機(jī)箱更容易散熱。

3. 顯卡散熱。如果您有大量 GPU，則可能需要投資水冷。此外，即使風(fēng)扇較少，也要以參考設(shè)計(jì)為目標(biāo)，因?yàn)樗鼈冏銐虮?，可以在設(shè)備之間引入空氣。如果您購買多風(fēng)扇 GPU，安裝多個(gè) GPU 時(shí)它可能太厚而無法獲得足夠的空氣，并且您會(huì)遇到熱節(jié)流問題。

4. PCIe 插槽。將數(shù)據(jù)移入和移出 GPU（以及在 GPU 之間交換數(shù)據(jù)）需要大量帶寬。我們推薦 16 通道的 PCIe 3.0 插槽。如果安裝多個(gè) GPU，請(qǐng)務(wù)必仔細(xì)閱讀主板說明以確保 16× 當(dāng)同時(shí)使用多個(gè) GPU 并且您獲得 PCIe 3.0 而不是 PCIe 2.0 用于額外插槽時(shí)，帶寬仍然可用。一些主板降級(jí)到8×甚至4×安裝多個(gè) GPU 時(shí)的帶寬。這部分是由于 CPU 提供的 PCIe 通道數(shù)量。

簡(jiǎn)而言之，這里有一些構(gòu)建深度學(xué)習(xí)服務(wù)器的建議：

• 初學(xué)者。購買低功耗的低端 GPU（適合深度學(xué)習(xí)的廉價(jià)游戲 GPU 使用 150-200W）。如果幸運(yùn)的話，您當(dāng)前的計(jì)算機(jī)將支持它。

• 1 個(gè)顯卡。具有 4 核的低端 CPU 就足夠了，大多數(shù)主板就足夠了。瞄準(zhǔn)至少 32 GB DRAM 并投資 SSD 用于本地?cái)?shù)據(jù)訪問。600W的電源應(yīng)該足夠了。買一個(gè)有很多風(fēng)扇的 GPU。

• 2 個(gè) GPU。具有 4-6 個(gè)內(nèi)核的低端 CPU 就足夠了。瞄準(zhǔn) 64 GB DRAM 并投資購買 SSD。兩個(gè)高端 GPU 需要大約 1000W 的功率。在主板方面，確保它們有 兩個(gè)PCIe 3.0 x16 插槽。如果可以，獲得一塊在 PCIe 3.0 x16 插槽之間有兩個(gè)可用空間（60 毫米間距）的主板，以提供額外的空氣。在這種情況下，購買兩個(gè)風(fēng)扇很多的 GPU。

• 4 個(gè) GPU。確保購買單線程速度相對(duì)較快（即時(shí)鐘頻率較高）的 CPU。您可能需要具有更多 PCIe 通道的 CPU，例如 AMD Threadripper。您可能需要相對(duì)昂貴的主板來獲得 4 個(gè) PCIe 3.0 x16 插槽，因?yàn)樗鼈兛赡苄枰粋€(gè) PLX 來復(fù)用 PCIe 通道。購買具有參考設(shè)計(jì)的狹窄 GPU，讓空氣進(jìn)入 GPU 之間。您需要一個(gè) 1600–2000W 的電源，而您辦公室的插座可能不支持。該服務(wù)器可能會(huì)運(yùn)行得很吵很熱。你不希望它在你的辦公桌下。建議使用 128 GB 的 DRAM。獲取用于本地存儲(chǔ)的 SSD（1–2 TB NVMe）和一組 RAID 配置的硬盤來存儲(chǔ)您的數(shù)據(jù)。

• 8 個(gè) GPU。您需要購買帶有多個(gè)冗余電源的專用多 GPU 服務(wù)器機(jī)箱（例如，每個(gè)電源 1600W 的 2+1）。這將需要雙插槽服務(wù)器 CPU、256 GB ECC DRAM、快速網(wǎng)卡（推薦 10 GBE），并且您需要檢查服務(wù)器是否支持GPU 的物理外形。消費(fèi)類 GPU 和服務(wù)器 GPU 之間的氣流和布線布局存在顯著差異（例如，RTX 2080 與 Tesla V100）。這意味著您可能無法在服務(wù)器中安裝消費(fèi)類 GPU，因?yàn)殡娫淳€間隙不足或缺少合適的線束（正如其中一位合著者痛苦地發(fā)現(xiàn)的那樣）。

23.5.2。選擇 GPU

目前，AMD和NVIDIA是專用GPU的兩大主要廠商。NVIDIA率先進(jìn)入深度學(xué)習(xí)領(lǐng)域，通過CUDA為深度學(xué)習(xí)框架提供更好的支持。因此，大多數(shù)買家選擇 NVIDIA GPU。

NVIDIA 提供兩種類型的 GPU，針對(duì)個(gè)人用戶（例如，通過 GTX 和 RTX 系列）和企業(yè)用戶（通過其 Tesla 系列）。這兩種類型的 GPU 提供了相當(dāng)?shù)挠?jì)算能力。但是，企業(yè)級(jí)用戶GPU普遍采用（被動(dòng)）強(qiáng)制散熱、更大內(nèi)存、ECC（糾錯(cuò)）內(nèi)存。這些 GPU 更適合數(shù)據(jù)中心，通常成本是消費(fèi)級(jí) GPU 的十倍。

如果您是一家擁有 100 多臺(tái)服務(wù)器的大公司，您應(yīng)該考慮使用 NVIDIA Tesla 系列或使用云中的 GPU 服務(wù)器。對(duì)于擁有 10 臺(tái)以上服務(wù)器的實(shí)驗(yàn)室或中小型公司，NVIDIA RTX 系列可能最具成本效益。您可以購買帶有 Supermicro 或 Asus 機(jī)箱的預(yù)配置服務(wù)器，這些機(jī)箱可以高效地容納 4-8 個(gè) GPU。

GPU 供應(yīng)商通常每隔一到兩年發(fā)布一次新一代產(chǎn)品，例如 2017 年發(fā)布的 GTX 1000（帕斯卡）系列和 2019 年發(fā)布的 RTX 2000（圖靈）系列。每個(gè)系列都提供幾種不同的型號(hào)，提供不同的性能水平。GPU 性能主要是以下三個(gè)參數(shù)的組合：

1. 計(jì)算能力。通常我們尋找 32 位浮點(diǎn)計(jì)算能力。16 位浮點(diǎn)訓(xùn)練（FP16）也正在進(jìn)入主流。如果你只對(duì)預(yù)測(cè)感興趣，你也可以使用 8 位整數(shù)。最新一代的圖靈 GPU 提供 4 位加速。不幸的是，目前訓(xùn)練低精度網(wǎng)絡(luò)的算法還沒有普及。

2. 內(nèi)存大小。隨著您的模型變大或訓(xùn)練期間使用的批次變大，您將需要更多 GPU 內(nèi)存。檢查 HBM2（高帶寬內(nèi)存）與 GDDR6（圖形 DDR）內(nèi)存。HBM2 更快但更昂貴。

3. 內(nèi)存帶寬。只有當(dāng)您有足夠的內(nèi)存帶寬時(shí)，您才能充分利用您的計(jì)算能力。如果使用 GDDR6，請(qǐng)尋找寬內(nèi)存總線。

對(duì)于大多數(shù)用戶來說，看算力就夠了。請(qǐng)注意，許多 GPU 提供不同類型的加速。例如，NVIDIA 的 TensorCores 將一部分算子加速了 5×. 確保您的圖書館支持這一點(diǎn)。GPU 內(nèi)存應(yīng)不少于 4 GB（8 GB 更好）。盡量避免將 GPU 也用于顯示 GUI（改為使用內(nèi)置圖形）。如果無法避免，請(qǐng)?zhí)砑宇~外的 2 GB RAM 以確保安全。

圖 23.5.1比較了各種 GTX 900、GTX 1000 和 RTX 2000 系列型號(hào)的 32 位浮點(diǎn)計(jì)算能力和價(jià)格。價(jià)格是在維基百科上找到的建議價(jià)格。

圖 23.5.1浮點(diǎn)計(jì)算能力和價(jià)格比較。

?