本周NVIDIA震撼發(fā)布的GeForce RTX 20系列顯卡值不值得買?如何選擇適合你的GPU?本文章深入分析這個(gè)問題,并提供建議,幫你做出最合適的選擇。
深度學(xué)習(xí)常被戲謔為“煉丹術(shù)”,那么,GPU于深度學(xué)習(xí)研究人員而言就是不可或缺的“煉丹爐”。
深度學(xué)習(xí)是一個(gè)計(jì)算要求很高的領(lǐng)域,選擇什么 GPU、選擇多少個(gè) GPU 將從根本上決定你的深度學(xué)習(xí)體驗(yàn)。如果沒有 GPU,可能需要好幾個(gè)月等待實(shí)驗(yàn)完成,或者實(shí)驗(yàn)運(yùn)行一整天下來只是看到失敗的結(jié)果。
憑借良好、可靠的 GPU,煉丹師們可以快速迭代深度網(wǎng)絡(luò)的設(shè)計(jì)和參數(shù),運(yùn)行實(shí)驗(yàn)的時(shí)間只需幾天而不是幾個(gè)月,幾小時(shí)而不是幾天,幾分鐘而不是幾小時(shí)。因此,在購買 GPU 時(shí)做出正確的選擇至關(guān)重要。
那么如何選擇適合你的 GPU 呢?本文作者Tim Dettmers是瑞士盧加諾大學(xué)信息學(xué)碩士,熱衷于開發(fā)自己的 GPU 集群和算法來加速深度學(xué)習(xí)。這篇文章深入研究這個(gè)問題,并提供建議,幫你做出最合適的選擇。
本周 NVIDIA 震撼發(fā)布的 GeForceRTX 20 系列顯卡值不值得買?它的能力、性價(jià)比如何?本文也給出分析。
先放結(jié)論:RTX 2080 最具成本效益的選擇。當(dāng)然,GTX 1080/1070(+ Ti)卡仍然是非常好的選擇。
作者給出的GPU建議如下:
總體來說最好的 GPU 是:RTX 2080 Ti
成本效益高,但價(jià)格昂貴:RTX 2080, GTX 1080
成本效益高,且價(jià)格實(shí)惠: GTX 1070, GTX 1070 Ti, GTX 1060
我使用的數(shù)據(jù)集 > 250GB: RTX 2080 Ti or RTX 2080
我沒有太多預(yù)算: GTX 1060 (6GB)
我很窮:GTX 1050 Ti (4GB) or CPU (prototyping) + AWS/TPU (training)
我參加 Kaggle 競(jìng)賽:GTX 1060 (6GB) 用于原型設(shè)計(jì) , AWS 用于最終訓(xùn)練; 使用 fastai 庫
我是計(jì)算機(jī)視覺研究人員:RTX 2080 Ti; 2019 年可以升級(jí)到 RTX Titan
我是一名研究人員:RTX 2080 Ti 或 GTX 10XX -> RTX Titan(看一下你當(dāng)前模型的存儲(chǔ)要求)
我想建立一個(gè) GPU 集群:這很復(fù)雜,可以參考這篇文章[1]
我剛開始進(jìn)行深度學(xué)習(xí),并且我是認(rèn)真的:可以先從 GTX 1060 (6GB) 開始,或者從便宜的 GTX 1070 或 GTX 1070 Ti 開始。這取決于你下一步想做什么(去初創(chuàng)公司,參加 Kaggle 競(jìng)賽,做研究,應(yīng)用深度學(xué)習(xí)),然后賣掉最初的 GPU 再買更適合的
全面對(duì)比:NVIDIA、AMD、Intel、Google、Amazon
NVIDIA: 絕對(duì)王者
NVIDIA 的標(biāo)準(zhǔn)庫使得在 CUDA 中建立第一個(gè)深度學(xué)習(xí)庫變得非常容易,而 AMD 的 OpenCL 卻沒有這樣強(qiáng)大的標(biāo)準(zhǔn)庫。這種領(lǐng)先優(yōu)勢(shì),再加上英偉達(dá)強(qiáng)大的社區(qū)支持,迅速擴(kuò)大了 CUDA 社區(qū)的規(guī)模。這意味著,如果你使用 NVIDIA GPU,在遇到問題時(shí)可以很容易找到支持;如果你自己寫 CUDA 程序,也很容易找到支持和建議,并且你會(huì)發(fā)現(xiàn)大多數(shù)深度學(xué)習(xí)庫都對(duì) NVIDIA GPU 提供最佳支持。對(duì)于 NVIDIA GPU 來說,這是非常強(qiáng)大的優(yōu)勢(shì)。
另一方面,英偉達(dá)現(xiàn)在有一項(xiàng)政策,在數(shù)據(jù)中心使用 CUDA 只允許 Tesla GPU,而不允許使用 GTX 或 RTX 卡?!皵?shù)據(jù)中心” 的含義模糊不清,但這意味著,由于擔(dān)心法律問題,研究機(jī)構(gòu)和大學(xué)往往被迫購買昂貴而且成本效率低的 Tesla GPU。然而,Tesla 卡與 GTX 和 RTX 卡相比并無大的優(yōu)勢(shì),價(jià)格卻要高 10 倍。
英偉達(dá)能夠沒有任何大障礙地實(shí)施這些政策,這顯示出其壟斷力量——他們可以隨心所欲,我們必須接受這些條款。如果你選擇了 NVIDIA GPU 在社區(qū)和支持方面的主要優(yōu)勢(shì),你還需要接受他們的隨意擺布。
AMD:能力強(qiáng)大,但缺乏支持
HIP 通過 ROCm 將 NVIDIA 和 AMD 的 GPU 統(tǒng)一在一種通用編程語言之下,在編譯成 GPU 匯編代碼之前被編譯成各自的 GPU 語言。如果我們的所有 GPU 代碼都在 HIP 中,這將成為一個(gè)重要里程碑,但這是相當(dāng)困難的,因?yàn)?TensorFlow 和 PyTorch 代碼基很難移植。TensorFlow 對(duì) AMD GPU 有一些支持,所有的主要網(wǎng)絡(luò)都可以在 AMD GPU 上運(yùn)行,但是如果你想開發(fā)新的網(wǎng)絡(luò),可能會(huì)遺漏一些細(xì)節(jié),這可能阻止你實(shí)現(xiàn)想要的結(jié)果。ROCm 社區(qū)也不是很大,因此要快速解決問題并不容易。此外,AMD 似乎也沒有太多資金用于深度學(xué)習(xí)開發(fā)和支持,這減緩了發(fā)展的勢(shì)頭。
但是,AMD GPU 性能并不比 NVIDIA GPU 表現(xiàn)差,而且下一代 AMD GPU Vega 20 將會(huì)是計(jì)算能力非常強(qiáng)大的處理器,具有類似 Tensor Core 的計(jì)算單元。
總的來說,對(duì)于那些只希望 GPU 能夠順利運(yùn)行的普通用戶,我仍然無法明確推薦 AMD GPU。更有經(jīng)驗(yàn)的用戶應(yīng)該遇到的問題不多,并且支持 AMD GPU 和 ROCm / HIP 開發(fā)人員有助于打擊英偉達(dá)的壟斷地位,從長(zhǎng)遠(yuǎn)來看,這將為每個(gè)人帶來好處。如果你是 GPU 開發(fā)人員并希望為 GPU 計(jì)算做出重要貢獻(xiàn),那么 AMD GPU 可能是長(zhǎng)期產(chǎn)生良好影響的最佳方式。對(duì)于其他人來說,NVIDIA GPU 是更安全的選擇。
英特爾:仍需努力
我個(gè)人對(duì)英特爾 Xeon Phis 的經(jīng)驗(yàn)非常令人失望,我認(rèn)為它們不是 NVIDIA 或 AMD 顯卡的真正競(jìng)爭(zhēng)對(duì)手:如果你決定使用 Xeon Phi,請(qǐng)注意,你遇到問題時(shí)能得到的支持很有限,計(jì)算代碼段比 CPU 慢,編寫優(yōu)化代碼非常困難,不完全支持 c++ 11 特征,不支持一些重要的 GPU 設(shè)計(jì)模式編譯器,與其他以來 BLAS routine 的庫(例如 NumPy 和 SciPy))的兼容性差,以及可能還有許多我沒遇到的挫折。
我很期待英特爾 Nervana 神經(jīng)網(wǎng)絡(luò)處理器(NNP),因?yàn)樗?a target="_blank">規(guī)格非常強(qiáng)大,它可以允許新的算法,可能重新定義神經(jīng)網(wǎng)絡(luò)的使用方式。NNP 計(jì)劃在 2019 年第三季度 / 第四季度發(fā)布。
谷歌:按需處理更便宜?
Google TPU 已經(jīng)發(fā)展成為非常成熟的基于云的產(chǎn)品,具有極高的成本效益。理解 TPU 最簡(jiǎn)單的方法是將它看作多個(gè)打包在一起的 GPU。如果我們看一下支持 Tensor Core 的 V100 和 TPUv2 的性能指標(biāo),我們會(huì)發(fā)現(xiàn)對(duì)于 ResNet50,這兩個(gè)系統(tǒng)的性能幾乎相同。但是,谷歌 TPU 更劃算。
那么,TPU 是不是基于云的經(jīng)濟(jì)高效的解決方案呢?可以說是,也可以說不是。不管在論文上還是在日常使用上,TPU 都更具成本效益。但是,如果你使用 fastai 團(tuán)隊(duì)的最佳實(shí)踐和指南以及 fastai 庫,你可以以更低的價(jià)格實(shí)現(xiàn)更快的收斂——至少對(duì)于用卷及網(wǎng)絡(luò)進(jìn)行對(duì)象識(shí)別來說是這樣。
使用相同的軟件,TPU 甚至可以更具成本效益,但這也存在問題:(1)TPU 不能用于 fastai 庫,即 PyTorch;(2)TPU 算法主要依賴于谷歌內(nèi)部團(tuán)隊(duì),(3)沒有統(tǒng)一的高層庫可以為 TensorFlow 實(shí)施良好的標(biāo)準(zhǔn)。
這三點(diǎn)都打擊了 TPU,因?yàn)樗枰獑为?dú)的軟件才能跟上深度學(xué)習(xí)的新算法。我相信谷歌的團(tuán)隊(duì)已經(jīng)完成了這些工作,但是還不清楚對(duì)某些模型的支持有多好。例如,TPU 的官方 GitHub 庫只有一個(gè) NLP 模型,其余的都是計(jì)算機(jī)視覺模型。所有模型都使用卷積,沒有一個(gè)是循環(huán)神經(jīng)網(wǎng)絡(luò)。不過,隨著時(shí)間的推移,軟件支持很可能會(huì)迅速改進(jìn),并且成本會(huì)進(jìn)一步下降,使 TPU 成為一個(gè)有吸引力的選擇。不過,目前 TPU 似乎最適合用于計(jì)算機(jī)視覺,并作為其他計(jì)算資源的補(bǔ)充,而不是主要的深度學(xué)習(xí)資源。
亞馬遜:可靠但價(jià)格昂貴
自從上次更新這篇博文以來,AWS 已經(jīng)添加了很多新的 GPU。但是,價(jià)格仍然有點(diǎn)高。如果你突然需要額外的計(jì)算,例如在研究論文 deadline 之前所有 GPU 都在使用,AWS GPU instances 可能是一個(gè)非常有用的解決方案
然而,如果它有成本效益,那么就應(yīng)該確保只運(yùn)行幾個(gè)網(wǎng)絡(luò),并且確切地知道為訓(xùn)練運(yùn)行選擇的參數(shù)是接近最優(yōu)的。否則,成本效益會(huì)大大降低,還不如專用 GPU 有用。即使快速的 AWS GPU 是誘人的堅(jiān)實(shí)的 gtx1070 和 up 將能夠提供良好的計(jì)算性能一年或兩年沒有太多的成本。
總結(jié)而言,AWS GPU instance 非常有用,但需要明智而謹(jǐn)慎地使用它們,以確保成本效益。有關(guān)云計(jì)算,我們后面還會(huì)再討論。
是什么讓一個(gè) GPU 比另一個(gè)更快?
選擇 GPU 時(shí),你的第一個(gè)問題可能是:對(duì)于深度學(xué)習(xí)來說,使得 GPU 運(yùn)算速度快的最重要的特性是什么?是 CUDA Core,時(shí)鐘速度,還是 RAM 的大?。?/p>
雖然一個(gè)很好的簡(jiǎn)化建議應(yīng)該是 “注意內(nèi)存帶寬”,但我不再建議這樣做。這是因?yàn)?GPU 硬件和軟件多年來的開發(fā)方式使得 GPU 的帶寬不再是其性能的最佳指標(biāo)。在消費(fèi)級(jí) GPU 中引入 Tensor Core 進(jìn)一步復(fù)雜化了這個(gè)問題?,F(xiàn)在,帶寬、FLOPS 和 Tensor Core 的組合才是 GPU 性能的最佳指標(biāo)。
為了加深理解,做出明智的選擇,最好要了解一下硬件的哪些部分使 GPU 能夠快速執(zhí)行兩種最重要的張量操作:矩陣乘法和卷積。
考慮矩陣乘法的一個(gè)簡(jiǎn)單而有效的方法是:它是受帶寬約束的。如果你想使用 LSTM 和其他需要做很多矩陣乘法的循環(huán)網(wǎng)絡(luò)的話,內(nèi)存帶寬是 GPU 最重要的特性,
同樣,卷積受計(jì)算速度約束。因此,對(duì)于 ResNets 和其他卷積體系結(jié)構(gòu)來說,GPU 的 TFLOP 是其性能的最佳指標(biāo)。
Tensor Cores 稍微改變了這種平衡。Tensor Cores 是專用計(jì)算單元,可以加速計(jì)算——但不會(huì)加大內(nèi)存帶寬——因此對(duì)于卷積網(wǎng)絡(luò)來說,最大的好處是 Tensor Core 可以使速度加快30%到 100%。
雖然Tensor Cores只能加快計(jì)算速度,但它們也允許使用 16-bit 數(shù)字進(jìn)行計(jì)算。這也是矩陣乘法的一大優(yōu)點(diǎn),因?yàn)閿?shù)字的大小只有 16-bit 而不是 32-bit,在內(nèi)存帶寬相同的矩陣中,數(shù)字的數(shù)量可以傳輸兩倍。一般來說,使用 Tensor Cores 的 LSTM 可以加速 20% 到 60%。
請(qǐng)注意,這種加速并不是來自 Tensor Cores 本身,而是來自它進(jìn)行 16-bit 計(jì)算的能力。在 AMD GPU 上的 16-bit 算法和在 NVIDIA 的具有 Tensor Cores 的卡上的矩陣乘法算法一樣快。
Tensor Cores 的一個(gè)大問題是它們需要 16-bit 浮點(diǎn)輸入數(shù)據(jù),這可能會(huì)帶來一些軟件支持問題,因?yàn)榫W(wǎng)絡(luò)通常使用 32-bit 的值。如果沒有 16-bit 的輸入,Tensor Cores 就相當(dāng)于沒用的。
但是,我認(rèn)為這些問題很快就能得到解決,因?yàn)?Tensor Cores 太強(qiáng)大了,現(xiàn)在消費(fèi)級(jí) GPU 也使用 Tensor Cores,因此,將會(huì)有越來越多的人使用它們。隨著 16-bit 深度學(xué)習(xí)的引入,我們實(shí)際上使 GPU 的內(nèi)存翻倍了,因?yàn)橥瑯觾?nèi)存的 GPU 中包含的參數(shù)翻倍了。
總的來說,最好的經(jīng)驗(yàn)法則是:如果你使用 RNN,要看帶寬;如果使用卷積,就看看 FLOPS;如果你買得起,就考慮 Tensor Cores(除非必要,否則不要買 Tesla 卡)
GPU 和 TPU 的標(biāo)準(zhǔn)化原始性能數(shù)據(jù)。越高越好。 RTX 2080 Ti 的速度大約是 GTX1080 Ti 的兩倍:0.75 vs 0.4。
性價(jià)比分析
性價(jià)比也許是選擇 GPU 時(shí)要考慮的最重要的一類指標(biāo)。我對(duì)此做了一個(gè)新的成本性能分析,其中考慮了內(nèi)存位寬、運(yùn)算速度和 Tensor 核心。價(jià)格上,我參考了亞馬遜和 eBay 上的價(jià)格,參考權(quán)重比為 1:1。然后我考察了使用 / 不使用 Tensor Core 情況下的 LSTM、CNN 等性能指標(biāo)。將這些指標(biāo)數(shù)字通過標(biāo)準(zhǔn)化幾何平均得到平均性能評(píng)分,計(jì)算出性價(jià)比數(shù)字,結(jié)果如下:
標(biāo)準(zhǔn)化處理后的性價(jià)比結(jié)果,考慮了內(nèi)存帶寬(RNN)、計(jì)算速度(卷積網(wǎng)絡(luò))、是否使用 Tensor Cores 等因素,數(shù)字越高越好。RTX2080 的性價(jià)比大概是 Tesla V100 的 5 倍。
請(qǐng)注意,RTX 2080 和 RTX 2080 Ti 的數(shù)字可能有些水分,因?yàn)閷?shí)際的硬性能數(shù)據(jù)還未發(fā)布。我根據(jù)這個(gè)硬件下的矩陣乘法和卷積的 roofline 模型以及來自 V100 和 Titan V 的 Tensor Core 基準(zhǔn)數(shù)字來估計(jì)性能。由于目前沒有硬件規(guī)格數(shù)字,RTX 2070 完全沒有排入。注意,RTX 2070 可能很容易在成本效益上擊敗其他兩款 RTX 系列顯卡,但目前沒有數(shù)據(jù)支持。
從初步數(shù)據(jù)來看,我們發(fā)現(xiàn) RTX 2080 比 RTX 2080 Ti 的性價(jià)比更高。 與 RTX2080 相比,RTX 2080 Ti 的 Tensor 核心和帶寬增加了約 40%,價(jià)格提高了 50%,但性能并沒有提高 40%。對(duì)于 LSTM 和其他 RNN 來說,從 GTX 10 系到 RTX 20 系的性能增長(zhǎng),主要是在于支持了 16 位浮點(diǎn)計(jì)算,而不是 Tensor 核心本身。雖然卷積網(wǎng)絡(luò)的性能在理論上應(yīng)該與 Tensor 核心呈線性增加,但我們從性能數(shù)據(jù)中并沒有看出這一點(diǎn)。
這表明,卷積體系結(jié)構(gòu)的其他部分無法憑借 Tensor 核心獲得性能提升,而這些部分在整體計(jì)算需求中也占了很大比重。因此,RTX 2080 具有更高的性價(jià)比,因?yàn)樗哂斜?GTX 10 系列獲得性能提升(GDDR6 + Tensor 核心)所需的所有功能,同時(shí)也比 RTX 2080 Ti 更便宜。
此外請(qǐng)讀者注意,這個(gè)分析中存在一些問題,對(duì)這些數(shù)據(jù)的解釋需要慎重:
(1)如果你購買的是高性價(jià)比、但運(yùn)算速度較慢的顯卡,那么在某些時(shí)候計(jì)算機(jī)可能不再會(huì)有更多 GPU 空間,因此會(huì)造成資源浪費(fèi)。因此,本圖表偏向于昂貴的 GPU。為了抵消這種偏差,還應(yīng)該對(duì)原始性能圖表進(jìn)行評(píng)估。
(2)此性價(jià)比圖表假設(shè),讀者會(huì)盡量多地使用 16 位計(jì)算和 Tensor 內(nèi)核。也就是說,對(duì)于 32 位計(jì)算而言,RTX 系顯卡的性價(jià)比很低。
(3)此前有傳聞?wù)f,有大量的 RTX 20 系顯卡由于加密貨幣行情的下滑而被延緩發(fā)布。因此,像 GTX 1080 和 GTX 1070 這樣流行的挖礦 GPU 可能會(huì)迅速降價(jià),其性價(jià)比可能會(huì)迅速提高,使得 RTX 20 系列在性價(jià)比方面不那么有優(yōu)勢(shì)。另一方面,大量的 RTX 20 系顯卡的價(jià)格將保持穩(wěn)定,以確保其具備競(jìng)爭(zhēng)力。很難預(yù)測(cè)這些顯卡的后續(xù)前景。
(4)如前文所述,目前還沒有關(guān)于 RTX 顯卡硬性、無偏見的性能數(shù)據(jù),因此所有這些數(shù)字都不能太當(dāng)真。
可以看出,在這么多顯卡中做出正確選擇并不容易。但是,如果讀者對(duì)所有這些問題采取一種平衡的觀點(diǎn),其實(shí)還是能夠做出自己的最佳選擇的。
云端深度學(xué)習(xí)
AWS 上的 GPU 實(shí)例和 Google Cloud 中的 TPU 都是深度學(xué)習(xí)的可行選擇。雖然 TPU 稍微便宜一點(diǎn),但它缺乏 AWS GPU 的多功能性和靈活性。 TPU 可能是訓(xùn)練目標(biāo)識(shí)別模型的首選。但對(duì)于其他類型的工作負(fù)載,AWS GPU 可能是更安全的選擇。部署云端實(shí)例的好處在于可以隨時(shí)在 GPU 和 TPU 之間切換,甚至可以同時(shí)使用它們。
但是,請(qǐng)注意這種場(chǎng)景下的機(jī)會(huì)成本問題:如果讀者學(xué)習(xí)了使用 AWS 實(shí)例能夠順利完成工作流程的技能,那么也就失去了利用個(gè)人 GPU 進(jìn)行工作的時(shí)間,也無法獲得使用 TPU 的技能。而如果使用個(gè)人 GPU,就無法通過云擴(kuò)展到更多 GPU / TPU 上。如果使用 TPU,就無法使用 TensorFlow,而且,切換到 AWS 平臺(tái)并不是一件很容易的事。流暢的云工作流程的學(xué)習(xí)成本是非常高的,如果選擇 TPU 或 AWS GPU,應(yīng)該仔細(xì)衡量一下這個(gè)成本。
另一個(gè)問題是關(guān)于何時(shí)使用云服務(wù)。如果讀者想學(xué)習(xí)深度學(xué)習(xí)或者需要設(shè)計(jì)原型,那么使用個(gè)人 GPU 可能是最好的選擇,因?yàn)樵茖?shí)例可能成本昂貴。但是,一旦找到了良好的深度網(wǎng)絡(luò)配置,并且只想使用與云實(shí)例的數(shù)據(jù)并行性來訓(xùn)練模型,使用云服務(wù)是一種可靠的途徑。也就是說,要做原型設(shè)計(jì),使用小型 GPU 就夠了,也可以依賴云計(jì)算的強(qiáng)大功能來擴(kuò)大實(shí)驗(yàn)規(guī)模,實(shí)現(xiàn)更復(fù)雜的計(jì)算。
如果你的資金不足,使用云計(jì)算實(shí)例也可能是一個(gè)很好的解決方案,但問題是,當(dāng)你只需要一點(diǎn)點(diǎn)原型設(shè)計(jì)時(shí),還是只能分時(shí)購買大量計(jì)算力,造成成本和計(jì)算力的浪費(fèi)。在這種情況下,人們可能希望在 CPU 上進(jìn)行原型設(shè)計(jì),然后在 GPU / TPU 實(shí)例上進(jìn)行快速訓(xùn)練。這并不是最優(yōu)的工作流程,因?yàn)樵?CPU 上進(jìn)行原型設(shè)計(jì)可能是非常痛苦的,但它確實(shí)是一種經(jīng)濟(jì)高效的解決方案。
結(jié)論
在本文中,讀者應(yīng)該能夠了解哪種 GPU 適合自己??偟膩碚f,我認(rèn)為在選擇 GPU 是有兩個(gè)主要策略:要么現(xiàn)在就使用 RTX 20 系列 GPU 實(shí)現(xiàn)快速升級(jí),或者先使用便宜的 GTX 10 系列 GPU,在 RTX Titan 上市后再進(jìn)行升級(jí)。如果對(duì)性能沒那么看重,或者干脆不需要高性能,比如 Kaggle 數(shù)據(jù)競(jìng)賽、創(chuàng)業(yè)公司、原型設(shè)計(jì)或?qū)W習(xí)深度學(xué)習(xí),那么相對(duì)廉價(jià)的 GTX 10 系列 GPU 也是很好的選擇。如果你選擇了 GTX 10 系列 GPU,請(qǐng)注意確保 GPU 顯存大小可以滿足你的要求。
那么對(duì)于深度學(xué)習(xí),如何選擇GPU?我的建議如下:
總體來說最好的 GPU 是:RTX 2080 Ti
成本效益高,但價(jià)格昂貴:RTX 2080, GTX 1080
成本效益高,且價(jià)格實(shí)惠: GTX 1070, GTX 1070 Ti, GTX 1060
我使用的數(shù)據(jù)集 > 250GB: RTX 2080 Ti or RTX 2080
我沒有太多預(yù)算: GTX 1060 (6GB)
我很窮:GTX 1050 Ti (4GB) or CPU (prototyping) + AWS/TPU (training)
我參加 Kaggle 競(jìng)賽:GTX 1060 (6GB) 用于原型設(shè)計(jì) , AWS 用于最終訓(xùn)練; 使用 fastai 庫
我是計(jì)算機(jī)視覺研究人員:RTX 2080 Ti; 2019 年可以升級(jí)到 RTX Titan
我是一名研究人員:RTX 2080 Ti 或 GTX 10XX -> RTX Titan(看一下你當(dāng)前模型的存儲(chǔ)要求)
我想建立一個(gè) GPU 集群:這很復(fù)雜,可以參考這篇文章[1]
我剛開始進(jìn)行深度學(xué)習(xí),并且我是認(rèn)真的:可以先從 GTX 1060 (6GB) 開始,或者從便宜的 GTX 1070 或 GTX 1070 Ti 開始。這取決于你下一步想做什么(去初創(chuàng)公司,參加 Kaggle 競(jìng)賽,做研究,應(yīng)用深度學(xué)習(xí)),然后賣掉最初的 GPU 再買更適合的
-
gpu
+關(guān)注
關(guān)注
28文章
4761瀏覽量
129144 -
顯卡
+關(guān)注
關(guān)注
16文章
2443瀏覽量
67917 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5510瀏覽量
121349
原文標(biāo)題:【深度分析】深度學(xué)習(xí)選GPU,RTX 20系列值不值得?
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論