英偉達H100，沒那么缺貨了 !RTX 4090 ，大漲

可以肯定的是，在接下來的幾個月里，使用 Nvidia GPU 的長隊可能會變得更短。

過去幾個月，眾多大大小小的公司都報告稱收到了數(shù)千塊 H100 GPU。

這樣，在云端使用 H100 GPU 的排隊時間可能會縮短。數(shù)據(jù)中心提供商和前比特幣挖礦公司正在開設(shè)具有 H100 集群的數(shù)據(jù)中心。這些公司承諾以大型云提供商成本的一小部分提供 H100 GPU 計算，而大型云提供商對 H100 GPU 加速的虛擬機收取高價。

亞馬遜最近宣布，將在其網(wǎng)站上對 H100 GPU 進行 1 至 14 天的預(yù)訂，以應(yīng)對未來需求的激增。

供應(yīng)正常化也有助于企業(yè)將人工智能計劃付諸實施。HPCwire 就短缺問題是否已得到解決聯(lián)系了 Nvidia，但該公司拒絕發(fā)表評論。

幾個月前，特斯拉首席執(zhí)行官埃隆·馬斯克注意到 GPU 短缺，并正在等待接收 Nvidia GPU 以提高人工智能能力。馬斯克表示，特斯拉啟動了由 10,000 個 H100 GPU 組成的集群，并且部署速度極快。

“訓(xùn)練是全自動駕駛和車輛自主進展的根本限制因素，”馬斯克在上個月的財報電話會議上表示。

Nvidia 一直在對 H100 進行配給，并根據(jù) AI 模型的規(guī)模、可用基礎(chǔ)設(shè)施和客戶概況來評估客戶。 這家芯片制造商優(yōu)先考慮各個行業(yè)財力雄厚的客戶。Nvidia 還選擇了能夠積極反映其 GPU 最佳利用的客戶。特斯拉符合頂級客戶的形象，擁有明確的人工智能模型。

Nvidia 還提供了關(guān)于客戶何時收到 H100 GPU 的更清晰的時間表。數(shù)據(jù)中心提供商 Applied Digital 購買了 34,000 個 H100 GPU，其中 26,000 個將在 4 月份部署，此后還會再部署 8,000 個。

Applied Digital 于 9 月開始收到 5 月下達的 GPU 訂單。9 月份，它收到了 1,024 個 GPU，首席執(zhí)行官 Wes Cummins 估計這個數(shù)字在 10 月份翻了一番，并且“11 月、12 月以及 1 月份這個數(shù)字可能會顯著增加”。

該公司還在北達科他州埃倫代爾破土動工新建一個高性能計算數(shù)據(jù)中心，該數(shù)據(jù)中心可在計算集群中托管 50,000 個 Nvidia H100 SXM 級 GPU。

英偉達還向能夠簽署采購訂單的小型客戶提供服務(wù)。

Iris Energy 正在創(chuàng)建人工智能計算基礎(chǔ)設(shè)施，支付了約 1000 萬美元購買了 248 個 Nvidia GPU。預(yù)計在未來幾個月內(nèi)交付。該公司在上個月向美國證券交易委員會提交的一份文件中表示。

H100 將為 Iris Energy 啟動一項新的人工智能業(yè)務(wù)，該公司早些時候已將自己定位為加密貨幣礦工。這家澳大利亞公司看到了更大的生成人工智能市場，并正在改造其位于美國和加拿大的比特幣挖礦數(shù)據(jù)中心，以進行人工智能計算。

由億萬富翁 Jed McCaleb 資助的初創(chuàng)公司Voltage Park 收到了大量 24,000 個 Nvidia H100 GPU，這些 GPU 分布在華盛頓州、德克薩斯州和弗吉尼亞州的集群中。

“訂單是在 2023 年 4 月左右下的。團隊很清楚……緊要關(guān)頭即將到來，因此他們提前下了一份非常大的訂單，以保證有足夠的供應(yīng)，”Voltage Park 的 Eric Park 在一封電子郵件中表示。

這些 GPU 已經(jīng)為人工智能公司 Imbue 提供服務(wù)，該公司似乎與Voltage Park 有著密切的聯(lián)系。Nvidia 和 Jed McCaleb 創(chuàng)立的 Astera Institute 都是 Imbue 的投資者之一。

Voltage Park 還旨在通過支持名為 FLOP Auction 的計劃，為客戶提供廉價的 H100 GPU 計算能力。它就像 eBay 在 H100 上進行人工智能計算一樣，出價最高者獲得服務(wù)器時間。

Park 表示：“這是一個早期項目，旨在研究進入Voltage Park H100 集群的拍賣機制。我們的想法是，通過拍賣時間而不是合同，這有助于保證市場價格和透明的流程?！?/p>

當(dāng)前每小時 H100 集群FLOP 拍賣的中標(biāo)價格比Google Cloud 上2017 年發(fā)布的 V100 的每小時價格便宜。勝利取決于合同規(guī)模和承諾。

H100 熱潮還為計算機硬件的價值賦予了全新的含義，GPU 成為新業(yè)務(wù)的抵押品。

Crusoe Energy 是一家前加密貨幣礦商，以 20,000 臺 H100 作為抵押，獲得了 2 億美元的融資。同樣，GPU 計算提供商 CoreWeave 也以 H100 作為抵押獲得了價值 24 億美元的融資。

Crusoe 的 GPU 容量將于明年第一季度投入使用。該公司已經(jīng)提供了在較舊的 Nvidia GPU 上運行的集群。

甚至一家cannabis公司也加入了 H100 熱潮?？偛课挥诳屏_拉多州的 American Cannabis 公司已同意與 HyperScale Nexus Holding Corp. 合并，該公司希望圍繞 Nvidia 的 H100 GPU 創(chuàng)建業(yè)務(wù)。

將內(nèi)存和芯片結(jié)合在一起的 CoWoS 封裝的短缺加劇了 GPU 的短缺。英偉達正在幫助臺積電尋找新的合作伙伴和供應(yīng)商來解決短缺問題。

展望未來，其他因素可能會意外地結(jié)束短缺并加速 Nvidia 的 GPU 出貨量。

美國政府最近對英偉達向中國公司出口A800、H800和L40S系列GPU實施了限制。這可以打開 CoWoS 封裝并釋放制造能力，為美國和其他市場生產(chǎn)更多 H100 芯片。

Nvidia 沒有直接向客戶提供 GPU，而是通過云提供商租用 GPU 來擴展 H100 容量。云提供商部署的 GPU 服務(wù)器是 DGX 參考模型的復(fù)制品，其中包括 8 個 H100 GPU。

市場研究公司表示：“這一轉(zhuǎn)變還可能激發(fā) Nvidia 擁護以 A100 或 H100 AI 服務(wù)器為基礎(chǔ)的 DGX 云訂閱和租賃模式的熱情，甚至擴大其視野以納入更多樣化的云服務(wù)（L40S 等）?！?TrendForce 在 10 月份發(fā)布的研究報告中表示。

Oracle 在 9 月份宣布全面推出 Nvidia H100 裸機計算服務(wù)。

谷歌于 8 月下旬宣布推出 A3 超級計算機，該計算機可根據(jù)計算需求容納多達 26,000 個 H100 GPU。

微軟首席財務(wù)官 Amy Hood 在最近的財報電話會議上表示，微軟還提高了 GPU 容量，從而更好地利用其人工智能服務(wù)。

Azure 云服務(wù)是圍繞 Nvidia 的 GPU 構(gòu)建的。微軟宣稱其 Azure 超級計算機是世界上最快的服務(wù)器系統(tǒng)之一。

該公司可能會在 11 月 21 日的下一次財報電話會議上提供 GPU 供應(yīng)的最新信息。

盡管對 H100 的需求炙手可熱，Nvidia 最近還是宣布了更新的路線圖，計劃在未來三年推出新的 GPU。

107000 個挖礦 GPU 可，供出租用于 AI 工作負(fù)載

加密貨幣熱潮崩潰后，許多加密農(nóng)場留下了大量未使用的 GPU。其中一些公司設(shè)法為他們的 GPU 找到其他用途，但仍有數(shù)千家公司閑置。Io.net 開發(fā)了一個分布式網(wǎng)絡(luò)，可以匯集數(shù)十萬個 GPU 并將它們用于人工智能應(yīng)用程序——顯然目前有 107,000 個 GPU 處于等待名單上。

Io.net開發(fā)了一個去中心化物理基礎(chǔ)設(shè)施網(wǎng)絡(luò)（DePIN），支持來自不同地理位置的數(shù)據(jù)中心和加密貨幣礦工的GPU計算能力的池化和集群化。該網(wǎng)絡(luò)旨在通過聚合世界各地未充分利用的 GPU 來為人工智能和機器學(xué)習(xí)工作負(fù)載提供資源。為了吸引 GPU 所有者，Io.net 推出了 70 萬美元的激勵計劃，鼓勵他們?yōu)榫W(wǎng)絡(luò)貢獻資源。

雖然 Io.net DePIN 的主要想法是聚合數(shù)據(jù)中心和各個加密貨幣礦工未使用的 GPU 計算資源，但該公司還與專門從事遠程渲染的 Render 網(wǎng)絡(luò)合作，以獲得對額外 GPU 的訪問權(quán)限。

Io.net 并不是當(dāng)今唯一的 GPU 資源 DePIN，但該公司表示，它實際上可以在幾分鐘內(nèi)聚集來自不同地理位置的 GPU 資源，這與一些競爭對手不同。

Io.net 首席運營官托里·格林 (Tory Green) 在接受 Cointelegraph 采訪時表示：“問題在于它們并沒有真正集群?！?“它們主要是單實例，雖然他們的網(wǎng)站上確實有集群選項，但銷售人員很可能會調(diào)用所有不同的數(shù)據(jù)中心來查看可用的內(nèi)容?！?/p>

就功能而言，最接近的競爭對手是面向人工智能的服務(wù)，例如 Akash Network，該網(wǎng)絡(luò)由 8 到 32 個 GPU 組成。

Io.net 的平臺允許客戶挑選他們想要使用的 GPU 的數(shù)量和位置以及安全設(shè)置，從而使企業(yè)和機器學(xué)習(xí)工程師能夠更輕松地獲得他們所需的計算能力。

該公司使用 Solana 區(qū)塊鏈技術(shù)來管理其網(wǎng)絡(luò)內(nèi)的微交易，以便向 GPU 計算提供商付款。Solana 的技術(shù)可以促進大量小額交易，而傳統(tǒng)區(qū)塊鏈可能無法有效地處理這些交易，因為處理時間較慢/費用較高。這使得 Solana 成為 Io.net 基礎(chǔ)設(shè)施的關(guān)鍵組成部分，使其能夠通過強大的支付系統(tǒng)運行 GPU 計算能力的去中心化網(wǎng)絡(luò)。

RTX 4090 零售價格，過去一個月上漲 10%

Nvidia RTX 4090目前是最佳顯卡中速度最快的 GPU，在我們的GPU 基準(zhǔn)測試層次中處于桿位。它從來就不是一款價格實惠的卡，建議零售價為 1,599 美元，但最近的趨勢是價格更高。在美國，我們看到價格最低的卡在過去一個月的成本上漲了 10%，并且查看亞馬遜上的特定型號，其中一些價格上漲得更多。有多種因素可能在起作用。

首先，或許也是最重要的一點，從 11 月 17 日開始，RTX 4090 將受到中國出口限制。這要歸功于其原始計算能力，但也可能是因為它有點太像數(shù)據(jù)中心 Nvidia L40 和 L40S——它們使用相同的數(shù)據(jù)中心AD102芯片為4090。但限制這些GPU出口到中國也意味著在中國組裝顯卡也被禁止。大多數(shù)顯卡公司出于成本原因在中國進行顯卡組裝，因此華碩、技嘉、微星、PNY 等都將不得不將 4090 卡的生產(chǎn)轉(zhuǎn)移到其他地方，而以中國為中心的品牌可能不得不完全停止生產(chǎn)。

查看 CamelCamelCamel 上的一些定制 RTX 4090 卡，可以深入了解最近幾個月的進展情況。華碩RTX 4090 TUF OC觸底價為 1,699 美元，但現(xiàn)在售價為 1,819 美元——亞馬遜上該卡的最高價格。同樣，華碩 4090 ROG Strix OC在 5 月份觸及 1,885 美元的低點，但在 10 月份飆升至 2,173 美元，目前價格為 2,640 美元（因為它基本上缺貨）。

我們可以嘗試看看其他 4090 型號，但還有另一個令人不安的趨勢：大多數(shù) 4090 卡開始缺貨。是因為需求增加了嗎？這是可能的，但可能性不大。更有可能的是，供應(yīng)已經(jīng)枯竭，要么是因為制造成本太高，要么是因為其他產(chǎn)品正在醞釀之中。

這就引出了影響價格和可用性的第三個潛在因素：傳聞已久的 RTX 4090 Ti。在過去一年的大部分時間里，我們一直聽到有關(guān) 4090 Ti（有時也稱為新 Titan RTX）的所謂“泄露”消息。當(dāng)然，Nvidia 在創(chuàng)建 RTX 4090 時為更高性能的 AD102 部件留出了空間。但考慮到 4090 的 16 針連接器故障及其已經(jīng)有些令人厭惡的 450W TGP 額定值，推出了 600W 或更高的 RTX 4090 Ti TGP 似乎會帶來更多問題。

盡管如此，最新的Nvidia RTX 4070 Ti Super 傳聞還提到了 RTX 4070 Super、RTX 4080 Super 和 RTX 4090 Ti。這可能會發(fā)生，也可能不會發(fā)生，但如果 4090 Ti 將在未來幾個月內(nèi)推出（1 月份的 CES 2024 似乎確實有可能），顯卡制造商幾乎肯定會停止普通 4090 卡的生產(chǎn)。

這是因為 4090 目前是光環(huán)產(chǎn)品，價格也與之相匹配。那些想要盡可能快的 GPU 的人可能會被吸引去購買 4090 而不是 4080，但出于同樣的原因，如果存在 4090 Ti，他們?yōu)槭裁磿x擇去年推出的倒數(shù)第二個 GPU？換句話說，如果 Nvidia 推出 4090 Ti，它很可能會停產(chǎn) 4090，或者至少減少該部件的產(chǎn)量。

還有另一個憤世嫉俗的因素也可能在起作用。理論上，黑色星期五 GPU 銷售即將到來。雖然我們通常不會看到很多顯卡促銷活動，但我們經(jīng)常會在促銷開始前看到價格呈上漲趨勢。今年早些時候售價為 600 美元的 GPU 可能會在一個月左右的時間內(nèi)突然升至 700 美元，然后再次以 600 美元的價格“上市”?！肮?jié)省 14%！”

我們無法確定上述每個因素如何影響 RTX 4090 的定價方程，但我們確實知道4090 的價格在過去兩個月里一直在攀升。理想情況下，我們將在不久的將來獲得一款新的 RTX 4090 Ti，建議零售價與 4090 相同，均為 1,599 美元。不幸的是，更有可能的是，這樣的卡——如果它存在并且很快就會推出——將使建議零售價提高一個檔次。無論如何，我們將繼續(xù)跟蹤價格，等待事情的最終結(jié)果。