NVIDIA Spectrum-3交換機的應(yīng)用性能

交換機重要嗎？

網(wǎng)絡(luò)矩陣是現(xiàn)代化數(shù)據(jù)中心性能的關(guān)鍵。這對數(shù)據(jù)中心的交換機提出了很多要求，而其中最基本的要求，是為所有客戶提供等量的帶寬，以便均勻地共享資源。如果沒有公平的網(wǎng)絡(luò)，所有應(yīng)用都會因吞吐量惡化、延遲、分布式應(yīng)用緩慢等原因，而出現(xiàn)性能不可預(yù)測的情況。

為了回答交換機是否重要這個問題，Tolly Group對NVIDIA Spectrum-3 12.8Tbps交換機的云、AI和存儲應(yīng)用性能進行了基準(zhǔn)測試，并將結(jié)果與典型的（商品級）12.8Tbps數(shù)據(jù)中心交換機的性能進行了同類比較。

Tolly Group

Tolly Group是一家第三方獨立IT行業(yè)實驗室，30多年來，一直從事對IT產(chǎn)品的性能測試和實際評估。Tolly Group的定位是提供證據(jù)證明產(chǎn)品達到，或超越營銷主張，并且不產(chǎn)生與Tolly Group公平測試憲章相沖突的報告。這一性能證明可以讓客戶知道自己是否可以放心地進行部署。

分布式應(yīng)用的性能（AI和SPARK）

每個交換機都有一個緩沖區(qū)以防止丟包。每當(dāng)送入交換機的流量超過可以送出交換機的流量時，緩沖區(qū)就會通過吸收數(shù)據(jù)包突發(fā)，來保護應(yīng)用性能。這有時被稱為incast流量模式。AI和Spark等分布式應(yīng)用因其性質(zhì)而會受到incast流量模式的困擾。

兩種交換機在其數(shù)據(jù)表中顯示二者緩沖區(qū)大小相同。但Tolly Group發(fā)現(xiàn)，NVIDIA Spectrum-3能夠吸收的數(shù)據(jù)包是典型數(shù)據(jù)中心交換機的4-8倍，因此需要8臺商品級交換機才能提供相當(dāng)于Spectrum-3交換機的數(shù)據(jù)包吸收能力。

圖1 NVIDIA Spectrum-3和商品級交換機對比

最大吸收能力固然重要，但光考慮這一點還不夠。交換機必須均勻吸收來自所有發(fā)送方的微突發(fā)流量，一個節(jié)點的延緩就會使整個集群變慢。

Tolly Group發(fā)現(xiàn)，Spectrum-3在所有情況下都能均勻吸收來自所有發(fā)送方的微突發(fā)流量，而商品級交換機則會使多個節(jié)點變慢，導(dǎo)致計算資源未得到充分利用。

公有云和私有云性能

公有云和私有云環(huán)境中會出現(xiàn)“吵鬧的鄰居”問題，即當(dāng)多個租戶使用一個共享資源，如CPU周期或網(wǎng)絡(luò)帶寬時，出現(xiàn)了一個租戶占用了這些資源，這個租戶被稱為“吵鬧的鄰居”。

“吵鬧的鄰居”問題可能因交換機租戶之間的隔離能力不足，使得一個租戶的使用而降低另一個租戶的體驗。數(shù)據(jù)中心交換機必須保護租戶不受其他租戶活動的影響，既要防止惡意攻擊，也要防止“吵鬧的鄰居”的影響。

Tolly Group發(fā)現(xiàn)，Spectrum-3交換機完全保護了每個租戶。而其他的交換機卻未能保護租戶，因為“吵鬧的鄰居”的流量模式，使一些租戶的成為受害者，嚴(yán)重匱乏帶寬，。

在擴展多租戶環(huán)境時，Spectrum-3同樣保護了每個租戶。但在這種情況下，“吵鬧的鄰居”問題規(guī)模遠(yuǎn)大于商品級交換機，擴展到交換機端口總數(shù)的一半。換言之，多達70個端口可能成為受害者并出現(xiàn)帶寬匱乏。

如果一個交換機不能保護租戶免受“吵鬧的鄰居”的影響，該交換機就不符合云架構(gòu)交換機的基本要求。

圖2 “吵鬧的鄰居”隔離

（換句話說：使用Spectrum-3，“吵鬧的鄰居”流量模式就不會產(chǎn)生影響。而如果使用商品級交換機，受害租戶就會出現(xiàn)帶寬匱乏。）

存儲性能

如今，數(shù)據(jù)中心的大多數(shù)存儲流量都在以太網(wǎng)上運行。具體而言，存儲通常使用9KB的巨幀。因此，這種數(shù)據(jù)包的大小變得比以往任何時候都重要，現(xiàn)在大多數(shù)交換機都支持9KB默認(rèn)數(shù)據(jù)包大小。

但典型數(shù)據(jù)中心交換機僅僅支持9KB數(shù)據(jù)包，這并不意味著它們?yōu)榇鎯?yīng)用進行了優(yōu)化。為了測量和比較每個交換機的存儲性能水平，Tolly Group使用IXIA的標(biāo)準(zhǔn)網(wǎng)絡(luò)測試工具來測量9KB數(shù)據(jù)包。

Tolly Group發(fā)現(xiàn)，Spectrum-3在所有情況下都能為所有存儲節(jié)點提供可預(yù)測和公平的性能。商品級交換機在使用9KB數(shù)據(jù)包時，顯示出不公平的流量共享，迫使一個存儲節(jié)點的運行速度比其他存儲節(jié)點慢17倍。這些不可預(yù)測的結(jié)果嚴(yán)重影響了存儲性能。

這會對現(xiàn)實世界產(chǎn)生影響。比如本來計劃并預(yù)計運行一個存儲備份的時間為2小時，但最終用了34小時才完成。

混合應(yīng)用性能

大多數(shù)數(shù)據(jù)中心運行多種不同的應(yīng)用，每個應(yīng)用數(shù)據(jù)包大小不盡相同。即使是單個應(yīng)用也會使用各種不同大小的數(shù)據(jù)包。再加上控制流量模式，最終，網(wǎng)絡(luò)上可能會出現(xiàn)更多不同大小的數(shù)據(jù)包。

Tolly Group發(fā)現(xiàn)，無論數(shù)據(jù)包大小如何，Spectrum-3始終能夠?qū)崿F(xiàn)公平性，而商品級交換機上，使用較小數(shù)據(jù)包的應(yīng)用總會陷入帶寬匱乏。更糟糕的是，隨著數(shù)據(jù)包大小差距的增加，小數(shù)據(jù)包的情況變得越發(fā)糟糕。

圖3 因幀的大小而產(chǎn)生的懸殊性能

在商品級交換機中，混合數(shù)據(jù)包大小所帶來的帶寬匱乏會對云、存儲和分布式應(yīng)用產(chǎn)生不利的影響。

為何會如此？

一言以蔽之，因為架構(gòu)。

Spectrum交換機有一個現(xiàn)代的、完全共享的緩沖區(qū)架構(gòu)，以及靈活的流水線架構(gòu)，該架構(gòu)專為優(yōu)化數(shù)據(jù)中心應(yīng)用性能和安全而設(shè)計。進一步了解評估結(jié)果，請下載新的Tolly Group性能評估報告。該報告解釋了Spectrum交換機和商品級交換機的架構(gòu)及其優(yōu)勢與劣勢。

架構(gòu)是一個真正的零和游戲。但與其他許多廠商不同，NVIDIA同時開發(fā)了ASIC和交換機，使用戶可以兼得“魚與熊掌”，并且其出色的結(jié)果也得到了Tolly Group驗證的。

了解更多

交換機十分重要，并且在網(wǎng)絡(luò)上產(chǎn)生了巨大的不同，它們決定了應(yīng)用是能夠被充分利用，還是受到不利影響。

關(guān)于作者

Aviv Dahan 擁有 20 多年的網(wǎng)絡(luò)經(jīng)驗。在 NVIDIA 擔(dān)任了兩年的領(lǐng)先產(chǎn)品管理之后，他現(xiàn)在負(fù)責(zé)以太網(wǎng)交換機性能活動的產(chǎn)品營銷。

審核編輯：郭婷