中科馭數(shù)助力奇點云《2024 OLAP數(shù)據(jù)庫引擎選型白皮書》發(fā)布

5月28日，奇點云2024 StartDT Day數(shù)智科技大會暨產(chǎn)品發(fā)布會召開，同期發(fā)布了2024年版《OLAP數(shù)據(jù)庫引擎選型白皮書》，為業(yè)界伙伴提供最新的選型參考。作為奇點云生態(tài)合作伙伴，中科馭數(shù)分享的國產(chǎn)DPU對Apache Spark的加速效果測試成果，成為本次白皮書的亮點章節(jié)之一。

近年來，大數(shù)據(jù)行業(yè)的蓬勃發(fā)展除了由軟件層的持續(xù)迭代創(chuàng)新推動，也有賴于計算機硬件環(huán)境的持續(xù)優(yōu)化。業(yè)內(nèi)越來越多觀點認為，DPU則可以在數(shù)據(jù)流上就近計算，實現(xiàn)數(shù)據(jù)處理的低時延和高吞吐，更具靈活性與效率，CPU+DPU的異構(gòu)計算解決方案將是應對大數(shù)據(jù)性能瓶頸的新趨勢，DPU也越來越得到數(shù)據(jù)中心運營商和大數(shù)據(jù)軟件廠商的關注。

在這一背景下，奇點云與中科馭數(shù)攜手合作，針對“Spark+Hive”這一典型大數(shù)據(jù)計算場景，開展了DPU與CPU環(huán)境下的性能對比測評。在評測方案中，引入了中科馭數(shù)基于DPU的Spark加速解決方案中最底層的DPU硬件、HADOS平臺層，以及專門針對Spark的DPU加速層，可以無縫集成至現(xiàn)有Spark生態(tài)系統(tǒng)。

經(jīng)對比測試，DPU技術(shù)的應用顯著提高了數(shù)據(jù)處理效率、以及資源利用率。在數(shù)據(jù)計算和處理場景中，DPU環(huán)境相較于傳統(tǒng)CPU環(huán)境下的查詢性能提升可達50%-60%。同時，DPU環(huán)境下整體較CPU環(huán)境的峰值性能資源有優(yōu)化，整機CPU峰值降低24%，內(nèi)存消耗減少50%，且系統(tǒng)運行更加穩(wěn)定。

目前，適配國產(chǎn)環(huán)境已成為金融、政企等多個領域企業(yè)對系統(tǒng)選型、改造的硬性要求。身處浪潮之中的DPU，其廣泛應用與價值釋放，同樣也離不開與眾多軟硬件提供商的緊密合作及行業(yè)生態(tài)的共同構(gòu)建。中科馭數(shù)也希望通過與奇點云等廠商開展技術(shù)測評合作，來加深與產(chǎn)業(yè)鏈各方的協(xié)作，實踐DPU價值落地，共同推動DPU技術(shù)與解決方案在各行各業(yè)的深度融合，從而更有效地賦能終端用戶，提供更加高效、定制化的產(chǎn)品和服務。