星環(huán)科技TDH大數(shù)據(jù)基礎(chǔ)平臺(tái)能夠滿足用戶不同應(yīng)用場景的需求

近日，綠色計(jì)算產(chǎn)業(yè)聯(lián)盟“服務(wù)器典型應(yīng)用場景性能評(píng)測行動(dòng)”正式啟動(dòng)，本次評(píng)測行動(dòng)包括大數(shù)據(jù)、分布式存儲(chǔ)、Web應(yīng)用、高性能計(jì)算、集中式關(guān)系型數(shù)據(jù)庫管理系統(tǒng)、ARM原生云手機(jī)、虛擬化7大服務(wù)器典型應(yīng)用場景。星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)Transwarp Data Hub（TDH），經(jīng)由中國電子技術(shù)標(biāo)準(zhǔn)化研究院作為國家權(quán)威檢測機(jī)構(gòu)及綠色計(jì)算產(chǎn)業(yè)聯(lián)盟專業(yè)評(píng)測團(tuán)隊(duì)進(jìn)行權(quán)威評(píng)測，最終順利通過《服務(wù)器應(yīng)用場景性能測試方法大數(shù)據(jù)》標(biāo)準(zhǔn)評(píng)測。

本次測試選用了四臺(tái)Arm服務(wù)器和四臺(tái)X86服務(wù)器進(jìn)行對(duì)比，軟件層面Arm服務(wù)器集群使用的是星環(huán)科技的TDH大數(shù)據(jù)軟件，X86集群使用的是開源軟件CDH。

TDH是星環(huán)科技自主研發(fā)的企業(yè)級(jí)一站式多模型大數(shù)據(jù)基礎(chǔ)平臺(tái)，經(jīng)過多年的快速演進(jìn)，不斷發(fā)展成熟。

TDH采用“四層統(tǒng)一的多模型技術(shù)架構(gòu)”，包括了11款核心產(chǎn)品：實(shí)時(shí)流計(jì)算引擎Slipstream、關(guān)系型分析引擎Inceptor、寬表數(shù)據(jù)庫Hyperbase、搜索引擎Scope、文檔數(shù)據(jù)庫DocStore、圖數(shù)據(jù)庫StellarDB、時(shí)空數(shù)據(jù)庫Spacture、時(shí)序數(shù)據(jù)庫TimeLyre、鍵值數(shù)據(jù)庫KeyByte、事件存儲(chǔ)庫Event Store、數(shù)據(jù)科學(xué)平臺(tái)Sophon Discover，能夠滿足用戶不同應(yīng)用場景的需求。同時(shí)配套Aquila Insight、Manager、Audit、Guardian等工具，使TDH的安裝、管理、開發(fā)、運(yùn)維、升級(jí)十分便捷，給用戶帶來極致的開發(fā)和運(yùn)維體驗(yàn)。

目前，TDH在政府、金融、能源、運(yùn)營商、交通等各行各業(yè)積累了豐富的部署實(shí)施經(jīng)驗(yàn)，并且不斷向大數(shù)據(jù)技術(shù)新興前沿領(lǐng)域進(jìn)行持續(xù)探索和深入研究。 通過部署、安裝、使用TDH，企業(yè)能夠更有效的利用大數(shù)據(jù)平臺(tái)構(gòu)建核心商業(yè)系統(tǒng)，加速商業(yè)創(chuàng)新。

NoSQL數(shù)據(jù)庫場景，測試結(jié)果以X86結(jié)果為基礎(chǔ)，作了歸一化處理。星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺(tái)與開源大數(shù)據(jù)軟件部署在X86平臺(tái)相比，1T數(shù)據(jù)使用ImportTsv方式批量導(dǎo)入耗時(shí)差距不大，均為40min左右。隨機(jī)寫、隨機(jī)讀和范圍掃描場景下，在吞吐量上Arm結(jié)果均要領(lǐng)先于X86結(jié)果，平均在13%左右。

搜索分析場景，吞吐量指標(biāo)上Arm結(jié)果領(lǐng)先X86結(jié)果較多，平均在52%左右，表現(xiàn)出了較大的性能優(yōu)勢，時(shí)延數(shù)據(jù)上兩者差距不大。核心組件Scope中每個(gè)EsNode進(jìn)程存在多種線程池，包括與查詢相關(guān)的search、get線程池、與入庫相關(guān)的bulk線程池；該類型的線程池線程數(shù)量被固定為節(jié)點(diǎn)CPU核數(shù)，因此Arm處理器的多核特點(diǎn)，具有天然的性能優(yōu)勢，可以增大數(shù)據(jù)處理并發(fā)度，降低響應(yīng)時(shí)延。

流處理測試項(xiàng)以1000w條數(shù)據(jù)量為輸入參數(shù)，ETL場景下單線程寫入kafka partition為1的topic時(shí)Arm上流處理組件的吞吐達(dá)25萬條/秒，而X86的吞吐為20萬條/秒，且用時(shí)更短。Filter場景與ETL場景類似，Arm平臺(tái)上的結(jié)果均表現(xiàn)出了一定的優(yōu)勢。窗口場景下對(duì)窗內(nèi)數(shù)據(jù)進(jìn)行計(jì)數(shù)時(shí)，TDH在Arm上的結(jié)果與Flink在X86上的結(jié)果相差不大。核心組件Slipstream計(jì)算框架是分布式并行流計(jì)算框架，其任務(wù)由taskslot數(shù)量決定并發(fā)度，taskslot數(shù)量取決于CPU物理核數(shù)。Arm處理器的多核特點(diǎn)可以增大流處理的并發(fā)度，提升數(shù)據(jù)處理效率。

數(shù)倉/數(shù)集場景下，星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺(tái)較開源大數(shù)據(jù)軟件部署在X86平臺(tái)的測試結(jié)果平均領(lǐng)先幅度較大。分析平臺(tái)通過多任務(wù)并發(fā)，解決海量數(shù)據(jù)的處理問題，CPU核數(shù)越多，任務(wù)并發(fā)度越高，任務(wù)處理性能越高。這主要得益于TDH強(qiáng)大的離線、在線處理分析性能。另外，在硬件層面，Arm處理器相比業(yè)界主流處理器，其特點(diǎn)是多核計(jì)算，物理核數(shù)高，能夠提升任務(wù)并發(fā)度，對(duì)加速大數(shù)據(jù)的計(jì)算性能也有一定的幫助。

星環(huán)科技TDH產(chǎn)品特性與優(yōu)勢

自主研發(fā)

TDH核心技術(shù)自主研發(fā)，滿足信創(chuàng)驗(yàn)收要求

主流信創(chuàng)生態(tài)廠商的適配兼容，國產(chǎn)CPU、GPU、操作系統(tǒng)、服務(wù)器、中間件

完整多模型能力

9種存儲(chǔ)引擎支持10種數(shù)據(jù)模型：關(guān)系型分析、圖、寬表、文檔數(shù)據(jù)庫、時(shí)序數(shù)據(jù)庫、時(shí)空數(shù)據(jù)庫、鍵值數(shù)據(jù)庫、事件存儲(chǔ)庫、搜索引擎、對(duì)象存儲(chǔ)

統(tǒng)一SQL引擎

支持SQL2003、OraclePL/SQL、兼容Oracle、DB2和Teradata方言

支持完整的分布式事務(wù)操作；

全產(chǎn)品線的SQL統(tǒng)一訪問和開發(fā)

統(tǒng)一存儲(chǔ)管理

基于Raft一致性協(xié)議，具備自動(dòng)故障遷移、數(shù)據(jù)修復(fù)能力

支持單節(jié)點(diǎn)穩(wěn)定存儲(chǔ)百萬數(shù)據(jù)分片

支持橫向動(dòng)態(tài)線性擴(kuò)展

一次數(shù)據(jù)寫入，多種數(shù)據(jù)模型存儲(chǔ)

統(tǒng)一資源管理框架

采用容器編排技術(shù)進(jìn)行資源管理

支持基于優(yōu)先級(jí)的搶占式資源調(diào)度和細(xì)粒度資源分配

資源隔離互不影響，支持集群在線擴(kuò)縮容

支持服務(wù)器、操作系統(tǒng)異構(gòu)部署

高性能分布式文件系統(tǒng)

基于Raft一致性協(xié)議，兼容Hadoop生態(tài)

全量緩存元數(shù)據(jù)，小文件存儲(chǔ)無瓶頸，支持10億以上文件數(shù)，遠(yuǎn)超開源HDFS 5倍

高并發(fā)、高吞吐對(duì)象存儲(chǔ)