星環(huán)科技CDH案例滿足用戶多方面數(shù)據(jù)智能需求

4月19日，星環(huán)科技2022春季新品發(fā)布周在線上盛大開啟。開幕式中，星環(huán)科技CEO孫元浩做主題演講，帶大家走入“融合數(shù)據(jù)云時代“。

數(shù)據(jù)分析模式的歷史變遷

星環(huán)科技成立的2013年，數(shù)據(jù)分析模式是以Data Hub數(shù)據(jù)樞紐的形式來進行；

2017年星環(huán)科技提出大數(shù)據(jù)3.0概念，區(qū)分于運用離散工具的數(shù)據(jù)平臺，大數(shù)據(jù)3.0時代的最顯著特征為一站式數(shù)據(jù)平臺，同時可以覆蓋數(shù)據(jù)全生命周期的處理。星環(huán)科技的一站式平臺把數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市一體化，提供一套數(shù)據(jù)工具集Transwap studio處理數(shù)據(jù)的各個階段；

2018年星環(huán)科技提出數(shù)據(jù)云的概念，在這個階段大數(shù)據(jù)技術和云、AI技術融合，具備統(tǒng)一的資源管理技術，利用容器化技術，對外彈性提供數(shù)據(jù)庫作為服務，數(shù)據(jù)為應用而生，數(shù)據(jù)更重，應用較輕，星環(huán)科技數(shù)據(jù)云產品領先業(yè)界一代；

2020年，星環(huán)科技提出多模型數(shù)據(jù)平臺，利用統(tǒng)一語言、計算、存儲、資源重構大數(shù)據(jù)軟件棧，在一個平臺上支持十種數(shù)據(jù)模型，有效降低數(shù)據(jù)開發(fā)和運維的難度，極大提升用戶開發(fā)效率。隨著多種數(shù)據(jù)模型融合在一起，訪問語言產生了革命性的變化，SQL語言拓展、延伸到不同結構數(shù)據(jù)上面，能夠用同樣的語言訪問不同數(shù)據(jù)結構，統(tǒng)一的多模平臺，可以支撐更多新應用的產生。

同年星環(huán)科技提出聯(lián)邦數(shù)據(jù)云概念，針對多數(shù)據(jù)中心、跨國數(shù)據(jù)中心而言，在資源層、數(shù)據(jù)層、計算層、機器學習層聯(lián)邦化。部署結構也從早年間的星型結構，發(fā)展為雪花型。

進入2022年，我們來到了融合數(shù)據(jù)云的時代。融合數(shù)據(jù)云是指在按數(shù)據(jù)域組織的分布式數(shù)據(jù)云的技術架構基礎上進行統(tǒng)籌管理、協(xié)同運營、服務融合以形成可協(xié)同一致，自由組合，靈活部署的一種新型數(shù)據(jù)分析模式。數(shù)據(jù)可以如血液一般，以安全、可信的方式即時流動到合適的地方，流給需要的人。

融合數(shù)據(jù)云時代的特征

融合數(shù)據(jù)云是以網格結構進行部署，它主要具備流動、開放、輕量、統(tǒng)管四大特點，即以數(shù)據(jù)的實時流動取代以往準實時和離線的批量處理；以數(shù)據(jù)的共享和開放激發(fā)數(shù)據(jù)作為生產力的最大價值；以輕量化的數(shù)據(jù)分析應用部署模式取代以往反復冗長的開發(fā)過程；以橫跨多種部署結構、IaaS層及物理資源的統(tǒng)管方式打破各數(shù)據(jù)平臺及底層物理資源的管理壁壘。

流動：數(shù)據(jù)只有流動才能產生價值，數(shù)據(jù)流動的速度越快，產生的價值越大。融合數(shù)據(jù)云以數(shù)據(jù)主動流動的方式取代了以往數(shù)據(jù)被動被采集入湖的方式（只能做到準實時或離線分析加工），將數(shù)據(jù)分析的效率大大提升。數(shù)據(jù)的流動需要建立在安全可信的基礎之上，再即時地流動到合適的地方，流給需要的人。

開放：作為生產要素的數(shù)據(jù)，只有開放和共享才能使得價值最大化。數(shù)據(jù)的交易和流通已成為推動生產力的重要因素。

輕量：分析變得越來越輕量化，對于按需生成和隨時部署的需求也在不斷擴大。因此需要有統(tǒng)一的語言和應用開發(fā)方式，即時、按需地產生分析應用。

統(tǒng)管：融合數(shù)據(jù)云需要橫跨企業(yè)邊緣端、私有云、公有云、混合云，同時覆蓋傳統(tǒng)數(shù)據(jù)庫和現(xiàn)代數(shù)據(jù)平臺架構。 對于企業(yè)而言，融合數(shù)據(jù)云能夠橫跨和統(tǒng)管不同的部署結構、IaaS層或物理資源，第一時間調動底層資源承接上層的數(shù)據(jù)應用。

對于融合數(shù)據(jù)云而言，數(shù)據(jù)將被存儲于多模型的數(shù)據(jù)庫中，并且以網絡結構的方式部署和流動。數(shù)據(jù)域可獨立或兩兩組合成融合數(shù)據(jù)域，具備部署、模型、分析、智能等多維屬性，通過互聯(lián)管控實現(xiàn)協(xié)同工作，數(shù)據(jù)流動。網格結構是數(shù)據(jù)流動的基礎，代表了云邊端等多種部署維度以及數(shù)據(jù)業(yè)務化過程中的價值轉換維度所構建網格結構，數(shù)據(jù)在各數(shù)據(jù)域間的流動帶動了數(shù)據(jù)價值的活躍度。企業(yè)可以根據(jù)云邊端等數(shù)據(jù)資源環(huán)境、時序/對象/圖片/文檔/圖數(shù)據(jù)等企業(yè)數(shù)據(jù)模型、湖倉集等存儲結構建立三維立體的數(shù)據(jù)域，并形成企業(yè)級的網格結構，為數(shù)據(jù)的流通創(chuàng)造合規(guī)的路徑和價值創(chuàng)造的前提基礎。在融合數(shù)據(jù)云下的數(shù)據(jù)，能夠在不同的數(shù)據(jù)平臺間即時流動，數(shù)據(jù)流從低到高，為企業(yè)不斷涌現(xiàn)數(shù)據(jù)價值，而從高到低，又為企業(yè)的分析應用部署，提供了應需而生的響應速度。

數(shù)據(jù)連接一切，星環(huán)科技以引領行業(yè)技術發(fā)展和助力各行各業(yè)數(shù)字化轉型為使命，期望通過數(shù)據(jù)全生命周期的基礎軟件與服務，為企業(yè)搭建數(shù)字化轉型的數(shù)字底座，保障數(shù)據(jù)的安全和順暢流通；以自研技術和產品積極落地IT基礎設施的國產化替代，滿足用戶多方面數(shù)據(jù)智能需求，助力各行各業(yè)企業(yè)數(shù)字化轉型。

對開源或國外產品的替代

數(shù)據(jù)連接一切，星環(huán)科技以引領行業(yè)技術發(fā)展和助力各行各業(yè)數(shù)字化轉型為使命，期望通過數(shù)據(jù)全生命周期的基礎軟件與服務，為企業(yè)搭建數(shù)字化轉型的數(shù)字底座，保障數(shù)據(jù)的安全和順暢流通；以自研技術和產品積極落地IT基礎設施的國產化替代，滿足用戶多方面數(shù)據(jù)智能需求，助力各行各業(yè)企業(yè)數(shù)字化轉型。

星環(huán)科技的自主研發(fā)比例在大幅度提升，性能更優(yōu)，速度更快，功能更強大，并且開始更多的替代國外產品。

大數(shù)據(jù)平臺方面，星環(huán)科技早就實現(xiàn)了諸多替代CDH的案例，包括cloudera和Hortoworks合并后的Cloudera Data Platform和Cloudera Data cloud，星環(huán)科技的產品能夠提供更多模型支持，提供統(tǒng)一接口和更好的SQL兼容性。

分布式數(shù)據(jù)庫方面，星環(huán)科技產品可以兼容Oracle、Teratada、DB2，整合了Cypher語言，并用容器化技術實現(xiàn)更好的租戶隔離，保守來講性能提升2-10倍。星環(huán)科技KunDB在OLAP場景、MySQL的應用場景中已經能夠取代MySQL和Oracle，ArgoDB取代Oracle、DB2和Teradata建設數(shù)據(jù)倉庫，并在多個用戶中完整替代了Teradata。

圖分析方面，星環(huán)科技圖數(shù)據(jù)庫庫StellarDB在中信證券等客戶中，取代開源的或者商用版的Neo4j，StellarDB可以處理更大規(guī)模的圖數(shù)據(jù)。

搜索引擎方面，完全自研的Scope搜索引擎可以替代Elasticsearch，經過比較，Scope集群規(guī)?？梢赃_到幾百個節(jié)點，遠遠大于Elasticsearch的幾十個節(jié)點數(shù)量。

數(shù)據(jù)科學方面，Sophon Base機器學習建模工具，可以取代SaaS、SPS等統(tǒng)計分析軟件，Sophon Base主要特點是在MLops把整個機器學習流程進行優(yōu)化了，從特征工程到模擬訓練、模型上線、模型評估到改進，有一套完整的工具集。星環(huán)科技提供了更多的分布式機器學習的算法和框架，也用更開放的態(tài)度，鼓勵大家嘗試使用星環(huán)的一系列技術軟件。因此星環(huán)科技此次推出了輕量化的TDH社區(qū)版，免費供高校和科研機構方便地使用大數(shù)據(jù)技術。