開源“摩爾定律”即將打破《2022開源大數(shù)據(jù)熱力報告》云棲大會上發(fā)布

11月5日，在2022云棲大會一體化大數(shù)據(jù)智能峰會上，由開放原子開源基金會、X-lab開放實驗室和阿里巴巴開源委員會聯(lián)合出品的《2022年開源大數(shù)據(jù)熱力報告》重磅發(fā)布。 開放原子開源基金會副秘書長劉京娟女士對報告進行了深度解讀。報告基于公開數(shù)據(jù)研究最活躍的102個開源大數(shù)據(jù)項目，探尋出開源大數(shù)據(jù)技術(shù)發(fā)展背后的“摩爾定律”：每隔40個月，開源項目熱力值就會翻一倍，技術(shù)完成一輪更新迭代。在過去8年里，發(fā)生了5次較大規(guī)模的技術(shù)熱力躍遷，多元化、一體化、云原生成為當前開源大數(shù)據(jù)發(fā)展趨勢的最顯著特征。

定量分析“后Hadoop時代”開源趨勢

Hadoop 作為開源大數(shù)據(jù)技術(shù)的起源，興起于2006年，至今已有16年歷史。我們收集了從Hadoop 發(fā)展第10年（即2015年）至今的相關(guān)公開數(shù)據(jù)，并進行了關(guān)聯(lián)分析，定義了開源項目熱力值研究模型，使用量化指標，來刻畫開源項目的開發(fā)迭代活躍度和受開發(fā)者歡迎程度。 報告所呈現(xiàn)的開源大數(shù)據(jù)熱力圖，從技術(shù)全景、技術(shù)棧分類以及項目維度對入圍項目的熱力表現(xiàn)進行洞察，將項目進程中的關(guān)鍵事件與熱力表現(xiàn)關(guān)聯(lián)分析，并訪談了開源基金會、知名開源項目等領(lǐng)域?qū)＜?，嘗試找到項目健康發(fā)展一般規(guī)律，并對有效提升項目影響力的方法論進行了歸納總結(jié)。

開源大數(shù)據(jù)技術(shù)的“摩爾定律”即將打破

報告發(fā)現(xiàn)，每隔40個月，熱力值會提升1倍，開源大數(shù)據(jù)完成一輪技術(shù)迭代升級，而且技術(shù)周期在加速縮短。在8年時間內(nèi)，發(fā)生了多輪熱力變遷，反映出背后技術(shù)的更新?lián)Q代趨勢。開發(fā)者對「數(shù)據(jù)查詢與分析」保持了長期的開發(fā)熱情，這一技術(shù)棧連續(xù)8年位于熱力值榜首。2017年，「流處理」熱力值超過「批處理」，大數(shù)據(jù)處理進入實時階段。隨著數(shù)據(jù)規(guī)模越來越大，數(shù)據(jù)結(jié)構(gòu)更多樣化，「數(shù)據(jù)集成」從2020年開始爆發(fā)式增長。

三大熱力趨勢：多元化、一體化和云原生

用戶需求多樣化推動技術(shù)多元化。「數(shù)據(jù)湖」以34%的熱力值年均復(fù)合增長率高居熱力值增速第一位，「交互式分析」、「DataOps」緊隨其后，分列第二、三位。而原有Hadoop體系的產(chǎn)品迭代則趨于穩(wěn)定，熱力值年均復(fù)合增長率為1%。 從2015年開始，計算部分率先進入「一體化」演進歷程，其中的典型代表「流批一體」在2019年出現(xiàn)第一個熱力峰值。以數(shù)據(jù)湖存儲為代表的存儲一體化從2019年起進入了一個新的發(fā)展階段，涌現(xiàn)了Delta Lake、 Iceberg和Hudi等熱點項目。 云原生大規(guī)模重構(gòu)開源技術(shù)棧。誕生于云原生時代的開源項目如雨后春筍般破土成長?！笖?shù)據(jù)集成」、「數(shù)據(jù)存儲」、「數(shù)據(jù)開發(fā)與管理」等領(lǐng)域都發(fā)生了非常大的項目更迭，新項目熱力值占比已經(jīng)超過了80%。

開源大數(shù)據(jù)熱力榜單TOP30

本報告從102個入圍項目中，評選出了TOP30熱力榜單。Kibana以989.40的熱力值高居榜首。ClickHouse（數(shù)據(jù)查詢與分析）、Airflow（數(shù)據(jù)調(diào)度與編排）、Flink（流處理）、Airbyte（數(shù)據(jù)集成）分別摘得各自細分領(lǐng)域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一眾中國開源項目也表現(xiàn)出高熱力趨勢。把解決用戶痛點作為核心競爭力，是這些優(yōu)秀開源項目的共同特征，這一特征保證它們與時俱進，成為熱力趨勢中的“常青樹”。

感謝開源中國、InfoQ和阿里云開發(fā)者社區(qū)的戰(zhàn)略支持，感謝對本報告內(nèi)容產(chǎn)出做出重要貢獻的32位專家和貢獻者。感謝CSDN、DataFun、Segmentfault思否、開源社等社區(qū)合作。