開(kāi)源“摩爾定律”即將打破《2022開(kāi)源大數(shù)據(jù)熱力報(bào)告》云棲大會(huì)上發(fā)布

11月5日，在2022云棲大會(huì)一體化大數(shù)據(jù)智能峰會(huì)上，由開(kāi)放原子開(kāi)源基金會(huì)、X-lab開(kāi)放實(shí)驗(yàn)室和阿里巴巴開(kāi)源委員會(huì)聯(lián)合出品的《2022年開(kāi)源大數(shù)據(jù)熱力報(bào)告》重磅發(fā)布。 開(kāi)放原子開(kāi)源基金會(huì)副秘書(shū)長(zhǎng)劉京娟女士對(duì)報(bào)告進(jìn)行了深度解讀。報(bào)告基于公開(kāi)數(shù)據(jù)研究最活躍的102個(gè)開(kāi)源大數(shù)據(jù)項(xiàng)目，探尋出開(kāi)源大數(shù)據(jù)技術(shù)發(fā)展背后的“摩爾定律”：每隔40個(gè)月，開(kāi)源項(xiàng)目熱力值就會(huì)翻一倍，技術(shù)完成一輪更新迭代。在過(guò)去8年里，發(fā)生了5次較大規(guī)模的技術(shù)熱力躍遷，多元化、一體化、云原生成為當(dāng)前開(kāi)源大數(shù)據(jù)發(fā)展趨勢(shì)的最顯著特征。

定量分析“后Hadoop時(shí)代”開(kāi)源趨勢(shì)

Hadoop 作為開(kāi)源大數(shù)據(jù)技術(shù)的起源，興起于2006年，至今已有16年歷史。我們收集了從Hadoop 發(fā)展第10年（即2015年）至今的相關(guān)公開(kāi)數(shù)據(jù)，并進(jìn)行了關(guān)聯(lián)分析，定義了開(kāi)源項(xiàng)目熱力值研究模型，使用量化指標(biāo)，來(lái)刻畫(huà)開(kāi)源項(xiàng)目的開(kāi)發(fā)迭代活躍度和受開(kāi)發(fā)者歡迎程度。 報(bào)告所呈現(xiàn)的開(kāi)源大數(shù)據(jù)熱力圖，從技術(shù)全景、技術(shù)棧分類(lèi)以及項(xiàng)目維度對(duì)入圍項(xiàng)目的熱力表現(xiàn)進(jìn)行洞察，將項(xiàng)目進(jìn)程中的關(guān)鍵事件與熱力表現(xiàn)關(guān)聯(lián)分析，并訪(fǎng)談了開(kāi)源基金會(huì)、知名開(kāi)源項(xiàng)目等領(lǐng)域?qū)＜?，嘗試找到項(xiàng)目健康發(fā)展一般規(guī)律，并對(duì)有效提升項(xiàng)目影響力的方法論進(jìn)行了歸納總結(jié)。

開(kāi)源大數(shù)據(jù)技術(shù)的“摩爾定律”即將打破

報(bào)告發(fā)現(xiàn)，每隔40個(gè)月，熱力值會(huì)提升1倍，開(kāi)源大數(shù)據(jù)完成一輪技術(shù)迭代升級(jí)，而且技術(shù)周期在加速縮短。在8年時(shí)間內(nèi)，發(fā)生了多輪熱力變遷，反映出背后技術(shù)的更新?lián)Q代趨勢(shì)。開(kāi)發(fā)者對(duì)「數(shù)據(jù)查詢(xún)與分析」保持了長(zhǎng)期的開(kāi)發(fā)熱情，這一技術(shù)棧連續(xù)8年位于熱力值榜首。2017年，「流處理」熱力值超過(guò)「批處理」，大數(shù)據(jù)處理進(jìn)入實(shí)時(shí)階段。隨著數(shù)據(jù)規(guī)模越來(lái)越大，數(shù)據(jù)結(jié)構(gòu)更多樣化，「數(shù)據(jù)集成」從2020年開(kāi)始爆發(fā)式增長(zhǎng)。

三大熱力趨勢(shì)：多元化、一體化和云原生

用戶(hù)需求多樣化推動(dòng)技術(shù)多元化。「數(shù)據(jù)湖」以34%的熱力值年均復(fù)合增長(zhǎng)率高居熱力值增速第一位，「交互式分析」、「DataOps」緊隨其后，分列第二、三位。而原有Hadoop體系的產(chǎn)品迭代則趨于穩(wěn)定，熱力值年均復(fù)合增長(zhǎng)率為1%。 從2015年開(kāi)始，計(jì)算部分率先進(jìn)入「一體化」演進(jìn)歷程，其中的典型代表「流批一體」在2019年出現(xiàn)第一個(gè)熱力峰值。以數(shù)據(jù)湖存儲(chǔ)為代表的存儲(chǔ)一體化從2019年起進(jìn)入了一個(gè)新的發(fā)展階段，涌現(xiàn)了Delta Lake、 Iceberg和Hudi等熱點(diǎn)項(xiàng)目。 云原生大規(guī)模重構(gòu)開(kāi)源技術(shù)棧。誕生于云原生時(shí)代的開(kāi)源項(xiàng)目如雨后春筍般破土成長(zhǎng)?！笖?shù)據(jù)集成」、「數(shù)據(jù)存儲(chǔ)」、「數(shù)據(jù)開(kāi)發(fā)與管理」等領(lǐng)域都發(fā)生了非常大的項(xiàng)目更迭，新項(xiàng)目熱力值占比已經(jīng)超過(guò)了80%。

開(kāi)源大數(shù)據(jù)熱力榜單TOP30

本報(bào)告從102個(gè)入圍項(xiàng)目中，評(píng)選出了TOP30熱力榜單。Kibana以989.40的熱力值高居榜首。ClickHouse（數(shù)據(jù)查詢(xún)與分析）、Airflow（數(shù)據(jù)調(diào)度與編排）、Flink（流處理）、Airbyte（數(shù)據(jù)集成）分別摘得各自細(xì)分領(lǐng)域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一眾中國(guó)開(kāi)源項(xiàng)目也表現(xiàn)出高熱力趨勢(shì)。把解決用戶(hù)痛點(diǎn)作為核心競(jìng)爭(zhēng)力，是這些優(yōu)秀開(kāi)源項(xiàng)目的共同特征，這一特征保證它們與時(shí)俱進(jìn)，成為熱力趨勢(shì)中的“常青樹(shù)”。

感謝開(kāi)源中國(guó)、InfoQ和阿里云開(kāi)發(fā)者社區(qū)的戰(zhàn)略支持，感謝對(duì)本報(bào)告內(nèi)容產(chǎn)出做出重要貢獻(xiàn)的32位專(zhuān)家和貢獻(xiàn)者。感謝CSDN、DataFun、Segmentfault思否、開(kāi)源社等社區(qū)合作。