Apache SeaTunnel高性能分布式數(shù)據(jù)集成平臺

為什么我們需要 seatunnel

seatunnel 盡所能為您解決海量數(shù)據(jù)同步中可能遇到的問題：

• 數(shù)據(jù)丟失與重復(fù)
• 任務(wù)堆積與延遲
• 吞吐量低
• 應(yīng)用到生產(chǎn)環(huán)境周期長
• 缺少應(yīng)用運(yùn)行狀態(tài)監(jiān)控

seatunnel 使用場景

• 海量數(shù)據(jù)同步
• 海量數(shù)據(jù)集成
• 海量數(shù)據(jù)的 ETL
• 海量數(shù)據(jù)聚合
• 多源數(shù)據(jù)處理

seatunnel 的特性

• 簡單易用，靈活配置，無需開發(fā)
• 實(shí)時(shí)流式處理
• 離線多源數(shù)據(jù)分析
• 高性能、海量數(shù)據(jù)處理能力
• 模塊化和插件化，易于擴(kuò)展
• 支持利用 SQL 做數(shù)據(jù)處理和聚合
• 支持 Spark Structured Streaming
• 支持 Spark 2.x

seatunnel 的工作流程

                         Input[數(shù)據(jù)源輸入] -> Filter[數(shù)據(jù)處理] -> Output[結(jié)果輸出]

多個(gè) Filter 構(gòu)建了數(shù)據(jù)處理的 Pipeline，滿足各種各樣的數(shù)據(jù)處理需求，如果您熟悉 SQL，也可以直接通過 SQL 構(gòu)建數(shù)據(jù)處理的 Pipeline，簡單高效。目前 seatunnel 支持的Filter列表, 仍然在不斷擴(kuò)充中。您也可以開發(fā)自己的數(shù)據(jù)處理插件，整個(gè)系統(tǒng)是易于擴(kuò)展的。

seatunnel 支持的插件

• Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行開發(fā)的 Input plugin

• Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開發(fā)的Filter plugin

• Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開發(fā)的 Output plugin

環(huán)境依賴

1. java 運(yùn)行環(huán)境，java >= 8

2. 如果您要在集群環(huán)境中運(yùn)行 seatunnel，那么需要以下 Spark 集群環(huán)境的任意一種：

• Spark on Yarn
• Spark Standalone

如果您的數(shù)據(jù)量較小或者只是做功能驗(yàn)證，也可以僅使用?local?模式啟動(dòng)，無需集群環(huán)境，seatunnel 支持單機(jī)運(yùn)行。 注: seatunnel 2.0 支持 Spark 和 Flink 上運(yùn)行

下載

可以直接運(yùn)行的軟件包下載地址：https://github.com/InterestingLab/seatunnel/releases

快速入門

快速入門：https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

關(guān)于 seatunnel 的詳細(xì)文檔

生產(chǎn)應(yīng)用案例

• 微博, 增值業(yè)務(wù)部數(shù)據(jù)平臺 微博某業(yè)務(wù)有數(shù)百個(gè)實(shí)時(shí)流式計(jì)算任務(wù)使用內(nèi)部定制版 seatunnel，以及其子項(xiàng)目Guardian做 seatunnel On Yarn 的任務(wù)監(jiān)控。

• 新浪, 大數(shù)據(jù)運(yùn)維分析平臺 新浪運(yùn)維數(shù)據(jù)分析平臺使用 seatunnel 為新浪新聞，CDN 等服務(wù)做運(yùn)維大數(shù)據(jù)的實(shí)時(shí)和離線分析，并寫入 Clickhouse。

• 搜狗，搜狗奇點(diǎn)系統(tǒng) 搜狗奇點(diǎn)系統(tǒng)使用 seatunnel 作為 ETL 工具, 幫助建立實(shí)時(shí)數(shù)倉體系

• 趣頭條，趣頭條數(shù)據(jù)中心 趣頭條數(shù)據(jù)中心，使用 seatunnel 支撐 mysql to hive 的離線 ETL 任務(wù)、實(shí)時(shí) hive to clickhouse 的 backfill 技術(shù)支撐，很好的 cover 離線、實(shí)時(shí)大部分任務(wù)場景。

• 一下科技, 一直播數(shù)據(jù)平臺

• 永輝超市子公司-永輝云創(chuàng)，會員電商數(shù)據(jù)分析平臺 seatunnel 為永輝云創(chuàng)旗下新零售品牌永輝生活提供電商用戶行為數(shù)據(jù)實(shí)時(shí)流式與離線 SQL 計(jì)算。

• 水滴籌, 數(shù)據(jù)平臺 水滴籌在 Yarn 上使用 seatunnel 做實(shí)時(shí)流式以及定時(shí)的離線批處理，每天處理 3～4T 的數(shù)據(jù)量，最終將數(shù)據(jù)寫入 Clickhouse。

更多案例參見:?https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

貢獻(xiàn)觀點(diǎn)和代碼

提交問題和建議：https://github.com/InterestingLab/seatunnel/issues

貢獻(xiàn)代碼：https://github.com/InterestingLab/seatunnel/pulls

開發(fā)者

感謝所有開發(fā)者