開(kāi)源大數(shù)據(jù)生態(tài)下的 Flink 應(yīng)用實(shí)踐

過(guò)去十年，面向整個(gè)數(shù)字時(shí)代的關(guān)鍵技術(shù)接踵而至，從被人們接受，到開(kāi)始步入應(yīng)用。大數(shù)據(jù)與計(jì)算作為時(shí)代的關(guān)鍵詞已被廣泛認(rèn)知，算力的重要性日漸凸顯并發(fā)展成為企業(yè)新的增長(zhǎng)點(diǎn)。Apache Flink（以下簡(jiǎn)稱 Flink）以其快速、準(zhǔn)確的算力備受關(guān)注，如何將 Flink 更好的與大數(shù)據(jù)生態(tài)技術(shù)相結(jié)合，充分挖掘數(shù)據(jù)的潛力，真正發(fā)揮數(shù)據(jù)的價(jià)值，是大多數(shù)企業(yè)面臨的難題。

11 月 28-30 日，F(xiàn)link Forward Asia 邀請(qǐng)來(lái)自阿里巴巴、戴爾科技集團(tuán)、英特爾、Cloudera、趣頭條、百度、Stream Native 等不同方向的技術(shù)專家圍繞 Apache Flink 核心大數(shù)據(jù)生態(tài)探討當(dāng)下大數(shù)據(jù)的發(fā)展趨勢(shì)與未來(lái)動(dòng)向，并展現(xiàn)相關(guān)技術(shù)在一線生產(chǎn)場(chǎng)景的優(yōu)秀實(shí)踐。

點(diǎn)擊可了解大會(huì)詳情，購(gòu)買參會(huì)門票

部分精彩議題概覽

Apache Flink and the Apache Way

Fabian HueskeApache Flink PMC，Ververica Co-founder, Software Engineer

Apache Flink is a project of the Apache Software Foundation (ASF). The ASF is the world's largest open source foundation and the home of more than 350 individual projects and initiatives.

Every ASF project is independently governed and managed by its own community but follows the principles of the ASF, the so-called Apache Way. Knowing the Apache Way is important to fully understand how the community of an ASF project works.

In this talk, I'll briefly explain the Apache Way and how ASF projects organize themselves. I'll take a look back at how the Apache Flink community started and its journey to where it is today.

Finally, I'll give you some guidance and advice that will help you to start contributing to Apache Flink and maybe become a committer at some point in the future.

Optimize Apache Flink on Kubernetes with YuniKorn Scheduler

楊巍威，Cloudera資深軟件工程師 楊弢，阿里巴巴技術(shù)專家

將 Flink 運(yùn)行在 K8s 很簡(jiǎn)單，但是當(dāng)我們嘗試在 K8s 集群上運(yùn)行大規(guī)模 Flink 的任務(wù)，并對(duì)多租戶環(huán)境和 SLA 有嚴(yán)苛要求時(shí)，各種問(wèn)題開(kāi)始顯現(xiàn)出來(lái)。尤其是在調(diào)度層面，我們發(fā)現(xiàn) Flink 的作業(yè)調(diào)度變慢，并且資源的分配變得混亂且毫無(wú)公平性，這樣往往會(huì)導(dǎo)致作業(yè)餓死，或者資源浪費(fèi)。于是我們開(kāi)始尋求利用 YuniKorn 來(lái)解決在 K8s 上的調(diào)度問(wèn)題。

YuniKorn 是一個(gè)開(kāi)源的，輕量級(jí)，通用的資源調(diào)度器，可以很容易的適配到 K8s。相比原生的 K8s 調(diào)度器，YuniKorn 提供了更加豐富的調(diào)度特性，比如層級(jí)隊(duì)列、資源公平性保證、強(qiáng)占以及更好的性能，更加適合大規(guī)模多租戶、長(zhǎng)運(yùn)行以及批處理作業(yè)并存的場(chǎng)景下使用。YuniKorn 的調(diào)度會(huì)考量應(yīng)用，用戶以及隊(duì)列等各個(gè)維度的資源使用情況，提供基于公平性原則的彈性容量配置。在這個(gè)議題中，我們將主要從如何通過(guò) YuniKorn 來(lái)優(yōu)化 Flink 在 K8s 上的運(yùn)行，包括性能、多租戶、資源公平性等方面的與大家進(jìn)行探討。

趣頭條基于 Flink+ClickHouse 構(gòu)建實(shí)時(shí)數(shù)據(jù)分析平臺(tái)

王金海，趣頭條數(shù)據(jù)平臺(tái)負(fù)責(zé)人

趣頭條一直致力于使用大數(shù)據(jù)分析指導(dǎo)業(yè)務(wù)發(fā)展。目前在實(shí)時(shí)化領(lǐng)域主要使用 Flink+ClickHouse 解決方案，覆蓋場(chǎng)景包括實(shí)時(shí)數(shù)據(jù)報(bào)表、Adhoc 即時(shí)查詢、事件分析、漏斗分析、留存分析等精細(xì)化運(yùn)營(yíng)策略，整體響應(yīng) 80% 在 1 秒內(nèi)完成，大大提升了用戶實(shí)時(shí)取數(shù)體驗(yàn)，推動(dòng)業(yè)務(wù)更快迭代發(fā)展。本次分享主要內(nèi)容：

1. 業(yè)務(wù)場(chǎng)景與現(xiàn)狀分析

2. Flink to Hive 的小時(shí)級(jí)場(chǎng)景

3. Flink to ClickHouse 的秒級(jí)場(chǎng)景

4. 未來(lái)規(guī)劃

基于 Apache Flink 的邊緣流式計(jì)算

袁尤軍，百度云資深研發(fā)工程師 黃家天，百度云物聯(lián)網(wǎng)部實(shí)時(shí)計(jì)算高級(jí)研發(fā)工程師

隨著 5G 和 IoT 技術(shù)的發(fā)展，計(jì)算將從現(xiàn)在的云端蔓延到更多其他的地方，其中一個(gè)典型的場(chǎng)景就是邊緣計(jì)算。與云端強(qiáng)大的計(jì)算集群相比，這些場(chǎng)景設(shè)備的計(jì)算能力非常受限。Apache Flink 作為新一代流式計(jì)算引擎，已經(jīng)廣泛應(yīng)用在諸多頂級(jí)互聯(lián)網(wǎng)公司的云上。但如何在資源極度受限的邊緣設(shè)備上運(yùn)行流式計(jì)算引擎，尚無(wú)成功案例可循。

我們相信 Apache Flink 不應(yīng)該僅僅運(yùn)行在云端，而應(yīng)該運(yùn)行在任何需要設(shè)備上。本次演講，我們將分享百度智能云在邊緣設(shè)備上運(yùn)行流式作業(yè)的一些探索，介紹如何將作業(yè)的內(nèi)存消耗降低到 10M 以內(nèi)，以及如何實(shí)現(xiàn)作業(yè)對(duì)運(yùn)行環(huán)境的零依賴。會(huì)上將重點(diǎn)介紹百度基于 Flink 自研的邊緣流式計(jì)算框架 Creek，重點(diǎn)內(nèi)容包括：

1. 介紹流式計(jì)算在邊緣設(shè)備的意義和挑戰(zhàn)

2. 介紹 Creek 的技術(shù)方案

3. 展示 Creek 的性能指標(biāo)

4. 現(xiàn)場(chǎng)演示 Creek 作業(yè)的構(gòu)建和運(yùn)行

Apache Flink 與 Apache Hive 的集成

李銳，Apache Hive PMC，Apache Flink Contributor，阿里巴巴技術(shù)專家 王剛，阿里巴巴高級(jí)開(kāi)發(fā)工程師

在大數(shù)據(jù)領(lǐng)域，Hive 已經(jīng)成為數(shù)據(jù)倉(cāng)庫(kù)事實(shí)上的標(biāo)準(zhǔn)。為了豐富 Flink 的生態(tài)，從 1.9.0 版本開(kāi)始，我們提供了 Flink 與 Hive 集成的能力，讓用戶可以通過(guò) Flink 來(lái)讀寫(xiě) Hive 中的表。在 1.9.0 發(fā)布之后，我們進(jìn)一步完善了 Flink-Hive 集成的功能，包括支持更全面的數(shù)據(jù)類型、更好地支持 DDL 以及 Function 等。

在新版本中，我們可以支持更多的應(yīng)用場(chǎng)景，并提供更好的易用性。本次演講將介紹 Flink-Hive 集成的設(shè)計(jì)架構(gòu)、項(xiàng)目進(jìn)展以及后續(xù)版本中的新功能。最后，我們還將演示如何使用 Flink 與 Hive 進(jìn)行交互。

開(kāi)源大數(shù)據(jù)生態(tài)專場(chǎng)完整議程

除上述議題外，開(kāi)源大數(shù)據(jù)生態(tài)專場(chǎng)還有來(lái)自戴爾科技集團(tuán)、英特爾、Stream Native 等重量級(jí)嘉賓以及 Apache Member、Apache Flink PMC、Apache Calcite Committer 等帶來(lái)的更加精彩的分享。完整議程如下：

（11 月 28 日下午，專場(chǎng)議程）

（11 月 29 日上午，專場(chǎng)議程）

深度培訓(xùn)，實(shí)現(xiàn)技術(shù)與應(yīng)用能力的積累提升

11 月 11-14 日，F(xiàn)link Forward Asia 培訓(xùn)課程門票買一贈(zèng)一，限時(shí) 3 天！點(diǎn)擊閱讀原文預(yù)約培訓(xùn)課程，然后加微信（ID：candy1764）提供共同參加培訓(xùn)的小伙伴名單，活動(dòng)時(shí)間截止 11 月 14 日中午 12:00，數(shù)量有限，贈(zèng)完即止，對(duì)培訓(xùn)心動(dòng)的同學(xué)趕緊下手啦！

Apache Flink PMC 帶隊(duì)，超豪華陣容，阿里巴巴及 Flink 創(chuàng)始團(tuán)隊(duì)資深技術(shù)專家擔(dān)任培訓(xùn)講師，為開(kāi)發(fā)者培訓(xùn)課程制定全面學(xué)習(xí)體系。

課程能夠滿足不同學(xué)習(xí)需求，無(wú)論是入門還是進(jìn)階，開(kāi)發(fā)者可根據(jù)自身基礎(chǔ)選擇課程內(nèi)容，實(shí)現(xiàn)技術(shù)與應(yīng)用能力上的積累與提升。

課程主要大綱如下：

• 中階一：Apache Flink 開(kāi)發(fā)人員培訓(xùn)

Tips：本課程為純英文授課，同時(shí)配有2位中文技術(shù)專家支持解答問(wèn)題。

本課程是對(duì)想要學(xué)習(xí)構(gòu)建流應(yīng)用程序的 Java 和 Scala 開(kāi)發(fā)人員進(jìn)行的關(guān)于 Apache Flink 的實(shí)踐介紹。培訓(xùn)將重點(diǎn)介紹分布式數(shù)據(jù)流、事件時(shí)間和狀態(tài)等核心概念。練習(xí)將使您有機(jī)會(huì)了解以上概念在 API 中是如何被體現(xiàn)的，并了解如何將這些概念組合用以解決實(shí)際問(wèn)題。

• 介紹流計(jì)算和 Apache Flink

• DataStream API 的基礎(chǔ)

• 為 Flink 開(kāi)發(fā)做準(zhǔn)備(包括練習(xí))

• 有狀態(tài)的流處理(包括練習(xí))

• 時(shí)間、定時(shí)器和 ProcessFunction(包括練習(xí))

• 連接多個(gè)流(包括練習(xí))

• 測(cè)試(包括練習(xí))

說(shuō)明：不需要 Apache Flink 的相關(guān)知識(shí)。

• 中階二：Apache Flink 運(yùn)維培訓(xùn)

本課程是針對(duì) Apache Flink 應(yīng)用程序的部署和操作相關(guān)的實(shí)踐性介紹。目標(biāo)受眾包括負(fù)責(zé)部署 Flink 應(yīng)用程序和維護(hù) Flink 集群的開(kāi)發(fā)人員和運(yùn)維人員。演示將重點(diǎn)介紹 Flink 運(yùn)行中涉及的核心概念，以及用于部署、升級(jí)和監(jiān)控 Flink 應(yīng)用程序的主要工具。

• 介紹流計(jì)算和 Apache Flink

• 數(shù)據(jù)中心里的 Flink

• 分布式架構(gòu)介紹

• 容器化部署(包括實(shí)際操作)

• 狀態(tài)后端和容錯(cuò)(包括實(shí)際操作)

• 升級(jí)和狀態(tài)遷移(包括實(shí)際操作)

• 指標(biāo)(包括實(shí)踐)

• 容量規(guī)劃

說(shuō)明：不需要對(duì) Apache Flink 有先驗(yàn)知識(shí)。

• 中階三：SQL 開(kāi)發(fā)人員培訓(xùn)

Apache Flink 支持 SQL 作為流處理和批處理的統(tǒng)一 API。SQL 可以用于各種各樣的場(chǎng)景，并且相比使用 Flink 的底層 API，SQL 將更容易構(gòu)建和維護(hù)。在本次培訓(xùn)中，您將學(xué)習(xí)到如何充分發(fā)揮使用 SQL 來(lái)編寫(xiě) Apache Flink 作業(yè)的潛力。我們將研究流式 SQL 的不同案例，包括連接流數(shù)據(jù)、維表關(guān)聯(lián)、窗口聚合、維護(hù)物化視圖，以及使用 MATCH RECOGNIZE 子句進(jìn)行模式匹配（這是 SQL 2016 新提出的標(biāo)準(zhǔn)）。

• 介紹 SQL on Flink

• 使用 SQL 查詢動(dòng)態(tài)表

• 連接動(dòng)態(tài)表

• 模式匹配與 match_recognition

• 生態(tài)系統(tǒng)&寫(xiě)外部表

說(shuō)明：不需要 Apache Flink 的先驗(yàn)知識(shí)，但是需要基本的 SQL 知識(shí)。

• 高階：Apache Flink 調(diào)優(yōu)和問(wèn)題排查

在過(guò)去的幾年中，我們與許多 Flink 用戶合作溝通期間了解到許多將流計(jì)算作業(yè)從早期 PoC 階段慢慢過(guò)渡到生產(chǎn)過(guò)程中最常見(jiàn)的挑戰(zhàn)。在此次培訓(xùn)中，我們將集中精力介紹這些挑戰(zhàn)，并且?guī)椭蠹乙黄鹣?。我們將提供一個(gè)有用的故障診斷工具集，并介紹例如監(jiān)控、水印、序列化、狀態(tài)后端等領(lǐng)域的最佳實(shí)踐和技巧。在實(shí)踐課程的間隙中,參與者將有機(jī)會(huì)使用新學(xué)習(xí)到的知識(shí)來(lái)解決一些異常 Flink 作業(yè)表現(xiàn)出來(lái)的問(wèn)題。同時(shí)，我們也將歸納那些使作業(yè)沒(méi)有進(jìn)展或吞吐量沒(méi)有達(dá)到預(yù)期，或作業(yè)延遲的常見(jiàn)原因。

• 時(shí)間和水印

• 狀態(tài)處理和狀態(tài)后端

• Flink 的容錯(cuò)機(jī)制

• 檢查點(diǎn)和保存點(diǎn)

• DataStream API 和 ProcessFunction。

培訓(xùn)系列課程為精品小班教學(xué)，數(shù)量有限，預(yù)約滿額將關(guān)閉入口，有相關(guān)培訓(xùn)需求的同學(xué)可盡早預(yù)約。詳細(xì)說(shuō)明：

• 參加培訓(xùn)請(qǐng)選擇購(gòu)買 VIP 套票。中階培訓(xùn)購(gòu)買 VIP 套票 1，高階培訓(xùn)購(gòu)買 VIP 套票 2。

• VIP 套票 1 可參與中階所有課程，VIP 套票 2 可參與包括高階、中階培訓(xùn)在內(nèi)的所有課程。

如果你也好奇 Flink 未來(lái)的主要探索方向，如何利用 Flink 將大數(shù)據(jù)、算力推到極致，F(xiàn)link 有哪些新場(chǎng)景、新規(guī)劃以及最佳實(shí)踐等話題，來(lái)現(xiàn)場(chǎng)吧！相信這群來(lái)自一線的技術(shù)專家們，一定會(huì)刷新你對(duì) Apache Flink 的認(rèn)知。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。