下一代大數(shù)據(jù)處理引擎，阿里云實(shí)時(shí)計(jì)算獨(dú)享模式重磅發(fā)布

摘要：?11月14日，阿里云重磅發(fā)布了實(shí)時(shí)計(jì)算獨(dú)享模式，即用戶獨(dú)享一部分物理資源，這部分資源在網(wǎng)絡(luò)/磁盤/CPU/內(nèi)存等資源上跟其他用戶完全獨(dú)立，是實(shí)時(shí)計(jì)算在原有共享模式基礎(chǔ)上的重大升級(jí)。（觀看實(shí)時(shí)計(jì)算發(fā)布會(huì)直播：https://yq.aliyun.com/live/591） 獨(dú)享模式優(yōu)點(diǎn)更加突出1、UDX開放：實(shí)時(shí)計(jì)算的共享模式是多個(gè)用戶共享一個(gè)物理機(jī)群，在網(wǎng)絡(luò)/磁盤層面沒有辦法做到完全隔離。

11月14日，阿里云重磅發(fā)布了實(shí)時(shí)計(jì)算獨(dú)享模式，即用戶獨(dú)享一部分物理資源，這部分資源在網(wǎng)絡(luò)/磁盤/CPU/內(nèi)存等資源上跟其他用戶完全獨(dú)立，是實(shí)時(shí)計(jì)算在原有共享模式基礎(chǔ)上的重大升級(jí)。
（觀看實(shí)時(shí)計(jì)算發(fā)布會(huì)直播：https://yq.aliyun.com/live/591）

獨(dú)享模式優(yōu)點(diǎn)更加突出
1、UDX開放：實(shí)時(shí)計(jì)算的共享模式是多個(gè)用戶共享一個(gè)物理機(jī)群，在網(wǎng)絡(luò)/磁盤層面沒有辦法做到完全隔離。因此，基于安全考慮，共享模式下無(wú)法對(duì)您開放UDX/DataStream更靈活、更底層的API。在某些場(chǎng)景下，無(wú)法滿足您的業(yè)務(wù)需求。獨(dú)享模式在網(wǎng)絡(luò)及物理機(jī)層面，有完全的隔離，因此可以開通UDF等更底層的API，滿足您的業(yè)務(wù)需求。

2、豐富的硬件：業(yè)務(wù)越來(lái)越豐富，對(duì)底層機(jī)器的配置會(huì)有更多樣化需求，比如CPU:MEM配比，以及GPU、FPGA等硬件的需求。實(shí)時(shí)計(jì)算獨(dú)享集群可充分復(fù)用阿里云在硬件層面做的各種優(yōu)化，為您解決各種硬件適配問(wèn)題。

3、用戶間的隔離：對(duì)于ECS獨(dú)享集群，您能夠獨(dú)享一批計(jì)算資源，且從網(wǎng)絡(luò)上進(jìn)入您的VPC。既滿足了您專網(wǎng)專用、資源獨(dú)享的需求，也可以跟您的IDC打通，更貼近您的業(yè)務(wù)需求。

4、更豐富的功能：Data Lake場(chǎng)景下的ETL：通過(guò)SQL+UDF的方式，使ETL任務(wù)開發(fā)更加便利。異構(gòu)數(shù)據(jù)源計(jì)算：支持從異構(gòu)數(shù)據(jù)源讀取數(shù)據(jù)做分析。例如，遠(yuǎn)程從OSS讀取數(shù)據(jù)歸檔日志，并join hbase中高危ip，做網(wǎng)絡(luò)攻擊分析等等。支持30+數(shù)據(jù)源的源表和結(jié)果表。

2018年雙11，實(shí)時(shí)計(jì)算完成三項(xiàng)世界級(jí)挑戰(zhàn)
雙11是購(gòu)物狂歡，也是對(duì)阿里技術(shù)的“大考”。天貓“雙11”的成交額沖破100億元只花了2分05秒，而突破千億大關(guān)，僅僅花了1小時(shí)47分鐘，比2017年快了7個(gè)多小時(shí)。這種瘋狂帶來(lái)了阿里史上最大的雙11流量洪峰，實(shí)時(shí)計(jì)算處理能力已經(jīng)相當(dāng)于一秒鐘內(nèi)讀完120萬(wàn)本2018年新版的《新華字典》。

2013年雙11購(gòu)物狂歡節(jié)第一分鐘成交破億，一千多萬(wàn)人同時(shí)涌入天貓。這些數(shù)據(jù)在杭州淘寶城內(nèi)的數(shù)據(jù)大屏準(zhǔn)實(shí)時(shí)播報(bào)。大屏上跳動(dòng)的每個(gè)數(shù)字，來(lái)自于阿里集團(tuán)內(nèi)部幾十個(gè)系統(tǒng)間的緊密合作，當(dāng)在以最快速度秒殺到雙11熱賣商品的同時(shí)，這些系統(tǒng)已經(jīng)完成了無(wú)數(shù)輪的數(shù)據(jù)采集、傳輸、加工、計(jì)算以及反饋到頁(yè)面的工作。這也是阿里云實(shí)時(shí)計(jì)算技術(shù)的首次亮相。

在2018年的雙11中，實(shí)時(shí)數(shù)據(jù)處理技術(shù)，包括日志數(shù)據(jù)和交易數(shù)據(jù)的實(shí)時(shí)采集、分發(fā)、計(jì)算，最終在媒體直播大屏上實(shí)時(shí)渲染和展示，整個(gè)鏈路的穩(wěn)定性保障壓力是巨大的?？梢哉f(shuō)，實(shí)時(shí)計(jì)算完成了三項(xiàng)世界級(jí)的挑戰(zhàn)：
1、低延時(shí)，從零點(diǎn)第一筆交易發(fā)生，到媒體大屏上顯示出統(tǒng)計(jì)結(jié)果，整個(gè)處理過(guò)程延時(shí)控制在3秒以內(nèi)；
2、實(shí)時(shí)計(jì)算處理峰值達(dá)到17.2億條/秒，實(shí)時(shí)計(jì)算的整體性能比去年提升了N倍；
3、高可用，全天服務(wù)不降級(jí)、無(wú)故障，扛下了高峰期所有的流量。

一站式、高性能實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)
阿里云實(shí)時(shí)計(jì)算是一套基于Apache Flink構(gòu)建的一站式、高性能實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)，廣泛應(yīng)用于流式數(shù)據(jù)處理、離線數(shù)據(jù)處理、DataLake計(jì)算等場(chǎng)景，助力企業(yè)向?qū)崟r(shí)化、智能化大數(shù)據(jù)計(jì)算升級(jí)轉(zhuǎn)型。

基于Apache Flink在阿里巴巴搭建的平臺(tái)于2016年正式上線，并從阿里巴巴的搜索和推薦這兩大場(chǎng)景開始實(shí)現(xiàn)。為了將Apache Flink在阿里巴巴真正運(yùn)行起來(lái)，阿里巴巴實(shí)時(shí)計(jì)算團(tuán)隊(duì)做了大量的優(yōu)化，在阿里云上的產(chǎn)品命名為時(shí)時(shí)計(jì)算，以Flink SQL為主要API，致力于打造一款全球領(lǐng)先的實(shí)時(shí)計(jì)算引擎。

據(jù)了解，阿里云實(shí)時(shí)計(jì)算脫胎于阿里集團(tuán)內(nèi)部雙11實(shí)時(shí)大屏業(yè)務(wù)，歷經(jīng)長(zhǎng)期摸索和發(fā)展，將阿里集團(tuán)本身沉淀多年的實(shí)時(shí)計(jì)算產(chǎn)品、架構(gòu)、業(yè)務(wù)能夠以云產(chǎn)品的方式對(duì)外提供服務(wù)，用戶可以完全享受到阿里集團(tuán)最新最前沿的計(jì)算引擎能力，業(yè)務(wù)上可規(guī)避阿里集團(tuán)多年在流式大數(shù)據(jù)的試錯(cuò)和教訓(xùn)，更快、更輕松地實(shí)時(shí)化大數(shù)據(jù)處理流程，助力業(yè)務(wù)發(fā)展。

經(jīng)過(guò)多年沉淀，目前，阿里云實(shí)時(shí)計(jì)算產(chǎn)品已具有國(guó)際領(lǐng)先的產(chǎn)品優(yōu)勢(shì)，在吞吐/時(shí)延、SQL支持、開發(fā)體驗(yàn)、窗口支持、亂序支持、上下游對(duì)接等多方面都優(yōu)于其他云廠商的相關(guān)產(chǎn)品。相對(duì)spark、storm等，阿里云實(shí)時(shí)計(jì)算人力成本低，開發(fā)運(yùn)維更加便利，還可以無(wú)縫對(duì)接阿里云數(shù)據(jù)存儲(chǔ)。用戶可以充分利用阿里云實(shí)時(shí)計(jì)算提供的產(chǎn)品優(yōu)勢(shì)，方便快捷的解決自身業(yè)務(wù)實(shí)時(shí)化大數(shù)據(jù)分析的問(wèn)題。

切實(shí)解決用戶痛點(diǎn)
阿里云實(shí)時(shí)計(jì)算可以提供FlinkSQL協(xié)助用戶簡(jiǎn)單輕松完成流式計(jì)算邏輯的處理。同時(shí)，受限于SQL代碼功能有限無(wú)法滿足某些特定場(chǎng)景的業(yè)務(wù)需求，阿里云實(shí)時(shí)計(jì)算同時(shí)為部分授信用戶提供全功能的UDF函數(shù)，幫助用戶完成業(yè)務(wù)定制化的數(shù)據(jù)處理邏輯。在流數(shù)據(jù)分析領(lǐng)域用戶直接使用FlinkSQL+UDF即可完成大部分流式數(shù)據(jù)分析處理邏輯，目前的實(shí)時(shí)計(jì)算更擅長(zhǎng)于做流式數(shù)據(jù)分析、統(tǒng)計(jì)、處理。主要解決了用戶的三大痛點(diǎn)：

1、流式數(shù)據(jù)的及時(shí)性
數(shù)據(jù)的業(yè)務(wù)價(jià)值隨著時(shí)間的流失而迅速降低，因此在數(shù)據(jù)發(fā)生后必須盡快對(duì)其進(jìn)行計(jì)算和處理。而傳統(tǒng)的大數(shù)據(jù)處理模式對(duì)于數(shù)據(jù)加工均遵循傳統(tǒng)日清日畢模式，即以小時(shí)甚至以天為計(jì)算周期對(duì)當(dāng)前數(shù)據(jù)進(jìn)行累計(jì)并處理，顯然這類處理方式無(wú)法滿足數(shù)據(jù)實(shí)時(shí)計(jì)算的需求。在諸如實(shí)時(shí)大數(shù)據(jù)分析、風(fēng)控預(yù)警、實(shí)時(shí)預(yù)測(cè)、金融交易等諸多業(yè)務(wù)場(chǎng)景領(lǐng)域，批量(或者說(shuō)離線)處理對(duì)于上述對(duì)于數(shù)據(jù)處理時(shí)延要求苛刻的應(yīng)用領(lǐng)域而言是完全無(wú)法勝任其業(yè)務(wù)需求的。而實(shí)時(shí)計(jì)算作為一類針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算模型，可有效地縮短全鏈路數(shù)據(jù)流時(shí)延、實(shí)時(shí)化計(jì)算邏輯、平攤計(jì)算成本，最終有效滿足實(shí)時(shí)處理大數(shù)據(jù)的業(yè)務(wù)需求。

2、一站式的流式數(shù)據(jù)處理
不同于開源或者自建的流式處理服務(wù)，阿里云實(shí)時(shí)計(jì)算是完全托管的流式計(jì)算引擎，阿里云可針對(duì)流數(shù)據(jù)運(yùn)行查詢，無(wú)需預(yù)置或管理任何基礎(chǔ)設(shè)施，用戶可以享受一鍵啟用的流式數(shù)據(jù)服務(wù)能力。阿里云實(shí)時(shí)計(jì)算天然集成數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)維、監(jiān)控預(yù)警等服務(wù)，方便用戶最小成本試用和遷移流式計(jì)算產(chǎn)品。

3、SQL化的流式分析
支持標(biāo)準(zhǔn)SQL(產(chǎn)品名稱為：FlinkSQL)，提供內(nèi)建的字符串處理、時(shí)間、統(tǒng)計(jì)等各類計(jì)算函數(shù)，替換業(yè)界低效且復(fù)雜的Flink開發(fā)，讓更多的BI人員、運(yùn)營(yíng)人員通過(guò)簡(jiǎn)單的FlinkSQL可以完成實(shí)時(shí)化大數(shù)據(jù)分析和處理，讓實(shí)時(shí)大數(shù)據(jù)處理普適化、平民化。

同時(shí)，實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)監(jiān)控／分析。比如BI人員可以看到自己網(wǎng)站實(shí)時(shí)的訪客數(shù)據(jù)變化，購(gòu)買情況，交易額波動(dòng)等，不需要一段時(shí)間后才能做統(tǒng)計(jì)和分析。之前150人／月的工作，現(xiàn)在只需3個(gè)人／月就可以輕松解決，效率提升了50倍。

使用場(chǎng)景廣泛
實(shí)時(shí)計(jì)算擅長(zhǎng)解決的幾個(gè)領(lǐng)域的應(yīng)用場(chǎng)景包括，實(shí)時(shí)的網(wǎng)絡(luò)點(diǎn)擊PV、UV統(tǒng)計(jì)；統(tǒng)計(jì)交通卡口的平均5分鐘通過(guò)車流量；水利大壩的壓力數(shù)據(jù)統(tǒng)計(jì)和展現(xiàn)；網(wǎng)絡(luò)支付涉及金融盜竊固定行為規(guī)則的告警等。特別適合BI人員、大數(shù)據(jù)開發(fā)人員等用戶。

實(shí)時(shí)計(jì)算擅長(zhǎng)解決的幾個(gè)領(lǐng)域的應(yīng)用場(chǎng)景包括，實(shí)時(shí)的網(wǎng)絡(luò)點(diǎn)擊PV、UV統(tǒng)計(jì)；統(tǒng)計(jì)交通卡口的平均5分鐘通過(guò)車流量；水利大壩的壓力數(shù)據(jù)統(tǒng)計(jì)和展現(xiàn)；網(wǎng)絡(luò)支付涉及金融盜竊固定行為規(guī)則的告警等。特別適合BI人員、大數(shù)據(jù)開發(fā)人員等用戶。

大體分為四種典型場(chǎng)景：
**互聯(lián)網(wǎng)點(diǎn)擊流分析：實(shí)時(shí)分析網(wǎng)站用戶行為，精準(zhǔn)實(shí)時(shí)把握用戶畫像；
金融實(shí)時(shí)風(fēng)控：實(shí)時(shí)監(jiān)控金融惡意行為，實(shí)時(shí)風(fēng)控避免用戶損失；
物聯(lián)網(wǎng)IOT風(fēng)控：實(shí)時(shí)監(jiān)控偵測(cè)設(shè)備故障，即使避免潛在業(yè)務(wù)風(fēng)險(xiǎn)；
電商精準(zhǔn)推薦：實(shí)時(shí)跟蹤用戶行為變化，精準(zhǔn)推薦提升產(chǎn)品銷量。**

用戶案例豐富
經(jīng)過(guò)兩年的發(fā)展，實(shí)時(shí)計(jì)算在集團(tuán)內(nèi)，淘寶、天貓、螞蟻金服、菜鳥、工業(yè)大腦等諸多業(yè)務(wù)均大量應(yīng)用了實(shí)時(shí)計(jì)算技術(shù)。今年以來(lái)，眾安保險(xiǎn)、全民TV、千尋、新華智云等集團(tuán)外部客戶也上線了諸多實(shí)時(shí)計(jì)算的典型場(chǎng)景和應(yīng)用。

獨(dú)享模式應(yīng)運(yùn)而生

實(shí)時(shí)計(jì)算今年4月份商業(yè)化以來(lái)，一直以“共享模式”的形式對(duì)外輸出，在批處理領(lǐng)域，SQL 已經(jīng)經(jīng)歷了幾十年的考驗(yàn)，是公認(rèn)的經(jīng)典。但另一方面也對(duì)用戶造成兩大困擾：

1.僅使用 SQL難以描述自己的業(yè)務(wù)邏輯；
2.將某些已有的存在于代碼中的業(yè)務(wù)邏輯翻譯成SQL，煩不勝煩。

因此，實(shí)時(shí)計(jì)算獨(dú)享模式應(yīng)運(yùn)而生。獨(dú)享模式，是實(shí)時(shí)計(jì)算在原有共享模式基礎(chǔ)上的補(bǔ)充。用戶獨(dú)享一部分物理資源，這部分資源在網(wǎng)絡(luò)/磁盤/CPU/內(nèi)存等資源上跟其他用戶完全獨(dú)立。具備UDX開放、豐富的硬件、用戶間的隔離等特性。

使用流程簡(jiǎn)潔方便
實(shí)時(shí)計(jì)算的基本計(jì)量單位為CU(Compute Unit，即計(jì)算資源)，一個(gè)CU對(duì)應(yīng)于實(shí)時(shí)計(jì)算底層系統(tǒng)是一個(gè)CPU的計(jì)算能力。實(shí)時(shí)計(jì)算底層使用虛擬化技術(shù)進(jìn)行資源隔離，保證一個(gè)基本的CU消費(fèi)且最大消費(fèi)僅能為一個(gè)CPU的計(jì)算能力。

產(chǎn)品的具體使用也十分方便，具體來(lái)說(shuō)有以下幾步：

了解更多產(chǎn)品詳情，歡迎點(diǎn)擊
https://promotion.aliyun.com/ntms/act/rc.html
觀看實(shí)時(shí)計(jì)算發(fā)布會(huì)直播
https://yq.aliyun.com/live/591
點(diǎn)擊聚能聊，暢所欲言：實(shí)時(shí)計(jì)算，獨(dú)享模式
https://yq.aliyun.com/roundtable/438652