0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)不可估量,亞馬遜云科技開(kāi)啟云原生數(shù)倉(cāng)新篇章

華夏大視野 ? 來(lái)源:華夏大視野 ? 作者:華夏大視野 ? 2023-01-13 09:49 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

2022年12月,在拉斯維加斯舉辦的2022亞馬遜科技re:Invent全球大會(huì)完美落幕,這一標(biāo)志性的技術(shù)盛宴再一次給人們留下了無(wú)限的想象空間,等待大家在新的一年去持續(xù)探索和發(fā)掘。近日,亞馬遜云科技中國(guó)巡演——廣州、深圳站也如期舉行,其間對(duì)re:Invent全球大會(huì)的很多項(xiàng)目進(jìn)行解讀,為中國(guó)企業(yè)提供更多的可能。

簡(jiǎn)化數(shù)據(jù)攝入工作

最好是沒(méi)有

要想數(shù)據(jù)分析到位,首先要保證有穩(wěn)定、可靠的數(shù)據(jù)攝入通道,來(lái)實(shí)現(xiàn)端到端的第一環(huán)(其實(shí)還有第零環(huán),是業(yè)務(wù)在數(shù)據(jù)源側(cè)的規(guī)劃),而這一塊也是大部分?jǐn)?shù)據(jù)工程中遇到最頭疼的問(wèn)題之一。首先,數(shù)據(jù)源就包含很多種,最常見(jiàn)的數(shù)據(jù)源包括關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)湖和實(shí)時(shí)的流數(shù)據(jù)。其次,不管是手動(dòng)還是自動(dòng)的ETL流水線(xiàn),都需要專(zhuān)業(yè)的數(shù)據(jù)工程團(tuán)隊(duì)來(lái)構(gòu)建和維護(hù),并且經(jīng)常要處理或介入數(shù)據(jù)結(jié)構(gòu)的變更等情況。這次,Redshift連發(fā)多個(gè)功能特性來(lái)幫助客戶(hù)解決或者消除這類(lèi)問(wèn)題。

pYYBAGPAuMWAGTjzAAHgs-K_hI8026.png

首先是最常見(jiàn)的關(guān)系型數(shù)據(jù)庫(kù),也就是經(jīng)典的OLTP向OLAP的數(shù)據(jù)傳遞。如果是為了更快或者更實(shí)時(shí)地獲取線(xiàn)上業(yè)務(wù)的事務(wù)數(shù)據(jù)來(lái)做分析,通??梢酝ㄟ^(guò)開(kāi)啟數(shù)據(jù)庫(kù)的binlog來(lái)捕捉CDC變更,然后再使用解析CDC的工具如Amazon DMS、Debezium等來(lái)實(shí)現(xiàn),這些都需要客戶(hù)進(jìn)行不斷的監(jiān)控、配置和優(yōu)化。此外,不同的數(shù)據(jù)庫(kù)和數(shù)據(jù)表可能會(huì)有不同的需求,這樣就再加倍了數(shù)量級(jí)的維護(hù)成本。

相信大家對(duì)Redshift印象最深的一個(gè)功能就是Zero ETL,幫助客戶(hù)完成從1到0的過(guò)程!Redshift通過(guò)與Amazon Aurora數(shù)據(jù)庫(kù)深度集成,在事務(wù)型數(shù)據(jù)寫(xiě)入Aurora后,數(shù)據(jù)在底層被持續(xù)地復(fù)制到Redshift,完成行式數(shù)據(jù)存儲(chǔ)到列式數(shù)據(jù)存儲(chǔ)的轉(zhuǎn)換,徹底消除了自己構(gòu)建和維護(hù)復(fù)雜數(shù)據(jù)管道的工作。沒(méi)有Hybrid OLTP和OLAP,仍然是熟悉的Amazon Purpose-Build(Aurora還是 Aurora,Redshift還是Redshift)各司其職解決最實(shí)際的問(wèn)題。同時(shí),客戶(hù)的應(yīng)用程序架構(gòu)保持不變,讀寫(xiě)端點(diǎn)指向Aurora,分析端點(diǎn)指向Redshift,但是底層已經(jīng)不再是一大串接一大串的數(shù)據(jù)抽取、轉(zhuǎn)換和加載,直接無(wú)縫銜接并且達(dá)到近實(shí)時(shí)的效果。

然后是數(shù)據(jù)湖S3,Redshift開(kāi)始支持從S3數(shù)據(jù)湖中自動(dòng)復(fù)制,手動(dòng)擋升級(jí)自動(dòng)擋。之前,如果想要拷貝數(shù)據(jù)都需要手動(dòng)或者定時(shí)執(zhí)行COPY命令,現(xiàn)在Redshift新添加了COPY JOB命令自動(dòng)檢測(cè)指定路徑的新文件,跳過(guò)已經(jīng)加載完畢的舊文件。以前編寫(xiě)的定時(shí)任務(wù)腳本可以退役了,而且再也不用擔(dān)心手抖重復(fù)執(zhí)行,生活變得更美好了。

如果業(yè)務(wù)需求是實(shí)時(shí)的,那么通過(guò)S3作為Staging存儲(chǔ)再COPY的方式就跟不上節(jié)奏了,所以,流數(shù)據(jù)也要拿下。re:Invent之前,Redshift流式攝入已經(jīng)開(kāi)始支持Amazon Kinesis Data Streams,這次發(fā)布更是添加了Amazon Managed Streaming for Apache Kafka(MSK),同時(shí)流式攝入也正式推出,告別預(yù)覽。從上面的圖中可以看出,流式攝入合并了數(shù)據(jù)消費(fèi)的過(guò)程,直接在Redshift中實(shí)現(xiàn)并持續(xù)加載到數(shù)據(jù)倉(cāng)庫(kù)。在Redshift中,流式攝入是通過(guò)物化視圖的方式實(shí)現(xiàn)的(查找官方文檔是在物化視圖章節(jié)),用戶(hù)還可以在這個(gè)物化視圖基礎(chǔ)上再配合其他數(shù)據(jù)疊加物化視圖提高查詢(xún)效率。另外,別忘了還可以給流式攝入開(kāi)啟自動(dòng)刷新功能。從此,客戶(hù)可以更簡(jiǎn)單地完成實(shí)時(shí)數(shù)據(jù)分析,包括IoT物聯(lián)網(wǎng)設(shè)備、點(diǎn)擊流、應(yīng)用程序監(jiān)控、欺詐檢測(cè)和游戲?qū)崟r(shí)排行榜等。

以上,Redshift簡(jiǎn)化了各種最經(jīng)典的數(shù)據(jù)源ETL方式,數(shù)據(jù)坐等分析。

更多數(shù)據(jù)分析的利器

來(lái)點(diǎn)火花

數(shù)據(jù)已經(jīng)妥妥地進(jìn)到了數(shù)據(jù)倉(cāng)庫(kù)的碗里來(lái),接下來(lái)就請(qǐng)開(kāi)始它的表演了。此時(shí),數(shù)據(jù)工程師表示Redshift SQL很好,但是還有些更復(fù)雜業(yè)務(wù)數(shù)據(jù)邏輯更適合通過(guò)代碼的方式進(jìn)行操作和處理(而不是通過(guò)UDF)。開(kāi)源大數(shù)據(jù)生態(tài)體系下有非常豐富的軟件供組織采用了,其中功能完善、發(fā)展穩(wěn)定的Apache Spark往往是一個(gè)優(yōu)先的選擇。在亞馬遜云科技平臺(tái)上使用Spark并不復(fù)雜,有托管服務(wù)EMR和Glue保駕護(hù)航,還有新發(fā)布的Amazon Athena for Apache Spark可以極速啟動(dòng)交互。但是,說(shuō)到Spark和Redshift之間進(jìn)行數(shù)據(jù)分析還是需要折騰一下的,或者是通過(guò)將Redshift中的數(shù)據(jù)導(dǎo)出到S3中,或者是使用各種第三方的Spark連接器,前者需要多走一步浪費(fèi)時(shí)間和資源,后者沒(méi)有多少人維護(hù)不說(shuō),性能和安全性都令人堪憂(yōu)。因此,Amazon Redshift integration for Apache Spark應(yīng)運(yùn)而生。

poYBAGPAuMaAFeYeAAEKc7lY0kk657.png

這個(gè)內(nèi)置集成模式基于一個(gè)之前的開(kāi)源項(xiàng)目,提升了性能和安全性,相信后續(xù)亞馬遜云科技仍將繼續(xù)跟進(jìn)這個(gè)開(kāi)源項(xiàng)目,并將各種升級(jí)改造的好東西貢獻(xiàn)給社區(qū)。目前,EMR、EMR on EKS、EMR Serverless和Glue(限定版本)都預(yù)置了打包好的連接器和JDBC驅(qū)動(dòng)程序,客戶(hù)完全可以直接開(kāi)始編寫(xiě)代碼(有愛(ài)好者迫不及待連夜在EMR Studio中使用EMR on EKS完成了對(duì)Redshift Serverless和集群模式的交互式讀寫(xiě)測(cè)試,體驗(yàn)極佳),對(duì)Redshift中的數(shù)據(jù)進(jìn)行處理。如果客戶(hù)的數(shù)據(jù)分析工作負(fù)載以Spark為主,也可以通過(guò)Spark統(tǒng)一對(duì)各種數(shù)據(jù)源的分析。

審核編輯hhy

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)庫(kù)
    +關(guān)注

    關(guān)注

    7

    文章

    3917

    瀏覽量

    66050
  • 開(kāi)源
    +關(guān)注

    關(guān)注

    3

    文章

    3658

    瀏覽量

    43731
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    松下攜手深圳廣電集團(tuán)開(kāi)啟視聽(tīng)傳播新篇章

    在2025年深圳廣播電影電視集團(tuán)(以下簡(jiǎn)稱(chēng)“深圳廣電集團(tuán)”)的4K超高清采購(gòu)項(xiàng)目中,松下憑借卓越的技術(shù)實(shí)力與豐富的行業(yè)經(jīng)驗(yàn),成功中標(biāo)“新聞演播室群”、“外拍設(shè)備”等核心項(xiàng)目,標(biāo)志著松下的新媒體技術(shù)與專(zhuān)業(yè)視音頻產(chǎn)品在深圳廣電集團(tuán)實(shí)現(xiàn)了全面落地應(yīng)用,雙方攜手開(kāi)啟視聽(tīng)傳播新篇章
    的頭像 發(fā)表于 04-15 15:16 ?452次閱讀

    國(guó)產(chǎn)首款量產(chǎn)型七位半萬(wàn)用表!青島漢泰開(kāi)啟國(guó)產(chǎn)高精度測(cè)量新篇章。

    國(guó)產(chǎn)首款量產(chǎn)型七位半萬(wàn)用表!青島漢泰開(kāi)啟國(guó)產(chǎn)高精度測(cè)量新篇章。 2025年3月18日,青島漢泰推出全新HDM3075系列7位半數(shù)字萬(wàn)用表。HDM3075系列是國(guó)產(chǎn)首款實(shí)現(xiàn)量產(chǎn)的七位半萬(wàn)用表產(chǎn)品,它
    發(fā)表于 04-01 13:15

    微軟攜手長(zhǎng)虹佳華開(kāi)啟AI視頻廣告行業(yè)新篇章

    近日,微軟重磅發(fā)布了新的AI視頻廣告解決方案,并與長(zhǎng)虹佳華在AI視頻廣告領(lǐng)域達(dá)成戰(zhàn)略合作。雙方共同舉辦了“數(shù)智創(chuàng)翼,生態(tài)領(lǐng)航”戰(zhàn)略合作啟動(dòng)儀式,攜手開(kāi)啟廣告行業(yè)的新篇章
    的頭像 發(fā)表于 02-26 11:06 ?672次閱讀

    智慧路燈:點(diǎn)亮城市,智慧公交站臺(tái)開(kāi)啟智慧新篇章

    智慧路燈:點(diǎn)亮城市,智慧公交站臺(tái)開(kāi)啟智慧新篇章
    的頭像 發(fā)表于 02-11 13:40 ?383次閱讀
    智慧路燈:點(diǎn)亮城市,智慧公交站臺(tái)<b class='flag-5'>開(kāi)啟</b>智慧<b class='flag-5'>新篇章</b>

    云原生LLMOps平臺(tái)作用

    云原生LLMOps平臺(tái)是一種基于計(jì)算基礎(chǔ)設(shè)施和開(kāi)發(fā)工具,專(zhuān)門(mén)用于構(gòu)建、部署和管理大型語(yǔ)言模型(LLM)全生命周期的平臺(tái)。以下,是對(duì)云原生LLMOps平臺(tái)作用的梳理,由AI部落小編整理。
    的頭像 發(fā)表于 01-06 10:21 ?444次閱讀

    什么是云原生MLOps平臺(tái)

    云原生MLOps平臺(tái),是指利用計(jì)算的基礎(chǔ)設(shè)施和開(kāi)發(fā)工具,來(lái)構(gòu)建、部署和管理機(jī)器學(xué)習(xí)模型的全生命周期的平臺(tái)。以下,是對(duì)云原生MLOps平臺(tái)的介紹,由AI部落小編整理。
    的頭像 發(fā)表于 12-12 13:13 ?508次閱讀

    比亞迪與華工科技開(kāi)啟戰(zhàn)略合作新篇章

    近日,比亞迪半導(dǎo)體事業(yè)部與華工科技高理公司、激光公司開(kāi)展座談交流,開(kāi)啟戰(zhàn)略合作新篇章。
    的頭像 發(fā)表于 12-10 14:45 ?755次閱讀

    AMS-SC159:開(kāi)啟LED視頻處理與拼接的新篇章

    業(yè)界領(lǐng)先的13通道視頻處理器與拼接器,憑借其卓越的性能和豐富的功能,正在開(kāi)啟LED視頻處理與拼接的新篇章。
    的頭像 發(fā)表于 11-28 09:08 ?807次閱讀

    魏德米勒開(kāi)啟產(chǎn)業(yè)數(shù)智轉(zhuǎn)型新篇章

    隨著制造業(yè)向高端、智能、綠色方向不斷邁進(jìn),以科技創(chuàng)新提質(zhì)增效,貼近客戶(hù)挖掘深度需求,成為助力產(chǎn)業(yè)發(fā)展的重要錨點(diǎn)。11月,工業(yè)聯(lián)接專(zhuān)家魏德米勒的腳步加“數(shù)”出發(fā) ,與客戶(hù)及合作伙伴共同開(kāi)啟產(chǎn)業(yè)數(shù)智轉(zhuǎn)型
    的頭像 發(fā)表于 11-22 15:00 ?649次閱讀

    IOT物聯(lián)網(wǎng)中臺(tái):開(kāi)啟智慧生活新篇章 物聯(lián)網(wǎng)平臺(tái)系統(tǒng)

    IOT物聯(lián)網(wǎng)中臺(tái):開(kāi)啟智慧生活新篇章 物聯(lián)網(wǎng)平臺(tái)系統(tǒng)
    的頭像 發(fā)表于 11-19 09:14 ?746次閱讀

    IOT物聯(lián)網(wǎng)中臺(tái):開(kāi)啟智慧生活新篇章 物聯(lián)網(wǎng)平臺(tái)系統(tǒng),構(gòu)建智慧城市數(shù)據(jù)生態(tài) 智慧城鎮(zhèn)、物聯(lián)網(wǎng)、數(shù)據(jù)中臺(tái)

    IOT物聯(lián)網(wǎng)中臺(tái):開(kāi)啟智慧生活新篇章 物聯(lián)網(wǎng)平臺(tái)系統(tǒng),構(gòu)建智慧城市數(shù)據(jù)生態(tài) 智慧城鎮(zhèn)、物聯(lián)網(wǎng)、數(shù)據(jù)中臺(tái)、智慧城市、數(shù)據(jù)生態(tài)
    的頭像 發(fā)表于 11-18 14:49 ?670次閱讀

    揚(yáng)帆出海!穩(wěn)石氫能AEM電解槽出貨智利,開(kāi)啟全球商業(yè)化新篇章!

    繼國(guó)內(nèi)商業(yè)化獲得突破之后,此次海外訂單的交付,標(biāo)志著穩(wěn)石氫能正式開(kāi)啟了AEM制氫設(shè)備全球商業(yè)化的新篇章!
    的頭像 發(fā)表于 11-01 10:31 ?619次閱讀
    揚(yáng)帆出海!穩(wěn)石氫能AEM電解槽出貨智利,<b class='flag-5'>開(kāi)啟</b>全球商業(yè)化<b class='flag-5'>新篇章</b>!

    重慶市第五人民醫(yī)院引領(lǐng)醫(yī)療電能質(zhì)量革命,點(diǎn)亮“健康”新篇章

    重慶市第五人民醫(yī)院引領(lǐng)醫(yī)療電能質(zhì)量革命,點(diǎn)亮“健康”新篇章
    的頭像 發(fā)表于 10-14 15:36 ?682次閱讀
    重慶市第五人民醫(yī)院引領(lǐng)醫(yī)療電能質(zhì)量革命,點(diǎn)亮“健康”<b class='flag-5'>新篇章</b>

    復(fù)合機(jī)器人:開(kāi)啟智能倉(cāng)儲(chǔ)新篇章

    隨著工業(yè)4.0時(shí)代的到來(lái),智能制造和智能倉(cāng)儲(chǔ)已經(jīng)成為企業(yè)發(fā)展的重要驅(qū)動(dòng)力。近日,一種全新的復(fù)合機(jī)器人倉(cāng)庫(kù)搬運(yùn)方案亮相,該方案以復(fù)合機(jī)器人AMR為核心,通過(guò)與搬運(yùn)機(jī)器人AGV的緊密配合,開(kāi)啟了智能倉(cāng)儲(chǔ)的新篇章。
    的頭像 發(fā)表于 10-12 16:58 ?628次閱讀
    復(fù)合機(jī)器人:<b class='flag-5'>開(kāi)啟</b>智能倉(cāng)儲(chǔ)<b class='flag-5'>新篇章</b>

    阿里巴巴AI賦能海外擴(kuò)張新篇章

    中國(guó)電商巨頭阿里巴巴集團(tuán)正積極重啟并加速其海外擴(kuò)張戰(zhàn)略,以應(yīng)對(duì)國(guó)內(nèi)電商市場(chǎng)競(jìng)爭(zhēng)加劇的挑戰(zhàn)。此次擴(kuò)張的一大亮點(diǎn)在于,阿里巴巴將人工智能(AI)技術(shù)深度融入其國(guó)際業(yè)務(wù)布局中,開(kāi)啟了海外發(fā)展的新篇章
    的頭像 發(fā)表于 07-12 17:56 ?1337次閱讀