BI工具升級動態(tài)增量新功能，讓大數(shù)據(jù)量入集市更便捷

“動態(tài)增量”是“增量導(dǎo)入數(shù)據(jù)”在9.1版本中新增的入集市的方式。

隨著數(shù)據(jù)量的增大，咱們?nèi)爰械姆绞綕u漸的從“同步數(shù)據(jù)”變成“增量導(dǎo)入數(shù)據(jù)”，“增量導(dǎo)入數(shù)據(jù)”的優(yōu)點(diǎn)大致有兩點(diǎn)：
1. 入集市的時候可以打上meta，查詢的時候按照meta進(jìn)行查詢，加快查詢速度；
2. 采取每次追加部分?jǐn)?shù)據(jù)的方式，跟“同步數(shù)據(jù)”每次全量數(shù)據(jù)入集市的方式相比，每天入集市任務(wù)的時間更短；數(shù)據(jù)庫處理的數(shù)據(jù)量更小，減少數(shù)據(jù)庫壓力。
?

同時，“增量導(dǎo)入數(shù)據(jù)”也并不能完全滿足咱們數(shù)據(jù)更新的需求。

一. 為什么要用“動態(tài)增量”？

舉個例子，某部門分析的是訂單數(shù)據(jù)，有歷史5年的訂單數(shù)據(jù)（2016年1月到2021年3月），歷史數(shù)據(jù)不會變化，只有最近3個月的數(shù)據(jù)會發(fā)生變化，每天想要查詢的歷史所有訂單數(shù)據(jù)（2016年1月到昨天的數(shù)據(jù)都可能會查詢）。

如果使用“增量導(dǎo)入數(shù)據(jù)”的“普通增量”，每天追加前一天的數(shù)據(jù)到集市中沒有問題，但是無法滿足“最近3個月的數(shù)據(jù)會變化”的場景，比如：咱們在2021年3月10號，將2021年3月9號的數(shù)據(jù)追加到集市中，但是到了11號的時候，9號的數(shù)據(jù)發(fā)生了變化?！逼胀ㄔ隽俊笔菦]有辦法對集市中已經(jīng)變化的9號的數(shù)據(jù)進(jìn)行update，或者說刪除9號的數(shù)據(jù)，重新導(dǎo)入。

這種時候“動態(tài)增量”就派上用場啦！

二. “動態(tài)增量”如何上市？

A. 歷史數(shù)據(jù)按月全量入（2021-03-01日進(jìn)行）

(1) 需要一個sql數(shù)據(jù)集，查詢 表“某部門訂單數(shù)據(jù)”的全部數(shù)據(jù)，且需要有日期字段。sql語句中不用加其他where條件用于限制取哪段時間的數(shù)據(jù)。

（2）新建一個“動態(tài)增量”任務(wù)

文件夾：設(shè)置集市文件夾的名稱，需要有意義

更新依據(jù)列：需要是日期類型，如果不是日期類型，選擇旁邊的新建計(jì)算列，通過表達(dá)式的方式將非日期類型的日期列，轉(zhuǎn)換為日期類型。

咱們這里選擇“按時間范圍更新”，將歷史數(shù)據(jù)全部包含（比如咱們這里，在2021年3月1號的時候，歷史數(shù)據(jù)范圍是2020-01-01到2021-02-28），范圍選擇完成也可以看下面的提示更新范圍，更好理解，范圍是包含開始時間，但不包含結(jié)束時間。

實(shí)現(xiàn)的效果是歷史數(shù)據(jù)按月分割，不同月份的數(shù)據(jù)存儲在不同的集市文件中，并自動給集市數(shù)據(jù)加上meta,meta名為：_Date_Range_,meta值：數(shù)據(jù)對應(yīng)的月份。

具體邏輯：一個任務(wù)，按照時間范圍（2020-01-01到本月(2021-03月)），按月進(jìn)行分割，任務(wù)實(shí)際執(zhí)行的時候，是按月入集市的，數(shù)據(jù)庫執(zhí)行的sql，不是一條（select * from 某部門訂單數(shù)據(jù)），而是每個月一條。

B.每天更新最近3個月數(shù)據(jù)

(1) 2021-03-02號以及之后每天更新最近3個月數(shù)據(jù)

文件夾：還是跟之前保持一致

按周期進(jìn)行更新，更新范圍：近2月到今天，也就是2021-01-01開始到今天

更新的效果是按月進(jìn)行分割，刪除2021-01月到2021-02月的數(shù)據(jù)，追加生成2021-01月到2021-03月的數(shù)據(jù)。

一個完整的動態(tài)增量的實(shí)例就講完了，實(shí)際使用中咱們可以根據(jù)情況進(jìn)行調(diào)整，總的來說動態(tài)增量可以實(shí)現(xiàn)某段時間的數(shù)據(jù)按月（按年或按日）進(jìn)行分割入集市，并打上meta，同時，可以實(shí)現(xiàn)對已經(jīng)入集市的數(shù)據(jù)進(jìn)行按月（按年或按日）更新，更新最近一段時間，或者某段固定的時間范圍，更新的邏輯是刪除對應(yīng)時間段的集市文件，然后生成新的。

最后咱們不得不提的是meta的使用，前面“動態(tài)增量”已經(jīng)實(shí)現(xiàn)了分割入集市，并打上meta，咱們的目標(biāo)實(shí)現(xiàn)了一半（減少入集市的時間）；還有另外一半（加快集市查詢），需要通過meta的使用，也就是文件過濾來實(shí)現(xiàn)。

fqj