企業(yè)如何使用SNP Glue將SAP與Snowflake集成？

SNP Glue是SNP的集成技術(shù)，適用于任何云平臺。它最初是圍繞SAP和Hadoop構(gòu)建的，現(xiàn)在已經(jīng)發(fā)展為一個集成平臺，雖然它仍然非常專注SAP，但可以將幾乎任何數(shù)據(jù)源與任何數(shù)據(jù)目標(biāo)集成。

我們客戶非常感興趣的數(shù)據(jù)目標(biāo)之一是Snowflake。Snowflake是一個基于云的數(shù)據(jù)倉庫平臺，旨在處理和分析大量數(shù)據(jù)。它是一種軟件即服務(wù)(SaaS)解決方案，允許組織使用云基礎(chǔ)設(shè)施存儲、管理和分析數(shù)據(jù)，而無需管理底層硬件或軟件。

企業(yè)如何使用SNP Glue和Snowflake?

下面是一個使用SNP Glue將SAP與Snowflake集成的實際客戶示例:

想象一下，一家總部位于德國，但在全球范圍內(nèi)運營的大公司。他們有30多個SAP生產(chǎn)系統(tǒng)，他們從中獲取數(shù)據(jù)(主要使用SAP自己的SLT)。它的范圍是巨大的，我們談?wù)摰氖敲總€系統(tǒng)數(shù)以萬計的表?，F(xiàn)在，通過SNP Glue，我們可以獲取所有這些數(shù)據(jù)，并使用Glue自己的CDC(更改數(shù)據(jù)捕獲)——有時與SLT的增量捕獲一起使用，將所有SAP數(shù)據(jù)包括不斷更改的數(shù)據(jù)復(fù)制到云端的基于Snowflake的數(shù)據(jù)倉庫中。

為什么公司會使用Snowflake?

Snowflake基于SQL的關(guān)鍵特性“彈性”(即可伸縮性)，并附帶了強大的數(shù)據(jù)處理特性來覆蓋ETL(提取-轉(zhuǎn)換-加載)中的“T”，這對于現(xiàn)代集成體系結(jié)構(gòu)(主要是關(guān)于ELT而不是ETL)來說很有意義，只是為了解耦數(shù)據(jù)集成和數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性。簡而言之，Snowflake是數(shù)據(jù)平臺(以前稱為數(shù)據(jù)倉庫)的某種程度上與云無關(guān)的SaaS產(chǎn)品。

Snowflake支持通過連接器和api與各種數(shù)據(jù)科學(xué)和人工智能工具集成。你可以使用流行的人工智能庫和框架與Snowflake一起構(gòu)建和訓(xùn)練模型。

用簡單的話來總結(jié):Snowflake是一個在集群系統(tǒng)上的非常強大的數(shù)據(jù)庫，它是按規(guī)模構(gòu)建的，并提供了大量的優(yōu)勢。

保留你的選擇余地

話雖如此，每個超大規(guī)模企業(yè)都有一個相互競爭的技術(shù)，例如redshift (AWS)、Synapse(微軟)、Big Query (GC)，甚至DataBricks。在眾多技術(shù)優(yōu)勢中，Snowflake有一些優(yōu)勢，其中之一是它是真正與云無關(guān)的，因此不會將客戶推向供應(yīng)商鎖定。

客戶使用SNP Glue與基于云的數(shù)據(jù)倉庫集成，選擇Snowflake是因為它是一個真正的SaaS解決方案，像數(shù)據(jù)庫一樣理解SQL(但像Hadoop一樣擴展)，并且像數(shù)據(jù)庫一樣快速返回數(shù)據(jù)。

使您的SAP數(shù)據(jù)集成更容易

有了SNP Glue，就有可能實現(xiàn)SAP與Snowflake之間的本地集成。顯而易見的起點是與安全性和身份驗證的技術(shù)集成。然后是“真正的”數(shù)據(jù)集成，從模式創(chuàng)建開始:SNP Glue可以分析SAP數(shù)據(jù)源并在Snowflake上創(chuàng)建相應(yīng)的數(shù)據(jù)模型。

數(shù)據(jù)復(fù)制可以是表驅(qū)動的(即基于表的數(shù)據(jù)復(fù)制，有或沒有增量捕獲)，也可以是事件驅(qū)動的(在這種情況下，您將使用Snowpipe進行數(shù)據(jù)流)。

是什么讓Snowpipe這么酷？

表驅(qū)動的數(shù)據(jù)集成是經(jīng)典的集成方法，它是全表加載，然后是增量捕獲(又名CDC)和近實時數(shù)據(jù)復(fù)制。在初始滿負(fù)載之后，傳輸相當(dāng)小的數(shù)據(jù)包。這一切通常都是基于經(jīng)典數(shù)據(jù)庫表，而不是業(yè)務(wù)對象。根據(jù)數(shù)據(jù)傳輸?shù)念l率(可能會產(chǎn)生非常小的包)，可以實現(xiàn)近乎實時的提取和數(shù)據(jù)集成，但這將以Snowflake上頻繁的所謂增量合并為代價。

Snowpipe允許在新數(shù)據(jù)到達時將數(shù)據(jù)連續(xù)加載到Snowflake表中。這對于需要為分析、報告或其他應(yīng)用程序提供新信息的場景特別有用。Snowpipe可以與各種工具和工作流集成，使其可用于實時分析、報告和其他數(shù)據(jù)驅(qū)動型應(yīng)用程序。

為了恰當(dāng)?shù)亟Y(jié)束這篇文章，我想用一句古老的“最后一句話”作為結(jié)束語:正在構(gòu)建SNP Glue以本地集成SAP數(shù)據(jù)和Snowflake的同一個團隊正在使用Snowflake的應(yīng)用程序框架在Snowflake上開發(fā)一個本地應(yīng)用程序。我們的目標(biāo)是在Snowflake上實現(xiàn)(并極大地改進)包括delta合并在內(nèi)的數(shù)據(jù)流，即將更新的記錄集成到數(shù)據(jù)倉庫中。

審核編輯 黃宇