如何實(shí)現(xiàn)多源異構(gòu)系統(tǒng)數(shù)據(jù)整合？

在信息化建設(shè)過(guò)程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響，導(dǎo)致企業(yè)在發(fā)展過(guò)程中積累了大量采用不同存儲(chǔ)方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡(jiǎn)單的文件數(shù)據(jù)庫(kù)到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，它們構(gòu)成了的多源的異構(gòu)數(shù)據(jù)，當(dāng)企業(yè)為完成一項(xiàng)工作，可能需要訪問(wèn)分布在網(wǎng)絡(luò)不同位置上的多個(gè)數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)，從而對(duì)企業(yè)對(duì)未來(lái)規(guī)劃造成困擾。

整合多源異構(gòu)系統(tǒng)數(shù)據(jù)的目標(biāo)

多源異構(gòu)數(shù)據(jù)整合的目標(biāo)就在于實(shí)現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)信息資源、硬件設(shè)備資源和人力資源的合并和共享。其中關(guān)鍵的一點(diǎn)就是以分散的局部的數(shù)據(jù)為基礎(chǔ)，通過(guò)各種工具和處理邏輯建立全局的統(tǒng)一的數(shù)據(jù)或視圖。

傳統(tǒng)技術(shù)路線：

對(duì)于多源異構(gòu)系統(tǒng)數(shù)據(jù)整合的需求是十分多樣的，比如：數(shù)據(jù)的實(shí)時(shí)無(wú)縫對(duì)接或批量對(duì)接、數(shù)據(jù)實(shí)時(shí)或T+1同步、單向數(shù)據(jù)傳輸?shù)取＠脗鹘y(tǒng)技術(shù)路線。

可以有以下幾種方式解決：

1.跨平臺(tái)，SOAP服務(wù)對(duì)接

SOAP是一種輕量的、簡(jiǎn)單的、基于XML的數(shù)據(jù)交換協(xié)議，它被設(shè)計(jì)成交換結(jié)構(gòu)化或相對(duì)固化的信息。

SOAP服務(wù)具有簡(jiǎn)單、可擴(kuò)展的特點(diǎn)，其實(shí)現(xiàn)與廠商、編程語(yǔ)言和具體廠商都沒(méi)有關(guān)系。SOAP客戶端發(fā)送一個(gè)請(qǐng)求，調(diào)用相應(yīng)的對(duì)象，然后服務(wù)器返回結(jié)果。這些消息是XML 格式的，封裝成HTTP 協(xié)議，符合任何路由器、防火墻或代理服務(wù)器的要求。SOAP可以使用任何語(yǔ)言來(lái)完成，可以在任何操作系統(tǒng)中無(wú)需改動(dòng)正常運(yùn)行。因此，SOAP具有強(qiáng)大的網(wǎng)絡(luò)穿透能力，具有廣泛的適應(yīng)性，比較適合當(dāng)前自然資源部門應(yīng)用系統(tǒng)繁多、技術(shù)體系不一、數(shù)據(jù)多源異構(gòu)這一現(xiàn)實(shí)性的應(yīng)用系統(tǒng)和數(shù)據(jù)集成要求。

2.大文件，F(xiàn)TP文件共享

文件傳輸協(xié)議（FTP）雖然是一種非常傳統(tǒng)的數(shù)據(jù)共享和交換技術(shù)，但是，在自然資源領(lǐng)域中，針對(duì)遙感圖像、三維地圖、CAD圖紙（Drawing）、激光點(diǎn)云等大數(shù)據(jù)量文件的交互，采用FTP交互方式是最合適不過(guò)的了。

只要在應(yīng)用系統(tǒng)之間約定文件服務(wù)器地址、文件命名規(guī)則、文件內(nèi)容格式等參數(shù)，通過(guò)文件服務(wù)器的文件上傳和下載，即可完成數(shù)據(jù)交互。該方案簡(jiǎn)單實(shí)用，避免了去理解、實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)傳輸和網(wǎng)絡(luò)協(xié)議等相關(guān)概念和技術(shù)。

FTP的主要缺點(diǎn)一是安全性較弱，一般依賴于操作系統(tǒng)層級(jí)的文件安全性；二是對(duì)于需要隨機(jī)存取數(shù)據(jù)文件內(nèi)任意指定部分的要求，無(wú)法響應(yīng)，不夠靈活。

3.關(guān)系型，數(shù)據(jù)庫(kù)數(shù)據(jù)共享

自然資源領(lǐng)域涉及到七大關(guān)鍵業(yè)務(wù)環(huán)節(jié)，與每個(gè)業(yè)務(wù)環(huán)節(jié)對(duì)應(yīng)的多個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)之間存在大量的數(shù)據(jù)共享交換要求。對(duì)于應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換來(lái)說(shuō)，可以采用共享數(shù)據(jù)庫(kù)作為數(shù)據(jù)交換介質(zhì)。

在兩個(gè)應(yīng)用系統(tǒng)間完全互信的情況下，可以直接讀取對(duì)方數(shù)據(jù)庫(kù)里的數(shù)據(jù)。通常情況下，每個(gè)應(yīng)用系統(tǒng)對(duì)于數(shù)據(jù)的保密性、安全性都有一定的要求，不允許隨便開(kāi)放給其他應(yīng)用系統(tǒng)直接存取。在這種情況下，可以通過(guò)建立第三方公共交換庫(kù)，通過(guò)該庫(kù)實(shí)現(xiàn)應(yīng)用系統(tǒng)間的數(shù)據(jù)共享交換。

相比文件傳輸方式（FTP）來(lái)說(shuō)，因?yàn)槭褂玫耐粋€(gè)共享數(shù)據(jù)庫(kù)，交互更加簡(jiǎn)單。而且，數(shù)據(jù)庫(kù)管理系統(tǒng)可以提供相當(dāng)多的數(shù)據(jù)操作，比如復(fù)雜的條件查詢、更新、回滾等，交互方式比較靈活。通過(guò)數(shù)據(jù)庫(kù)的事務(wù)機(jī)制，可以保證數(shù)據(jù)交換的可靠性。

4.異步，消息隊(duì)列通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載（ETL）

消息隊(duì)列是更加松耦合、靈活、可靠的應(yīng)用系統(tǒng)集成和數(shù)據(jù)交換共享技術(shù)。通過(guò)引入消息中間件，在所有應(yīng)用系統(tǒng)之間建立起可實(shí)現(xiàn)消息傳輸、路由、過(guò)濾、增強(qiáng)、錯(cuò)誤捕獲和處理的消息傳輸機(jī)制，由消息隊(duì)列來(lái)保證數(shù)據(jù)傳輸?shù)漠惒叫院头€(wěn)定性。消息隊(duì)列跟互聯(lián)網(wǎng)的連接結(jié)構(gòu)類似，所有數(shù)據(jù)都可以通過(guò)消息中間件，建立起一條可靠的消息傳輸鏈路，進(jìn)行應(yīng)用系統(tǒng)間的通信。

創(chuàng)新技術(shù)路線：

相較于消息隊(duì)列信息通訊以及數(shù)據(jù)抽取-轉(zhuǎn)換-加載（ETL），下秒數(shù)據(jù)Nexadata自成立開(kāi)始就一直堅(jiān)持研發(fā)創(chuàng)新道路，是國(guó)內(nèi)首家打造“ELT+A”智能數(shù)據(jù)管道的軟件廠商。

1.創(chuàng)新性的打造“ELT+A”更加擁有發(fā)展前景，以及更大程度上滿足企業(yè)的需求，幫助企業(yè)低成本快速整合異構(gòu)系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)自動(dòng)化流轉(zhuǎn)、互通共享。

2.通過(guò)無(wú)代碼的數(shù)據(jù)集成與數(shù)據(jù)建模技術(shù)，幫助企業(yè)將所有應(yīng)用程序、數(shù)據(jù)庫(kù)、事件和文件等數(shù)據(jù)信息提取到數(shù)據(jù)倉(cāng)庫(kù)中，并快速將分散的數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)集、API、自動(dòng)化流程等開(kāi)箱即用的數(shù)據(jù)服務(wù)。

審核編輯 黃昊宇