DBSyncer支持多種數(shù)據(jù)源和預(yù)警功能

設(shè)計(jì)

應(yīng)用場(chǎng)景

使用教程

預(yù)覽

DBSyncer是一款開源的數(shù)據(jù)同步中間件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步場(chǎng)景。

支持上傳插件自定義同步轉(zhuǎn)換業(yè)務(wù)，提供監(jiān)控全量和增量數(shù)據(jù)統(tǒng)計(jì)圖、應(yīng)用性能預(yù)警等。

特點(diǎn)

組合驅(qū)動(dòng) ，自定義庫(kù)同步到庫(kù)組合，關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型之間組合，任意搭配表同步映射關(guān)系

實(shí)時(shí)監(jiān)控 ，驅(qū)動(dòng)全量或增量實(shí)時(shí)同步運(yùn)行狀態(tài)、結(jié)果、同步日志和系統(tǒng)日志

開發(fā)插件 ，自定義轉(zhuǎn)化同步邏輯

設(shè)計(jì)

架構(gòu)圖

基于 Spring Boot + MyBatis Plus + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

項(xiàng)目地址：https://github.com/YunaiV/ruoyi-vue-pro

視頻教程：https://doc.iocoder.cn/video/

應(yīng)用場(chǎng)景

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

項(xiàng)目地址：https://github.com/YunaiV/yudao-cloud

視頻教程：https://doc.iocoder.cn/video/

使用教程

1.啟動(dòng) 代理 和 數(shù)據(jù)庫(kù) 服務(wù)

2.準(zhǔn)備測(cè)試賬號(hào)，test

3.分配sysadmin角色

4.分配指定數(shù)據(jù)庫(kù)權(quán)限

PostgreSQL

通過(guò)復(fù)制流技術(shù)監(jiān)聽增量事件，基于內(nèi)置插件pgoutput、test_decoding實(shí)現(xiàn)解析wal日志

1、修改postgresql.conf文件，重啟服務(wù)

wal_level=logical

2、授予賬號(hào)權(quán)限LOGIN和REPLICATION

File

監(jiān)聽文件修改時(shí)間得到變化文件，通過(guò)文件偏移量讀取最新數(shù)據(jù)

https://gitee.com/ghi/dbsyncer/issues/I55EP5

ES

定時(shí)獲取增量數(shù)據(jù)。

賬號(hào)具有訪問(wèn)權(quán)限。

日志

建議MySQL、SqlServer、PostgreSQL都使用日志

定時(shí)

假設(shè)源表數(shù)據(jù)格式

預(yù)覽

驅(qū)動(dòng)管理

驅(qū)動(dòng)詳情

驅(qū)動(dòng)表字段關(guān)系配置

監(jiān)控

上傳插件

開源地址