NineData：1小時遷移500GB的MySQL數(shù)據(jù)

在上篇「快、準、穩(wěn)的實現(xiàn)億級別MySQL大表遷移」的文章中，介紹了NineData在單張大表場景下的遷移性能和優(yōu)勢。但在大部分場景中，可能遇到的是多張表構(gòu)成的大數(shù)據(jù)量場景下的數(shù)據(jù)搬遷問題。因為搬遷數(shù)據(jù)量較大，遷移的時長、穩(wěn)定性及準確性都受到極大的挑戰(zhàn)，常見的遷移工具通常不能很好得支持。為此，NineData針對這種場景專門進行針對性的優(yōu)化，以提供高效、準確、穩(wěn)定的大數(shù)據(jù)量遷移能力。

1、傳統(tǒng)的遷移方案

目前，數(shù)據(jù)遷移主要分為邏輯遷移和物理遷移，邏輯遷移主要有mysqldump、mydumper ，物理遷移主要有XtraBackup。對于這類導(dǎo)入導(dǎo)出和拷貝文件的傳統(tǒng)遷移方案，在遷移中會存在一些問題：

要求業(yè)務(wù)停機，在遷移過程中，通過需要停止服務(wù)，保持靜態(tài)遷移數(shù)據(jù)，由于遷移數(shù)據(jù)量大，需要的遷移時間較長，這也意味著業(yè)務(wù)停機時間較長。

遷移時間久，對于mysqldump的邏輯遷移，單線程導(dǎo)出表，遷移時間長。

可靠性差，導(dǎo)出異常后，不支持斷點能力，在遷移過程中，如果遇到數(shù)據(jù)庫、軟件或硬件任何問題導(dǎo)致的任務(wù)中斷，都需要從頭遷移，遷移難度高。

保障能力弱，遷移期間，不能提供完善的觀測跟干預(yù)能力；同時，比較缺乏結(jié)構(gòu)及數(shù)據(jù)對比能力，缺乏質(zhì)量保障體系，可能影響遷移成功性。

2、高性能的遷移方案

NineData 提供的數(shù)據(jù)復(fù)制同時包含了數(shù)據(jù)遷移和數(shù)據(jù)同步的能力，在不影響業(yè)務(wù)的前提下，提供了高效、穩(wěn)定、可運維的大數(shù)據(jù)量遷移能力。經(jīng)實測，在源及目標(biāo)實例同城情況下，500GB的MySQL數(shù)據(jù)的遷移，只需1個小時，平均遷移速度142MB/s。

通過對 MySQL 大數(shù)據(jù)量遷移的性能測試，和傳統(tǒng)遷移比，NineData 數(shù)據(jù)遷移的優(yōu)勢有：

簡單易用：一分鐘即可完成任務(wù)配置，并全自動化完成任務(wù)遷移。

強勁性能：完善的智能分片、表級行級并發(fā)、動態(tài)攢批等核心技術(shù)，有效保證遷移性能。

高可靠：結(jié)合新型斷點、異常診斷及豐富的修復(fù)手段，對于遷移過程中可能出現(xiàn)軟硬件故障，提供完善的容災(zāi)能力，大大提高了大數(shù)據(jù)量遷移的成功率。

數(shù)據(jù)質(zhì)量保障：NineData 還提供了對比功能，包含數(shù)據(jù)和結(jié)構(gòu)的對比，以及全量、快速（抽樣）和不一致復(fù)檢的對比方式，并且也支持不同的對比頻率。在遷移或復(fù)制結(jié)束后，通過數(shù)據(jù)和結(jié)構(gòu)對比，能有效的保障數(shù)據(jù)的一致性。

NineData 在提供強大遷移能力的同時，也保證了使用的簡單性，只需要1分鐘就能完成遷移任務(wù)的配置，實現(xiàn)完全自動化的數(shù)據(jù)遷移過程。下面我們來看下整個任務(wù)的配置過程：

2.1 配置遷移鏈路

1. 配置任務(wù)名稱，選擇要遷移的源和目標(biāo)實例。

2. 選擇復(fù)制類型，數(shù)據(jù)遷移選擇結(jié)構(gòu)和全量復(fù)制（數(shù)據(jù)遷移）。

3. 根據(jù)需要，選擇合適的沖突處理策略。

2.2 選擇遷移對象

選擇遷移對象：針對不同粒度選擇遷移對象，也可以選擇部分遷移對象。

2.3 配置映射對象

配置映射和過濾規(guī)則：可自定義遷移的庫名、表名和按照不同的過濾條件進行多表的部分數(shù)據(jù)遷移，也可以針對表的列名進行映射和部分列遷移。

2.4 預(yù)檢查&啟動

通過豐富的檢查項，保證了遷移任務(wù)的穩(wěn)定性；通過開啟數(shù)據(jù)對比，保證了遷移后數(shù)據(jù)的一致性。到此，我們就完成了一個高性能遷移任務(wù)的配置。

同時，為了提供更好的遷移體驗，NineData針對遷移過程提供了完善的觀測、干預(yù)能力。其不但提供對象遷移的詳細狀態(tài)、進展、詳情，還通過監(jiān)控和日志透露后臺線程的內(nèi)部執(zhí)行情況，幫助用戶全方位追蹤遷移進展。同時，還針對運行過程中可能出現(xiàn)的異常情況，提供基礎(chǔ)診斷能力，及修復(fù)、跳過、移除等多種修復(fù)策略和遷移限流能力，讓用戶能夠自主快速得診斷并修復(fù)鏈路，保障遷移穩(wěn)定性。

3、總結(jié)

NineData 提供的高效、快速、穩(wěn)定的MySQL大數(shù)據(jù)量遷移能力，很好的補充了傳統(tǒng)遷移方案的不足。當(dāng)前，NineData 已經(jīng)支持數(shù)十種常見數(shù)據(jù)庫的遷移復(fù)制，同時，除了SAAS模式外，還提供了企業(yè)專屬集群模式，滿足企業(yè)最高的數(shù)據(jù)安全合規(guī)要求。目前，NineData已在運營商、金融、制造業(yè)、地產(chǎn)、電商等多個行業(yè)完成大規(guī)模應(yīng)用實踐。如果您感興趣的話，可以登錄官網(wǎng)：數(shù)據(jù)遷移-遷移工具-數(shù)據(jù)傳輸-NineData-玖章算術(shù)，立即開始使用。

審核編輯 黃宇