MySQL數(shù)據(jù)遷移的流程介紹

本文介紹了一次 MySQL 數(shù)據(jù)遷移的流程，通過方案選型、業(yè)務(wù)改造、雙寫遷移最終實現(xiàn)了億級數(shù)據(jù)的遷移。

一、背景

預(yù)約業(yè)務(wù)是 vivo 游戲中心的重要業(yè)務(wù)之一。由于歷史原因，預(yù)約業(yè)務(wù)數(shù)據(jù)表與其他業(yè)務(wù)數(shù)據(jù)表存儲在同一個數(shù)據(jù)庫中。當(dāng)其他業(yè)務(wù)出現(xiàn)慢 SQL 等異常情況時，可能會直接影響到預(yù)約業(yè)務(wù)，從而降低系統(tǒng)整體的可靠性和穩(wěn)定性。為了盡可能提高系統(tǒng)的穩(wěn)定性和數(shù)據(jù)隔離性，我們迫切需要將預(yù)約相關(guān)數(shù)據(jù)表從原來的數(shù)據(jù)庫中遷移出來，單獨建立一個預(yù)約業(yè)務(wù)的數(shù)據(jù)庫。

二、方案選型

常見的遷移方案大致可以分為以下幾類：

而預(yù)約業(yè)務(wù)有以下特點：

讀寫場景多，頻率高，在用戶預(yù)約/取消預(yù)約/福利發(fā)放等場景均涉及到大量的讀寫。

不可接受停機，停機不可避免的會造成經(jīng)濟損失，在有其他方案的情況下不適合選擇此方案。

大部分的場景能接受秒級的數(shù)據(jù)不一致，少部分不能。

結(jié)合這些特點，我們再評估下上面的方案：

停機遷移方案需要停機，不適用于預(yù)約場景。預(yù)約場景存在不活躍的用戶數(shù)據(jù)，如果用漸進式遷移方案的話很難遷移干凈，可能還需要再寫一個遷移任務(wù)來輔助完成遷移。而雙寫方案最大的優(yōu)勢在于每一步操作都可向上回滾，能盡可能的保證業(yè)務(wù)不出問題。

因此，最終選擇的是雙寫方案。預(yù)約業(yè)務(wù)涉及到的讀寫場景多，每一個場景單獨進行改造的成本大，采用 Mybatis 插件來實現(xiàn)遷移所需的雙寫等功能，可以有效降低改造成本。

三、前期準(zhǔn)備

3.1 全量同步&增量同步&一致性校驗

這幾步使用了公司提供的數(shù)據(jù)同步工具。全量同步基于 MySQLDump 實現(xiàn)；增量同步基于 binlog 實現(xiàn)；一致性校驗通過在新老庫各選一個分塊，然后聚合列數(shù)據(jù)計算并對比其特征值實現(xiàn)。

3.2 代碼改造

引入了新庫，那自然就需要在項目里新建數(shù)據(jù)源，并創(chuàng)建表對應(yīng)的 Mybatis Mapper 類。這里有一個小細(xì)節(jié)需要注意，Mybatis 默認(rèn)的 BeanNameGenerator 是

AnnotationBeanNameGenerator，它會使用類名作為 BeanName 注冊到 Spring 的 ioc 容器中，Spring 啟動時如果發(fā)現(xiàn)有了兩個重名 Bean 就會啟動失敗，筆者這里給 Mybatis 設(shè)置了一個新的 BeanNameGenerator ，使用類的全路徑名作為 BeanName 解決了問題。

public class FullPathBeanNameGenerator implements BeanNameGenerator {
  @Override
  public String generateBeanName(BeanDefinition definition, BeanDefinitionRegistry registry) {
    return definition.getBeanClassName();
  }
}

還有一點是主鍵 id，本次預(yù)約遷移需要保證新老庫主鍵 id 一致，預(yù)約業(yè)務(wù)沒做分庫分表，id 都是直接用 MySQL 的自增 id，沒有用 id 生成器之類的中間件。因此插入新表時只需要使用插入老表后 Mybatis 自動設(shè)置好的 id 即可，這次遷移前先檢查了一遍業(yè)務(wù)代碼，確保插入語句都用了 Mybatis 的 useGeneratedKeys 功能來自動設(shè)置 id。

3.3 插件實現(xiàn)

Mybatis 插件可以攔截 SQL 語句執(zhí)行過程中的某一點進行干預(yù)和處理，而 Executor 是 Mybatis 中負(fù)責(zé)執(zhí)行 SQL 語句的核心組件。我們可以對 Executor 的 update 和 query 方法進行代理以實現(xiàn)遷移所需的功能。

插件需要為讀寫場景分別實現(xiàn)以下功能：

考慮到開關(guān)切換部分的代碼邏輯較為簡單，因此在下文中，筆者將不再過多介紹該部分的具體實現(xiàn)，而是著重介紹如何在插件中使用老庫的執(zhí)行語句來訪問新的數(shù)據(jù)庫。此外，代碼里會涉及到 Mybatis 相關(guān)的一些概念，由于網(wǎng)上已經(jīng)有較多詳盡的資料，這里就不再贅述。

遷移插件代理了 Executor 的 query 和 update 方法，首先在插件里獲取到當(dāng)前執(zhí)行的 SQL 語句所在的 Mapper 路徑。

@Intercepts(
    {
        @Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}),
        @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}),
        @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class, CacheKey.class, BoundSql.class}),
    }
)
public class AppointMigrateInterceptor implements Interceptor {
 
  @Override
  public Object intercept(Invocation invocation) throws Throwable {
 
    Object[] args = invocation.getArgs();
    // Mybatis插件代理的Executor的update或者query方法，第一個參數(shù)就是MappedStatement
    MappedStatement ms = (MappedStatement) args[0];
    SqlCommandType sqlCommandType = ms.getSqlCommandType();
    String id = ms.getId();
    // 從MappedStatement id中獲取對應(yīng)的Mapper接口文件全路徑
    String sourceMapper = id.substring(0, id.lastIndexOf("."));
 
    // ...
  }
   
  // ...
}

得到老庫 Mapper 路徑后，將其轉(zhuǎn)換為新庫 Mapper 路徑，再使用 Class.forName 獲取到新庫 Mapper 類，然后用新庫的 sqlSessionFactory 開啟 sqlSession，再獲取反射調(diào)用所需的方法、對象、參數(shù)，在新庫上執(zhí)行語句。

protected Object invoke(Invocation invocation, TableConfiguration tableConfiguration) throws NoSuchMethodException, InvocationTargetException, IllegalAccessException {
  // 獲取 MappedStatement
  MappedStatement ms = (MappedStatement) invocation.getArgs()[0];
 
  // 獲取 Mybatis 封裝好的入?yún)?，封裝函數(shù) MapperMethod.convertArgsToSqlCommandParam(Object[] args)
  Object parameter = invocation.getArgs()[1];
 
  // 使用 Class.forName 獲取到的新庫 Mapper
  Class targetMapperClass = tableConfiguration.getTargetMapperClazz();
 
  // 使用新庫的 sqlSessionFactory 創(chuàng)建 sqlSession
  SqlSession sqlSession = sqlSessionFactory.openSession();
  Object result = null;
  try{
    // 使用新庫的 Mapper 路徑獲取對應(yīng)的 MapperProxy 對象
    Object mapper = sqlSession.getMapper(targetMapperClass);
 
    // 將 Mybatis 封裝好的參數(shù)轉(zhuǎn)換為原始參數(shù)
    Object[] paramValues = getParamValue(parameter);
 
    // 使用 mappedStatement Id 從新庫對應(yīng)的 Mapper 里獲取對應(yīng)的方法
    Method method = getMethod(ms.getId(), targetMapperClass, paramValues);
    paramValues = fixNullParam(method, paramValues);
 
    // 反射調(diào)用新庫 Mapper 的方法,本質(zhì)上執(zhí)行的是 MapperProxy.invoke
    result = method.invoke(mapper, paramValues);
  } finally {
    sqlSession.close();
  }
  return result;
}
 
private Object[] fixNullParam(Method method, Object[] paramValues) {
  if (method.getParameterTypes().length > 0 && paramValues.length == 0) {
    return new Object[]{null};
  }
  return paramValues;
}

（左右滑動查看更多）

上述代碼里，getMethod 方法負(fù)責(zé)從新庫 Mapper 類里找到對應(yīng)的方法，以用于后續(xù)的反射調(diào)用。

private Method getMethod(String id, Class mapperClass) throws NoSuchMethodException {
  //獲取參數(shù)對應(yīng)的 class
  String methodName = id.substring(id.lastIndexOf(".") + 1);
  String key = id;
  // methodCache 用來緩存 MappedStatement 和對應(yīng)的 Method，避免每次都從 Mapper 里查找
  Method method = methodCache.get(key);
  if (method == null){
    method = findMethodByMethodSignature(mapperClass, methodName);
    if (method == null){
      throw new NoSuchMethodException("No such method " + methodName + " in class " + mapperClass.getName());
    }
    methodCache.put(key,method);
  }
  return method;
}
 
private Method findMethodByMethodSignature(Class mapperClass,String methodName) throws NoSuchMethodException {
  // mybatis 的 Mapper 內(nèi)的方法不支持重載，所以這里只要方法名匹配到了就行，不用進行參數(shù)的匹配
  Method method = null;
  for (Method m : mapperClass.getMethods()) {
    if (m.getName().equals(methodName)) {
      method = m;
      break;
    }
  }
  return method;
}

得到方法后，還需要得到反射調(diào)用所需的參數(shù)。Mybatis 執(zhí)行到 Executor.update/query 方法時，參數(shù)已經(jīng)經(jīng)過 MapperMethod.convertArgsToSqlCommandParam(Object[] args) 方法封裝，不能直接用來執(zhí)行 MapperProxy.invoke ，需要轉(zhuǎn)換后才可用。下圖是MapperMethod.convertArgsToSqlCommandParam(Object[] args) 的封裝過程，而下面的 getParamValue 是這個函數(shù)的逆過程。

private Object[] getParamValue(Object parameter) {
  List