MySQL數(shù)據(jù)遷移的流程介紹

本文介紹了一次 MySQL 數(shù)據(jù)遷移的流程，通過方案選型、業(yè)務(wù)改造、雙寫遷移最終實(shí)現(xiàn)了億級(jí)數(shù)據(jù)的遷移。

一、背景

預(yù)約業(yè)務(wù)是 vivo 游戲中心的重要業(yè)務(wù)之一。由于歷史原因，預(yù)約業(yè)務(wù)數(shù)據(jù)表與其他業(yè)務(wù)數(shù)據(jù)表存儲(chǔ)在同一個(gè)數(shù)據(jù)庫中。當(dāng)其他業(yè)務(wù)出現(xiàn)慢 SQL 等異常情況時(shí)，可能會(huì)直接影響到預(yù)約業(yè)務(wù)，從而降低系統(tǒng)整體的可靠性和穩(wěn)定性。為了盡可能提高系統(tǒng)的穩(wěn)定性和數(shù)據(jù)隔離性，我們迫切需要將預(yù)約相關(guān)數(shù)據(jù)表從原來的數(shù)據(jù)庫中遷移出來，單獨(dú)建立一個(gè)預(yù)約業(yè)務(wù)的數(shù)據(jù)庫。

二、方案選型

常見的遷移方案大致可以分為以下幾類：

而預(yù)約業(yè)務(wù)有以下特點(diǎn)：

讀寫場(chǎng)景多，頻率高，在用戶預(yù)約/取消預(yù)約/福利發(fā)放等場(chǎng)景均涉及到大量的讀寫。

不可接受停機(jī)，停機(jī)不可避免的會(huì)造成經(jīng)濟(jì)損失，在有其他方案的情況下不適合選擇此方案。

大部分的場(chǎng)景能接受秒級(jí)的數(shù)據(jù)不一致，少部分不能。

結(jié)合這些特點(diǎn)，我們?cè)僭u(píng)估下上面的方案：

停機(jī)遷移方案需要停機(jī)，不適用于預(yù)約場(chǎng)景。預(yù)約場(chǎng)景存在不活躍的用戶數(shù)據(jù)，如果用漸進(jìn)式遷移方案的話很難遷移干凈，可能還需要再寫一個(gè)遷移任務(wù)來輔助完成遷移。而雙寫方案最大的優(yōu)勢(shì)在于每一步操作都可向上回滾，能盡可能的保證業(yè)務(wù)不出問題。

因此，最終選擇的是雙寫方案。預(yù)約業(yè)務(wù)涉及到的讀寫場(chǎng)景多，每一個(gè)場(chǎng)景單獨(dú)進(jìn)行改造的成本大，采用 Mybatis 插件來實(shí)現(xiàn)遷移所需的雙寫等功能，可以有效降低改造成本。

三、前期準(zhǔn)備

3.1 全量同步&增量同步&一致性校驗(yàn)

這幾步使用了公司提供的數(shù)據(jù)同步工具。全量同步基于 MySQLDump 實(shí)現(xiàn)；增量同步基于 binlog 實(shí)現(xiàn)；一致性校驗(yàn)通過在新老庫各選一個(gè)分塊，然后聚合列數(shù)據(jù)計(jì)算并對(duì)比其特征值實(shí)現(xiàn)。

3.2 代碼改造

引入了新庫，那自然就需要在項(xiàng)目里新建數(shù)據(jù)源，并創(chuàng)建表對(duì)應(yīng)的 Mybatis Mapper 類。這里有一個(gè)小細(xì)節(jié)需要注意，Mybatis 默認(rèn)的 BeanNameGenerator 是

AnnotationBeanNameGenerator，它會(huì)使用類名作為 BeanName 注冊(cè)到 Spring 的 ioc 容器中，Spring 啟動(dòng)時(shí)如果發(fā)現(xiàn)有了兩個(gè)重名 Bean 就會(huì)啟動(dòng)失敗，筆者這里給 Mybatis 設(shè)置了一個(gè)新的 BeanNameGenerator ，使用類的全路徑名作為 BeanName 解決了問題。

public class FullPathBeanNameGenerator implements BeanNameGenerator {
  @Override
  public String generateBeanName(BeanDefinition definition, BeanDefinitionRegistry registry) {
    return definition.getBeanClassName();
  }
}

還有一點(diǎn)是主鍵 id，本次預(yù)約遷移需要保證新老庫主鍵 id 一致，預(yù)約業(yè)務(wù)沒做分庫分表，id 都是直接用 MySQL 的自增 id，沒有用 id 生成器之類的中間件。因此插入新表時(shí)只需要使用插入老表后 Mybatis 自動(dòng)設(shè)置好的 id 即可，這次遷移前先檢查了一遍業(yè)務(wù)代碼，確保插入語句都用了 Mybatis 的 useGeneratedKeys 功能來自動(dòng)設(shè)置 id。

3.3 插件實(shí)現(xiàn)

Mybatis 插件可以攔截 SQL 語句執(zhí)行過程中的某一點(diǎn)進(jìn)行干預(yù)和處理，而 Executor 是 Mybatis 中負(fù)責(zé)執(zhí)行 SQL 語句的核心組件。我們可以對(duì) Executor 的 update 和 query 方法進(jìn)行代理以實(shí)現(xiàn)遷移所需的功能。

插件需要為讀寫場(chǎng)景分別實(shí)現(xiàn)以下功能：

考慮到開關(guān)切換部分的代碼邏輯較為簡(jiǎn)單，因此在下文中，筆者將不再過多介紹該部分的具體實(shí)現(xiàn)，而是著重介紹如何在插件中使用老庫的執(zhí)行語句來訪問新的數(shù)據(jù)庫。此外，代碼里會(huì)涉及到 Mybatis 相關(guān)的一些概念，由于網(wǎng)上已經(jīng)有較多詳盡的資料，這里就不再贅述。

遷移插件代理了 Executor 的 query 和 update 方法，首先在插件里獲取到當(dāng)前執(zhí)行的 SQL 語句所在的 Mapper 路徑。

@Intercepts(
    {
        @Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}),
        @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}),
        @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class, CacheKey.class, BoundSql.class}),
    }
)
public class AppointMigrateInterceptor implements Interceptor {
 
  @Override
  public Object intercept(Invocation invocation) throws Throwable {
 
    Object[] args = invocation.getArgs();
    // Mybatis插件代理的Executor的update或者query方法，第一個(gè)參數(shù)就是MappedStatement
    MappedStatement ms = (MappedStatement) args[0];
    SqlCommandType sqlCommandType = ms.getSqlCommandType();
    String id = ms.getId();
    // 從MappedStatement id中獲取對(duì)應(yīng)的Mapper接口文件全路徑
    String sourceMapper = id.substring(0, id.lastIndexOf("."));
 
    // ...
  }
   
  // ...
}

得到老庫 Mapper 路徑后，將其轉(zhuǎn)換為新庫 Mapper 路徑，再使用 Class.forName 獲取到新庫 Mapper 類，然后用新庫的 sqlSessionFactory 開啟 sqlSession，再獲取反射調(diào)用所需的方法、對(duì)象、參數(shù)，在新庫上執(zhí)行語句。

protected Object invoke(Invocation invocation, TableConfiguration tableConfiguration) throws NoSuchMethodException, InvocationTargetException, IllegalAccessException {
  // 獲取 MappedStatement
  MappedStatement ms = (MappedStatement) invocation.getArgs()[0];
 
  // 獲取 Mybatis 封裝好的入?yún)?，封裝函數(shù) MapperMethod.convertArgsToSqlCommandParam(Object[] args)
  Object parameter = invocation.getArgs()[1];
 
  // 使用 Class.forName 獲取到的新庫 Mapper
  Class targetMapperClass = tableConfiguration.getTargetMapperClazz();
 
  // 使用新庫的 sqlSessionFactory 創(chuàng)建 sqlSession
  SqlSession sqlSession = sqlSessionFactory.openSession();
  Object result = null;
  try{
    // 使用新庫的 Mapper 路徑獲取對(duì)應(yīng)的 MapperProxy 對(duì)象
    Object mapper = sqlSession.getMapper(targetMapperClass);
 
    // 將 Mybatis 封裝好的參數(shù)轉(zhuǎn)換為原始參數(shù)
    Object[] paramValues = getParamValue(parameter);
 
    // 使用 mappedStatement Id 從新庫對(duì)應(yīng)的 Mapper 里獲取對(duì)應(yīng)的方法
    Method method = getMethod(ms.getId(), targetMapperClass, paramValues);
    paramValues = fixNullParam(method, paramValues);
 
    // 反射調(diào)用新庫 Mapper 的方法,本質(zhì)上執(zhí)行的是 MapperProxy.invoke
    result = method.invoke(mapper, paramValues);
  } finally {
    sqlSession.close();
  }
  return result;
}
 
private Object[] fixNullParam(Method method, Object[] paramValues) {
  if (method.getParameterTypes().length > 0 && paramValues.length == 0) {
    return new Object[]{null};
  }
  return paramValues;
}

（左右滑動(dòng)查看更多）

上述代碼里，getMethod 方法負(fù)責(zé)從新庫 Mapper 類里找到對(duì)應(yīng)的方法，以用于后續(xù)的反射調(diào)用。

private Method getMethod(String id, Class mapperClass) throws NoSuchMethodException {
  //獲取參數(shù)對(duì)應(yīng)的 class
  String methodName = id.substring(id.lastIndexOf(".") + 1);
  String key = id;
  // methodCache 用來緩存 MappedStatement 和對(duì)應(yīng)的 Method，避免每次都從 Mapper 里查找
  Method method = methodCache.get(key);
  if (method == null){
    method = findMethodByMethodSignature(mapperClass, methodName);
    if (method == null){
      throw new NoSuchMethodException("No such method " + methodName + " in class " + mapperClass.getName());
    }
    methodCache.put(key,method);
  }
  return method;
}
 
private Method findMethodByMethodSignature(Class mapperClass,String methodName) throws NoSuchMethodException {
  // mybatis 的 Mapper 內(nèi)的方法不支持重載，所以這里只要方法名匹配到了就行，不用進(jìn)行參數(shù)的匹配
  Method method = null;
  for (Method m : mapperClass.getMethods()) {
    if (m.getName().equals(methodName)) {
      method = m;
      break;
    }
  }
  return method;
}

得到方法后，還需要得到反射調(diào)用所需的參數(shù)。Mybatis 執(zhí)行到 Executor.update/query 方法時(shí)，參數(shù)已經(jīng)經(jīng)過 MapperMethod.convertArgsToSqlCommandParam(Object[] args) 方法封裝，不能直接用來執(zhí)行 MapperProxy.invoke ，需要轉(zhuǎn)換后才可用。下圖是MapperMethod.convertArgsToSqlCommandParam(Object[] args) 的封裝過程，而下面的 getParamValue 是這個(gè)函數(shù)的逆過程。

private Object[] getParamValue(Object parameter) {
  List