SpringBoot+Mybatis如何實(shí)現(xiàn)流式查詢？

什么是mybatis流式查詢？

使用mybatis作為持久層的框架時，通過mybatis執(zhí)行查詢數(shù)據(jù)的請求執(zhí)行成功后，mybatis返回的結(jié)果集不是一個集合或?qū)ο?，而是一個迭代器，可以通過遍歷迭代器來取出結(jié)果集，避免一次性取出大量的數(shù)據(jù)而占用太多的內(nèi)存。

Cursor

org.apache.ibatis.cursor.Cursor接口有三個抽象方法，分別是

isOpen() ：判斷cursor是否正處于打開狀態(tài);

isConsumed() ：判斷查詢結(jié)果是否全部讀取完；

getCurrentIndex() ：查詢已讀取數(shù)據(jù)在全部數(shù)據(jù)里的索引位置；

publicinterfaceCursorextendsCloseable,Iterable{
//判斷cursor是否正處于打開狀態(tài)
//當(dāng)返回true，則表示cursor已經(jīng)開始從數(shù)據(jù)庫里刷新數(shù)據(jù)了；
booleanisOpen();
//判斷查詢結(jié)果是否全部讀取完；
//當(dāng)返回true,則表示查詢sql匹配的全部數(shù)據(jù)都消費(fèi)完了；
booleanisConsumed();
//查詢已讀取數(shù)據(jù)在全部數(shù)據(jù)里的索引位置；
//第一條數(shù)據(jù)的索引位置為0；當(dāng)返回索引位置為-1時，則表示已經(jīng)沒有數(shù)據(jù)可以讀??；
intgetCurrentIndex();
}

代碼實(shí)現(xiàn)

mybatis的所謂流式查詢，就是服務(wù)端程序查詢數(shù)據(jù)的過程中，與遠(yuǎn)程數(shù)據(jù)庫一直保持連接，不斷的去數(shù)據(jù)庫拉取數(shù)據(jù)，提交事務(wù)并關(guān)閉sqlsession后，數(shù)據(jù)庫連接斷開，停止數(shù)據(jù)拉取，需要注意的是使用這種方式，需要自己手動維護(hù)sqlsession和事務(wù)的提交。

1、實(shí)現(xiàn)方式很簡單，原來返回的類型是集合或?qū)ο螅魇讲樵兎祷氐牡念愋虲uror，泛型內(nèi)表示實(shí)際的類型，其他沒有變化；

@Mapper
publicinterfacePersonDao{
CursorselectByCursor();
IntegerqueryCount();

}

select*fromsys_personorderbyiddesc


selectcount(*)fromsys_person

2、dao層向service層返回的是Cursor類型對象，只要不提交關(guān)閉sqlsession，服務(wù)端程序就可以一直從數(shù)據(jù)數(shù)據(jù)庫讀取數(shù)據(jù)，直到查詢sql匹配到數(shù)據(jù)全部讀取完；

示例里的主要業(yè)務(wù)邏輯是：從sys_person表中讀取所有的人員信息數(shù)據(jù)，然后按照每1000條數(shù)據(jù)為一組，讀取到內(nèi)存里進(jìn)行處理，以此類推，直到查詢sql匹配到數(shù)據(jù)全部處理完，再提交事務(wù)，關(guān)閉sqlSession；

@Service
@Slf4j
publicclassPersonServiceImplimplementsIPersonService{
@Autowired
privateSqlSessionFactorysqlSessionFactory;

@Override
publicvoidgetOneByAsync()throwsInterruptedException{
newThread(newRunnable(){
@SneakyThrows
@Override
publicvoidrun(){
//使用sqlSessionFactory打開一個sqlSession，在沒有讀取完數(shù)據(jù)之前不要提交事務(wù)或關(guān)閉sqlSession
log.info("----開啟sqlSession");
SqlSessionsqlSession=sqlSessionFactory.openSession();
try{
//獲取到指定mapper
PersonDaomapper=sqlSession.getMapper(PersonDao.class);
//調(diào)用指定mapper的方法，返回一個cursor
Cursorcursor=mapper.selectByCursor();
//查詢數(shù)據(jù)總量
Integertotal=mapper.queryCount();
//定義一個list，用來從cursor中讀取數(shù)據(jù)，每讀取夠1000條的時候，開始處理這批數(shù)據(jù)；
//當(dāng)前批數(shù)據(jù)處理完之后，清空list，準(zhǔn)備接收下一批次數(shù)據(jù)；直到大量的數(shù)據(jù)全部處理完；
ListpersonList=newArrayList<>();
inti=0;
if(cursor!=null){
for(Personperson:cursor){
if(personList.size()

	

	應(yīng)用場景

	其實(shí)mybatis的流式查詢適用范圍很有限，這里舉個例子，假如有這樣一個需求 :有50萬員工的一年的工資數(shù)據(jù)明細(xì)，需要輸出一張公司支出工資的數(shù)據(jù)報(bào)表。

	需求很簡單，估計(jì)有人是這樣想：這太簡單了，查詢出員工的工資數(shù)據(jù)明細(xì)，然后按照套上公式逐條計(jì)算出結(jié)果，然后匯總計(jì)算結(jié)果，插入到新的結(jié)果表里不就行了。事實(shí)上這件事絕對不簡單：

	50萬的數(shù)據(jù)全部讀取到j(luò)vm的內(nèi)存里得占用多大空間？

	這么多對象的垃圾回收又需要多久？

	這么多數(shù)據(jù)計(jì)算是高頻行為還是低步行為？

	如果計(jì)算到某條員工的數(shù)據(jù)發(fā)生異常，已經(jīng)計(jì)算好的數(shù)據(jù)要不要全部回滾？...

	總之，直接取出50萬數(shù)據(jù)來計(jì)算，風(fēng)險(xiǎn)肯定不小。那怎么辦呢？

	在實(shí)際的開發(fā)中，也經(jīng)常遇到一些百十萬，說大不大，說小不小的數(shù)據(jù)報(bào)表處理，我的主要設(shè)計(jì)思路通常就是數(shù)據(jù)切隔+異步，具體怎么做呢？結(jié)合上面的例子，是這樣的：

	1、按照月份、省份或者部門，對工資明細(xì)數(shù)據(jù)進(jìn)行數(shù)據(jù)切隔分組；

	2、把不同月份、省份、部門的工資數(shù)據(jù)包裝成多線程任務(wù)，放到線程池中去執(zhí)行；

	3、根據(jù)切隔的多線程任務(wù)數(shù)量，定義一個同步工具類CountDownLatch；

	4、根據(jù)同步工具類CountDownLatch，來判斷所有的多線程任務(wù)是否全部執(zhí)行完；等到所有的多線程任務(wù)全部執(zhí)行完成后，再執(zhí)行匯總的邏輯；

	5、在多線程任務(wù)里，查詢具體月份、省份的員工工資數(shù)據(jù)明細(xì)的時候，如果數(shù)據(jù)量還是不少，就可以使用mybatis的流式查詢，分批獲取員工工資明細(xì)數(shù)據(jù)，進(jìn)行當(dāng)前批的計(jì)算、匯總，然后所有分批數(shù)據(jù)都計(jì)算完成后，再匯總所有分批數(shù)據(jù)；

	注意事項(xiàng)

	mybatis的流式查詢的本意，是避免大量數(shù)據(jù)的查詢而導(dǎo)致內(nèi)存溢出，因此dao層查詢返回的是一個迭代器（Cursor），可以每次從迭代器中取出一條查詢結(jié)果，在實(shí)際業(yè)務(wù)開發(fā)過程中，即是根據(jù)實(shí)際的jvm內(nèi)存大小，從迭代器中取出一定數(shù)量的數(shù)據(jù)后，再進(jìn)行數(shù)據(jù)處理，待處理完之后，繼續(xù)取出一定數(shù)據(jù)再處理，以此類推直到全部數(shù)據(jù)處理完，這樣做的最大好處就是能夠降低內(nèi)存使用和垃圾回收器的負(fù)擔(dān)，使數(shù)據(jù)處理的過程相對更加高效、可控，內(nèi)存溢出的風(fēng)險(xiǎn)較?。?/p>

	好處很明顯，缺點(diǎn)也很就明顯，處理的時間可能會變長，需要引入多線程異步操作，并且在迭代器遍歷和數(shù)據(jù)處理的過程中，數(shù)據(jù)庫連接不能斷開，即當(dāng)前sqlSession要保持持續(xù)打開狀態(tài)，一量斷開，數(shù)據(jù)讀取就會中斷，所以關(guān)于這塊的處理，使用mybatis原生的sqlSession進(jìn)行手動查詢、提交事務(wù)、回滾和關(guān)閉sqlSession最為穩(wěn)妥、最簡單。

	




	審核編輯：劉清