0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分析解決MySQL數(shù)據(jù)庫的數(shù)據(jù)延遲跳動

如意 ? 來源:楊建榮的學(xué)習(xí)筆記微信公 ? 作者:楊建榮 ? 2020-08-20 14:18 ? 次閱讀

今天分析了另外一個關(guān)于數(shù)據(jù)庫延遲跳動的問題,也算是比較典型,這個過程中也有一些分析問題的方法和技巧工參考。

首先在高可用檢測中,有一套環(huán)境的檢測時斷時續(xù),經(jīng)過排查發(fā)現(xiàn)是數(shù)據(jù)庫產(chǎn)生了延遲,在登錄到從庫show slave status查看,會發(fā)現(xiàn)Seconds_behind_master的值是不斷跳動的,即從0~39~0~39這樣的頻率不斷跳動,讓人很搓火。

查看數(shù)據(jù)庫的相關(guān)日志發(fā)現(xiàn)竟然沒有任何可以參考的日志記錄,怎么分析這個問題呢,我們先來復(fù)現(xiàn),于是我按照節(jié)奏抓取了3次問題出現(xiàn)的日志,即通過show slave status連續(xù)監(jiān)測,抓取show slave status輸出的結(jié)果保存下來,這樣我們就得到了一個問題發(fā)生過程中的偏移量變化,而這個變化則是在SQLThread在回放過程中產(chǎn)生的問題。

比如下面的一段輸出,我截取的是Slave端的relay log進行分析,相應(yīng)的字段為Relay_Log_Pos

分析解決MySQL數(shù)據(jù)庫的數(shù)據(jù)延遲跳動

所以很快得到了偏移量的變化情況:385983806 ,386062813 ,386125580

接著我使用mysqlbinlog開始分析這些日志過程中的明細,根據(jù)如下的命令可以很快得到轉(zhuǎn)儲的日志中相關(guān)的表有3張。

分析解決MySQL數(shù)據(jù)庫的數(shù)據(jù)延遲跳動

我逐步分析了每張表的數(shù)據(jù)操作情況,得到的信息還是比較有限,繼續(xù)做更進一步的分析,比如我們分析一下整個日志中的事務(wù)量大?。?/p>

分析解決MySQL數(shù)據(jù)庫的數(shù)據(jù)延遲跳動

可以看到是5K左右,算是比較大了,而這些額外的信息從哪里獲得呢,我在主庫開啟了general_log,這樣就能夠得到更細粒度的操作日志了。

進一步分析發(fā)現(xiàn),整個業(yè)務(wù)使用了顯示事務(wù)的方式:SET autocommit=0,整個事務(wù)中包含了幾個大SQL,里面存儲了很多操作日志明細,而且在事務(wù)操作過程中還基于Mybatis框架調(diào)用了多次select count(1) from xxx的操作。

經(jīng)過和業(yè)務(wù)溝通也基本明確了以上問題。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3842

    瀏覽量

    64547
  • 延遲
    +關(guān)注

    關(guān)注

    1

    文章

    70

    瀏覽量

    13546
  • MySQL
    +關(guān)注

    關(guān)注

    1

    文章

    823

    瀏覽量

    26653
收藏 人收藏

    評論

    相關(guān)推薦

    適用于MySQL和MariaDB的Python連接器:可靠的MySQL數(shù)據(jù)連接器和數(shù)據(jù)庫

    和 Linux 的 wheel 包分發(fā)。 直接連接 該解決方案使您能夠通過 TCP/IP 建立與 MySQL 或者 MariaDB 數(shù)據(jù)庫服務(wù)器的直接連接,而無需數(shù)據(jù)庫客戶端。另外
    的頭像 發(fā)表于 01-17 12:18 ?46次閱讀
    適用于<b class='flag-5'>MySQL</b>和MariaDB的Python連接器:可靠的<b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)</b>連接器和<b class='flag-5'>數(shù)據(jù)庫</b>

    MySQL數(shù)據(jù)庫的安裝

    MySQL數(shù)據(jù)庫的安裝 【一】各種數(shù)據(jù)庫的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】
    的頭像 發(fā)表于 01-14 11:25 ?92次閱讀
    <b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)庫</b>的安裝

    構(gòu)建數(shù)據(jù)庫解決方案,基于華為云 Flexus X 實例容器化 MySQL 主從同步架構(gòu)

    前言**** 華為云 Flexus X 實例,融合柔性算力與智能調(diào)度,為數(shù)據(jù)庫解決方案帶來全新突破。采用容器化 MySQL 主從同步架構(gòu),實現(xiàn)數(shù)據(jù)高效備份與讀寫分離,保障業(yè)務(wù)連續(xù)性與數(shù)據(jù)
    的頭像 發(fā)表于 01-07 17:22 ?153次閱讀
    構(gòu)建<b class='flag-5'>數(shù)據(jù)庫</b>解決方案,基于華為云 Flexus X 實例容器化 <b class='flag-5'>MySQL</b> 主從同步架構(gòu)

    數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?

    數(shù)據(jù)庫是一種部署在虛擬計算環(huán)境中的數(shù)據(jù)庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫主要分為兩大類:關(guān)系型數(shù)據(jù)庫
    的頭像 發(fā)表于 01-07 10:22 ?105次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復(fù)流程

    Mysql數(shù)據(jù)庫故障: Mysql數(shù)據(jù)庫表記錄丟失。 Mysql數(shù)據(jù)庫故障表現(xiàn): 1、
    的頭像 發(fā)表于 12-16 11:05 ?191次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—<b class='flag-5'>Mysql</b><b class='flag-5'>數(shù)據(jù)庫</b>表記錄丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)流程

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—MYSQL數(shù)據(jù)庫ibdata1文件損壞的數(shù)據(jù)恢復(fù)案例

    mysql數(shù)據(jù)庫故障: mysql數(shù)據(jù)庫文件ibdata1、MYI、MYD損壞。 故障表現(xiàn):1、數(shù)據(jù)庫無法進行查詢等操作;2、使用my
    的頭像 發(fā)表于 12-09 11:05 ?192次閱讀

    香港云服務(wù)器怎么部署MySQL數(shù)據(jù)庫?

    在香港云服務(wù)器上部署MySQL數(shù)據(jù)庫的步驟如下: 步驟 1: 更新軟件包列表 首先,確保軟件包列表是最新的。在終端中執(zhí)行以下命令: sudo apt update 步驟 2: 安裝 MySQL
    的頭像 發(fā)表于 11-14 16:15 ?204次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—通過拼接數(shù)據(jù)庫碎片恢復(fù)SQLserver數(shù)據(jù)庫

    一個運行在存儲上的SQLServer數(shù)據(jù)庫,有1000多個文件,大小幾十TB。數(shù)據(jù)庫每10天生成一個NDF文件,每個NDF幾百GB大小。數(shù)據(jù)庫包含兩個LDF文件。 存儲損壞,數(shù)據(jù)庫
    的頭像 發(fā)表于 10-31 13:21 ?289次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—通過拼接<b class='flag-5'>數(shù)據(jù)庫</b>碎片恢復(fù)SQLserver<b class='flag-5'>數(shù)據(jù)庫</b>

    恒訊科技分析:云數(shù)據(jù)庫mysql有何優(yōu)缺點?

    的基礎(chǔ)。下面,小編就詳細給大家分析下云數(shù)據(jù)庫mysql有何優(yōu)缺點?一、云數(shù)據(jù)庫mysql的優(yōu)點:1、總成本采用云
    的頭像 發(fā)表于 10-23 15:08 ?175次閱讀
    恒訊科技<b class='flag-5'>分析</b>:云<b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>mysql</b>有何優(yōu)缺點?

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫出現(xiàn)823錯誤的數(shù)據(jù)恢復(fù)案例

    SQL Server數(shù)據(jù)庫故障: SQL Server附加數(shù)據(jù)庫出現(xiàn)錯誤823,附加數(shù)據(jù)庫失敗。數(shù)據(jù)庫沒有備份,無法通過備份恢復(fù)數(shù)據(jù)庫。
    的頭像 發(fā)表于 09-20 11:46 ?382次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—SQL Server<b class='flag-5'>數(shù)據(jù)庫</b>出現(xiàn)823錯誤的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例

    華納云:MySQL初始化操作如何創(chuàng)建新的數(shù)據(jù)庫

    要在MySQL中創(chuàng)建一個新的數(shù)據(jù)庫,可以按照以下步驟進行操作: 登錄到MySQL數(shù)據(jù)庫管理系統(tǒng)中??梢允褂?b class='flag-5'>MySQL命令行客戶端或者圖形化工
    的頭像 發(fā)表于 09-04 14:30 ?290次閱讀

    恒訊科技分析:跨境電商網(wǎng)站有哪些數(shù)據(jù)庫系統(tǒng)是推薦使用的?

    對于跨境電商網(wǎng)站,數(shù)據(jù)庫系統(tǒng)的選擇非常關(guān)鍵,以下是一些推薦使用的數(shù)據(jù)庫系統(tǒng): 1、MySQLMySQL是一個流行的開源關(guān)系型數(shù)據(jù)庫管理系統(tǒng)
    的頭像 發(fā)表于 08-12 15:01 ?408次閱讀

    恒訊科技分析:sql數(shù)據(jù)庫怎么用?

    SQL數(shù)據(jù)庫的使用通常包括以下幾個基本步驟: 1、選擇數(shù)據(jù)庫系統(tǒng): 選擇適合您需求的SQL數(shù)據(jù)庫系統(tǒng),如MySQL、PostgreSQL、Microsoft SQL Server、SQ
    的頭像 發(fā)表于 07-15 14:40 ?388次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—raid5陣列上層Sql Server數(shù)據(jù)庫數(shù)據(jù)恢復(fù)案例

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)環(huán)境: 5塊硬盤組建一組RAID5陣列,劃分LUN供windows系統(tǒng)服務(wù)器使用。windows系統(tǒng)服務(wù)器內(nèi)運行了Sql Server數(shù)據(jù)庫,存儲空間在操作系統(tǒng)層面劃分了三個邏輯分區(qū)
    的頭像 發(fā)表于 05-08 11:43 ?536次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—raid5陣列上層Sql Server<b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)】Oracle數(shù)據(jù)庫ASM實例無法掛載的數(shù)據(jù)恢復(fù)案例

    oracle數(shù)據(jù)庫ASM磁盤組掉線,ASM實例不能掛載。數(shù)據(jù)庫管理員嘗試修復(fù)數(shù)據(jù)庫,但是沒有成功。
    的頭像 發(fā)表于 02-01 17:39 ?549次閱讀
    【<b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)】Oracle<b class='flag-5'>數(shù)據(jù)庫</b>ASM實例無法掛載的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例