摘要:?NAS“日志分析”新功能,旨在幫助用戶更好地監(jiān)控文件系統(tǒng)資源。通過(guò)該功能,用戶可以方便地跟蹤系統(tǒng)性能問(wèn)題,記錄文件系統(tǒng)上的數(shù)據(jù)操作情況,審計(jì)文件刪除等相關(guān)操作,有效監(jiān)控各區(qū)域內(nèi)文件系統(tǒng)資源大盤和明細(xì)信息,實(shí)時(shí)報(bào)警等
NAS文件存儲(chǔ)是阿里云提供給用戶的云上高性能文件系統(tǒng)存儲(chǔ)服務(wù)。數(shù)據(jù)安全和性能是用戶對(duì)文件存儲(chǔ)服務(wù)最關(guān)注的兩大因素,經(jīng)常有用戶反映以下這些情況:
? ? -? 我想查看自己的文件存儲(chǔ)服務(wù)性能指標(biāo)(吞吐,iops等等)
? ? -? 我想了解自己的文件系統(tǒng)內(nèi)數(shù)據(jù)操作分布(讀、寫、新建、刪除)
? ? -? 我的文件系統(tǒng)內(nèi)某某文件怎么沒(méi)了?(文件誤刪除)
為了更好地服務(wù)用戶,讓用戶清晰地了解到自己的文件系統(tǒng)在云上的運(yùn)行狀況,我們新推出了“NAS日志分析”功能,旨在幫助用戶更好地管理文件系統(tǒng)資源。通過(guò)該功能,用戶可以方便地跟蹤系統(tǒng)性能問(wèn)題,記錄文件系統(tǒng)上的數(shù)據(jù)操作情況,審計(jì)文件刪除等相關(guān)操作,有效監(jiān)控各區(qū)域內(nèi)文件系統(tǒng)資源大盤和明細(xì)信息,實(shí)時(shí)報(bào)警等。
NAS日志分析功能是阿里云文件存儲(chǔ)(NAS)和日志服務(wù)(SLS)聯(lián)合研發(fā)出的一個(gè)內(nèi)建于NAS控制臺(tái)內(nèi)的日志分析功能,該日志分析服務(wù)能夠?qū)崟r(shí)寫入10M/s 的日志數(shù)據(jù),并實(shí)時(shí)分析每秒1000萬(wàn)行的日志記錄,計(jì)算處理延時(shí)在秒級(jí)別以內(nèi)。
1. 如何開通
目前NAS日志分析功能處于上線公測(cè)階段,需要用戶主動(dòng)申請(qǐng)開通服務(wù)。
具體步驟如下:
步驟一,申請(qǐng)開通
登錄阿里云官網(wǎng)NAS控制臺(tái),在控制臺(tái)首頁(yè)找到“NAS現(xiàn)已開通用戶級(jí)監(jiān)控”一欄,并點(diǎn)擊“申請(qǐng)”按鈕
步驟二,填寫申請(qǐng)信息
填寫具體的申請(qǐng)信息后,點(diǎn)擊提交
步驟三,等待審批通過(guò)
等待阿里云后臺(tái)運(yùn)營(yíng)人員審批通過(guò),在審批通過(guò)后,在NAS控制臺(tái)左側(cè)導(dǎo)航欄中將會(huì)顯示“日志分析”一欄
步驟四,進(jìn)行日志授權(quán)
“NAS日志分析”功能涉及到使用用戶自己的日志存儲(chǔ)(由日志服務(wù)SLS提供),需要用戶授權(quán)NAS服務(wù)將日志數(shù)據(jù)寫入日志存儲(chǔ)的相關(guān)權(quán)限。
用戶需要如下操作:
點(diǎn)擊“日志分析”->“日志管理”一欄,在右側(cè)主頁(yè)中點(diǎn)擊“授權(quán)入口”,授權(quán)阿里云NAS服務(wù)可以寫入您的日志存儲(chǔ)數(shù)據(jù)。
在跳轉(zhuǎn)的授權(quán)頁(yè)面中,點(diǎn)擊“同意授權(quán)”。
步驟五,創(chuàng)建相應(yīng)文件系統(tǒng)的日志轉(zhuǎn)儲(chǔ)
相關(guān)授權(quán)操作完成后,即可創(chuàng)建您相應(yīng)文件系統(tǒng)的日志轉(zhuǎn)儲(chǔ),將對(duì)應(yīng)文件系統(tǒng)的運(yùn)行日志導(dǎo)入您自己的日志存儲(chǔ)(Log Store)中,以進(jìn)行后續(xù)的日志分析工作。
至此,您已完成了NAS日志分析功能的完整配置。NAS日志數(shù)據(jù)已經(jīng)導(dǎo)入到您自己的日志存儲(chǔ)中,日志服務(wù)會(huì)在后臺(tái)為您的NAS日志數(shù)據(jù)進(jìn)行分析,隨后您即可看到相關(guān)的日志分析信息。
?
2. 使用指南
在用戶完成上述的服務(wù)開通和配置后,用戶即可瀏覽相關(guān)的日志分析數(shù)據(jù)。
2.1 日志管理
登錄阿里云官網(wǎng)NAS控制臺(tái),在左側(cè)導(dǎo)航欄中點(diǎn)擊“日志分析”->“日志管理”一欄,展示NAS日志分析功能的日志管理視圖
上圖右側(cè)列表中列出的2個(gè)文件系統(tǒng)表明已經(jīng)由用戶配置了日志分析功能,可以通過(guò)左側(cè)的分析視圖查詢這2個(gè)文件系統(tǒng)相關(guān)的日志分析數(shù)據(jù)。
在列表的右側(cè)有“操作”一欄,其中:
“點(diǎn)擊前往”鏈接去往該日志最終存儲(chǔ)的日志服務(wù)(SLS)控制臺(tái),在那里用戶可以進(jìn)行更細(xì)化的日志分析行為;
“停止”可以讓用戶手動(dòng)關(guān)停某個(gè)文件系統(tǒng)的日志分析服務(wù),該文件系統(tǒng)將從日志管理列表中移除,并停止日志數(shù)據(jù)的采集過(guò)程。
?
2.2 日志視圖
用戶在對(duì)已經(jīng)配置了日志分析服務(wù)的文件系統(tǒng)進(jìn)行一段時(shí)間的數(shù)據(jù)訪問(wèn)和操作后,系統(tǒng)會(huì)產(chǎn)生相關(guān)的訪問(wèn)日志,并采集相關(guān)日志數(shù)據(jù),將其轉(zhuǎn)儲(chǔ)到日志服務(wù)(SLS)的Log Store中,日志服務(wù)對(duì)采集到的日志數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,隨后,用戶就可以通過(guò)日志視圖查詢到相關(guān)的分析和統(tǒng)計(jì)數(shù)據(jù)。
如上圖左側(cè)紅框所示,目前提供了三個(gè)維度的文件系統(tǒng)日志分析視圖:
總覽視圖:總覽該區(qū)域內(nèi)各個(gè)文件系統(tǒng)的總體指標(biāo)、操作分布、客戶端分布等
明細(xì)視圖:詳細(xì)展示具體的讀寫數(shù)據(jù)流、操作趨勢(shì)、平均讀寫大小、異常狀態(tài)等
審計(jì)視圖:展示文件系統(tǒng)的創(chuàng)建、刪除、讀取、寫入的審計(jì)信息等
?
2.2.1 總覽視圖
總覽視圖展示相應(yīng)區(qū)域內(nèi)文件系統(tǒng)資源訪問(wèn)的整體情況,包括分析的文件系統(tǒng)個(gè)數(shù)、總的寫入流量和讀取流量、最近訪問(wèn)的客戶端個(gè)數(shù)、每個(gè)文件系統(tǒng)的客戶端分布情況、創(chuàng)建、刪除、讀寫數(shù)據(jù)的整體分布情況等。
2.2.2 明細(xì)視圖
明細(xì)視圖詳細(xì)展示具體文件系統(tǒng)的數(shù)據(jù)操作細(xì)節(jié)。
寫->讀數(shù)據(jù)流
展示了每個(gè)文件系統(tǒng)數(shù)據(jù)流入流出的情況,圖表左側(cè)表示客戶端向文件系統(tǒng)寫入數(shù)據(jù),右側(cè)表示客戶端從文件系統(tǒng)讀出數(shù)據(jù)。
最近訪問(wèn)的文件數(shù)量
展示了每個(gè)文件系統(tǒng)內(nèi)最近訪問(wèn)的文件數(shù)量
操作趨勢(shì)
展示了每個(gè)文件系統(tǒng)(NFS類型)在操作過(guò)程中單位時(shí)間內(nèi)NFS協(xié)議的交互次數(shù)。
寫/讀操作流量趨勢(shì)
展示了每個(gè)文件系統(tǒng)在讀寫數(shù)據(jù)時(shí)單位時(shí)間內(nèi)的數(shù)據(jù)流量統(tǒng)計(jì)
平均寫/讀操作大小
展示了每個(gè)文件系統(tǒng)在讀寫數(shù)據(jù)時(shí)單位時(shí)間內(nèi)平均單次IO的讀寫數(shù)據(jù)塊大小
讀寫客戶端Top
展示了客戶端對(duì)相關(guān)文件系統(tǒng)操作的分布和熱度
操作錯(cuò)誤Top客戶端
展示了客戶端在與文件系統(tǒng)的NFS協(xié)議交互中返回錯(cuò)誤狀態(tài)的分布情況,這個(gè)“錯(cuò)誤”不代表服務(wù)端異常,而是正常的協(xié)議交互錯(cuò)誤,比如:客戶端ls某個(gè)文件,而該文件不存在。
這個(gè)指標(biāo)可以在一定程度上反向指導(dǎo)上層業(yè)務(wù)是否發(fā)生異?;蛘叽嬖赽ug,比如,我們?cè)?jīng)遇到過(guò)一個(gè)客戶案例,其有一個(gè)后臺(tái)批處理應(yīng)用頻繁遍歷若干不存在的目錄,該指標(biāo)值會(huì)瞬間拉升,最終發(fā)現(xiàn)是由于批處理進(jìn)程存在一個(gè)遍歷目錄的bug,將路徑拼錯(cuò),導(dǎo)致業(yè)務(wù)暫停,造成了一定的損失。通過(guò)該指標(biāo),再結(jié)合相關(guān)報(bào)警,可以從數(shù)據(jù)源頭感知業(yè)務(wù)的變化,從而幫助業(yè)務(wù)系統(tǒng)快速發(fā)現(xiàn)問(wèn)題,解決問(wèn)題。
熱點(diǎn)操作分布
展示了每個(gè)文件系統(tǒng)常見操作的分布情況,這些常見操作包括創(chuàng)建目錄(mkdir)、讀目錄(ls,遍歷目錄下的文件)、寫(write)、讀(read)、刪除(rm)、重命名(rename)、以及其他。
熱門文件
展示了每個(gè)文件系統(tǒng)內(nèi)被訪問(wèn)頻次較高的文件的分布情況,目前僅分析到文件所在inode,并沒(méi)有給出文件在文件系統(tǒng)內(nèi)的全路徑,用戶可以使用debugfs等相關(guān)工具根據(jù)文件inode反查pathname
異常操作分布
展示了每個(gè)文件系統(tǒng)內(nèi)異常操作的分布情況,如鑒權(quán)失敗、網(wǎng)絡(luò)錯(cuò)誤、讀寫錯(cuò)誤等
操作狀態(tài)分布
展示了每個(gè)文件系統(tǒng)內(nèi)整體操作的分布情況
2.2.3 審計(jì)視圖
審計(jì)視圖展示各文件系統(tǒng)內(nèi)的敏感操作的審計(jì)信息和歷史記錄
創(chuàng)建操作數(shù)
展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的創(chuàng)建文件數(shù)量和分布
刪除文件數(shù)
展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的刪除文件數(shù)量和分布
讀取文件數(shù)
展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的讀取文件數(shù)量和分布
寫入文件數(shù)
展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的寫入文件數(shù)量和分布
文件操作趨勢(shì)圖
在時(shí)間軸上展示了區(qū)域內(nèi)所有文件系統(tǒng)的常見操作的分布和趨勢(shì),常見操作包括讀文件、寫文件、刪除文件、創(chuàng)建文件等。
最近被刪除文件列表
展示了該區(qū)域內(nèi)最近發(fā)生刪除操作的目錄的歷史列表,列表中包含了被刪除文件所在父目錄的inode、所在文件系統(tǒng)、執(zhí)行刪除操作的來(lái)源IP、掛載文件系統(tǒng)的NFS版本號(hào)、該目錄下最近刪除文件數(shù)目等信息
最近創(chuàng)建的文件
展示了該區(qū)域內(nèi)最近發(fā)生創(chuàng)建操作的目錄的歷史列表,列表中包含了被創(chuàng)建文件所在父目錄的inode、所在文件系統(tǒng)、執(zhí)行創(chuàng)建操作的來(lái)源IP、掛載文件系統(tǒng)的NFS版本號(hào)、該目錄下最近創(chuàng)建文件數(shù)目等信息
最近寫文件Top
展示了該區(qū)域內(nèi)最近發(fā)生寫操作的文件Top榜,列表中包含了寫操作所在文件系統(tǒng)、寫操作文件inode、統(tǒng)計(jì)時(shí)間內(nèi)的寫數(shù)據(jù)大小、執(zhí)行寫操作的客戶端數(shù)量、掛載文件系統(tǒng)的NFS版本號(hào)等信息
最近讀文件Top
展示了該區(qū)域內(nèi)最近發(fā)生讀操作的文件Top榜,列表中包含了讀操作所在文件系統(tǒng)、讀操作文件inode、統(tǒng)計(jì)時(shí)間內(nèi)的讀數(shù)據(jù)大小、執(zhí)行讀操作的客戶端數(shù)量、掛載文件系統(tǒng)的NFS版本號(hào)等信息
?
2.3 日志字段詳解
在用戶完成日志配置后,文件系統(tǒng)的訪問(wèn)日志將轉(zhuǎn)儲(chǔ)到日志服務(wù)(SLS)的Log Store中,通過(guò)“日志管理”列表中的操作欄“點(diǎn)擊前往”可以進(jìn)入SLS詳情頁(yè)查看具體的NAS日志數(shù)據(jù),其具體日志字段釋義如下:
字段值
字段含義
ArgIno
226
文件系統(tǒng)inode號(hào)
AuthRc
0
授權(quán)返回碼
NFSProtocolRc
0
NFS協(xié)議返回碼
OpList
nullNFSv4 Procedures編號(hào)
Proc1NFSv3 Procedures編號(hào)RWSize
-1
讀寫大小,單位字節(jié)
RequestId
5ACF5CD506EAC7A508F056DF請(qǐng)求ID
ResIno
nulllookup的資源inode號(hào)
SourceIp172.18.159.169客戶端IP
User***********用戶IDVers
3
NFS協(xié)議版本號(hào)
Vip
172.18.158.178
服務(wù)端IP
Volume
********文件系統(tǒng)IDmicrotime
1523539157201995請(qǐng)求發(fā)生時(shí)間,單位微秒
3. 注意事項(xiàng)
??-? 關(guān)于日志分析是否跨區(qū)域
? ? ? 不跨區(qū)域。
? ? ? NAS日志分析功能目前以區(qū)域(Region)劃分,如華北1、華北2、華東1、華東2,不同區(qū)域產(chǎn)生各自的日志分析視圖,同一個(gè)區(qū)域內(nèi)的多個(gè)文件系統(tǒng)的日志數(shù)據(jù)做聚合分析,目前暫不支持對(duì)跨區(qū)域的文件系統(tǒng)做聚合分析。
? -? 關(guān)于文件系統(tǒng)類型的支持
? ? ? 目前NAS日志分析功能僅支持NFS協(xié)議類型,后續(xù)會(huì)支持SMB等其他類型。
? -? 關(guān)于日志分析結(jié)果的延遲
? ? ? 正常情況下,NAS日志從被采集到轉(zhuǎn)儲(chǔ),到最終分析出結(jié)果,最大延遲在10s以內(nèi)。
? -? 關(guān)于收費(fèi)
? ? ??NAS日志分析功能,目前處于申請(qǐng)公測(cè)階段,在此期間,該功能不會(huì)產(chǎn)生任何費(fèi)用。在公測(cè)階段結(jié)束后,NAS可以免費(fèi)將日志數(shù)據(jù)開放給用戶,但日志存儲(chǔ)和日志分析需要使用日志服務(wù)(SLS)的相關(guān)功能,其計(jì)費(fèi)標(biāo)準(zhǔn)可以參考現(xiàn)行日志服務(wù)(SLS)的計(jì)費(fèi)說(shuō)明。
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
評(píng)論