網(wǎng)絡(luò)系統(tǒng)告警管理功能 - 基于網(wǎng)絡(luò)系統(tǒng)可靠性的設(shè)計(jì)

　　網(wǎng)絡(luò)系統(tǒng)必須具備系統(tǒng)風(fēng)險(xiǎn)預(yù)警功能和便利的故障定位維護(hù)功能。

　　網(wǎng)管系統(tǒng)對網(wǎng)絡(luò)的實(shí)時(shí)監(jiān)控，預(yù)先告警功能主要包括網(wǎng)絡(luò)節(jié)點(diǎn)CPU、內(nèi)存、端口流量、端口狀態(tài)等參數(shù)的監(jiān)控告警。當(dāng)占用率或者端口流量持續(xù)超過閾值，即可觸發(fā)告警，使管理員提前預(yù)知風(fēng)險(xiǎn)，進(jìn)行分析維護(hù)。

　　系統(tǒng)故障定位手段為事后維護(hù)。一旦網(wǎng)絡(luò)系統(tǒng)產(chǎn)生故障點(diǎn)，網(wǎng)絡(luò)管理系統(tǒng)需記錄網(wǎng)絡(luò)切換事件，方便快速幫助管理員找到故障點(diǎn)，并保存故障信息和系統(tǒng)狀態(tài)，便于后期缺陷復(fù)現(xiàn)定位。

　　維護(hù)類測試以功能測試為主，通過打入攻擊CPU的流量、制造流量擁塞等方法構(gòu)造各類預(yù)警條件，通過shutdown或者重啟設(shè)備等命令行，插拔端口、關(guān)閉電源等手段檢驗(yàn)網(wǎng)絡(luò)系統(tǒng)對故障點(diǎn)的定位和告警信息是否完備。若設(shè)備支持可維護(hù)性測試特性，還可通過設(shè)備軟件的可維護(hù)性測試命令，構(gòu)造設(shè)備節(jié)點(diǎn)系統(tǒng)軟硬件故障，查看系統(tǒng)保存的故障狀態(tài)信息是否完備，以復(fù)現(xiàn)定位缺陷。

　　測試時(shí)，同樣需在大壓力復(fù)雜條件下執(zhí)行，以檢測告警、故障信息是否得到高優(yōu)先級處理。

　　3 單點(diǎn)故障情況下系統(tǒng)自動恢復(fù)時(shí)間

　　網(wǎng)絡(luò)系統(tǒng)在出現(xiàn)單點(diǎn)故障情況下可快速恢復(fù)是高可靠網(wǎng)絡(luò)設(shè)計(jì)的重點(diǎn)?；謴?fù)時(shí)間的要求在各類行業(yè)和各網(wǎng)絡(luò)層有差異。目前，網(wǎng)絡(luò)系統(tǒng)平均恢復(fù)時(shí)間低于500ms已經(jīng)逐步成為主流要求。

　　與網(wǎng)絡(luò)切換相關(guān)的各種組網(wǎng)模型故障模擬主要包括：鏈路故障、節(jié)點(diǎn)設(shè)備故障、單板故障、節(jié)點(diǎn)設(shè)備主備倒換、主備設(shè)備倒換、設(shè)備升級等。各類故障還需進(jìn)一步細(xì)分，例如節(jié)點(diǎn)設(shè)備故障包含：設(shè)備命令行執(zhí)行軟件重啟，設(shè)備斷電、設(shè)備上電、主備控板全部拔出/插入等等。

　　為精確計(jì)算各類故障導(dǎo)致的網(wǎng)絡(luò)中斷/恢復(fù)時(shí)間，組網(wǎng)如圖1所示，測試方法如下：

?

　　圖1 網(wǎng)絡(luò)系統(tǒng)恢復(fù)時(shí)間測試示意

　　1、基于網(wǎng)絡(luò)測試環(huán)境，接入測試儀器，將流量發(fā)生器端到端接入網(wǎng)絡(luò)系統(tǒng)。儀器端口分別連接網(wǎng)絡(luò)系統(tǒng)的接入層和出口，以保證被測流量路徑貫通整個(gè)網(wǎng)絡(luò)。

　　2、在測試儀器的Port A端口設(shè)定速率穩(wěn)定的流量，目的地址為Port B端口。在Port B端口設(shè)定速率穩(wěn)定的流量，目的地址為Port A端口。由于上下行路徑遷移時(shí)，上下行的路由等各類協(xié)議的熱備表項(xiàng)不同，涉及的協(xié)議收斂也可能不同，所以務(wù)必設(shè)定雙向流量，以檢測上行和下行流量路徑的恢復(fù)時(shí)間。

　　3、確保設(shè)定的上下行流量路徑通過需要模擬的故障點(diǎn)節(jié)點(diǎn)，避免測試無效。

　　4、啟動流量發(fā)送與接收，開始統(tǒng)計(jì)發(fā)送的流量和接收的流量。

　　5、模擬節(jié)點(diǎn)故障，網(wǎng)絡(luò)系統(tǒng)自動檢測并恢復(fù)。

　　6、停止發(fā)送流量。根據(jù)發(fā)送和接收的流量，計(jì)算得出系統(tǒng)流量路徑恢復(fù)時(shí)間。

　　公式為：Time=(發(fā)送報(bào)文數(shù)量-接收報(bào)文數(shù)量)/報(bào)文發(fā)送速率(pps)。

　　注意：報(bào)文發(fā)送速率以M/G為單位時(shí)，計(jì)算需考慮以太網(wǎng)報(bào)文的前導(dǎo)碼和幀間隙，公式為：Time=(發(fā)送報(bào)文數(shù)量-接收報(bào)文數(shù)量)*( 報(bào)文字節(jié)*8+8*8+96)/報(bào)文發(fā)送速率(M/G)。通過計(jì)算得出上下行流量路徑的恢復(fù)時(shí)間。

　　測試時(shí)還需注意以下細(xì)節(jié)：

　　1、故障模擬操作方式要考慮全面。例如用命令行shutdown端口和拔掉網(wǎng)線操作導(dǎo)致的測試結(jié)果往往會不同;光纖的單通與通常的鏈路down表現(xiàn)也會不同等。

　　2、不僅要測試主設(shè)備/鏈路切換到備用，還要測試主設(shè)備/鏈路恢復(fù)正常后，網(wǎng)絡(luò)系統(tǒng)的表現(xiàn)。

　　3、每項(xiàng)測試需至少測試三次得到平均值。并對得到尖峰和低谷進(jìn)行分析，需要時(shí)重復(fù)更多測試以獲取穩(wěn)定數(shù)據(jù)。

　　4、始終關(guān)注測試流量路徑是否經(jīng)過故障節(jié)點(diǎn)，是否按照預(yù)期切換，保證測試結(jié)果的準(zhǔn)確性。

　　4 驗(yàn)證HA(High Availability)特性的組合部署功能

　　網(wǎng)絡(luò)系統(tǒng)中的協(xié)議配置對系統(tǒng)的穩(wěn)定性、負(fù)荷和恢復(fù)時(shí)間有重大影響。例如對OSPF的hello time設(shè)置過小，會加重網(wǎng)絡(luò)中控制平面處理負(fù)擔(dān)，并容易產(chǎn)生路由振蕩。但是過大也會導(dǎo)致故障時(shí)系統(tǒng)恢復(fù)時(shí)間無法達(dá)到要求。因此在測試中可根據(jù)不同網(wǎng)絡(luò)的要求，取得一個(gè)性價(jià)比最高的平衡。

　　當(dāng)各類為保證網(wǎng)絡(luò)系統(tǒng)高可靠運(yùn)行的協(xié)議在一個(gè)網(wǎng)絡(luò)系統(tǒng)中應(yīng)用時(shí)，就使這種組合更加復(fù)雜，這些特性包括鏈路聚合、MSTP、RRPP、BFD、GR、VRRP、ECMP、IRF等。

　　因此，測試不僅僅需要驗(yàn)證這些特性是否在發(fā)揮作用，同時(shí)測試過程也是一個(gè)網(wǎng)絡(luò)參數(shù)調(diào)優(yōu)過程。在測試中通過不斷調(diào)整協(xié)議配置參數(shù)，以獲取網(wǎng)絡(luò)系統(tǒng)可靠性最佳配置。這個(gè)調(diào)優(yōu)過程既要計(jì)算獲取網(wǎng)絡(luò)故障恢復(fù)時(shí)間，又要監(jiān)控網(wǎng)絡(luò)系統(tǒng)各個(gè)節(jié)點(diǎn)的運(yùn)行狀況。例如在滿足網(wǎng)絡(luò)恢復(fù)時(shí)間要求基礎(chǔ)上，監(jiān)控參數(shù)配置會影響的CPU占用率、內(nèi)存是否正常，Console是否能響應(yīng)，轉(zhuǎn)發(fā)是否正常，OSPF收斂及路由變化等等，綜合得出結(jié)論。

　　5 從端到端對網(wǎng)絡(luò)系統(tǒng)進(jìn)行各類攻擊測試

　　此類測試往往融合在Duration測試中共同完成。使用測試儀器公司、開源軟件、自行開發(fā)的各類異常報(bào)文攻擊工具，可以實(shí)現(xiàn)對網(wǎng)絡(luò)系統(tǒng)的安全漏洞、健壯性的綜合測試。

　　結(jié)束語

　　網(wǎng)絡(luò)系統(tǒng)方案的可靠性測試的所有測試內(nèi)容，都需要在整網(wǎng)環(huán)境下執(zhí)行，以保證網(wǎng)絡(luò)系統(tǒng)的復(fù)雜關(guān)聯(lián)性，互相影響得到充分驗(yàn)證。網(wǎng)絡(luò)系統(tǒng)的可靠性測試是一種灰盒測試，不僅僅要進(jìn)行端到端的測試，還要深入關(guān)注到各個(gè)節(jié)點(diǎn)的運(yùn)行狀態(tài)，流量和協(xié)議控制層面的脈絡(luò)運(yùn)行狀態(tài)。要做好各類故障的分類分析，充分考慮客戶環(huán)境的復(fù)雜性和客戶行為，對網(wǎng)絡(luò)系統(tǒng)的高可靠相關(guān)特性深入理解，在驗(yàn)證中優(yōu)化配置參數(shù)，得到最優(yōu)最可靠的網(wǎng)絡(luò)系統(tǒng)。