如何使用正確的測試方法確保成功部署SONiC？

前言

開源運動，伴隨著網(wǎng)絡的解耦，給網(wǎng)絡世界帶來了許多變化。SONiC在微軟的加持下，一直在推動云提供商對開放網(wǎng)絡軟件的采用。隨著部署了近400萬端口，SONiC正在成為云架構(gòu)中領(lǐng)先的開放網(wǎng)絡操作系統(tǒng)（NOS）。

SONiC社區(qū)的活躍推動了NOS的發(fā)展，包括基礎的代碼以及實現(xiàn)它們所需的開發(fā)和測試生態(tài)系統(tǒng)。這個生態(tài)系統(tǒng)由特定的應用集成電路（ASIC）供應商、設計制造商（ODM）、基礎設備制造商、網(wǎng)絡運營商，云巨頭和互聯(lián)網(wǎng)巨頭組成。

快速變化的開放網(wǎng)絡生態(tài)系統(tǒng)給測試帶來了新的挑戰(zhàn)。供應商們很難做到在新常態(tài)下跟上或保持領(lǐng)先。使用正確的測試方法、工具和與行業(yè)專家合作是必要的，這能確保你成功部署SONiC。

SONiC，你準備好了嗎？

當SONiC提供新特性時，主流的做法是將測試代碼添加到社區(qū)測試平臺sonic-mgmt，https://github.com/Azure/sonic-mgmt。

目前社區(qū)有兩種流行的測試框架：

?Pytest社區(qū)測試床是一個Python 自動化測試框架，主要使用PTF（一個基于scapy的開源發(fā)包工具）、Arista虛擬可擴展基于操作系統(tǒng)（vEOS/cEOS）等基礎測試工具。它提供了單臺設備測試拓撲的覆蓋，并通過github提交共享給所有的用戶。Pytest的測試用例與NOS的新特性相對同步。

?Spytest測試床提供商業(yè)測試工具，如Keysight測試儀表和一個與供應商無關(guān)的API接口，該平臺由Broadcom公司貢獻社區(qū)并增加了社區(qū)用例的覆蓋。

在與SONiC生態(tài)系統(tǒng)一些用戶，特別是新成員的交流中，我們發(fā)現(xiàn)了一些社區(qū)測試的挑戰(zhàn)。

部署的復雜度

?新用戶使用社區(qū)測試床部署復雜度高

?厘清測試拓撲流程，運行測試難度大

測試結(jié)果的不連續(xù)性

?不同廠商的測試覆蓋導致的結(jié)果不連續(xù)

?不同版本分支間差異導致的結(jié)果不連續(xù)

上線部署的不確定性

?性能和彈性的不確定

?緩存和擁塞管理的不確定

?現(xiàn)網(wǎng)多DUT組網(wǎng)的不確定

這些挑戰(zhàn)促使一些有經(jīng)驗的行業(yè)參與者開始開發(fā)自己的測試床，這會導致與社區(qū)測試結(jié)果的不一致和供應商敏感的測試結(jié)果。

SONiC在開發(fā)測試時面臨一大難題，就是如何通過可靠的測試床，模擬真實部署場景的系統(tǒng)和互操作測試。SONiC用戶希望白盒供應商達到相同的質(zhì)量標準，并提供一個單一的接口，就像傳統(tǒng)國家電力市場的接口一樣。

業(yè)界沒有標準來衡量SONiC系統(tǒng)的質(zhì)量，白盒供應商必須展示測試專業(yè)知識和測試框架，以證明其解決方案的有效性，同時還要開發(fā)產(chǎn)品。這大大增加了成本，支撐難度，增加了開發(fā)周期和上市時間。更快的上市時間，優(yōu)化測試周期是關(guān)鍵，中立的測試也是至關(guān)重要，可以幫助加快驗收。

與是德一起成功

憑借二十多年的網(wǎng)絡測試領(lǐng)導經(jīng)驗，Keysight致力于幫助SONiC社區(qū)成功實現(xiàn)其目標。我們正在做以下工作：

?為SONiC社區(qū)提供一個中立的測試實體，讓SONiC供應商和用戶有一個公平的競爭環(huán)境，測試結(jié)果意味著同樣的事情跨芯片組和供應商

?通過新的測試與社區(qū)成員分享我們的測試專業(yè)知識，貢獻新的開放API標準，使測試有更多選擇

?為SONiC提供Ixia Open NOS驗證套件，這是一個測試的交鑰匙解決方案，驗證設備是否可交付

Keysight近期在SONiC社區(qū)的一些貢獻，比如為社區(qū)提供關(guān)于遠程直接內(nèi)存訪問（RDMA）測試用例的說明，另一個關(guān)注點是邊界網(wǎng)關(guān)協(xié)議（BGP）的性能和彈性能力，以及使用Keysight IxANVL將BGP路由協(xié)議棧一致性測試添加到社區(qū)測試床。

SONiC即插即用測試

客戶告訴我們，迫切需要一個交鑰匙SONiC測試解決方案。為了滿足這一需求，我們最近推出了Ixia Open NOS驗證套件。這是用Aviz Networks開發(fā)的一個獨立的測試包。這個套件可通過即插即用應用程序Keysight IxSuiteStore提供。

測試包滿足不同的測試要求，包括：

?基本：功能和特性級測試，補充社區(qū)測試用例

?規(guī)模：通過系統(tǒng)測試來增加測試覆蓋率，這是目前社區(qū)測試中缺少的

?操作：部署準備測試，社區(qū)測試中也缺少

這些測試包確保您的平臺不僅提供基本功能，而且可擴展、可部署、可交付。

考慮到交付時間的壓力，我們還提供測試即服務（TaaS），以確保測試的覆蓋率，并提供中立的測試報告，像交鑰匙一樣確認該SONiC可交付。

SONiC測試清單

我們?yōu)槟鷾蕚淞艘环軸ONiC測試清單：

社區(qū)測試床

?這對于測試和鑒定每個SONiC版本至關(guān)重要。

?這是SONiC的最低測試要求。

?搭建和維護該測試床需要付出巨大的努力。

?通過虛擬測試床選項提供功能覆蓋。

以Ixia為硬件流量發(fā)生器的社區(qū)測試床

?這包括具有Keysight拓撲的pytest用例和spytest的測試用例。

?這些測試用例使用Keysight測試工具進行測試。

?所有設置/配置和測試代碼都是開源的，可以下載。

?Keysight將根據(jù)獨特的硬件流量生成器功能添加測試用例。

用于SONiC或TaaS的Ixia Open NOS驗證套件

?使用此Keysight/Aviz專有測試套件進行SONiC交付、彈性，性能測試和部署測試。

?它與社區(qū)測試用例幾乎沒有重疊。

?它是第三方、無偏見的測試報告，因此最終用戶，如網(wǎng)絡運營商可以相信SONiC平臺已經(jīng)為數(shù)據(jù)中心部署做好了準備。

?優(yōu)化測試周期，加快上市時間。

結(jié)束語

在艱難的商業(yè)環(huán)境里，解耦和開放網(wǎng)絡為網(wǎng)絡供應商和生態(tài)提供了新的賽道，也帶來了挑戰(zhàn)。競爭比以往任何時候都激烈，上市時間也比以往任何時候都要短、有壓力。

一如既往，研發(fā)團隊擁有有限的資源。SONiC社區(qū)測試和Spytest提供基本的測試覆蓋，Keysight Ixia Open NOS測試套件即插即用，作為交鑰匙驗收。

原文標題：開源網(wǎng)絡，新常態(tài) - 測試如何幫助SONiC成功部署

文章出處：【微信公眾號：是德科技KEYSIGHT】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq