如何獲得100%的安全關(guān)鍵系統(tǒng)結(jié)構(gòu)代碼覆蓋率

前言

許多軟件開發(fā)和驗(yàn)證工程師其實(shí)并不能真正理解獲得結(jié)構(gòu)覆蓋率的重要性。大部分人這么做只是因?yàn)檫@是他們行業(yè)的功能標(biāo)準(zhǔn)所要求的，而并沒(méi)有真正認(rèn)真對(duì)待它。

像ADAS這樣的安全關(guān)鍵系統(tǒng)能夠?qū)崿F(xiàn)在沒(méi)有司機(jī)的情況下運(yùn)送乘客、能夠讓自動(dòng)駕駛飛行器能夠在天空中飛行、通過(guò)醫(yī)療設(shè)備維持患者的生命。人們的生命依賴于這些系統(tǒng)。因此，獲得結(jié)構(gòu)化代碼覆蓋率是至關(guān)重要的。接下來(lái)讓我們來(lái)看看什么是結(jié)構(gòu)覆蓋率，以及它重要的更多原因。

什么是結(jié)構(gòu)覆蓋率

簡(jiǎn)而言之，結(jié)構(gòu)覆蓋率是為了確定系統(tǒng)是否經(jīng)過(guò)充分測(cè)試而對(duì)已執(zhí)行和記錄的代碼的標(biāo)識(shí)。安全關(guān)鍵系統(tǒng)覆蓋率的徹底性取決于安全完整性級(jí)別(SIL)、汽車工業(yè)中的ASIL和航空電子設(shè)備中常用的開發(fā)保證級(jí)別(DAL)。

所謂徹底性，指的是代碼中的結(jié)構(gòu)元素。在嵌入式系統(tǒng)中，這些通常被細(xì)分為代碼語(yǔ)句、分支、修改的條件決策，此外還可以深入到更細(xì)的粒度級(jí)別，如目標(biāo)代碼或匯編語(yǔ)言。

語(yǔ)句及分支覆蓋率

語(yǔ)句覆蓋是最簡(jiǎn)單的工作，它表示程序中的每一行代碼。然而，代碼語(yǔ)句可能具有不同程度的復(fù)雜性。例如，分支語(yǔ)句在代碼中表示if then else條件，像case或switch這樣的語(yǔ)句被解釋為分支。但是，如果您要獲得分支的覆蓋率，這意味著必須同時(shí)覆蓋真實(shí)和錯(cuò)誤決策路徑的執(zhí)行。

如果需要考慮更高的安全級(jí)別，則可能需要修改條件/決策覆蓋率(MC/DC)。分支的復(fù)雜性可能會(huì)逐步遞增，其中一個(gè)決策中有多個(gè)條件，而每個(gè)條件都必須獨(dú)立測(cè)試。

對(duì)于覆蓋率標(biāo)準(zhǔn)，這意味著決策中的每個(gè)條件都已被證明能夠獨(dú)立地影響該決策的結(jié)果。真值表可用于幫助進(jìn)行分析，如下圖所示。

此外，程序中決策的每個(gè)條件都至少采用了一次所有可能的結(jié)果，程序中的每個(gè)決策至少一次采用了所有可能的結(jié)果。

在下面包含4個(gè)條件語(yǔ)句的示例中，有16個(gè)可能的測(cè)試用例。在本例中，MC/DC只需要5個(gè)。取條件的數(shù)量并添加1。

公式:(C + 1)

目標(biāo)代碼覆蓋率

對(duì)于最嚴(yán)格的安全關(guān)鍵應(yīng)用，如航空電子設(shè)備，流程標(biāo)準(zhǔn)DO-178B/C Level A要求目標(biāo)代碼覆蓋率。這是由于編譯器或鏈接器會(huì)產(chǎn)生額外的代碼，這些代碼不能直接追蹤到源代碼語(yǔ)句。因此，必須進(jìn)行匯編級(jí)覆蓋。

想象一下執(zhí)行這項(xiàng)任務(wù)的嚴(yán)格程度和人工成本。幸運(yùn)的是，有Parasoft ASMTools這樣一個(gè)獲得目標(biāo)代碼覆蓋率的自動(dòng)化解決方案。

（Parasoft ASMTools匯編語(yǔ)言代碼覆蓋）

獲取代碼覆蓋率

代碼覆蓋率通常是通過(guò)對(duì)代碼進(jìn)行檢測(cè)來(lái)確定的。工具化是指在用戶代碼中添加額外的代碼，以便在執(zhí)行期間確定該語(yǔ)句、分支或MC/CD是否已被執(zhí)行。

根據(jù)嵌入式目標(biāo)或設(shè)備的不同，覆蓋數(shù)據(jù)可以存儲(chǔ)在文件系統(tǒng)中，也可以寫入內(nèi)存，也可以通過(guò)串口、TCP/IP端口、USB甚至JTAG等各種通信通道發(fā)送出去。

部分插樁

值得注意的是，代碼插樁會(huì)導(dǎo)致代碼膨脹，代碼大小的增加可能會(huì)影響將代碼加載到內(nèi)存受限的目標(biāo)硬件上進(jìn)行測(cè)試的能力。

其解決方法是對(duì)部分代碼進(jìn)行插樁。

運(yùn)行您的測(cè)試并獲取覆蓋率。

對(duì)另一部分代碼進(jìn)行插樁

再次執(zhí)行測(cè)試

獲取覆蓋率。

合并以往測(cè)試執(zhí)行的覆蓋率。

根據(jù)您的目標(biāo)限制，理想狀態(tài)是不會(huì)有太多的插樁分區(qū)要處理。不停重復(fù)運(yùn)行相同的測(cè)試會(huì)非常耗時(shí)及花費(fèi)成本。簡(jiǎn)單來(lái)說(shuō)，插樁也許還會(huì)導(dǎo)致有關(guān)不良的時(shí)間和性能影響。

獲得嵌入式功能及信息安全關(guān)鍵系統(tǒng)的代碼覆蓋率

讓我們深入了解一下組織如何獲得嵌入式功能及信息安全關(guān)鍵系統(tǒng)獲得代碼覆蓋率。

對(duì)于代碼覆蓋率需求，比如強(qiáng)制的100%結(jié)構(gòu)、分支和MC/DC覆蓋率，有幾種測(cè)試方法可以用來(lái)滿足您的目標(biāo)。以下為最常見(jiàn)的方法:

系統(tǒng)測(cè)試

單元測(cè)試

手動(dòng)測(cè)試

結(jié)合這些不同實(shí)踐的覆蓋率指標(biāo)是典型的。

系統(tǒng)測(cè)試覆蓋率

通過(guò)系統(tǒng)測(cè)試獲得代碼覆蓋率是確定是否執(zhí)行了足夠測(cè)試的最佳方法。其方法是運(yùn)行所有的系統(tǒng)測(cè)試，然后檢查代碼的哪些部分沒(méi)有執(zhí)行。

未執(zhí)行的代碼意味著可能需要新的測(cè)試用例來(lái)執(zhí)行可能潛伏著缺陷的未觸及代碼，并有助于確認(rèn)以下問(wèn)題：我們是否做了足夠的測(cè)試?

單元測(cè)試覆蓋率

如前所述，單元測(cè)試可以作為系統(tǒng)測(cè)試的補(bǔ)充方法，以獲得100%的覆蓋率。通過(guò)單元測(cè)試獲得代碼覆蓋率是一種比較流行的方法，但是它并不能暴露您是否對(duì)系統(tǒng)進(jìn)行了足夠的測(cè)試，因?yàn)橹攸c(diǎn)是在單元級(jí)別(函數(shù)/過(guò)程)。

這里的目標(biāo)是創(chuàng)建一組單元測(cè)試用例，在所需的覆蓋率遵從性需求(語(yǔ)句、分支和MC/DC)下執(zhí)行整個(gè)單元，以便達(dá)到單個(gè)單元的100%覆蓋率。每個(gè)單元都要重復(fù)做，直到覆蓋整個(gè)代碼庫(kù)。然而，要充分利用單元測(cè)試，不能只關(guān)注獲得代碼覆蓋率。這通?？梢酝ㄟ^(guò)行路徑測(cè)試用例來(lái)完成。

為了通過(guò)單元測(cè)試加速代碼覆蓋，Parasoft C/ C++test中存在可配置的和自動(dòng)化的測(cè)試用例生成功能?？梢宰詣?dòng)生成測(cè)試用例來(lái)測(cè)試空指針、最小-中-最大值范圍、邊界值的使用等。這種自動(dòng)化可以讓您走得更遠(yuǎn)，在幾分鐘內(nèi)，您將獲得大量的代碼覆蓋率。

然而，與系統(tǒng)測(cè)試一樣，由于使用了防御性代碼或形式語(yǔ)言語(yǔ)義，獲得100%的代碼覆蓋率是難以實(shí)現(xiàn)的。在單元的粒度級(jí)別上，防御代碼可能以交換機(jī)中的默認(rèn)語(yǔ)句的形式出現(xiàn)。如果捕獲了交換機(jī)中所有可能的情況，則會(huì)導(dǎo)致無(wú)法訪問(wèn)默認(rèn)語(yǔ)句。在下面的例子中，返回0;將永遠(yuǎn)不會(huì)被執(zhí)行，因?yàn)閣hile(1)是無(wú)限的。

用戶可以使用調(diào)試器對(duì)語(yǔ)句進(jìn)行標(biāo)記或標(biāo)記，修改調(diào)用堆棧并執(zhí)行返回0;聲明。視覺(jué)上見(jiàn)證執(zhí)行過(guò)程，至少記錄文件名、代碼行和代碼語(yǔ)句。

通過(guò)手動(dòng)/可視化檢查執(zhí)行的覆蓋率和報(bào)告可以用來(lái)補(bǔ)充通過(guò)單元測(cè)試捕獲的覆蓋率。兩個(gè)覆蓋率報(bào)告的添加可以用來(lái)證明100%的結(jié)構(gòu)代碼覆蓋率。

（Parasoft DTP儀表板代碼覆蓋報(bào)告示例）

總結(jié)

結(jié)構(gòu)代碼覆蓋率可以幫助回答以下問(wèn)題：我是否進(jìn)行了足夠的測(cè)試?

它也可能是您必須滿足的遵從性需求。獲得代碼覆蓋率的目標(biāo)是幫助我們確保代碼功能安全、信息安全和可靠性的一種附加手段。它顯示已執(zhí)行測(cè)試的證據(jù)。通過(guò)該測(cè)試我們能夠識(shí)別和修復(fù)缺陷。

您可能需要執(zhí)行不同級(jí)別的覆蓋(語(yǔ)句、分支、MC/DC等覆蓋率)，其中所用標(biāo)準(zhǔn)是基于您的SIL、ASIL或DAL級(jí)別。幸運(yùn)的是，Parasoft提供了自動(dòng)化軟件測(cè)試解決方案和為了獲得100%的結(jié)構(gòu)代碼覆蓋率而所需的解決方法。

審核編輯：湯梓紅