測(cè)量嵌入式軟件的代碼覆蓋率

對(duì)于安全可靠的嵌入式設(shè)備，測(cè)試是質(zhì)量保證不可或缺的一部分。安全關(guān)鍵型軟件開發(fā)標(biāo)準(zhǔn)對(duì)測(cè)試方法和測(cè)試覆蓋率設(shè)定了精確要求，這并非沒有道理。通常，應(yīng)用程序越關(guān)鍵，對(duì)代碼覆蓋率的要求就越高。

最重要的代碼覆蓋率級(jí)別是：

語(yǔ)句覆蓋率確定測(cè)試執(zhí)行了哪些指令。可以檢測(cè)死代碼以及尚未創(chuàng)建合適測(cè)試的指令。

分支覆蓋記錄是否所有程序分支都經(jīng)過(guò)測(cè)試。這是應(yīng)放在測(cè)試中的最低要求。可以通過(guò)合理的努力來(lái)實(shí)現(xiàn)分支覆蓋。

MC/DC（Modified Condition/Decision Coverage）是標(biāo)準(zhǔn)要求的最高級(jí)別，而且相當(dāng)復(fù)雜。為了盡量減少測(cè)試工作，使用復(fù)合條件的所有原子條件。對(duì)于每個(gè)原子條件，測(cè)試一個(gè)測(cè)試用例對(duì)，導(dǎo)致復(fù)合條件的整體結(jié)果發(fā)生變化，但只有所考慮的原子條件的真值發(fā)生變化。這里其他原子條件的真值必須保持不變。

由于代碼檢測(cè)，代碼大小增加

為了測(cè)量軟件的哪些部分已經(jīng)過(guò)測(cè)試，使用了代碼覆蓋分析器。大多數(shù)覆蓋分析器的工作原理相同：它們?cè)趯⒋a傳遞給編譯器之前對(duì)其進(jìn)行檢測(cè)。這意味著他們將計(jì)數(shù)器添加到代碼中，以計(jì)算相關(guān)代碼部分是否已被執(zhí)行。這些計(jì)數(shù)器通常存儲(chǔ)為全局?jǐn)?shù)組。這種檢測(cè)的副作用是代碼變得更加龐大。這會(huì)給 RAM 和 ROM 帶來(lái)額外的負(fù)載。

該過(guò)程如圖 1 所示：代碼覆蓋率分析器 Testwell CTC++ 將計(jì)數(shù)器添加到源代碼（“儀器”）。有關(guān)計(jì)數(shù)器的信息存儲(chǔ)在名為“符號(hào)數(shù)據(jù)”的文件中。在測(cè)試期間（圖右側(cè)），執(zhí)行次數(shù)被計(jì)算并存儲(chǔ)在“數(shù)據(jù)文件”中。在過(guò)程結(jié)束時(shí)，Testwell CTC++ 的“報(bào)告生成器”將“符號(hào)數(shù)據(jù)”和“數(shù)據(jù)文件”中的信息結(jié)合起來(lái)生成“覆蓋報(bào)告”。覆蓋率分析的副作用是更高的內(nèi)存消耗（通過(guò)比較沒有和有儀器的所需內(nèi)存顯示在底部）。

點(diǎn)擊查看完整大小的圖片

（來(lái)源：Verifysoft Technology）

即使是用 C 語(yǔ)言編寫的一個(gè)小的 While 條件也可以通過(guò)這種方式顯著增長(zhǎng)。

初始結(jié)構(gòu)

而（！b == 0）
{
r = a % b;
a = b;
b = r;
}
結(jié)果=一個(gè)；

通過(guò)使用代碼覆蓋率分析器 Testwell CTC++ 進(jìn)行檢測(cè)，變?yōu)橐韵聝?nèi)容：

而 (((! b == 0) ? (ctc_t[23]++, 1): (ctc_f[23]++, 0)))
{
r = a % b;
a = b;
b = r;
}
結(jié)果=一個(gè)；

對(duì)于服務(wù)器或 PC 應(yīng)用程序，這種影響可以忽略不計(jì)。另一方面，對(duì)于嵌入式設(shè)備，儀器開銷可能會(huì)帶來(lái)挑戰(zhàn)，因?yàn)槌鲇诔杀驹颍?a href="http://wenjunhu.com/v/tag/1751/" target="_blank">硬件資源的計(jì)算通常非常嚴(yán)格。在這里，必須注意使用具有相對(duì)較低檢測(cè)開銷的代碼覆蓋分析器，否則計(jì)數(shù)器將很快超過(guò)可用內(nèi)存的限制。當(dāng)需要非常苛刻的測(cè)試覆蓋級(jí)別（例如 MC/DC）時(shí)尤其如此。針對(duì)嵌入式系統(tǒng)優(yōu)化的特殊分析儀，例如 Verifysoft Technology 的 Testwell CTC++，是正確的選擇。

部分儀器

If the code coverage tool has a too high instrumentation overhead, this hurdle can be circumvented in RAM with partial instrumentation. With partial instrumentation, only small sections of the program under test are instrumented and tested. The test is repeated one after the other with all program parts, and the resulting data is combined to form an overall picture. This allows to determine the test coverage for the complete program.

測(cè)量小目標(biāo)上的代碼覆蓋率的另一種可能的解決方案是限制計(jì)數(shù)器的大小。通常，代碼覆蓋工具使用 32 位計(jì)數(shù)器。這些計(jì)數(shù)器可以減少到 16 或 8 位。但是，這里應(yīng)該小心，因?yàn)樵谀承┣闆r下，計(jì)數(shù)器可能會(huì)溢出。因此，必須非常小心地解釋獲得的數(shù)據(jù)。在極端情況下，計(jì)數(shù)器也可以降低到單個(gè)位。此位覆蓋（由 Testwell CTC++ 提供）可能很有用，例如，如果與程序部分運(yùn)行的頻率無(wú)關(guān)。

不幸的是，ROM 中所需的額外空間幾乎是有限的。需要一個(gè)小型庫(kù)來(lái)捕獲代碼覆蓋率，除其他外，它負(fù)責(zé)將計(jì)數(shù)器讀數(shù)傳輸?shù)街鳈C(jī)。

不要忘記：除了內(nèi)存之外，檢測(cè)還會(huì)給目標(biāo)中的處理器帶來(lái)負(fù)擔(dān)。因此，可能會(huì)發(fā)生不再遵守定義的時(shí)間安排的情況。特別是如果 CPU 已經(jīng)接近極限工作，可能會(huì)出現(xiàn)錯(cuò)誤的進(jìn)程。總線通信對(duì)此特別敏感。在這里，測(cè)試人員應(yīng)該仔細(xì)監(jiān)控過(guò)程并仔細(xì)檢查結(jié)果。然而，強(qiáng)大的代碼覆蓋工具可以使檢測(cè)內(nèi)存需求和運(yùn)行時(shí)行為變化保持相對(duì)較低。

結(jié)論

安全和安保在物聯(lián)網(wǎng)計(jì)劃的長(zhǎng)期成功中發(fā)揮著重要作用。除了工業(yè)應(yīng)用外，還必須以可控制用戶和制造商風(fēng)險(xiǎn)的方式開發(fā)和測(cè)試私營(yíng)部門的物聯(lián)網(wǎng)程序。雖然 MC/DC 覆蓋對(duì)于汽車和飛機(jī)中的安全關(guān)鍵型應(yīng)用是強(qiáng)制性的，但至少分支覆蓋應(yīng)該是所有其他領(lǐng)域的標(biāo)準(zhǔn)。目前，只有少數(shù)標(biāo)準(zhǔn)要求證明對(duì)非安全關(guān)鍵軟件的測(cè)試覆蓋率，但標(biāo)準(zhǔn)化機(jī)構(gòu)和行業(yè)協(xié)會(huì)在安全關(guān)鍵應(yīng)用程序之外增加要求只是時(shí)間和市場(chǎng)滲透的問(wèn)題。更好的測(cè)試也符合制造商本身的利益，因?yàn)橛腥毕莸?a target="_blank">產(chǎn)品會(huì)導(dǎo)致高昂的后續(xù)成本，并會(huì)嚴(yán)重?fù)p害公司的聲譽(yù)。嵌入式領(lǐng)域的客戶幾乎不會(huì)接受以 PC 聞名的“香蕉軟件”，交付后才成熟。