如何克服Amdahl定律的影響呢？

Arm Helium 技術(shù)誕生的由來

克服 Amdahl 定律的影響

在前幾篇文章中，我們介紹了采用 Arm Helium 技術(shù)（也稱為 MVE）的 Armv8.1-M 架構(gòu)如何處理矢量指令。但問題是，每當(dāng)代碼被矢量化時(shí)，Amdahl 定律的影響很快便會顯現(xiàn)，讓人措手不及。如果您不了解 Amdahl 定律，可以簡單理解為，Amdahl 定律表明算法中無法并行化的部分很快就會成為性能瓶頸。例如，如果有 50% 的工作負(fù)載可以并行化，那么即使這部分工作負(fù)載可以無限并行，最多也只能將速度提高二倍。不知您作何感受，如果我能將某件事情無限并行化，但速度卻只能提升二倍，這種微不足道的提升一定會讓我感到非常惱火！在設(shè)計(jì) Helium 時(shí)，我們必須考慮矢量指令及其相關(guān)聯(lián)的一切內(nèi)容，這樣才能最大限度地提高性能。

串行代碼在循環(huán)處理中很常見，串行代碼造成的開銷可能相當(dāng)大，特別是對于小循環(huán)。下面的內(nèi)存復(fù)制代碼就是一個(gè)很好的例子：

循環(huán)迭代計(jì)數(shù)的遞減和返回循環(huán)頂端的條件分支占循環(huán)指令的 50%。許多小型 Cortex-M 處理器沒有分支預(yù)測器（小型 Cortex-M 處理器的面積效率極高，這意味著許多分支預(yù)測器比整個(gè) Cortex-M 處理器還要大幾倍）。因此，由于分支損失，運(yùn)行時(shí)開銷實(shí)際上高于 50%。通過在多次迭代中攤銷開銷，循環(huán)展開可以幫助減少開銷，但會增加代碼大小，并使代碼的矢量化過程更加復(fù)雜。

鑒于許多 DSP 內(nèi)核都有小循環(huán)，因此在 Helium 研究項(xiàng)目中解決這些問題至關(guān)重要。許多專用 DSP 處理器支持零開銷循環(huán)。一種實(shí)現(xiàn)方法是使用 REPEAT 指令，告訴處理器將下面的指令重復(fù) N 次：

處理器必須記錄多項(xiàng)數(shù)據(jù)：

循環(huán)開始的地址

需要分支回到循環(huán)開始前所剩余的指令數(shù)

剩余的循環(huán)迭代次數(shù)

在處理中斷時(shí)，跟蹤記錄所有這些數(shù)據(jù)可能會造成問題，因此一些 DSP 只需要延遲中斷，直到循環(huán)完成。如果要執(zhí)行大量的迭代，這可能需要相當(dāng)長的時(shí)間，而且完全不符合 Cortex-M 處理器應(yīng)該實(shí)現(xiàn)的快速和確定性中斷延遲的需求。這種方法也不適用于處理精確故障，如權(quán)限違規(guī)導(dǎo)致的內(nèi)存管理故障異常 (MemManage)。另一種方法是增加額外的寄存器來處理循環(huán)狀態(tài)。但這些新寄存器必須在異常進(jìn)入和返回時(shí)保存和恢復(fù)，而這又會增加中斷延遲。為了解決這個(gè)問題，Armv8.1-M 采用了一對循環(huán)指令：

該循環(huán)首先執(zhí)行 While Loop Start (WLS) 指令，該指令將循環(huán)迭代計(jì)數(shù)復(fù)制到 LR，循環(huán)迭代計(jì)數(shù)為零時(shí)，分支到循環(huán)結(jié)束。還有一條 Do Loop Start (DLS) 指令，可用于設(shè)置一個(gè)循環(huán)，在該循環(huán)中至少始終執(zhí)行一次迭代。Loop End (LE) 指令檢查 LR 以確認(rèn)是否還需要一次迭代，如果需要，則分支返回起點(diǎn)。有趣的是，處理器可以緩存 LE 指令提供的信息（即循環(huán)開始和結(jié)束的位置），因此在下一次迭代時(shí)，處理器甚至可以在獲取 LE 指令之前分支回到循環(huán)的起點(diǎn)。因此，處理器執(zhí)行的指令序列如下所示：

在循環(huán)末尾添加循環(huán)指令有一個(gè)很好的副作用，如果緩存的循環(huán)信息刷新，該指令將重新執(zhí)行。然后，重新執(zhí)行 LE 指令將重新填充緩存。如下圖所示，由于無需保存循環(huán)開始和結(jié)束地址，因此現(xiàn)有的快速中斷處理功能得以保留。

除了第一次迭代和從中斷恢復(fù)時(shí)的一些設(shè)置外，所有時(shí)間實(shí)際上都花在了內(nèi)存復(fù)制而不是循環(huán)處理上。此外，由于處理器事先知道指令的順序，因此總能用正確的指令填充流水線。這樣就消除了流水線清空和由此導(dǎo)致的分支損失。因此，我們可以將這一循環(huán)矢量化，不必再擔(dān)心 Amdahl 定律的影響，我們（暫時(shí)）克服了這些困難。

在對代碼進(jìn)行矢量化時(shí)，一個(gè)循環(huán)通常以不同類型的指令開始和結(jié)束，例如矢量加載 (VLDR) 和矢量乘加 (VMLA)。執(zhí)行這樣的循環(huán)時(shí)，會產(chǎn)生一長串不間斷的交替 VLDR/VMLA 操作（如下圖所示）。這種不間斷的鏈條使處理器能夠從指令重疊中獲得最大益處，因?yàn)樗踔量梢詮囊粋€(gè)循環(huán)迭代結(jié)束重疊到下一個(gè)迭代開始，從而進(jìn)一步提高性能。關(guān)于指令重疊的更多信息，可參閱：《Arm Helium 技術(shù)誕生的由來：為何不直接采用 Neon？》

當(dāng)需要處理的數(shù)據(jù)量不是矢量長度的倍數(shù)時(shí)，矢量化代碼就會出現(xiàn)問題。典型的解決方案是先處理全矢量，然后用一個(gè)串行/非矢量化尾部清理循環(huán)來處理剩余的元素。不知不覺中，Amdahl 定律又出現(xiàn)了，真是令人不勝其煩！Helium 中的矢量可容納 16 個(gè) 8 位數(shù)值，因此在我們對 31 字節(jié)的 memcpy 函數(shù)進(jìn)行矢量化時(shí)，僅有不到一半的拷貝將由尾部循環(huán)連續(xù)執(zhí)行，而不是由矢量指令并行執(zhí)行。

為了解決這個(gè)問題，我們增加了循環(huán)指令的尾部預(yù)測變體（如 WLSTP、LETP）。對于這些尾部預(yù)測循環(huán)，LR 保存的是要處理的矢量元素的個(gè)數(shù)，而不是要執(zhí)行的循環(huán)迭代的次數(shù)。循環(huán)開始指令 (WLSTP) 有一個(gè)大小字段（下面 memcpy 函數(shù)示例中的“.8”），用于指定要處理的元素的寬度。

如果您曾見過其他優(yōu)化的 memcpy 例程，可能會對這個(gè)例子的簡單程度感到驚訝，但對于 Helium 來說，這已經(jīng)是最好的完全矢量化解決方案所需要的一切了。具體工作原理如下：處理器使用大小字段和剩余元素的數(shù)量來計(jì)算剩余迭代次數(shù)。

如果最后一次迭代要處理的元素個(gè)數(shù)少于矢量長度，則矢量末尾相應(yīng)數(shù)量的元素將被禁用。因此，在上文復(fù)制 31 個(gè)字節(jié)的例子中，Helium 會在第一次迭代時(shí)并行復(fù)制 16 個(gè)字節(jié)，然后在下一次迭代時(shí)并行復(fù)制 15 個(gè)字節(jié)。這不僅可以避免 Amdahl 定律的影響，實(shí)現(xiàn)該有的性能，還可以完全消除串行尾碼，減少代碼量，簡化開發(fā)過程。

由于面臨高性能目標(biāo)和嚴(yán)格的面積/中斷延遲限制，我們在設(shè)計(jì) Helium 時(shí)就像在設(shè)計(jì)一個(gè)多維拼圖，且其中一半的形狀是已經(jīng)固定的。架構(gòu)中看似毫不相干的部分可以相互作用，產(chǎn)生意想不到的效果或助力解決一些有趣的難題。

整個(gè) Helium 研究團(tuán)隊(duì)和我都無比期待看到 Helium 技術(shù)能夠?yàn)槿碌膽?yīng)用帶來有力的支持。目前 Cortex-M 已有三款產(chǎn)品支持 Helium 技術(shù)——Cortex-M52、Cortex-M55 和 Cortex-M85，我迫不及待看到 Helium 技術(shù)持續(xù)賦能我們生態(tài)伙伴的 AI 創(chuàng)新應(yīng)用。

審核編輯：劉清