如何從處理器和加速器內(nèi)核中榨取最大性能？

本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自semiengineering

利用緩存增強低成本、上一代或中端的 SoC。

一些設(shè)計團隊在創(chuàng)建片上系統(tǒng)（SoC）設(shè)備時，有幸能夠使用最新和最先進的技術(shù)節(jié)點，并且擁有相對不受限制的預(yù)算來從可信的第三方供應(yīng)商那里獲取知識產(chǎn)權(quán)（IP）模塊。然而，許多工程師并沒有這么幸運。對于每一個“不惜一切代價”的項目，都有一千個“在有限預(yù)算下盡你所能”的對應(yīng)項目。

一種從成本較低、早期代、中檔處理器和加速器核心中擠出最大性能的方法是，明智地應(yīng)用緩存。

削減成本圖1展示了一個典型的成本意識SoC場景的簡化示例。盡管SoC可能由許多IP組成，但這里為了清晰起見，只展示了三個。

圖 1SoC內(nèi)部IP之間連接的主要技術(shù)是網(wǎng)絡(luò)片上（NoC）互連IP。這可以被看作是一個跨越整個設(shè)備的IP。圖1中展示的例子可以假定為一個非緩存一致性場景。在這種情況下，任何一致性需求將由軟件處理。

假設(shè)SoC的時鐘運行在1GHz。假設(shè)一個基于精簡指令集計算機（RISC）架構(gòu)的中央處理單元（CPU）運行一個典型指令將消耗一個時鐘周期。然而，訪問外部DRAM內(nèi)存可能需要100到200個處理器時鐘周期（為了本文的目的，我們將這個平均為150個周期）。這意味著，如果CPU沒有一級（L1）緩存，并且通過NoC和DDR內(nèi)存控制器直接連接到DRAM，那么每個指令將消耗150個處理器時鐘周期，導(dǎo)致CPU利用率僅為1/150 = 0.67%。

這就是為什么CPU以及一些加速器和其他IP使用緩存內(nèi)存來提高處理器利用率和應(yīng)用程序性能。緩存概念基于的基本原理是局部性原則。這個觀點是，在任何給定時間，只有一小部分主內(nèi)存被使用，而且那個空間中的位置被多次訪問。主要是由于循環(huán)、嵌套循環(huán)和子程序，指令及其相關(guān)數(shù)據(jù)經(jīng)歷時間、空間和順序局部性。這意味著，一旦一塊指令和數(shù)據(jù)從主內(nèi)存復(fù)制到IP的緩存中，IP通常會反復(fù)訪問它們。

當(dāng)今高端CPU IP通常至少有一個一級（L1）和二級（L2）緩存，它們通常還有一個三級（L3）緩存。此外，一些加速器IP，如圖形處理單元（GPU）通常有自己的內(nèi)部緩存。然而，這些最新一代的高端IP的價格通常比上一代中檔產(chǎn)品高出5倍到10倍。因此，正如圖1所示，一個注重成本的SoC中的CPU可能只配備了一個L1緩存。

更深入地考慮CPU及其L1緩存。當(dāng)CPU在其緩存中請求某物時，結(jié)果被稱為緩存命中。由于L1緩存通常以與處理器核心相同的速度運行，因此緩存命中將在單個處理器時鐘周期內(nèi)處理。相比之下，如果請求的數(shù)據(jù)不在緩存中，結(jié)果稱為緩存未命中，將需要訪問主內(nèi)存，這將消耗150個處理器時鐘周期。

現(xiàn)在考慮運行1,000,000條指令。如果緩存足夠大以包含整個程序，那么這將只消耗1,000,000個時鐘周期，從而實現(xiàn)100%的CPU效率。

不幸的是，中檔CPU中的L1緩存通常只有16KB到64KB的大小。如果我們假設(shè)95%的緩存命中率，那么我們的1,000,000條指令中的950,000條將需要一個處理器時鐘周期。其余的50,000條指令每條將消耗150個時鐘周期。因此，這種情況下的CPU效率可以計算為1,000,000/((950,000 * 1) + (50,000 * 150)) = ~12%。

提升性能

提高注重成本SoC性能的一種成本效益高的方式是添加緩存IP。例如，Arteris的CodaCache是一個可配置的、獨立的非一致性緩存IP。每個CodaCache實例可以高達(dá)8MB，并且可以在同一個SoC中實例化多個副本，如圖2所示。

圖2

本文的目的并不是建議每個IP都應(yīng)該配備一個CodaCache。圖2僅旨在提供潛在CodaCache部署的示例。

如果一個CodaCache實例與一個IP關(guān)聯(lián)，它被稱為專用緩存（DC）?；蛘?，如果一個CodaCache實例與一個DDR內(nèi)存控制器關(guān)聯(lián)，它被稱為末級緩存（LLC）。DC將加速與其關(guān)聯(lián)的IP的性能，而LLC將增強整個SoC的性能。

作為我們可能期望的性能提升類型的一個示例，考慮圖2中顯示的CPU。讓我們假設(shè)與這個IP關(guān)聯(lián)的CodaCache DC實例以處理器速度的一半運行，并且對這個緩存的任何訪問消耗20個處理器時鐘周期。如果我們還假設(shè)這個DC有95%的緩存命中率，那么對于1,000,000條指令——我們的整體CPU+L1+DC效率可以計算為1,000,000/((950,000 * 1) + (47,500 * 20) + (2,500 * 150)) = ~44%。這是一個~273%的性能提升！

結(jié)論過去，嵌入式程序員喜歡挑戰(zhàn)，盡可能從時鐘速度低、內(nèi)存資源有限的小處理器中擠出最高性能。事實上，計算機雜志通常會向讀者提出挑戰(zhàn)，例如：“誰能在處理器Y上使用最少的時鐘周期和最小的內(nèi)存量執(zhí)行任務(wù)X？”

今天，許多SoC開發(fā)者喜歡挑戰(zhàn)，盡可能從他們的設(shè)計中擠出最高性能，特別是如果他們被限制使用性能較低的中檔IP。部署CodaCache IP作為專用和末級緩存，為工程師提供了一種負(fù)擔(dān)得起的方式來提升他們注重成本的SoC的性能。