DPU特征結(jié)構(gòu)系列（一）DPU是以數(shù)據(jù)為中心IO密集的專用處理器

從應(yīng)用特征來看，可以把應(yīng)用分為“IO密集型”和“計(jì)算密集型”兩類，如下圖所示。IO密集型應(yīng)用，通常體現(xiàn)為較高的輸入和輸出帶寬，數(shù)據(jù)直接來自于IO，數(shù)據(jù)通常具備流式特征，數(shù)據(jù)局部性不顯著，如果處理性能與帶寬匹配，片上緩存的作用就可以弱化。例如處理路由轉(zhuǎn)發(fā)、數(shù)據(jù)加密、壓縮等。計(jì)算密集型應(yīng)用，體現(xiàn)為較高的計(jì)算密度，通常浮點(diǎn)性能突出，數(shù)據(jù)來自主存，數(shù)據(jù)局部性顯著，復(fù)用性高，主存的大小對(duì)于問題求解的性能有直接影響。例如求解線性代數(shù)方程組，大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練、推理等。

圖不同類型的處理器的特征結(jié)構(gòu)

一個(gè)處理器芯片是“IO密集”還是“計(jì)算密集”只部分決定了芯片的結(jié)構(gòu)特征，并不能完全定義芯片的主體架構(gòu)。無論是IO密集，還是計(jì)算密集，即可以以通用CPU為核心構(gòu)造主體計(jì)算架構(gòu)，也可以以專用加速器為核心構(gòu)造主體計(jì)算架構(gòu)。前者可稱之為以控制為中心（control-centric）的模式，后者稱之為以數(shù)據(jù)為中心（data-centric）的模式。控制為中心的核心是實(shí)現(xiàn)“通用”，數(shù)據(jù)為中心的核心是通過定制化實(shí)現(xiàn)“高性能”。以應(yīng)用特征和架構(gòu)特征這兩個(gè)維度粗略劃分處理器芯片類型分布，如圖2-1所示。

通用CPU是偏向于控制為中心結(jié)構(gòu)，理論上看就是要“圖靈完備”，要支持完備的指令集，通過編程指令序列來定義計(jì)算任務(wù)，通過執(zhí)行指令序列來完成計(jì)算任務(wù)，因此具備極其靈活的編程支持，可以任意定義計(jì)算的邏輯實(shí)現(xiàn)“通用”——這也是CPU最大的優(yōu)勢(shì)。同時(shí)，為了提高編程的開發(fā)效率，降低編譯器復(fù)雜度，緩存管理和細(xì)粒度并行度的開發(fā)通常都是由硬件來完成。類似的，還有大量的用于各種嵌入式、移動(dòng)設(shè)備的微控制器MCU，并不強(qiáng)調(diào)高帶寬，也是以控制為中心的結(jié)構(gòu)。NP，DSP也是便向于基于通用處理器來做專用化擴(kuò)展，但是非常注重高通量的性能屬性。例如，NP要支持?jǐn)?shù)Tbps的轉(zhuǎn)發(fā)帶寬，所以大體可以視為控制為中心、但是IO密集的處理器類型。

GPU是以數(shù)據(jù)為中心的結(jié)構(gòu)，形式上更傾向于專用加速器。GPU的結(jié)構(gòu)稱之為數(shù)據(jù)并行（data-parallel）結(jié)構(gòu)，優(yōu)化指令并行度并不是提升性能的重點(diǎn)，通過大規(guī)模同構(gòu)核進(jìn)行細(xì)粒度并行來消化大的數(shù)據(jù)帶寬才是重點(diǎn)。例如，最新的NVIDIA TITAN RTX GPU有4608個(gè)CUDA核、576個(gè)Tensor核，而且單片GPU通常配置數(shù)十GB的超大顯存。同時(shí)緩存管理多采用軟件顯示管理，降低硬件復(fù)雜度。這類超眾核結(jié)構(gòu)是以數(shù)據(jù)為中心、執(zhí)行計(jì)算密集型任務(wù)的代表性架構(gòu)。

DPU也偏向于數(shù)據(jù)為中心的結(jié)構(gòu)，形式上集成了更多類別的專用加速器，犧牲一定的指令靈活性以獲得更極致的性能。但是與GPU不同，DPU要應(yīng)對(duì)更多的網(wǎng)絡(luò)IO，既包括外部以太網(wǎng)，也包括內(nèi)部虛擬IO，所以DPU所面臨的數(shù)據(jù)并行更多可能是數(shù)據(jù)包并行，而不是圖像中的像素、像塊級(jí)并行。而且DPU也會(huì)配置少數(shù)通用核（如ARM，MIPS）來處理一定的控制面的任務(wù)，運(yùn)行輕量級(jí)操作系統(tǒng)來管理DPU上的眾多的異構(gòu)核資源，所以體現(xiàn)了一定“通用”性，但性能優(yōu)勢(shì)主要不源于這些通用核，而是大量專用計(jì)算核。早期的一些網(wǎng)絡(luò)處理器采用過類似Tile64的通用眾核結(jié)構(gòu)，以增加核的數(shù)量來應(yīng)對(duì)多路處理的數(shù)據(jù)，實(shí)現(xiàn)并發(fā)處理，但單路延遲性能通常都比較差。因此，DPU更偏向于以數(shù)據(jù)為中心，執(zhí)行IO密集任務(wù)。

DPU是軟件定義的技術(shù)路線下的重要產(chǎn)物。在軟件定義網(wǎng)絡(luò)中，將數(shù)據(jù)面與控制面分離是最核心的思想。DPU被定義為強(qiáng)化了數(shù)據(jù)面性能的專用處理器，配合控制面的CPU，可以實(shí)現(xiàn)性能與通用性的更佳的平衡。

來源：專用數(shù)據(jù)處理器（DPU）技術(shù)白皮書，中國(guó)科學(xué)院計(jì)算技術(shù)研究所，鄢貴海等