眾核多計算模式處理框架 - 眾核多計算模式系統(tǒng)的構(gòu)建

　　2 眾核多計算模式處理框架

　　為了充分發(fā)揮眾核處理器的計算能力，眾核處理系統(tǒng)面對不同的計算任務(wù)的特點，可構(gòu)建三種計算模式，即單任務(wù)并行計算、多任務(wù)并行計算、多任務(wù)流式計算。

　　2.1 眾核多計算模式處理系統(tǒng)結(jié)構(gòu)

　　眾核多計算模式處理系統(tǒng)結(jié)構(gòu)如圖3 所示。眾核處理系統(tǒng)包括數(shù)據(jù)通信、任務(wù)管理、形態(tài)管理、資源管理和控制監(jiān)聽模塊。

　　數(shù)據(jù)通信模塊：提供接口給主控機，負(fù)責(zé)接收從主控機發(fā)送來的任務(wù)命令和任務(wù)計算所需的任務(wù)數(shù)據(jù)，并且最終將眾核處理機運算完成的計算結(jié)果通過該模塊返回給主控機。

　　控制監(jiān)聽模塊：在眾核處理系統(tǒng)運行時，實時獲取主控機發(fā)送給眾核處理機的任務(wù)命令，將其傳送給任務(wù)管理模塊，并接收任務(wù)管理模塊返回的任務(wù)命令執(zhí)行結(jié)果。

　　任務(wù)管理模塊：負(fù)責(zé)計算任務(wù)的加載過程，將控制監(jiān)聽模塊發(fā)送來的任務(wù)命令存于任務(wù)隊列，當(dāng)眾核計算單元需要加載任務(wù)進行計算時，從任務(wù)隊列中獲取任務(wù)命令，根據(jù)任務(wù)命令從任務(wù)配置文件中獲取任務(wù)計算所需的任務(wù)信息，該任務(wù)信息包含了計算任務(wù)運行時所需的存儲空間大小、適合于該任務(wù)的計算模式、執(zhí)行函數(shù)（即CUDA中的kernel函數(shù)）等內(nèi)容，在計算任務(wù)在被加載前，需要通知形態(tài)管理模塊把眾核計算單元切換到指定的計算模式下，并通知資源管理模塊分配存儲空間，通過數(shù)據(jù)通信模塊獲取任務(wù)數(shù)據(jù)，然后讀取任務(wù)計算庫，加載執(zhí)行函數(shù)進行計算。

　　形態(tài)管理模塊：接收任務(wù)管理模塊發(fā)送來的目標(biāo)計算模式，切換到該種計算模式。

　　資源管理模塊：根據(jù)任務(wù)管理模塊發(fā)送的參數(shù)分配存儲空間，包括眾核控制單元的存儲空間和眾核計算單元的存儲空間，眾核控制單元的存儲空間用于對任務(wù)數(shù)據(jù)進行緩存，然后通過數(shù)據(jù)傳輸?shù)腁PI接口把緩存在眾核控制單元的數(shù)據(jù)傳送到眾核計算單元的存儲空間，在計算時由從眾核計算單元存儲空間加載數(shù)據(jù)進行計算。

　　2.2 計算模式構(gòu)建與切換

　　計算模式構(gòu)建是形態(tài)管理模塊根據(jù)接收到的命令動態(tài)構(gòu)建出被指定的目的計算模式的過程。眾核處理系統(tǒng)在初始化時，就已經(jīng)創(chuàng)建了指定數(shù)目的CUDA 流（CUDA流的最大數(shù)目取決于GPU中硬件工作隊列的數(shù)目），并采用空位標(biāo)記法對創(chuàng)建的CUDA流進行管理，通過標(biāo)記位的有效性描述CUDA 流的可用性。當(dāng)目的計算模式為單任務(wù)計算時，只需將首位的CUDA流標(biāo)記設(shè)置為有效，其他全部標(biāo)記為無效，在對計算任務(wù)加載時，將計算任務(wù)放入該CUDA流中進行計算;當(dāng)目的計算模式為多任務(wù)計算時，需要將指定數(shù)目CUDA流的標(biāo)記位設(shè)置為有效，在對計算任務(wù)加載時，通過輪詢的方式將計算任務(wù)放入到相應(yīng)的CUDA 流中，利用CUDA 流的Hyper-Q特性，同時加載多個計算任務(wù)到眾核計算單元;當(dāng)目的計算模式為多任務(wù)流式計算時，需要將指定CUDA 流的標(biāo)記設(shè)置為有效，從構(gòu)建第一個計算步開始，將第一個計算步放入第一個CUDA 流中進行計算，當(dāng)?shù)谝粋€計算步首次完成計算后，利用二元信號量通知眾核控制單元中的任務(wù)管理模塊開始構(gòu)建第二個計算步，并重新構(gòu)建第一個計算步，以此類推，完成對多任務(wù)流式計算中每個計算步的動態(tài)構(gòu)建過程。