CPU內(nèi)存或GPU內(nèi)存進行分組方式實戰(zhàn)

在CPU+GPU協(xié)同計算中，CPU和GPU的計算能力不同，靜態(tài)地給CPU和GPU劃分任務(wù)會導(dǎo)致CPU和GPU計算不同步，導(dǎo)致嚴重的負載不均衡，為了實現(xiàn)CPU和GPU的負載均衡，需要對CPU和GPU不同的劃分方法。把每個節(jié)點上的所有CPU看成一個設(shè)備，每塊GPU卡看成一個設(shè)備，對集群節(jié)點上的所有CPU設(shè)備和GPU設(shè)備分別編號，每個節(jié)點上有M塊GPU卡，N個節(jié)點上共有N個CPU設(shè)備，編號為1,2，…，N；N個節(jié)點上共有M*N個GPU設(shè)備，編號為1,2，…，M*N。

設(shè)備編號之后就可以對設(shè)備進行分組，根據(jù)算法的要求，有些任務(wù)不能細分，一個CPU設(shè)備或GPU設(shè)備上可用的內(nèi)存空間可能不能滿足計算的內(nèi)存要求，需要多設(shè)備數(shù)據(jù)劃分、共同計算，這時需要根據(jù)CPU內(nèi)存或GPU內(nèi)存進行分組

1）根據(jù)CPU內(nèi)存大小和計算對內(nèi)存的要求可以計算得到一組內(nèi)的CPU設(shè)備數(shù)目為GC個， GC=(Mcom+MemC-1)/MemC，其中一個節(jié)點的內(nèi)存大小為MemC，每個計算任務(wù)需要的內(nèi)存大小為Mcom。

所有的CPU設(shè)備分為N/GC個組，每個組計算同一個任務(wù)，組內(nèi)的CPU設(shè)備再進行數(shù)據(jù)劃分，數(shù)據(jù)劃分采用靜態(tài)的劃分，因為組內(nèi)的CPU設(shè)備計算能力一致；

2）根據(jù)GPU內(nèi)存大小和計算對內(nèi)存的要求可以計算得到一組內(nèi)的GPU設(shè)備數(shù)目為GG個， GG=(Mcom+MemG-1)/Mem，其中，一個GPU設(shè)備的內(nèi)存大小為MemG，每個計算任務(wù)需要的內(nèi)存大小為Mcom。

所有的GPU設(shè)備分為M*N/GG個組，每個組計算同一個任務(wù)，組內(nèi)的GPU設(shè)備再進行數(shù)據(jù)劃分，數(shù)據(jù)劃分采用靜態(tài)劃分的方法。

CPU和GPU設(shè)備分組之后，就可以把任務(wù)動態(tài)分劃分給每個CPU組或GPU組，可以采用MPI通信進行劃分，由主進程進行動態(tài)的發(fā)送任務(wù)編號給各個CPU組或GPU組內(nèi)的組長，組長再把任務(wù)編號廣播給組內(nèi)的組員，然后組內(nèi)的設(shè)備同時計算，計算完畢之后即可向主進程請求下一個任務(wù)，直到所有任務(wù)計算完畢為止。