OpenCL編程語言可以幫助我們使用GPU或者多核處理器的并行能力

一、并行處理

所謂并行處理就是同時(shí)處理多個(gè)計(jì)算程序，應(yīng)用程序處理器典型的設(shè)計(jì)是使用單線程盡可能快的去執(zhí)行應(yīng)用程序，這種類型的處理器通常包含標(biāo)量操作單元和程序控制器。GPU是被設(shè)計(jì)用來同時(shí)執(zhí)行大量線程的處理器，GPU處理器的典型設(shè)計(jì)是使用多處理器并行的處理多個(gè)任務(wù)。

OpenCL編程語言可以幫助我們使用GPU或者多核處理器的并行能力。OpenCL是一種開放標(biāo)準(zhǔn)的變成語言，它能夠使開發(fā)者在GPU或者其他類型的多核處理器上運(yùn)行通用計(jì)算任務(wù)。

二、并行類型

1.數(shù)據(jù)并行

數(shù)據(jù)并行，任務(wù)并行和流水線(pipelines)并行是主要的并行類型。

數(shù)據(jù)并行是將數(shù)據(jù)劃分為不同的數(shù)據(jù)元素或者數(shù)據(jù)塊，使得處理器可以并行的處理不同的數(shù)據(jù)元素。多個(gè)處理器可以同時(shí)的讀寫和處理不同的數(shù)據(jù)。因此數(shù)據(jù)并行要求數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)可以滿足多個(gè)處理器同時(shí)讀寫的要求。GPU進(jìn)行通用計(jì)算，最典型的應(yīng)用便是數(shù)據(jù)并行。通過OpenCL等編程語言可以很輕松的實(shí)現(xiàn)不同的線程以相同的方式處理不同的數(shù)據(jù)。如下圖所示：可以使用9個(gè)線程，同時(shí)完成9組數(shù)據(jù)的相加。

2.任務(wù)并行

任務(wù)并行，是指一個(gè)任務(wù)被分解為多個(gè)小任務(wù)，由多個(gè)處理器同時(shí)處理。任務(wù)并行的一個(gè)簡(jiǎn)單例子便是在網(wǎng)頁上播放一段視頻，為了能夠在網(wǎng)頁上播放視頻，我們的設(shè)備需要做如下幾個(gè)任務(wù)：

運(yùn)行一個(gè)執(zhí)行通信的網(wǎng)絡(luò)堆棧

從外部服務(wù)器請(qǐng)求數(shù)據(jù)

分析數(shù)據(jù)

解碼視頻數(shù)據(jù)

解碼音頻數(shù)據(jù)

渲染視頻幀數(shù)據(jù)

播放音頻數(shù)據(jù)

下圖顯示了播放在線視頻的時(shí)候應(yīng)用程序同時(shí)操作的系統(tǒng)；

3.流水線并行

流水線是通過多個(gè)不同的計(jì)算階段處理數(shù)據(jù)，在流水線上多個(gè)階段可以同時(shí)操作，但是他們操作的是不同的數(shù)據(jù)。流水線通常擁有相當(dāng)少的階段。下面是一個(gè)關(guān)于流水線的例子，一個(gè)錄像程序必須執(zhí)行的幾個(gè)階段：

從圖像傳感器捕捉圖像數(shù)據(jù)，并且計(jì)算亮度級(jí)別

根據(jù)鏡頭效果修正圖像數(shù)據(jù)

修正圖像數(shù)據(jù)的對(duì)比度，色彩平衡和曝光

壓縮圖像數(shù)據(jù)

將圖像數(shù)據(jù)添加到視頻文件

將視頻數(shù)據(jù)寫入存儲(chǔ)器

這些階段必須按照順序執(zhí)行，但是他們可以同時(shí)在視頻中的不同幀上執(zhí)行。

我們將6個(gè)處理階段，對(duì)應(yīng)6中顏色，分別表示6個(gè)處理單元：

按照串行的處理方式，處理一幀圖像需要串行的經(jīng)過6個(gè)處理單元，假設(shè)需要300us的延遲，每一個(gè)處理單元消耗50us。這是一種組合邏輯的實(shí)現(xiàn)過程，我們只需要每300us輸入一幀圖像即可，不需要在處理單元內(nèi)部做同步。

如果使用流水線技術(shù)，那么處理流程將完全不同，流水線技術(shù)是一種指令疊加技術(shù)，能夠增加系統(tǒng)的吞吐量，但是同時(shí)會(huì)帶來每一幀數(shù)據(jù)的處理延遲會(huì)增加。具體處理流程如下圖所示：

圖中給出了A、B、C三幀數(shù)據(jù)的處理流程；當(dāng)A進(jìn)入第二階段的時(shí)候，B便可以進(jìn)入第一階段，當(dāng)B進(jìn)入第二階段的時(shí)候，C便可以進(jìn)入第一階段，以此類推；但是需要注意的是，我們需要在每一個(gè)階段的結(jié)束位置添加寄存器，用于數(shù)據(jù)同步。假設(shè)寄存器延遲為20us(請(qǐng)忽略單位，寄存器延遲不會(huì)達(dá)到us級(jí)別，為了計(jì)算方便這里做了不合實(shí)際的假設(shè))。那么處理3幀數(shù)據(jù)，需要消耗的時(shí)間為：

8×(50 + 20) = 560 us;

而串行處理方式需要消耗300 × 3 = 900 us；但是不使用流水線獲取每一幀數(shù)據(jù)輸入到輸出的延遲為300us，而加入流水線技術(shù)后，獲取數(shù)據(jù)的延遲為420us。

不使用流水線時(shí)，系統(tǒng)的吞吐量為：1/300；使用流水線后，系統(tǒng)的吞吐量為：3/420= 1/140；可以看到系統(tǒng)的吞吐量增加了2.14倍（注：吞吐量的計(jì)算忽略單位，倍數(shù)的計(jì)算是準(zhǔn)確的）。所以通過使用流水線技術(shù)可以顯著增加系統(tǒng)的吞吐量，但是會(huì)增加系統(tǒng)的延遲。

但是流水線在使用過程中也存在弊端，以上的任務(wù)劃分是均分的，但是在實(shí)際使用中，由于任務(wù)劃分的不均勻，會(huì)造成流水線產(chǎn)生不同的延遲，不合理的階段劃分，很容易導(dǎo)致流水線阻塞，造成性能降低。

三.混合使用不同的并行方式及其并行加速限制

在具體的應(yīng)用中可以綜合使用不同的并行方式，例如在一個(gè)音頻分析的應(yīng)用中，就可以同時(shí)使用以上三種并行方式。

可以使用任務(wù)并行來獨(dú)立的計(jì)算音符

使用音頻生成流水線和處理模塊來創(chuàng)造獨(dú)特的音符

在流水線內(nèi)部，一些處理階段可以使用數(shù)據(jù)并行來加速計(jì)算

但同時(shí)并行加速也有他的限制，假設(shè)你的應(yīng)用程序能夠完全并行化，那么使用10個(gè)處理器來執(zhí)行，可以將程序性能提升10倍，但是很少有應(yīng)用程序可以完全并行化，程序中很大可能會(huì)存在串行部分，而串行部分則會(huì)限制程序的并行化數(shù)量。

Amdahl定律描述了并行程序可以實(shí)現(xiàn)的最大加速，Amdahl定律的公式如下：

Speedup = 1/(s + p / n);其中，s表示應(yīng)用程序中串行的部分，p表示應(yīng)用程序中并行的部分，n表述處理器的數(shù)量。

下圖展示了不同數(shù)量的處理器對(duì)串行比例不同的應(yīng)用程序所能提供的加速比率變化曲線：

在后續(xù)的文章中會(huì)更加細(xì)致的介紹如何使用OpenCL在移動(dòng)端GPU上對(duì)應(yīng)用程序進(jìn)行并行化。