卷積神經(jīng)網(wǎng)絡(luò)中的池化方式

重疊與區(qū)域+最大與均值池化

卷積神經(jīng)網(wǎng)絡(luò)的最基本結(jié)構(gòu)有卷積層跟池化層，一般情況下，池化層的作用一般情況下就是下采樣與像素遷移不變性。根據(jù)步長區(qū)分，池化可以分為重疊池化與區(qū)域池化，圖示如下：

上面的池化都是使用窗口內(nèi)的最大值，因此又稱為最大值池化，除了最大值池化，還有均值池化可以使用，關(guān)于最大值池化與均值池化的計(jì)算方式圖示如下：

圖1

這個時候很多人會討論，均值池化與最大值池化哪種方式最好的問題，其實(shí)我只要給大家看一張圖，大家就會馬上明白，所謂最好是個無聊的問題：

圖2

可見無論是哪種池化方式都有自己的弊端！

全局池化方式

上面的池化方式主要是在卷積層中使用，在卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中還有一類池化，稱為全局池化方式，這里池化主要包括全局均值池化與全局最大池化，圖示如下：

圖3

圖4

此外還有一種相對來說比較少見的全局池化方式，它稱為：全局深度池化，假設(shè)的它輸入是圖4左側(cè)部分，則池化之后的輸出之后w跟h值仍然為6保持不變，但是深度d=1，不管之前的d值是多大，深度池化之后的d=1，全局深度池化還可以進(jìn)一步細(xì)分為全局深度均值池化與全局深度最大值池化。

變種池化方式

上面都是常用跟比較正常的池化方式，最近池化方式還產(chǎn)生一些比較特殊的池化方式。這些池化方式主要包括：

01混合池化

最大值池化主要提取最大激活，而均值池化則通過抑制最大激活來實(shí)現(xiàn)池化，這兩中方式都有弊端，為了克服這兩張池化方式的弊端，有人提出了混合池化方式，它公式表示如下：

其中參數(shù)使用隨機(jī)選擇，當(dāng)為0時候是均值池化，當(dāng)為1時候?yàn)樽畲笾党鼗?/p>

02Lp池化

通過正則化改進(jìn)比最大池化的效果要好，其公式表示如下：

當(dāng)p=1，時候它就是均值池化效果

當(dāng)p等于無窮大時候，其效果接近于最大池化效果

當(dāng)p>1 時候兼有均值池化與最大池化的效果

03世故池化

它的工作方式解析如下：

04空間金字塔池化（SPP池化）

通過池化輸出指定大小的特征向量，從而限制網(wǎng)絡(luò)輸出的大小，SPP層一般位于卷積神經(jīng)網(wǎng)絡(luò)的最后一個卷積層，通過SPP池化固定大小輸出，然后交給全鏈接層處理。SPP層池化過程圖示如下：

05ROI池化（Region of Interest Pooling）

是在RCNN系列網(wǎng)絡(luò)中使用的池化層，主要用來實(shí)現(xiàn)把不同比率或者分辨率大小的輸入特征轉(zhuǎn)換為固定大小特征。ROI Pooling圖示如下：

06MOP池化(Multi-scale order-less pooling

基于多尺度的池化方式，提升了卷積網(wǎng)絡(luò)的不變性同時沒有破壞卷積網(wǎng)絡(luò)的可鑒別性，分布從全局與局部池化中提取特征

07超像素池化（Super-pixel Pooling）

超像素本質(zhì)上是一張過度分割的圖像，一般都是基于像素分組的方式生成，圖像的超像素表示在對象檢測、語義分割、顯著性檢測、光流與深度估算、對象跟蹤上都有廣泛有用。

通過一個超像素池化網(wǎng)絡(luò)（SPN）實(shí)現(xiàn)低水平的圖像結(jié)構(gòu)提取從而提供給弱監(jiān)督情景下的圖像語義分割與學(xué)習(xí)。

08光譜池化

圖像池化不光發(fā)生在空間域，還可以通過DFT變換，在頻域空間實(shí)現(xiàn)池化。

不同的池化采樣方式得到的不同清晰度與分辨率的圖像。

09基于排名的均值池化

這種池化方式的好處事可以克服最大池化與均值池化方式的不足，公式如下：

圖示解釋如下：

更多的池化池化方式還包括行池化，基于權(quán)重的池化等，還有各種基于池化的深度神經(jīng)網(wǎng)絡(luò)，總之，選擇適合的池化方式也是一門技術(shù)活！

審核編輯：湯梓紅