0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

1*1卷積核是什么?如何理解1*1卷積的原理?

Dbwd_Imgtec ? 來源:未知 ? 作者:胡薇 ? 2018-08-24 11:10 ? 次閱讀

我們都知道,卷積核的作用在于特征的抽取,越是大的卷積核尺寸就意味著更大的感受野,當(dāng)然隨之而來的是更多的參數(shù)。早在1998年,LeCun大神發(fā)布的LetNet-5模型中就會出,圖像空域內(nèi)具有局部相關(guān)性,卷積的過程是對局部相關(guān)性的一種抽取。但是在學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的過程中,我們常常會看到一股清流般的存在—1*1的卷積!

比如在殘差網(wǎng)絡(luò)的直連里:

殘差網(wǎng)絡(luò)的Bootleneck殘差模塊里:

在GoogleNet的Inception模塊里:

都有1*1卷積核的出現(xiàn),那么它到底是做什么的?我們應(yīng)該如何理解1*1卷積的原理?

當(dāng)1*1卷積出現(xiàn)時,在大多數(shù)情況下它作用是升/降特征的維度,這里的維度指的是通道數(shù)(厚度),而不改變圖片的寬和高。

舉個例子,比如某次卷積之后的結(jié)果是W*H*6的特征,現(xiàn)在需要用1*1的卷積核將其降維成W*H*5,即6個通道變成5個通道:如下圖就是一個W*H*6的特征,而1*1的卷積核在圖上標(biāo)出,卷積核自身的厚度也是6(圖畫的好難看!!)

通過一次卷積操作,W*H*6將變?yōu)閃*H*1,這樣的話,使用5個1*1的卷積核,顯然可以卷積出5個W*H*1,再做通道的串接操作,就實現(xiàn)了W*H*5。在這里先計算一下參數(shù)數(shù)量,一遍后面說明,5個卷積核,每個卷積核的尺寸是1*1*6,也就是一種有30個參數(shù)。

我們還可以用另一種角度去理解1*1卷積,可以把它看成是一種全連接,如下圖:

第一層有6個神經(jīng)元,分別是a1—a6,通過全連接之后變成5個,分別是b1—b5,第一層的六個神經(jīng)元要和后面五個實現(xiàn)全連接,本圖中只畫了a1—a6連接到b1的示意,可以看到,在全連接層b1其實是前面6個神經(jīng)元的加權(quán)和,權(quán)對應(yīng)的就是w1—w6,到這里就很清晰了:第一層的6個神經(jīng)元其實就相當(dāng)于輸入特征里面那個通道數(shù):6,而第二層的5個神經(jīng)元相當(dāng)于1*1卷積之后的新的特征通道數(shù):5。w1—w6是一個卷積核的權(quán)系數(shù),如何要計算b2—b5,顯然還需要4個同樣尺寸的核。

最后一個問題,圖像的一層相比于神經(jīng)元還是有區(qū)別的,這在于是一個2D矩陣還是一個數(shù)字,但是即便是一個2D矩陣的話也還是只需要一個參數(shù)(1*1的核),這就是因為參數(shù)的權(quán)值共享。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4798

    瀏覽量

    102482
  • 卷積
    +關(guān)注

    關(guān)注

    0

    文章

    95

    瀏覽量

    18675

原文標(biāo)題:如何理解卷積神經(jīng)網(wǎng)絡(luò)中的1*1卷積?

文章出處:【微信號:Imgtec,微信公眾號:Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏

    評論

    相關(guān)推薦
    熱點推薦

    一文解析改進(jìn)SSD的輕量化視頻煙火檢測算法

    SSD算法使用改進(jìn)的VGG16 網(wǎng)絡(luò)模型作為骨干網(wǎng)絡(luò)[13]。考慮到全連接層會干擾模型對特征位置信息的提取,將VGG16網(wǎng)絡(luò)中的兩個全連接層FC6和FC7替換為3×3卷積1×1卷積。
    發(fā)表于 09-14 10:17 ?2114次閱讀

    TCPIP詳解 1協(xié)議

    TCPIP詳解 1協(xié)議
    發(fā)表于 09-28 12:45

    6678卷積

    在ccs5.5下面是否有6678的卷積庫,如沒有在哪里可以下載?
    發(fā)表于 06-21 08:00

    2D卷積的行緩沖區(qū)的延遲是多少?

    大家好,我正在Xilinx Artix FPGA上實現(xiàn)一個應(yīng)用于128x128輸入圖像的并行流水線5x5卷積器。輸入像素通過行緩沖器從外部存儲器流式傳輸。行緩沖區(qū)存儲前4個完整圖像行,然后開始每個
    發(fā)表于 05-18 09:52

    卷積神經(jīng)網(wǎng)絡(luò)—深度卷積網(wǎng)絡(luò):實例探究及學(xué)習(xí)總結(jié)

    《深度學(xué)習(xí)工程師-吳恩達(dá)》03卷積神經(jīng)網(wǎng)絡(luò)—深度卷積網(wǎng)絡(luò):實例探究 學(xué)習(xí)總結(jié)
    發(fā)表于 05-22 17:15

    《TCP-IP詳解_1_協(xié)議》

    《TCP-IP詳解_1_協(xié)議》
    發(fā)表于 03-24 22:45 ?50次下載

    電力系統(tǒng)1補(bǔ)充

    頁面提取自- _中國電力百科全書--電力系統(tǒng)1補(bǔ)充.pdf
    發(fā)表于 11-08 12:23 ?0次下載

    計算機(jī)程序設(shè)計藝術(shù) (含第1,第2,第3 基本算法)

    計算機(jī)程序設(shè)計藝術(shù) (含第1,第2,第3 基本算法)是國內(nèi)外業(yè)界廣泛關(guān)注的7本《計算機(jī)程序設(shè)計藝術(shù)》第
    發(fā)表于 10-24 13:50 ?0次下載
    計算機(jī)程序設(shè)計藝術(shù) (含第<b class='flag-5'>1</b><b class='flag-5'>卷</b>,第2<b class='flag-5'>卷</b>,第3<b class='flag-5'>卷</b> 基本算法)

    TCP:傳輸控制協(xié)議_1

    學(xué)習(xí)TCP-IP的很好的書。TCP-IP詳解1。
    發(fā)表于 05-10 15:44 ?0次下載

    IGMP:Internet組管理協(xié)議_1

    學(xué)習(xí)TCP-IP的很好的書。TCP-IP詳解1。
    發(fā)表于 05-10 15:44 ?0次下載

    TCP的超時與重傳_1

    學(xué)習(xí)TCP-IP的很好的書。TCP-IP詳解1。
    發(fā)表于 05-10 15:44 ?0次下載

    使用ADSP-2100系列第1

    使用ADSP-2100系列第1
    發(fā)表于 04-13 10:21 ?7次下載
    使用ADSP-2100系列第<b class='flag-5'>1</b><b class='flag-5'>卷</b>

    使用ADSP-2100系列第1

    使用ADSP-2100系列第1
    發(fā)表于 06-17 09:44 ?1次下載
    使用ADSP-2100系列第<b class='flag-5'>1</b><b class='flag-5'>卷</b>

    卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測中的YOLO算法詳解

    我們的檢測網(wǎng)絡(luò)有24個卷積層,其次是2個全連接層。交替1x1卷積層減少了前面層的特征空間。我們在ImageNet分類任務(wù)上以一半的分辨率(224x224的輸入圖像)預(yù)訓(xùn)練卷積層,然后將
    發(fā)表于 04-26 10:30 ?3770次閱讀
    <b class='flag-5'>卷積</b>神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測中的YOLO算法詳解

    卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)示例

    分類。 1. 卷積神經(jīng)網(wǎng)絡(luò)的基本概念 1.1 卷積層(Convolutional Layer) 卷積層是CNN中的核心組件,用于提取圖像特征。卷積
    的頭像 發(fā)表于 07-03 10:51 ?669次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品