電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程7.1之從全連接層到卷積

PyTorch教程7.1之從全連接層到卷積

339387 2023-06-05 | pdf | 0.76 MB | 次下載 | 免費

資料介紹

時至今日，我們目前討論的模型在處理表格數(shù)據(jù)時仍然是合適的選擇。通過表格，我們的意思是數(shù)據(jù)由對應于示例的行和對應于特征的列組成。對于表格數(shù)據(jù)，我們可能會預期我們尋求的模式可能涉及特征之間的相互作用，但我們不假設任何關(guān)于特征如何相互作用的先驗結(jié)構(gòu)。

有時，我們確實缺乏知識來指導更巧妙的架構(gòu)的構(gòu)建。在這些情況下，MLP 可能是我們能做的最好的。然而，對于高維感知數(shù)據(jù)，這種無結(jié)構(gòu)網(wǎng)絡可能會變得笨拙。

例如，讓我們回到我們正在運行的區(qū)分貓和狗的例子。假設我們在數(shù)據(jù)收集方面做得很徹底，收集了一個百萬像素照片的注釋數(shù)據(jù)集。這意味著網(wǎng)絡的每個輸入都有一百萬個維度。即使大幅減少到一千個隱藏維度，也需要一個完全連接的層，其特征是106×103=109 參數(shù)。除非我們有大量的 GPU、分布式優(yōu)化的人才和非凡的耐心，否則學習這個網(wǎng)絡的參數(shù)可能是不可行的。

細心的讀者可能會反對這一論點，因為百萬像素分辨率可能不是必需的。然而，雖然我們可能能夠擺脫 10 萬個像素，但我們的隱藏層大小 1000 嚴重低估了學習良好圖像表示所需的隱藏單元數(shù)量，因此實際系統(tǒng)仍需要數(shù)十億個參數(shù)。此外，通過擬合如此多的參數(shù)來學習分類器可能需要收集龐大的數(shù)據(jù)集。然而今天，人類和計算機都能夠很好地區(qū)分貓和狗，這似乎與這些直覺相矛盾。這是因為圖像展現(xiàn)出豐富的結(jié)構(gòu)，人類和機器學習模型都可以利用這些結(jié)構(gòu)。

7.1.1. 不變性

想象一下，我們想要檢測圖像中的物體。這似乎是合理的，無論我們使用什么方法來識別物體，都不應該過分關(guān)注物體在圖像中的精確位置。理想情況下，我們的系統(tǒng)應該利用這些知識。豬通常不會飛，飛機通常不會游泳。盡管如此，我們?nèi)匀粦撜J出一只豬出現(xiàn)在圖像的頂部。我們可以從兒童游戲“威利在哪里”中得到一些啟發(fā)（如圖7.1.1所示）。游戲由許多充滿活動的混亂場景組成。沃爾多出現(xiàn)在每個地方的某個地方，通常潛伏在一些不太可能的位置。讀者的目標是找到他。盡管他的著裝很有特色，但由于大量的干擾因素，這可能出奇地困難。然而，Waldo 長什么樣子并不取決于Waldo 所在的位置。我們可以使用 Waldo 檢測器掃描圖像，該檢測器可以為每個補丁分配一個分數(shù)，指示該補丁包含 Waldo 的可能性。事實上，許多目標檢測和分割算法都是基于這種方法（Long et al. , 2015）。CNN 將這種空間不變性的思想系統(tǒng)化，利用它以更少的參數(shù)學習有用的表示。

現(xiàn)在，我們可以通過列舉一些必要條件來指導我們設計適用于計算機視覺的神經(jīng)網(wǎng)絡架構(gòu)，從而使這些直覺更加具體：

在最早的層中，我們的網(wǎng)絡應該對相同的補丁做出類似的響應，無論它出現(xiàn)在圖像中的什么位置。這個原理稱為平移不變性（或平移等變性）。
網(wǎng)絡的最早層應該關(guān)注局部區(qū)域，而不考慮遠處區(qū)域的圖像內(nèi)容。這就是局部性原則。最終，可以聚合這些局部表示以在整個圖像級別進行預測。
隨著我們的進行，更深的層應該能夠捕捉圖像的更遠距離的特征，類似于自然界中更高層次的視覺。

讓我們看看這如何轉(zhuǎn)化為數(shù)學。

7.1.2. 約束 MLP

首先，我們可以考慮一個帶有二維圖像的 MLP X作為輸入及其直接隱藏的表示 H類似地表示為矩陣（它們在代碼中是二維張量），其中X和 H具有相同的形狀。讓它沉入其中。我們現(xiàn)在不僅將輸入設想為具有空間結(jié)構(gòu)，而且將隱藏表示設想為具有空間結(jié)構(gòu)。

讓[X]i,j和[H]i,j表示位置處的像素(i,j)分別在輸入圖像和隱藏表示中。因此，為了讓每個隱藏單元接收來自每個輸入像素的輸入，我們將從使用權(quán)重矩陣（就像我們之前在 MLP 中所做的那樣）切換到將我們的參數(shù)表示為四階權(quán)重張量W. 假設U包含偏差，我們可以將全連接層正式表示為

(7.1.1)[H]i,j=[U]i,j+∑k∑l[W]i,j,k,l[X]k,l=[U]i,j+∑a∑b[V]i,j,a,b[X]i+a,j+b.

從開關(guān)W到V現(xiàn)在完全是裝飾性的，因為兩個四階張量中的系數(shù)之間存在一對一的對應關(guān)系。我們只是重新索引下標(k,l)這樣k=i+a和l=j+b. 換句話說，我們設 [V]i,j,a,b=[W]i,j,i+a,j+b. 指數(shù)a和b遍歷正偏移和負偏移，覆蓋整個圖像。對于任何給定位置（i, j) 在隱藏表示中[H]i,j，我們通過對像素求和來計算它的值x, 以 (i,j)并加權(quán)