PyTorch教程簡介

1.2.1. 數(shù)據(jù)

不用說，沒有數(shù)據(jù)就無法進(jìn)行數(shù)據(jù)科學(xué)。我們可能會(huì)浪費(fèi)數(shù)百頁來思考數(shù)據(jù)到底是什么，但現(xiàn)在，我們將專注于我們將關(guān)注的數(shù)據(jù)集的關(guān)鍵屬性。通常，我們關(guān)注示例的集合。為了有效地處理數(shù)據(jù)，我們通常需要提出合適的數(shù)字表示。每個(gè)示例（或數(shù)據(jù)點(diǎn)、數(shù)據(jù)實(shí)例、樣本）通常由一組稱為特征的屬性（有時(shí)稱為協(xié)變量或 輸入)，模型必須基于此做出預(yù)測。在監(jiān)督學(xué)習(xí)問題中，我們的目標(biāo)是預(yù)測一個(gè)特殊屬性的值，稱為標(biāo)簽（或目標(biāo)），它不是模型輸入的一部分。

如果我們處理的是圖像數(shù)據(jù)，則每個(gè)示例都可能包含一張單獨(dú)的照片（特征）和一個(gè)指示照片所屬類別的數(shù)字（標(biāo)簽）。照片將以數(shù)字方式表示為三個(gè)數(shù)值網(wǎng)格，代表每個(gè)像素位置的紅光、綠光和藍(lán)光的亮度。例如，一個(gè)\(200\times 200\)彩色照片將包括\(200\times200\times3=120000\)數(shù)值。

或者，我們可以使用電子健康記錄數(shù)據(jù)來處理預(yù)測給定患者在接下來 30 天內(nèi)存活的可能性的任務(wù)。在這里，我們的特征可能包括一組現(xiàn)成的屬性和經(jīng)常記錄的測量值，包括年齡、生命體征、合并癥、當(dāng)前藥物治療和最近的程序。可用于訓(xùn)練的標(biāo)簽將是一個(gè)二進(jìn)制值，指示歷史數(shù)據(jù)中的每個(gè)患者是否在 30 天窗口內(nèi)存活。

在這種情況下，當(dāng)每個(gè)示例都具有相同數(shù)量的數(shù)字特征時(shí)，我們說輸入是固定長度的向量，我們將向量的（恒定）長度稱為數(shù)據(jù)的維度。正如您想象的那樣，固定長度的輸入可能很方便，讓我們不必?fù)?dān)心那么復(fù)雜。但是，并非所有數(shù)據(jù)都可以輕松表示為固定長度向量。雖然我們可能期望顯微鏡圖像來自標(biāo)準(zhǔn)設(shè)備，但我們不能期望從 Internet 中提取的圖像都以相同的分辨率或形狀顯示。對于圖像，我們可能會(huì)考慮將它們?nèi)坎眉魹闃?biāo)準(zhǔn)尺寸，但該策略只能讓我們走到這一步。我們冒著丟失裁剪部分信息的風(fēng)險(xiǎn)。此外，文本數(shù)據(jù)更頑固地抵制固定長度的表示。考慮在亞馬遜、IMDb 和 TripAdvisor 等電子商務(wù)網(wǎng)站上留下的客戶評論。有些很短：“它很臭！”。其他人漫不經(jīng)心地尋找頁面。與傳統(tǒng)方法相比，深度學(xué)習(xí)的一大優(yōu)勢是現(xiàn)代模型可以相對優(yōu)雅地處理變長數(shù)據(jù)。

通常，我們擁有的數(shù)據(jù)越多，我們的工作就越容易。當(dāng)我們擁有更多數(shù)據(jù)時(shí)，我們可以訓(xùn)練更強(qiáng)大的模型，減少對先入為主的假設(shè)的依賴。從（相對）小數(shù)據(jù)到大數(shù)據(jù)的機(jī)制變化是現(xiàn)代深度學(xué)習(xí)成功的主要貢獻(xiàn)者。為了說明這一點(diǎn)，深度學(xué)習(xí)中許多最令人興奮的模型如果沒有大型數(shù)據(jù)集就無法工作。其他一些在小數(shù)據(jù)領(lǐng)域工作，但并不比傳統(tǒng)方法好。

最后，擁有大量數(shù)據(jù)并巧妙地處理數(shù)據(jù)是不夠的。我們需要正確的數(shù)據(jù)。如果數(shù)據(jù)充滿錯(cuò)誤，或者如果所選特征不能預(yù)測感興趣的目標(biāo)數(shù)量，學(xué)習(xí)就會(huì)失敗。陳詞濫調(diào)很好地描述了這種情況：垃圾進(jìn)，垃圾出. 此外，糟糕的預(yù)測性能并不是唯一的潛在后果。在機(jī)器學(xué)習(xí)的敏感應(yīng)用中，例如預(yù)測性監(jiān)管、簡歷篩選和用于貸款的風(fēng)險(xiǎn)模型，我們必須特別警惕垃圾數(shù)據(jù)的后果。一種常見的故障模式發(fā)生在訓(xùn)練數(shù)據(jù)中沒有代表某些人群的數(shù)據(jù)集中。想象一下，在以前從未見過黑色皮膚的野外應(yīng)用皮膚癌識(shí)別系統(tǒng)。當(dāng)數(shù)據(jù)不僅不能充分代表某些群體而且反映了社會(huì)偏見時(shí)，也可能會(huì)失敗。例如，如果過去的招聘決定被用來訓(xùn)練一個(gè)用于篩選簡歷的預(yù)測模型，那么機(jī)器學(xué)習(xí)模型可能會(huì)無意中捕捉到歷史上的不公正現(xiàn)象并將其自動(dòng)化。

1.2.2. 楷模

大多數(shù)機(jī)器學(xué)習(xí)都涉及在某種意義上轉(zhuǎn)換數(shù)據(jù)。我們可能想要構(gòu)建一個(gè)系統(tǒng)來攝取照片并預(yù)測笑臉。或者，我們可能想要獲取一組傳感器讀數(shù)并預(yù)測讀數(shù)的正常與異常程度。按 型號(hào)，我們表示用于攝取一種類型的數(shù)據(jù)并吐出可能不同類型的預(yù)測的計(jì)算機(jī)器。特別是，我們對可以從數(shù)據(jù)中估計(jì)的統(tǒng)計(jì)模型感興趣。雖然簡單的模型完全能夠解決適當(dāng)?shù)暮唵螁栴}，但我們在本書中關(guān)注的問題超出了經(jīng)典方法的局限性。深度學(xué)習(xí)與經(jīng)典方法的區(qū)別主要在于它關(guān)注的一組強(qiáng)大模型。這些模型由許多連續(xù)的數(shù)據(jù)轉(zhuǎn)換組成，這些數(shù)據(jù)從上到下鏈接在一起，因此得名深度學(xué)習(xí)。在討論深度模型的過程中，我們還將討論一些更傳統(tǒng)的方法。

1.2.3. 目標(biāo)函數(shù)

早些時(shí)候，我們將機(jī)器學(xué)習(xí)介紹為從經(jīng)驗(yàn)中學(xué)習(xí)。通過 在這里學(xué)習(xí)，我們的意思是隨著時(shí)間的推移在某些任務(wù)上有所改進(jìn)。但是誰能說什么是改進(jìn)呢？您可能會(huì)想象我們可以提議更新我們的模型，而有些人可能不同意提議的更新是改進(jìn)還是下降。

為了開發(fā)一個(gè)正式的學(xué)習(xí)機(jī)器數(shù)學(xué)系統(tǒng)，我們需要對我們的模型有多好（或多壞）有正式的衡量標(biāo)準(zhǔn)。在機(jī)器學(xué)習(xí)和更一般的優(yōu)化中，我們稱這些 為目標(biāo)函數(shù)。按照慣例，我們通常將目標(biāo)函數(shù)定義為越低越好。這只是一個(gè)慣例。您可以采用任何越高越好的函數(shù)，并通過翻轉(zhuǎn)符號(hào)將其轉(zhuǎn)換為質(zhì)量相同但越低越好的新函數(shù)。因?yàn)樵降驮胶茫@些函數(shù)有時(shí)被稱為損失函數(shù)。

當(dāng)嘗試預(yù)測數(shù)值時(shí)，最常見的損失函數(shù)是平方誤差，即預(yù)測值與真實(shí)目標(biāo)之間的差值的平方。對于分類，最常見的目標(biāo)是最小化錯(cuò)誤率，即我們的預(yù)測與基本事實(shí)不一致的示例部分。一些目標(biāo)（例如，平方誤差）易于優(yōu)化，而其他目標(biāo)（例如，錯(cuò)誤率）由于不可微性或其他復(fù)雜性而難以直接優(yōu)化。在這些情況下，通常會(huì)優(yōu)化替代目標(biāo)。

在優(yōu)化過程中，我們將損失視為模型參數(shù)的函數(shù)，并將訓(xùn)練數(shù)據(jù)集視為常數(shù)。我們通過最小化由為訓(xùn)練收集的一些示例組成的集合所產(chǎn)生的損失來學(xué)習(xí)模型參數(shù)的最佳值。然而，在訓(xùn)練數(shù)據(jù)上做得很好并不能保證我們在看不見的數(shù)據(jù)上也會(huì)做得很好。因此，我們通常希望將可用數(shù)據(jù)分成兩個(gè)部分：訓(xùn)練數(shù)據(jù)集（或訓(xùn)練集），用于學(xué)習(xí)模型參數(shù)；和測試數(shù)據(jù)集（或測試集), 用于評估。在一天結(jié)束時(shí)，我們通常會(huì)報(bào)告我們的模型在兩個(gè)分區(qū)上的表現(xiàn)。您可以將培訓(xùn)績效視為類似于學(xué)生在用于準(zhǔn)備某些實(shí)際期末考試的練習(xí)考試中取得的分?jǐn)?shù)。即使結(jié)果令人鼓舞，也不能保證在期末考試中取得成功。在學(xué)習(xí)過程中，學(xué)生可能會(huì)開始背誦練習(xí)題，看似掌握了主題，但在面對實(shí)際期末考試中以前沒見過的問題時(shí)卻步履蹣跚。當(dāng)一個(gè)模型在訓(xùn)練集上表現(xiàn)良好但無法泛化到看不見的數(shù)據(jù)時(shí)，我們說它對訓(xùn)練數(shù)據(jù)過度擬合。

1.2.4. 優(yōu)化算法

一旦我們獲得了一些數(shù)據(jù)源和表示、模型和定義明確的目標(biāo)函數(shù)，我們就需要一種能夠搜索最佳參數(shù)以最小化損失函數(shù)的算法。流行的深度學(xué)習(xí)優(yōu)化算法基于一種稱為梯度下降的方法。簡而言之，在每個(gè)步驟中，此方法都會(huì)檢查每個(gè)參數(shù)，以查看如果您對該參數(shù)進(jìn)行少量擾動(dòng)，訓(xùn)練集損失將以何種方式移動(dòng)。然后它在降低損失的方向上更新參數(shù)。

1.3.1. 監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)描述的任務(wù)是給定一個(gè)包含特征和標(biāo)簽的數(shù)據(jù)集，并負(fù)責(zé)生成一個(gè)模型來預(yù)測給定輸入特征的標(biāo)簽。每個(gè)特征-標(biāo)簽對稱為一個(gè)示例。有時(shí)，當(dāng)上下文清楚時(shí)，我們可以使用術(shù)語示例引用一組輸入，即使相應(yīng)的標(biāo)簽未知。監(jiān)督發(fā)揮作用是因?yàn)闉榱诉x擇參數(shù)，我們（監(jiān)督者）為模型提供了一個(gè)由標(biāo)記示例組成的數(shù)據(jù)集。在概率方面，我們通常對估計(jì)給定輸入特征的標(biāo)簽的條件概率感興趣。雖然它只是機(jī)器學(xué)習(xí)中的幾種范式之一，但監(jiān)督學(xué)習(xí)占機(jī)器學(xué)習(xí)在工業(yè)中的大部分成功應(yīng)用。部分原因是，許多重要任務(wù)可以清晰地描述為在給定一組特定的可用數(shù)據(jù)的情況下估計(jì)未知事物的概率：

• 根據(jù)計(jì)算機(jī)斷層掃描圖像預(yù)測癌癥與非癌癥。

• 給出英語句子，預(yù)測正確的法語翻譯。

• 根據(jù)本月的財(cái)務(wù)報(bào)告數(shù)據(jù)預(yù)測下個(gè)月的股票價(jià)格。

雖然所有監(jiān)督學(xué)習(xí)問題都被簡單描述“預(yù)測給定輸入特征的標(biāo)簽”所捕獲，但監(jiān)督學(xué)習(xí)可以采取多種形式并需要大量建模決策，具體取決于（除其他考慮因素外）輸入的類型、大小和數(shù)量和輸出。例如，我們使用不同的模型來處理任意長度的序列和處理固定長度的向量表示。我們將在本書中深入探討其中的許多問題。

非正式地，學(xué)習(xí)過程如下所示。首先，獲取大量特征已知的示例，并從中隨機(jī)選擇一個(gè)子集，為每個(gè)示例獲取真實(shí)標(biāo)簽。有時(shí)這些標(biāo)簽可能是已經(jīng)收集到的可用數(shù)據(jù)（例如，患者是否在下一年內(nèi)死亡？），而其他時(shí)候我們可能需要使用人工注釋器來標(biāo)記數(shù)據(jù)（例如，將圖像分配給類別）。這些輸入和相應(yīng)的標(biāo)簽一起構(gòu)成了訓(xùn)練集。我們將訓(xùn)練數(shù)據(jù)集輸入監(jiān)督學(xué)習(xí)算法，該算法將數(shù)據(jù)集作為輸入并輸出另一個(gè)函數(shù)：學(xué)習(xí)模型。最后，我們可以將以前看不見的輸入提供給學(xué)習(xí)模型，使用其輸出作為相應(yīng)標(biāo)簽的預(yù)測。圖 1.3.1。

圖 1.3.1監(jiān)督學(xué)習(xí)。