結(jié)合深度學(xué)習(xí)與最新Pytorch1.0來(lái)為你細(xì)致講解

近日，在 NeurIPS 2018 大會(huì)上，F(xiàn)acebook 官方宣布 PyTorch 1.0 正式版發(fā)布了。如何用Pytorch1.0搞深度學(xué)習(xí)？對(duì)很多小白學(xué)生是個(gè)問(wèn)題。瑞士非盈利研究機(jī)構(gòu) Idiap Research Institute的研究員FRAN?OIS FLEURET開(kāi)設(shè)了一門(mén)深度學(xué)習(xí)課程(2019年秋季)，詳細(xì)結(jié)合深度學(xué)習(xí)與最新Pytorch1.0來(lái)為你細(xì)致講解，是學(xué)習(xí)Pytorch1.0深度學(xué)習(xí)不可多得的材料。

課程網(wǎng)址：

https://fleuret.org/ee559/

Francois Fleuret于2000年獲得巴黎第六大學(xué)數(shù)學(xué)博士學(xué)位，2006年獲得巴黎第十三大學(xué)數(shù)學(xué)博士學(xué)位。他是瑞士Idiap研究所計(jì)算機(jī)視覺(jué)和學(xué)習(xí)小組的負(fù)責(zé)人。在此之前，他曾在美國(guó)芝加哥大學(xué)、法國(guó)信息與自動(dòng)化研究所(INRIA)和瑞士洛桑聯(lián)邦理工學(xué)院(EPFL)任職。他是IEEE模式分析和機(jī)器智能交易的副主編，也是幾個(gè)歐洲資助機(jī)構(gòu)的專(zhuān)家。

深度學(xué)習(xí)課程概述

本課程的目標(biāo)是提供深度機(jī)器學(xué)習(xí)的完整講解。如何設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，如何訓(xùn)練它，以及有哪些現(xiàn)有技術(shù)專(zhuān)門(mén)處理非常大的網(wǎng)絡(luò)結(jié)構(gòu)。本課程旨在教授應(yīng)用問(wèn)題的深度學(xué)習(xí)方法所需的技能。

課程計(jì)劃內(nèi)容:

1. 什么是深度學(xué)習(xí)，張量介紹。

2. 基本機(jī)器學(xué)習(xí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，簡(jiǎn)單嵌入。

3. 線(xiàn)性可分性，多層感知器，反向傳播。

4. 通用網(wǎng)絡(luò)，autograd，批處理，卷積網(wǎng)絡(luò)。

5. 初始化、優(yōu)化和正則化。Dropout，激活歸一化，跳過(guò)連接。

6. 計(jì)算機(jī)視覺(jué)的深層模型。

7. 深入模型分析。

8. 自編碼器，嵌入式和生成模型。

9. 循環(huán)模型和自然語(yǔ)言處理。

10. pytorch張量，深度學(xué)習(xí)模塊，和內(nèi)部構(gòu)件。

深度學(xué)習(xí)課程導(dǎo)讀

緒論

1.1 從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)，21頁(yè)slides

1.2 當(dāng)前成功應(yīng)用的實(shí)例 22頁(yè)slides

1.3 正在發(fā)生什么？ (13頁(yè)slides)

1.4 張量基礎(chǔ)和線(xiàn)性回歸 12 頁(yè)slides

1.5 高維張量. 15頁(yè)slides

1.6 張量?jī)?nèi)部 5頁(yè)slides

2. 機(jī)器學(xué)習(xí)基礎(chǔ)

2.1 損失函數(shù)與風(fēng)險(xiǎn). 15頁(yè)slides

2.2 過(guò)擬合與欠擬合. 24頁(yè)slides

2.3 方差-偏差困境 10頁(yè)slides

2.4 合適評(píng)價(jià)方法 6頁(yè)slides

2.5 基本聚類(lèi)與嵌入方法19頁(yè)slides

3. 多層感知器和反向傳播

3.1 感知器。(幻燈片，講義- 16張)

3.2 線(xiàn)性分類(lèi)器的概率視圖。(幻燈片，講義- 8張)

3.3 線(xiàn)性可分性與特征設(shè)計(jì)。(幻燈片，講義- 10張)

3.4 多層感知器。(幻燈片，講義- 10張)

3.5 梯度下降法。(幻燈片，講義- 13張)

3.6 反向傳播。(幻燈片，講義- 11張)

4. 操作符、autograd和卷積層的圖操作

4.1 DAG網(wǎng)絡(luò)。(幻燈片，講義- 11張)

4.2 Autograd。(幻燈片，講義- 19張)

4.3 PyTorch模塊和批處理。(幻燈片，講義- 14張)

4.4 卷積。(幻燈片，講義- 23張)

4.5 池化(幻燈片，講義- 7張)

4.6 編寫(xiě)一個(gè)PyTorch模塊。(幻燈片，講義- 10張)

5.1 交叉熵?fù)p失。(幻燈片，講義- 9張)

5.3 PyTorch優(yōu)化。(幻燈片，講義- 8張)

5.3 L1和L2 懲罰項(xiàng)。(幻燈片，講義- 10張)

5.4 參數(shù)初始化。(幻燈片，講義- 22張)

5.5 網(wǎng)絡(luò)架構(gòu)選擇和訓(xùn)練協(xié)議。(幻燈片，講義- 9張)

5.6 寫(xiě)一個(gè)autograd函數(shù)。(幻燈片，講義- 7張)

6.1 深度的好處。(幻燈片，講義- 9張)

6.2 修正器。(幻燈片，講義- 7張)

6.3 Dropout (幻燈片，講義- 12張)

7.1計(jì)算機(jī)視覺(jué)任務(wù)。(幻燈片，講義- 15張)

7.2 用于圖像分類(lèi)的網(wǎng)絡(luò)。(幻燈片，講義- 36張)

7.3用于目標(biāo)檢測(cè)的網(wǎng)絡(luò)。(幻燈片，講義- 15張)

7.4 用于語(yǔ)義分割的網(wǎng)絡(luò)。(幻燈片，講義- 8張)

7.5 DataLoader和神經(jīng)。(幻燈片，講義- 13張)

8. 關(guān)鍵技巧方法處理

8.1 看參數(shù)。(幻燈片，講義- 11張)

8.2 激活。(幻燈片，講義- 21張)

8.3 可視化輸入中的處理。(幻燈片，講義- 26張)

8.4 優(yōu)化輸入。(幻燈片，講義- 25張)

9. 自編碼器和生成模型。

9.1 轉(zhuǎn)置運(yùn)算。(幻燈片，講義- 14張)

9.2 Autoencoders。(幻燈片，講義- 20張)

9.3 去噪和變分自編碼器。(幻燈片，講義- 24張)

9.4Non-volume保存網(wǎng)絡(luò)。(幻燈片，講義- 24張)

10. 生成對(duì)抗模型。

10.1 生成對(duì)抗的網(wǎng)絡(luò)。(幻燈片，講義- 29張)

10.2 Wasserstein GAN。(幻燈片，講義- 16張)

10.3 條件GAN和圖像轉(zhuǎn)換。(幻燈片，講義- 27張)

10.4 模型持久性和檢查點(diǎn)。(幻燈片，講義- 9張)

11循環(huán)模型與NLP

11.1 循環(huán)神經(jīng)網(wǎng)絡(luò)(slides,handout– 23 slides)

11.2 LSTM 和 GRU. (slides,handout– 17 slides)

11.3 Word embeddings 與translation. (slides,handout– 31 slides)

更多閱讀：

5. 初始化和優(yōu)化。

5.2 隨機(jī)梯度下降法。(幻燈片，講義- 17張)

6. 搞更深

6.4 批處理歸一化。(幻燈片，講義- 15張)

6.5 殘差網(wǎng)絡(luò)。(幻燈片，講義- 21張)

6.6 使用gpu。(幻燈片，講義- 17張)