如何估算深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率（附代碼教程） - 全文

學(xué)習(xí)率（learning rate）是調(diào)整深度神經(jīng)網(wǎng)絡(luò)最重要的超參數(shù)之一，本文作者Pavel Surmenok描述了一個(gè)簡單而有效的辦法來幫助你找尋合理的學(xué)習(xí)率。

我正在舊金山大學(xué)的 fast.ai 深度學(xué)習(xí)課程中學(xué)習(xí)相關(guān)知識。目前這門課程還沒有對公眾開放，但是現(xiàn)在網(wǎng)絡(luò)上有去年的版本。

學(xué)習(xí)率如何影響訓(xùn)練？

深度學(xué)習(xí)模型通常由隨機(jī)梯度下降算法進(jìn)行訓(xùn)練。隨機(jī)梯度下降算法有許多變形：例如 Adam、RMSProp、Adagrad 等等。這些算法都需要你設(shè)置學(xué)習(xí)率。學(xué)習(xí)率決定了在一個(gè)小批量（mini-batch）中權(quán)重在梯度方向要移動(dòng)多遠(yuǎn)。

如果學(xué)習(xí)率很低，訓(xùn)練會(huì)變得更加可靠，但是優(yōu)化會(huì)耗費(fèi)較長的時(shí)間，因?yàn)槌驌p失函數(shù)最小值的每個(gè)步長很小。

如果學(xué)習(xí)率很高，訓(xùn)練可能根本不會(huì)收斂，甚至?xí)l(fā)散。權(quán)重的改變量可能非常大，使得優(yōu)化越過最小值，使得損失函數(shù)變得更糟。

訓(xùn)練應(yīng)當(dāng)從相對較大的學(xué)習(xí)率開始。這是因?yàn)樵陂_始時(shí)，初始的隨機(jī)權(quán)重遠(yuǎn)離最優(yōu)值。在訓(xùn)練過程中，學(xué)習(xí)率應(yīng)當(dāng)下降，以允許細(xì)粒度的權(quán)重更新。

有很多方式可以為學(xué)習(xí)率設(shè)置初始值。一個(gè)簡單的方案就是嘗試一些不同的值，看看哪個(gè)值能夠讓損失函數(shù)最優(yōu)，且不損失訓(xùn)練速度。我們可以從 0.1 這樣的值開始，然后再指數(shù)下降學(xué)習(xí)率，比如 0.01，0.001 等等。當(dāng)我們以一個(gè)很大的學(xué)習(xí)率開始訓(xùn)練時(shí)，在起初的幾次迭代訓(xùn)練過程中損失函數(shù)可能不會(huì)改善，甚至?xí)龃?。?dāng)我們以一個(gè)較小的學(xué)習(xí)率進(jìn)行訓(xùn)練時(shí)，損失函數(shù)的值會(huì)在最初的幾次迭代中從某一時(shí)刻開始下降。這個(gè)學(xué)習(xí)率就是我們能用的最大值，任何更大的值都不能讓訓(xùn)練收斂。不過，這個(gè)初始學(xué)習(xí)率也過大了：它不足以訓(xùn)練多個(gè) epoch，因?yàn)殡S著時(shí)間的推移網(wǎng)絡(luò)將需要更加細(xì)粒度的權(quán)重更新。因此，開始訓(xùn)練的合理學(xué)習(xí)率可能需要降低 1-2 個(gè)數(shù)量級。

一定有更好的方法

Leslie N. Smith?在 2015 年的論文「Cyclical Learning Rates for Training Neural Networks」的第 3.3 節(jié)，描述了一種為神經(jīng)網(wǎng)絡(luò)選擇一系列學(xué)習(xí)率的強(qiáng)大方法。

訣竅就是從一個(gè)低學(xué)習(xí)率開始訓(xùn)練網(wǎng)絡(luò)，并在每個(gè)批次中指數(shù)提高學(xué)習(xí)率。

在每個(gè)小批量處理后提升學(xué)習(xí)率

為每批樣本記錄學(xué)習(xí)率和訓(xùn)練損失。然后，根據(jù)損失和學(xué)習(xí)率畫圖。典型情況如下：

一開始，損失下降，然后訓(xùn)練過程開始發(fā)散

首先，學(xué)習(xí)率較低，損失函數(shù)值緩慢改善，然后訓(xùn)練加速，直到學(xué)習(xí)速度變得過高導(dǎo)致?lián)p失函數(shù)值增加：訓(xùn)練過程發(fā)散。

我們需要在圖中找到一個(gè)損失函數(shù)值降低得最快的點(diǎn)。在這個(gè)例子中，當(dāng)學(xué)習(xí)率在 0.001 和 0.01 之間，損失函數(shù)快速下降。

另一個(gè)方式是觀察計(jì)算損失函數(shù)變化率（也就是損失函數(shù)關(guān)于迭代次數(shù)的導(dǎo)數(shù)），然后以學(xué)習(xí)率為 x 軸，以變化率為 y 軸畫圖。

損失函數(shù)的變化率

上圖看起來噪聲太大，讓我們使用簡單移動(dòng)平均線（SMA）來做平緩化處理。

使用 SMA 平緩化處理后的損失函數(shù)變化率

這樣看起來就好多了。在這個(gè)圖中，我們需要找到最小值位置?？雌饋恚咏趯W(xué)習(xí)率為 0.01 這個(gè)位置。

實(shí)現(xiàn)代碼教程

Jeremy Howard 和他在 USF 數(shù)據(jù)研究所的團(tuán)隊(duì)開發(fā)了 fast.ai。這是一個(gè)基于 PyTorch 的高級抽象的深度學(xué)習(xí)庫。fast.ai 是一個(gè)簡單而強(qiáng)大的工具集，可以用于訓(xùn)練最先進(jìn)的深度學(xué)習(xí)模型。Jeremy 在他最新的深度學(xué)習(xí)課程（）中使用了這個(gè)庫。

fast.ai 提供了學(xué)習(xí)率搜索器的一個(gè)實(shí)現(xiàn)。你只需要寫幾行代碼就能繪制模型的損失函數(shù)-學(xué)習(xí)率的圖像（來自 GitHub：plot_loss.py）：

# learn is an instance of Learnerclass or one of derived classes like ConvLearner

learn.lr_find()

learn.sched.plot_lr()

庫中并沒有提供代碼繪制損失函數(shù)變化率的圖像，但計(jì)算起來非常簡單（plot_change_loss.py）：

def plot_loss_change(sched, sma=1, n_skip=20, y_lim=(-0.01,0.01)):

"""

Plots rate of change of the loss function.

Parameters:

sched - learning rate scheduler, an instance of LR_Finder class.

sma - number of batches for simple moving average to smooth out the curve.

n_skip - number of batches to skip on the left.

y_lim - limits for the y axis.

"""

derivatives = [0] * (sma + 1)

for i in range(1 + sma, len(learn.sched.lrs)):

derivative = (learn.sched.losses[i] - learn.sched.losses[i - sma]) / sma

derivatives.append(derivative)

plt.ylabel("d/loss")

plt.xlabel("learning rate (log scale)")

plt.plot(learn.sched.lrs[n_skip:], derivatives[n_skip:])

plt.xscale('log')

plt.ylim(y_lim)

plot_loss_change(learn.sched, sma=20)

請注意：只在訓(xùn)練之前選擇一次學(xué)習(xí)率是不夠的。訓(xùn)練過程中，最優(yōu)學(xué)習(xí)率會(huì)隨著時(shí)間推移而下降。你可以定期重新運(yùn)行相同的學(xué)習(xí)率搜索程序，以便在訓(xùn)練的稍后時(shí)間查找學(xué)習(xí)率。

使用其他庫實(shí)現(xiàn)本方案

我還沒有準(zhǔn)備好將這種學(xué)習(xí)率搜索方法應(yīng)用到諸如 Keras 等其他庫中，但這應(yīng)該不是什么難事。只需要做到：

多次運(yùn)行訓(xùn)練，每次只訓(xùn)練一個(gè)小批量；

在每次分批訓(xùn)練之后通過乘以一個(gè)小的常數(shù)的方式增加學(xué)習(xí)率；

當(dāng)損失函數(shù)值高于先前觀察到的最佳值時(shí)，停止程序。（例如，可以將終止條件設(shè)置為「當(dāng)前損失 > *4 最佳損失」）

學(xué)習(xí)計(jì)劃

選擇學(xué)習(xí)率的初始值只是問題的一部分。另一個(gè)需要優(yōu)化的是學(xué)習(xí)計(jì)劃（learning schedule）：如何在訓(xùn)練過程中改變學(xué)習(xí)率。傳統(tǒng)的觀點(diǎn)是，隨著時(shí)間推移學(xué)習(xí)率要越來越低，而且有許多方法進(jìn)行設(shè)置：例如損失函數(shù)停止改善時(shí)逐步進(jìn)行學(xué)習(xí)率退火、指數(shù)學(xué)習(xí)率衰退、余弦退火等。

我上面引用的論文描述了一種循環(huán)改變學(xué)習(xí)率的新方法，它能提升卷積神經(jīng)網(wǎng)絡(luò)在各種圖像分類任務(wù)上的性能表現(xiàn)。?

閱讀全文

上一頁 1 2全文

本文導(dǎo)航

第 1 頁：如何估算深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率（附代碼教程）
第 2 頁：代碼教程

深度學(xué)習(xí)(119547) 深度學(xué)習(xí)(119547)
卷積神經(jīng)網(wǎng)絡(luò)(11423)

淺析深度神經(jīng)網(wǎng)絡(luò)壓縮與加速技術(shù)

深度神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種框架，它是一種具備至少一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。與淺層神經(jīng)網(wǎng)絡(luò)類似

2023-10-11 09:14:33

136

深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)解析

感知器是所有神經(jīng)網(wǎng)絡(luò)中最基本的，也是更復(fù)雜的神經(jīng)網(wǎng)絡(luò)的基本組成部分。它只連接一個(gè)輸入神經(jīng)元和一個(gè)輸出神經(jīng)元。

2023-08-31 16:55:50

293

人工神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別

人工神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別? 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN）是一種模仿人腦神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)和功能的計(jì)算模型，也被稱為神經(jīng)網(wǎng)絡(luò)（Neural

2023-08-22 16:45:18

707

cnn卷積神經(jīng)網(wǎng)絡(luò)簡介 cnn卷積神經(jīng)網(wǎng)絡(luò)代碼

cnn卷積神經(jīng)網(wǎng)絡(luò)簡介 cnn卷積神經(jīng)網(wǎng)絡(luò)代碼卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN）是目前深度學(xué)習(xí)領(lǐng)域中應(yīng)用廣泛的一種神經(jīng)網(wǎng)絡(luò)模型。CNN的出現(xiàn)

2023-08-21 17:16:13

291

cnn卷積神經(jīng)網(wǎng)絡(luò)matlab代碼

cnn卷積神經(jīng)網(wǎng)絡(luò)matlab代碼? 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是深度學(xué)習(xí)中一種常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是通過卷積層、池化層和全連接層等組合而成

2023-08-21 17:15:59

290

卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) 卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的區(qū)別

深度神經(jīng)網(wǎng)絡(luò)是一種基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法，其主要特點(diǎn)是由多層神經(jīng)元構(gòu)成，可以根據(jù)數(shù)據(jù)自動(dòng)調(diào)整神經(jīng)元之間的權(quán)重，從而實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)進(jìn)行預(yù)測和分類。卷積神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)的一種，主要應(yīng)用于圖像和視頻處理領(lǐng)域。

2023-08-21 17:07:36

529

卷積神經(jīng)網(wǎng)絡(luò)是什么？卷積神經(jīng)網(wǎng)絡(luò)的工作原理和應(yīng)用

　　卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，主要用于圖像和視頻的識別、分類和預(yù)測，是計(jì)算機(jī)視覺領(lǐng)域中應(yīng)用最廣泛的深度學(xué)習(xí)算法之一。該網(wǎng)絡(luò)模型可以自動(dòng)從原始數(shù)據(jù)中學(xué)習(xí)有用的特征，并將其映射到相應(yīng)的類別。

2023-08-21 17:03:46

440

卷積神經(jīng)網(wǎng)絡(luò)算法代碼matlab

卷積神經(jīng)網(wǎng)絡(luò)算法代碼matlab 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種深度學(xué)習(xí)網(wǎng)絡(luò)模型，其特點(diǎn)是具有卷積層（Convolutional Layer

2023-08-21 16:50:11

301

卷積神經(jīng)網(wǎng)絡(luò)算法比其他算法好嗎

卷積神經(jīng)網(wǎng)絡(luò)算法比其他算法好嗎卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）是一種用于圖像識別和處理等領(lǐng)域的深度學(xué)習(xí)算法。相對于傳統(tǒng)的圖像識別算法，如SIFT

2023-08-21 16:49:51

186

卷積神經(jīng)網(wǎng)絡(luò)的介紹什么是卷積神經(jīng)網(wǎng)絡(luò)算法

的深度學(xué)習(xí)算法。CNN模型最早被提出是為了處理圖像，其模型結(jié)構(gòu)中包含卷積層、池化層和全連接層等關(guān)鍵技術(shù)，經(jīng)過多個(gè)卷積層和池化層的處理，CNN可以提取出圖像中的特征信息，從而對圖像進(jìn)行分類。一、卷積神經(jīng)網(wǎng)絡(luò)算法卷積神經(jīng)網(wǎng)絡(luò)算法最早起源于圖像處理領(lǐng)域。它是一種深

2023-08-21 16:49:46

276

卷積神經(jīng)網(wǎng)絡(luò)的基本原理卷積神經(jīng)網(wǎng)絡(luò)發(fā)展卷積神經(jīng)網(wǎng)絡(luò)三大特點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)的基本原理卷積神經(jīng)網(wǎng)絡(luò)發(fā)展歷程卷積神經(jīng)網(wǎng)絡(luò)三大特點(diǎn)? 卷積神經(jīng)網(wǎng)絡(luò)的基本原理卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是深度學(xué)習(xí)領(lǐng)域

2023-08-21 16:49:39

262

卷積神經(jīng)網(wǎng)絡(luò)如何識別圖像

卷積神經(jīng)網(wǎng)絡(luò)如何識別圖像? 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）由于其出色的圖像識別能力而成為深度學(xué)習(xí)的重要組成部分。CNN是一種深度神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)為

2023-08-21 16:49:27

484

卷積神經(jīng)網(wǎng)絡(luò)的工作原理卷積神經(jīng)網(wǎng)絡(luò)通俗解釋

卷積神經(jīng)網(wǎng)絡(luò)的工作原理卷積神經(jīng)網(wǎng)絡(luò)通俗解釋? 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是一種眾所周知的深度學(xué)習(xí)算法，是人工智能領(lǐng)域中最受歡迎的技術(shù)之一

2023-08-21 16:49:24

636

卷積神經(jīng)網(wǎng)絡(luò)模型有哪些？卷積神經(jīng)網(wǎng)絡(luò)包括哪幾層內(nèi)容？

卷積神經(jīng)網(wǎng)絡(luò)模型有哪些？卷積神經(jīng)網(wǎng)絡(luò)包括哪幾層內(nèi)容？卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是深度學(xué)習(xí)領(lǐng)域中最廣泛應(yīng)用的模型之一，主要應(yīng)用于圖像、語音

2023-08-21 16:41:52

374

卷積神經(jīng)網(wǎng)絡(luò)概述卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn) cnn卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)概述卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn) cnn卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)? 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）是一種基于深度學(xué)習(xí)技術(shù)的神經(jīng)網(wǎng)絡(luò)，由于其出色的性能

2023-08-21 16:41:48

502

卷積神經(jīng)網(wǎng)絡(luò)原理：卷積神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)算法

卷積神經(jīng)網(wǎng)絡(luò)原理：卷積神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)算法卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)技術(shù)的重要應(yīng)用之

2023-08-17 16:30:30

256

淺析三種主流深度神經(jīng)網(wǎng)絡(luò)

來源：青榴實(shí)驗(yàn)室1、引子深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類或語音識別等復(fù)雜機(jī)器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。在本文中，我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識和三個(gè)最流行神經(jīng)網(wǎng)絡(luò)：多層神經(jīng)網(wǎng)絡(luò)

2023-05-17 09:59:19

551

淺析三種主流深度神經(jīng)網(wǎng)絡(luò)

來源：青榴實(shí)驗(yàn)室 1、引子深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類或語音識別等復(fù)雜機(jī)器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。在本文中，我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識和三個(gè)最流行神經(jīng)網(wǎng)絡(luò)：多層

2023-05-15 14:20:01

258

神經(jīng)網(wǎng)絡(luò)教程（李亞非）

源程序　　5.3 Gaussian機(jī)　　第6章自組織神經(jīng)網(wǎng)絡(luò)　　6.1 競爭型學(xué)習(xí)　　6.2 自適應(yīng)共振理論(ART)模型　　6.3 自組織特征映射(SOM)模型　　6.4 CPN模型　　第7章聯(lián)想

2012-03-20 11:32:43

什么是神經(jīng)網(wǎng)絡(luò)？什么是卷積神經(jīng)網(wǎng)絡(luò)？

在介紹卷積神經(jīng)網(wǎng)絡(luò)之前，我們先回顧一下神經(jīng)網(wǎng)絡(luò)的基本知識。就目前而言，神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法的核心，我們所熟知的很多深度學(xué)習(xí)算法的背后其實(shí)都是神經(jīng)網(wǎng)絡(luò)。

2023-02-23 09:14:44

1224

深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)分享：CNN經(jīng)典網(wǎng)絡(luò)之-ResNet

深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)分享：CNN 經(jīng)典網(wǎng)絡(luò)之-ResNet resnet 又叫深度殘差網(wǎng)絡(luò) 圖像識別準(zhǔn)確率很高，主要作者是國人哦深度網(wǎng)絡(luò)的退化問題深度網(wǎng)絡(luò)難以訓(xùn)練，梯度消失，梯度爆炸

2022-10-12 09:54:42

523

深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)分享：Transformer

在過去的幾年中，神經(jīng)網(wǎng)絡(luò)的興起與應(yīng)用成功推動(dòng)了模式識別和數(shù)據(jù)挖掘的研究。許多曾經(jīng)嚴(yán)重依賴于手工提取特征的機(jī)器學(xué)習(xí)任務(wù)（如目標(biāo)檢測、機(jī)器翻譯和語音識別），如今都已被各種端到端的深度學(xué)習(xí)范式（例如卷積

2022-09-22 10:16:34

837

深度學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)和函數(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行學(xué)習(xí)和預(yù)測。深度學(xué)習(xí)在各種任務(wù)中都表現(xiàn)出了驚人的表現(xiàn)，無論是文本、時(shí)間序列還是計(jì)算機(jī)視覺。

2022-04-07 10:17:05

1186

NVIDIA GPU加快深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推斷

深度學(xué)習(xí)是推動(dòng)當(dāng)前人工智能大趨勢的關(guān)鍵技術(shù)。在 MATLAB 中可以實(shí)現(xiàn)深度學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備、網(wǎng)絡(luò)設(shè)計(jì)、訓(xùn)練和部署全流程開發(fā)和應(yīng)用。聯(lián)合高性能 NVIDIA GPU 加快深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推斷。

2022-02-18 13:31:44

1525

深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)層級分解綜述

隨著深度學(xué)習(xí)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在目標(biāo)檢測與圖像分類中受到研究者的廣泛關(guān)注。CNN從 Lenet5網(wǎng)絡(luò)發(fā)展到深度殘差網(wǎng)絡(luò)，其層數(shù)不斷增加?；?b style="color: red">神經(jīng)網(wǎng)絡(luò)中“深度”的含義，在確保感受野相同

2021-05-19 16:11:00

3小時(shí)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)課件下載

3小時(shí)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)課件下載

2021-04-19 09:36:55

深度神經(jīng)網(wǎng)絡(luò)模型的壓縮和優(yōu)化綜述

近年來，隨著深度學(xué)習(xí)的飛速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)受到了越來越多的關(guān)注，在許多應(yīng)用領(lǐng)域取得了顯著效果。通常，在較高的計(jì)算量下，深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力隨著網(wǎng)絡(luò)層深度的増加而不斷提高，因此深度神經(jīng)網(wǎng)絡(luò)在大型

2021-04-12 10:26:59

綜述深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用及發(fā)展

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能研究的最新趨勢，作為一個(gè)十余年來快速發(fā)展的嶄新領(lǐng)域，越來越受到研究者的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型是深度學(xué)習(xí)模型中最重要的一種經(jīng)典結(jié)構(gòu)，其性能在近年來深度學(xué)習(xí)任務(wù)上

2021-04-02 15:29:04

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)基礎(chǔ)知識

神經(jīng)網(wǎng)絡(luò)絡(luò)是有史以來發(fā)明的最優(yōu)美的編程范式之?。在傳統(tǒng)的編程法中，我們告訴計(jì)算機(jī)做什么，把?問題分成許多?的、精確定義的任務(wù)，計(jì)算機(jī)可以很容易地執(zhí)?。相?之下，在神經(jīng)?絡(luò)中，我們不告訴計(jì)算機(jī)如何解決我們的問題。相反，它從觀測數(shù)據(jù)中學(xué)習(xí)，找出它??的解決問題的?法。

2021-03-26 09:55:48

神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)課件免費(fèi)下載

　　本文檔的主要內(nèi)容詳細(xì)介紹的是神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)課件免費(fèi)下載包括了：神經(jīng)網(wǎng)絡(luò)發(fā)展史，神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)，深度神經(jīng)網(wǎng)絡(luò)進(jìn)展，發(fā)展趨勢與展望

2021-03-11 10:10:37

基于深度神經(jīng)網(wǎng)絡(luò)的文本分類分析

卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制等方法在文本分類中的應(yīng)用和發(fā)展，分析多種典型分類方法的特點(diǎn)和性能，從準(zhǔn)確率和運(yùn)行時(shí)間方面對基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行比較，表明深度神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)機(jī)器學(xué)習(xí)方法在用于文本分類時(shí)更具優(yōu)

2021-03-10 16:56:56

神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載

本文檔的主要內(nèi)容詳細(xì)介紹的是神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載包括了:1生物神經(jīng)元模型，2人工神經(jīng)元模型，3人工神經(jīng)網(wǎng)絡(luò)模型，4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法

2021-01-20 11:20:05

卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程及與深度學(xué)習(xí)的差異

1986年Rumelhart等人提出了人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法，掀起了神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中的熱潮，神經(jīng)網(wǎng)絡(luò)中存在大量的參數(shù)，存在容易發(fā)生過擬合、訓(xùn)練時(shí)間長的缺點(diǎn)，但是對比Boosting

2020-08-24 15:57:52

5030

邊緣計(jì)算中深度神經(jīng)網(wǎng)絡(luò)剪枝壓縮的研究

深度神經(jīng)網(wǎng)絡(luò)與其他很多機(jī)器學(xué)習(xí)模型一樣，可分為訓(xùn)練和推理兩個(gè)階段。訓(xùn)練階段根據(jù)數(shù)據(jù)學(xué)習(xí)模型中的參數(shù)（對神經(jīng)網(wǎng)絡(luò)來說主要是網(wǎng)絡(luò)中的權(quán)重）；推理階段將新數(shù)據(jù)輸入模型，經(jīng)過計(jì)算得出結(jié)果。

2020-03-27 15:50:17

2576

神經(jīng)網(wǎng)絡(luò)的復(fù)習(xí)資料免費(fèi)下載

深度學(xué)習(xí)（DL）是機(jī)器學(xué)習(xí)中一種基于對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。而人工神經(jīng)網(wǎng)絡(luò)ANN（Artificial

2019-09-20 08:00:00

如何提升神經(jīng)網(wǎng)絡(luò)性能

神經(jīng)網(wǎng)絡(luò)是一種在很多用例中能夠提供最優(yōu)準(zhǔn)確率的機(jī)器學(xué)習(xí)算法。但是，很多時(shí)候我們構(gòu)建的神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率可能無法令人滿意，或者無法讓我們在數(shù)據(jù)科學(xué)競賽中拿到領(lǐng)先名次。

2019-05-02 17:10:00

1910

快速了解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的教程資料免費(fèi)下載

本文檔的詳細(xì)介紹的是快速了解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的教程資料免費(fèi)下載主要內(nèi)容包括了：機(jī)器學(xué)習(xí)概述，線性模型，前饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)優(yōu)化與正則化，記憶與注意力機(jī)制，無監(jiān)督學(xué)習(xí)，概率圖模型，玻爾茲曼機(jī)，深度信念網(wǎng)絡(luò)，深度生成模型，深度強(qiáng)化學(xué)習(xí)

2019-02-11 08:00:00

新書《解析深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)原理與視覺實(shí)踐》試讀

我們知道，深度神經(jīng)網(wǎng)絡(luò)模型復(fù)雜的解空間中存在非常多的局部最優(yōu)解，但經(jīng)典批處理隨機(jī)梯度下降法(mini-batch SGD)只能讓網(wǎng)絡(luò)模型收斂到其中一個(gè)局部最優(yōu)解。網(wǎng)絡(luò)“快照”集成法(snapshot

2018-11-10 10:23:38

4363

深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是什么樣的？

怎樣理解非線性變換和多層網(wǎng)絡(luò)后的線性可分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是學(xué)習(xí)如何利用矩陣的線性變換加激活函數(shù)的非線性變換。

2018-10-23 14:44:21

3596

【人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)】為什么神經(jīng)網(wǎng)絡(luò)選擇了“深度”？

由 Demi 于星期四, 2018-09-06 09:33 發(fā)表現(xiàn)在提到“神經(jīng)網(wǎng)絡(luò)”和“深度神經(jīng)網(wǎng)絡(luò)”，會(huì)覺得兩者沒有什么區(qū)別，神經(jīng)網(wǎng)絡(luò)還能不是“深度”（deep）的嗎？我們常用

2018-09-06 20:48:01

485

《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》中文版電子教材免費(fèi)下載

《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》是一本免費(fèi)的在線書。本書會(huì)教會(huì)你： ? 神經(jīng)網(wǎng)絡(luò)，一種美妙的受生物學(xué)啟發(fā)的編程范式，可以讓計(jì)算機(jī)從觀測數(shù)據(jù)中進(jìn)行學(xué)習(xí) ? 深度學(xué)習(xí)，一個(gè)強(qiáng)有力的用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的眾多技術(shù)的集合

2018-08-02 17:47:31

三種典型的神經(jīng)網(wǎng)絡(luò)以及深度學(xué)習(xí)中的正則化方法應(yīng)用于無人駕駛

在前幾十年，神經(jīng)網(wǎng)絡(luò)并沒有受到人們的重視，直到深度學(xué)習(xí)的出現(xiàn)，人們利用深度學(xué)習(xí)解決了不少實(shí)際問題（即一些落地性質(zhì)的商業(yè)應(yīng)用），神經(jīng)網(wǎng)絡(luò)才成為學(xué)界和工業(yè)界關(guān)注的一個(gè)焦點(diǎn)。本文以盡可能直白，簡單的方式介紹深度學(xué)習(xí)中三種典型的神經(jīng)網(wǎng)絡(luò)以及深度學(xué)習(xí)中的正則化方法。為后面在無人駕駛中的應(yīng)用做鋪墊。

2018-06-03 09:27:03

9082

帶你了解深入深度學(xué)習(xí)的核心:神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)和人工智能是 2017 年的熱詞；2018 年，這兩個(gè)詞愈發(fā)火熱，但也更加容易混淆。我們將深入深度學(xué)習(xí)的核心，也就是神經(jīng)網(wǎng)絡(luò)。

2018-04-02 09:47:09

8831

叫板谷歌,亞馬遜微軟推出深度學(xué)習(xí)庫訓(xùn)練神經(jīng)網(wǎng)絡(luò)更加簡單

據(jù)報(bào)道，亞馬遜和微軟合力推出全新的深度學(xué)習(xí)庫，名字叫Gluon。此舉被認(rèn)為是在云計(jì)算市場上與谷歌叫板，谷歌曾通過AI生態(tài)系統(tǒng)發(fā)力云計(jì)算，強(qiáng)調(diào)自身產(chǎn)品對深度學(xué)習(xí)的強(qiáng)大支持。Gluon可以讓訓(xùn)練神經(jīng)網(wǎng)絡(luò)像開發(fā)APP一樣簡單，簡潔的代碼構(gòu)建神經(jīng)網(wǎng)絡(luò)，而不需要犧牲性能。

2018-01-05 16:56:10

1899

基于遞歸神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)預(yù)測算法

蛋白質(zhì)二級結(jié)構(gòu)預(yù)測是結(jié)構(gòu)生物學(xué)中的一個(gè)重要問題。針對八類蛋白質(zhì)二級結(jié)構(gòu)預(yù)測，提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)預(yù)測算法。該算法通過雙向遞歸神經(jīng)網(wǎng)絡(luò)建模氨基酸間的局部和長程相互作用

2017-12-03 09:41:14

AI核心動(dòng)力之深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀及發(fā)展趨勢

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)未來發(fā)展將出現(xiàn)兩大趨勢：計(jì)算遷移和基于小樣本集的學(xué)習(xí)算法；網(wǎng)絡(luò)結(jié)構(gòu)及效率不斷優(yōu)化，面向智能終端的AI處理芯片將出現(xiàn)；深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的壓縮技術(shù)也將不斷成熟。

2017-12-01 09:48:01

7045

深度神經(jīng)網(wǎng)絡(luò)的壓縮和正則化剖析

利用深度壓縮和DSD訓(xùn)練來提高預(yù)測精度。深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決計(jì)算機(jī)視覺、語音識別和自然語言處理等機(jī)器學(xué)習(xí)任務(wù)的最先進(jìn)的技術(shù)。盡管如此，深度學(xué)習(xí)算法是計(jì)算密集型和存儲密集型的，這使得它難以被部署

2017-11-16 13:11:35

1472

《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》講義

《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》講義

2017-07-20 08:58:24

從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)

微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)（deep neural network）上取得突破，使其在性能上能趕上目前最先進(jìn)的語音識別技術(shù)。

2016-08-17 11:54:06

BP神經(jīng)網(wǎng)絡(luò)的電路最優(yōu)測試集的生成設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)的電路最優(yōu)測試集的生成設(shè)計(jì) 1 引言　　人工神經(jīng)網(wǎng)絡(luò)是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。國際著名的神經(jīng)網(wǎng)絡(luò)專家Hecht N

2010-02-02 10:35:14

1098

基于BP神經(jīng)網(wǎng)絡(luò)的電路最優(yōu)測試集的生成設(shè)計(jì)

BP 神經(jīng)網(wǎng)絡(luò)是目前用于模擬電路故障診斷的神經(jīng)網(wǎng)絡(luò)之一。本文應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)完成了實(shí)際電路最優(yōu)測試集的生成設(shè)計(jì)，驗(yàn)證了基于BP 神經(jīng)網(wǎng)絡(luò)的最優(yōu)測試集的生成的可行性和有

2009-12-16 16:08:33

已全部加載完成

搜索歷史

如何估算深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率（附代碼教程） - 全文

學(xué)習(xí)率如何影響訓(xùn)練？

一定有更好的方法

本文導(dǎo)航

評論

學(xué)習(xí)率如何影響訓(xùn)練？