0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

預(yù)測(cè)深度神經(jīng)網(wǎng)絡(luò)泛化性能差異

Tensorflowers ? 來源:YXQ ? 作者:h1654155287.6125 ? 2019-07-28 10:45 ? 次閱讀

深度神經(jīng)網(wǎng)絡(luò) (DNN) 是近年來機(jī)器學(xué)習(xí)研究進(jìn)展的基礎(chǔ),也是在圖像識(shí)別、圖像分割、機(jī)器翻譯等諸多領(lǐng)域能夠取得突破性進(jìn)展的重要原因。

盡管 DNN 無處不在,研究人員仍在嘗試全面了解深度神經(jīng)網(wǎng)絡(luò)的基本原理。例如,傳統(tǒng)理論(如 VC 維和 Rademacher 復(fù)雜度)認(rèn)為:在處理未知數(shù)據(jù)時(shí),過參數(shù)化函數(shù) (over-parameterized functions) 的泛化能力較差;但在近期研究中卻發(fā)現(xiàn),大規(guī)模過參數(shù)化的函數(shù)(參數(shù)比數(shù)據(jù)點(diǎn)多出幾個(gè)數(shù)量級(jí))卻擁有出色的泛化能力,更深層次地地理解泛化對(duì)于理論的落地和DNN理論的實(shí)現(xiàn)從而改進(jìn)模型是很有必要的。

在理解泛化之前,我們需了解 Generalization Gap(泛化性能差異)這一重要概念。泛化性能差異即模型針對(duì)相同分布的訓(xùn)練數(shù)據(jù)和未知數(shù)據(jù)所表現(xiàn)出的性能差異。在致力獲得更好的 DNN 泛化邊界(即泛化性能差異的上限)的過程中,研究人員取得了重大進(jìn)展。但是,這類邊界通常仍會(huì)大大高估真實(shí)的泛化性能差異水平,并且無法解釋部分模型為何具有出色的泛化能力。

另一方面,研究人員基于支持向量機(jī) (support-vector machines) 等淺層模型對(duì)邊緣 (notion) 概念(即數(shù)據(jù)點(diǎn)與決策邊界之間的距離)進(jìn)行了大量研究,最終發(fā)現(xiàn)此概念與模型針對(duì)未知數(shù)據(jù)所表現(xiàn)出的泛化能力密切相關(guān)?;诖隧?xiàng)發(fā)現(xiàn),研究人員已將使用邊緣研究泛化性能差異的方法拓展至 DNN 領(lǐng)域,從而使泛化性能差異的理論上限得到了高度優(yōu)化,但此方式并未能顯著提高泛化模型的預(yù)測(cè)能力。

注:理論上限 鏈接

支持向量機(jī)決策邊界示例。w?x-b=0 定義的超平面是此線性分類器的“決策邊界”,即在該線性分類器下,超平面上的每個(gè)點(diǎn) x 在任一類中的可能性相等。

ICLR 2019 論文《使用邊緣分布預(yù)測(cè)深度網(wǎng)絡(luò)的泛化性能差異》(Predicting the Generalization Gap in Deep Networks with Margin Distributions) 中,我們提議在各層網(wǎng)絡(luò)上使用標(biāo)準(zhǔn)化的邊緣分布 (Normalized Margin Distribution) 來預(yù)測(cè)泛化性能差異。

我們通過實(shí)踐研究了邊緣分布與泛化之間的關(guān)系,最終發(fā)現(xiàn)在對(duì)距離進(jìn)行適當(dāng)標(biāo)準(zhǔn)化 (Normalization) 后,邊緣分布的一些基本數(shù)據(jù)可以準(zhǔn)確預(yù)測(cè)泛化性能差異。此外,我們還通過 GitHub 代碼庫將所有模型作為數(shù)據(jù)集公開發(fā)布,以便您進(jìn)行泛化研究。

每張圖均對(duì)應(yīng)一個(gè)基于 CIFAR-10 訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(分類準(zhǔn)確率各不相同)。三個(gè)模型各有差異,從左至右,泛化能力逐漸增強(qiáng)。其中,x 軸表示 4 個(gè)層的神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)化邊緣分布,y 軸表示此分布的概率密度。標(biāo)準(zhǔn)化的邊緣分布與測(cè)試準(zhǔn)確率密切相關(guān),這表明我們可以將此類分布用作預(yù)測(cè)網(wǎng)絡(luò) Generalization Gap(泛化性能差異)的指標(biāo)。如需了解這些神經(jīng)網(wǎng)絡(luò)的更多詳情,請(qǐng)參閱我們的論文。

邊緣分布作為泛化性能差異的預(yù)測(cè)指標(biāo)

如果邊緣分布統(tǒng)計(jì)數(shù)據(jù)可以真實(shí)預(yù)測(cè)泛化性能差異,那么簡單的預(yù)測(cè)方案應(yīng)能建立起二者的關(guān)系。

因此,我們選擇使用線性回歸作為預(yù)測(cè)指標(biāo)。我們發(fā)現(xiàn),在對(duì)邊緣分布統(tǒng)計(jì)數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換后,轉(zhuǎn)換后的數(shù)據(jù)與 泛化性能差異之間幾乎完全呈線性關(guān)系(參見下圖)。事實(shí)上,相較于其他現(xiàn)有的泛化測(cè)量方法,我們提出的方案可提供更準(zhǔn)確的預(yù)測(cè)。這表明,邊緣分布可能包含與深度模型泛化性能差異相關(guān)的重要信息

基于 CIFAR-100 和 ResNet-32 得出的 Generalization Gap 預(yù)測(cè)值(x 軸)與實(shí)際值(y 軸)關(guān)系圖。數(shù)據(jù)點(diǎn)的分布趨近于貼近對(duì)角線,這表明該對(duì)數(shù)線性模型的預(yù)測(cè)值非常符合實(shí)際的 Generalization Gap 水平。

深度模型泛化數(shù)據(jù)集

除論文之外,我們還介紹了深度模型泛化 (DEMOGEN) 數(shù)據(jù)集。該數(shù)據(jù)集包含 756 個(gè)經(jīng)過訓(xùn)練的深度模型,以及這些深度模型在 CIFAR-10 和 CIFAR-100 數(shù)據(jù)集上的訓(xùn)練與及測(cè)試表現(xiàn)。這些模型均為 CNN(所用架構(gòu)類似于“網(wǎng)絡(luò)中的網(wǎng)絡(luò)”(Network-in-Network))和 ResNet-32 的變體,它們采用當(dāng)下流行的各類正則化技術(shù)和超參數(shù)設(shè)置,因而也產(chǎn)生了廣泛的泛化行為。

例如,基于 CIFAR-10 訓(xùn)練的 CNN 模型的測(cè)試準(zhǔn)確率在 60% 至 90.5% 之間,泛化性能差異率則介于 1% 至 35% 之間。如需了解數(shù)據(jù)集詳情,請(qǐng)查看我們的論文或 GitHub 代碼庫。發(fā)布數(shù)據(jù)集時(shí),我們還為其添加了許多實(shí)用程序,以便您能夠輕松加載模型,并重現(xiàn)論文中所展示的結(jié)果。

我們希望本次研究和 DEMOGEN 數(shù)據(jù)集能為社區(qū)提供便利工具,讓社區(qū)成員無需重新訓(xùn)練大量模型,即可研究深度學(xué)習(xí)領(lǐng)域的泛化問題而提供便利工具。同時(shí),我們也希望本次研究成果能夠提供助力,以幫助我們?nèi)蘸髮?duì)隱藏層中的泛化性能差異預(yù)測(cè)指標(biāo)和邊緣分布進(jìn)行更加深入的研究。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:預(yù)測(cè)深度神經(jīng)網(wǎng)絡(luò)泛化性能差異

文章出處:【微信號(hào):tensorflowers,微信公眾號(hào):Tensorflowers】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    FPGA在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)作為其核心算法之一,在圖像識(shí)別、語音識(shí)別、自然語言處理等領(lǐng)域取得了顯著成果。然而,傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-24 10:42 ?783次閱讀

    殘差網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)

    殘差網(wǎng)絡(luò)(Residual Network,通常簡稱為ResNet) 是深度神經(jīng)網(wǎng)絡(luò)的一種 ,其獨(dú)特的結(jié)構(gòu)設(shè)計(jì)在解決深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失和梯度爆炸問題上取得了顯著的突破,并因此成為
    的頭像 發(fā)表于 07-11 18:13 ?1173次閱讀

    神經(jīng)網(wǎng)絡(luò)辨識(shí)模型具有什么特點(diǎn)

    ,可以對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè),具有很好的化能力。 自學(xué)習(xí)能力 :神經(jīng)網(wǎng)絡(luò)通過反向傳播算法等優(yōu)化算法,可以自動(dòng)調(diào)整網(wǎng)絡(luò)參數(shù),實(shí)現(xiàn)自學(xué)習(xí)。 并行處理能力 :
    的頭像 發(fā)表于 07-11 11:12 ?529次閱讀

    bp神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型建模步驟

    介紹BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的建模步驟。 數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理是構(gòu)建BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的第一步,主要包括以下幾個(gè)方面: 1.1 數(shù)據(jù)收集 首先需要收集足夠的數(shù)據(jù),這些數(shù)據(jù)可以是歷史數(shù)據(jù)
    的頭像 發(fā)表于 07-11 10:52 ?617次閱讀

    神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的構(gòu)建方法

    神經(jīng)網(wǎng)絡(luò)模型作為一種強(qiáng)大的預(yù)測(cè)工具,廣泛應(yīng)用于各種領(lǐng)域,如金融、醫(yī)療、交通等。本文將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的構(gòu)建方法,包括模型設(shè)計(jì)、數(shù)據(jù)集準(zhǔn)備、模型訓(xùn)練、驗(yàn)證與評(píng)估等步驟,并附以代碼
    的頭像 發(fā)表于 07-05 17:41 ?793次閱讀

    人工神經(jīng)網(wǎng)絡(luò)模型的分類有哪些

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的計(jì)算模型,它在許多領(lǐng)域,如圖像識(shí)別、語音識(shí)別、自然語言處理、預(yù)測(cè)分析等有著廣泛的應(yīng)用。本文將
    的頭像 發(fā)表于 07-05 09:13 ?1336次閱讀

    深度神經(jīng)網(wǎng)絡(luò)與基本神經(jīng)網(wǎng)絡(luò)的區(qū)別

    在探討深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks, DNNs)與基本神經(jīng)網(wǎng)絡(luò)(通常指傳統(tǒng)神經(jīng)網(wǎng)絡(luò)或前向神經(jīng)網(wǎng)絡(luò))的區(qū)別時(shí),我們需
    的頭像 發(fā)表于 07-04 13:20 ?1040次閱讀

    神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差大小怎么看

    神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差大小是衡量神經(jīng)網(wǎng)絡(luò)性能的重要指標(biāo)之一。本文將介紹如何評(píng)估神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差大小,包
    的頭像 發(fā)表于 07-03 10:41 ?1284次閱讀

    神經(jīng)網(wǎng)絡(luò)擬合的誤差怎么分析

    像識(shí)別、自然語言處理和時(shí)間序列預(yù)測(cè)等。然而,神經(jīng)網(wǎng)絡(luò)的擬合誤差是一個(gè)關(guān)鍵問題,影響模型的性能化能力。本文將從多個(gè)角度分析神經(jīng)網(wǎng)絡(luò)擬合誤差
    的頭像 發(fā)表于 07-03 10:36 ?659次閱讀

    如何使用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模和預(yù)測(cè)

    神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù),可以用于建模和預(yù)測(cè)變量之間的關(guān)系。 神經(jīng)網(wǎng)絡(luò)的基本概念 神經(jīng)網(wǎng)絡(luò)是一種受人腦啟發(fā)的計(jì)算模型,由大量的節(jié)點(diǎn)(神經(jīng)
    的頭像 發(fā)表于 07-03 10:23 ?827次閱讀

    bp神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)

    BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network)是一種常見的前饋神經(jīng)網(wǎng)絡(luò),它使用反向傳播算法來訓(xùn)練網(wǎng)絡(luò)。雖然BP神經(jīng)網(wǎng)絡(luò)在某些方面與
    的頭像 發(fā)表于 07-03 10:14 ?932次閱讀

    bp神經(jīng)網(wǎng)絡(luò)模型怎么算預(yù)測(cè)

    BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡稱BP網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法來調(diào)整網(wǎng)絡(luò)中的權(quán)重和偏置,從而實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的
    的頭像 發(fā)表于 07-03 09:59 ?855次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別

    不同的神經(jīng)網(wǎng)絡(luò)模型,它們?cè)诮Y(jié)構(gòu)、原理、應(yīng)用等方面都存在一定的差異。本文將從多個(gè)方面對(duì)這兩種神經(jīng)網(wǎng)絡(luò)進(jìn)行詳細(xì)的比較和分析。 引言 神經(jīng)網(wǎng)絡(luò)是一種模擬人腦
    的頭像 發(fā)表于 07-02 14:24 ?4659次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型有哪些

    深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNNs)是一類具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò),它們?cè)谠S多領(lǐng)域取得了顯著的成功,如計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等。以下是一些常見的深度
    的頭像 發(fā)表于 07-02 10:00 ?1599次閱讀

    利用深度循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)心電圖降噪

    曼濾波。因此,通過這種方式訓(xùn) 練網(wǎng)絡(luò),無法獲得比卡爾曼濾波本身更好的 性能。本文介紹了一種利用深度遞歸神經(jīng)網(wǎng)絡(luò) (DRNN)對(duì) ECG 信號(hào)進(jìn)行降噪的新方 法。該
    發(fā)表于 05-15 14:42