機器學習分支深度學習(DL)了解一下

我們清楚地認識到人工智能（AI）是一門科學，機器學習（ML）是目前最主流的人工智能實現方法，而深度學習（DL）則是機器學習（ML）的一個分支，也是當下最流行的機器學習（ML）的一種。

深度學習在機器學習領域是一個很熱的概念，經過媒體和大V等炒作，這個概念變得近乎有些神話的感覺，下面讓我來慢慢揭開深度學習的神秘面紗。＾＿＾

深度學習（DeepLearning）的概念由Hinton等人于2006年提出。基于深度置信網絡（DBN）提出非監(jiān)督貪心逐層訓練算法，為解決深層結構相關的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。

那么究竟什么是深度學習呢？

深度學習（DL）是機器學習中一種基于對數據進行表征學習的方法，是一種能夠模擬出人腦的神經結構的機器學習方法。深度學習的概念源于人工神經網絡的研究。而人工神經網絡ANN（Artificial Neural Network）是從信息處理角度對人腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡，簡稱為神經網絡或類神經網絡。因此，深度學習又叫深層神經網絡DNN（Deep Neural Networks），是從之前的人工神經網絡ANN模型發(fā)展而來的。

深度學習是機器學習研究中的一個新領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，比如圖像，聲音和文本等。深度學習，能讓計算機具有人一樣的智慧，其發(fā)展前景必定是無限的。

同機器學習方法一樣，深度機器學習方法也有監(jiān)督學習與無監(jiān)督學習之分．不同的學習框架下建立的學習模型很是不同．例如，卷積神經網絡（Convolutionalneural networks，簡稱CNNs）就是一種深度的監(jiān)督學習下的機器學習模型，而深度置信網（DeepBelief Nets，簡稱DBNs）就是一種無監(jiān)督學習下的機器學習模型。

深度學習所涉及的技術主要有：線性代數、概率和信息論、欠擬合、過擬合、正則化、最大似然估計和貝葉斯統(tǒng)計、隨機梯度下降、監(jiān)督學習和無監(jiān)督學習、深度前饋網絡、代價函數和反向傳播、正則化、稀疏編碼和dropout、自適應學習算法、卷積神經網絡、循環(huán)神經網絡、遞歸神經網絡、深度神經網絡和深度堆疊網絡、LSTM長短時記憶、主成分分析、正則自動編碼器、表征學習、蒙特卡洛、受限波茲曼機、深度置信網絡、softmax回歸、決策樹和聚類算法、KNN和SVM、生成對抗網絡和有向生成網絡、機器視覺和圖像識別、自然語言處理、語音識別和機器翻譯、有限馬爾科夫、動態(tài)規(guī)劃、梯度策略算法和增強學習（Q－learning）等等。

討論深度學習，肯定會講到“深度（Depth）”一詞，“深度”即層數。從一個輸入中產生一個輸出所涉及的計算可以通過一個流向圖（flowgraph）來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算以及一個計算的值，計算的結果被應用到這個節(jié)點的子節(jié)點的值。考慮這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結構中，并定義了一個函數族。輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。這種流向圖的一個特別屬性是深度（depth）：從一個輸入到一個輸出的最長路徑的長度。

深度超過8層的神經網絡才叫深度學習。含多個隱層的多層學習模型是深度學習的架構。深度學習可以通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現數據的分布式特征表示。

深度學習的”深度“是指從”輸入層“到”輸出層“所經歷層次的數目，即”隱藏層“的層數，層數越多，深度也越深。所以越是復雜的選擇問題，越需要深度的層次多。除了層數多外，每層”神經元“－黃色小圓圈的數目也要多。例如，AlphaGo的策略網絡是13層，每一層的神經元數量為192個。

深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。多層的好處是可以用較少的參數表示復雜的函數。

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。深度學習強調了模型結構的深度，突出了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。