了解一下機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)

機(jī)器學(xué)習(xí)中涉及到了很多的概念，當(dāng)然要想了解機(jī)器學(xué)習(xí)的話就需要對(duì)這些基礎(chǔ)知識(shí)有一個(gè)深入的了解才能夠入門機(jī)器學(xué)習(xí)，那么機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)都有哪些呢？本文給大家列舉一下機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)。

（1）準(zhǔn)確率的概念，準(zhǔn)確率就是分類模型預(yù)測準(zhǔn)確的比例。

（2）AUC（曲線下面積）則是一種考慮到所有可能的分類閾值的評(píng)估標(biāo)準(zhǔn)。ROC 曲線下面積代表分類器隨機(jī)預(yù)測真正類要比假正類概率大的確信度。

（3）激活函數(shù)就是一種函數(shù)，也就是將前一層所有神經(jīng)元激活值的加權(quán)和輸入到一個(gè)非線性函數(shù)中，然后向下一層傳遞該函數(shù)的輸出值。

（4）AdaGrad是一種復(fù)雜的梯度下降算法，重新調(diào)節(jié)每個(gè)參數(shù)的梯度，高效地給每個(gè)參數(shù)一個(gè)單獨(dú)的學(xué)習(xí)率。這些知識(shí)都是需要我們要了解的。

（5）在機(jī)器學(xué)習(xí)中，反向傳播神經(jīng)網(wǎng)絡(luò)中完成梯度下降的重要算法。首先，在前向傳播的過程中計(jì)算每個(gè)節(jié)點(diǎn)的輸出值。然后，在反向傳播的過程中計(jì)算與每個(gè)參數(shù)對(duì)應(yīng)的誤差的偏導(dǎo)數(shù)。

（6）基線就是被用為對(duì)比模型表現(xiàn)參考點(diǎn)的簡單模型?；€幫助模型開發(fā)者量化模型在特定問題上的預(yù)期表現(xiàn)。

（7）批量就是指模型訓(xùn)練中一個(gè)迭代使用的樣本集。批量大小就是一個(gè)批量中樣本的數(shù)量。批量大小通常在訓(xùn)練與推理的過程中確定。

（8）偏置就是與原點(diǎn)的截距或偏移量。偏置被稱為機(jī)器學(xué)習(xí)模型中的 b 或者 w0。而二元分類器一類分類任務(wù)，輸出兩個(gè)互斥（不相交）類別中的一個(gè)。binning/bucketing則是根據(jù)值的范圍將一個(gè)連續(xù)特征轉(zhuǎn)換成多個(gè)稱為 buckets 或者 bins二元特征，稱為 buckets或者bins。

（9）檢查點(diǎn)則是在特定的時(shí)刻標(biāo)記模型的變量的狀態(tài)的數(shù)據(jù)。檢查點(diǎn)允許輸出模型的權(quán)重，也允許通過多個(gè)階段訓(xùn)練模型。檢查點(diǎn)還允許跳過錯(cuò)誤繼續(xù)進(jìn)行。注意其自身的圖式并不包含于檢查點(diǎn)內(nèi)。

（10）候選采樣是一種優(yōu)化訓(xùn)練時(shí)間的方式，使用 Softmax 等算法計(jì)算所有正標(biāo)簽的概率，同時(shí)只計(jì)算一些隨機(jī)取樣的負(fù)標(biāo)簽的概率。這個(gè)想法的思路是，負(fù)類別可以通過頻率更低的負(fù)強(qiáng)化進(jìn)行學(xué)習(xí)，而正類別經(jīng)常能得到適當(dāng)?shù)恼龔?qiáng)化，實(shí)際觀察確實(shí)如此。候選取樣的動(dòng)力是計(jì)算有效性從所有負(fù)類別的非計(jì)算預(yù)測的得益。

（11）標(biāo)定層是一種調(diào)整后期預(yù)測的結(jié)構(gòu)，通常用于解釋預(yù)測偏差。調(diào)整后的預(yù)期和概率必須匹配一個(gè)觀察標(biāo)簽集的分布。

（12）分類模型是機(jī)器學(xué)習(xí)模型的一種，將數(shù)據(jù)分離為兩個(gè)或多個(gè)離散類別。分類模型與回歸模型成對(duì)比。

（13）類別是所有同類屬性的目標(biāo)值作為一個(gè)標(biāo)簽。

（14）類別不平衡數(shù)據(jù)集是一個(gè)二元分類問題，其中兩個(gè)類別的標(biāo)簽的分布頻率有很大的差異。

（15）收斂就是訓(xùn)練過程達(dá)到的某種狀態(tài)，其中訓(xùn)練損失和驗(yàn)證損失在經(jīng)過了確定的迭代次數(shù)后，在每一次迭代中，改變很小或完全不變。換句話說就是，當(dāng)對(duì)當(dāng)前數(shù)據(jù)繼續(xù)訓(xùn)練而無法再提升模型的表現(xiàn)水平的時(shí)候，就稱模型已經(jīng)收斂。在深度學(xué)習(xí)中，損失值下降之前，有時(shí)候經(jīng)過多次迭代仍保持常量或者接近常量，會(huì)造成模型已經(jīng)收斂的錯(cuò)覺。

（16）混淆矩陣就是總結(jié)分類模型的預(yù)測結(jié)果的表現(xiàn)水平的 N×N 表格。混淆矩陣的一個(gè)軸列出模型預(yù)測的標(biāo)簽，另一個(gè)軸列出實(shí)際的標(biāo)簽。N 表示類別的數(shù)量。在一個(gè)二元分類模型中，N=2。多類別分類的混淆矩陣可以幫助發(fā)現(xiàn)錯(cuò)誤出現(xiàn)的模式。混淆矩陣包含了足夠多的信息可以計(jì)算很多的模型表現(xiàn)度量，比如精度和召回率。

（17）連續(xù)特征擁有無限個(gè)取值點(diǎn)的浮點(diǎn)特征。和離散特征相反。

（18）分類閾值應(yīng)用于模型的預(yù)測分?jǐn)?shù)以分離正類別和負(fù)類別的一種標(biāo)量值標(biāo)準(zhǔn)。當(dāng)需要將 logistic 回歸的結(jié)果映射到二元分類模型中時(shí)就需要使用分類閾值。

（19）凸函數(shù)就是一種形狀大致呈字母 U 形或碗形的函數(shù)。然而，在退化情形中，凸函數(shù)的形狀就像一條線。凸函數(shù)是很常用的損失函數(shù)。因?yàn)楫?dāng)一個(gè)函數(shù)有最小值的時(shí)候，梯度下降的各種變化都能保證找到接近函數(shù)最小值的點(diǎn)。類似的，隨機(jī)梯度下降的各種變化有很大的概率找到接近函數(shù)最小值的點(diǎn)。兩個(gè)凸函數(shù)相加后仍然是凸函數(shù)。深度模型通常是非凸的。

（20）早期停止法就是一種正則化方法，在訓(xùn)練損失完成下降之前停止模型訓(xùn)練過程。當(dāng)驗(yàn)證數(shù)據(jù)集的損失開始上升的時(shí)候，即泛化表現(xiàn)變差的時(shí)候，就該使用早期停止法了。

（21）交叉熵就是多類別分類問題中對(duì) Log 損失函數(shù)的推廣。交叉熵量化兩個(gè)概率分布之間的區(qū)別。

（22）密集特征就是大多數(shù)取值為非零的一種特征，通常用取浮點(diǎn)值的張量表示。和稀疏特征相反。

（23）派生特征是合成特征的同義詞。

（24）離散特征就是只有有限個(gè)可能取值的一種特征。和連續(xù)特征（continuous feature）對(duì)照。

（25）dropout 正則化就是訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)一種有用的正則化方法。dropout 正則化的過程是在單次梯度計(jì)算中刪去一層網(wǎng)絡(luò)中隨機(jī)選取的固定數(shù)量的單元。刪去的單元越多，正則化越強(qiáng)。

（26）動(dòng)態(tài)模型是以連續(xù)更新的方式在線訓(xùn)練的模型。即數(shù)據(jù)連續(xù)不斷的輸入模型。

（27）數(shù)據(jù)集就是樣本的集合。

（28）決策邊界在一個(gè)二元分類或多類別分類問題中模型學(xué)習(xí)的類別之間的分離器。

（29）深度模型是一種包含多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。深度模型依賴于其可訓(xùn)練的非線性性質(zhì)。和寬度模型對(duì)照。

（30）假負(fù)類就是被模型錯(cuò)誤的預(yù)測為負(fù)類的樣本。

（31）假正類就是被模型錯(cuò)誤的預(yù)測為正類的樣本。

（32）假正類率的概念就是在ROC 曲線（ROC curve）中的 x 軸。FP 率的定義是：假正率=假正類數(shù)/（假正類數(shù)+真負(fù)類數(shù)）

（33）特征就是輸入變量，用于做出預(yù)測。

（34）特征列就是具有相關(guān)性的特征的集合，一個(gè)樣本的一個(gè)特征列中可能會(huì)有一個(gè)或者多個(gè)特征。特征的數(shù)據(jù)類型；一個(gè)特征是固定長度的或應(yīng)該轉(zhuǎn)換為嵌入。一個(gè)特征列可以僅包含一個(gè)特征。

（35）特征交叉就是將特征進(jìn)行交叉（乘積或者笛卡爾乘積）運(yùn)算后得到的合成特征。特征交叉有助于表示非線性關(guān)系。

（36）特征工程就是在訓(xùn)練模型的時(shí)候，決定哪些特征是有用的，然后將記錄文件和其它來源的原始數(shù)據(jù)轉(zhuǎn)換成上述特征的過程。

（37）特征集就是機(jī)器學(xué)習(xí)模型訓(xùn)練的時(shí)候使用的特征群。

（38）特征定義就是描述所需的信息從 tf.Example 協(xié)議緩存中提取特征數(shù)據(jù)。因?yàn)?tf.Example 協(xié)議緩存只是數(shù)據(jù)的容器，必須明確以下信息：

（39）嵌入就是連續(xù)值特征的明確的特征。嵌入通常指將高維向量轉(zhuǎn)換到低維空間中。

在 TensorFlow 中，嵌入是通過反向傳播損失訓(xùn)練的，正如神經(jīng)網(wǎng)絡(luò)的其它參量一樣。

（40）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化就是選擇能最小化訓(xùn)練數(shù)據(jù)的損失的模型函數(shù)的過程。和結(jié)構(gòu)風(fēng)險(xiǎn)最小化（structual risk minimization）對(duì)照。

（41）集成就是多個(gè)模型預(yù)測的綜合考慮?？梢酝ㄟ^以下一種或幾種方法創(chuàng)建一個(gè)集成方法，這些方法分別是設(shè)置不同的初始化、設(shè)置不同的超參量。設(shè)置不同的總體結(jié)構(gòu)。而深度和廣度模型是一種集成。

（42）樣本就是一個(gè)數(shù)據(jù)集的一行內(nèi)容。一個(gè)樣本包含了一個(gè)或多個(gè)特征，也可能是一個(gè)標(biāo)簽。樣本有標(biāo)注樣本和無標(biāo)注樣本。

（43）梯度就是所有變量的偏導(dǎo)數(shù)的向量。在機(jī)器學(xué)習(xí)中，梯度是模型函數(shù)的偏導(dǎo)數(shù)向量。梯度指向最陡峭的上升路線。

（44）梯度截?cái)嗑褪窃趹?yīng)用梯度之前先修飾數(shù)值，梯度截?cái)嘤兄诖_保數(shù)值穩(wěn)定性，防止梯度爆炸出現(xiàn)。

（45）梯度下降是通過計(jì)算模型的相關(guān)參量和損失函數(shù)的梯度最小化損失函數(shù)，值取決于訓(xùn)練數(shù)據(jù)。梯度下降迭代地調(diào)整參量，逐漸靠近權(quán)重和偏置的最佳組合，從而最小化損失函數(shù)。

（46）圖在 TensorFlow 中的一種計(jì)算過程展示。圖中的節(jié)點(diǎn)表示操作。節(jié)點(diǎn)的連線是有指向性的，表示傳遞一個(gè)操作的結(jié)果給另一個(gè)操作。使用 TensorBoard 能可視化計(jì)算圖。

（47）泛化是指模型利用新的沒見過的數(shù)據(jù)而不是用于訓(xùn)練的數(shù)據(jù)作出正確的預(yù)測的能力。

（48）廣義線性模型就是最小二乘回歸模型的推廣/泛化，基于高斯噪聲，相對(duì)于其它類型的模型，這種模型基于其它類型的噪聲，比如泊松噪聲，或類別噪聲等等。廣義線性模型的例子包括很多，比如logistic回歸、多分類回歸、最小二乘回歸。而廣義線性模型的參數(shù)可以通過凸優(yōu)化得到，它的性質(zhì)有很多，第一就是最理想的最小二乘回歸模型的平均預(yù)測結(jié)果等于訓(xùn)練數(shù)據(jù)的平均標(biāo)簽。第二就是最理想的 logistic 回歸模型的平均概率的預(yù)測結(jié)果等于訓(xùn)練數(shù)據(jù)的平均標(biāo)簽。第三就是廣義線性模型的能力局限于其特征的性質(zhì)。和深度模型不同，一個(gè)廣義線性模型無法學(xué)習(xí)新的特征。

（49）啟發(fā)式就是一個(gè)問題的實(shí)際的和非最優(yōu)的解，但能從學(xué)習(xí)經(jīng)驗(yàn)中獲得足夠多的進(jìn)步。

（50）折頁損失函數(shù)就是損失函數(shù)的一個(gè)類型，用于分類模型以尋找距離每個(gè)樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊緣。

責(zé)任編輯：lq6