傳統(tǒng)機器學習方法和應用指導

在上一篇文章中，我們介紹了機器學習的關鍵概念術語。在本文中，我們會介紹傳統(tǒng)機器學習的基礎知識和多種算法特征，供各位老師選擇。

01

傳統(tǒng)機器學習

傳統(tǒng)機器學習，一般指不基于神經(jīng)網(wǎng)絡的算法，適合用于開發(fā)生物學數(shù)據(jù)的機器學習方法。盡管深度學習（一般指神經(jīng)網(wǎng)絡算法）是一個強大的工具，目前也非常流行，但它的應用領域仍然有限。與深度學習相比，傳統(tǒng)方法在給定問題上的開發(fā)和測試速度更快。開發(fā)深度神經(jīng)網(wǎng)絡的架構并進行訓練是一項耗時且計算成本高昂的任務，而傳統(tǒng)的支持向量機（SVM）和隨機森林等模型則相對簡單。此外，在深度神經(jīng)網(wǎng)絡中估計特征重要性（即每個特征對預測的貢獻程度）或模型預測的置信度仍然不是一件容易的事。即使使用深度學習模型，通常仍應訓練一個傳統(tǒng)方法，與基于神經(jīng)網(wǎng)絡的模型進行比較。

傳統(tǒng)方法通常期望數(shù)據(jù)集中的每個樣本具有相同數(shù)量的特征，但是生物學檢測數(shù)據(jù)很難滿足這個需求。舉例說明，當使用蛋白質(zhì)、RNA的表達水平矩陣時，每個樣本表達的蛋白質(zhì)、RNA數(shù)量不同。為了使用傳統(tǒng)方法處理這些數(shù)據(jù)，可以通過簡單的技術（如填充和窗口化）將數(shù)據(jù)調(diào)整為相同的大小。“填充”意味著將每個樣本添加額外的零值，直到它與數(shù)據(jù)集中最大的樣本大小相同。相比之下，窗口化將每個樣本縮短到給定的大小（例如，使用在所有樣品中均表達的蛋白質(zhì)、RNA）。

表1. 傳統(tǒng)機器學習方法比較

02

回歸模型

對于回歸問題，嶺回歸（帶有正則化項的線性回歸）通常是開發(fā)模型的良好起點。因為它可以為給定任務提供快速且易于理解的基準。當希望減少模型依賴的特征數(shù)時，比如篩選生物標志物研究時，其他線性回歸變體如LASSO回歸和彈性網(wǎng)絡回歸也是值得考慮的。數(shù)據(jù)中特征之間的關系通常是非線性的，因此在這種情況下使用如支持向量機（SVM）的模型通常是更合適的選擇。SVM是一種強大的回歸和分類模型，它使用核函數(shù)將不可分的問題轉(zhuǎn)換為更容易解決的可分問題。根據(jù)使用的核函數(shù)，SVM可以用于線性回歸和非線性回歸。一個開發(fā)模型的好方法是訓練一個線性SVM和一個帶有徑向基函數(shù)核的SVM（一種通用的非線性SVM），以量化非線性模型是否能帶來任何增益。非線性方法可以提供更強大的模型，但代價是難以解釋哪些特征在影響模型。

03

分類模型

許多常用的回歸模型也用于分類。對于分類任務，訓練一個線性SVM和一個帶有徑向基函數(shù)核的SVM也是一個好的默認起點。另一種可以嘗試的方法是k近鄰分類（KNN）。作為最簡單的分類方法之一，KNN提供了與其他更復雜的模型（如SVM）進行比較的有用基線性能指標。另一類強大的非線性方法是基于集成的模型，如隨機森林和XGBoost。這兩種方法都是強大的非線性模型，具有提供特征重要性估計和通常需要最少超參數(shù)調(diào)優(yōu)的優(yōu)點。由于特征重要性值的分配和決策樹結構，這些模型可分析哪些特征對預測貢獻最大，這對于生物學理解至關重要。

無論是分類還是回歸，許多可用的模型都有令人眼花繚亂的變體。試圖預測特定方法是否適合特定問題可能會有誤導性，因此采取經(jīng)驗性的試錯方法來找到最佳模型是明智的選擇。選擇最佳方法的一個好策略是訓練和優(yōu)化上述多種方法，并選擇在驗證集上表現(xiàn)最好的模型，最后再在獨立的測試集上比較它們的性能。

04

聚類模型和降維

聚類算法在生物學中廣泛應用。k-means是一種強大的通用聚類方法，像許多其他聚類算法一樣，需要將聚類的數(shù)量設置為超參數(shù)。DBSCAN是一種替代方法，不需要預先定義聚類的數(shù)量，但需要設置其他超參數(shù)。在聚類之前進行降維也可以提高具有大量特征的數(shù)據(jù)集的性能。

降維技術用于將具有大量屬性（或維度）的數(shù)據(jù)轉(zhuǎn)換為低維形式，同時盡可能保留數(shù)據(jù)點之間的不同關系。例如，相似的數(shù)據(jù)點（如兩個同源蛋白序列）在低維形式中也應保持相似，而不相似的數(shù)據(jù)點（如不相關的蛋白序列）應保持不相似。通常選擇兩維或三維，以便在坐標軸上可視化數(shù)據(jù)，盡管在機器學習中使用更多維度也有其用途。這些技術包括數(shù)據(jù)的線性和非線性變換。生物學中常見的例子包括主成分分析（PCA）、均勻流形逼近和投影（UMAP）以及t分布隨機鄰域嵌入（t-SNE）。

圖1. 各種傳統(tǒng)機器學習模型

本文詳細介紹了傳統(tǒng)機器學習方法和應用指導，下一篇文章將介紹深度神經(jīng)網(wǎng)絡算法模型，敬請期待。