8 種進(jìn)行簡(jiǎn)單線性回歸的方法分析與討論

本文中，作者討論了 8 種在 Python 環(huán)境下進(jìn)行簡(jiǎn)單線性回歸計(jì)算的算法，不過(guò)沒(méi)有討論其性能的好壞，而是對(duì)比了其相對(duì)計(jì)算復(fù)雜度的度量。

對(duì)于大多數(shù)數(shù)據(jù)科學(xué)家而言，線性回歸方法是他們進(jìn)行統(tǒng)計(jì)學(xué)建模和預(yù)測(cè)分析任務(wù)的起點(diǎn)。但我們不可夸大線性模型（快速且準(zhǔn)確地）擬合大型數(shù)據(jù)集的重要性。如本文所示，在線性回歸模型中，「線性」一詞指的是回歸系數(shù)，而不是特征的 degree。

特征（或稱(chēng)獨(dú)立變量）可以是任何的 degree，甚至是超越函數(shù)（transcendental function），比如指數(shù)函數(shù)、對(duì)數(shù)函數(shù)、正弦函數(shù)。因此，很多自然現(xiàn)象可以通過(guò)這些變換和線性模型來(lái)近似模擬，即使當(dāng)輸出與特征的函數(shù)關(guān)系是高度非線性的也沒(méi)問(wèn)題。

另一方面，由于 Python 正在快速發(fā)展為數(shù)據(jù)科學(xué)家的首選編程語(yǔ)言，所以能夠意識(shí)到存在很多方法用線性模型擬合大型數(shù)據(jù)集，就顯得尤為重要。同樣重要的一點(diǎn)是，數(shù)據(jù)科學(xué)家需要從模型得到的結(jié)果中來(lái)評(píng)估與每個(gè)特征相關(guān)的重要性。

然而，在 Python 中是否只有一種方法來(lái)執(zhí)行線性回歸分析呢？如果有多種方法，那我們應(yīng)該如何選擇最有效的那個(gè)呢？

由于在機(jī)器學(xué)習(xí)中，Scikit-learn 是一個(gè)十分流行的 Python 庫(kù)，因此，人們經(jīng)常會(huì)從這個(gè)庫(kù)調(diào)用線性模型來(lái)擬合數(shù)據(jù)。除此之外，我們還可以使用該庫(kù)的 pipeline 與 FeatureUnion 功能（如：數(shù)據(jù)歸一化、模型回歸系數(shù)正則化、將線性模型傳遞給下游模型），但是一般來(lái)看，如果一個(gè)數(shù)據(jù)分析師僅需要一個(gè)又快又簡(jiǎn)單的方法來(lái)確定回歸系數(shù)（或是一些相關(guān)的統(tǒng)計(jì)學(xué)基本結(jié)果），那么這并不是最快或最簡(jiǎn)潔的方法。

雖然還存在其他更快更簡(jiǎn)潔的方法，但是它們都不能提供同樣的信息量與模型靈活性。

請(qǐng)繼續(xù)閱讀。

有關(guān)各種線性回歸方法的代碼可以參閱筆者的 GitHub。其中大部分都基于 SciPy 包

SciPy 基于 Numpy 建立，集合了數(shù)學(xué)算法與方便易用的函數(shù)。通過(guò)為用戶提供高級(jí)命令，以及用于操作和可視化數(shù)據(jù)的類(lèi)，SciPy 顯著增強(qiáng)了 Python 的交互式會(huì)話。

以下對(duì)各種方法進(jìn)行簡(jiǎn)要討論。

方法 1：Scipy.polyfit（ ） 或 numpy.polyfit（ ）

這是一個(gè)非常一般的最小二乘多項(xiàng)式擬合函數(shù)，它適用于任何 degree 的數(shù)據(jù)集與多項(xiàng)式函數(shù)（具體由用戶來(lái)指定），其返回值是一個(gè)（最小化方差）回歸系數(shù)的數(shù)組。

對(duì)于簡(jiǎn)單的線性回歸而言，你可以把 degree 設(shè)為 1。如果你想擬合一個(gè) degree 更高的模型，你也可以通過(guò)從線性特征數(shù)據(jù)中建立多項(xiàng)式特征來(lái)完成。

詳細(xì)描述參考：https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.polyfit.html。

方法 2：stats.linregress（ ）

這是 Scipy 中的統(tǒng)計(jì)模塊中的一個(gè)高度專(zhuān)門(mén)化的線性回歸函數(shù)。其靈活性相當(dāng)受限，因?yàn)樗粚?duì)計(jì)算兩組測(cè)量值的最小二乘回歸進(jìn)行優(yōu)化。因此，你不能用它擬合一般的線性模型，或者是用它來(lái)進(jìn)行多變量回歸分析。但是，由于該函數(shù)的目的是為了執(zhí)行專(zhuān)門(mén)的任務(wù)，所以當(dāng)我們遇到簡(jiǎn)單的線性回歸分析時(shí)，這是最快速的方法之一。除了已擬合的系數(shù)和截距項(xiàng)（intercept term）外，它還會(huì)返回基本的統(tǒng)計(jì)學(xué)值如 R2 系數(shù)與標(biāo)準(zhǔn)差。

詳細(xì)描述參考：

方法 3：optimize.curve_fit（ ）

這個(gè)方法與 Polyfit 方法類(lèi)似，但是從根本來(lái)講更為普遍。通過(guò)進(jìn)行最小二乘極小化，這個(gè)來(lái)自 scipy.optimize 模塊的強(qiáng)大函數(shù)可以通過(guò)最小二乘方法將用戶定義的任何函數(shù)擬合到數(shù)據(jù)集上。

對(duì)于簡(jiǎn)單的線性回歸任務(wù)，我們可以寫(xiě)一個(gè)線性函數(shù)：mx+c，我們將它稱(chēng)為估計(jì)器。它也適用于多變量回歸。它會(huì)返回一個(gè)由函數(shù)參數(shù)組成的數(shù)列，這些參數(shù)是使最小二乘值最小化的參數(shù)，以及相關(guān)協(xié)方差矩陣的參數(shù)。

詳細(xì)描述參考：https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.curve_fit.html

方法 4：numpy.linalg.lstsq