什么時(shí)候適合使用逐步回歸？

我發(fā)現(xiàn)了一個(gè)很有意思的例子，是關(guān)于識(shí)別某制造廠的主要能源使用來(lái)源。

什么時(shí)候適合使用逐步回歸？

當(dāng)您有許多變量并且想確認(rèn)有用的預(yù)測(cè)變量子集時(shí)，逐步回歸就是一種合適的分析方法。在 Minitab 中，標(biāo)準(zhǔn)的逐步回歸程序每次都只添加和刪除一個(gè)預(yù)測(cè)變量。當(dāng)模型中未包含的所有變量的 p 值都大于指定的入選用 Alpha 值，且模型中所有變量的 p 值都小于或等于指定的刪除用 Alpha 值時(shí)，Minitab 停止。

除了標(biāo)準(zhǔn)逐步法外，Minitab 還提供另兩種逐步程序：

* 向前選擇法：Minitab 以模型中沒(méi)有任何預(yù)測(cè)變量開(kāi)始，并為每個(gè)步驟添加最顯著的變量。當(dāng)模型中未包含的所有變量的 p 值都大于指定的入選用 Alpha 值，Minitab 將停止。

* 向后消元法：Minitab 以模型中包含所有預(yù)測(cè)變量開(kāi)始，并刪除每個(gè)步驟的最小顯著項(xiàng)。當(dāng)模型中包含的所有變量的 p 值都小于或等于指定的刪除用 Alpha 值時(shí)，Minitab 將停止。

逐步回歸示例

本示例使用逐步回歸識(shí)別主要的能源使用來(lái)源。制造廠的分析師考慮了以下預(yù)測(cè)變量：生產(chǎn)產(chǎn)品總數(shù)、設(shè)備總運(yùn)行時(shí)間、員工人數(shù)、平均室外溫度、最低室外溫度、最高室外溫度、日照百分率以及設(shè)備平均壽命。但值得注意的是，當(dāng)預(yù)測(cè)變量達(dá)到 100 個(gè)以上時(shí)，逐步回歸會(huì)非常有用！

他們的目的是將這些變量縮小到能源使用的主要預(yù)測(cè)變量列表中。為得到最終模型，在 Minitab 中選擇統(tǒng)計(jì) > 回歸 > 逐步，并輸入響應(yīng)“能源”和上面的預(yù)測(cè)變量列表來(lái)完成對(duì)話框。

他們的目的是將這些變量縮小到能源使用的主要預(yù)測(cè)變量列表中。為得到最終模型，在 Minitab 中選擇統(tǒng)計(jì) > 回歸 > 逐步，并輸入響應(yīng)“能源”和上面的預(yù)測(cè)變量列表來(lái)完成對(duì)話框。

他們得到了下面的模型，該模型中包含了設(shè)備總運(yùn)行時(shí)間、最高溫度和設(shè)備平均壽命三個(gè)預(yù)測(cè)變量。Minitab 刪除了其他變量，因?yàn)檫@些變量的 p 值大于入選用 Alpha 值。

為獲得最終模型，分析師選擇統(tǒng)計(jì) > 回歸 > 回歸，并通過(guò)將“能源”作為響應(yīng)，且三個(gè)顯著變量作為預(yù)測(cè)變量來(lái)完成對(duì)話框。（要檢查殘差圖，在對(duì)話框中選擇圖形，然后在殘差圖下，選擇四合一。）

以下回歸方程表明，隨著設(shè)備總運(yùn)行時(shí)間、最高溫度和設(shè)備平均壽命的增加，能源使用也相應(yīng)增加：

根據(jù) T 統(tǒng)計(jì)值，設(shè)備總運(yùn)行時(shí)間的影響最大，最高溫度次之，然后是設(shè)備平均壽命。

通過(guò)分析，分析師可以得出這樣的結(jié)論：由于大量使用空調(diào)，能源使用顯著增高；而較新的設(shè)備看上去降低了能源使用。工廠可能想要在持續(xù)使用空調(diào)的高峰期限制設(shè)備的運(yùn)行，并考慮在夏季來(lái)臨前購(gòu)置新設(shè)備。

P逐步回歸的陷阱

雖然逐步回歸能幫助我們了解很多，但也存在一些需要注意的潛在陷阱：

· 如果兩個(gè)獨(dú)立變量高度相關(guān)，那么即使他們都很重要，模型中可能只包含其中一個(gè)。

· 由于該程序可以擬合許多模型，因此可能只是偶然的選擇了恰好擬合數(shù)據(jù)的模型。

· 對(duì)于給定數(shù)量的預(yù)測(cè)變量，逐步回歸可能不會(huì)總是以具有最高 R2 值的模型結(jié)束。

· 自動(dòng)程序無(wú)法考慮分析師可能掌握對(duì)數(shù)據(jù)的特殊知識(shí)。因此，所選的模型可能不是最實(shí)用的。

· 根據(jù)響應(yīng)來(lái)繪制單個(gè)預(yù)測(cè)變量圖通常具有誤導(dǎo)性，因?yàn)閳D形沒(méi)有考慮模型中的其他預(yù)測(cè)變量。

審核編輯黃宇