MLE極大似然估計和EM最大期望算法

　　機器學(xué)習(xí)十大算法之一：EM算法。能評得上十大之一，讓人聽起來覺得挺NB的。什么是NB啊，我們一般說某個人很NB，是因為他能解決一些別人解決不了的問題。神為什么是神，因為神能做很多人做不了的事。那么EM算法能解決什么問題呢？或者說EM算法是因為什么而來到這個世界上，還吸引了那么多世人的目光。

　　我希望自己能通俗地把它理解或者說明白，但是，EM這個問題感覺真的不太好用通俗的語言去說明白，因為它很簡單，又很復(fù)雜。簡單在于它的思想，簡單在于其僅包含了兩個步驟就能完成強大的功能，復(fù)雜在于它的數(shù)學(xué)推理涉及到比較繁雜的概率公式等。如果只講簡單的，就丟失了EM算法的精髓，如果只講數(shù)學(xué)推理，又過于枯燥和生澀，但另一方面，想把兩者結(jié)合起來也不是件容易的事。所以，我也沒法期待我能把它講得怎樣。希望各位不吝指導(dǎo)。

　　EM算法 ：

　　相信大家對似然函數(shù)已經(jīng)手到擒來了。那么我們就來看看高深的。

　　一個概率模型有時候既含有觀察變量，有含有隱變量。如果只有觀察變量那么我們可以用最大似然法（或者貝葉斯）估計未知參數(shù)，但是如果還含有隱變量就不能如此簡單解決了。這時候就需要EM算法。

　　大家可能對這種問題不是很明白，也不太明白隱變量是什么意思。我舉個例子（引用統(tǒng)計學(xué)習(xí)方法的例子）：

　　有3枚硬幣分別記為A，B，C，并且出現(xiàn)正面概率分別為p ，q ，k.規(guī)則如下：先拋硬幣A，如果為正面就選擇B，否則選擇C，然后再將選擇的硬幣（B或者C拋），然后觀測結(jié)果。正面為1 反面為0.獨立重復(fù)實驗10次結(jié)果如下：1，1，1，0，0，0，1，1，1，0。我們并不知道拋A硬幣時為正面還是方面，只知道最后的結(jié)果，問如何估計p，q，k的值？

　　如果我們知道拋的是哪個硬幣就可以使用最大似然估計來估計這些參數(shù)，但是我們不知道。因為有p的原因，所以無法估計，這個p就是隱變量

　　log（Θ）=Σlogp（x;Θ）=Σlogp（x，p;Θ），Θ就是要求的q，k 待定參數(shù)，x為觀測數(shù)據(jù)，因為這個p導(dǎo)致我們無法求解MaxΣlogp（x;Θ）。

　　還比如說調(diào)查 男生 女生身高的問題。身高肯定是服從高斯分布。以往我們可以通過對男生抽樣進而求出高斯分布的參數(shù)，女生也是，但是如果我們只能知道某個人的高度，卻不能知道他是男生或者女生（隱含變量），這時候就無法使用似然函數(shù)估計了。這個時候就可以使用EM方法。

　　分為E和M兩步：

　　E步：

　　首先通過隨機賦值一個我們要求的參數(shù)，然后求出另外一個隱含參數(shù)的后驗概率。這是期望計算過程，我們首先通過隨便賦予模型參數(shù)的初始值p，q，k，求出各個數(shù)據(jù)到模型的結(jié)果。

　　M步

　　用求出來的隱含參數(shù)的后驗概率進行對傳統(tǒng)的似然函數(shù)估計，對要求參數(shù)進行修正。迭代直到前后兩次要求的參數(shù)一樣為止

　　其實可以這么簡單理解：就是在無監(jiān)督聚類的時候，我們不知道模型的參數(shù)（比如為高斯分布），這時候我們就隨便賦值給模型的待定參數(shù)（u和ó）。然后我們就可以計算出各個數(shù)據(jù)分別屬于那一類。然后我們用這些分類好的數(shù)據(jù)重新估計u和ó。

　　EM算法推導(dǎo)

　　假設(shè)我們有一個樣本集{x（1），…，x（m）}，包含m個獨立的樣本。但每個樣本i對應(yīng)的類別z（i）是未知的（相當(dāng)于聚類），也即隱含變量。故我們需要估計概率模型p（x，z）的參數(shù)θ，但是由于里面包含隱含變量z，所以很難用最大似然求解，但如果z知道了，那我們就很容易求解了。

　　對于參數(shù)估計，我們本質(zhì)上還是想獲得一個使似然函數(shù)最大化的那個參數(shù)θ，現(xiàn)在與最大似然不同的只是似然函數(shù)式中多了一個未知的變量z，見下式（1）。也就是說我們的目標(biāo)是找到適合的θ和z讓L（θ）最大。那我們也許會想，你就是多了一個未知的變量而已啊，我也可以分別對未知的θ和z分別求偏導(dǎo)，再令其等于0，求解出來不也一樣嗎？

　　本質(zhì)上我們是需要最大化（1）式（對（1）式，我們回憶下聯(lián)合概率密度下某個變量的邊緣概率密度函數(shù)的求解，注意這里z也是隨機變量。對每一個樣本i的所有可能類別z求等式右邊的聯(lián)合概率密度函數(shù)和，也就得到等式左邊為隨機變量x的邊緣概率密度），也就是似然函數(shù)，但是可以看到里面有“和的對數(shù)”，求導(dǎo)后形式會非常復(fù)雜（自己可以想象下log（f1（x）+ f2（x）+ f3（x）+…）復(fù)合函數(shù)的求導(dǎo)），所以很難求解得到未知參數(shù)z和θ。那OK，我們可否對（1）式做一些改變呢？我們看（2）式，（2）式只是分子分母同乘以一個相等的函數(shù)，還是有“和的對數(shù)”啊，還是求解不了，那為什么要這么做呢？咱們先不管，看（3）式，發(fā)現(xiàn)（3）式變成了“對數(shù)的和”，那這樣求導(dǎo)就容易了。我們注意點，還發(fā)現(xiàn)等號變成了不等號，為什么能這么變呢？這就是Jensen不等式的大顯神威的地方。