最大似然檢測(cè)算法認(rèn)識(shí)與理解 - 全文

　　最大似然檢測(cè)

　　最大似然檢測(cè)（Maximum Likelihood，ML）檢測(cè)，也被稱作最大似然序列估計(jì)（MLSE），從嚴(yán)格意義上講它不是均衡方案而是接收機(jī)方式，其中接收端的檢測(cè)處理顯式地考慮了無(wú)線信道時(shí)間彌散的影響。從根本上講，ML檢測(cè)器考慮了時(shí)間彌散對(duì)接收信號(hào)的影響，用整個(gè)接收信號(hào)來(lái)確定最有可能被發(fā)送的序列。為了實(shí)現(xiàn)最大似然檢測(cè)，通常使用Viterbi算法。然而，盡管基于Viterbi算法的最大似然檢測(cè)被廣泛應(yīng)用于諸如GSM的2G通信，該算法還是因?yàn)樘^(guò)復(fù)雜而無(wú)法應(yīng)用在LTE上，這是因?yàn)楦鼘挼膫鬏攷拰?dǎo)致更廣泛的信道頻率選擇性和更高的采樣速率。

　　總的來(lái)說(shuō)，信號(hào)信息經(jīng)過(guò)信道估計(jì)和均衡后，通過(guò)資源逆映射映射到不同的物理信道上進(jìn)行處理

　　一、最大似然

　　假設(shè)我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你怎么做??？你說(shuō)那么多人不可能一個(gè)一個(gè)去問(wèn)吧，肯定是抽樣了。假設(shè)你在校園里隨便地活捉了100個(gè)男生和100個(gè)女生。他們共200個(gè)人（也就是200個(gè)身高的樣本數(shù)據(jù)，為了方便表示，下面，我說(shuō)“人”的意思就是對(duì)應(yīng)的身高）都在教室里面了。那下一步怎么辦?。磕汩_始喊：“男的左邊，女的右邊，其他的站中間！”。然后你就先統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高。假設(shè)他們的身高是服從高斯分布的。但是這個(gè)分布的均值u和方差?2我們不知道，這兩個(gè)參數(shù)就是我們要估計(jì)的。記作θ=［u， ?］T。

　　用數(shù)學(xué)的語(yǔ)言來(lái)說(shuō)就是：在學(xué)校那么多男生（身高）中，我們獨(dú)立地按照概率密度p（x|θ）抽取100了個(gè)（身高），組成樣本集X，我們想通過(guò)樣本集X來(lái)估計(jì)出未知參數(shù)θ。這里概率密度p（x|θ）我們知道了是高斯分布N（u，?）的形式，其中的未知參數(shù)是θ=［u， ?］T。抽到的樣本集是X={x1，x2，…，xN}，其中xi表示抽到的第i個(gè)人的身高，這里N就是100，表示抽到的樣本個(gè)數(shù)。

　　由于每個(gè)樣本都是獨(dú)立地從p（x|θ）中抽取的，換句話說(shuō)這100個(gè)男生中的任何一個(gè)，都是我隨便捉的，從我的角度來(lái)看這些男生之間是沒(méi)有關(guān)系的。那么，我從學(xué)校那么多男生中為什么就恰好抽到了這100個(gè)人呢？抽到這100個(gè)人的概率是多少呢？因?yàn)檫@些男生（的身高）是服從同一個(gè)高斯分布p（x|θ）的。那么我抽到男生A（的身高）的概率是p（xA|θ），抽到男生B的概率是p（xB|θ），那因?yàn)樗麄兪仟?dú)立的，所以很明顯，我同時(shí)抽到男生A和男生B的概率是p（xA|θ）* p（xB|θ），同理，我同時(shí)抽到這100個(gè)男生的概率就是他們各自概率的乘積了。用數(shù)學(xué)家的口吻說(shuō)就是從分布是p（x|θ）的總體樣本中抽取到這100個(gè)樣本的概率，也就是樣本集X中各個(gè)樣本的聯(lián)合概率，用下式表示：

　　這個(gè)概率反映了，在概率密度函數(shù)的參數(shù)是θ時(shí)，得到X這組樣本的概率。因?yàn)檫@里X是已知的，也就是說(shuō)我抽取到的這100個(gè)人的身高可以測(cè)出來(lái)，也就是已知的了。而θ是未知了，則上面這個(gè)公式只有θ是未知數(shù)，所以它是θ的函數(shù)。這個(gè)函數(shù)放映的是在不同的參數(shù)θ取值下，取得當(dāng)前這個(gè)樣本集的可能性，因此稱為參數(shù)θ相對(duì)于樣本集X的似然函數(shù)（likehood function）。記為L(zhǎng)（θ）。

　　這里出現(xiàn)了一個(gè)概念，似然函數(shù)。還記得我們的目標(biāo)嗎？我們需要在已經(jīng)抽到這一組樣本X的條件下，估計(jì)參數(shù)θ的值。怎么估計(jì)呢？似然函數(shù)有啥用呢？那咱們先來(lái)了解下似然的概念。

　　直接舉個(gè)例子：

　　某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過(guò)。只聽一聲槍響，野兔應(yīng)聲到下，如果要你推測(cè)，這一發(fā)命中的子彈是誰(shuí)打的？你就會(huì)想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的概率，看來(lái)這一槍是獵人射中的。

　　這個(gè)例子所作的推斷就體現(xiàn)了極大似然法的基本思想。

　　再例如：下課了，一群男女同學(xué)分別去廁所了。然后，你閑著無(wú)聊，想知道課間是男生上廁所的人多還是女生上廁所的人比較多，然后你就跑去蹲在男廁和女廁的門口。蹲了五分鐘，突然一個(gè)美女走出來(lái)，你狂喜，跑過(guò)來(lái)告訴我，課間女生上廁所的人比較多，你要不相信你可以進(jìn)去數(shù)數(shù)。呵呵，我才沒(méi)那么蠢跑進(jìn)去數(shù)呢，到時(shí)還不得上頭條。我問(wèn)你是怎么知道的。你說(shuō)：“5分鐘了，出來(lái)的是女生，女生啊，那么女生出來(lái)的概率肯定是最大的了，或者說(shuō)比男生要大，那么女廁所的人肯定比男廁所的人多”?？吹搅藳](méi)，你已經(jīng)運(yùn)用最大似然估計(jì)了。你通過(guò)觀察到女生先出來(lái)，那么什么情況下，女生會(huì)先出來(lái)呢？肯定是女生出來(lái)的概率最大的時(shí)候了，那什么時(shí)候女生出來(lái)的概率最大啊，那肯定是女廁所比男廁所多人的時(shí)候了，這個(gè)就是你估計(jì)到的參數(shù)了。

　　從上面這兩個(gè)例子，你得到了什么結(jié)論？

　　回到男生身高那個(gè)例子。在學(xué)校那么男生中，我一抽就抽到這100個(gè)男生（表示身高），而不是其他人，那是不是表示在整個(gè)學(xué)校中，這100個(gè)人（的身高）出現(xiàn)的概率最大啊。那么這個(gè)概率怎么表示？哦，就是上面那個(gè)似然函數(shù)L（θ）。所以，我們就只需要找到一個(gè)參數(shù)θ，其對(duì)應(yīng)的似然函數(shù)L（θ）最大，也就是說(shuō)抽到這100個(gè)男生（的身高）概率最大。這個(gè)叫做θ的最大似然估計(jì)量，記為：

　　有時(shí)，可以看到L（θ）是連乘的，所以為了便于分析，還可以定義對(duì)數(shù)似然函數(shù)，將其變成連加的：

　　好了，現(xiàn)在我們知道了，要求θ，只需要使θ的似然函數(shù)L（θ）極大化，然后極大值對(duì)應(yīng)的θ就是我們的估計(jì)。這里就回到了求最值的問(wèn)題了。怎么求一個(gè)函數(shù)的最值？當(dāng)然是求導(dǎo)，然后讓導(dǎo)數(shù)為0，那么解這個(gè)方程得到的θ就是了（當(dāng)然，前提是函數(shù)L（θ）連續(xù)可微）。那如果θ是包含多個(gè)參數(shù)的向量那怎么處理??？當(dāng)然是求L（θ）對(duì)所有參數(shù)的偏導(dǎo)數(shù)，也就是梯度了，那么n個(gè)未知的參數(shù)，就有n個(gè)方程，方程組的解就是似然函數(shù)的極值點(diǎn)了，當(dāng)然就得到這n個(gè)參數(shù)了。

　　最大似然估計(jì)你可以把它看作是一個(gè)反推。多數(shù)情況下我們是根據(jù)已知條件來(lái)推算結(jié)果，而最大似然估計(jì)是已經(jīng)知道了結(jié)果，然后尋求使該結(jié)果出現(xiàn)的可能性最大的條件，以此作為估計(jì)值。比如，如果其他條件一定的話，抽煙者發(fā)生肺癌的危險(xiǎn)時(shí)不抽煙者的5倍，那么如果現(xiàn)在我已經(jīng)知道有個(gè)人是肺癌，我想問(wèn)你這個(gè)人抽煙還是不抽煙。你怎么判斷？你可能對(duì)這個(gè)人一無(wú)所知，你所知道的只有一件事，那就是抽煙更容易發(fā)生肺癌，那么你會(huì)猜測(cè)這個(gè)人不抽煙嗎？我相信你更有可能會(huì)說(shuō)，這個(gè)人抽煙。為什么？這就是“最大可能”，我只能說(shuō)他“最有可能”是抽煙的，“他是抽煙的”這一估計(jì)值才是“最有可能”得到“肺癌”這樣的結(jié)果。這就是最大似然估計(jì)。

　　好了，極大似然估計(jì)就講到這，總結(jié)一下：

　　極大似然估計(jì)，只是一種概率論在統(tǒng)計(jì)學(xué)的應(yīng)用，它是參數(shù)估計(jì)的方法之一。說(shuō)的是已知某個(gè)隨機(jī)樣本滿足某種概率分布，但是其中具體的參數(shù)不清楚，參數(shù)估計(jì)就是通過(guò)若干次試驗(yàn)，觀察其結(jié)果，利用結(jié)果推出參數(shù)的大概值。最大似然估計(jì)是建立在這樣的思想上：已知某個(gè)參數(shù)能使這個(gè)樣本出現(xiàn)的概率最大，我們當(dāng)然不會(huì)再去選擇其他小概率的樣本，所以干脆就把這個(gè)參數(shù)作為估計(jì)的真實(shí)值。

　　求最大似然函數(shù)估計(jì)值的一般步驟：

　?。?）寫出似然函數(shù)；

　?。?）對(duì)似然函數(shù)取對(duì)數(shù)，并整理；

　　（3）求導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到似然方程；

　　（4）解似然方程，得到的參數(shù)即為所求；
?

　　最大似然譯碼算法在LTE上的應(yīng)用

　　假定調(diào)制星座圖中的所有信號(hào)都是等概的，最大似然譯碼器對(duì)所有可能的見，和妥2值，從信號(hào)調(diào)制星座圖中選擇一對(duì)信號(hào)（二。，見2）使下面的距離量度最小

　　d2 r1，h1x 1+h2x 2 +d2 r2，?h1x 2?+h2x 1? =|h1?h1x 1?h2x 2|2+|r2，+h1x 2??h2x 1?|2

　　（1）

　　化簡(jiǎn)得最大似然譯碼判決準(zhǔn)則為：

　　x 1，x 2 =argmin（x 1，x 2）?C（|h1|2+|h2|2?1）（|x1|2+|x 2|2）+d2 x1，x 1 +d2 x2，x 2

　?。?）

　　上式中：C為調(diào)制符號(hào)對(duì)（x 1，x 2）所有可能的集合; x 1和x 2是通過(guò)合并接收信號(hào)和信道狀態(tài)信息構(gòu)造產(chǎn)生的兩個(gè)判決統(tǒng)計(jì)。統(tǒng)計(jì)結(jié)果可以表示為

　　x1=h1?r1+h1r2?（3）

　　x2=h2?r1?h1r2? （4）

　　將式（3）和式（4）中的r1和r2分別代人式（5）中，統(tǒng)計(jì)結(jié)果可以表示為

　　x1=（|h1|2+ h2|2 x1+h1?n1+h2n2? （5）

　　x2=（|h1|2+ h2|2 x2?h1n2?+h2?n1 （6）

　　對(duì)于給定信道實(shí)現(xiàn)h1和h2而言，統(tǒng)計(jì)結(jié)果見xi（i=1，2）僅僅是xi（i=1，2）的函數(shù)，因此，可以將最大似然譯碼準(zhǔn)則式（4）分為對(duì)于x1和x2的2個(gè)獨(dú)立譯碼算法，即

　　x 1=argminx2∈S（|h1|2+|h2|2?1）×|x 1|2+d2 x1，x 1 （7）

　　和

　　x 2=argminx2∈S（|h1|2+|h2|2?1）×|x 2|2+d2 x2，x 2 （8）

　　對(duì)于M-PSK信號(hào)星座圖而言，在給定信號(hào)衰落系數(shù)的前提下，（|h1|2+|h2|2?1）×|x i|2（i=1，2）對(duì)于所有信號(hào)都是恒定的，因此可以將式（7）和式 （8）的判決準(zhǔn)則進(jìn)一步簡(jiǎn)化為

　　x 1=argminx2∈S（x1，x 1）=argminx2∈S|h1?r1+h2r1??x 1|2

　　x 2=argminx2∈S（x2，x 2）=argminx2∈S|h2?r1?h1r2??x2|2

　　上述最大似然檢測(cè)算法可以推廣到多個(gè)接收天線的情況。

　　最大似然估計(jì)學(xué)習(xí)總結(jié)------MadTurtle

　　1. 作用

　　在已知試驗(yàn)結(jié)果（即是樣本）的情況下，用來(lái)估計(jì)滿足這些樣本分布的參數(shù)，把可能性最大的那個(gè)參數(shù)作為真實(shí)的參數(shù)估計(jì)。

　　2. 離散型

　　設(shè)為離散型隨機(jī)變量，為多維參數(shù)向量，如果隨機(jī)變量相互獨(dú)立且概率計(jì)算式為P{，則可得概率函數(shù)為P{}=，在固定時(shí)，上式表示的概率；當(dāng)已知的時(shí)候，它又變成的函數(shù)，可以把它記為，稱此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的可能性的大小，既然已經(jīng)得到了樣本值，那么它出現(xiàn)的可能性應(yīng)該是較大的，即似然函數(shù)的值也應(yīng)該是比較大的，因而最大似然估計(jì)就是選擇使達(dá)到最大值的那個(gè)作為真實(shí)的估計(jì)。

　　3. 連續(xù)型

　　設(shè)為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為，為從該總體中抽出的樣本，同樣的如果相互獨(dú)立且同分布，于是樣本的聯(lián)合概率密度為。大致過(guò)程同離散型一樣。

　　4. 關(guān)于概率密度（PDF）

　　我們來(lái)考慮個(gè)簡(jiǎn)單的情況（m=k=1），即是參數(shù)和樣本都為1的情況。假設(shè)進(jìn)行一個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)次數(shù)定為10次，每次實(shí)驗(yàn)成功率為0.2，那么不成功的概率為0.8，用y來(lái)表示成功的次數(shù)。由于前后的實(shí)驗(yàn)是相互獨(dú)立的，所以可以計(jì)算得到成功的次數(shù)的概率密度為：

　　= 其中y

　　由于y的取值范圍已定，而且也為已知，所以圖1顯示了y取不同值時(shí)的概率分布情況，而圖2顯示了當(dāng)時(shí)的y值概率情況。

　　那么在［0，1］之間變化而形成的概率密度函數(shù)的集合就形成了一個(gè)模型。

　　5. 最大似然估計(jì)的求法

　　由上面的介紹可以知道，對(duì)于圖1這種情況y=2是最有可能發(fā)生的事件。但是在現(xiàn)實(shí)中我們還會(huì)面臨另外一種情況：我們已經(jīng)知道了一系列的觀察值和一個(gè)感興趣的模型，現(xiàn)在需要找出是哪個(gè)PDF（具體來(lái)說(shuō)參數(shù)為多少時(shí)）產(chǎn)生出來(lái)的這些觀察值。要解決這個(gè)問(wèn)題，就需要用到參數(shù)估計(jì)的方法，在最大似然估計(jì)法中，我們對(duì)調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色，于是可以得到似然函數(shù)的定義為：

　　該函數(shù)可以理解為，在給定了樣本值的情況下，關(guān)于參數(shù)向量取值情況的函數(shù)。還是以上面的簡(jiǎn)單實(shí)驗(yàn)情況為例，若此時(shí)給定y為7，那么可以得到關(guān)于的似然函數(shù)為：

　　繼續(xù)回顧前面所講，圖1，2是在給定的情況下，樣本向量y取值概率的分布情況；而圖3是圖1，2橫縱坐標(biāo)軸相交換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況下，符合該取值樣本分布的各種參數(shù)向量的可能性。若相比于，使得y=7出現(xiàn)的可能性要高，那么理所當(dāng)然的要比更加接近于真正的估計(jì)參數(shù)。所以求的極大似然估計(jì)就歸結(jié)為求似然函數(shù)的最大值點(diǎn)。那么取何值時(shí)似然函數(shù)最大，這就需要用到高等數(shù)學(xué)中求導(dǎo)的概念，如果是多維參數(shù)向量那么就是求偏導(dǎo)。

　　主要注意的是多數(shù)情況下，直接對(duì)變量進(jìn)行求導(dǎo)反而會(huì)使得計(jì)算式子更加的復(fù)雜，此時(shí)可以借用對(duì)數(shù)函數(shù)。由于對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，所以與具有相同的最大值點(diǎn)，而在許多情況下，求的最大值點(diǎn)比較簡(jiǎn)單。于是，我們將求的最大值點(diǎn)改為求的最大值點(diǎn)。

　　若該似然函數(shù)的導(dǎo)數(shù)存在，那么對(duì)關(guān)于參數(shù)向量的各個(gè)參數(shù)求導(dǎo)數(shù)（當(dāng)前情況向量維數(shù)為1），并命其等于零，得到方程組：

　　可以求得時(shí)似然函數(shù)有極值，為了進(jìn)一步判斷該點(diǎn)位最大值而不是最小值，可以繼續(xù)求二階導(dǎo)來(lái)判斷函數(shù)的凹凸性，如果的二階導(dǎo)為負(fù)數(shù)那么即是最大值，這里再不細(xì)說(shuō)。

　　還要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在，我們就無(wú)法得到似然方程組，這時(shí)就必須用其它的方法來(lái)求最大似然估計(jì)值，例如用有界函數(shù)的增減性去求的最大值點(diǎn)