淺談信息率失真函數(shù)

　　問題

　　信源熵H（X）的物理含義是什么？

　　信源無失真?zhèn)鬏斔璧淖钚?a target='_blank' class='arckwlink_none'>信息率

　　R?H（X）

　　在信源允許一定失真情況下所需的最小信息率

　　D?R（D）

　　壓縮的可行性和必要性：

　　對(duì)于連續(xù)信源，因?yàn)槠浣^對(duì)熵為無限大，若要求無失真地對(duì)其進(jìn)行傳輸，則要求信道的信息傳輸率也為無限大，這是不現(xiàn)實(shí)的。因此也就不可能實(shí)現(xiàn)完全無失真?zhèn)鬏敗?/p>

　　即使對(duì)于離散信源，由于處理的信息量越來越大，使得信息的存儲(chǔ)和傳輸成本很高，而且在很多場(chǎng)合，過高的信息率也沒有必要，例如：由于人耳能夠接收的帶寬和分辨率是有限的，因此對(duì)數(shù)字音頻傳輸?shù)臅r(shí)候，就允許有一定的失真，并且對(duì)欣賞沒有影響。

　　又如對(duì)于數(shù)字電視，由于人的視覺系統(tǒng)的分辨率有限，并且對(duì)低頻比較敏感，對(duì)高頻不太敏感，因此也可以損失部分高頻分量，當(dāng)然要在一定的限度內(nèi)。

　　等等這些，都決定了限失真信源編碼的重要性

　　在限失真信源編碼里，一個(gè)重要的問題就是在一定程度的允許失真限度內(nèi)，能把信源信息壓縮到什么程度，即最少用多少比特?cái)?shù)才能描述信源。

　　這個(gè)問題已經(jīng)被香農(nóng)解決。香農(nóng)在1948年的經(jīng)典論文中已經(jīng)提到了這個(gè)問題，在1959年，香農(nóng)又在他的一篇論文“保真度準(zhǔn)則下的離散信源編碼定理”里討論了這個(gè)問題。研究這個(gè)問題并做出較大貢獻(xiàn)的還有前蘇聯(lián)的柯爾莫郭洛夫（Kolmogorov）以及伯格（T.Berger）等。