大學(xué)畢業(yè)設(shè)計一席談之四十八 詞頻統(tǒng)計(1)

在講課程《數(shù)據(jù)結(jié)構(gòu)和算法》的過程中，我給了學(xué)生們一個參考例程，希望他們能夠從程序中學(xué)到詞頻統(tǒng)計的方法。由于同學(xué)們底子比較薄弱，所以給出程序后，我希望同學(xué)們能夠認真的查閱程序中用到的每個函數(shù)，了解其用法，這樣才能真正的搞懂程序，遺憾的是我的學(xué)生只是完成了實驗報告，而程序中很多函數(shù)的用法和含義根本就沒搞清楚。這種學(xué)法是應(yīng)付式的學(xué)法，我極不贊成這樣的學(xué)習(xí)方式。所以才會有了此系列文章。也許是底子弱，也許是不愛學(xué)。

面對學(xué)生不愛學(xué)或者說學(xué)習(xí)不刻苦的狀況，我也只能把這些好的代碼傳播到網(wǎng)上，讓更多人能夠借力學(xué)習(xí)。這也是我現(xiàn)在會更加專注網(wǎng)絡(luò)傳播文章的原因吧。有了詞頻統(tǒng)計程序，我們就可以在這個基礎(chǔ)之上進行擴展，寫出更復(fù)雜的程序。我就用這樣的事例來寫出了一個完整的系列文章，告訴大家如何從基礎(chǔ)學(xué)起，然后再逐步的完善和深入，寫出功能更強大的程序，這樣的過程走一遍，才算是真正的掌握知識，才能把別人的知識轉(zhuǎn)化為屬于自己的知識。寫這個系列耗時一個多月，大家看文章花了多長時間呢？有了階梯，希望大家能好好利用和珍惜。

文本分析對于通信工程專業(yè)的學(xué)生而言，只是牛刀小試，等到完成詞頻統(tǒng)計的算法后大家還可以沿這條路繼續(xù)深入，比如進行語音信號的識別。先進行信號中數(shù)字的識別，再進行語義識別。這些可比字符的識別難多了。當(dāng)下，文本信息已經(jīng)退居次席，人們更多在意的是語音和視頻。因此，語音信號和視頻信號處理是當(dāng)下的技術(shù)熱點，讓我們一起由淺入深的學(xué)習(xí)吧。本課題可以作為畢業(yè)設(shè)計的題目，可以根據(jù)個人能力適當(dāng)增加難度。

詞頻統(tǒng)計主要分為英文詞頻統(tǒng)計和中文詞頻統(tǒng)計。英文詞頻統(tǒng)計很簡單，可以借助MATLAB自帶函數(shù)進行斷句，然后再進行統(tǒng)計即可。中文詞頻統(tǒng)計相對復(fù)雜一些。關(guān)鍵在于如何使用合適的語料庫和如何精準匹配詞語。比如句中出現(xiàn)了“人工智能”四字詞，我們應(yīng)該這四個字視為一個詞，而不能分析成為兩個詞。再者出現(xiàn)生僻詞語怎么辦？慢慢來，我們先從簡單的學(xué)起。依舊是老規(guī)矩，先看代碼！代碼中的注釋非常清晰，當(dāng)看完程序后也就明了了。

原文標題：大學(xué)畢業(yè)設(shè)計一席談之四十八 詞頻統(tǒng)計(1)

文章出處：【微信公眾號：通信工程師專輯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。