ssbc BT搜索引擎

這是?www.shousibaocai.org?的網(wǎng)站源代碼。 開源的目的是為了促進技術(shù)交流和相互學習，把DHT與搜索引擎技術(shù)應用到更廣泛的領域去。

本站于2015年5月使用django改寫。 本站于2019年使用nodejs改寫。 與爬蟲相關(guān)的代碼都在目錄spider目錄下。

作為最早在國內(nèi)研究和實踐DHT爬蟲的人，我的靈感是來自芬蘭Helsinki大學的這篇論文： Real-World Sybil Attacks in BitTorrent Mainline DHT 英文好的同學應該很容易讀懂，跟我寫的不到300行的爬蟲代碼大致原理一樣。初次接觸DHT網(wǎng)絡的可以結(jié)合我之前的文章閱讀，或者拜讀Kevin Lynx的博客。所以具體原理在這里就不再闡述了。

手撕包菜一開始只是為了純粹的技術(shù)研究，沒有去想這個搜索引擎能給網(wǎng)民帶來什么樣的福利。當時采集了大量的數(shù)據(jù)，發(fā)現(xiàn)有一半以上的資源為限級內(nèi)容，于是試圖去對資源進行分類并且做了很多這方面的工作。譬如，基本上能通過一套規(guī)則能篩選出限級內(nèi)容，對資源進行分類，如果是視頻還能匹配出是哪一部影片?？上?，這些工作我主觀上認為對生活應用并沒有太大價值，于是就放棄了深入的研究。或許是因為網(wǎng)民使用此類搜索引擎大部分都是具有明顯的目的性。

手撕包菜經(jīng)歷了多次點技術(shù)變更

開源版本使用了django網(wǎng)站框架重寫，之前是Flask，再早期是tornado。電影FM也是使用tornado，后來發(fā)現(xiàn)tornado并不適用于任何場景。以內(nèi)容為王的網(wǎng)站還是django比較擅長，只是入門時間比其他框架都較長。早期數(shù)據(jù)庫采用了MongoDB，因為配合Python讀寫數(shù)據(jù)很方便，也不用關(guān)注數(shù)據(jù)結(jié)構(gòu)，搜索功能采用自帶的關(guān)鍵詞搜索，不過后來隨著資源數(shù)量增加，性能也明顯跟不上。今年換了WiredTiger引擎，自帶的fulltext search還是不給力。另外Amazon的cloudsearch是個坑，土豪可以考慮，性能真的很不錯，就是比較貴。最后還是搭建一個SphinxSearch吧，數(shù)據(jù)庫也換成MySQL（MyISAM引擎），配合起來也很方便。Sphinx創(chuàng)建全文索引的速度很給力，官方的自評也很高，我自己測試1000w的資源（大概3GB），1分鐘左右就索引完畢。不信，大家可以自測一下。