用Python寫網(wǎng)絡爬蟲的PDF電子書免費下載

　　本書講解 了 如何使用Python?來編寫網(wǎng)絡爬蟲程序 ， 內(nèi) 容包括 網(wǎng)絡爬蟲簡介 ， 從頁面 中 抓取數(shù)據(jù) 的三種方法 ， 提取緩存 中 的 數(shù)據(jù) ， 使用 多 個線程和進程來進行并發(fā)抓取 ， 如何抓取動態(tài)頁面 中 的 內(nèi) 容 ， 與表單進行交互 ， 處理頁面 中 的 驗證碼 問 題， 以及使用 Sca rpy 和 Portia 來進行數(shù)據(jù)抓取 ， 并在最后使用 本書介紹 的 數(shù)據(jù)抓取技術(shù)對幾個真實 的 網(wǎng) 站進行 了 抓取 ， 旨在幫 助讀者活學活用書中介紹 的技術(shù) 。本書適合有一定Python 編程經(jīng)驗 ， 而且對爬蟲技術(shù)感興趣的讀者閱讀 。

　　互聯(lián)網(wǎng) 包含了迄今為止最有用的數(shù)據(jù)集， 并且大部分可以免費公開訪問。但是， 這些數(shù)據(jù)難以復用。 它們被嵌入在網(wǎng) 站的結(jié)構(gòu)和樣式當中， 需要抽取出來才能使用。 從網(wǎng) 頁中抽取數(shù)據(jù)的過程又被稱為網(wǎng) 絡爬蟲。 隨著越來越多的信息被發(fā)布到網(wǎng) 絡上， 網(wǎng) 絡爬蟲也變得越來越有用。

?

　　本書內(nèi)容

　　第1章， 網(wǎng) 絡爬蟲簡介， 介紹了網(wǎng) 絡爬蟲， 并講解了爬取網(wǎng)站 的方法。

　　第2章， 數(shù)據(jù)抓取，展示了如何從網(wǎng) 頁中抽取數(shù)據(jù)。

　　第3章， 下載緩存， 學習了如何通過緩存結(jié)果避免重復下載的問題。

　　第4章， 并發(fā)下載， 通過并行下載加速數(shù)據(jù)抓 取。

　　第5章， 動態(tài)內(nèi)容， 展示了如何從動態(tài)網(wǎng) 站中抽取數(shù)據(jù)。

　　第6章， 表單交互， 展示了如何與 表單進行交互， 從而訪問你需要的數(shù)據(jù)。

　　第7章， 驗證碼處理， 闡述了如何訪問被驗證碼圖像保護的數(shù)據(jù)。

　　第8章， Scrapy， 學習了如何使用流行的高級框架 Scrapy。

　　第9章， 總結(jié)， 對我們介紹的這些網(wǎng) 絡爬蟲技術(shù)進行總結(jié)。

　　假 設我有一個鞋店， 并且想要及時了解競爭對手的價格。 我可以每天訪問他們的網(wǎng) 站 ， 與 我店鋪中鞋子的價格進行對比。但是， 如果我店鋪中的鞋類品種繁多，或是希望 能夠更加頻繁地查看價格變化的話， 就需要花費大量的時間， 甚至難以實現(xiàn)。 再舉一個例 子， 我看中了一雙鞋， 想等它促銷時再購買。我可能需要每天訪問這家鞋店的網(wǎng) 站 來查看這雙鞋是否降價， 也許需要等待幾個月的時間， 我才能如愿盼到這雙鞋促銷。 上述這兩個重復性的手工流程，都可以利用本書介紹的網(wǎng) 絡爬蟲技術(shù)實現(xiàn)自動化處理。

　　理想狀態(tài)下， 網(wǎng) 絡爬蟲并不是必須品，每個網(wǎng)站 都應該提供 API， 以結(jié)構(gòu)化的格式共享它們的數(shù)據(jù)。 然而現(xiàn)實情況中， 雖然一些網(wǎng)站 已經(jīng)提供了這種 API，但是它們通常會限制可以抓 取的數(shù)據(jù)，以及訪問這些數(shù)據(jù)的頻率。 另外，對于網(wǎng)站 的開發(fā)者而言， 維護前端界面比維護后端API接口優(yōu)先級更高。 總之， 我們不能僅僅依賴于 API去訪問我們所需的在線數(shù)據(jù)， 而是應該學習一些網(wǎng) 絡爬蟲技術(shù)的相 關(guān)知識。