Python-爬蟲開發(fā)02

谷歌瀏覽器分析post地址

• 方式一： 使用瀏覽器自帶開發(fā)者工具（ f12 快捷鍵 )，通過查詢form表單獲取

• 方式二： 直接點擊登錄按鈕，查看訪問的地址（需要注意下面請求時傳遞的參數(shù)，如果部分參數(shù)不知道如何得到，可能需要跟蹤js文件查看）

• 方式三： 部分網(wǎng)站的PC端請求時需要的參數(shù)較多，但是移動端會少些，所以可以切換到移動端看看請求地址與參數(shù)

requests小技巧

• requests.util.dict_from_cookiejar 把cookie對象轉(zhuǎn)化為字典
• 請求SSL證書驗證
  • r=requests.get(url,verify=False)
• 設(shè)置超時
  • r=requests.get(url,timeout=時間（單位是秒）)
• 使用斷言判斷狀態(tài)碼是否成功
  • assert respnose.status_code==200

爬蟲數(shù)據(jù)處理

數(shù)據(jù)分類

• 非結(jié)構(gòu)化數(shù)據(jù)：html 等
  • 處理方法：使用 正則表達(dá)式、xpath 處理數(shù)據(jù)
• 結(jié)構(gòu)化數(shù)據(jù)：json、xml等
  • 處理方法：轉(zhuǎn)化為python中的數(shù)據(jù)類型

數(shù)據(jù)處理之JSON

• JSON（JavaScript Object Notation) ，是一種輕量級的數(shù)據(jù)交換格式，它使得人們很容易進(jìn)行閱讀和編寫。同時也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場景，比如網(wǎng)站的前后臺之間的數(shù)據(jù)交互。
• 爬取豆瓣電視劇列表示例

import json
import requests


class DouBanMovie:
    def __init__(self):
        self.url="https://m.douban.com/rexxar/api/v2/subject_collection/tv_domestic/items?os=android&for_mobile=1&start=0&count=18&loc_id=108288"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36",
            "Referer": "https://m.douban.com/tv/chinese"
        }


    def get_data(self):
        response = requests.get(self.url, headers=self.headers)
        if response.status_code==200:
            # 將json字符串轉(zhuǎn)化為python中的數(shù)據(jù)類型
            result=json.loads(response.content.decode())
            return result


    def write_file(self,fileName,data):
        '''寫入文件'''


        # json.dumps能夠把python中的類型數(shù)據(jù)轉(zhuǎn)化成json字符串
        data=json.dumps(data,ensure_ascii=False)
        with open(fileName,"w",encoding="utf-8") as f:
            f.write(data)


    def read_file(self,fileName):
        '''讀取文件數(shù)據(jù)'''


        with open(fileName, "r", encoding="utf-8") as f:
            # 加載json類型數(shù)據(jù)的文件
            result=json.load(f)
        return result




    def run(self):
        # 獲取數(shù)據(jù)
        result=self.get_data()
        # 將豆瓣數(shù)據(jù)寫入文件
        self.write_file("douban.txt",result)
        # 讀取文件內(nèi)容
        readResult=self.read_file("douban.txt")


        print(readResult)




if __name__ == '__main__':
    douban=DouBanMovie()
    douban.run()

數(shù)據(jù)處理之正則表達(dá)式

• 正則表達(dá)式定義
  • 就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個” 規(guī)則字符串 “，這個”規(guī)則字符串“用來表達(dá)對字符串的一種過濾邏輯
• 常用正則表達(dá)式的方法
  • re.compile(編譯)
  • pattern.match(從頭開始匹配一個）
  • pattern.search(從任何位置開始匹配一個）
  • pattern.findall(匹配所有）
  • pattern.sub(替換）
• Python正則表達(dá)式中的re.S，re.M，re.I的作用
  • 正則表達(dá)式可以包含一些可選標(biāo)志修飾符來控制匹配的模式。修飾符被指定為一個可選的標(biāo)志。多個標(biāo)志可以通過按位 OR(|) 它們來指定。如 re.I | re.M 被設(shè)置成 I 和 M 標(biāo)志

• python中 r 的用法
  • 'r'是防止字符轉(zhuǎn)義的 如果路徑中出現(xiàn)'\\t'的話 不加r的話\\t就會被轉(zhuǎn)義 而加了'r'之后'\\t'就能保留原有的樣子

• 示例（提取成語故事）

import requests
import re


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問網(wǎng)頁信息
        html_str=self.get_data()
        # 用正則表達(dá)式提取 成語故事
        html_str_list=re.findall(r"(.*?)",html_str,re.S)
        # 處理語句中的換行、制表等標(biāo)識體符
        result=self.handle_data(html_str_list)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()

數(shù)據(jù)處理之xpath

• lxml 是一款高性能的python html/xml 解析器，我們可以利用xpath,來快速定位特定元素以及獲取節(jié)點信息
• xpath(xml path langueage)是一門在 html/xml 文檔中查找信息的語言，可以用來在html/xml 文檔中對元素和屬性進(jìn)行遍歷
• 官網(wǎng)地址：https://www.w3school.com.cn/xpath/index.asp
• xpath 節(jié)點選擇語法
  • xpath 使用路徑表達(dá)式來選取xml，文檔中的節(jié)點或者節(jié)點集，這些路徑表達(dá)式和我們在常規(guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似

• 常用節(jié)點的選擇工具
  • Chrome插件 XPath Helper
  • 開源的 XPath表達(dá)式編輯工具：XML Quire(xml 格式文件可用）
  • Firefox插件 XPath Checker
• lxml庫
  • 安裝lxml：pip install lxml
  • 使用方法：** from lxml import etree**
  • 利用 etree.HTML ，將字符串轉(zhuǎn)化為 Element對象
  • Element對象具有xpath的方法：html=etree.HTML(字符串)
• 示例

import requests
import re
from lxml import etree


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]+html_str_list[1]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問網(wǎng)頁信息
        html_str=self.get_data()
        # 用xpath提取元素
        html=etree.HTML(html_str)
        result=html.xpath("http://font[@color=\"#10102C\"]/text()")
        # 處理語句中的換行、制表等標(biāo)識體符
        result=self.handle_data(result)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()