中午不知道吃什么,用Python爬取美團(tuán)外賣評(píng)論幫你選餐

一、介紹

朋友暑假實(shí)踐需要美團(tuán)外賣APP評(píng)論這一份數(shù)據(jù)，一開始我想，這不就抓取網(wǎng)頁源代碼再?gòu)闹刑崛?shù)據(jù)就可以了嗎，結(jié)果發(fā)現(xiàn)事實(shí)并非如此，情況和之前崔大講過的分析Ajax來抓取今日頭條街拍美圖類似，都是通過異步加載的方式傳輸數(shù)據(jù)，不同的是這次的是通過JS傳輸，其他的基本思路基本一致，希望那些數(shù)據(jù)能幫到她吧

二、流程

目標(biāo)站點(diǎn)分析用瀏覽器打開美團(tuán)外賣APP評(píng)論，F(xiàn)12

1.首先我們要找到我們想要的評(píng)論數(shù)據(jù)，在第一次“失敗”的直接抓取網(wǎng)頁源代碼后，我們發(fā)現(xiàn)它是通過Ajax加載的，我們點(diǎn)擊JS選項(xiàng)，可以發(fā)現(xiàn)JS項(xiàng)目里面的返回結(jié)果有我們想要的數(shù)據(jù)，勾選Preserve log，當(dāng)點(diǎn)擊查看更多評(píng)論時(shí)，后臺(tái)（JS里）會(huì)出現(xiàn)新的Ajax請(qǐng)求，發(fā)現(xiàn)還有參數(shù)start和的變化，其他請(qǐng)求參數(shù)不變，start的參數(shù)變化是以10遞增的，的參數(shù)變化可就讓人摸不著頭腦（這個(gè)時(shí)候我們也不要方，因?yàn)榇蠖嗲闆r下沒有規(guī)律的參數(shù)都是沒用的）

2.經(jīng)過我們對(duì)http://comment.mobilem.#/comment/getComments?callback=jQuery17203361018749253357_1503362214558&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&c=message&a=getmessage&start=0&count=10&_=1503362215647進(jìn)行分析后發(fā)現(xiàn)它的標(biāo)準(zhǔn)式為‘http://comment.mobilem.#/comment/getComments?&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start=’+str(i*10),i每次增加1，就包含新的十條評(píng)論的內(nèi)容，所以我們通過改變i的值就可以拿到不同的數(shù)據(jù)

分析url的網(wǎng)頁源代碼，在源代碼里有我們想要的評(píng)論數(shù)據(jù)，我們可以用正則（在這里正則還是比較好用的）把我們想要的信息弄下來

開啟循環(huán)，批量抓取

保存數(shù)據(jù)至文本和數(shù)據(jù)庫(kù)

#之前是這樣處理的：def parse_one_page(html):    pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)    items=re.findall(pattern2,html)    for item in items:        item = "{" + item + "}"        item=json.loads(item)        write_to_file(item)        print(item)        save_to_mongo(item)#皮皮哥告訴了我他的獨(dú)家正則匹配方法可以匹配出來，這樣的確獲得的item沒有編碼問題def parse_one_page(html):    pattern = '"content":".*?"'    items=re.findall(pattern,html)    for item in items:        item =eval(item.split(':',1)[1])        write_to_file(item)        print(item)        save_to_mongo(item)#對(duì)一般正則寫法獲得的item進(jìn)行的方法，這是從皮皮哥那里得知的，親測(cè)有效def parse_one_page(html):    pattern = re.compile('rsion_name".*?"content":(.*?),"username"', re.S)    items=re.findall(pattern,html)    #print(items)    for item in items:        item = item.encode('utf-8').decode('unicode_escape')        write_to_file(item)        print(item)        save_to_mongo(item)

#config.pyMONGO_URL='localhost'MONGO_DB='meituan'MONGO_TABLE='meituan'

import requestsfrom requests.exceptions import RequestExceptionimport jsonimport refrom day31.config import *import pymongoclient=pymongo.MongoClient(MONGO_URL)db=client[MONGO_DB]base_url='http://comment.mobilem.#/comment/getComments?callback=jQuery17209056727722758744_1502991196139&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start='def the_url(url):    try:        response = requests.get(url)        if response.status_code==200:            response.encoding='utf-8'            return response.text        return None    except RequestException:        print('請(qǐng)求出錯(cuò)')        return Nonedef the_total():    html=the_url(base_url)    pattern1 = re.compile('"total":(.*?),"messages"', re.S)    Total = re.findall(pattern1, html)    Total=int(':'.join(Total))    #print(type(Total))    show='總計(jì)評(píng)論%d條'%Total    print(show)    write_to_file(show)    return Totaldef parse_one_page(html):    pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)    items=re.findall(pattern2,html)    for item in items:        item = "{" + item + "}"        item=json.loads(item)        write_to_file(item)        print(item)        save_to_mongo(item)def save_to_mongo(result):    try:        if db[MONGO_TABLE].insert(result):            print('儲(chǔ)存到MongoDB成功',result)    except Exception:        print('儲(chǔ)存到MongoDB失敗',result)def write_to_file(content):    with open('meituan_result.text','a',encoding='utf-8') as f:        f.write(json.dumps(content,ensure_ascii=False)+'\n')        f.close()def main():    Total=the_total()    Total=int(Total/10)+2    for i in range(Total):        url = base_url + str(i*10)        if the_url(url)!=None:            html=the_url(url)            parse_one_page(html)        else:            print('輸完啦')    ps='PS：因?yàn)橛行┰u(píng)論空，所以實(shí)際評(píng)論比抓取的少'   #這是我瞎猜的    write_to_file(ps)    print(ps)if __name__ == '__main__':    main()

四、最后得到的數(shù)據(jù)視圖和文件

五、總結(jié)

1.程序報(bào)錯(cuò)很正常，不要一報(bào)錯(cuò)就問別人，先自己思考、百度

2.在數(shù)據(jù)類型處理方面的知識(shí)還要加強(qiáng)