不知道今年的春晚大家看了嗎?小編表示沒有看,而且是已經(jīng)很多年沒有完整的看過春晚了,關(guān)于看春晚的熱情都是小時候的事了。如今,距離第一屆春晚 1983 年,整整過去了 39年,看過那么多春晚,哪一年、哪些節(jié)目、哪些人你還留有深刻印象呢?接下來,通過 Python 數(shù)據(jù)分析。
在網(wǎng)上找了很久發(fā)現(xiàn)沒有關(guān)于春晚完整的數(shù)據(jù),都是不連貫的,節(jié)目單表是每一年春晚上表演的節(jié)目,包括:節(jié)目類型、節(jié)目名、演員名這幾項數(shù)據(jù)。這里我們就使用Python 抓取這類表格數(shù)據(jù),方法簡單,幾行代碼就能搞定,簡單的示例代碼如下:
#! -*- encoding:utf-8 -*- import requests import random # 要訪問的目標(biāo)頁面 targetUrl = "http://httpbin.org/ip" # 要訪問的目標(biāo)HTTPS頁面 # targetUrl = "https://httpbin.org/ip" # 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 設(shè)置 http和https訪問都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 設(shè)置IP切換頭 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
抓取下來的數(shù)據(jù)都比較混亂,需要用 Python 清洗處理一下就可以分析,這些不是重點,重點是在獲取數(shù)據(jù)的過程中,目標(biāo)網(wǎng)站有封反爬策略比如封ip,所以在訪問過程中我加了代理,代碼部分主要是關(guān)于如何使用動態(tài)轉(zhuǎn)發(fā)模式代理示例,在學(xué)習(xí)爬蟲中對代理有疑問的可以看下這里https://www.16yun.cn/。在獲取數(shù)據(jù)之后就可以直接進入分析環(huán)節(jié),從中我們可以看到誰導(dǎo)演春晚次數(shù)最多?誰主持春晚次數(shù)最多?誰上春晚次數(shù)最多等數(shù)據(jù)。
?
若有收獲,就點個贊吧
審核編輯:鄢孟繁
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7113瀏覽量
89303 -
python
+關(guān)注
關(guān)注
56文章
4802瀏覽量
84889
發(fā)布評論請先 登錄
相關(guān)推薦
評論