0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

python獲取歷屆春晚數(shù)據(jù)

張敏 ? 來源:yiniuyun ? 作者:yiniuyun ? 2022-02-07 17:52 ? 次閱讀

不知道今年的春晚大家看了嗎?小編表示沒有看,而且是已經(jīng)很多年沒有完整的看過春晚了,關(guān)于看春晚的熱情都是小時候的事了。如今,距離第一屆春晚 1983 年,整整過去了 39年,看過那么多春晚,哪一年、哪些節(jié)目、哪些人你還留有深刻印象呢?接下來,通過 Python 數(shù)據(jù)分析。

在網(wǎng)上找了很久發(fā)現(xiàn)沒有關(guān)于春晚完整的數(shù)據(jù),都是不連貫的,節(jié)目單表是每一年春晚上表演的節(jié)目,包括:節(jié)目類型、節(jié)目名、演員名這幾項數(shù)據(jù)。這里我們就使用Python 抓取這類表格數(shù)據(jù),方法簡單,幾行代碼就能搞定,簡單的示例代碼如下:

#! -*- encoding:utf-8 -*- import requests import random # 要訪問的目標(biāo)頁面 targetUrl = "http://httpbin.org/ip" # 要訪問的目標(biāo)HTTPS頁面 # targetUrl = "https://httpbin.org/ip" # 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 設(shè)置 http和https訪問都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 設(shè)置IP切換頭 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text

抓取下來的數(shù)據(jù)都比較混亂,需要用 Python 清洗處理一下就可以分析,這些不是重點,重點是在獲取數(shù)據(jù)的過程中,目標(biāo)網(wǎng)站有封反爬策略比如封ip,所以在訪問過程中我加了代理,代碼部分主要是關(guān)于如何使用動態(tài)轉(zhuǎn)發(fā)模式代理示例,在學(xué)習(xí)爬蟲中對代理有疑問的可以看下這里https://www.16yun.cn/。在獲取數(shù)據(jù)之后就可以直接進入分析環(huán)節(jié),從中我們可以看到誰導(dǎo)演春晚次數(shù)最多?誰主持春晚次數(shù)最多?誰上春晚次數(shù)最多等數(shù)據(jù)。

?

若有收獲,就點個贊吧

審核編輯:鄢孟繁

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7113

    瀏覽量

    89303
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4802

    瀏覽量

    84889
收藏 人收藏

    評論

    相關(guān)推薦

    適用于MySQL和MariaDB的Python連接器:可靠的MySQL數(shù)據(jù)連接器和數(shù)據(jù)

    和 MariaDB 數(shù)據(jù)庫服務(wù)器以及托管數(shù)據(jù)庫服務(wù),以對存儲的數(shù)據(jù)執(zhí)行創(chuàng)建、讀取、更新和刪除操作。該解決方案完全實現(xiàn)了 Python DB API 2.0 規(guī)范,并作為 Window
    的頭像 發(fā)表于 01-17 12:18 ?54次閱讀
    適用于MySQL和MariaDB的<b class='flag-5'>Python</b>連接器:可靠的MySQL<b class='flag-5'>數(shù)據(jù)</b>連接器和<b class='flag-5'>數(shù)據(jù)</b>庫

    適用于Oracle的Python連接器:可訪問托管以及非托管的數(shù)據(jù)

    適用于 Oracle 的 Python 連接器 適用于 Oracle 的 Python 連接器是一種可靠的連接解決方案,用于從 Python 應(yīng)用程序訪問 Oracle 數(shù)據(jù)庫服務(wù)器和
    的頭像 發(fā)表于 01-14 10:30 ?62次閱讀

    阿里云成為總臺春晚云計算AI合作伙伴

    近日,中央廣播電視總臺宣布了一項重要合作,正式將阿里云確定為總臺春晚云計算AI獨家合作伙伴。這一合作標(biāo)志著總臺春晚在技術(shù)創(chuàng)新和數(shù)字化轉(zhuǎn)型方面邁出了重要一步。 作為總臺春晚史上的首次技術(shù)合作伙伴引入
    的頭像 發(fā)表于 12-27 10:32 ?183次閱讀

    阿里云攜手總臺春晚,開創(chuàng)云計算AI合作新篇章

    近日,中央廣播電視總臺傳來了一則令人矚目的消息。12月26日,總臺正式對外宣布,阿里云已成功成為總臺春晚云計算AI的獨家合作伙伴。這一合作標(biāo)志著總臺春晚在技術(shù)創(chuàng)新方面邁出了重要一步,為全球華人觀眾
    的頭像 發(fā)表于 12-27 10:13 ?317次閱讀

    使用Python進行串口通信的案例

    當(dāng)然!以下是一個使用Python進行串口通信的簡單示例。這個示例展示了如何配置串口、發(fā)送數(shù)據(jù)以及接收數(shù)據(jù)。我們將使用 pyserial 庫,這是一個非常流行的用于串口通信的Python
    的頭像 發(fā)表于 11-22 09:11 ?339次閱讀

    如何利用python和API查詢IP地址?

    (但請注意,對于生產(chǎn)環(huán)境或高頻查詢,最好使用帶密鑰的服務(wù)以獲取更好的性能和安全性)。首先,確保安裝了requests庫:pip install requests然后,您可以使用以下Python代碼來
    發(fā)表于 08-28 11:55

    pytorch和python的關(guān)系是什么

    在當(dāng)今的人工智能領(lǐng)域,Python已經(jīng)成為了最受歡迎的編程語言之一。Python的易學(xué)易用、豐富的庫和框架以及強大的社區(qū)支持,使其成為了數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和深度學(xué)習(xí)等領(lǐng)域的首選語言。而在深度學(xué)習(xí)領(lǐng)域
    的頭像 發(fā)表于 08-01 15:27 ?2142次閱讀

    Python建模算法與應(yīng)用

    Python作為一種功能強大、免費、開源且面向?qū)ο蟮木幊陶Z言,在科學(xué)計算、數(shù)學(xué)建模、數(shù)據(jù)分析等領(lǐng)域展現(xiàn)出了卓越的性能。其簡潔的語法、對動態(tài)輸入的支持以及解釋性語言的本質(zhì),使得Python在多個平臺
    的頭像 發(fā)表于 07-24 10:41 ?610次閱讀

    Python在AI中的應(yīng)用實例

    Python在人工智能(AI)領(lǐng)域的應(yīng)用極為廣泛且深入,從基礎(chǔ)的數(shù)據(jù)處理、模型訓(xùn)練到高級的應(yīng)用部署,Python都扮演著至關(guān)重要的角色。以下將詳細(xì)探討Python在AI中的幾個關(guān)鍵應(yīng)用
    的頭像 發(fā)表于 07-19 17:16 ?1244次閱讀

    網(wǎng)絡(luò)爬蟲,Python數(shù)據(jù)分析

    電子發(fā)燒友網(wǎng)站提供《網(wǎng)絡(luò)爬蟲,Python數(shù)據(jù)分析.pdf》資料免費下載
    發(fā)表于 07-13 09:27 ?2次下載

    python解析netflow數(shù)據(jù)到csv的流程詳解

    本文主要講解了linux下通過tcpdump抓取netflow數(shù)據(jù)包,并將其導(dǎo)入到wireshark進行解析,然后通過wireshark導(dǎo)出數(shù)據(jù)為json文件,再通過python腳本將其解析為csv文件以便做
    的頭像 發(fā)表于 05-01 11:18 ?699次閱讀
    <b class='flag-5'>python</b>解析netflow<b class='flag-5'>數(shù)據(jù)</b>到csv的流程詳解

    Python怎么讀取STM32串口數(shù)據(jù)?

    =ser.readlines()print(s) 可是什么都讀取不了。如果用買的STM32開發(fā)板送的串口助手,能接收到數(shù)據(jù)。板子上燒錄的printf輸出程序。 請問各位大神,Python程序要怎么寫才能讀取串口數(shù)據(jù)呢?跪求大神解
    發(fā)表于 04-24 07:30

    Python:從串口讀取數(shù)據(jù)并以16進制格式展示

    本文凌順實驗室(lingshunlab.com)簡單實現(xiàn)Python讀取串口數(shù)據(jù),并且按16進制格式顯示出來。
    的頭像 發(fā)表于 03-05 14:25 ?1160次閱讀
    <b class='flag-5'>Python</b>:從串口讀取<b class='flag-5'>數(shù)據(jù)</b>并以16進制格式展示

    如何從PLC-Recorder獲取數(shù)據(jù)?

    如果你需要實時分析,則可以通過PLC-Recorder的在線轉(zhuǎn)發(fā)功能來實時獲取剛采集到的數(shù)據(jù)。
    的頭像 發(fā)表于 02-22 10:31 ?1937次閱讀
    如何從PLC-Recorder<b class='flag-5'>獲取</b><b class='flag-5'>數(shù)據(jù)</b>?

    今年春節(jié),德施曼成“春晚御用”智能鎖,亮相總臺春晚直播間

    總臺春晚,是每年春節(jié)期間的最大熱點。今年除夕夜,高端智能鎖品牌德施曼,不僅成為“春晚御用”智能鎖,還將旗下的哨兵貓眼智能鎖,賣到了總臺春晚的直播間里。龍年春節(jié),德施曼智能鎖攜手小紅書《大家的
    的頭像 發(fā)表于 02-09 10:39 ?401次閱讀
    今年春節(jié),德施曼成“<b class='flag-5'>春晚</b>御用”智能鎖,亮相總臺<b class='flag-5'>春晚</b>直播間