用Python爬取拉勾網(wǎng)不同編程語(yǔ)言職位信息

本文主要用Python爬取拉勾網(wǎng)不同編程語(yǔ)言職位信息，包括：Python崗、Java崗、C++崗、PHP崗、C#崗位（5崗）；用R語(yǔ)言對(duì)影響薪資的因素進(jìn)行分析。由于拉勾網(wǎng)的職位信息只顯示30頁(yè)，一頁(yè)15個(gè)職位信息，如果單獨(dú)爬取一個(gè)城市的崗位信息，只有幾頁(yè)是匹配的信息，信息量太小，分析沒(méi)有說(shuō)服力。因此，本文爬取拉勾網(wǎng)全國(guó)職位信息。主要三部分內(nèi)容：

一、爬取拉勾網(wǎng)5崗職位信息--以Python崗為例

二、以Python崗位信息為例，分析影響薪資的因素

三、5崗之間薪水因素影響比較分析

一、爬取拉勾網(wǎng)5崗職位信息--以Python崗為例

我們抓取的信息包括Python崗位名稱、公司名稱、薪資、工作經(jīng)驗(yàn)、學(xué)歷、公司規(guī)模、公司福利。

抓取結(jié)果如下：

將抓取結(jié)果循環(huán)寫入csv文件：

此外還抓取了Java崗、C++崗、PHP崗、C#崗位4崗的信息，代碼和抓取Python崗位信息類似。

二、以Python崗位信息為例，分析影響薪資的因素

這里包括數(shù)據(jù)清洗部分和數(shù)據(jù)分析部分兩部分內(nèi)容。

數(shù)據(jù)清洗部分

在抓取過(guò)程中，由于將python字典循環(huán)寫入csv文件，因此列名也被循環(huán)寫在csv文件中。

考慮本文主要分析影響薪資的因素，這里去除Name和Company兩列。

1.變量Salary

變量Salary一般都是范圍值，用“-”連接，但是不排除有XXK以上，例如10k以上這種表示形式，或者其他形式，這里需要處理一下。

2.變量Education

3.變量Size

到此，數(shù)據(jù)清洗部分內(nèi)容全部結(jié)束。

數(shù)據(jù)分析部分

1.工資與工作年限的關(guān)系

library(ggplot2)ggplot(newdata,aes(x=Experience,y=salary))+geom_boxplot(col="red")

符合大眾的認(rèn)知，從事python的應(yīng)屆畢業(yè)生起始工資平均值在5K左右，且薪資水平跨度最小，經(jīng)驗(yàn)5-10年，工資水平跨度最大，主要可能是因?yàn)椋幸徊糠洲D(zhuǎn)為技術(shù)管理崗位，工資較低的可能還在繼續(xù)碼代碼，是不是對(duì)廣大同胞們的警告啊.......

2.工資與學(xué)歷的關(guān)系（?？疲究?，研究生，不限）

ggplot(newdata,aes(x=Graduate,y=salary))+geom_boxplot(col="red")

這里是否能說(shuō)明學(xué)歷在一定程度上的重要性？學(xué)歷本科的工資跨度比較大，因?yàn)楣ぷ鹘?jīng)驗(yàn)的不同導(dǎo)致了薪資的差異。

3.工資與公司融資的關(guān)系

ggplot(newdata,aes(x=Rong,y=salary))+geom_boxplot(col="red")

對(duì)于這部分知識(shí)是盲點(diǎn)，但是可以看出融資公司（上市也是一種融資方式）比沒(méi)有融資的公司平均工資要高出不少，這部分是不是可以是以后找工作的一個(gè)風(fēng)向標(biāo)。。。

4.工資與公司大小的關(guān)系

公司規(guī)模越大，平均的工資也越高。

5.工資與工作時(shí)間和學(xué)歷的關(guān)系

這張圖告訴我們，在大部分情況下，沒(méi)（Ren）錢（Chou）就要多讀書。不管是經(jīng)驗(yàn)經(jīng)驗(yàn)1年以下、經(jīng)驗(yàn)3-5年、經(jīng)驗(yàn)5-10年、經(jīng)驗(yàn)不限的情況下，擁有碩士學(xué)歷的平均收入都普遍高于本科，本科都高于大專。（這里完全沒(méi)有歧視低學(xué)歷之意）

6.公司福利的云圖

現(xiàn)在公司的福利貼有“彈性工作，氛圍好，團(tuán)隊(duì)，大牛，技術(shù)，五險(xiǎn)一金”等標(biāo)簽來(lái)吸引求職者眼球。

三、5崗之間薪水因素影響比較分析

1.Python崗、Java崗、C++崗、PHP崗、C#崗位的平均薪水

抓取拉勾網(wǎng)職位信息，可以看出python和java的平均薪資較高，C#的平均工資最低。

由此也驗(yàn)證python近幾年火熱的態(tài)勢(shì)，由于AI的火熱，python的需求越來(lái)越大，傳統(tǒng)的java也比較強(qiáng)勢(shì)，薪資待遇較高。

2.相同工作經(jīng)驗(yàn)不同職位信息薪水比較

對(duì)于不同工作經(jīng)驗(yàn)，不同編程語(yǔ)言平均薪水還是有較大的差異。

3.相同學(xué)歷信息不同職位信息薪水比較

通過(guò)碩士、本科、大專、不限四種比較，碩士的總體薪資高于本科。

4.同一職位不同學(xué)歷信息薪水比較

總的看來(lái)，在每個(gè)職業(yè)，碩士學(xué)歷的平均薪水高于本科，本科的平均薪水高于大專。