本文介紹
你有沒(méi)有這樣一種感覺,為什么到自己手上的數(shù)據(jù),總是亂七八糟? 作為一個(gè)數(shù)據(jù)分析師來(lái)說(shuō),數(shù)據(jù)清洗是必不可少的環(huán)節(jié)。有時(shí)候由于數(shù)據(jù)太亂,往往需要花費(fèi)我們很多時(shí)間去處理它。因此掌握更多的數(shù)據(jù)清洗方法,會(huì)讓你的能力調(diào)高100倍。 本文基于此,講述pandas中超級(jí)好用的str矢量化字符串函數(shù),學(xué)了之后,瞬間感覺自己的數(shù)據(jù)清洗能力提高了。
1個(gè)數(shù)據(jù)集,16個(gè)Pandas函數(shù)
數(shù)據(jù)集是黃同學(xué)精心為大家編造,只為了幫助大家學(xué)習(xí)到知識(shí)。數(shù)據(jù)集如下:
① cat函數(shù):用于字符串的拼接
② contains:判斷某個(gè)字符串是否包含給定字符
df["家庭住址"].str.contains("廣") 結(jié)果如下:
③ startswith/endswith:判斷某個(gè)字符串是否以…開頭/結(jié)尾
#第一個(gè)行的“黃偉”是以空格開頭的 df["姓名"].str.startswith("黃") df["英文名"].str.endswith("e") 結(jié)果如下:
④ count:計(jì)算給定字符在字符串中出現(xiàn)的次數(shù)
df["電話號(hào)碼"].str.count("3") 結(jié)果如下:
⑤ get:獲取指定位置的字符串
df["姓名"].str.get(-1) df["身高"].str.split(":") df["身高"].str.split(":").str.get(0) 結(jié)果如下:
⑥ len:計(jì)算字符串長(zhǎng)度
df["性別"].str.len() 結(jié)果如下:
⑦ upper/lower:英文大小寫轉(zhuǎn)換
df["英文名"].str.upper() df["英文名"].str.lower() 結(jié)果如下:
⑧ pad+side參數(shù)/center:在字符串的左邊、右邊或左右兩邊添加給定字符
df["家庭住址"].str.pad(10,fillchar="*")#相當(dāng)于ljust() df["家庭住址"].str.pad(10,side="right",fillchar="*")#相當(dāng)于rjust() df["家庭住址"].str.center(10,fillchar="*") 結(jié)果如下:
⑨ repeat:重復(fù)字符串幾次
df["性別"].str.repeat(3) 結(jié)果如下:
⑩ slice_replace:使用給定的字符串,替換指定的位置的字符
df["電話號(hào)碼"].str.slice_replace(4,8,"*"*4) 結(jié)果如下:
? replace:將指定位置的字符,替換為給定的字符串
df["身高"].str.replace(":","-") 結(jié)果如下:
? replace:將指定位置的字符,替換為給定的字符串(接受正則表達(dá)式)
replace中傳入正則表達(dá)式,才叫好用;
先不要管下面這個(gè)案例有沒(méi)有用,你只需要知道,使用正則做數(shù)據(jù)清洗多好用;
df["收入"].str.replace("d+.d+","正則") 結(jié)果如下:
? split方法+expand參數(shù):搭配join方法功能很強(qiáng)大
#普通用法 df["身高"].str.split(":") #split方法,搭配expand參數(shù) df[["身高描述","final身高"]]=df["身高"].str.split(":",expand=True) df #split方法搭配join方法 df["身高"].str.split(":").str.join("?"*5) 結(jié)果如下:
? strip/rstrip/lstrip:去除空白符、換行符
df["姓名"].str.len() df["姓名"]=df["姓名"].str.strip() df["姓名"].str.len() 結(jié)果如下:
? findall:利用正則表達(dá)式,去字符串中匹配,返回查找結(jié)果的列表
findall使用正則表達(dá)式,做數(shù)據(jù)清洗,真的很香!
df["身高"] df["身高"].str.findall("[a-zA-Z]+") 結(jié)果如下:
? extract/extractall:接受正則表達(dá)式,抽取匹配的字符串(一定要加上括號(hào))
df["身高"].str.extract("([a-zA-Z]+)") #extractall提取得到復(fù)合索引 df["身高"].str.extractall("([a-zA-Z]+)") #extract搭配expand參數(shù) df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True) 結(jié)果如下:
今天的文章,就講述到這里,希望能夠?qū)δ阌兴鶐椭?/p>
編輯:jq
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7035瀏覽量
89047 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4331瀏覽量
62633 -
矢量化
+關(guān)注
關(guān)注
0文章
5瀏覽量
6205
原文標(biāo)題:詳解16個(gè) pandas 函數(shù),讓你的 “數(shù)據(jù)清洗” 能力提高100倍!
文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論