如何在大型數(shù)據(jù)集中使用datatable包進行數(shù)據(jù)處理

【導(dǎo)讀】工具包 datatable 的功能特征與 Pandas 非常類似，但更側(cè)重于速度以及對大數(shù)據(jù)的支持。此外，datatable 還致力于實現(xiàn)更好的用戶體驗，提供有用的錯誤提示消息和強大的 API 功能。通過本文的介紹，你將學(xué)習(xí)到如何在大型數(shù)據(jù)集中使用 datatable 包進行數(shù)據(jù)處理，特別在數(shù)據(jù)量特別大的時候你可以發(fā)現(xiàn)它可能比 Pandas 更加強大。

前言

data.table 是 R 中一個非常通用和高性能的包，使用簡單、方便而且速度快，在 R 語言社區(qū)非常受歡迎，每個月的下載量超過 40 萬，有近 650 個 CRAN 和 Bioconductor 軟件包使用它。如果你是 R 的使用者，可能已經(jīng)使用過 data.table 包。

而對于 Python 用戶，同樣存在一個名為 datatable 包，專注于大數(shù)據(jù)支持、高性能內(nèi)存/內(nèi)存不足的數(shù)據(jù)集以及多線程算法等問題。 在某種程度上，datatable 可以被稱為是 Python 中的 data.table。

Datatable初教程

為了能夠更準確地構(gòu)建模型，現(xiàn)在機器學(xué)習(xí)應(yīng)用通常要處理大量的數(shù)據(jù)并生成多種特征，這已成為必要的。而 Python 的 datatable 模塊為解決這個問題提供了良好的支持，以可能的最大速度在單節(jié)點機器上進行大數(shù)據(jù)操作 (最多100GB)。datatable 包的開發(fā)由 H2O.ai 贊助，它的第一個用戶是 Driverless.ai。

接下來，我們就開始初體驗一下 datatable 的簡單使用。

安裝

在 MacOS 系統(tǒng)上，datatable 包可以通過 pip 命令安裝，如下圖所示：

pip install datatable

在 Linux 平臺上，安裝過程需要通過二進制分布來實現(xiàn)，如下所示：

# If you have Python 3.5pip install https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp35-cp35m-linux_x86_64.whl# If you have Python 3.6pipinstallhttps://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp36-cp36m-linux_x86_64.whl

很遺憾的是，目前 datatable 包還不能在 Windows 系統(tǒng)上工作，但 Python 官方也在努力地增加其對 Windows 的支持。更多的信息可以查看 Build instructions 的說明。

地址：

https://datatable.readthedocs.io/en/latest/install.html

數(shù)據(jù)讀取

這里使用的數(shù)據(jù)集是來自 Kaggle 競賽中的 Lending Club Loan Data 數(shù)據(jù)集, 該數(shù)據(jù)集包含2007-2015期間所有貸款人完整的貸款數(shù)據(jù)，即當(dāng)前貸款狀態(tài) (當(dāng)前，延遲，全額支付等) 和最新支付信息等。整個文件共包含226萬行和145列數(shù)據(jù)，數(shù)據(jù)量規(guī)模非常適合演示 datatable 包的功能。

# Importing necessary Librariesimport numpy as npimport pandas as pdimport datatable as dt

首先將數(shù)據(jù)加載到 Frame 對象中，datatable 的基本分析單位是 Frame，這與Pandas DataFrame 或 SQL table 的概念是相同的：即數(shù)據(jù)以行和列的二維數(shù)組排列展示。

datatable 讀取

%%timedatatable_df = dt.fread("data.csv")____________________________________________________________________CPU times: user 30 s, sys: 3.39 s, total: 33.4 s Wall time: 23.6 s

如上圖，fread() 是一個強大又快速的函數(shù)，能夠自動檢測并解析文本文件中大多數(shù)的參數(shù)，所支持的文件格式包括 .zip 文件、URL 數(shù)據(jù)，Excel 文件等等。此外，datatable 解析器具有如下幾大功能：

能夠自動檢測分隔符，標題，列類型，引用規(guī)則等。

能夠讀取多種文件的數(shù)據(jù)，包括文件，URL，shell，原始文本，檔案和 glob 等。

提供多線程文件讀取功能，以獲得最大的速度。

在讀取大文件時包含進度指示器。

可以讀取 RFC4180 兼容和不兼容的文件。

pandas 讀取

下面，使用Pandas 包來讀取相同的一批數(shù)據(jù)，并查看程序所運行的時間。

%%timepandas_df= pd.read_csv("data.csv")___________________________________________________________CPU times: user 47.5 s, sys: 12.1 s, total: 59.6 sWall time: 1min 4s

由上圖可以看到，結(jié)果表明在讀取大型數(shù)據(jù)時 datatable 包的性能明顯優(yōu)于Pandas，Pandas 需要一分多鐘時間來讀取這些數(shù)據(jù)，而 datatable 只需要二十多秒。

幀轉(zhuǎn)換 (Frame Conversion)

對于當(dāng)前存在的幀，可以將其轉(zhuǎn)換為一個Numpy 或Pandas dataframe 的形式，如下所示：

numpy_df = datatable_df.to_numpy()pandas_df = datatable_df.to_pandas()

?下面，將 datatable 讀取的數(shù)據(jù)幀轉(zhuǎn)換為Pandas dataframe 形式，并比較所需的時間，如下所示：

%%timedatatable_pandas = datatable_df.to_pandas()___________________________________________________________________CPU times: user 17.1 s, sys: 4 s, total: 21.1 sWall time: 21.4 s

看起來將文件作為一個 datatable frame 讀取，然后將其轉(zhuǎn)換為Pandas dataframe比直接讀取Pandas dataframe 的方式所花費的時間更少。因此，通過 datatable 包導(dǎo)入大型的數(shù)據(jù)文件再將其轉(zhuǎn)換為Pandas dataframe 的做法是個不錯的主意。

type(datatable_pandas)___________________________________________________________________pandas.core.frame.DataFrame

幀的基礎(chǔ)屬性

下面來介紹 datatable 中 frame 的一些基礎(chǔ)屬性，這與Pandas 中 dataframe 的一些功能類似。

print(datatable_df.shape) # (nrows, ncols)print(datatable_df.names[:5]) # top 5 column namesprint(datatable_df.stypes[:5]) # column types(top 5)______________________________________________________________(2260668, 145)('id', 'member_id', 'loan_amnt', 'funded_amnt', 'funded_amnt_inv')(stype.bool8,stype.bool8,stype.int32,stype.int32,stype.float64)

也可以通過使用 head 命令來打印出輸出的前 n 行數(shù)據(jù)，如下所示：

datatable_df.head(10)

注意：這里用顏色來指代數(shù)據(jù)的類型，其中紅色表示字符串，綠色表示整型，而藍色代表浮點型。

統(tǒng)計總結(jié)

在Pandas 中，總結(jié)并計算數(shù)據(jù)的統(tǒng)計信息是一個非常消耗內(nèi)存的過程，但這個過程在 datatable 包中是很方便的。如下所示，使用 datatable 包計算以下每列的統(tǒng)計信息：

datatable_df.sum() datatable_df.nunique()datatable_df.sd() datatable_df.max()datatable_df.mode() datatable_df.min()datatable_df.nmodal() datatable_df.mean()

下面分別使用 datatable 和Pandas 來計算每列數(shù)據(jù)的均值，并比較二者運行時間的差異。

datatable 讀取

%%timedatatable_df.mean()_______________________________________________________________CPU times: user 5.11 s, sys: 51.8 ms, total: 5.16 sWall time: 1.43 s

Pandas 讀取

pandas_df.mean()__________________________________________________________________Throws memory error.

可以看到，使用Pandas 計算時拋出內(nèi)存錯誤的異常。

數(shù)據(jù)操作

和 dataframe 一樣，datatable 也是柱狀數(shù)據(jù)結(jié)構(gòu)。在 datatable 中，所有這些操作的主要工具是方括號，其靈感來自傳統(tǒng)的矩陣索引，但它包含更多的功能。諸如矩陣索引，C/C++，R，Pandas，Numpy 中都使用相同的 DT[i，j] 的數(shù)學(xué)表示法。下面來看看如何使用 datatable 來進行一些常見的數(shù)據(jù)處理工作。

▌選擇行/列的子集

下面的代碼能夠從整個數(shù)據(jù)集中篩選出所有行及 funded_amnt 列：

datatable_df[:,'funded_amnt']

這里展示的是如何選擇數(shù)據(jù)集中前5行3列的數(shù)據(jù)，如下所示：

datatable_df[:5,:3]

▌幀排序

datatable 排序

在 datatable 中通過特定的列來對幀進行排序操作，如下所示：

%%timedatatable_df.sort('funded_amnt_inv')_________________________________________________________________CPU times: user 534 ms, sys: 67.9 ms, total: 602 msWall time: 179 ms

Pandas 排序

%%timepandas_df.sort_values(by = 'funded_amnt_inv')___________________________________________________________________CPU times: user 8.76 s, sys: 2.87 s, total: 11.6 sWalltime:12.4s

可以看到兩種包在排序時間方面存在明顯的差異。

▌刪除行/列

下面展示如何刪除 member_id 這一列的數(shù)據(jù)：

del datatable_df[:, 'member_id']

▌分組 (GroupBy)

與Pandas 類似，datatable 同樣具有分組 (GroupBy) 操作。下面來看看如何在 datatable 和Pandas 中，通過對 grade 分組來得到 funded_amout 列的均值：

datatable 分組

%%timefor i in range(100): datatable_df[:, dt.sum(dt.f.funded_amnt), dt.by(dt.f.grade)]____________________________________________________________________CPU times: user 6.41 s, sys: 1.34 s, total: 7.76 sWall time: 2.42 s

pandas 分組

%%timefor i in range(100): pandas_df.groupby("grade")["funded_amnt"].sum()____________________________________________________________________CPU times: user 12.9 s, sys: 859 ms, total: 13.7 sWalltime:13.9s

▌.f 代表什么

在 datatable 中，f 代表 frame_proxy，它提供一種簡單的方式來引用當(dāng)前正在操作的幀。在上面的例子中，dt.f 只代表 dt_df。

▌過濾行

在 datatable 中，過濾行的語法與GroupBy的語法非常相似。下面就來展示如何過濾掉 loan_amnt 中大于 funding_amnt 的值，如下所示。

datatable_df[dt.f.loan_amnt>dt.f.funded_amnt,"loan_amnt"]

▌保存幀

在 datatable 中，同樣可以通過將幀的內(nèi)容寫入一個 csv 文件來保存，以便日后使用。如下所示：

datatable_df.to_csv('output.csv')

有關(guān)數(shù)據(jù)操作的更多功能，可查看 datatable 包的說明文檔

地址：

https://datatable.readthedocs.io/en/latest/using-datatable.html

總結(jié)

在數(shù)據(jù)科學(xué)領(lǐng)域，與默認的Pandas 包相比，datatable 模塊具有更快的執(zhí)行速度，這是其在處理大型數(shù)據(jù)集時的一大優(yōu)勢所在。 然而，就功能而言，目前 datatable 包所包含的功能還不如pandas 完善。相信在不久的將來，不斷完善的 datatable 能夠更加強大。

本文所涉及的代碼可以從 Github 或 binder 上獲?。?/p>

Github 地址：

https://github.com/parulnith/An-Overview-of-Python-s-Datatable-package)

binder 地址：

https://mybinder.org/v2/gh/parulnith/An-Overview-of-Python-s-Datatable-package/master?filepath=An%20Overview%20of%20Python%27s%20Datatable%20package.ipynb