Python怎樣存儲(chǔ)變量性能最優(yōu)

工作時(shí)我們經(jīng)常會(huì)遇到需要臨時(shí)保存結(jié)果變量的場(chǎng)景，尤其是一些數(shù)據(jù)處理、模型開發(fā)的場(chǎng)景，加載處理速度是個(gè)很漫長(zhǎng)的過程，于是經(jīng)常會(huì)把這些變量?jī)?chǔ)存起來。

而儲(chǔ)存變量最常見、最普遍的方法是用pickle，保存為pkl文件。但是如果從寫入和讀取的性能角度考慮，pkl可能真的不是最優(yōu)選。

Pickle有其獨(dú)特的好處，大部分變量不需要進(jìn)行處理，都能直接存到pkl文件里，但這樣的方便其實(shí)是犧牲了部分性能取得的。與之相比，numpy的.npy格式就比pickle性能上快不少。

當(dāng)然，我們需要有證據(jù)支撐這個(gè)觀點(diǎn)。所以今天我們就來做個(gè)實(shí)驗(yàn)，分別在Python2和Python3中對(duì)比 numpy 和 pickle 兩種存儲(chǔ)格式(.npy, .pkl) 對(duì)數(shù)據(jù)的存儲(chǔ)和讀取的性能對(duì)比。

部分內(nèi)容參考分析自: https://applenob.github.io/python/save/

1. Python2中, npy與pkl的性能對(duì)比

首先初始化數(shù)據(jù)：

import numpy as np
import time
import cPickle as pkl
import os

all_batches = []
for i in range(20):
    a1 = np.random.normal(size=[25600, 40])
    label = np.random.normal(size=[25600, 1])
    all_batch = np.concatenate([a1, label], 1)
    all_batches.append(all_batch)
all_batches = np.array(all_batches)
print(all_batches.shape)
# (20, 25600, 41)

然后測(cè)試使用pickle保存和讀取時(shí)間的耗時(shí)，以及整個(gè)文件的大?。?/p>

s_t1 = time.time()
pkl_name = "a.pkl"
with open(pkl_name, "wb") as f:
    pkl.dump(all_batches, f)
pkl_in_time = time.time() - s_t1
print("pkl dump costs {} sec".format(pkl_in_time))

s_t2 = time.time()
with open(pkl_name, "rb") as f:
    new_a = pkl.load(f)
pkl_out_time = time.time() - s_t2
print("pkl load costs {} sec".format(pkl_out_time))

pkl_size = os.path.getsize(pkl_name)
print("pkl file size: {} byte, {} mb".format(pkl_size, float(pkl_size)/(1024*1024)))

結(jié)果如下：

即：

pkl dump costs 67.7483091354 sec
pkl load costs 52.1168899536 sec
pkl file size: 497437110 byte, 474.392995834 mb

然后再試一下npy的寫入和讀?。?/p>

s_t3 = time.time()
npy_name = "a.npy"
with open(npy_name, "wb") as f:
    np.save(f, arr=all_batches)
npy_in_time = time.time() - s_t3
print("npy save costs {} sec".format(npy_in_time))
s_t4 = time.time()
with open(npy_name, "rb") as f:
    new_a = np.load(f)
npy_out_time = time.time() - s_t4
print("npy load costs {} sec".format(npy_out_time))
npy_size = os.path.getsize(npy_name)
print("npy file size: {} byte, {} mb".format(npy_size, float(npy_size) / (1024 * 1024)))

結(jié)果如下：

即：

npy save costs 20.718367815 sec
npy load costs 0.62314915657 sec
npy file size: 167936128 byte, 160.15637207 mb

結(jié)果發(fā)現(xiàn)，npy性能明顯優(yōu)于pkl格式。

通過多次測(cè)試發(fā)現(xiàn)，在Python2中，npy格式的性能優(yōu)勢(shì)全面碾壓pkl，工程允許的情況下，在Python2中，我們應(yīng)該在這二者中毫不猶豫地選擇npy.

2.Python3中, npy與pkl的性能對(duì)比

Python2已經(jīng)是過去式，重點(diǎn)還要看Python3.

在Python3中，與Python2的代碼唯一一句不一樣的是pickle的引入：

# Python2:
import cPickle as pkl

# Python3:
import pickle as pkl

其他代碼基本一樣，替換代碼后，重新運(yùn)行程序，讓我們看看在Python3上，npy格式和pkl格式性能上的區(qū)別，首先是pkl格式的表現(xiàn)：

ckenddeMacBook-Pro:Documents ckend$ python 1.py
(20, 25600, 41)
pkl dump costs 24.32167887687683 sec
pkl load costs 4.480823040008545 sec
pkl file size: 167936163 byte, 160.15640544891357 mb

然后是npy格式的表現(xiàn)：

npy save costs 22.471696853637695 sec
npy load costs 0.3791017532348633 sec
npy file size: 167936080 byte, 160.1563262939453 mb

可以看到在Python3中pkl格式和npy格式的存儲(chǔ)大小是基本相同的，在存儲(chǔ)耗時(shí)上也相差無幾。但是在讀取數(shù)據(jù)的時(shí)候，npy相對(duì)于pkl還是有一定的優(yōu)勢(shì)的。

因此，如果你的程序非常注重讀取效率，那么我覺得npy格式會(huì)比pkl格式更適合你。