Danfo.js提供高性能、直觀易用的數(shù)據(jù)結(jié)構(gòu)，支持結(jié)構(gòu)化數(shù)據(jù)的操作和處理

Danfo.js 是個(gè) JavaScript 開源庫，提供了高性能、直觀易用的數(shù)據(jù)結(jié)構(gòu)，支持結(jié)構(gòu)化數(shù)據(jù)的操作和處理。Danfo.js 深受 Python Pandas 庫的啟發(fā)，并提供了類似的接口/API。因此熟悉 Pandas API 且了解 JavaScript 的用戶可以輕松上手。

Danfo.js 的一大目標(biāo)是為 JavaScript 開發(fā)者提供數(shù)據(jù)處理、機(jī)器學(xué)習(xí)和 AI 工具。這與我們的愿景一致，本質(zhì)上也符合 TensorFlow.js 團(tuán)隊(duì)向 Web 引入 ML 的目標(biāo)。Numpy 和 Pandas 等開源庫全面革新了 Python 中數(shù)據(jù)操作的便利性。因此很多工具都圍繞它們構(gòu)建，進(jìn)一步推動(dòng)了 Python 中 ML 生態(tài)系統(tǒng)的蓬勃發(fā)展。

Danfo.js
https://danfo.jsdata.org/

Danfo.js 建立在 TensorFlow.js 上。也就是說，就像 Numpy 為 Pandas 的算術(shù)運(yùn)算提供技術(shù)支持一樣，我們是利用 TensorFlow.js 為我們的低級算術(shù)運(yùn)算提供技術(shù)支持。

Danfo.js 的主要特性

Danfo.js 速度快。它基于 TensorFlow.js 構(gòu)建，與張量無縫兼容。您可以在 Danfo 中加載張量，也可以將 Danfo 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為張量。利用這兩個(gè)庫，既有了數(shù)據(jù)處理庫 (Danfo.js)，也有了強(qiáng)大的 ML 庫 (TensorFlow.js)。

以下示例將展示如何從張量對象創(chuàng)建 Danfo DataFrame：

const dfd = require("danfojs-node") const tf = require("@tensorflow/tfjs-node") let data = tf.tensor2d([[20,30,40], [23,90, 28]]) let df = new dfd.DataFrame(data) let tf_tensor = df.tensor console.log(tf_tensor); tf_tensor.print()

輸出：

Tensor { kept: false, isDisposedInternal: false, shape: [ 2, 3 ], dtype: 'float32', size: 6, strides: [ 3 ], dataId: {}, id: 3, rankType: '2' } Tensor [[20, 30, 40], [23, 90, 28]]

您可以輕松地將數(shù)組、JSON 或?qū)ο筠D(zhuǎn)換為 DataFrame 對象操作。

JSON 對象到 DataFrame：

const dfd = require("danfojs-node") json_data = [{ A: 0.4612, B: 4.28283, C: -1.509, D: -1.1352 }, { A: 0.5112, B: -0.22863, C: -3.39059, D: 1.1632 }, { A: 0.6911, B: -0.82863, C: -1.5059, D: 2.1352 }, { A: 0.4692, B: -1.28863, C: 4.5059, D: 4.1632 }] df = new dfd.DataFrame(json_data) df.print()

輸出：

帶列標(biāo)簽的對象數(shù)組到 DataFrame：

const dfd = require("danfojs-node") obj_data = {'A': [“A1”, “A2”, “A3”, “A4”], 'B': ["bval1", "bval2", "bval3", "bval4"], 'C': [10, 20, 30, 40], 'D': [1.2, 3.45, 60.1, 45], 'E': ["test", "train", "test", "train"] } df = new dfd.DataFrame(obj_data) df.print()

輸出：

您可以輕松處理浮點(diǎn)和非浮點(diǎn)數(shù)據(jù)中的缺失數(shù)據(jù)（以 NaN 表示）：

const dfd = require("danfojs-node") let data = {"Name":["Apples", "Mango", "Banana", undefined], "Count": [NaN, 5, NaN, 10], "Price": [200, 300, 40, 250]} let df = new dfd.DataFrame(data) let df_filled = df.fillna({columns: ["Name", "Count"], values: ["Apples", df["Count"].mean()]}) df_filled.print()

輸出：

基于智能標(biāo)簽的切片、花式索引和大數(shù)據(jù)集查詢：

const dfd = require("danfojs-node") let data = { "Name": ["Apples", "Mango", "Banana", "Pear"] , "Count": [21, 5, 30, 10], "Price": [200, 300, 40, 250] } let df = new dfd.DataFrame(data) let sub_df = df.loc({ rows: ["0:2"], columns: ["Name", "Price"] }) sub_df.print()

輸出：

強(qiáng)大的 IO 工具，用于從平面文件（CSV 和分隔）加載數(shù)據(jù)。完整和分塊均可：

const dfd = require("danfojs-node") //read the first 10000 rows dfd.read_csv("file:///home/Desktop/bigdata.csv", chunk=10000) .then(df => { df.tail().print() }).catch(err=>{ console.log(err); })

DataFrame 和 Series 支持OneHotEncoders、LabelEncoders等強(qiáng)大的數(shù)據(jù)預(yù)處理函數(shù)和 StandardScaler 和 MinMaxScaler 等 Scaler：

const dfd = require("danfojs-node") let data = ["dog","cat","man","dog","cat","man","man","cat"] let series = new dfd.Series(data) let encode = new dfd.LabelEncoder() encode.fit(series) let sf_enc = encode.transform(series) let new_sf = encode.transform(["dog","man"])

輸出：

交互式、靈活且直觀的 API，用于在瀏覽器中繪制 DataFrame 和 Series：

輸出：

示例：泰坦尼克號(hào)幸存預(yù)測

以下是使用 Danfo.js 和 TensorFlow.js 的簡單端到端分類任務(wù)。使用 Danfo 進(jìn)行數(shù)據(jù)集的數(shù)據(jù)加載、操作和預(yù)處理，然后導(dǎo)出張量對象。

const dfd = require("danfojs-node") const tf = require("@tensorflow/tfjs-node") async function load_process_data() { let df = await dfd.read_csv("https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/stuff/titanic.csv") //A feature engineering: Extract all titles from names columns let title = df['Name'].apply((x) => { return x.split(".")[0] }).values //replace in df df.addColumn({ column: "Name", value: title }) //label Encode Name feature let encoder = new dfd.LabelEncoder() let cols = ["Sex", "Name"] cols.forEach(col => { encoder.fit(df[col]) enc_val = encoder.transform(df[col]) df.addColumn({ column: col, value: enc_val }) }) let Xtrain,ytrain; Xtrain = df.iloc({ columns: [`1:`] }) ytrain = df['Survived'] // Standardize the data with MinMaxScaler let scaler = new dfd.MinMaxScaler() scaler.fit(Xtrain) Xtrain = scaler.transform(Xtrain) return [Xtrain.tensor, ytrain.tensor] //return the data as tensors }

接下來使用 TensorFlow.js 創(chuàng)建一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)。

function get_model() { const model = tf.sequential(); model.add(tf.layers.dense({ inputShape: [7], units: 124, activation: 'relu', kernelInitializer: 'leCunNormal' })); model.add(tf.layers.dense({ units: 64, activation: 'relu' })); model.add(tf.layers.dense({ units: 32, activation: 'relu' })); model.add(tf.layers.dense({ units: 1, activation: "sigmoid" })) model.summary(); return model }

最后進(jìn)行訓(xùn)練，首先將模型和處理后的數(shù)據(jù)加載為張量。這可以直接饋送到神經(jīng)網(wǎng)絡(luò)。

async function train() { const model = await get_model() const data = await load_process_data() const Xtrain = data[0] const ytrain = data[1] model.compile({ optimizer: "rmsprop", loss: 'binaryCrossentropy', metrics: ['accuracy'], }); console.log("Training started....") await model.fit(Xtrain, ytrain,{ batchSize: 32, epochs: 15, validationSplit: 0.2, callbacks:{ onEpochEnd: async(epoch, logs)=>{ console.log(`EPOCH (${epoch + 1}): Train Accuracy: ${(logs.acc * 100).toFixed(2)}, Val Accuracy: ${(logs.val_acc * 100).toFixed(2)} `); } } }); }; train()

您可能注意到 Danfo 的 API 與 Pandas 非常相似，即使不是 Javascript 程序員也可以輕松閱讀和理解代碼。您可參考以上演示的完整源代碼 (https://gist.github.com/risenW/f54e4e5b6d92e7b1b9b1f30e884ca83c)。

結(jié)語

基于網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)已經(jīng)日趨成熟，對應(yīng)的專用高效數(shù)據(jù)科學(xué)工具必不可少。類似 Danfo.js 的工具讓基于網(wǎng)絡(luò)的應(yīng)用可以輕松支持 ML 特性，從而讓應(yīng)用生態(tài)系統(tǒng)更加豐富多彩。

這場變革始于 TensorFlow.js 為 Python 帶來的 ML 功能。我們希望為 Danfo.js 作為高效的同伴一路提供支持。我們對 Danfo.js 的發(fā)展充滿期待！希望它也能成為網(wǎng)絡(luò)社區(qū)的關(guān)鍵成員。

原文標(biāo)題：深受 Pandas 啟發(fā)的 JavaScript 開源庫 — Danfo.js 現(xiàn)已推出！

文章出處：【微信公眾號(hào)：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。