0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GPU加速 Node.js實現(xiàn)可視化和更高的速度

星星科技指導(dǎo)員 ? 來源:NVIDIA ? 作者:NVIDIA ? 2022-04-21 14:43 ? 次閱讀

NVIDIA GTC21 有大量精彩且引人入勝的內(nèi)容,特別是在 RAPIDS 附近,因此很容易錯過我們的首次演示“ 使用 RAPIDS 加速 Node. js JavaScript 以實現(xiàn)可視化和更高的速度。 ”是的–我們正在通過 Node.js 項目將 GPU 加速數(shù)據(jù)科學的力量帶到 JavaScript Node.js 社區(qū)。

Node- RAPIDS 是 Node.js 中模塊化 RAPIDS 庫綁定的開源技術(shù)預(yù)覽,以及支持基于瀏覽器的高性能可視化的補充方法。

poYBAGJg_RGASsApAACskN4gI4E854.png

web viz 有什么問題?

大約十年前 是圍繞基于 web 的數(shù)據(jù)可視化的迷你復(fù)興,它展示了 D3 等高度交互、易于共享和使用的工具的好處。雖然性能不如 C / C ++或 Python 框架,但由于 JavaScript 的可訪問性,它們的受歡迎程度開始上升。毫不奇怪,它通常被列為 最流行的開發(fā)人員語言 ,排在 Python 或 Java 之前,現(xiàn)在有了完整的可視化和數(shù)據(jù)工具目錄。

然而,這個龐大的 JavaScript 開發(fā)社區(qū)由于缺乏首選語言中的一流加速數(shù)據(jù)工具而受到阻礙。當分析與數(shù)據(jù)源、科學和可視化盡可能接近時,分析是最有效的。要使用 JavaScript 完全訪問 GPU 硬件(超越 webGL 限制和黑客),需要精通多種語言來設(shè)置復(fù)雜的中間件管道或使用 Plotly Dash 等非 js 框架。因此,數(shù)據(jù)工程師、數(shù)據(jù)科學家、可視化專家和前端開發(fā)人員往往被孤立起來,甚至在組織內(nèi)部也是如此。這是有害的,因為數(shù)據(jù)可視化是這些群體之間交流的理想媒介。

至于 RAPIDS Viz 團隊 自從我們第一次證明概念 ,我們希望構(gòu)建能夠通過瀏覽器與數(shù)億個數(shù)據(jù)點實時無縫交互的工具——我們終于找到了一種方法。

為什么選擇 Node 。 js

如果您不熟悉 Node.js ,它是一個基于 C / C ++的開源跨平臺運行時環(huán)境,在 web 瀏覽器之外執(zhí)行 JavaScript 代碼。超過 100 萬 Node. js 下載量 per day 。 節(jié)點包管理器 ( NPM )是默認的 JavaScript 包管理器,微軟擁有它。 Node.js 用于 eBay 、 AliExpress 等在線市場的后端,并被 Netflix 、 PayPal 和 Groupon 等高流量網(wǎng)站使用。顯然,這是一個強大的框架。

pYYBAGJg_RKATPVpAAKTThE7u88229.png

圖 1 : XKCD Node 。 js 是一個通用連接器。

Node. js 是一個連接器,它為我們提供了直接訪問硬件的 JavaScript ,從而簡化了 API 并能夠使用 NVIDIA CUDA.

. 通過創(chuàng)建節(jié)點 – RAPIDS 綁定,我們使一個龐大的開發(fā)人員社區(qū)能夠使用 GPU 加速,而無需學習新語言或在新環(huán)境中工作。我們還為同一社區(qū)提供高性能數(shù)據(jù)科學平臺: RAPIDS !

下面是一個基于 我們的基本筆記本 的節(jié)點 – RAPIDS 的片段,它顯示了一個小型正則表達式示例的 6x 加速:

// Using https://github.com/rapidsai/node-rapids/
const cudf = require('@rapidsai/cudf');
const regexps = [
/Cloud|Overcast/,
/Rain|T-Storm|Thunderstorm|Squalls|Drizzle/,
/Snow/,
/Fog/,
/Ice|Hail|Freezing|Sleet/,
/Dust|Smoke|Sand/,
];
?
console.log('');
?
const weather_condition_gpu = cudf.DataFrame.readCSV({
header: 0,
sourceType: 'files',
sources: [`${__dirname}/US_Accidents_Dec20.csv`],
dataTypes: {
id: 'str', source: 'str', tmc: 'float64', severity: 'int32', start_time: 'str', end_time: 'str',
start_lat: 'float64', start_lng: 'float64', end_lat: 'float64', end_lng: 'float64',
distance: 'float64', description: 'str', number: 'int32', street: 'str', side: 'str',
city: 'str', county: 'str', state: 'str', zipcode: 'str', country: 'str', timezone: 'str', airport_code: 'str',
weather_timestamp: 'str', temperature: 'float64', wind_chill: 'float64', humidity: 'float64', pressure: 'float64',
visibility: 'float64', wind_direction: 'str', wind_speed: 'float64', precipitation: 'float64', weather_condition: 'str',
amenity: 'bool', bump: 'bool', crossing: 'bool', give_way: 'bool', junction: 'bool', no_exit: 'bool', railway: 'bool',
roundabout: 'bool', station: 'bool', stop: 'bool', traffic_calming: 'bool', traffic_signal: 'bool', turning_loop: 'bool',
sunrise_sunset: 'str', civil_twilight: 'str', nautical_twighlight: 'str', astronomical_twighlight: 'str'
},
}).get('weather_condition');
?
console.time(`GPU time`);
?
regexps.forEach((regexp) => {
console.time(`${regexp.source} time`);
const matches = weather_condition_gpu.containsRe(regexp.source).sum();
console.timeEnd(`${regexp.source} time`);
console.log(`${regexp.source} matches: ${matches.toLocaleString()}`);
});
?
console.timeEnd(`GPU time`);
?
console.log('');
?
const weather_condition_cpu = (() => {
const categorical = weather_condition_gpu.cast(new cudf.Categorical(new cudf.Utf8String));
const categories = [...categorical.categories];
const codes = [...categorical.codes];
return codes.map((i) => categories[i]);
})();
?
console.time(`CPU time`);
?
regexps.forEach((regexp) => {
console.time(`${regexp.source} time`);
const matches = weather_condition_cpu.reduce((matches, weather_condition) => {
return matches + (regexp.exec(weather_condition) || []).length;
}, 0);
console.timeEnd(`${regexp.source} time`);
console.log(`${regexp.source} matches: ${matches.toLocaleString()}`);
});
?
console.timeEnd(`CPU time`);
?
console.log('');
/* OUTPUT:
---------------------------
// 1.6GB .CSV
// GPU: Titan RTX
Cloud|Overcast time: 26.819ms
Cloud|Overcast matches: 1,896,354
Rain|T-Storm|Thunderstorm|Squalls|Drizzle time: 63.813ms
Rain|T-Storm|Thunderstorm|Squalls|Drizzle matches: 326,441
Snow time: 6.396ms
Snow matches: 68,101
Fog time: 6.997ms
Fog matches: 52,063
Ice|Hail|Freezing|Sleet time: 44.031ms
Ice|Hail|Freezing|Sleet matches: 4,698
Dust|Smoke|Sand time: 29.932ms
Dust|Smoke|Sand matches: 8,846
GPU time: 190.457ms
// CPU: AMD Ryzen Threadripper 1900X 8-Core (3.8GHZ)
Cloud|Overcast time: 244.493ms
Cloud|Overcast matches: 1,896,354
Rain|T-Storm|Thunderstorm|Squalls|Drizzle time: 192.591ms
Rain|T-Storm|Thunderstorm|Squalls|Drizzle matches: 326,441
Snow time: 206.071ms
Snow matches: 68,101
Fog time: 204.61ms
Fog matches: 52,063
Ice|Hail|Freezing|Sleet time: 214.325ms
Ice|Hail|Freezing|Sleet matches: 4,698
Dust|Smoke|Sand time: 164.633ms
Dust|Smoke|Sand matches: 8,846
CPU time: 1.230s
---------------------------
// GPU is 6.45x faster than CPU
*/

節(jié)點 – RAPIDS :計為構(gòu)建塊

poYBAGJg_ROAJDYzAADfZRoxj_4417.png

圖 2 : Node- RAPIDS 模塊概述。

與節(jié)點項目類似,節(jié)點 – RAPIDS 設(shè)計為模塊化。我們的目標不是構(gòu)建交鑰匙 web 應(yīng)用程序,而是創(chuàng)建一個 功能清單 ,以支持或加速各種各樣的用例和管道。前面是當前和計劃節(jié)點的概述 – RAPIDS 模塊按一般類別分組。 節(jié)點 – RAPIDS 應(yīng)用程序可以根據(jù)需要使用任意數(shù)量的模塊。

為了減少起步的困難,我們還構(gòu)建了一個 演示目錄 ,它可以作為通用應(yīng)用程序的模板。隨著我們開發(fā)更多綁定,我們將創(chuàng)建更多演示來展示它們的功能。

pYYBAGJg_ROAAVhUAABusW_eiSQ990.png

圖 3 :交叉過濾器應(yīng)用程序的示例。

前面是使用 RAPIDS cuDF 和 RAPIDS cuSpatial 庫的地理空間交叉過濾儀表板應(yīng)用程序的理想堆棧。我們有一個使用 Deck.gl 的簡單演示,您可以使用我們的 video 進行預(yù)覽,并在 Github 上探索 演示代碼 。

poYBAGJg_RSAOksjAABZHz0hjxA642.png

圖 4 :流式 ETL 流程的示例。

前面的最后一個示例是一個僅服務(wù)器端的 ETL 管道,沒有任何可視化。我們有一個使用 cuDF 綁定和 互動筆記本 桌面應(yīng)用程序的簡單 ETL 流程示例,您可以在 Notebook 上使用 video 進行預(yù)覽,并使用(獲?。┙换?。

下一步是什么?

雖然我們考慮這個項目已經(jīng)有一段時間了,但我們才剛剛開始開發(fā)。 RAPIDS 是一個令人難以置信的框架,我們希望將它帶給更多的人和更多的應(yīng)用程序— RAPIDS 正如我們所說的那樣。

近期下一步:

接下來的一些短期步驟是繼續(xù)構(gòu)建核心 RAPIDS 綁定特性,您可以在我們的 當前綁定覆蓋率表 上查看這些特性。

如果直接從您的 web 應(yīng)用程序中使用 GPU 加速 SQL 查詢的想法聽起來很有趣(對我們來說的確如此),那么我們也希望盡快開始使用一些 blazingSQL 綁定。

最值得注意的是,我們計劃開始創(chuàng)建和發(fā)布模塊化 docker 容器,這將大大簡化當前的源代碼技術(shù)預(yù)覽安裝過程。

關(guān)于作者

Allan Enemark ,數(shù)據(jù)可視化設(shè)計, NVIDIA RAPIDS 數(shù)據(jù)可視化團隊負責人,致力于建立概念證明,開發(fā)工具,并與 RAPIDS 集成框架,通過 GPU 加速推進可視化分析領(lǐng)域。

Ajay Thorve 是 NVIDIA 的軟件工程師, RAPIDS 組織的可視化團隊的一部分。 Ajay 的背景是全棧開發(fā)和數(shù)據(jù)科學,主要興趣包括 JavaScript / TypeScript 和 Python 。目前, Ajay 在 RAPIDS viz 團隊的工作主要集中在為 cuXfilter 和 node- RAPIDS 項目做出貢獻。

Bryan Van de Ven 是 NVIDIA 的高級系統(tǒng)軟件工程師,負責 RAPIDS 的前端和可視化工具。此前,他曾在微軟和 Anaconda 工作,在那里他創(chuàng)建了 conda 軟件包管理器,并共同創(chuàng)建了 Bokeh 可視化庫。布萊恩獲得了 UT 奧斯汀大學的計算機科學和數(shù)學學士學位,以及加州大學洛杉磯分校的物理學碩士學位。

Paul Taylor 是 NVIDIA RAPIDS 的高級工程師。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5063

    瀏覽量

    103439
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4764

    瀏覽量

    129168
  • 可視化
    +關(guān)注

    關(guān)注

    1

    文章

    1198

    瀏覽量

    20995
收藏 人收藏

    評論

    相關(guān)推薦

    什么是大屏數(shù)據(jù)可視化?特點有哪些?

    大屏數(shù)據(jù)可視化是指通過大屏幕展示大量數(shù)據(jù)和信息,以直觀、可視化的方式幫助用戶理解和分析數(shù)據(jù)。這種展示方式通常用于展示復(fù)雜的數(shù)據(jù)集、實時監(jiān)控系統(tǒng)、企業(yè)管理儀表盤等。以下是關(guān)于 大屏數(shù)據(jù)可視化 的詳細
    的頭像 發(fā)表于 12-16 16:59 ?248次閱讀

    智慧能源可視化監(jiān)管平臺——助力可視化能源數(shù)據(jù)管理

    博達可視化大屏設(shè)計平臺在智慧能源領(lǐng)域的價值體現(xiàn)在實時監(jiān)控、數(shù)據(jù)可視化、決策支持和效率提升等方面。借助該平臺,企業(yè)可以輕松搭建智慧能源類可視化大屏,更加精確和高效地管理生產(chǎn)和生活,實現(xiàn)
    的頭像 發(fā)表于 11-29 10:00 ?401次閱讀
    智慧能源<b class='flag-5'>可視化</b>監(jiān)管平臺——助力<b class='flag-5'>可視化</b>能源數(shù)據(jù)管理

    Node.js小科普和Node.js安裝常見管理工具

    Node.js是一個JavaScript的運行環(huán)境,用來執(zhí)行JavaScript代碼。 為什么會出現(xiàn)這么一個運行環(huán)境呢,從JavaScript研發(fā)初衷可以看出它是為了運行在瀏覽器中的,讓網(wǎng)頁交互更加
    的頭像 發(fā)表于 11-23 15:37 ?144次閱讀
    <b class='flag-5'>Node.js</b>小科普和<b class='flag-5'>Node.js</b>安裝常見管理工具

    智慧樓宇可視化的優(yōu)點

    智慧樓宇可視化是指通過數(shù)據(jù)可視化技術(shù)來展示和分析樓宇的各種數(shù)據(jù),為樓宇管理者和用戶提供直觀、清晰的信息展示和決策支持。以下是智慧樓宇可視化的優(yōu)點,詳細介紹其在樓宇管理和運營中的重要作用: 1.實時
    的頭像 發(fā)表于 11-19 14:25 ?210次閱讀

    Node-Red可視化編程:簡化開發(fā)的創(chuàng)新之選

    Node-Red 是構(gòu)建物聯(lián)網(wǎng) (IOT Internet of Things) 應(yīng)用程序的一個強大工具,其重點是簡化代碼塊的“連接 ” 以執(zhí)行任務(wù)。它使用可視化編程方法,允許開發(fā)人員將預(yù)定義的代碼塊 (稱為“節(jié)點 ”,Node
    的頭像 發(fā)表于 09-21 10:37 ?394次閱讀
    <b class='flag-5'>Node</b>-Red<b class='flag-5'>可視化</b>編程:簡化開發(fā)的創(chuàng)新之選

    工程師必備!Node.js和常見管理工具介紹(附操作演示)

    語言及其相關(guān)生態(tài)中的一些基礎(chǔ)而關(guān)鍵的概念,以及它們是如何在互聯(lián)網(wǎng)歷史浪潮中產(chǎn)生的。一JavaScript與Node.js1JavaScriptJavaScript,即JS
    的頭像 發(fā)表于 08-30 12:34 ?333次閱讀
    工程師必備!<b class='flag-5'>Node.js</b>和常見管理工具介紹(附操作演示)

    陀螺儀LSM6DSOW開發(fā)(2)----上報匿名上位機實現(xiàn)可視化

    本文檔詳細介紹了如何使用匿名助手的上位機實現(xiàn)加速度計和陀螺儀數(shù)據(jù)的可視化顯示。內(nèi)容涵蓋了加速度計和陀螺儀的工作原理、上位機通信協(xié)議、數(shù)據(jù)處理流程以及具體的代碼
    的頭像 發(fā)表于 08-05 09:52 ?1542次閱讀
    陀螺儀LSM6DSOW開發(fā)(2)----上報匿名上位機<b class='flag-5'>實現(xiàn)</b><b class='flag-5'>可視化</b>

    大屏數(shù)據(jù)可視化 開源

    可以使信息一目了然,還能幫助用戶深入分析數(shù)據(jù),發(fā)現(xiàn)潛在的規(guī)律和洞察。以下是古河云科技實現(xiàn)大屏數(shù)據(jù)可視化的關(guān)鍵步驟。 1.確定需求和目標 確定大屏數(shù)據(jù)可視化的具體需求和目標,包括展示內(nèi)容、受眾群體、交互方式等。 2.數(shù)據(jù)收集
    的頭像 發(fā)表于 06-27 16:06 ?442次閱讀
    大屏數(shù)據(jù)<b class='flag-5'>可視化</b> 開源

    如何實現(xiàn)園區(qū)大屏可視化

    孿生可視化 構(gòu)建平臺利用Web三維可視化技術(shù)對現(xiàn)實場景進行仿真,實現(xiàn)園區(qū)級業(yè)務(wù)場景 的可視化呈現(xiàn),助力企業(yè)快速完成項目的實施。實現(xiàn)園區(qū)場景立
    的頭像 發(fā)表于 06-19 15:39 ?463次閱讀
    如何<b class='flag-5'>實現(xiàn)</b>園區(qū)大屏<b class='flag-5'>可視化</b>?

    智慧大屏是如何實現(xiàn)數(shù)據(jù)可視化的?

    智慧大屏,作為數(shù)據(jù)可視化的重要載體,已在城市管理、交通監(jiān)控、商業(yè)運營等領(lǐng)域廣泛應(yīng)用。本文旨在闡述智慧大屏實現(xiàn)數(shù)據(jù)可視化的關(guān)鍵技術(shù)和方法,包括數(shù)據(jù)源管理、數(shù)據(jù)處理、視覺編碼、用戶界面與交互設(shè)計等。
    的頭像 發(fā)表于 06-04 15:02 ?656次閱讀
    智慧大屏是如何<b class='flag-5'>實現(xiàn)</b>數(shù)據(jù)<b class='flag-5'>可視化</b>的?

    大屏數(shù)據(jù)可視化的作用和意義

    大屏數(shù)據(jù)可視化是指利用大屏幕設(shè)備展示數(shù)據(jù)信息,通過圖表、圖像、動畫等視覺手段將數(shù)據(jù)呈現(xiàn)出來,以便用戶能夠直觀、清晰地理解數(shù)據(jù)背后的含義和關(guān)聯(lián)。在信息化時代,數(shù)據(jù)已經(jīng)成為企業(yè)決策和運營的重要依托,而
    的頭像 發(fā)表于 06-03 17:56 ?726次閱讀

    工廠車間可視化讓生產(chǎn)更高效管理更智能

    隨著工業(yè)4.0時代的來臨,智能制造、工業(yè)互聯(lián)網(wǎng)等概念逐漸深入人心。作為實現(xiàn)智能制造的重要手段之一,工廠車間可視化正受到越來越多的關(guān)注。那什么是工廠車間可視化?它又能為我們的生產(chǎn)和管理帶來哪些變革呢?
    的頭像 發(fā)表于 05-14 14:39 ?465次閱讀
    工廠車間<b class='flag-5'>可視化</b>讓生產(chǎn)<b class='flag-5'>更高</b>效管理更智能

    FUXA基于Web的過程可視化軟件案例

    FUXA——基于Web的過程可視化軟件
    發(fā)表于 04-24 18:32 ?3次下載

    態(tài)勢數(shù)據(jù)可視化技術(shù)有哪些

    確,計算方法不實用,可視化效果不直觀等技術(shù)問題,設(shè)計并實現(xiàn)了基于地理信息系統(tǒng),網(wǎng)絡(luò)拓撲圖,攻擊路徑等的安全態(tài)勢可視化分析系統(tǒng)方法, 通過可視化技術(shù)將安全態(tài)勢數(shù)據(jù)以多視圖,多角度,多層次
    的頭像 發(fā)表于 04-22 15:17 ?441次閱讀

    物聯(lián)網(wǎng)可視化監(jiān)控大屏如何實現(xiàn)?有什么功能?

    在物聯(lián)網(wǎng)飛速發(fā)展的時代,可視化監(jiān)控大屏成為了眾多企業(yè)和機構(gòu)實現(xiàn)智能管理和監(jiān)控的重要工具。它將各種各樣設(shè)備的運行狀態(tài)和數(shù)據(jù)以圖形、圖表、動畫等形式展示在大屏或其他移動設(shè)備上,使得用戶能夠直觀地了解
    的頭像 發(fā)表于 04-11 09:25 ?939次閱讀