大數(shù)據(jù)可視化技術(shù)現(xiàn)狀分析及技術(shù)實(shí)踐

前言

伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)可視化成為一個(gè)熱門的話題，引起了人們極大的關(guān)注。本文從數(shù)據(jù)可視化研究概述、定義、常用的數(shù)據(jù)可視化工具及應(yīng)用技術(shù)路線介紹數(shù)據(jù)可視化。

1.數(shù)據(jù)可視化研究概述

數(shù)據(jù)可視化，可以增強(qiáng)數(shù)據(jù)的呈現(xiàn)效果，方便用戶以更加直觀的方式觀察數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)數(shù)據(jù)中隱藏的信息?？梢暬瘧?yīng)用領(lǐng)域十分廣泛，主要涉及網(wǎng)絡(luò)數(shù)據(jù)可視化、交通數(shù)據(jù)可視化、文本數(shù)據(jù)可視化、數(shù)據(jù)挖掘可視化、生物醫(yī)藥可視化、社交可視化等領(lǐng)域。依照CARD可視化模型，將數(shù)據(jù)可視化過(guò)程分為：數(shù)據(jù)預(yù)處理、繪制、顯示和交互這幾個(gè)階段。依照SHNEIDERMAN分類，可視化的數(shù)據(jù)分為：一維數(shù)據(jù)、二維數(shù)據(jù)、三維數(shù)據(jù)、高維數(shù)據(jù)、時(shí)態(tài)數(shù)據(jù)、層次數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)。其中高維數(shù)據(jù)、層次數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、時(shí)態(tài)數(shù)據(jù)是當(dāng)前可視化的研究熱點(diǎn)。

高維數(shù)據(jù)目前已經(jīng)成為了計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)，所謂高維數(shù)據(jù)是指每一個(gè)樣本數(shù)據(jù)包含p（p≥4）維空間特征。人類對(duì)于數(shù)據(jù)的理解主要集中在低維度的空間表示上，如果單從高維數(shù)據(jù)的抽象數(shù)據(jù)值上進(jìn)行分析很難得到有用的信息。相對(duì)于對(duì)數(shù)據(jù)的高維模擬，低維空間的可視化技術(shù)顯得更簡(jiǎn)單、直截。而且高維空間包含的元素相對(duì)于低維空間來(lái)說(shuō)更加更復(fù)雜，容易造成人們的分析混亂。將高維數(shù)據(jù)信息映射到二三維空間上，方便高維數(shù)據(jù)進(jìn)行人與數(shù)據(jù)的交互，有助于對(duì)數(shù)據(jù)進(jìn)行聚類以及分類。高維數(shù)據(jù)可視化的研究主要包含數(shù)據(jù)變化、數(shù)據(jù)呈現(xiàn)兩個(gè)方面。

層次數(shù)據(jù)具有等級(jí)或?qū)蛹?jí)關(guān)系。層次數(shù)據(jù)的可視化方法主要包括節(jié)點(diǎn)鏈接圖和樹(shù)圖２種方式。其中樹(shù)圖（treemap）由一系列的嵌套環(huán)、塊來(lái)展示層次數(shù)據(jù)。

為了能展示更多的節(jié)點(diǎn)內(nèi)容，一些基于“焦點(diǎn)＋上下文”技術(shù)的交互方法被開(kāi)發(fā)出來(lái)。包括“魚(yú)眼”技術(shù)、幾何變形、語(yǔ)義縮放、遠(yuǎn)離焦點(diǎn)的節(jié)點(diǎn)聚類技術(shù)等。

網(wǎng)絡(luò)數(shù)據(jù)表現(xiàn)為更加自由、更加復(fù)雜的關(guān)系網(wǎng)絡(luò)。分析網(wǎng)絡(luò)數(shù)據(jù)的核心是挖掘關(guān)系網(wǎng)絡(luò)中的重要結(jié)構(gòu)性質(zhì)，如節(jié)點(diǎn)相似性、關(guān)系傳遞性、網(wǎng)絡(luò)中心性等，網(wǎng)絡(luò)數(shù)據(jù)可視化方法應(yīng)清晰表達(dá)個(gè)體間關(guān)系以及個(gè)體的聚類關(guān)系。主要布局策略包含結(jié)點(diǎn)鏈接法和相鄰矩陣法。

時(shí)間序列數(shù)據(jù)是指具有時(shí)間屬性的數(shù)據(jù)集，針對(duì)時(shí)間序列數(shù)據(jù)的可視化方法包含：線形圖、動(dòng)畫、堆積圖、時(shí)間線、地平線圖。

數(shù)據(jù)可視化伴隨著大數(shù)據(jù)時(shí)代的到來(lái)而興起，可視化分析是大數(shù)據(jù)分析不可或缺的一種重要手段和工具，只有在真正理解可視化概念本質(zhì)后，才能更好的研究并應(yīng)用其方法和原理，獲得數(shù)據(jù)背后隱藏的價(jià)值。

2.數(shù)據(jù)可視化的定義

數(shù)據(jù)可視化，是關(guān)于數(shù)據(jù)視覺(jué)表現(xiàn)形式的科學(xué)技術(shù)研究?？梢暬夹g(shù)是利用計(jì)算機(jī)圖形學(xué)及圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像形式顯示到屏幕上，并進(jìn)行交互處理的理論、方法和技術(shù)。它涉及計(jì)算機(jī)視覺(jué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)圖形學(xué)等多個(gè)領(lǐng)域，成為一項(xiàng)研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等問(wèn)題的綜合技術(shù)。

2.1數(shù)據(jù)可視化的基本概念

1）數(shù)據(jù)空間

由n維屬性、m個(gè)元素共同組成的數(shù)據(jù)集構(gòu)成的多維信息空間。

2）數(shù)據(jù)開(kāi)發(fā)

利用一定的工具及算法對(duì)數(shù)據(jù)進(jìn)行定量推演及計(jì)算。

3）數(shù)據(jù)分析

對(duì)多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù)，從而可以多角度多側(cè)面的觀察數(shù)據(jù)。

4）數(shù)據(jù)可視化

將大型數(shù)據(jù)集中的數(shù)據(jù)通過(guò)圖形圖像方式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息。

2.2數(shù)據(jù)可視化的標(biāo)準(zhǔn)

為實(shí)現(xiàn)信息的有效傳達(dá)，數(shù)據(jù)可視化應(yīng)兼顧美學(xué)與功能，直觀的傳達(dá)出關(guān)鍵的特征，便于挖掘數(shù)據(jù)背后隱藏的價(jià)值。

可視化技術(shù)應(yīng)用標(biāo)準(zhǔn)應(yīng)該包含以下4個(gè)方面：

1）直觀化

將數(shù)據(jù)直觀、形象的呈現(xiàn)出來(lái)。

2）關(guān)聯(lián)化

突出的呈現(xiàn)出數(shù)據(jù)之間的關(guān)聯(lián)性。

3）藝術(shù)性

使數(shù)據(jù)的呈現(xiàn)更具有藝術(shù)性，更加符合審美規(guī)則。

4）交互性

實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，方便用戶控制數(shù)據(jù)。

3.常用的數(shù)據(jù)可視化工具

1、excel：可以在excel中選擇插入圖表，選擇你想要的圖表，然后進(jìn)行標(biāo)題、坐標(biāo)軸等設(shè)置，操作相對(duì)多點(diǎn)，有餅圖、折線圖、柱狀圖等常見(jiàn)圖表。

2、Tabluea：之前他為了學(xué)習(xí)特地花錢買過(guò)Tabluea的個(gè)人版，話說(shuō)真的蠻貴的，一年要999刀，就只買了一年，我也玩過(guò)他們很多功能，工具挺不錯(cuò)的，功能挺強(qiáng)大的，可視化效果不錯(cuò)。

3、BDP個(gè)人版：直接把表格數(shù)據(jù)上傳，然后拖拽數(shù)據(jù)到X軸（維度欄）、Y軸（數(shù)值欄），點(diǎn)一下選擇你想要的可視化圖表就行，除了常見(jiàn)圖表，還有數(shù)據(jù)地圖、漏斗、詞云、旭日等酷炫圖表~~

4.數(shù)據(jù)可視化面臨的挑戰(zhàn)

伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)可視化日益受到關(guān)注，可視化技術(shù)也日益成熟。然而，數(shù)據(jù)可視化仍存在許多問(wèn)題，且面臨著巨大的挑戰(zhàn)。

大數(shù)據(jù)可視化存在以下問(wèn)題：

1）視覺(jué)噪聲

在數(shù)據(jù)集中，大多數(shù)數(shù)據(jù)具有極強(qiáng)的相關(guān)性，無(wú)法將其分離作為獨(dú)立的對(duì)象顯示。

2）信息丟失

減少可視數(shù)據(jù)集的方法可行，但會(huì)導(dǎo)致信息的丟失。

3）大型圖像感知

數(shù)據(jù)可視化不單單受限于設(shè)備的長(zhǎng)度比及分辨率，也受限于現(xiàn)實(shí)世界的感受。

4）高速圖像變換

用戶雖然能夠觀察數(shù)據(jù)，卻不能對(duì)數(shù)據(jù)強(qiáng)度變化做出反應(yīng)。

5）高性能要求

對(duì)于靜態(tài)可視化對(duì)性能要求不高，因?yàn)榭梢暬俣容^低，性能要求不高，然而動(dòng)態(tài)可視化對(duì)性能要求會(huì)比較高。

數(shù)據(jù)可視化面臨的挑戰(zhàn)主要指可視化分析過(guò)程中數(shù)據(jù)的呈現(xiàn)方式，包括可視化技術(shù)和信息可視化顯示。目前，數(shù)據(jù)簡(jiǎn)約可視化研究中，高清晰顯示、大屏幕顯示、高可擴(kuò)展數(shù)據(jù)投影、維度降解等技術(shù)都試著從不同角度解決這個(gè)難題。

可感知的交互的擴(kuò)展性是大數(shù)據(jù)可視化面臨的挑戰(zhàn)之一。從大規(guī)模數(shù)據(jù)庫(kù)中查詢數(shù)據(jù)可能導(dǎo)致高延遲，使交互率降低。

在大數(shù)據(jù)應(yīng)用程序中，大規(guī)模數(shù)據(jù)及高維數(shù)據(jù)使數(shù)據(jù)可視化變得十分困難。

在超大規(guī)模的數(shù)據(jù)可視化分析中，我們可以構(gòu)建更大、更清晰的視覺(jué)顯示設(shè)備，但是人類的敏銳度制約了大屏幕顯示的有效性。

由于人和機(jī)器的限制，在可預(yù)見(jiàn)的未來(lái)，大數(shù)據(jù)的可視化問(wèn)題會(huì)是一個(gè)重要的挑戰(zhàn)。

5.數(shù)據(jù)可視化技術(shù)的發(fā)展方向

1）可視化技術(shù)與數(shù)據(jù)挖掘有著緊密的聯(lián)系。數(shù)據(jù)可視化可以幫助人們洞察出數(shù)據(jù)背后隱藏的潛在信息，提高了數(shù)據(jù)挖掘的效率，因此，可視化與數(shù)據(jù)挖掘緊密結(jié)合是可視化研究的一個(gè)重要發(fā)展方向。

2）可視化技術(shù)與人機(jī)交互擁有著緊密的聯(lián)系。實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，方便用戶控制數(shù)據(jù)，更好地實(shí)現(xiàn)人機(jī)交互這是我們一直追求的目標(biāo)。因此，可視化與人機(jī)交互相結(jié)合是可視化研究的一個(gè)重要發(fā)展方向。

3）可視化與大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)有著緊密的聯(lián)系。目前，我們身處于大數(shù)據(jù)時(shí)代，大數(shù)據(jù)時(shí)代，大規(guī)模、高緯度、非結(jié)構(gòu)化數(shù)據(jù)層出不窮，要將這樣的數(shù)據(jù)以可視化形式完美的展示出來(lái)，并非易事。因此，可視化與大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)結(jié)合是可視化研究的一個(gè)重要發(fā)展方向。