0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大數(shù)據(jù)分析平臺實現(xiàn)支持多維度篩選的交互式界面,是由哪些部分組成

牽手一起夢 ? 來源:中琛源 ? 作者:佚名 ? 2020-09-15 14:45 ? 次閱讀

在搭建大數(shù)據(jù)分析平臺之前,要先明確業(yè)務(wù)需求場景以及用戶的需求,通過大數(shù)據(jù)分析平臺,想要得到哪些有價值的信息,需要接入的數(shù)據(jù)有哪些,明確基于場景業(yè)務(wù)需求的大數(shù)據(jù)平臺要具備的基本功能,來決定平臺搭建過程中使用的大數(shù)據(jù)處理工具和框架。

大數(shù)據(jù)分析平臺自下而上一般分為三個部分,分別為:數(shù)據(jù)層、大數(shù)據(jù)采集與存儲、數(shù)據(jù)分析及展示。

(1)數(shù)據(jù)層,針對不同系統(tǒng)進(jìn)行分析,制定系統(tǒng)數(shù)據(jù)采集范圍與目標(biāo),收集各個業(yè)務(wù)系統(tǒng)產(chǎn)生的各類數(shù)據(jù),將各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合,為大數(shù)據(jù)的分析提供支撐。

(2)大數(shù)據(jù)采集與存儲旨在為各類異構(gòu)數(shù)據(jù)研制適配接口,與其他各系統(tǒng)對接,并為數(shù)據(jù)提供適配、轉(zhuǎn)換、存儲等基本管理功能,基本步驟包括:

數(shù)據(jù)抽取:針對大數(shù)據(jù)分析平臺需要采集的各類數(shù)據(jù),分別有針對性地研制適配接口。對于已有的信息系統(tǒng),研發(fā)對應(yīng)的接口模塊與各信息系統(tǒng)對接,不能實現(xiàn)數(shù)據(jù)共享接口的系統(tǒng)通過ETL工具進(jìn)行數(shù)據(jù)采集,支持多種類型數(shù)據(jù)庫,按照相應(yīng)規(guī)范對數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換,從而實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲管理。

數(shù)據(jù)預(yù)處理:為使大數(shù)據(jù)分析平臺能更方便對數(shù)據(jù)進(jìn)行處理,同時為了使得數(shù)據(jù)的存儲機(jī)制擴(kuò)展性、容錯性更好,需要把數(shù)據(jù)按照相應(yīng)關(guān)聯(lián)性進(jìn)行組合,并將數(shù)據(jù)轉(zhuǎn)化為文本格式,作為文件存儲下來。

數(shù)據(jù)存儲:為了提升數(shù)據(jù)存儲的擴(kuò)展性和容錯性,采用主流的大數(shù)據(jù)框架對各類數(shù)據(jù)統(tǒng)一進(jìn)行文本化存儲,數(shù)據(jù)按相應(yīng)規(guī)則存儲,實現(xiàn)每日保存一套完整數(shù)據(jù)文件集,形成數(shù)據(jù)倉庫。

(3)數(shù)據(jù)分析和展示是核心業(yè)務(wù)層,通過數(shù)據(jù)報表工具,根據(jù)需求制定多樣的,針對性的數(shù)據(jù)報表。針對存儲的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理、算法運(yùn)行、結(jié)果轉(zhuǎn)換操作,將結(jié)果保存為報表文件,每日形成的報表文件集。報表展現(xiàn)系統(tǒng)將生成的報表文件以可視化方式進(jìn)行展現(xiàn)。

系統(tǒng)架構(gòu)應(yīng)高安全性、易擴(kuò)展性,能夠支持各類主流開發(fā)語言,并提供豐富的接口。同時能夠支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲和應(yīng)用。通過建立物聯(lián)網(wǎng)應(yīng)用,實現(xiàn)對物品、人員、安全等各方面管理的強(qiáng)大支撐,提升管理質(zhì)量的同時積累大量管理數(shù)據(jù)和行為數(shù)據(jù)。

大數(shù)據(jù)分析平臺是企業(yè)一體化的大數(shù)據(jù)分析與應(yīng)用平臺,為企業(yè)提供大數(shù)據(jù)分析與決策。

建設(shè)大數(shù)據(jù)分析平臺以安全、可擴(kuò)展、靈活性為原則,把某些有業(yè)務(wù)聯(lián)系的單圖組織成一個數(shù)據(jù)可視化的模塊,用來反映業(yè)務(wù)各方面的數(shù)據(jù)情況,它從多種數(shù)據(jù)源獲取數(shù)據(jù),實現(xiàn)支持多維度篩選的交互式界面。

大數(shù)據(jù)分析平臺由哪些部分組成.中琛魔方大數(shù)據(jù)分析平臺表示大數(shù)據(jù)分析處理平臺(zcmorefun.com)就是整合當(dāng)前主流的各種具有不同側(cè)重點的大數(shù)據(jù)處理分析框架和工具,實現(xiàn)對數(shù)據(jù)的挖掘和分析。一個大數(shù)據(jù)分析平臺涉及到的組件眾多,如何將其有機(jī)地結(jié)合起來,完成海量數(shù)據(jù)的挖掘是一項復(fù)雜的工作。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 接口
    +關(guān)注

    關(guān)注

    33

    文章

    8644

    瀏覽量

    151393
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8896

    瀏覽量

    137521
收藏 人收藏

    評論

    相關(guān)推薦

    水庫水位監(jiān)測系統(tǒng)的創(chuàng)新特點:可視化界面與多平臺支持

    水庫水位監(jiān)測系統(tǒng)的創(chuàng)新,不僅僅體現(xiàn)在技術(shù)的升級上,更重要的是,它為水資源管理提供了更加科學(xué)、便捷和高效的手段??梢暬?b class='flag-5'>界面讓數(shù)據(jù)展示更加直觀,支持平臺接入則讓監(jiān)控變得無處不在,智能報警
    的頭像 發(fā)表于 01-07 10:01 ?30次閱讀
    水庫水位監(jiān)測系統(tǒng)的創(chuàng)新特點:可視化<b class='flag-5'>界面</b>與多<b class='flag-5'>平臺</b><b class='flag-5'>支持</b>

    raid 在大數(shù)據(jù)分析中的應(yīng)用

    RAID(Redundant Array of Independent Disks,獨立磁盤冗余陣列)在大數(shù)據(jù)分析中的應(yīng)用主要體現(xiàn)在提高存儲系統(tǒng)的性能、可靠性和容量上。以下是RAID在大數(shù)據(jù)分析
    的頭像 發(fā)表于 11-12 09:44 ?265次閱讀

    云計算在大數(shù)據(jù)分析中的應(yīng)用

    和處理大規(guī)模的數(shù)據(jù)集。通過云計算平臺,用戶可以快速構(gòu)建數(shù)據(jù)倉庫,將海量數(shù)據(jù)進(jìn)行存儲、管理和分析。這種能力使得企業(yè)能夠高效地處理PB級別的
    的頭像 發(fā)表于 10-24 09:18 ?508次閱讀

    IP 地址大數(shù)據(jù)分析如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?

    一、大數(shù)據(jù)分析在網(wǎng)絡(luò)優(yōu)化中的作用 1.流量分析 大數(shù)據(jù)分析可以對網(wǎng)絡(luò)中的流量進(jìn)行實時監(jiān)測和分析,了解網(wǎng)絡(luò)的使用情況和流量趨勢。通過對流量數(shù)據(jù)
    的頭像 發(fā)表于 10-09 15:32 ?256次閱讀
    IP 地址<b class='flag-5'>大數(shù)據(jù)分析</b>如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?

    焊接專機(jī)是部分組成

    焊接專機(jī)在現(xiàn)代制造業(yè)中扮演著至關(guān)重要的角色,特別是在汽車、建筑和重工業(yè)等領(lǐng)域。了解焊接專機(jī)的組成部分,有助于更好地掌握其工作原理與應(yīng)用。那么,焊接專機(jī)是部分組成的?本文將為您詳細(xì)介紹焊接專機(jī)
    的頭像 發(fā)表于 09-29 17:33 ?236次閱讀
    焊接專機(jī)是<b class='flag-5'>由</b>幾<b class='flag-5'>部分組成</b>的

    負(fù)載均衡服務(wù)部分組成?分別是什么

    均衡服務(wù)通常部分組成,分別是客戶端、負(fù)載均衡器、后端服務(wù)器、負(fù)載均衡算法、監(jiān)控和健康檢查及會話保持。這六者互相協(xié)同工作,實現(xiàn)了流量的有效分發(fā)和系統(tǒng)的高可用性。這種結(jié)構(gòu)不僅提高了系統(tǒng)的容錯能力,還能夠根據(jù)實際需求靈活調(diào)整資源配
    的頭像 發(fā)表于 09-18 11:16 ?284次閱讀

    什么是labview?labview編寫的程序哪幾部分組成?

    通常以下幾個部分組成: 前面板(Front Panel) :這是用戶界面部分,用于顯示和控制程序。用戶可以通過前面板輸入數(shù)據(jù)、啟動程序、查看結(jié)果等
    的頭像 發(fā)表于 09-04 16:04 ?916次閱讀

    集成運(yùn)算放大器哪些部分組成?

    、集成運(yùn)算放大器的組成 集成運(yùn)算放大器主要由以下幾個部分組成: 輸入級:輸入級是運(yùn)算放大器的前端部分,通常采用差分放大器結(jié)構(gòu)。差分放大器兩個晶體管或MOSFET
    的頭像 發(fā)表于 08-01 11:28 ?1125次閱讀

    大數(shù)據(jù)分析平臺網(wǎng)站

    大數(shù)據(jù)分析平臺是一種用于處理和分析大規(guī)模數(shù)據(jù)集的系統(tǒng),旨在從海量數(shù)據(jù)中提取有價值的信息和洞察。以下是大數(shù)
    的頭像 發(fā)表于 06-28 15:46 ?692次閱讀

    簡述cnc機(jī)床哪幾部分組成

    加工、模具制造、航空航天、汽車制造等領(lǐng)域。CNC機(jī)床主要由以下幾個部分組成: 床身:床身是CNC機(jī)床的基礎(chǔ)部分,它支撐著整個機(jī)床的重量和運(yùn)動部件。床身通常高強(qiáng)度的鑄鐵或鋼材制成,具有足夠的剛性和穩(wěn)定性。床身的設(shè)計和制造質(zhì)量直接
    的頭像 發(fā)表于 06-14 16:59 ?1757次閱讀

    數(shù)控銑床哪些部分組成的?各部分有什么關(guān)系

    數(shù)控銑床是一種高度自動化的機(jī)床,廣泛應(yīng)用于機(jī)械加工、模具制造、航空航天等領(lǐng)域。它多個部分組成,各部分之間相互協(xié)作,共同完成加工任務(wù)。以下是對數(shù)控銑床各部分的詳細(xì)介紹: 床身:床身是數(shù)
    的頭像 發(fā)表于 06-07 10:39 ?2297次閱讀

    求助,關(guān)于AD采集到的數(shù)據(jù)分析問題

    MATLAB中畫圖后能看到幾個周期的圖像 數(shù)據(jù)特征:在matlab中能看到圖像是部分構(gòu)成,一部分是基波及其n次諧波,即存在上升沿,過沖,另一
    發(fā)表于 05-09 07:40

    廣告投放公司運(yùn)用大數(shù)據(jù)分析實現(xiàn)精準(zhǔn)投放

    廣告投放公司運(yùn)用大數(shù)據(jù)分析,實現(xiàn)精準(zhǔn)投放 隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,廣告投放行業(yè)正經(jīng)歷著一場深刻的變革。傳統(tǒng)的廣告投放方式已經(jīng)難以滿足市場需求,而大數(shù)據(jù)分析則為廣告投放帶來了精準(zhǔn)、高效
    的頭像 發(fā)表于 04-11 11:23 ?987次閱讀

    Hadoop是什么?其核心兩大部分組成,分別是什么?

    了分布存儲和計算的方式,能夠快速有效地處理大量數(shù)據(jù),并具備良好的擴(kuò)展性和容錯性。 Hadoop的核心兩大部分組成,分別是Hadoop分布
    的頭像 發(fā)表于 02-05 10:52 ?1917次閱讀

    灌區(qū)信息化系統(tǒng)介紹(大數(shù)據(jù)分析為農(nóng)業(yè)決策提供支持

    智慧灌區(qū)平臺數(shù)據(jù)監(jiān)測系統(tǒng)、設(shè)備控制系統(tǒng)和決策支持系統(tǒng)三部分組成。數(shù)據(jù)監(jiān)測系統(tǒng)集成了水位計、流量
    的頭像 發(fā)表于 01-23 10:46 ?863次閱讀
    灌區(qū)信息化系統(tǒng)介紹(<b class='flag-5'>大數(shù)據(jù)分析</b>為農(nóng)業(yè)決策提供<b class='flag-5'>支持</b>)