大數(shù)據(jù)術(shù)語一覽

　　每天數(shù)十億字節(jié)的數(shù)據(jù)收集下，了解大數(shù)據(jù)的復(fù)雜內(nèi)涵非常重要。為了幫助你了解這一領(lǐng)域，我們從最近的大數(shù)據(jù)指南中編輯了一個列表，列出了最重要的相關(guān)術(shù)語和定義。

　　你認(rèn)為我們還應(yīng)該添加哪些術(shù)語？請?jiān)谠u論中告訴我們。

　　A

　　算法：給予AI、神經(jīng)網(wǎng)絡(luò)或其他機(jī)器的一組規(guī)則，以幫助其自己學(xué)習(xí)；分類、聚類、推薦和回歸是四種最常用的算法類型。

　　Apache Flink：一個開源的流數(shù)據(jù)處理框架。用Java和Scala編寫，用作分布式流數(shù)據(jù)流引擎。

　　Apache Hadoop：開源工具，使用MapReduce處理和存儲跨機(jī)器的大型分布式數(shù)據(jù)集。

　　Apache Kafka：一種分布式流式傳輸平臺，通過提高吞吐量、內(nèi)置分區(qū)、復(fù)制、延遲和可靠性來改進(jìn)傳統(tǒng)的消息代理。

　　Apache NiFi：一種開源Java服務(wù)器，可以以可擴(kuò)展、可插拔、開放的方式實(shí)現(xiàn)系統(tǒng)間數(shù)據(jù)流的自動化。NiFi由國家安全局（NSA）開源。

　　Apache Spark：在Apache Hadoop、Mesos或云端運(yùn)行的開源大數(shù)據(jù)處理引擎。

　　人工智能：機(jī)器做出決策、執(zhí)行模擬人類智力和行為任務(wù)的能力。

　　B

　　大數(shù)據(jù)：大量數(shù)據(jù)的通用術(shù)語。大數(shù)據(jù)的數(shù)據(jù)具有高速、多樣化、海量的特征。

　　Blob存儲：一種Azure服務(wù)，將非結(jié)構(gòu)化數(shù)據(jù)存儲在云中作為blob或?qū)ο蟆?/p>

　　商業(yè)智能：可視化和分析商業(yè)數(shù)據(jù)的過程，以便采取可行且明智的決策。

　　C

　　集群：共享特定特征的數(shù)據(jù)子集，也指幾臺機(jī)器共同解決同一問題。

　　約束應(yīng)用協(xié)議（COAP）：有限資源設(shè)備的一種互聯(lián)網(wǎng)應(yīng)用協(xié)議，可以轉(zhuǎn)換成HTTP。

　　D

　　數(shù)據(jù)工程：收集、存儲、處理數(shù)據(jù)，以便數(shù)據(jù)科學(xué)家查詢。

　　數(shù)據(jù)流管理：采集原始設(shè)備數(shù)據(jù)的專門過程，同時管理成千上萬生產(chǎn)者和消費(fèi)者的流量。然后執(zhí)行基本數(shù)據(jù)豐富、流分析、聚合、拆分、模式轉(zhuǎn)換、格式轉(zhuǎn)換等初級步驟，為進(jìn)一步業(yè)務(wù)處理做數(shù)據(jù)準(zhǔn)備。

　　數(shù)據(jù)治理：管理數(shù)據(jù)湖中數(shù)據(jù)的可獲得性、可使用性、完整性和安全性的過程。

　　數(shù)據(jù)整合：組合不同來源數(shù)據(jù)并為用戶提供統(tǒng)一視圖的過程。

　　數(shù)據(jù)湖：一種以原始格式保存原始數(shù)據(jù)的存儲庫。

　　數(shù)據(jù)挖掘：通過檢查和分析大型數(shù)據(jù)庫來生成新信息的做法。

　　數(shù)據(jù)實(shí)現(xiàn)：將變量嚴(yán)格定義為可衡量因素的過程。

　　數(shù)據(jù)準(zhǔn)備：收集、清理、整合數(shù)據(jù)到一個文件或數(shù)據(jù)表中，主要用于分析。

　　數(shù)據(jù)處理：機(jī)器檢索、變換、分析或分類信息的過程。

　　數(shù)據(jù)科學(xué)：探索可重復(fù)的流程和方法，從而從數(shù)據(jù)中獲取知識的領(lǐng)域。

　　數(shù)據(jù)沼澤：沒有適當(dāng)治理的數(shù)據(jù)湖就會變成數(shù)據(jù)沼澤。

　　數(shù)據(jù)驗(yàn)證：檢查數(shù)據(jù)集以確保所有數(shù)據(jù)在處理之前是整潔、正確和有用的。

　　數(shù)據(jù)倉庫：各種來源的大量數(shù)據(jù)，用于幫助公司做出明智的決策。

　　設(shè)備層：依據(jù)所處的環(huán)境和性能特征，來發(fā)送數(shù)據(jù)流的傳感器、執(zhí)行器、智能手機(jī)、網(wǎng)關(guān)和工業(yè)設(shè)備的整個范圍。

　　G

　　GPU加速數(shù)據(jù)庫：攝取流數(shù)據(jù)所需的數(shù)據(jù)庫。

　　圖形分析：組合和可視化一組數(shù)據(jù)中不同數(shù)據(jù)點(diǎn)之間的關(guān)系的方法。

　　H

　　Hadoop：用于處理和存儲大數(shù)據(jù)的編程框架，特別是在分布式計(jì)算環(huán)境中。

　　I

　　攝?。簭娜我鈹?shù)量不同的來源中攝取流數(shù)據(jù)。

　　M

　　MapReduce：一種數(shù)據(jù)處理模型，在Map階段過濾和排序數(shù)據(jù)，然后對該數(shù)據(jù)執(zhí)行功能并在Reduce階段輸出。

　　Munging：將數(shù)據(jù)從原始格式手動轉(zhuǎn)換或映射到便于使用的格式。

　　N

　　正態(tài)分布：代表大量隨機(jī)變量概率的常用圖，隨著數(shù)據(jù)集變大，這些變量接近正態(tài)。也稱為高斯分布或鐘形曲線。

　　規(guī)范化：將數(shù)據(jù)組織到表中的過程，使得數(shù)據(jù)庫的使用結(jié)果始終是明確且按計(jì)劃進(jìn)行的。

　　P

　　解析：將數(shù)據(jù)（如字符串）分割成更小的部分進(jìn)行分析。

　　持久存儲：創(chuàng)建數(shù)據(jù)進(jìn)程結(jié)束后，保存數(shù)據(jù)在一個不變地點(diǎn)（如磁盤）。

　　Python：一種強(qiáng)調(diào)代碼可讀性的通用編程語言，以便程序員使用較少的代碼來表達(dá)概念。

　　R

　　R：一種主要用于數(shù)據(jù)可視化和預(yù)測分析的開源語言。

　　實(shí)時流處理：通過并行使用機(jī)器分析數(shù)據(jù)序列的模型，但功能有所減少。

　　關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）：一種基于共享屬性（稱為關(guān)系）分組的管理、捕獲和分析數(shù)據(jù)的系統(tǒng)。

　　彈性分布式數(shù)據(jù)集：Apache Spark提取數(shù)據(jù)的主要方式，數(shù)據(jù)以一種可容錯方式存儲在多臺機(jī)器上。

　　S

　　碎片：數(shù)據(jù)庫的單獨(dú)分區(qū)。

　　智能數(shù)據(jù)：一種格式化的數(shù)碼信息，可以在發(fā)送到下游分析平臺進(jìn)行進(jìn)一步數(shù)據(jù)整合和分析之前在采集點(diǎn)進(jìn)行操作。

　　流處理：數(shù)據(jù)的實(shí)時處理。數(shù)據(jù)被連續(xù)、并發(fā)和記錄處理。

　　結(jié)構(gòu)化數(shù)據(jù)：具有高度組織的信息。

　　T

　　分類：根據(jù)預(yù)先確定的系統(tǒng)對數(shù)據(jù)進(jìn)行分類，結(jié)果目錄用于提供易于訪問和檢索的概念框架。

　　遙測：遠(yuǎn)程采集有關(guān)對象的信息（例如從汽車、智能手機(jī)、醫(yī)療設(shè)備或物聯(lián)網(wǎng)設(shè)備）。

　　轉(zhuǎn)換：將數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式。

　　U

　　非結(jié)構(gòu)化數(shù)據(jù)：不具有預(yù)定義數(shù)據(jù)模型或未以預(yù)定義方式組織的數(shù)據(jù)。

　　V

　　可視化：分析數(shù)據(jù)并以可讀、圖形格式（如圖表）進(jìn)行表達(dá)的過程。

　　Z

　　區(qū)域：數(shù)據(jù)湖中的特定區(qū)域，服務(wù)于特定目的。