數(shù)據(jù)采集入門常見的數(shù)據(jù)類型

作者 | Brian E. Bolton

收集關(guān)鍵數(shù)據(jù)是一項(xiàng)挑戰(zhàn)，但制造企業(yè)可以通過(guò)一些有效的方法應(yīng)對(duì)這些挑戰(zhàn)并獲得收益。

制造企業(yè)正在積極開展項(xiàng)目?jī)?yōu)化以實(shí)現(xiàn)流程自動(dòng)化，高效地收集和記錄數(shù)據(jù)，并以關(guān)鍵績(jī)效指標(biāo)（KPI）或衡量標(biāo)準(zhǔn)的形式報(bào)告結(jié)果，從而為其業(yè)務(wù)帶來(lái)重要的價(jià)值提升。然而，在這一過(guò)程中，他們遇到了許多收集和存儲(chǔ)數(shù)據(jù)的方法，并不得不從眾多軟件和硬件供應(yīng)商中做出選擇。

每個(gè)第三方供應(yīng)商都有各自專注的特定應(yīng)用領(lǐng)域，使其提供的服務(wù)對(duì)需要的公司更具吸引力。畢竟，從鍋爐中收集系統(tǒng)關(guān)鍵數(shù)據(jù)與從生產(chǎn)輪胎的過(guò)程中收集數(shù)據(jù)大不相同。

從多個(gè)第三方供應(yīng)商的數(shù)據(jù)收集系統(tǒng)中選擇，也給制造商帶來(lái)了挑戰(zhàn)。工作人員必須處理多個(gè)歷史數(shù)據(jù)庫(kù)和多個(gè)程序，才能訪問公司數(shù)據(jù)并進(jìn)行分析和報(bào)告。

要克服這些數(shù)據(jù)采集方面的挑戰(zhàn)，必須對(duì)各種數(shù)據(jù)源、類型和格式進(jìn)行審查。同樣重要的是，研究最佳實(shí)踐以采集系統(tǒng)的關(guān)鍵數(shù)據(jù)并將其存儲(chǔ)到一個(gè)中心位置，以便于日后訪問。

01

來(lái)自資產(chǎn)或元件的數(shù)據(jù)源

數(shù)據(jù)是在過(guò)程的不同位置和來(lái)源生成的。這些數(shù)據(jù)表明設(shè)備和過(guò)程目前正在發(fā)生的事情。來(lái)自資產(chǎn)或原件的數(shù)據(jù)源，通常通過(guò)可編程邏輯控制器（PLC）、監(jiān)控和數(shù)據(jù)采集（SCADA）系統(tǒng)、分布式控制系統(tǒng)（DCS）、關(guān)系數(shù)據(jù)庫(kù)、實(shí)驗(yàn)室信息管理系統(tǒng)（LIMS）甚至手動(dòng)記錄器，以數(shù)字或模擬數(shù)據(jù)的形式呈現(xiàn)。然后將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)或歷史數(shù)據(jù)庫(kù)中。

一個(gè)最佳實(shí)踐是收集所需或期望的系統(tǒng)數(shù)據(jù)，并使用歷史數(shù)據(jù)庫(kù)將其存儲(chǔ)在某個(gè)位置。為了完成這項(xiàng)具有挑戰(zhàn)性的任務(wù)，需要安裝并配置接口節(jié)點(diǎn)。接口節(jié)點(diǎn)通常設(shè)置在數(shù)據(jù)源所在的網(wǎng)絡(luò)上，并利用接口或連接器獲取數(shù)據(jù)并將其寫入歷史數(shù)據(jù)庫(kù)。

現(xiàn)在的大多數(shù)技術(shù)都允許實(shí)時(shí)處理和呈現(xiàn)來(lái)自數(shù)據(jù)源的數(shù)據(jù)。雖然并非在所有情況下都需要實(shí)時(shí)數(shù)據(jù)，但當(dāng)事情開始朝著錯(cuò)誤方向發(fā)展時(shí)，如果可以在資產(chǎn)或元件層以外的地方對(duì)數(shù)據(jù)做出響應(yīng)，就可以減少響應(yīng)時(shí)間。具有通知的實(shí)時(shí)數(shù)據(jù)有助于預(yù)防各種事件，例如：

■當(dāng)儲(chǔ)罐中沒有足夠的空間時(shí)，產(chǎn)品被泵送到儲(chǔ)罐中；

■儲(chǔ)罐中的產(chǎn)品未能冷卻至所需的溫度；

■熱氧化器溫度下降超出許可范圍；

■催化轉(zhuǎn)化器中的熱點(diǎn)檢測(cè)；

■過(guò)程空氣壓力損失。

從一個(gè)數(shù)據(jù)庫(kù)收集、存儲(chǔ)和分析來(lái)自多個(gè)來(lái)源的數(shù)據(jù)，可以使關(guān)鍵數(shù)據(jù)的處理和通信更容易，也更一致。

02

常見的數(shù)據(jù)類型

在決定采集和存儲(chǔ)哪些數(shù)據(jù)時(shí)，重要的是要知道來(lái)自資產(chǎn)或元件的數(shù)據(jù)類型，采集數(shù)據(jù)并將其存儲(chǔ)在數(shù)據(jù)庫(kù)中需要什么，以及是否有任何限制。有許多數(shù)據(jù)類型需要考慮，包括：

■整型–無(wú)分?jǐn)?shù)的數(shù)字?jǐn)?shù)據(jù)類型；

■浮點(diǎn)–帶分?jǐn)?shù)的數(shù)字?jǐn)?shù)據(jù)類型；

■字符–單個(gè)字母、數(shù)字、標(biāo)點(diǎn)符號(hào)、符號(hào)或空格；

■字符串–字符、數(shù)字或符號(hào)的序列–始終作為文本處理；

■布爾值–真值或假值；

■枚舉型–預(yù)定義的唯一值（元素或枚舉器）的小集合，可以是基于文本的或數(shù)字的；

■數(shù)組–按特定順序列出多個(gè)元素，通常為相同類型；

■日期–以YYYY-MM-DD格式顯示的年月日（ISO 8601語(yǔ)法）；

■時(shí)間–以hhss格式表示一天中的時(shí)間、事件發(fā)生后的時(shí)間或事件之間的時(shí)間間隔；

■日期時(shí)間–日期和時(shí)間，格式為YYYY-MM-DD hhss；

■時(shí)間戳–自1970年1月1日午夜（0000 UTC）（Unix時(shí)間）以來(lái)經(jīng)過(guò)的秒數(shù)。

03

不同的數(shù)據(jù)格式

數(shù)據(jù)格式（或文件格式）通常作為數(shù)據(jù)文件存儲(chǔ)在深度存儲(chǔ)系統(tǒng)中，不同的文件格式采用不同的壓縮算法，可為特定用例帶來(lái)好處。例如，數(shù)據(jù)湖中的數(shù)據(jù)存儲(chǔ)方式至關(guān)重要，而格式、分區(qū)和壓縮則是成功的驅(qū)動(dòng)力。

以下是一些常見數(shù)據(jù)文件格式及其不同的特點(diǎn)：

CSV：當(dāng)需要兼容性、電子表格處理和可讀數(shù)據(jù)時(shí)，這類數(shù)據(jù)文件是一個(gè)很好的選擇。缺點(diǎn)是數(shù)據(jù)必須是扁平的。扁平數(shù)據(jù)庫(kù)是一個(gè)基本的列/行數(shù)據(jù)庫(kù)，歷史記錄是相關(guān)的，這意味著數(shù)據(jù)可以基于時(shí)間戳或其它“關(guān)鍵”標(biāo)準(zhǔn)來(lái)自數(shù)據(jù)庫(kù)中的不同位置。

JSON：當(dāng)需要嵌套格式（即與父數(shù)據(jù)集的當(dāng)前行保持同步的特殊數(shù)據(jù)集）時(shí)，JavaScript對(duì)象表示法（JSON）是一種很好的方法，可用于多個(gè)應(yīng)用程序編程接口（API）。不過(guò)，在某些情況下JSON可能比較難讀，尤其是不熟悉結(jié)構(gòu)化查詢語(yǔ)言（SQL）或其他編程語(yǔ)言的人。

Avro：它用于以二進(jìn)制格式存儲(chǔ)行數(shù)據(jù)，使其結(jié)構(gòu)緊湊且高效。它以JSON格式存儲(chǔ)，使其更容易被任何程序讀取和解釋。

Parquet：這是一種柱狀存儲(chǔ)文件格式，與Hive插件配合使用效果更好。它用于有效地存儲(chǔ)大型數(shù)據(jù)集。

文件格式在很大程度上取決于所使用的系統(tǒng)。選擇文件格式時(shí)需要考慮一些重要的因素，例如：數(shù)據(jù)結(jié)構(gòu)、性能、可讀性、壓縮、模式以及兼容性。

04

制定戰(zhàn)略性數(shù)據(jù)采集方法

為了克服數(shù)據(jù)獲取方面的挑戰(zhàn)，制造企業(yè)需要一個(gè)精心規(guī)劃和易于執(zhí)行的解決方案，將數(shù)據(jù)收集、分析和溝通提升到一個(gè)新的層次，同時(shí)獲得更多的投資回報(bào)（ROI）。雖然有許多選項(xiàng)可用于收集、分析和交流關(guān)鍵數(shù)據(jù)，但從單個(gè)位置提取所需的數(shù)據(jù)往往是最容易實(shí)現(xiàn)的。

如果數(shù)據(jù)無(wú)法存儲(chǔ)在中央歷史記錄/數(shù)據(jù)庫(kù)中，則可以使用報(bào)告工具從多個(gè)來(lái)源提取關(guān)鍵數(shù)據(jù)，并在單個(gè)報(bào)告中報(bào)告該數(shù)據(jù)。能根據(jù)事件或?qū)?shù)據(jù)工況做出反應(yīng)，并生成通知/報(bào)告提交給合適的人員，可以幫助企業(yè)節(jié)省寶貴的時(shí)間和成本。

大多數(shù)制造企業(yè)很難做到將所有數(shù)據(jù)帶到同一個(gè)位置，尤其是在資源有限的情況下。處理如此規(guī)模的項(xiàng)目通常需要咨詢具有專業(yè)知識(shí)和工具的第三方合作伙伴，以將此類項(xiàng)目整合在一起。專業(yè)的合作伙伴可以提供數(shù)據(jù)采集系統(tǒng)和軟件的整體視圖，同時(shí)幫助審查供應(yīng)商的各種選項(xiàng)，包括歷史記錄和數(shù)據(jù)分析工具。

了解各種數(shù)據(jù)源、類型和格式并使用最佳實(shí)踐，可以幫助制造商更輕松地訪問和分析中央數(shù)據(jù)存儲(chǔ)庫(kù)中的關(guān)鍵系統(tǒng)數(shù)據(jù)。這樣做有助于企業(yè)更快地實(shí)現(xiàn)預(yù)期的商業(yè)收益，并在競(jìng)爭(zhēng)中保持領(lǐng)先地位。

編輯：黃飛