面向工程師和科學(xué)家的大數(shù)據(jù)

使用大數(shù)據(jù)正迅速成為科學(xué)發(fā)現(xiàn)和工程過(guò)程中的關(guān)鍵步驟。隨著智能傳感器和物聯(lián)網(wǎng) （IoT） 等技術(shù)能夠從科學(xué)儀器、制造系統(tǒng)、聯(lián)網(wǎng)汽車和飛機(jī)中收集大量詳細(xì)數(shù)據(jù)，這種情況正在發(fā)生。

這些數(shù)據(jù)具有重要價(jià)值，因?yàn)樗梢燥@示重要的物理現(xiàn)象或提供有關(guān)系統(tǒng)運(yùn)行環(huán)境、效率和健康狀況的信息。借助適當(dāng)?shù)墓ぞ吆图夹g(shù)，這些數(shù)據(jù)可用于進(jìn)行快速的科學(xué)發(fā)現(xiàn)，并在您的產(chǎn)品、服務(wù)和制造過(guò)程中開發(fā)和整合更多智能。這可以使您的公司以性能更好的產(chǎn)品或服務(wù)脫穎而出，并有助于符合法規(guī)要求（例如滿足發(fā)動(dòng)機(jī)燃油效率標(biāo)準(zhǔn)或提供輔助駕駛能力）。

獲得訪問(wèn)權(quán)和使用數(shù)據(jù)可能聽(tīng)起來(lái)很有趣，但也很艱巨。由于這些數(shù)據(jù)的價(jià)值和大小，它通常在大型文件共享、數(shù)據(jù)庫(kù)或 Hadoop 或 Spark 等大數(shù)據(jù)系統(tǒng)中存儲(chǔ)和管理。不久前，為了將機(jī)器學(xué)習(xí)等先進(jìn)技術(shù)應(yīng)用于大量數(shù)據(jù)，具有 IT 系統(tǒng)經(jīng)驗(yàn)的計(jì)算機(jī)科學(xué)家將與工程和科學(xué)專家一起工作。該團(tuán)隊(duì)將共同支持一個(gè)工作流程，其中包括：

訪問(wèn)文件、數(shù)據(jù)庫(kù)或 Hadoop 分布式文件系統(tǒng) （HDFS） 中的大數(shù)據(jù)

在專門的計(jì)算集群上探索、處理和分析這些數(shù)據(jù)

創(chuàng)建用于嵌入式系統(tǒng)、業(yè)務(wù)應(yīng)用程序和其他服務(wù)的算法

如今，MATLAB等軟件分析和建模工具已通過(guò)處理大數(shù)據(jù)的新功能得到增強(qiáng)。這使具有領(lǐng)域知識(shí)和經(jīng)驗(yàn)的工程師和科學(xué)家能夠利用這些數(shù)據(jù)做出設(shè)計(jì)和業(yè)務(wù)決策。然后，工程師和科學(xué)家無(wú)論身在何處都可以方便地訪問(wèn)這些數(shù)據(jù)，并使用熟悉的語(yǔ)法和功能輕松使用它。

讓我們看一個(gè)工程師如何使用大數(shù)據(jù)的實(shí)際示例。貝克休斯的工程師為石油和天然氣運(yùn)營(yíng)商提供服務(wù)的供應(yīng)商，需要開發(fā)一種預(yù)測(cè)性維護(hù)系統(tǒng)，以降低泵設(shè)備成本和石油和天然氣開采卡車的停機(jī)時(shí)間。如果活動(dòng)現(xiàn)場(chǎng)的卡車出現(xiàn)泵故障，貝克休斯必須立即更換卡車以確保連續(xù)運(yùn)行。向每個(gè)站點(diǎn)發(fā)送備用卡車會(huì)使公司損失數(shù)千萬(wàn)美元的收入，如果它們?cè)诹硪粋€(gè)站點(diǎn)積極使用，這些收入可能會(huì)在其他地方產(chǎn)生。無(wú)法準(zhǔn)確預(yù)測(cè)閥門和泵何時(shí)需要維護(hù)是其他成本的基礎(chǔ)。過(guò)于頻繁的維護(hù)會(huì)浪費(fèi)精力，并導(dǎo)致零件在仍然可用時(shí)被更換，而過(guò)于不頻繁的維護(hù)可能會(huì)損壞泵而無(wú)法修復(fù)。

從石油和天然氣開采卡車上收集了數(shù) TB 的數(shù)據(jù)，這些數(shù)據(jù)用于開發(fā)一個(gè)應(yīng)用程序，該應(yīng)用程序可以預(yù)測(cè)設(shè)備何時(shí)需要維護(hù)或更換。MATLAB 為 Baker Hughes 的工程師提供了開發(fā)預(yù)測(cè)模型和將多種數(shù)據(jù)（包括來(lái)自專有文件格式的傳感器數(shù)據(jù)）合并到一個(gè)分析應(yīng)用程序中所需的功能。

訪問(wèn)大量數(shù)據(jù)

處理大數(shù)據(jù)的第一個(gè)挑戰(zhàn)是確定如何訪問(wèn)大型數(shù)據(jù)集，因?yàn)樗鼈冇卸喾N不同的形式并存儲(chǔ)在各種類型的系統(tǒng)中。

文件

許多大型工程和科學(xué)數(shù)據(jù)集由大量中小型文件組成，盡管文件變得越來(lái)越大，并且無(wú)法放入單臺(tái)計(jì)算機(jī)的內(nèi)存中。這些文件通常位于共享驅(qū)動(dòng)器上的一個(gè)或多個(gè)目錄中，可能包含分隔文本、電子表格、圖像、視頻和各種專有格式。

數(shù)據(jù)庫(kù)

有多種數(shù)據(jù)庫(kù)類型可用于存儲(chǔ)和管理大量數(shù)據(jù)：

關(guān)系型 （SQL）：廣泛用于業(yè)務(wù)應(yīng)用程序，在 IT 開發(fā)人員中很受歡迎。

數(shù)據(jù)倉(cāng)庫(kù)：基于關(guān)系 （SQL） 數(shù)據(jù)庫(kù)，存儲(chǔ)關(guān)鍵業(yè)務(wù)數(shù)據(jù)，并為關(guān)鍵業(yè)務(wù)應(yīng)用程序提供分析能力和快速訪問(wèn)。

NoSQL：針對(duì)不適合關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行了優(yōu)化。

數(shù)據(jù)歷史學(xué)家：針對(duì)通常從工業(yè)設(shè)備收集的基于時(shí)間的生產(chǎn)和過(guò)程數(shù)據(jù)進(jìn)行了優(yōu)化。

物聯(lián)網(wǎng)數(shù)據(jù)聚合器：通常包括基于云的服務(wù)，用于聚合來(lái)自連接的傳感器和設(shè)備的時(shí)間序列數(shù)據(jù)。這些服務(wù)通常通過(guò) Web 服務(wù)調(diào)用來(lái)訪問(wèn)。

Hadoop

Hadoop是一種基于分布式計(jì)算和存儲(chǔ)原理的大數(shù)據(jù)集存儲(chǔ)和處理系統(tǒng)。它由在計(jì)算服務(wù)器集群上共存的兩個(gè)主要子系統(tǒng)組成：

HDFS：一種大型、抗故障的文件系統(tǒng)，稱為 Hadoop 分布式文件系統(tǒng)。

YARN：管理在 Hadoop 上運(yùn)行的應(yīng)用程序，包括批處理框架，例如 MapReduce 和 Spark，以及 SQL 接口，例如 Hive 和 Impala。

為了有效地利用大數(shù)據(jù)的優(yōu)勢(shì)，工程師和科學(xué)家需要一個(gè)可擴(kuò)展的工具，例如 MATLAB，以提供對(duì)用于存儲(chǔ)和管理數(shù)據(jù)的各種系統(tǒng)和格式的訪問(wèn)。這在可能使用不止一種類型的系統(tǒng)和格式的情況下尤其重要。存儲(chǔ)在共享驅(qū)動(dòng)器文件中的傳感器或圖像數(shù)據(jù)可能需要與存儲(chǔ)在數(shù)據(jù)庫(kù)中的元數(shù)據(jù)相結(jié)合；就貝克休斯而言，許多不同格式的數(shù)據(jù)必須一起使用，以了解系統(tǒng)的行為并開發(fā)預(yù)測(cè)模型。

處理大數(shù)據(jù)的能力正迅速成為科學(xué)發(fā)現(xiàn)和工程的一個(gè)重要方面。這些數(shù)據(jù)集中包含寶貴的數(shù)據(jù)，提供了區(qū)分您的產(chǎn)品和服務(wù)的方法。作為科學(xué)家或工程師，您擁有使用這些數(shù)據(jù)做出設(shè)計(jì)和業(yè)務(wù)決策的領(lǐng)域知識(shí)和經(jīng)驗(yàn)，但可能需要易于使用的軟件分析和建模工具。使用 MATLAB 等工具可提供可擴(kuò)展性和效率，同時(shí)為您的公司提供在全球市場(chǎng)上的競(jìng)爭(zhēng)優(yōu)勢(shì)。

審核編輯：郭婷