數(shù)據(jù)工程師的角色與責任

很重要的一點，“數(shù)據(jù)工程”正在發(fā)展出新一代，與互聯(lián)網(wǎng)革命一樣，要發(fā)展出新的工具、新的方法，新的套路。也正是這種不斷推陳出新的“新技術(shù)”的出現(xiàn)才使互聯(lián)網(wǎng)以及計算機技術(shù)推動社會的進步和發(fā)展。

當商業(yè)智能工程師的工作逐漸超越了“經(jīng)典”的商業(yè)智能，就開始創(chuàng)造出了新的的學科——數(shù)據(jù)工程師。

而新學科的出現(xiàn)，則意味著要開發(fā)新技能、新的工作方式、新的工具，而這些往往要背棄傳統(tǒng)方法。

數(shù)據(jù)科學與數(shù)據(jù)工程

數(shù)據(jù)科學（Data Science）當下在經(jīng)歷“青春期”，自我肯定和定義自身的階段。

數(shù)據(jù)工程（Data Engineering）比數(shù)據(jù)科學更為年輕些，也正在經(jīng)歷類似的事情。（下統(tǒng)稱DE）

DS 與 DE 相同的部分：codeing， 深入分析，數(shù)據(jù)可視化

但是DE比DS更接近軟件工程（有爭議），DE還需要進行工程建模、基礎設施、框架和服務。

DE還不成熟的理解：可以被視作是商業(yè)智能、數(shù)據(jù)倉庫以及部分軟件工程的超集，同時集成了“大數(shù)據(jù)”分布式系統(tǒng)、擴展Hadoop生態(tài)系統(tǒng)、流處理和大規(guī)模計算的概念。

對于較小的公司，沒有數(shù)據(jù)基礎架構(gòu)團隊，僅是設置和運營公司的數(shù)據(jù)，常用的平臺有Hadoop，Hive，HBase，Spark等。

對于大公司而言，對數(shù)據(jù)基礎架構(gòu)團隊的需求增長，則開始創(chuàng)建正式的角色來管理此類工作，自動化數(shù)據(jù)工程流程，解決更高級別的問題。同時，也出現(xiàn)了更好的自助服務工具，不再僅僅是制作和維護報告、儀表板等簡單的任務。

數(shù)據(jù)倉庫技術(shù)（ETL）的變化

代碼允許任意級別的抽象，允許以熟悉的方式的進行所有邏輯操作，與源代碼一起進行良好的集成，易于版本和寫作。

在過往，ETL工具演變?yōu)閳D形界面，這是數(shù)據(jù)處理歷史上的一個彎路。抽象“數(shù)據(jù)處理”，在計算和存儲上都有一定的復雜性，但解決方案不是將ETL的原語（如聚合、過濾等）變成以“拖放方式”展現(xiàn)，而是更加抽象的級別。

比如，在現(xiàn)代數(shù)據(jù)環(huán)境中所需抽象的一個例子是A/B測試框架中的實驗配置：什么是實驗？什么是相關(guān)的治療方法？應該暴露多少百分比的用戶？每項實驗預計會影響哪些指標？實驗什么時候生效？

我們現(xiàn)在有一個框架，可以接受高級的、精確的，然后執(zhí)行復雜的統(tǒng)計計算，并提供計算結(jié)果。顯然，這個抽象的輸入參數(shù)不是ETL提供的。

所以，對于現(xiàn)代數(shù)據(jù)工程師來說，傳統(tǒng)的ETL工具在很大程度上已經(jīng)過時，因為邏輯無法用代碼表示，這導致工具不能直觀的表達所需的抽象。這迫使數(shù)據(jù)工程師的角色要來重新定義“ETL”，并且建立一套全新的工具、方法和約束等，以及新一代的“數(shù)據(jù)工程師”。

數(shù)據(jù)建模發(fā)生的變化

經(jīng)典、傳統(tǒng)的建模技術(shù)，定義了我們數(shù)據(jù)建模方法，進行數(shù)據(jù)倉庫相關(guān)的分析工作?，F(xiàn)在，存儲和計算比以往任何時候都便宜，隨著分布式數(shù)據(jù)庫的出現(xiàn)，線性擴展等，稀缺資源就是“工程時間”。

數(shù)據(jù)建模技術(shù)發(fā)生的變化：

1、“非規(guī)范化”的進一步發(fā)展：維護Surrogate keys（主鍵）可能會很困難，而且會降低事務表（fact tables）的可讀性。使用自然的、人類可讀的鍵和緯度屬性變得越來越普遍，這減少了分布式數(shù)據(jù)庫鏈接的需求，這個需求是很高昂的。

像ORC，Parquet等序列格式化，或是Vertica等數(shù)據(jù)庫引擎，支持編碼和壓縮，可以解決“非規(guī)范”的大部分性能損失，這些系統(tǒng)已經(jīng)被教導自行規(guī)范數(shù)據(jù)存儲。

2、blob：現(xiàn)在數(shù)據(jù)庫通過本機和函數(shù)對blob的支持越來越多，這將融入到數(shù)據(jù)建模中，開啟新的動作，允許事務表在需要時一次存儲多個。

3、動態(tài)模式：map的出現(xiàn)減少、文檔存儲日益普及，對數(shù)據(jù)庫中blob的支持，于是，在不執(zhí)行DML的情況下，發(fā)展數(shù)據(jù)庫模式變得更容易，采用迭代方法進行存儲更容易，并且無需在開發(fā)之前獲得完全的共識和支持。

4、 系統(tǒng)化快照維度：存儲每個ETL調(diào)度周期的維度的完整副本，通常在不同的表分區(qū)當中。用一種簡單的方法，作為處理緩慢變化的維度（SCD），在編寫ETL和查詢時都很容易掌握。

將維度的屬性反規(guī)范化到事實表中，這方便在事務處理時跟蹤其值，也很容易，且相對便宜。

反觀，復雜的SCD建模技術(shù)并不直觀，降低了可訪問性。

5、一致性：在數(shù)據(jù)環(huán)境中，一致性一直都是非常重要的，但是數(shù)據(jù)倉庫需要快速移動，且有更多的團隊被邀請作這項工作，所以不是很必要，更多情況下是進行權(quán)衡。

可以說，隨著計算周期的商品化，以及更多的人精通數(shù)據(jù)，不需要在倉庫中預先計算和存儲結(jié)果。比如，我們可以有復雜的Spark，該任務只能按需計算復雜分析，而不能安排成為倉庫的一部分。

角色與責任

數(shù)據(jù)倉庫是專門用于查詢和分析的事物數(shù)據(jù)的副本

數(shù)據(jù)倉庫是面向主題的、集成的、時變的和非易失性的數(shù)據(jù)集合，以支持管理層的決策過程

數(shù)據(jù)倉庫與以往一樣重要，數(shù)據(jù)工程師的焦點是數(shù)據(jù)倉庫，負責其構(gòu)建、運營等方方面面，同時還與數(shù)據(jù)科學家、分析師和軟件工程師參與其建設和運營。

數(shù)據(jù)工程團隊通常會在數(shù)據(jù)倉庫中擁有經(jīng)過認證的高質(zhì)量區(qū)域。比如在Airbnb，有“核心”模式，明確定義和測量服務級別協(xié)議（SLA），嚴格遵循命名約定，業(yè)務員數(shù)據(jù)和文檔質(zhì)量最高，相關(guān)的管道代碼遵循一套明確的定義。

通過數(shù)據(jù)對象的標準、最佳實踐和認證過程的定義，這些成為數(shù)據(jù)工程團隊很重要的組成部分，成為“卓越中心”。團隊可以發(fā)展為分享或領(lǐng)導教育計劃，分享核心競爭力，以幫助其他團隊成為數(shù)據(jù)倉庫的更好公民。比如，F(xiàn)acebook有一個數(shù)據(jù)陣營的教育計劃，airbnb在開發(fā)一個類似的數(shù)據(jù)大學的計劃，數(shù)據(jù)工程師領(lǐng)導會議，教會人們?nèi)绾问炀氄莆諗?shù)據(jù)。

數(shù)據(jù)工程師也是數(shù)據(jù)倉庫的“圖書館員”，編目和組織元數(shù)據(jù)，定義一個文件或從倉庫中提取數(shù)據(jù)。在快速發(fā)展、略微混亂的數(shù)據(jù)生態(tài)系統(tǒng)中，元數(shù)據(jù)管理和工具成為現(xiàn)代數(shù)據(jù)平臺的重要組成部分。

性能調(diào)優(yōu)和優(yōu)化

數(shù)據(jù)，在當下比以往任何時候都更具有挑戰(zhàn)性，公司的數(shù)據(jù)基礎設施預算正在不斷增加。這使得數(shù)據(jù)工程師在性能調(diào)優(yōu)和數(shù)據(jù)處理、存儲有劃傷，花費周期越來越合理。在這一領(lǐng)域的預算很少收縮，因此優(yōu)化通常是實現(xiàn)更多的資源，或嘗試線性化資源利用率和成本的指數(shù)增長。

數(shù)據(jù)工程堆棧的復雜性跨度很大，呈爆炸式增長，我們可以假設優(yōu)化這種堆棧和流程的復雜性，具有同樣變化的挑戰(zhàn)程度。我們只需要很少的努力，就可以輕松獲得巨額的成功，所以這適用遞減收益法。

建議：基礎設施與公司一起擴展，并始終保持資源意識。

數(shù)據(jù)集成

數(shù)據(jù)集成是通過數(shù)據(jù)交換整合業(yè)務和系統(tǒng)的實踐，與以往一樣重要，且具有挑戰(zhàn)性。在新的標準方式下，我們希望將服務軟件（如SaaS）生成的數(shù)據(jù)，也帶入到我們的倉庫，以便可以根據(jù)其余數(shù)據(jù)進行分析。Saas通常擁有自己的分析產(chǎn)品，但缺乏公司其他的數(shù)據(jù)，因此需要將其產(chǎn)生的分析數(shù)據(jù)，提取回來。

在這樣的情況，Saas產(chǎn)品重新定義參考數(shù)據(jù)，而沒有集成和共享。沒有人想在兩個不同的系統(tǒng)中，手動維護兩個員工或客戶列表，而且在提取數(shù)據(jù)導進倉庫時，必須進行模糊匹配。

但即使這樣，公司高管沒有真正考慮數(shù)據(jù)集成的挑戰(zhàn)，與Saas提供商簽訂協(xié)議，提供商也低估了集成工作量，以促進他們的銷售，使數(shù)據(jù)工程師陷入大量且混亂的工作中。Saas api通常設計不當，文檔不清晰，而且“敏捷”，也就是說，您可以在不事先通知的情況下，進行更改。

服務

數(shù)據(jù)工程師在更高的抽象層次上運行，在一些情況下，要提供服務和工具來自動化底層的工作類型，底層的含義是可以手動完成的。

1、數(shù)據(jù)提?。鹤ト?shù)據(jù)庫，加載日志，從外部存儲或API獲取數(shù)據(jù)的服務和工具

2、度量計算：用于計算和匯總參與度，增長或細分相關(guān)度量的框架

3、異常檢測：自動化數(shù)據(jù)消耗，提醒人們發(fā)生異常事件或趨勢發(fā)生顯著變化。

4、元數(shù)據(jù)管理：允許生成和使用元數(shù)據(jù)的工具，可以輕松地在數(shù)據(jù)倉庫內(nèi)和周圍查找信息。

5、實驗：具有重要的數(shù)據(jù)工程組件，A/B測試和實驗框架

6、儀表：分析記錄事件和與這些事件相關(guān)的屬性，確保上游捕獲高質(zhì)量數(shù)據(jù)有既得利益。

7、會話：專門用于及時了解一系列操作的管道，允許分析人員了解用戶行為

就像軟件工程師一樣，數(shù)據(jù)工程師應該不斷尋求自動化他們的工作，構(gòu)建抽象參數(shù)，然后做更為復雜的內(nèi)容。雖然自動化的工作流程的性質(zhì)因環(huán)境而異，但自動化他們的需求基本上都是通用的。

技能

1、SQL

2、數(shù)據(jù)建模技術(shù)

3、ETL設計：編寫高效、有彈性、可演化的ETL

4、架構(gòu)預測