0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)科學(xué)家與機器學(xué)習(xí)工程師怎么區(qū)分

工程師人生 ? 來源:工程師吳畏 ? 2019-05-18 11:24 ? 次閱讀

十年來,我們一直在談?wù)摂?shù)據(jù)科學(xué)和數(shù)據(jù)科學(xué)家。雖然在怎么才叫“數(shù)據(jù)科學(xué)家”的問題上始終存在著爭議,但如今已有很多大學(xué)、網(wǎng)校和訓(xùn)練營都在提供數(shù)據(jù)科學(xué)課程:碩士學(xué)位、資格證書等等,凡是你能想到的都有。當(dāng)我們只有統(tǒng)計學(xué)的時候,這個世界顯得更加簡單,但簡單并不總是科學(xué)的。而除了世界對數(shù)據(jù)科學(xué)家的需求程度以外,數(shù)據(jù)科學(xué)課程如此多種多樣,其實也說明不了什么。

隨著數(shù)據(jù)科學(xué)領(lǐng)域的發(fā)展,出現(xiàn)了很多難以區(qū)分的專業(yè)。公司用“數(shù)據(jù)科學(xué)家”和“數(shù)據(jù)科學(xué)團隊”來描述各種各樣的角色,包括:

進行專門分析與報告(包括商業(yè)智能和商業(yè)分析)的人

負(fù)責(zé)統(tǒng)計分析和建模(很多情況下會涉及到正式的實驗和測試)的人

越來越多地使用筆記本電腦來開發(fā)原型的機器學(xué)習(xí)建模師

這當(dāng)中并沒有提及DJ·帕提爾(DJ Patil)和杰夫·哈默巴赫(Jeff Hammerbacher)在發(fā)明“數(shù)據(jù)科學(xué)家”這個稱謂時所想到的人——依據(jù)數(shù)據(jù)打造產(chǎn)品的人。

他們所想的這種數(shù)據(jù)科學(xué)家倒是跟機器學(xué)習(xí)建模師最為接近,只不過他們的工作是打造產(chǎn)品——一切以產(chǎn)品為中心,而不是秉持著研究人員的身份。他們的工作通常涉及到數(shù)據(jù)產(chǎn)品的很大一部分。無論具體的職務(wù)為何,數(shù)據(jù)科學(xué)家的角色絕非單純的統(tǒng)計學(xué)家。他們往往擁有理科博士學(xué)位,在處理大量數(shù)據(jù)方面擁有豐富的實踐經(jīng)驗。他們基本上都是優(yōu)秀的程序員,絕非只是精通R或其他某種統(tǒng)計軟件包。他們懂得數(shù)據(jù)獲取、數(shù)據(jù)清洗、原型開發(fā)、原型投產(chǎn)、產(chǎn)品設(shè)計、搭建和管理數(shù)據(jù)設(shè)施等等。在實踐中,他們是典型的硅谷“獨角獸”:稀有,非常難招到。

重點并不是我們設(shè)立了邊界明確的專業(yè)。在一個欣欣向榮的領(lǐng)域里,總會存在著十分廣袤的灰色地帶。真正讓“數(shù)據(jù)科學(xué)”發(fā)揮出了強大威力的,是在人們意識到,數(shù)據(jù)不僅止于精算統(tǒng)計、商業(yè)智能和數(shù)據(jù)倉庫的時候。將數(shù)據(jù)人和其他部門(軟件開發(fā)、營銷、管理、人力資源)隔離開來的筒倉被打破后,數(shù)據(jù)科學(xué)才真正彰顯出了自己的獨特之處。這門學(xué)科的中心思想,便是數(shù)據(jù)適用于萬事萬物。數(shù)據(jù)科學(xué)家的使命就是收集和利用所有的數(shù)據(jù)。所有部門都會牽涉其中。

當(dāng)我們找不著獨角獸的時候,就把他們的能力分解成不同的專業(yè),而數(shù)據(jù)科學(xué)在開始盛行起來后,也遭遇了這一出。突然之間,我們就有了數(shù)據(jù)工程師。數(shù)據(jù)工程師并非以數(shù)學(xué)家或統(tǒng)計學(xué)家為主要身份,但他們都懂?dāng)?shù)學(xué)和統(tǒng)計學(xué);他們的主要身份也不是軟件開發(fā)人員,但他們也懂軟件。數(shù)據(jù)工程師負(fù)責(zé)數(shù)據(jù)堆棧的操作和維護。他們能讓筆記本電腦上運行的原型在生產(chǎn)中可靠運行。他們負(fù)責(zé)弄清楚如何搭建和維護Hadoop或Spark集群,還有整個生態(tài)系統(tǒng)中的很多其他工具:數(shù)據(jù)庫(比如Hbase、Cassandra),流數(shù)據(jù)平臺(Kafka、SparkStreaming、Apache Flink),還有更多的活動部件[princeray1] 。他們知道如何在云端操作,充分利用Amazon Web Services、MicrosoftAzure和Google Compute Engine的性能。

如今,我們已經(jīng)進入了“數(shù)據(jù)科學(xué)”的第二個十年,機器學(xué)習(xí)已大行其道,于是“數(shù)據(jù)工程師”的定義也變得更加明確。2015年,谷歌發(fā)表了一篇后來得到廣泛引用的論文,里面凸顯了一項事實:除了分析模型以外,現(xiàn)實世界中的機器學(xué)習(xí)系統(tǒng)還有很多其他構(gòu)成要素。企業(yè)開始注重打造數(shù)據(jù)產(chǎn)品,并將他們一直以來所采用的技術(shù)運用到生產(chǎn)中。在任何應(yīng)用中,嚴(yán)格屬于“機器學(xué)習(xí)”的部分其實都不算大:總需要有人去維護服務(wù)器設(shè)施,監(jiān)控數(shù)據(jù)收集管道,確保計算資源充足什么的。于是,開始有越來越多的企業(yè)建立機器學(xué)習(xí)工程師隊伍。這其實算不上一個新的專業(yè)領(lǐng)域,隨著機器學(xué)習(xí)(尤其是深度學(xué)習(xí))在數(shù)據(jù)科學(xué)圈子里變得炙手可熱,數(shù)據(jù)工程師必然會有進一步的發(fā)展空間。但是機器學(xué)習(xí)工程師和數(shù)據(jù)工程師之間的區(qū)別到底是什么呢?

從某種程度上來說,機器學(xué)習(xí)工程師所做的正是一直以來軟件工程師(和優(yōu)秀數(shù)據(jù)工程師)的工作。以下是機器學(xué)習(xí)工程師的幾個重要特征:

·他們擁有比常見的數(shù)據(jù)科學(xué)家更厲害的軟件工程技能。機器學(xué)習(xí)工程師能夠和維護產(chǎn)品系統(tǒng)的工程師協(xié)同工作(有時就在同一個團隊)。他們懂得軟件開發(fā)方法、敏捷實踐和現(xiàn)代軟件開發(fā)人員使用的全套工具,從Eclipse和IntelliJ這樣的集成開發(fā)環(huán)境,到持續(xù)部署流水線的各個環(huán)節(jié),他們樣樣精通。

由于他們的焦點放在能讓數(shù)據(jù)產(chǎn)品順利投產(chǎn)上,他們會進行全面思考,甚至將日志記錄、AB測試設(shè)施等環(huán)節(jié)也一并考慮進來。

他們對在生產(chǎn)活動中監(jiān)控數(shù)據(jù)產(chǎn)品所特有的問題有著最新的認(rèn)識。監(jiān)控應(yīng)用程序的辦法有很多,但機器學(xué)習(xí)讓這個任務(wù)的要求上升到了一個新的層面。數(shù)據(jù)管道和模型都有可能過時,需要重新訓(xùn)練,也可能遭到對手采用并不適用于傳統(tǒng)網(wǎng)絡(luò)應(yīng)用的方式大肆攻擊。機器學(xué)習(xí)系統(tǒng)會不會因為提供輸入的數(shù)據(jù)管道被黑而失真?會,所以機器學(xué)習(xí)工程師必須知道可如何探測到這些攻擊。

深度學(xué)習(xí)的興起催生出一種與其相關(guān)但更加專門化的崗位——深度學(xué)習(xí)工程師。我們還看到了“數(shù)據(jù)運維團隊”的出現(xiàn),但在如何定義這類團隊的問題上,(截至目前)人們似乎仍未達成共識。

機器學(xué)習(xí)工程師的工作涉及到軟件架構(gòu)和設(shè)計。他們懂得AB測試這樣的實務(wù)操作,但更重要的是,他們不只是“懂得”AB測試——他們還知道如何進行生產(chǎn)系統(tǒng)的AB測試。他們也懂得日志、安全這一類的問題,而且知道如何讓日志數(shù)據(jù)在數(shù)據(jù)工程師那里派上用場。所有這一切沒有什么新鮮東西:這只是崗位的深化,而不是改變。

機器學(xué)習(xí)和“數(shù)據(jù)科學(xué)”又有什么不同?顯然,數(shù)據(jù)科學(xué)的涵蓋面更廣,但深度學(xué)習(xí)的工作方式卻存在著一些格外不同的地方。人們總是容易把數(shù)據(jù)科學(xué)家想象成挖掘數(shù)據(jù)的人——研究不同的方法和模型,從中找出一個切實可行的。圖基(Tukey)的探索性數(shù)據(jù)分析等經(jīng)典方法為很多數(shù)據(jù)科學(xué)家迄今為止的工作定下了基調(diào):挖掘分析大量數(shù)據(jù),找到其中隱藏的價值。

深度學(xué)習(xí)顯著改變了這種模式。你不再親自處理數(shù)據(jù)。你知道你想要什么樣的結(jié)果,但你讓軟件去發(fā)現(xiàn)它。你想要打造一臺能夠打敗圍棋冠軍、正確標(biāo)記照片或者實現(xiàn)語言翻譯的機器。在機器學(xué)習(xí)的范疇中,這些目標(biāo)不會通過細(xì)致的挖掘來達成。在很多情況下,要挖掘的數(shù)據(jù)量實在太大,維度也太多。(圍棋的維度有多少?語言的維度呢?)機器學(xué)習(xí)能做到的,就是自己建立模型——自己進行數(shù)據(jù)挖掘和調(diào)整。

于是,數(shù)據(jù)科學(xué)家并沒有做多少挖掘的工作。他們的目標(biāo)并非找到數(shù)據(jù)的意義。他們認(rèn)為價值本來就在那里。他們真正的目標(biāo)是打造能夠分析數(shù)據(jù)和生成結(jié)果的機器——創(chuàng)建出一張可以被調(diào)教到能使用輸入數(shù)據(jù)生成可靠結(jié)果的神經(jīng)網(wǎng)絡(luò)。統(tǒng)計學(xué)不再那么重要。事實上,機器學(xué)習(xí)的大神器是“大眾化”,讓機器學(xué)習(xí)系統(tǒng)可由主題專家而不是人工智能博士打造。我們想讓圍棋選手打造出下一代的AlphaGo,而不是研究人員。我們想讓說西班牙語的人打造出能把其他語言自動翻譯成西班牙語的引擎。

這種變化也對機器學(xué)習(xí)工程師產(chǎn)生了相應(yīng)的影響。在機器學(xué)習(xí)的范疇里,模型不是靜態(tài)的。隨著時間的推移,模型可能會逐漸失效。必須有人來監(jiān)控系統(tǒng),在必要時對其重新訓(xùn)練。這項工作對于當(dāng)初打造該系統(tǒng)的開發(fā)人員來說,可能很是無趣,但當(dāng)中的技術(shù)性卻很強。而且,這也需要對監(jiān)控工具有充分了解,因為這些監(jiān)控工具在設(shè)計時并不會考慮到數(shù)據(jù)應(yīng)用的問題。

所有的軟件開發(fā)人員和IT從業(yè)人員都應(yīng)該對安全性這個問題有所了解。據(jù)我們所知,尚未出現(xiàn)過專門針對機器學(xué)習(xí)系統(tǒng)的嚴(yán)重攻擊。但機器學(xué)習(xí)系統(tǒng)將成日漸成為誘人的攻擊目標(biāo)。機器學(xué)習(xí)會帶來怎樣的新型漏洞?有沒有可能在訓(xùn)練系統(tǒng)用的數(shù)據(jù)中“下毒”,或者強迫系統(tǒng)在錯誤的時候接受重新訓(xùn)練?由于機器學(xué)習(xí)系統(tǒng)會自我訓(xùn)練,我們需要想到,全新漏洞類型的出現(xiàn)必不可免。

隨著工具的改進,我們將看到更多的數(shù)據(jù)科學(xué)家有能力轉(zhuǎn)型到生產(chǎn)系統(tǒng)領(lǐng)域。云環(huán)境和軟件即服務(wù)(SaaS)讓數(shù)據(jù)科學(xué)家能夠更簡單地部署數(shù)據(jù)科學(xué)原型,將其投入生產(chǎn),而諸如Clipper、Ground(美國加州大學(xué)伯克利分校RISE實驗室的新項目)這樣的開源工具也正開始涌現(xiàn)。但我們?nèi)詫⑿枰獢?shù)據(jù)工程師和機器學(xué)習(xí)工程師——那些通曉數(shù)據(jù)科學(xué)和機器學(xué)習(xí)知識,知道如何在生產(chǎn)中部署和運行系統(tǒng),能夠為機器學(xué)習(xí)產(chǎn)品提供支持的工程師。他們才是最終極的“人性因素”。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7239

    瀏覽量

    90959
  • 工程師
    +關(guān)注

    關(guān)注

    59

    文章

    1587

    瀏覽量

    69194
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8490

    瀏覽量

    134029
收藏 0人收藏

    評論

    相關(guān)推薦
    熱點推薦

    問,成為硬件工程師需要幾只手?#硬件工程師 #YXC晶振 #揚興科技 #搞笑

    硬件工程師
    揚興科技
    發(fā)布于 :2025年04月25日 17:15:37

    硬件工程師:回答我!#回答我 #硬件工程師 #YXC晶振 #揚興科技

    硬件工程師
    揚興科技
    發(fā)布于 :2025年03月25日 18:46:59

    一招拿捏電子工程師#被AI拿捏了 #電子工程師 #電子電工

    電子工程師
    安泰小課堂
    發(fā)布于 :2025年03月25日 17:30:51

    如何成為嵌入式開發(fā)工程師

    如何成為嵌入式開發(fā)工程師? 成為嵌入式開發(fā)工程師通常需要掌握一系列技能和知識,并且在實踐中不斷積累經(jīng)驗。以下是一些基本步驟和建議: 1. 基礎(chǔ)教育:- 獲取電子工程、計算機科學(xué)或相關(guān)領(lǐng)
    發(fā)表于 02-19 10:39

    人工智能工程師高頻面試題匯總——機器學(xué)習(xí)

    隨著人工智能技術(shù)的突飛猛進,AI工程師成為了眾多求職者夢寐以求的職業(yè)。想要拿下這份工作,面試的時候得展示出你不僅技術(shù)過硬,還得能解決問題。所以,提前準(zhǔn)備一些面試常問的問題,比如機器學(xué)習(xí)的那些算法
    的頭像 發(fā)表于 12-04 17:00 ?1350次閱讀
    人工智能<b class='flag-5'>工程師</b>高頻面試題匯總——<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>篇

    零基礎(chǔ)入門PCB工程師

    各位前輩大家好,零基礎(chǔ)入門PCB工程師,有什么學(xué)習(xí)資料推薦嗎?
    發(fā)表于 11-27 16:54

    螞蟻集團收購邊塞科技,吳翼出任強化學(xué)習(xí)實驗室首席科學(xué)家

    領(lǐng)域的研究與發(fā)展。令人矚目的是,邊塞科技的創(chuàng)始人吳翼已正式加入該實驗室,并擔(dān)任首席科學(xué)家一職。 吳翼在其個人社交平臺上對這一變動進行了回應(yīng)。他表示,自己最近接受了螞蟻集團的邀請,負(fù)責(zé)大模型強化學(xué)習(xí)領(lǐng)域的研究工
    的頭像 發(fā)表于 11-22 11:14 ?1311次閱讀

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    了傳統(tǒng)學(xué)科界限,使得科學(xué)家們能夠從更加全面和深入的角度理解生命的奧秘。同時,AI技術(shù)的引入也催生了一種全新的科學(xué)研究范式,即數(shù)據(jù)驅(qū)動的研究范式,這種范式強調(diào)從大量數(shù)據(jù)中提取有價值的信息
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第一章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得

    人工智能:科學(xué)研究的加速器 第一章清晰地闡述了人工智能作為科學(xué)研究工具的強大功能。通過機器學(xué)習(xí)、深度學(xué)習(xí)等先進技術(shù),AI能夠處理和分析海量
    發(fā)表于 10-14 09:12

    FPGA算法工程師、邏輯工程師、原型驗證工程師有什么區(qū)別?

    ,共同進步。 歡迎加入FPGA技術(shù)微信交流群14群! 交流問題(一) Q:FPGA中的FPGA算法工程師、FPGA邏輯工程師、FPGA原型驗證工程師三者有什么區(qū)別? A:FPGA 算法工程師
    發(fā)表于 09-23 18:26

    天津大學(xué)科學(xué)家突破人類大腦器官成功驅(qū)動機器

    在科技探索的征途上,天津大學(xué)的科研團隊再次邁出了令人矚目的步伐。7月5日,該校宣布了一項革命性的成果——科學(xué)家們利用前沿的干細(xì)胞技術(shù),成功培育出了高度模擬人類大腦的類腦器官,并創(chuàng)新性地將其與機器人系統(tǒng)通過先進的片上腦機接口技術(shù)緊密相連,開啟了人腦與
    的頭像 發(fā)表于 07-08 16:00 ?863次閱讀

    前OpenAI首席科學(xué)家創(chuàng)辦新的AI公司

    消息在業(yè)界引起了廣泛關(guān)注,因為蘇茨克維曾是OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家,并在去年在OpenAI董事會上扮演了重要角色。
    的頭像 發(fā)表于 06-21 10:42 ?722次閱讀

    嵌入式軟件工程師如何提升自己?

    的基礎(chǔ) 嵌入式軟件工程師需要具備扎實的計算機科學(xué)工程知識。因此,在職業(yè)生涯的起步階段,建議將重點放在學(xué)習(xí)基礎(chǔ)知識上,包括數(shù)據(jù)結(jié)構(gòu)、算法、操
    發(fā)表于 06-12 11:20

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品