現(xiàn)代化機器學(xué)習(xí)工具，有助于數(shù)據(jù)科學(xué)開展更多工程功能

數(shù)據(jù)科學(xué)的發(fā)展日新月異，機器學(xué)習(xí)的角色正從數(shù)據(jù)科學(xué)的混合角色過渡到更多的工程或面相分析的角色，主要是以下的因素促成了這種變化。

1.機器學(xué)習(xí)模型更多地被應(yīng)用到生產(chǎn)系統(tǒng)中，需要數(shù)據(jù)科學(xué)家具有比以前更深入的技術(shù)技能。

2.商業(yè)產(chǎn)品和用戶行為的變化步伐加快，對自動化的需求也增加。

3.還有出于數(shù)據(jù)合規(guī)和監(jiān)管的要求，增加了對數(shù)據(jù)的可追溯性和可解釋性的預(yù)測和決策的需求。

這些變化的因素也導(dǎo)致了數(shù)據(jù)科學(xué)家使用的工具發(fā)生了變化。使得他們更多地利用云，自動化，可解釋性和可重復(fù)過程的方向去發(fā)展。

基于云的機器學(xué)習(xí)。云基礎(chǔ)架構(gòu)和Kubernetes改變了數(shù)據(jù)科學(xué)家進行機器學(xué)習(xí)的方式。從能夠?qū)㈩A(yù)構(gòu)建的解決方案用作Saas應(yīng)用程序，到能夠在Kubernetes上運行完整的機器學(xué)習(xí)堆棧。

AutoML和編排。AutoML簡化了訓(xùn)練模型，提供了一種自動的方法來進行數(shù)據(jù)準(zhǔn)備，特征工程，超參數(shù)優(yōu)化或模型的選擇。

可解釋且可重復(fù)的ML。在過去幾年中，出現(xiàn)了一些庫和工具來幫助理解模型預(yù)測及其背后的權(quán)重并賦予其含義。如whatiftools，Lime，Shap或Manifold之類的工具可以幫助數(shù)據(jù)科學(xué)家來實現(xiàn)這一目標(biāo)。

基于云的機器學(xué)習(xí)

向云和Kubernetes的遷移是時下的主流方向，這推動了機器學(xué)習(xí)工程師對更多DevOps或數(shù)據(jù)操作功能的需求。

深度學(xué)習(xí)的快速發(fā)展推動了機器學(xué)習(xí)的進步，但深度學(xué)習(xí)需要更多的計算資源，它的利用率隨工作負載變化很大，這迫使Tensorflow執(zhí)行程序在Kubernetes上運行來支持更彈性和可擴展的基礎(chǔ)架構(gòu)。

另一個因素是機器學(xué)習(xí)在生產(chǎn)環(huán)境中的重要性日益提高。這種轉(zhuǎn)變又增加了在原型堆棧和生產(chǎn)之間緊密結(jié)合的需求，并借助各種云的平臺，比如AWS SageMaker、Google Cloud ML Engine。這些工具提供了如模型部署和API配置之類的功能，從而簡化了流程將模型推向生產(chǎn)的過程。

AutoML和機器學(xué)習(xí)工作流程

具有生產(chǎn)型機器學(xué)習(xí)系統(tǒng)的重要性的提高反過來加速了從培訓(xùn)到部署的整個機器學(xué)習(xí)價值鏈對自動化的需求。自動化允許更快地迭代和改進模型。

AutoML提供了圍繞模型訓(xùn)練過程的自動化層，可以處理其一些重復(fù)的任務(wù)。它可以處理如超參數(shù)優(yōu)化，功能和模型選擇之類的任務(wù)?，F(xiàn)在，像Tpot或AutoKeras之類的庫，以及大多數(shù)云提供商的機器學(xué)習(xí)即服務(wù)都將AutoML作為其解決方案的一部分。

對自動化的需求也增加了對工具進行編排的不同部分的需求。工作流工具如，Airflow，Kubeflow，MLFlow和MetaFlow是用于幫助實現(xiàn)這一目標(biāo)的一些關(guān)鍵工具。他們負責(zé)將整個機器學(xué)習(xí)過程作為一條流水線來處理，幫助協(xié)調(diào)從數(shù)據(jù)采集到模型服務(wù)的端到端流程。

可解釋且可重復(fù)的ML

合規(guī)和監(jiān)管影響了我們構(gòu)建機器學(xué)習(xí)模型的方式。他們推動了可解釋和可復(fù)制的模型。

在可解釋的方面，已經(jīng)出現(xiàn)了一系列工具，可以幫助數(shù)據(jù)科學(xué)家從其模型中獲得意義。這些工具評估不同的方案，分析變量如何互操作，并提供儀表板以幫助解釋模型預(yù)測。whatiftools，Lime，Shap或Manifold是應(yīng)對這一挑戰(zhàn)的工具。

除了提供可靠的方法來調(diào)試模型的優(yōu)點外，可復(fù)制性是受法規(guī)影響的另一個方面?？傆锌赡苁褂霉ぷ髁鞴ぞ邉?chuàng)建可重復(fù)的機器學(xué)習(xí)管道，但仍出現(xiàn)了一些特定的工具來簡化這個過程。

DVC，Dolt，Weight and Biases（WANDB）和Dags Hub等是一些專門的工具，使構(gòu)建模型，可重復(fù)的方式更簡單。DVC負責(zé)模型和數(shù)據(jù)集的版本控制，而Dolt嚴(yán)格限于數(shù)據(jù)集本身。WANDB和Dags Hub則專注于跟蹤模型構(gòu)建/訓(xùn)練的權(quán)重和結(jié)果。

總結(jié)

機器學(xué)習(xí)工具，已經(jīng)不僅僅局限于利用一些預(yù)測庫和Jupyter筆記本?，F(xiàn)在，進行數(shù)據(jù)科學(xué)需要掌握更廣泛的工具集，其中包括云，工作流工具，解釋和版本控制工具。這些增加的現(xiàn)代化工具應(yīng)有助于數(shù)據(jù)科學(xué)開展更多的工程或業(yè)務(wù)功能。