Netflix如何拓展Jupyter notebook使用場景，以及為支持新使用場景進行的基礎設施建設

編者按：Michelle Ufford（Netflix大數(shù)據(jù)工具負責人）、M Pacer（Netflix工程師、Jupyter核心開發(fā)者）、Matthew Seal（Netflix工程師）、Kyle Kelley（Netflix工程師）介紹了Netflix如何拓展Jupyter notebook使用場景，以及為支持新使用場景進行的基礎設施建設。

Jupyter notebook在數(shù)據(jù)科學家當中快速流行開來，成為編寫快速原型和進行探索性分析的事實標準。在Netflix，我們進一步開疆拓土，重新設想了notebook的形態(tài)、適用人群、用途，并且投入很多資源以實現(xiàn)我們的愿景。

本文將分享我們的動機，我們?yōu)槭裁从X得Jupyter notebook這么有競爭力。本文也將介紹我們的notebook基礎設施的組成部分，同時探索我們在Netflix的一些創(chuàng)新的使用notebook的方式。

如果你比較匆忙，我們建議你直接從使用案例一節(jié)開始閱讀。

動機

數(shù)據(jù)賦能Netflix。數(shù)據(jù)滲入我們的想法，為我們的決策提供信息，并挑戰(zhàn)我們的假設。數(shù)據(jù)為在前所未有的尺度上的試驗和創(chuàng)新提供燃料。數(shù)據(jù)幫助我們發(fā)現(xiàn)美妙的內容并向全世界一億三千萬會員提供個性化的體驗。

實現(xiàn)這一切可不是小事一樁；它需要全面的工程支持和基礎設施支撐。每天有超過一萬億事件寫入攝取信息流的過程，經(jīng)過處理后，再寫入100PB的數(shù)據(jù)倉庫云。同時每天運行150000項數(shù)據(jù)任務，范圍無所不包，從報告分析到機器學習，到推薦算法。為了支撐如此巨大的尺度上的使用案例，我們創(chuàng)建了一個業(yè)界領先的靈活、強大、復雜（必要的復雜性）的數(shù)據(jù)平臺。我們同時創(chuàng)建了補充工具及服務的豐富生態(tài)系統(tǒng)，比如Genie（聯(lián)合任務執(zhí)行服務）和Metacat（聯(lián)合元存儲）。這些工具簡化了復雜度，使其可以支持全公司范圍廣泛的使用需求。

Netflix的數(shù)據(jù)角色

譯者注：上圖羅列了Netflix的數(shù)據(jù)角色，包括商業(yè)分析師、數(shù)據(jù)分析師、量化分析師、算法工程師、分析工程師、數(shù)據(jù)工程師、數(shù)據(jù)科學家、機器學習科學家、研究科學家。

多樣性的數(shù)據(jù)使用者很令人興奮，但它不是沒有代價的：數(shù)據(jù)平臺——以及配套的工具、服務生態(tài)系統(tǒng)——必須支持更多使用案例、語言、訪問模式，等等。為了更好地理解這一問題，考慮3種常見角色：分析工程師、數(shù)據(jù)科學家、數(shù)據(jù)工程師。

不同角色（分析工程師、數(shù)據(jù)科學家、數(shù)據(jù)工程師）可能選擇不同的工具和語言

一般來說，每種角色依賴不同的工具和語言組合。例如，一個數(shù)據(jù)工程師可能在IntelliJ中使用Scala創(chuàng)建一個包含數(shù)萬億音視頻流事件的新的聚合數(shù)據(jù)集。一個分析工程師可能使用SQL和Tableau基于這一聚合創(chuàng)建關于全球音視頻流質量的報告。這份報告可能導致一個數(shù)據(jù)科學家在RStudio下用R編寫一個新的音視頻流壓縮模型。表面上看，這些都是分散的、不存在互補性的工作流程。但是，如果我們深挖一些，我們會發(fā)現(xiàn)每個工作流程中都有一些相通的任務：

數(shù)據(jù)探索—— 發(fā)生在項目早期；可能包括查看樣本數(shù)據(jù)，運行查詢請求以進行統(tǒng)計分析和探索性分析，以及可視化數(shù)據(jù)。

數(shù)據(jù)準備—— 迭代任務；可能包括清理、標準化、轉換、逆歸一化、聚合數(shù)據(jù)；通常是整個項目最花時間的任務。

數(shù)據(jù)校驗—— 重復任務；可能包括查看樣本數(shù)據(jù)，運行查詢請求以進行統(tǒng)計分析、聚合分析，以及可視化數(shù)據(jù)；通常作為數(shù)據(jù)探索、數(shù)據(jù)準備、開發(fā)、部署前、部署后等階段的一部分。

產(chǎn)品化—— 發(fā)生在項目后期；可能包括部署代碼至生產(chǎn)環(huán)境，裝填數(shù)據(jù)集，訓練模型，校驗數(shù)據(jù)，規(guī)劃工作流程。

為了幫助拓展使用者范圍，我們想要讓這些任務盡可能地省力。為了幫助拓展我們的平臺，我們想要最小化需要支持的工具數(shù)量。但是怎么才能做到呢？沒有一個工具可以完成所有這些任務；不僅如此，單個任務經(jīng)常需要多種工具。然而，當我們再加上一層抽象的時候，在這些工具和語言之上涌現(xiàn)出了一種共同模式：運行代碼，探索數(shù)據(jù)，呈現(xiàn)結果。

碰巧有一個開源項目正是為此設計的：Jupyter Notebook

Jupyter Notebook

nteract下的Jupyter notebook，其中使用了Vega和Altair可視化

始于2014年的Jupyter項目的目標是創(chuàng)建一組一致的工具，用于科研、可重現(xiàn)工作流程、計算敘述、數(shù)據(jù)分析。這些工具遷移到業(yè)界的效果很不錯，今天Jupyter notebook已經(jīng)成為數(shù)據(jù)科學家工具箱的必備之物。Jupyter曾被授予2017年度ACM軟件系統(tǒng)獎，該獎授予對技術概念和商業(yè)接受度方面產(chǎn)生了持久影響的軟件系統(tǒng)，歷史上Java、Unix、Web曾獲此獎。

在我們看來，Jupyter notebook極具競爭力，它提供了這些核心功能：

語言無關的內省和執(zhí)行代碼的消息傳遞協(xié)議

描述代碼、代碼輸出、markdown筆記的可編輯文件格式

基于web的用戶界面，以供編寫、運行代碼，以及可視化輸出

Jupyter使用核作為計算引擎，Jupyter協(xié)議提供了與核通訊的標準消息傳遞API。這一協(xié)議使分離內容編寫（用戶界面）和代碼執(zhí)行（核）的可組合架構成為可能。通過將運行時從界面中隔離出去，notebook可以在保持配置執(zhí)行環(huán)境的靈活性的同時，跨多語言。如果存在知道如何基于Jupyter協(xié)議通訊的語言核，notebook就可以通過與核收發(fā)消息來運行代碼。

支撐這一切的是將代碼和結果保存在一起的文件格式。這意味著，無需重新運行代碼，就可以在之后訪問結果。此外，notebook保存了給出上下文的豐富文本。這使notebook成為溝通業(yè)務上下文，文檔化假設，注釋代碼，描述結論等的理想格式。

使用案例

在眾多使用案例中，我們現(xiàn)在最常用的用途有三種：數(shù)據(jù)訪問、notebook模板、計劃notebook。

數(shù)據(jù)訪問

Netflix最早引入notebook是為了支持數(shù)據(jù)科學工作流程。隨著越來越多的數(shù)據(jù)科學家開始使用notebook，我們看到了擴張其工具效應的機會。我們意識到，我們可以利用Jupyter notebook的多功能和架構，拓展其使用范圍為通用的數(shù)據(jù)訪問。我們從2017年第三季度開始認真對待這一想法，將notebook從小眾工具提升為數(shù)據(jù)平臺的一等公民。

從使用者的角度來說，notebook提供了一個交互式地運行代碼、探索輸出、可視化數(shù)據(jù)的易用界面——全都可以通過云端開發(fā)環(huán)境達成。我們同時維護了一個Python庫，加強了對平臺API的訪問。這意味著使用者基本上可以在notebook中編程訪問整個平臺。由于notebook的用途廣泛、功能強大、使用方便，我們發(fā)現(xiàn)notebook在整個數(shù)據(jù)平臺的各種使用者中間自然而然地快速流行開來。

現(xiàn)在，notebook是Netflix內處理數(shù)據(jù)最流行的工具。

notebook模板

隨著我們?yōu)閚otebook擴展平臺支持，我們開始引入新功能以滿足新使用案例的需求。由此涌現(xiàn)出了參數(shù)化notebook。顧名思義，參數(shù)化notebook讓你可以指定代碼中的參數(shù)，并在運行時輸入數(shù)值。這提供了出色的機制，讓使用者可以將notebook定義為可重用的模板。

使用者為這些模板找到的用途出乎意料地多。其中一部分最常見的用途是：

數(shù)據(jù)科學家：以不同的系數(shù)運行試驗，并總結結果

數(shù)據(jù)工程師：作為部署流程的一部分，執(zhí)行一組數(shù)據(jù)質量審計

數(shù)據(jù)分析師：分享預備好的查詢和可視化，讓股東以比Tableau更深入的方式探索數(shù)據(jù)

軟件工程師：每次遇到錯誤，發(fā)送排錯腳本的結果到郵箱

計劃notebook

我們利用notebook比較新穎的一種方式是將其作為計劃工作流程的統(tǒng)一層。

由于每個notebook可以運行任意核，我們可以支持使用者定義的任何執(zhí)行環(huán)境。同時因為notebook描述的是分割為單元的線性執(zhí)行流，我們可以將錯誤映射到具體的單元。這讓使用者可以簡要地描述執(zhí)行和可視化，以后運行時可以精確地報告結果。

這一范式意味著我們可以用notebook處理交互式工作，之后平滑地遷移到計劃重復運行的工作。這對使用者來說非常方便。許多使用者在單本notebook中構造整個工作流程，當他們準備就緒，可以部署的時候，只需復制/粘貼進一些單獨文件以便計劃執(zhí)行。將notebook視作邏輯工作流程，讓我們很容易就可以像其他工作流程一樣做計劃。

我們也可以計劃其他種類的工作。執(zhí)行一項Spark或Presto工作時，插入源代碼至新創(chuàng)建的notebook，然后執(zhí)行。那本notebook便成為不可更改的歷史紀錄，包含所有東西——源代碼、參數(shù)、運行時配置、執(zhí)行日志、錯誤信息，等等。調錯時，這提供了一個探查的快捷入口，因為所有相關的信息都在一處，同時notebook可供運行，以便進行交互式調試。

Notebook基礎設施

在Netflix的規(guī)模上支持這些使用案例需要全面的基礎設施。我們將簡要介紹其中一些項目。

nteract是基于React的Jupyter notebook用戶界面。它提供了一個簡潔直觀的界面，以及一些改進，例如單元內的工具欄，拖放單元，內建的數(shù)據(jù)探索工具。

Papermill是用來支持我們之前提到的參數(shù)化notebook的工具。Papermill讓我們可以并行執(zhí)行使用不同參數(shù)組合的多本notebook。Papermill還可以收集、總結一組notebook中的指標。

Commuter是一個輕量級的查看、分享notebook的服務。它提供了一個兼容Jupyter的內容API，使得讀取本地或遠程（Amazon S3）的notebook一樣方便。它同時提供了一個目錄瀏覽器，以供查找和分享notebook。

Titus是一個容器管理平臺，支持可伸縮、可靠的容器執(zhí)行，同時集成了Amazon AWS服務。Titus是Netflix內部創(chuàng)建的工具，并用于生產(chǎn)環(huán)境（串流、推薦、內容系統(tǒng)）。

我們將在后續(xù)的文章中更深入地探索這些基礎設施?，F(xiàn)在，讓我們重點關注三個基礎組件：存儲、計算、界面。

Netflix的notebook基礎設施

存儲

Netflix數(shù)據(jù)平臺使用Amazon S3和EFS作為云存儲，notebook視為虛擬文件系統(tǒng)。這意味著每個使用者在EFS上有一個家目錄，其中包含了notebook工作區(qū)。這個工作區(qū)中存放了所有用戶創(chuàng)建、上傳的notebook。當使用者交互式地運行notebook時，所有的讀寫活動發(fā)生在工作區(qū)中。[workspace + filename]的組合構成notebook的命名空間，例如/efs/users/kylek/notebooks/MySparkJob.ipynb。這一命名空間用于查看、分享、計劃notebook。這一慣例可以防止名稱沖突，同時從中了解使用者是誰以及notebook在EFS卷中的位置也很容易。

工作區(qū)路徑可以為使用者抽象掉云存儲的復雜性。例如，在列出目錄的時候，只顯示notebook的文件名，如MySparkJob.ipynb。在終端下則可以通過~/notebooks/MySparkJob.ipynb訪問這一文件。

notebook存儲和訪問

當使用者計劃一本notebook時，調度程序會從EFS復制使用者的notebook到S3的共享目錄。S3上的notebook成為調度程序信任的源notebook。調度程序每次運行notebook時，基于源notebook初始化一本新notebook。新notebook是實際執(zhí)行的notebook，并成為這次執(zhí)行的不可更改的記錄，包括代碼、輸出、日志。我們稱之為輸出notebook。

Netflix的工作以協(xié)作為基礎。因此使用者開始分享notebook的URL一點也不讓人吃驚。隨著這一做法的流行，我們經(jīng)常碰到因為多人同時訪問同一notebook而導致的意外覆蓋。使用者希望能以只讀的方式分享活躍的notebook。這導致我們創(chuàng)建了commuter。commuter在幕后提供了Jupyter兼容的/files和/api/contensAPI，以列出目錄內容，查看文件內容，訪問文件元數(shù)據(jù)。這意味著使用者可以安全地查看notebook，無需擔心影響生產(chǎn)環(huán)境的工作或正在運行的notebook。

計算

管理計算資源是處理數(shù)據(jù)最有挑戰(zhàn)性的部分之一。在Netflix尤其如此，因為我們在AWS上部署了一個高伸縮性的容器化架構。數(shù)據(jù)平臺的所有工作運行在容器中——包括查詢、數(shù)據(jù)流、notebook。因此我們很自然地想要抽象掉盡可能多的復雜性。

使用者運行notebook服務時會配備一個容器。我們默認分配的容器資源可以滿足大約87.3%的執(zhí)行模式。資源不夠用的時候，使用者可以通過簡單的界面請求更多資源。

我們同時也通過預先準備好的容器鏡像提供統(tǒng)一的執(zhí)行環(huán)境。鏡像預裝了常用庫和一組默認核。并不是鏡像中的一切都是靜態(tài)的——我們的核會拉取最新版本的Spack以及最新的平臺集群配置。預先準備好的鏡像減少了新建notebook所需的配置時間和麻煩，并且在一般情況下保持了單一的執(zhí)行環(huán)境。

這一切背后的功臣是我們的Docker容器服務Titus。我們進一步在服務中封裝了用戶特定的服務配置和鏡像。鏡像種同時包括用戶的安全組和角色，以及所包含的庫常用的環(huán)境變量。這意味著使用者可以在基礎設施上花更少的時間，在數(shù)據(jù)上花更多的時間。

界面

之前提到了我們的愿景，讓notebook成為處理數(shù)據(jù)的標準工具。但這帶來了一項有意思的挑戰(zhàn)：單一界面如何支持所有使用者？我們仍然不完全清楚這個問題的答案，但已經(jīng)有了一些想法。

我們需要一個直觀的用戶界面，極簡主義風格的美學，也需要精心斟酌的用戶體驗，使困難的事情容易做到。nteract遵循這一理念，將簡單性和組合性作為核心設計原則。這使得nteract成為我們想要做的工作的理想構件。

我們最常從使用者那里聽到的抱怨之一是缺乏跨語言的原生數(shù)據(jù)可視化，使用Python之外的語言的人特別愛抱怨這一點。nteract的數(shù)據(jù)探索工具提供了語言無關的迅速探索數(shù)據(jù)的方式。之前我們說過，要讓困難的事情容易做到，這是一個很好的例子。

你可以在MyBinder的樣例notebook上直接體驗數(shù)據(jù)探索工具的效果：（注意：加載可能需要花一分鐘）

https://mybinder.org/v2/gh/nteract/examples/master?urlpath=%2Fnteract%2Fedit%2Fpython%2Fhappiness.ipynb

使用nteract的數(shù)據(jù)探索工具可視化世界幸福感報告數(shù)據(jù)集

我們也引入了參數(shù)表示的原生支持，這使得計劃notebook和創(chuàng)建可重用模板更加容易了。

nteract原生支持參數(shù)化notebook

盡管notebook已經(jīng)在Netflix提供了大量價值，其實一切才剛剛開始。我們需要在前端和后端投入更多以提升notebook總的體驗。我們接下來12個月的工作將聚焦在提升可靠性、可見性和協(xié)作性上。上下文環(huán)境對使用者來說是第一位的，因此我們正致力于提升可見性，包括集群狀態(tài)、核狀態(tài)、工作歷史，等等。我們同時致力于自動版本控制，原生應用內計劃，更好地支持可視化Spark的DataFrame，更穩(wěn)定的Scala核。我們將在之后的博客文章中討論這些工作的細節(jié)。

開源項目

Netflix一貫倡導開放源代碼。我們高度評價開源協(xié)作種涌現(xiàn)的活力、開放標準、想法交流。許多我們?yōu)镹etflix數(shù)據(jù)平臺開發(fā)的應用已經(jīng)開源。同時，我們不打算創(chuàng)建一次性的解決方案，或屈從于“非我所創(chuàng)”的心態(tài)。只要有可能，我們利用現(xiàn)有的開源項目，并向其貢獻代碼，例如Spark、Jupyter、pandas。

我們之前描述的基礎設施重度依賴Jupyter項目的生態(tài)系統(tǒng)，但也有一些分歧之處。最主要的是我們選擇了nteract作為Netflix的notebook用戶界面。我們做出這一決定有很多原因，包括對齊我們的技術棧和設計哲學。隨著我們突破notebook可以做什么的限制，我們很可能會創(chuàng)建新工具、庫、服務。這些作為nteract生態(tài)系統(tǒng)組成部分的項目也將開源。

我們認識到對Netflix有意義的東西不一定對所有人有意義。因此我們在設計這些項目的時候考慮了模塊性。這樣，你可以只選用對你的環(huán)境有意義的組件，例如Papermill，而不用投入整個Netflix的notebook生態(tài)系統(tǒng)。

后續(xù)

作為一個平臺團隊，我們的責任是讓Netflix人可以在數(shù)據(jù)上做出令人驚嘆的東西。notebook在Netflix已經(jīng)有了驚人的影響力。隨著我們在這一領域的更多投入，我們很興奮，能看到這一影響的擴大。如果你希望成為我們的一員，可以看看我們的招聘頁面。

呀！感謝你耐心讀完這篇長文。不過本文只是浮光掠影地介紹了我們在notebook上做的工作。在后續(xù)的博客文章中，我們將更深入地探索notebook計劃背后的架構。在這篇文章發(fā)布之前，你可以通過以下途徑了解更多Netflix在數(shù)據(jù)上做什么，怎么做：

Twitter上的NetflixData賬號

YouTube上的Netflix Data頻道

Netflix Research網(wǎng)站：research.netflix.com

同時我們也樂不可支地贊助今年的JupyterCon。我們的工程師將在JupyterCon上做5場演講：

8/22 1:30 PM, How to Build on top of Jupyter’s Protocols, Kyle Kelley

8/23 1:50 PM, Scheduled Notebooks: Manageable and traceable code execution, Matthew Seal

8/23 2:40 PM, Notebooks @ Netflix: From Analytics to Engineering, Michelle Ufford, Kyle Kelley

8/23 5:00 PM, Making beautiful objects with Jupyter, M Pacer

8/24 2:40 PM, Jupyter’s configuration system, M Pacer等

8/25 9AM?—?5PM JupyterCon Community Sprint Day