讓我們一起回顧 2018 年 Google 的研究工作！

文 / Jeff Dean，高級研究員，Google AI 團(tuán)隊負(fù)責(zé)人

2018 年對 Google 的研究團(tuán)隊來說是令人興奮的一年，我們在很多方面推動了技術(shù)的發(fā)展，包括基礎(chǔ)計算機(jī)科學(xué)研究成果和出版物。我們的研究成果應(yīng)用于 Google 新興領(lǐng)域（如醫(yī)療保健和機(jī)器人技術(shù)），加上我們對開源軟件的貢獻(xiàn)以及與 Google 產(chǎn)品團(tuán)隊的緊密合作，都旨在提供有用的工具和服務(wù)。下面，我們著重介紹我們在 2018 年的一些努力，以及我們對未來的展望。如需更全面的了解，請參閱2018 年出版物(https://ai.google/research/pubs/?year=2018)

道德原則與 AI

近幾年，我們可以看到 AI 的重大進(jìn)展以及對我們的產(chǎn)品和億萬用戶的日常生活的積極影響。對于身在其中的我們，希望 AI 是造福世界的力量，它的應(yīng)用應(yīng)該合乎道德原則，也應(yīng)該對社會有益。2018年，我們發(fā)布了《Google AI 原則》( Google AI Principles )，提出一系列負(fù)責(zé)任的 AI 實踐，并概述了實施的技術(shù)建議。總之，它們?yōu)槲覀冊u估自己的 AI 發(fā)展提供了一個框架，我們希望其他組織也可以使用這些原則來幫助塑造自己的思維。值得注意的是，由于這一領(lǐng)域的發(fā)展非常迅速，一些原則的最佳實踐，如 “ 避免制造或加強(qiáng)不公平的偏見 ” 或 “ 對人類負(fù)責(zé) ”，也在不斷變化和改進(jìn)。這些研究反過來會促進(jìn)我們產(chǎn)品進(jìn)步，使其具備更多的包容性和更少的偏見，例如我們在Google 翻譯中減少性別偏見的工作，并允許探索和發(fā)布更具包容性的圖像數(shù)據(jù)集和模型，使計算機(jī)視覺能夠適應(yīng)全球文化的多樣性。

此外，這些工作使我們能夠基于機(jī)器學(xué)習(xí)速成課程與更廣泛的研究團(tuán)體分享最佳實踐（https://developers.google.com/machine-learning/crash-course/）。

AI 讓社會更美好

AI 對于許多社會領(lǐng)域的影響的潛力非常明顯。

洪水預(yù)測就是 AI 幫助解決現(xiàn)實世界的問題的實例。通過與 Google 多個部門的合作，這項研究旨在準(zhǔn)確并及時地提供關(guān)于洪水可能范圍以及細(xì)粒度信息，使那些在洪水易發(fā)地區(qū)的人們能夠盡可能地保護(hù)他們生命和財產(chǎn)。

另一示例是我們在地震余震預(yù)測方面的工作，它展示了機(jī)器學(xué)習(xí)模型可以比傳統(tǒng)的基于物理的模型更準(zhǔn)確地預(yù)測余震的位置。更重要的是，由于機(jī)器學(xué)習(xí)模型的設(shè)計是可解釋的，科學(xué)家們對于余震的行為已經(jīng)有了新的發(fā)現(xiàn)，不僅能夠得到更準(zhǔn)確的預(yù)測，而且對余震的理解也達(dá)到了更高的水平。

我們還看到大量的外部研究者，與 Google 的研究人員和工程師合作，使用 TensorFlow 等開源軟件解決廣泛的科學(xué)和社會問題，例如使用卷積神經(jīng)網(wǎng)絡(luò)識別座頭鯨，檢測新的系外行星，識別病變的木薯植物等等。

為了促進(jìn)這一領(lǐng)域的創(chuàng)意活動，我們與 Google.org 合作成立了Google AI for Social Impact Challenge，個人和組織可以從總計 2,500 萬美元的資金中獲得資助，以及 Google 研究科學(xué)家的指導(dǎo)和建議。

輔助技術(shù)

我們的許多研究，都集中在使用機(jī)器學(xué)習(xí)和計算機(jī)科學(xué)來幫助我們的用戶更快速有效地完成任務(wù)。我們通常與不同的產(chǎn)品團(tuán)隊協(xié)作，并將研究成果應(yīng)用于不同的產(chǎn)品特性和設(shè)置中。示例之一就是Google Duplex，一個需要自然語言研究和對話理解、語音識別、文本到語音、用戶理解和有效的UI設(shè)計的系統(tǒng)。這些系統(tǒng)能夠讓用戶可以說 “Can you book me a haircut at 4 PM today? ”，虛擬代理將通過電話代表您進(jìn)行交互，以處理必要的細(xì)節(jié)。

其他的示例如 Gmail 的 Smart Compose 工具，使用預(yù)測模型來提供郵件撰寫的建議，從而使電子郵件撰寫過程更快更容易；以及 Sound Search，一種基于正在播放功能的技術(shù)，能夠讓用戶快速、準(zhǔn)確地搜索到正在播放的歌曲。另外，Android 中的 Smart Linkify 展示了我們?nèi)绾卫迷O(shè)備上的機(jī)器學(xué)習(xí)模型，通過理解您選擇的文本類型使手機(jī)屏幕上顯示的各種文本更有用（例如，知道某些內(nèi)容是地址，從而給我們提供地圖等鏈接的快捷方式）。

我們研究的一個重點是幫助像 Google 智能助理這樣的產(chǎn)品可以支持更多語言，并且可以更好地理解語義相似性，即使使用了非常不同的表達(dá)方式代表相同的概念或想法。

量子計算

量子計算，這是一種新興的計算范式，我們可以利用量子計算來解決經(jīng)典計算機(jī)無法解決的挑戰(zhàn)性問題。近幾年里，我們一直積極致力于這一領(lǐng)域的研究，該領(lǐng)域正在展示至少一個問題上的尖端能力 ( 所謂的量子霸權(quán) )，這將是該領(lǐng)域的一個重大里程碑。

在 2018 年，我們?nèi)〉昧撕芏嗔钊伺d奮的新成果，例如開發(fā)了一種新的72-qubi 的量子計算設(shè)備：Bristlecone，該設(shè)備擴(kuò)大了量子計算機(jī)可解決問題的范圍。

研究科學(xué)家 Marissa Giustina 在 Santa Barbara 的量子 AI 實驗室安裝 Bristlecone 芯片

同時我們發(fā)布了面向量子計算機(jī)的開源編程框架 Cirq，并探索了如何將量子計算機(jī)應(yīng)用于神經(jīng)網(wǎng)絡(luò)。最后，我們把在理解量子處理器性能波動方面的經(jīng)驗和技術(shù)以及關(guān)于量子計算機(jī)作為神經(jīng)網(wǎng)絡(luò)的計算基礎(chǔ)的想法分享給了大家。

2019 年，我們期待在量子計算領(lǐng)域取得更大的成果！

自然語言理解

非常開心，Google 的自然語言研究在 2018 年取得了令人振奮的成果，其中包含了基礎(chǔ)研究和以產(chǎn)品為中心的合作。我們改進(jìn)了在 2017 年提出的Transformer架構(gòu)，并研發(fā)了一個新的并行版本模型，稱為通用變換器，該版本在翻譯和語言推理等自然語言任務(wù)中表現(xiàn)出了強(qiáng)大的優(yōu)勢。

同時，我們還發(fā)布了BERT，這是第一個深度雙向、無監(jiān)督的語言表示模型。BERT在 11 個自然語言任務(wù)上與之前的最先進(jìn)的結(jié)果對比，有了明顯的改進(jìn)?，F(xiàn)在，只利用純文本語料庫就可以進(jìn)行預(yù)訓(xùn)練，然后可以使用遷移學(xué)習(xí)對各種自然語言任務(wù)進(jìn)行微調(diào)。

在挑戰(zhàn)性很強(qiáng)的 GLUE 基準(zhǔn)測試中，BERT 將最優(yōu)結(jié)果提高了 7.6%

除了與各種研究團(tuán)隊合作以實現(xiàn) Smart Compose 和 Duplex（之前討論過）之外，我們還努力使 Google 智能助理能夠更好地處理多語言用例，目標(biāo)是使其能自然地與所有用戶進(jìn)行交流。

感知研究

感知研究一直在為圖像捕獲、壓縮、處理、創(chuàng)造性表達(dá)和增強(qiáng)現(xiàn)實提供更強(qiáng)大的工具，并且解決了計算機(jī)理解圖像、聲音、音樂和視頻這一難題。

在過去的這一年里年，我們的技術(shù)優(yōu)化了 Google Photos 中用戶最關(guān)心的內(nèi)容組織的能力，例如人和寵物。

Google Lens 幫你了解周圍的世界

讓用戶通過 Google Lens 和Google Assistant來了解自然世界，實時回答問題的同時，還能在 Google 圖像中使用 Google Lens 做更多事情。Google AI 使命的一個關(guān)鍵方面是讓其他人能夠從我們的技術(shù)中受益，今年我們在改進(jìn) Google API 的功能和構(gòu)建模塊方面取得了很大的進(jìn)展。示例中包括利用 ML Kit 在 Cloud ML API 和面部相關(guān)設(shè)備構(gòu)建塊中實現(xiàn)視覺和視頻的改進(jìn)以及一些新功能。

2018 年，我們對學(xué)術(shù)研究的貢獻(xiàn)包括基于 3D 場景理解的深度學(xué)習(xí)技術(shù)，例如 stereo magnification。并且我們正在推進(jìn)能更好地理解圖像和視頻的研究，使用戶能夠在 Google 產(chǎn)品中查找，組織，增強(qiáng)和改進(jìn)圖像和視頻，例如照片，YouTube，搜索等。

多模態(tài)感知成為一個越來越重要的研究課題。我們在音頻領(lǐng)域提出了一種無監(jiān)督學(xué)習(xí)方法并應(yīng)用于語義音頻表示，其中對包含表達(dá)性的類人語音合成有明顯改進(jìn)。

我們用Looking to Listen將輸入視頻中的視覺和聽覺線索結(jié)合起來，用來隔離和加強(qiáng)視頻中所需的揚(yáng)聲器聲音。該技術(shù)可以支持一系列應(yīng)用，從語音增強(qiáng)和視頻識別，視頻會議到改進(jìn)的助聽器，尤其是在多人講話的情況下。

在有限的計算平臺上實現(xiàn)感知變得日益重要。我們發(fā)布了MobileNetV2，它將為下一代移動視覺應(yīng)用提供支持。我們的 MobileNets 廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。MorphNet 為學(xué)習(xí)深層網(wǎng)絡(luò)結(jié)構(gòu)提供一種有效的學(xué)習(xí)方法。在計算資源限制的情況下，在圖像和音頻模型上實現(xiàn)全面的性能改進(jìn)。最近的研究也表明，有關(guān)自動生成移動網(wǎng)絡(luò)架構(gòu)，并獲得更高的性能是可能的。

計算攝影

在過去幾年中，質(zhì)量和多功能性的改進(jìn)一直是手機(jī)相機(jī)備受關(guān)注的方面。原因之一是手機(jī)中使用的物理傳感器的改進(jìn)，但最主要的原因是計算攝影這一科學(xué)領(lǐng)域的進(jìn)步。我們發(fā)布了最新研究技術(shù)，并通過與 Google Android 團(tuán)隊和消費硬件團(tuán)隊的緊密合作，將這項研究實施在最新的 Pixel 和 Android 手機(jī)及其他設(shè)備。

2014 年，我們發(fā)布了HDR+技術(shù)，利用該技術(shù)，攝像機(jī)捕捉到一組幀，并在軟件中對齊這些幀，最終將它們與計算軟件合并在一起。最初 HDR+ 的工作是為了使圖片具有比單次曝光更高的動態(tài)范圍。通過捕獲大量的幀，然后對這些幀進(jìn)行計算分析逐漸演變成一種通用的方法，并且在 2018 年使相機(jī)中的許多進(jìn)步得以實現(xiàn)。例如，在 Pixel 2 中開發(fā) Motion Photos，并在 Motion Stills 中實現(xiàn)增強(qiáng)現(xiàn)實模式。

Pixel 2 拍攝的運動照片

Motion Stills 的 AR 模式

2018 年，創(chuàng)造了一種名為Night Sight的新功能，是我們在計算攝影研究方面的主要工作成果之一。讓 Pixel 手機(jī)攝像頭能夠 “在黑暗中看到”，贏得了媒體和用戶的贊譽(yù)。

左：iPhone XS ( 全分辨率 ) 右：Pixel 3 的夜視能力 ( 全分辨率 )

算法和理論

算法觸及了我們所有的產(chǎn)品，從 Google trips 背后的路徑 ( routing ) 算法到 Google cloud 的一致性哈希 ( consistent hashing ) ，它是 Google 系統(tǒng)的支柱。

2018 年，我們在算法和理論方面進(jìn)行研究，其中包含了從理論基礎(chǔ)到應(yīng)用算法，從圖挖掘到隱私保護(hù)計算的廣泛領(lǐng)域。在優(yōu)化方面的工作，涉及從機(jī)器學(xué)習(xí)的持續(xù)優(yōu)化到分布式組合優(yōu)化的各個領(lǐng)域。我們研究的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的隨機(jī)優(yōu)化算法的收斂性的工作 ( 獲得了 ICLR 2018 最佳論文 )，展示了流行的基于梯度的優(yōu)化方法 ( 如 ADAM 的一些變體 ) 存在的問題，為新的基于梯度的優(yōu)化方法提供了堅實的基礎(chǔ)。

ADAM 和 AMSGRAD 在一個簡單的一維凸問題上的性能比較

在分布式優(yōu)化中，我們致力于改善組合優(yōu)化問題中的循環(huán)和通信復(fù)雜性，例如通過循環(huán)壓縮 ( round compression ) 和核心集 ( core-sets ) 解決圖論中的匹配問題，以及亞模最大化 ( submodular maximization ) 和 k 核分解 ( k-core decomposition )。在偏應(yīng)用的方面，我們在用 sketching 解大規(guī)模集合覆蓋，以及在有萬億條邊的圖中做平衡分割 ( balanced partitioning ) 和層級聚類 ( hierarchical clustering ) 等問題上提出了新的算法技巧。我們關(guān)于在線配送服務(wù)的工作獲得了 WWW'18 的最佳論文提名。最后，我們的開源優(yōu)化 OR-tools 平臺在 2018 年 Minizinc 約束編程 ( constraint programming ) 競賽中獲得了 4 枚金牌。

在算法選擇論中，我們提出了新的模型并研究了重建和學(xué)習(xí)混合多項對數(shù)成敗比 ( mixture of multinomial logits )。我們還研究了可通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的函數(shù)類，以及如何使用機(jī)器學(xué)得諭示 ( machine-learned oracles ) 來改進(jìn)經(jīng)典的在線算法。

了解具有強(qiáng)大隱私保障的機(jī)器學(xué)習(xí)技巧對我們 Google 非常重要。在這種背景下，我們開發(fā)了兩種新的方法來分析如何通過迭代和改組 ( shuffling ) 來增強(qiáng)差分隱私 ( differential privacy )。我們還應(yīng)用了差分隱私的技巧設(shè)計對博弈魯棒的激勵察覺學(xué)習(xí) ( incentive-aware learning ) 方法。這種學(xué)習(xí)技術(shù)在在線市場設(shè)計中具有應(yīng)用。我們在市場算法 ( market algorithm ) 領(lǐng)域的新研究還包括幫助廣告客戶測試廣告競價的激勵兼容性 ( incentive compatibility ) 以及優(yōu)化應(yīng)用內(nèi)的廣告刷新。我們還推動了重復(fù)拍賣 ( repeated auction ) 下最先進(jìn)的動態(tài)機(jī)制 ( dynamic mechanism ) 的邊界，并提出了對缺少未來預(yù)期、預(yù)測含噪、以及異質(zhì)買方行為魯棒的動態(tài)拍賣機(jī)制 ( dynamic auction )，并將我們的結(jié)果擴(kuò)展到動態(tài)雙向拍賣 ( dynamic double auction )。最后，在在線優(yōu)化和在線學(xué)習(xí)的背景下，我們提出了新的針對含有流量高峰的隨機(jī)輸入的在線分配算法，以及新的對腐敗數(shù)據(jù) ( corrupted data ) 魯棒的 bandit 算法。

軟件系統(tǒng)

Google 在軟件系統(tǒng)方面的大部分研究依然與構(gòu)建機(jī)器學(xué)習(xí)模型有關(guān)，尤其是與TensorFlow有關(guān)。例如，我們發(fā)表的 TensorFlow 1.0 動態(tài)控制流的設(shè)計和實現(xiàn)。

在一些新研究中，我們使用了一個稱為 Mesh TensorFlow 的系統(tǒng)，讓使用模型并行性來指定大規(guī)模分布式計算變得更加簡單。例如，我們使用 TensorFlow 發(fā)布了TF-Ranking 庫，這是一個專為 Learning-to-Rank 打造的可擴(kuò)展的 TensorFlow 庫。

TF - Ranking庫

我們發(fā)布了一個加速器支持的 NumPy 變體 -JAX，它支持自動將 Python 函數(shù)區(qū)分為任意順序。盡管 JAX 不是 TensorFlow 的一部分，但它利用了一些相同的底層軟件基礎(chǔ)架構(gòu) ( 例如 XLA )，并且它的一些思想和算法可以為 TensorFlow 項目提供幫助。最后，我們繼續(xù)研究機(jī)器學(xué)習(xí)的安全性和隱私性，如 CleverHans 和 TensorFlow Privacy。

對我們來說，將機(jī)器學(xué)習(xí)應(yīng)用于軟件系統(tǒng)也是一個非常重要的研究方向。例如，我們繼續(xù)利用分層模型將計算部署到設(shè)備上，并有助于學(xué)習(xí)內(nèi)存訪問模式。探索如何利用學(xué)習(xí)的索引來替代數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)中的傳統(tǒng)索引結(jié)構(gòu)。正如我們 2018 年寫的那樣，我們認(rèn)為在計算機(jī)系統(tǒng)中使用機(jī)器學(xué)習(xí)方面仍然還是停留在表面問題上，有待進(jìn)一步探索。

在一個 NMT 模型 ( 4 層 ) 中 Hierarchical Planner 的放置

2018 年，感謝 Google Project Zero 團(tuán)隊與外部的合作，我們了解到 Spectre 和 Meltdown，是現(xiàn)代計算機(jī)處理器中嚴(yán)重安全漏洞的新類別。這些漏洞將使計算機(jī)架構(gòu)研究人員相當(dāng)忙碌。在我們繼續(xù)努力模擬 CPU 行為時，我們的編譯器研究團(tuán)隊將測量機(jī)器指令延遲和端口壓力的工具集成到 LLVM 中，從而可以做出更好的編譯決策。

我們的云產(chǎn)品和機(jī)器學(xué)習(xí)模型推理主要取決于為計算，存儲和網(wǎng)絡(luò)提供大規(guī)模、可靠、高效的技術(shù)基礎(chǔ)架構(gòu)的能力。過去一年的一些研究亮點包括 Google 軟件定義網(wǎng)絡(luò) WAN 的發(fā)展，這是一個獨立的聯(lián)合查詢處理平臺，可以在許多存儲系統(tǒng)中對基于不同文件格式存儲的數(shù)據(jù)執(zhí)行 SQL 查詢（BigTable，Spanner， Google Spreadsheets 等）以及我們廣泛使用代碼審查的報告，調(diào)查 Google 代碼審查背后的動機(jī)，當(dāng)前實踐以及開發(fā)人員的滿意度和挑戰(zhàn)。

運行內(nèi)容托管等大型 Web 服務(wù)需要在動態(tài)環(huán)境中實現(xiàn)穩(wěn)定的負(fù)載均衡。我們開發(fā)了一致性哈希方案，對每臺服務(wù)器的最大負(fù)載提供了緊的可證明保證，并將其部署到 Google Cloud Pub / Sub 中?；谖覀冊缙诎姹镜恼撐?，Vimeo 的工程師在 haproxy 中實現(xiàn)此功能并開源，并將其用于 Vimeo 的負(fù)載均衡項目。結(jié)果是戲劇性的：應(yīng)用這些算法思想幫助他們將緩存帶寬減少了近 8 倍，消除了擴(kuò)大應(yīng)用規(guī)模的瓶頸。

AutoML

AutoML，也可以稱為元學(xué)習(xí)（meta-learning），是利用機(jī)器學(xué)習(xí)來部分自動化機(jī)器學(xué)習(xí)的方法。多年來，我們一直致力于在這個領(lǐng)域進(jìn)行研究，接下來，我們要長期做的是開發(fā)一種學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以利用先前已經(jīng)解決的其他問題得出的見解和能力，來學(xué)習(xí)并解決新的問題。

我們對進(jìn)化算法的使用也非常感興趣。在這個領(lǐng)域，我們開展的早期工作主要是使用強(qiáng)化學(xué)習(xí)。例如，2018 年我們展示了如何使用進(jìn)化算法自動發(fā)現(xiàn)最先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)并用于各種視覺任務(wù)。

關(guān)于強(qiáng)化學(xué)習(xí)如何應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索之外的其他問題，我們的探討結(jié)果如下：

• 它可以自動生成圖像變換序列，以提高各種圖像模型的準(zhǔn)確性

• 尋找新的符號優(yōu)化表達(dá)式，比常用的優(yōu)化更新規(guī)則更有效

我們在 AdaNet 上的工作展示了如何使用具有學(xué)習(xí)能力的快速靈活的AutoML 算法。

AdaNet 自適應(yīng)地生成神經(jīng)網(wǎng)絡(luò)的集合。

在每次迭代中，它都度量每個候選者的集成損失，并選擇最佳的一個進(jìn)行下一次迭代

我們的另一個重點是自動發(fā)現(xiàn)計算效率高的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以便它們可以在諸如移動電話或自動駕駛車輛等環(huán)境中運行，這些環(huán)境對計算資源或推理時間有嚴(yán)格的限制。我們發(fā)現(xiàn)，在強(qiáng)化學(xué)習(xí)架構(gòu)搜索的獎勵函數(shù)中將模型的準(zhǔn)確性與其推理計算時間相結(jié)合，可以找到高度準(zhǔn)確的模型，同時滿足特定的性能約束。我們還探索了使用機(jī)器學(xué)習(xí)來自動壓縮機(jī)器學(xué)習(xí)模型以獲得更少的參數(shù)并使用更少的計算資源。

TPU

Tensor Processing Units ( TPU ) 是 Google 開發(fā)的機(jī)器學(xué)習(xí)硬件加速器，一直以來它為支持大規(guī)模的訓(xùn)練和推理提供幫助，并且?guī)椭?Google 在許多方面實現(xiàn)了突破性進(jìn)展，例如前面討論過的BERT，它們還允許世界各地的研究人員能夠基于開放源碼在 Google 的研究基礎(chǔ)上進(jìn)行構(gòu)建，并追求自己的新突破。例如，所有人都可以通過 Colab 在 TPU 上免費調(diào)優(yōu) BERT, TensorFlow Research Cloud 讓成千上萬的研究人員獲益。我們還將 TPU 硬件作為云 TPU 商用。除了在機(jī)器學(xué)習(xí)研究中實現(xiàn)更快的進(jìn)步之外，TPU 還推動了 Google 的核心產(chǎn)品的重大改進(jìn)，包括搜索，YouTube，Gmail，Google 智能助理，Google 翻譯等等。我們期待，無論是 Google 內(nèi)部或著其他地方的機(jī)器學(xué)習(xí)團(tuán)隊，通過 TPU 實現(xiàn)前所未有的計算規(guī)模。

單個 TPU v3 設(shè)備 ( 左 ) 和 TPU v3 Pod 的一部分 ( 右 )

開源軟件和數(shù)據(jù)集

Google為研究和軟件工程社區(qū)做出貢獻(xiàn)的兩種主要方式：發(fā)布開源軟件和創(chuàng)建新的公共數(shù)據(jù)集。在這個領(lǐng)域，我們最大的努力之一是TensorFlow！

TensorFlow 發(fā)布于 2015 年 11 月。至今，已經(jīng)成長為一個非常流行的機(jī)器學(xué)習(xí)計算系統(tǒng)。我們在 2018 年慶祝了 TensorFlow 的 3 歲生日。在此期間，TensorFlow 已經(jīng)擁有超過3,000 萬次的下載量，超過1,700 個貢獻(xiàn)者，總共增加了4.5 萬次提交。

2018 年，TensorFlow 發(fā)布了 8 個主要版本，并增加了一些主要功能，如 eager execution。TensorFlow 生態(tài)系統(tǒng)在 2018 年也有了大幅增長，例如 TensorFlow Lite、TensorFlow.js 和 TensorFlow Probability 的相繼推出。

我們很高興 TensorFlow 擁有大量的 Github 用戶，成為頂級機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架。TensorFlow 團(tuán)隊還致力于更迅速地解決 Github 問題，并為外部貢獻(xiàn)者提供順暢的途徑。根據(jù) Google Scholar 的數(shù)據(jù)，在研究中，我們繼續(xù)在已發(fā)表的論文基礎(chǔ)上為世界上大部分的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)研究提供支持。僅推出一年，全球超過 15 億的設(shè)備支持 TensorFlow Lite。此外，TensorFlow.js 是 JavaScript 的頭號機(jī)器框架; 在推出后的九個月里，它在 Github 上有超過 200 萬的內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）點擊量，25 萬下載量和超過 1 萬顆星。

除了繼續(xù)開發(fā)現(xiàn)有的開源生態(tài)系統(tǒng)之外，我們在 2018 年引入了一個新的框架，用于靈活和可重復(fù)的強(qiáng)化學(xué)習(xí)，用于快速理解數(shù)據(jù)集的特征的新可視化工具 ( 無需編寫任何代碼 )，一個使用 TensorFlow.js 在瀏覽器中進(jìn)行實時 t-SNE 可視化的庫，以及用于處理電子醫(yī)療數(shù)據(jù)的 FHIR 工具和軟件等。

完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入的實時演變，該數(shù)據(jù)集包含 6萬個手寫數(shù)字的圖像

公共數(shù)據(jù)集通常是一個很好的靈感來源，可以在許多領(lǐng)域取得巨大進(jìn)步，因為它們可以讓更廣泛的社區(qū)獲得有趣的數(shù)據(jù)和問題，以及在各種任務(wù)中獲得更好的結(jié)果。今年，我們很高興發(fā)布Google 數(shù)據(jù)集搜索，這是一種從所有網(wǎng)絡(luò)中查找公共數(shù)據(jù)集的新工具。多年來，我們還策劃并發(fā)布了許多新的，新穎的數(shù)據(jù)集，包括從數(shù)百萬個通用注釋圖像或視頻到用于語音識別的人群源孟加拉數(shù)據(jù)集到機(jī)器人手臂抓取數(shù)據(jù)集等等。在 2018 年，我們在該列表中添加了更多數(shù)據(jù)集。

Open Images V4，這是一個包含 1,540 萬個邊界框的數(shù)據(jù)集，包含 600 個類別的 190 萬張圖像，以及 19,794 個類別的 3,010 萬個經(jīng)過人工檢查的圖像級標(biāo)簽。我們還通過使用 crowdsource.google.com 添加了來自世界各地的數(shù)萬名用戶提供的 5.5M 生成的注釋，擴(kuò)展了此數(shù)據(jù)集以添加來自世界各地的更多人和場景。我們發(fā)布了原子視覺動作（AVA）數(shù)據(jù)集，該數(shù)據(jù)集提供視頻的視聽注釋，以改善理解人類行為和視頻語音的現(xiàn)狀。我們也宣布更新 YouTube-8M，以及第二屆 YouTube-8M 大型視頻理解挑戰(zhàn)和研討會。雖然不是數(shù)據(jù)集發(fā)布，但我們探索了一些技術(shù)，這些技術(shù)可以使用 Fluid Annotation 更快地創(chuàng)建可視化數(shù)據(jù)集，Fluid Annotation是一種探索性的機(jī)器學(xué)習(xí)驅(qū)動接口，可以更快地進(jìn)行圖像注釋。

COCO 數(shù)據(jù)集圖像上的 Fluid Annotation 界面

機(jī)器人技術(shù)

過去的一年里，Google 在理解機(jī)器學(xué)習(xí)如何教會機(jī)器人在現(xiàn)實世界里行動方面，取得了重大進(jìn)展，該項研究讓機(jī)器人學(xué)習(xí)抓取未沒見過的物體，并且相關(guān)的論文獲得了 CoRL’18 最佳論文。通過結(jié)合機(jī)器學(xué)習(xí)和基于采樣的方法 ( ICRA'18 最佳論文 )，我們在學(xué)習(xí)機(jī)器人運動方面取得了進(jìn)展，例如實現(xiàn)了第一次能夠在真實機(jī)器人上成功地在線訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型，并且正在尋找新的，理論上的基礎(chǔ)方法，來學(xué)習(xí)機(jī)器人控制的穩(wěn)定方法。

AI 在其他領(lǐng)域的應(yīng)用

2018 年，在科學(xué)領(lǐng)域中，我們將機(jī)器學(xué)習(xí)應(yīng)用于解決物理和生物科學(xué)中的各種問題。利用機(jī)器學(xué)習(xí)為科學(xué)家提供相當(dāng)于數(shù)百或數(shù)千名研究助理的數(shù)據(jù)挖掘，不僅為科學(xué)家節(jié)省了時間和精力，還讓他們變得更具有創(chuàng)造力和生產(chǎn)力。

我們與德國馬克斯普朗克神經(jīng)生物學(xué)研究所的研究人員合作在Nature Methods 中發(fā)表了一篇關(guān)于神經(jīng)細(xì)胞高精度自動重建的論文，展示了一種新型的遞歸神經(jīng)網(wǎng)絡(luò)如何提高自動解析連接組數(shù)據(jù)的準(zhǔn)確性。與先前的深度學(xué)習(xí)技術(shù)相比，將連通組學(xué)數(shù)據(jù)提高了一個數(shù)量級。

我們的算法在鳴禽大腦中追蹤單個神經(jīng)突的 3D 過程

將機(jī)器學(xué)習(xí)應(yīng)用于科學(xué)領(lǐng)域的其他示例：

• 通過數(shù)據(jù)挖掘恒星的光曲線，并尋找新的太陽系外行星

• 短 DNA 序列的起源或功能

• 自動檢測離焦顯微鏡圖像

• 自動將質(zhì)譜輸出映射到肽鏈

經(jīng)過預(yù)訓(xùn)練的 TensorFlow 模型可以對 Fiji ( ImageJ ) 細(xì)胞顯微鏡圖像斑塊的蒙太奇進(jìn)行聚焦質(zhì)量評估

醫(yī)療領(lǐng)域的 AI

在近幾年里，我們一直致力于將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域。這項研究將會影響我們每一個人，同時我們也堅信利用機(jī)器學(xué)習(xí)增強(qiáng)醫(yī)療專業(yè)人員的直覺和經(jīng)驗可以產(chǎn)生巨大影響。

在這個領(lǐng)域，我們通常采用與醫(yī)療機(jī)構(gòu)合作解決基礎(chǔ)研究問題的方式 ( 例如，利用臨床專家的反饋讓我們的結(jié)果更加可靠 )，然后將結(jié)果發(fā)表在科學(xué)和臨床雜志上。當(dāng)該研究得到臨床和科學(xué)驗證時，我們便會進(jìn)行用戶和 HCI 研究，以便于我們掌握如何在現(xiàn)實臨床環(huán)境中進(jìn)行部署。在 2018 年，我們已經(jīng)將計算機(jī)輔助診斷的廣泛空間擴(kuò)展到了臨床任務(wù)預(yù)測。

2016 年底，我們發(fā)表過一項研究表明，述及我們?nèi)绾?/span>訓(xùn)練的用于評估視網(wǎng)膜眼底圖像以檢測糖尿病視網(wǎng)膜病變跡象的模型，其表現(xiàn)與美國醫(yī)學(xué)委員會認(rèn)證的眼科醫(yī)生相當(dāng)，甚至略勝一籌。

2018 年，我們進(jìn)一步證明，利用由視網(wǎng)膜專家標(biāo)記的圖像進(jìn)行訓(xùn)練，模型的表現(xiàn)已經(jīng)相當(dāng)于視網(wǎng)膜專家的水平。我們還發(fā)現(xiàn)有證據(jù)表明，醫(yī)生可以與模型協(xié)同工作，獲得比二者單獨工作時更高的準(zhǔn)確度。借助篩查項目和與Verily的合作，在印度的 Aravind 眼科醫(yī)院和泰國衛(wèi)生部下屬的 Rajavithi 醫(yī)院等 10 多個地方部署了這個糖尿病視網(wǎng)膜病變檢測系統(tǒng)。

機(jī)器學(xué)習(xí)評估糖尿病視網(wǎng)膜病變

我們還發(fā)表了一項關(guān)于機(jī)器學(xué)習(xí)模型通過視網(wǎng)膜圖像評估心血管風(fēng)險的研究，這項研究得到了醫(yī)學(xué)專家和眼科專家的認(rèn)可和稱贊。這是一種為新的、非侵入性的生物標(biāo)志物提供了早期有希望的跡象，并且?guī)椭R床醫(yī)生更好地了解患者的健康狀況。

我們在病理學(xué)領(lǐng)域的探索中展示了使用機(jī)器學(xué)習(xí)提高前列腺癌分級的準(zhǔn)確度、利用深度學(xué)習(xí)檢測轉(zhuǎn)移性乳腺癌，還開發(fā)了一個增強(qiáng)現(xiàn)實顯微鏡，通過來自計算機(jī)視覺模型的視覺信息幫助病理學(xué)家和其他科學(xué)家。

近四年中，Googel 進(jìn)行了大量的研究工作，圍繞使用電子健康記錄的深度學(xué)習(xí)來做出臨床相關(guān)的預(yù)測。2018 年，我們與芝加哥大學(xué)、加州大學(xué)舊金山分校和斯坦福大學(xué)合作，在 Nature Digital Medicine 上發(fā)表了一篇論文，展示了將機(jī)器學(xué)習(xí)模型應(yīng)用于識別電子病歷，并且能夠?qū)Ω鞣N臨床相關(guān)任務(wù)做出比當(dāng)前臨床最佳實踐準(zhǔn)確性更高的預(yù)測。作為這項工作的一部分，我們開發(fā)了一些工具，讓即使在完全不同的任務(wù)和完全不同的基礎(chǔ) EHR 數(shù)據(jù)集上創(chuàng)建這些模型變得非常簡單。同時還改進(jìn)了基于深度學(xué)習(xí)的變量調(diào)用 DeepVariant 的準(zhǔn)確性、速度和實用性。該團(tuán)隊在《自然 - 生物技術(shù)》雜志上發(fā)表了一篇同行評議的論文。

將機(jī)器學(xué)習(xí)應(yīng)用于歷史收集的數(shù)據(jù)時，了解過去經(jīng)歷過人類和結(jié)構(gòu)偏差的人群以及這些偏見如何在數(shù)據(jù)中編纂是很重要的。機(jī)器學(xué)習(xí)提供了一個檢測和解決偏見的機(jī)會。

研究推廣

Google 經(jīng)常用不同的方式和外部研究社區(qū)進(jìn)行交流，比如教師參與和學(xué)生支持。我們非常高興的在本學(xué)年招收了數(shù)百名本科生、碩士生和博士生作為實習(xí)生，同時為北美、歐洲和中東的學(xué)生提供多年的博士生獎研金 ( Ph.D. fellowships )。

關(guān)于這個獎學(xué)金項目，我們還要補(bǔ)充的是 Google AI Residency 項目，這種方式允許想要深入學(xué)習(xí)研究的人花費一年的時間與Google的研究人員一起工作并接受他們的指導(dǎo)。至今，Google AI Residency 已進(jìn)入第三個年頭，學(xué)員們被安排在 Google 全球的各個團(tuán)隊中，從事機(jī)器學(xué)習(xí)、感知、算法和優(yōu)化、語言理解、醫(yī)療保健等領(lǐng)域的研究。

每年，我們通過 Google Faculty Research Awards program 支持一些教師和學(xué)生進(jìn)行研究項目。2018 年，我們還繼續(xù)在 Google 為特定領(lǐng)域的教師和研究生舉辦研討會，包括在印度班加羅爾辦事處舉辦的 AI / 機(jī)器學(xué)習(xí) 研究與實踐研討會，在我們的蘇黎世辦事處舉辦的算法和優(yōu)化研討會，在美國桑尼維爾舉辦的機(jī)器學(xué)習(xí)醫(yī)療保健應(yīng)用研討會和在馬薩諸塞州劍橋辦事處舉辦的機(jī)器學(xué)習(xí)公平與偏見研討會。

我們相信，為更廣泛的研究團(tuán)體做出公開貢獻(xiàn)是支持健康和富有成效的研究生態(tài)系統(tǒng)的關(guān)鍵部分。除了開源和公開數(shù)據(jù)集之外，我們的許多研究都在頂級會議和期刊上公開發(fā)表，并積極參與、組織和贊助各種不同學(xué)科的會議。

新的起點，新的面孔

2018 年，我們很高興地歡迎許多來自各行各業(yè)的新人加入我們的研究組織。我們在非洲組建了 AI 研究辦公室。我們擴(kuò)大了在巴黎、東京和阿姆斯特丹的 AI 研究，并在普林斯頓開設(shè)了一個研究實驗室。我們將繼續(xù)在全球范圍內(nèi)聘請有才能的人加入我們。您可以了解更多有關(guān)加入我們的信息（https://ai.google/research/join-us/）。

期待 2019 年

本文摘要總結(jié)了我們 2018 年的科研的一小部分。回顧 2018 年，我們對所取得成就的深度和廣度感到興奮。

2019 年，我們期待 Google 的研究和產(chǎn)品，能對更廣泛的領(lǐng)域產(chǎn)生更有意義的影響！