探討機器學習、強化學習、NLP、計算機視覺最新進展

清華-谷歌AI學術研討會，Jeff Dean、李飛飛、李佳等22位大牛齊聚，探討機器學習、強化學習、NLP、計算機視覺最新進展。最近一張展示谷歌中國2018校招年薪56萬的圖片廣為流傳。谷歌的學術交流對中國AI來說無疑是好事，但或許這也將令國內本就激烈的AI人才爭奪戰(zhàn)進一步加劇。

在清華大學人工智能研究院的成立儀式上，清華-谷歌AI學術研討會也揭開帷幕。這場研討會是清華大學人工智能研究院打造人工智能高端交流平臺的首次嘗試，陣容豪華。在為期兩天的時間表上，密集出現了多位數得過名字的大牛，以及眾多有意思的主題：

Jeff Dean：深度學習解決世界難題

李飛飛：朝向AI輔助健康醫(yī)療的環(huán)境智能

李佳：企業(yè)AI：現實世界研究的新前線

Quoc Le：AutoML：使用機器學習自動化機器學習

Bill Freeman：用看來聽：用視覺促進語音理解

Oriol Vinyals：人工智能的新挑戰(zhàn)

……

實際上，這次研討會一共設有5大主題版塊，分別是機器學習、強化學習、計算機視覺、自然語言處理和行業(yè)中的AI研究。這樣的主題設置，與谷歌AI中國中心的側重方向十分吻合。

2017年12月，李飛飛在谷歌上海開發(fā)者大會上宣布谷歌AI中國中心的成立，并表示這個中心將更專注基礎研究，側重算法和模型層面，具體關注有四個方向，就是深度學習、強化學習、計算機視覺和語言。

李飛飛表示，谷歌AI中國中心的成立，是要“與中國最聰明的人工智能研究人員合作”，推動中國本土學術合作及人才培養(yǎng)，為更廣大的學生及研究人員提供高質量 AI 及機器學習的教育支持。

這次的研討會可以說是當初規(guī)劃的落實。谷歌AI中國中心成立6個月之際，谷歌學術和技術大牛正組隊走進中國的高校，帶來他們最新的研究和成果，（從谷歌關注的角度出發(fā)）與中國學術界進行更多的心得交流。同時，也再次展示了谷歌的AI實力。

AI的發(fā)展離不開數據、人才和市場，這幾點中國都有，而且有很多。中國也在大力發(fā)展AI，國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，工信部發(fā)布《促進新一代人工智能產業(yè)發(fā)展三年行動計劃（2018-2020 年）》，中國的學術界、教育界和產業(yè)界正不斷釋放出對外開放的訊息，而谷歌無疑準確地領會并把握住了這一點。

盡管中美貿易戰(zhàn)正酣，科技交流障礙提升，但谷歌這位美國巨頭，正努力而切實地一步一步走進中國。

Jeff Dean：如果你還沒考慮用深度學習，趕快用！

下面我們摘選幾場報告進行介紹。

首先是谷歌AI總負責人Jeff Dean在研討會第一天的主旨演講，題目是《用深度學習解決世界重大挑戰(zhàn)》。這也是Jeff Dean受聘成為清華大學計算機學科顧問委員會委員后的第一場演講。

Jeff Dean發(fā)表主旨演講：用深度學習解決重大挑戰(zhàn)

過去6年來，Google Brain團隊一直在研究人工智能中的難題，構建用于機器學習研究的大型計算機系統(tǒng)，并與Google的許多團隊合作，將其研究和系統(tǒng)應用于眾多Google產品當中。他們已經在計算機視覺，語音識別，語言理解，機器翻譯，醫(yī)療保健，機器人控制等領域取得了重大進展。

谷歌在人工智能領域最終目標是三點：利用人工智能和機器學習讓谷歌的產品更加實用（Making products more useful）；幫助企業(yè)和外部開發(fā)者利用人工智能和機器學習進行創(chuàng)新（Helping others innovate）；為研究人員提供更好的工具，解決人類面臨的重大挑戰(zhàn)。

演講從深度學習熱潮的興起講起：從2010年開始，深度學習的熱度穩(wěn)步上升，如今Arxiv上發(fā)表的機器學習論文增長趨勢已經超過了摩爾定律。深度學習在圖像和語音識別為代表的一系列任務中取得了越來越卓越的成果，這個概念和技術并不是全新的，但為什么在過去的幾年當中實現了極大的突破？這一切都得益于計算力的提升，在有充分計算力的情況下，深度學習解決問題的精度將大幅超越傳統(tǒng)方法。

在2008年美國工程院列出的14大“21世紀重大工程難題”中，有5項都能用到深度學習和機器學習，甚至用深度學習和機器學習去解決，包括環(huán)境問題、城市基礎設施，健康醫(yī)療，以及人腦的逆向工程。Jeff Dean本人還加了兩項，他認為不受語言限制獲取信息和交流，以及構建靈活通用的AI系統(tǒng)也十分重要，而這兩點也需要深度學習。

接下來，Jeff Dean重點介紹了一些Google Brain團隊已經完成的研究和計算機系統(tǒng)工作，著眼于如何使用深度學習來解決具有挑戰(zhàn)性的問題，來證明深度學習的有效性：

提高城市基礎設施方面，Waymo的自動駕駛已經離實際應用越來越近。

在健康信息學方面，谷歌用深度學習分析糖尿病視網膜圖像，算法的準確率已經超越了人類醫(yī)生；不僅如此，使用深度學習視網膜圖像分析來預測心血管疾病突發(fā)風險，獲得人體解剖學和疾病變化之間的聯系，這是人類醫(yī)生此前完全不知道的診斷和預測方法，不僅能幫助科學家生成更有針對性的假設，還可能代表了科學發(fā)現的新方向。此外，谷歌還與頂級醫(yī)學院合作使用深度學習分析電子病例，預測患者預后等情況，已經取得了不錯的初步成果。

促進跨語言的交流和信息共享，有谷歌的神經機器翻譯（GNMT），GNMT在多個語種的翻譯上平均質量提高50%到80%以上，超過了過去十年的進展，而且谷歌還開放了基于TensorFlow的源代碼。Jeff Dean特別提到，谷歌的目標是一百多種語言對之間相互翻譯，這是一個非常復雜的工程問題，使用同一個基于神經網絡的模型去翻譯不同的語種，在工程上大大簡化了工作量。

在人腦逆向工程方面，谷歌和馬克思普朗克研究所等機構合作，從理解大腦神經網絡的圖像入手，重構生物神經網絡。目前，使用馬克思普朗克研究所的數據，研究人員已經生成了大約6000億個體素。他們還提出了一種模擬生成神經網絡的算法“Flood Filling Networks”，可以使用原始數據，利用此前的預測，自動跟蹤神經傳導。

其他還有使用深度學習預測分子性質，制作更好的藥物，開發(fā)碳封存方法，管理氮循環(huán)……這些問題都能夠在更好的科學工具的幫助下實現。而這個幫助科學工具開發(fā)的工具，就是谷歌深度學習開源框架TensorFlow：TensorFlow的目標是成為每個人都可以使用的機器學習平臺，成為通用的平臺，成為最好的平臺，去更好的促進行業(yè)交流和創(chuàng)新。

TensorFlow是目前全球最受歡迎的深度學習框架，在中國也有強勁的開發(fā)者生態(tài)。此前一位參與TensorFlow開發(fā)的中國開發(fā)者告訴新智元，他認為谷歌推廣TensorFlow不是為了賺錢，而是很純粹的為了技術?！?017年以前，谷歌并沒有在中國展開太多活動。盡管谷歌知道中國市場很大，但很多業(yè)務無法展開。即使谷歌的云業(yè)務服務器能在中國大陸運行，但是由于阿里巴巴等本土競爭對手也在銷售便宜的云計算產品，這使得谷歌難以盈利。但是，我們所有的中國開發(fā)者都在等待谷歌來中國，推出更多TensorFlow技術和產品?！?/p>

谷歌當然明白這一點，而包括這次研討會在內的眾多高?；顒樱瑢⑦M一步把TensorFlow的用戶人群拓展到學生里面。

最后，這位谷歌AI的總負責人號召大家都使用深度學習：“深度神經網絡和機器學習取得的重大突破，正在解決世界上一些最為重大的挑戰(zhàn)；如果你還沒有考慮使用深度學習，我?guī)缀蹩梢钥隙銘擇R上這么做！”

李飛飛：讓機器理解人類行為，提供醫(yī)療環(huán)境智能

從五六年前，AI還遠遠沒有如今這樣火熱的時候，李飛飛就開始了在AI醫(yī)療健康方面的探索，這也是一貫側重基礎研究的她在應用方面邁出的一步。

健康醫(yī)療關乎人類生命和生活質量，包括中美在內，任何國家政府每年都會在這里投入大量的資金和人力資源。如今，AI已經開始影響醫(yī)療領域，包括電子病例處理，醫(yī)學圖像和基因組學分析。

李飛飛在清華-谷歌AI學術研討會上發(fā)表主旨報告

醫(yī)療健康的一大痛點，是由人類過失引發(fā)的醫(yī)療事故，每年導致的死亡人數比車禍死亡人數還多。但在很大程度上，在醫(yī)療保健服務發(fā)生的物理環(huán)境，也就是醫(yī)院、診所和養(yǎng)老院等醫(yī)生護士與病人實際接觸的場景，正是人為事故多發(fā)的地方，還較少有AI的參與。

以往的應對措施都是局部的，單獨的針對每一個問題，比如病患可能滾下床，就設置護欄，有感染的可能，就督促醫(yī)護人員使用消毒液……但是，這樣的方案無法擴展。

大約在5年前，李飛飛和她在斯坦福的學生和同事們從自動駕駛汽車中得到啟發(fā)——自動駕駛汽車的傳感器收集各種數據，對周圍環(huán)境進行感知并做出規(guī)劃，如果能把這種模式用于醫(yī)療當中，將AI置于環(huán)境里，識別環(huán)境中所有人的行動，將打開一條不同的AI輔助醫(yī)療健康之路。

這也是她在清華-谷歌AI學術研討會分享的內容《AI輔助醫(yī)療空間里的環(huán)境智能》（Towards ambient intelligence in AI-assisted healthcare spaces），李飛飛對“以人為本的AI”的最新實踐。

她和同事們將計算機視覺和機器學習相結合，在醫(yī)院和養(yǎng)老設施里設置大量傳感器采集數據，借助先進的算法和數據傳輸及處理手段，提供醫(yī)療環(huán)境智能，從而幫助臨床醫(yī)護人員進行復雜護理。

“環(huán)境智能無處不在，但人卻幾乎感知不到它的存在，就像房間里的光線一樣?！?/p>

這項研究的關鍵，是對人類行為的視覺理解，也是計算機視覺的核心問題。

在演講中，李飛飛分三方面介紹了醫(yī)療環(huán)境智能：感知、人類行為識別和整個生態(tài)的構建。在感知方面，李飛飛介紹了他們AI輔助醫(yī)療空間的試點實施情況，使用深度和紅外傳感器采集數據，以及跨傳感器追蹤，將各種傳感器的數據匯集在一起整合出一個3D空間。有些時候只能在天花板安裝攝像頭，從上往下俯視，與YouTube視角很不一樣，對處理提出很大挑戰(zhàn)。

在人類行為識別方面，他們使用深度學習方法，對人類活動進行密集和詳細的識別，進行有效的動作檢測。李飛飛舉了這樣一個例子，使用現代計算機視覺技術，結合傳感器來改善醫(yī)護人員的洗手情況。感染是醫(yī)院致死率最高的原因之一，過去的解決辦法是讓真人去看醫(yī)生護士有沒有洗手，這樣很容易出錯，成本也高。他們使用行為檢測和跟蹤方法，督促醫(yī)護人員洗手，取得了比多個人類檢測員更好的效果。

洗手檢測：超越了多個人類檢測員聯合監(jiān)督的效果

研究人員的目標是，將ICU里的所有行為都識別出來，關注視頻在時序空間上的數據，輔助醫(yī)護人員工作。

此外，李飛飛還介紹了將醫(yī)療信息整合到更廣泛的臨床數據生態(tài)系統(tǒng)中的工作和未來方向。由于情況所迫，我們無法收集特定的醫(yī)療大數據，比如各種跌倒、受傷乃至死亡的圖像。因此，需要在無法得到大數據的前提下工作。目前，李飛飛和同事使用遷移學習，將醫(yī)療信息加入到YouTube視頻生成相關數據，取得了不錯的初步結果。

李佳：企業(yè)AI，用有限的數據解決現實問題

谷歌云AI研發(fā)主管，同時也是谷歌AI中國中心總裁的李佳做了企業(yè)AI的報告，分享了利用AI解決現實世界問題的一些案例。

研究企業(yè)AI的背景是，企業(yè)環(huán)境提供了很多AI研究課題。一般的印象是，產業(yè)界有很多的數據，但實際上，比如在健康醫(yī)療、罕見疾病、自然災害等情景下，就沒有足夠多的數據，無法進行大數據研究。

此外，現實世界還有很多充滿噪音、未標記的數據。相比之下，在學術界研究里，常常使用的是干凈、充分標記的數據。因此，學術界的成果往往無法很好地遷移到現實應用中。不僅如此，學術界的成果往往是預測就行了，而現實應用需要對結果進行解釋，尤其是涉及醫(yī)療、法律等問題。

李佳分享了目前正在積極展開研究的領域，包括主要是從噪音數據中學習、可解釋的機器學習以及遷移學習。

李佳重點介紹了一項她和谷歌其他同事與雪城大學、平安科技合作的研究，對胸部疾病診斷和定位的案例。相關論文已經在CVPR 2018發(fā)表。

胸部疾病是很嚴重的問題，有大約10%的病人會死亡，而放射科醫(yī)生的診斷中有4%含有重大錯誤，如何解決這個問題？

在計算機視覺相關的研究中，準確識別和定位放射圖像中的異常是臨床診斷和治療計劃中不可或缺的一部分。但是，為這些任務構建高度準確的預測模型通常需要大量手動標注標簽并找到異常位置的圖像，注釋數據的獲取成本很高。

他們這項工作的意義在于，只需要少量的位置注釋，并且還為放射科醫(yī)生提供可以解釋的AI診斷結果，這樣醫(yī)生就能將這些信息整合，得出更好更全面的診斷和治療意見。

他們提出了一個統(tǒng)一的方法，同時進行疾病識別和定位。他們的方法在patch level而不是圖像level進行分類和識別，能夠有效地利用類信息以及有限的位置注釋，并且在分類和本地化任務中都顯著優(yōu)于比較參考基線。

Bill Freeman：用視覺信息促進語音理解

第二天的主旨演講人是谷歌研究科學家、MIT教授Bill Freeman，題目是《用看來聽：通過視覺促進語音理解》。

人類在識別和理解人類語音方面有著極強的能力，哪怕是好幾個人同時間在嘈雜的環(huán)境中說話，也能分清楚誰在說什么。對于計算機而言，這個任務還很艱巨。

最近，Freeman教授的團隊通過讓計算機“看”，也即觀察說話者來輔助語音識別，大幅提升了計算機語言識別的性能。實際上，這也是人類在語音識別時常常采用的方法。他們的研究論文“Looking to Listen at the Cocktail Party”，已經被SIGGRAPH 2018接收。

這項研究的起點，是MIT的研究人員發(fā)現，視頻信息實際上可以充當一種“視覺麥克風”。一袋放在桌上的薯片，在旁邊播放音樂，觀察高速攝像頭拍攝下的薯片包裝袋，能發(fā)現包裝袋在顫動，從而推理出音頻信息。

在此基礎上，Freeman教授帶領的Google Research團隊，通過計算生成視頻，使用視覺信息，加強其中特定人物的語音，同時抑制其他的所有聲音。這個方法適用于帶有單個音頻軌道的普通視頻，用戶需要的只是選擇他們想要聽的視頻中人物的臉部，或者根據上下文在算法上選擇這樣的人物就行了。

他們設計了一種算法，輸入有兩個及更多人同時說話的視頻，算法能夠輸出其中被選定的那個人的音頻，非常清晰。

“雞尾酒效應”論文提出的基于神經網絡的多數據流架構

他們把這種技術成為Looking to Listen，在語音識別、會議轉錄和視頻會議等場景中，有著巨大的應用潛力。

除了“從看到聽”，在更早一些的時候，Freeman教授的團隊還做了“從聽到看”的研究，也即從聲音中學習畫面（Learning Sight from Sound）。在一項工作中，他們表明環(huán)境聲音可以用作學習視覺模型的監(jiān)督信號。他們訓練了一個卷積神經網絡來預測與視頻幀相關的聲音的統(tǒng)計匯總，網絡學會了關于某個物體（對象）和場景有關聲音信息的表示。

結果發(fā)現，具有類似聲音特征的視頻，比如海邊和河邊，雖然視覺信息非常不同，但在網絡學會的聲音信號空間中，卻是十分類似的。

通過這個過程，網絡學會了關于某個物體（對象）和場景有關聲音信息的表示。實驗結果顯示，這種方法的性能與其他最先進的無監(jiān)督學習方法相當。

圖像是聲音的補充，從一種模態(tài)（比如圖像）中能夠得到一些很難或者無法從另一種模態(tài)（比如語音）分析中得到的信息。反之也一樣。通過這樣將視覺和語音信號相結合，能夠彼此促進。此外，如果能夠確定哪些視覺信號能在訓練過程中幫助檢測特定的聲音信號，將進一步提升語音識別的效果。

中國學術界、產業(yè)界對外開放，谷歌把握機會多手段積極返華

如今，AI的發(fā)展離不開數據、人才和市場，而中國擁有最豐富的大數據、最大的市場需求以及越來越成熟的AI人才。

谷歌當然意識到了這一點，這家以“AI First”為戰(zhàn)略的公司，除了成立AI中國中心，已經通過學術合作、企業(yè)投資、建立聯合實驗室等多種手段，曲線回歸中國市場，其存在感也愈發(fā)強烈。

5月31日，谷歌在上海與復旦大學簽署兩年期合作協(xié)議，宣布成立復旦大學-谷歌科技創(chuàng)新實驗室，建立戰(zhàn)略合作關系?；诖舜魏炇鸬膮f(xié)議，谷歌將重點支持復旦大學在人工智能、數據科學、移動應用等新興科技領域的課程和創(chuàng)新科技聯合實驗室建設，促進復旦建設發(fā)展新工科，推動實施創(chuàng)新創(chuàng)業(yè)教育改革，培養(yǎng)拔尖創(chuàng)新人才。

6月18日，谷歌宣布以5.5億美元的現金投資京東，獲得后者0.93%的股權，雙方達成戰(zhàn)略合作，結合京東的物流、供應鏈優(yōu)勢與谷歌的技術優(yōu)勢，共同開發(fā)零售基礎設施， 提供更好地個性化購物體驗，并減少包括東南亞在內的多個市場的摩擦。

實際上，京東已經是谷歌（Alphabet）在過去3年里在中國投資的第5家公司。根據公開資料，其他4家分別是：2015年，投資出門問問；2017年12月，領投直播平臺觸手，金額5億人民幣；2018年1月，跟投AI醫(yī)藥研發(fā)公司晶泰科技；2018年4月，Alphabet旗下基金CapitalG投資中國公路物流互聯網平臺滿幫集團，資金超過9億美元。

這幾家公司都是在AI領域不同賽道快速發(fā)展且相對處于領先地位的公司，通過對它們的戰(zhàn)略性投資，谷歌在輸出技術和服務、共享資源的同時，也能更好地理解中國市場，為其以更靈活的方式重返中國大陸鋪橋搭路。

中國大力推動AI發(fā)展，國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，工信部發(fā)布《促進新一代人工智能產業(yè)發(fā)展三年行動計劃（2018-2020 年）》，中國的學術界、教育界和產業(yè)界正不斷釋放出對外開放的訊息，而谷歌無疑準確地領會并把握住了這一點。

盡管中美貿易戰(zhàn)正酣，科技交流障礙提升，但谷歌這位美國巨頭，正努力而切實地一步一步走進中國。

進一步激化人才爭奪戰(zhàn)：谷歌中國人工智能崗位校招年薪56萬

對于中國的AI人才來說，谷歌的一系列交流互動，絕對是一個非常強大的吸引和有力的幫助，但同時，這也讓中國國內本來就非常激烈的AI人才爭奪戰(zhàn)進一步加劇，中國的科技公司，哪怕是BATJ等巨頭，要吸引人才也將更具挑戰(zhàn)。

恰逢大學秋招之際，一份2018屆互聯網校招高薪清單在網上廣為流傳，引發(fā)眾多畢業(yè)生及互聯網從業(yè)者關注。其中，谷歌中國人工智能崗位的薪資，以年薪56萬人民幣的價格高居榜首。

本來就已經水漲船高的AI研究人員和工程師價格，還會再高嗎？