DeepMind和Waymo宣布將合作開發(fā)受進(jìn)化生物學(xué)啟發(fā)的技術(shù)

DeepMind和Waymo宣布將合作開發(fā)受進(jìn)化生物學(xué)啟發(fā)的技術(shù)，以提高對AI算法訓(xùn)練的有效性和效率，原因是用于無人駕駛的AI模型通常需要無限的測試和微調(diào)，不斷試驗(yàn)進(jìn)行提升，DeepMind設(shè)計(jì)了一款基于進(jìn)化的方法PBT，可像生物進(jìn)化一樣自動(dòng)競爭繼承，極大提高了訓(xùn)練的有效性和效率。

相比特斯拉，Waymo在商業(yè)化的道路上一直沒有太大的建樹，始終徘徊在鳳凰城的結(jié)界中，未能走向更廣闊的天地。

去年，Waymo CEO John Krafcik曾公開吐槽自動(dòng)駕駛無法達(dá)到L5級，距離真正意義上的“消費(fèi)級”應(yīng)用任重而道遠(yuǎn)。場面一度引發(fā)極大反響，同時(shí)也引來了大批的反對聲浪。

盡管前路艱辛，但商業(yè)化的步伐不能停下。Waymo在商業(yè)化上邁出的一大步，是自動(dòng)駕駛出租車。Waymo在鳳凰城經(jīng)過6個(gè)月7x24小時(shí)的運(yùn)營，乘客數(shù)量突破了1000人，平均一天載客不到6個(gè)人。

上個(gè)月，Waymo改裝的捷豹電動(dòng)車進(jìn)行了上路測試。Waymo和捷豹在合作協(xié)議中敲定，在接下來的2年時(shí)間投放20000輛I-Pace，繼續(xù)擴(kuò)大自動(dòng)駕駛出租車業(yè)務(wù)。

而DeepMind一直專心打圍棋、打奪旗、打星際…以至于提到DeepMind，很多人第一反應(yīng)是“就那個(gè)打敗職業(yè)星際玩家的那個(gè)”?；貞涍^去，好像DeepMind也沒干啥“正事”，光跟游戲較勁了。

硬件的性能和成本已經(jīng)可以滿足自動(dòng)駕駛的一部分需求，適用于自動(dòng)駕駛的傳統(tǒng)傳感器的性能還在不斷提高；攝像頭+雷達(dá)+聲波等傳感器組合套裝，成本也在不斷降低。

但自動(dòng)駕駛并非單純依賴硬件就能實(shí)現(xiàn)，在算法方面還有極大地提升空間。

神經(jīng)網(wǎng)絡(luò)的性能受訓(xùn)練方案的影響非常大。我們的目標(biāo)就是找到最優(yōu)學(xué)習(xí)率、讓神經(jīng)網(wǎng)絡(luò)在每次迭代后變得更好，但性能波動(dòng)不需要太大。

Waymo之前的方式是采用人工微調(diào)的方式。這項(xiàng)工作對人員的要求不低，需要豐富的經(jīng)驗(yàn)，以及耐心和細(xì)心。這種不斷試錯(cuò)的方式雖然效果好，但非常耗費(fèi)時(shí)間、精力和資源。

如今，DeepMind和Waymo，兩個(gè)谷歌旗下的公司，終于開始聯(lián)手搞事情了。

Mission 1：提高調(diào)參效率，降低人員工作量

DeepMind此次伸出援手，需要幫助Waymo在算法上解決掉一切阻礙。第一步，就是提高微調(diào)的效率，降低研究人員的工作量。

為此，DeepMind設(shè)計(jì)了一種基于進(jìn)化競爭（Population Based Training）的自動(dòng)優(yōu)化超參數(shù)的方法。

這種方式（后續(xù)我們簡稱其為PBT）將手動(dòng)調(diào)參和隨機(jī)搜索的有點(diǎn)結(jié)合在一起，定期評估模型。

模型之間依照叢林法則開始相互競爭，勝者為王并產(chǎn)生一些略有突變的超參數(shù)“后代”。長江后浪推前浪，前浪死在競爭中，最終推動(dòng)模型的進(jìn)化。

PBT模型能夠提升效率很重要的一點(diǎn)是，它不需要從頭開始重新訓(xùn)練。每個(gè)勝者的后代都遺傳了父輩的最佳狀態(tài)，并且產(chǎn)生新的突變超參數(shù)。

但這樣一直處于競爭狀態(tài)會導(dǎo)致模型過度短視，眼光不能放長遠(yuǎn)，更傾向于當(dāng)前結(jié)果而忽視了長期效應(yīng)。

DeepMind采取的解決方式是增加種族多樣性。通過創(chuàng)建足夠多的稱為利基（niches）的子種族，將能夠保證模型可以持續(xù)的進(jìn)化，讓那些缺乏爆發(fā)力卻有后期優(yōu)勢的種族也能有機(jī)會成為勝者。

初步效果

實(shí)驗(yàn)取得了不錯(cuò)的進(jìn)展，PBT算法不僅實(shí)現(xiàn)了更高的精度，并且減少24%的誤報(bào)、保持了較高的召回率。

同時(shí)，PBT還節(jié)省了時(shí)間和資源。通過PBT訓(xùn)練的網(wǎng)絡(luò)，時(shí)間和資源只有原來的一半。因此Waymo聲稱，已將PBT直接納入其技術(shù)基礎(chǔ)架構(gòu)。24%的誤報(bào)，同時(shí)也能保持較高的召回率。

此外，PBT所需的訓(xùn)練時(shí)間和計(jì)算資源僅為原來的一半。根據(jù)Waymo的說法， PBT已被直接納入Waymo的技術(shù)基礎(chǔ)架構(gòu)。

DeepMind此次伸出援手，需要幫助Waymo在算法上解決掉一切阻礙。而如果兩個(gè)部門能打一個(gè)漂亮的配合戰(zhàn)，顯然對今后的士氣、整個(gè)市場的預(yù)期、大眾的接受度，都將有極大的提升。