如何推進發(fā)展更靈活的AI系統(tǒng)

機器人技術為推進人工智能提供了重要機會，因為教機器獨立學習將有助于在其他場景中開發(fā)更有能力和更靈活的AI系統(tǒng)。與各種機器人合作，Facebook AI研究人員正在探索新技術，以突破人工智能的界限。

做這項工作很復雜，數據更嘈雜，條件變化更大且不確定，實驗還有額外的時間限制（因為在學習時不能加速模擬）。這些問題并不簡單，但是它們?yōu)锳I提供了有用的測試用例。

與其他人工智能研究領域一樣，在機器人領域的大部分工作都集中在自我監(jiān)督上，其中系統(tǒng)直接從原始數據中學習（而不是從特定任務的特定結構化訓練數據中學習），因此它們可以適應新任務和新任務情況。

教機器人自學走路

為了在機器人技術中做到這一點，團隊正在推進諸如基于模型的強化學習（RL）之類的技術，以使機器人能夠使用來自傳感器的直接輸入通過反復試驗來自學。這里強調的項目展示了使用這些自我監(jiān)督的學習方法來解決這一領域中最基本的挑戰(zhàn)：開發(fā)可以四處移動并探索周圍環(huán)境，并操縱遇到的物體的機器人。

這項工作將導致更強大的機器人，但更重要的是，它將使人工智能可以更有效地學習，更好地推廣到新的應用程序。

為了突破機器如何獨立學習的極限，團隊正在開發(fā)基于模型的RL方法，使六足機器人能夠學會走路，而不需要特定任務的信息或訓練。

機器人從頭開始學習，沒有關于其環(huán)境或物理能力的信息，然后它使用數據有效的RL算法來學習實現期望結果的控制器，例如向前移動。在收集信息時，模型會優(yōu)化獎勵并隨著時間的推移改善其性能。

學習走路是很有挑戰(zhàn)性的，因為機器人必須在它的傳感器的幫助下，比如在它六條腿的每個關節(jié)上的傳感器（因為它的腳上沒有傳感器），推斷出它在空間中的平衡、位置和方向。這些傳感器是有噪聲的，使得這種估計很困難并且容易出錯。

我們的目標是減少機器人學習走路所需的互動次數，因此只需幾個小時而不是幾天或幾周。技術包括貝葉斯優(yōu)化以及基于模型的RL，旨在推廣用于各種不同的機器人和環(huán)境。除了機器人技術之外，它們還可以幫助提高RL的樣品效率，例如A / B測試或任務調度。

利用好奇心更有效地學習

好奇心是人類學習的核心動力，好奇的AI系統(tǒng)因探索和嘗試新事物以及實現特定目標而獲得獎勵。雖然以前的類似系統(tǒng)通常會隨機地探索它們的環(huán)境，但我們會以結構化的方式進行探索，尋求通過了解周圍環(huán)境來滿足其好奇心，從而減少模型的不確定性。我們已經成功地將這種技術應用于模擬和真實世界的機器人手臂。

我們的方法不同于其他好奇心驅動的機器人研究，因為我們明確優(yōu)化了解決不確定性的行動。為了探索動態(tài)模型的不確定部分的動作產生更高的回報，我們試圖將模型預測的方差包括在獎勵函數評估中。

系統(tǒng)意識到其模型的不確定性并優(yōu)化動作序列，以最大化獎勵（實現期望的任務）并減少模型的不確定性，使其能夠更好地處理新的任務和條件。它可以生成更多種類的新數據并更快地學習，在某些情況下，可以進行數十次迭代，而不是數百次或數千次。

研究表明，尋求解決不確定性實際上可以幫助機器人更快地完成任務。模型也能更好地推廣到新任務中。

雖然探索一個環(huán)境可能比只專注于特定目標更有效，這似乎違反直覺，但這種以好奇心為驅動的行為可以幫助機器人避免被困或卡住。

我們希望這項研究能夠幫助創(chuàng)建在不確定環(huán)境中更靈活地響應并學習新任務的系統(tǒng)。這有助于進行結構化探索，以便更快、更有效地學習現實世界中的其他RL任務，并幫助開發(fā)將不確定性納入其他模型的新方法。

通過觸覺傳感學習

機器人通常主要依靠計算機視覺，但觸摸也是一個重要而復雜的研究領域。例如，給定特定的操縱任務，如果物體被遮擋，機器人可以使用觸覺感測來完成任務。

我們與加州大學伯克利分校的研究人員合作，開發(fā)了一種新的觸摸學習方法，通過自我監(jiān)督學習實現新目標，無需任務專用訓練數據。然后可以通過分配新目標，使用此模型來確定要采取的最佳操作順序。

我們采用了最初為視頻輸入開發(fā)的預測模型，并將其用于優(yōu)化基于深度模型的控制策略，這些策略直接對原始數據進行操作，在本例中，原始數據由高分辨率觸覺傳感器提供的高維地圖組成。研究表明，通過與環(huán)境的多種自我監(jiān)督的探索性互動，可以完全學習預測模型而無需獎勵。

使用此視頻預測模型，機器人能夠完成一系列復雜的觸覺任務：滾動球，移動操縱桿，以及識別20面模具的右側面。該模型的成功表明了使用視頻預測模型創(chuàng)建系統(tǒng)的承諾，這些系統(tǒng)可以了解環(huán)境對觸摸的反應。

這項研究還為探索多模式學習創(chuàng)造了新的途徑，這對于廣泛的人工智能研究非常重要，例如開發(fā)系統(tǒng)以更好地理解不同模式的內容。

如果我們想要更接近能夠像人類那樣思考、計劃和推理的機器，那么就需要構建能夠在數字世界之外的許多場景中自學的人工智能系統(tǒng)。

機器人技術是人工智能長期研究的重點，以上展示的例子是Facebook AI中正在進行的眾多機器人研究項目中的一些，它們將幫助我們構建可以更有效地學習并更好地推廣到新應用程序的AI。