失敗是成功之母:HER有自我審視能力。
OpenAI的研究人員集中精力于構(gòu)建具有更強(qiáng)的學(xué)習(xí)能力的人工智能。得益于他們的增強(qiáng)學(xué)習(xí)系統(tǒng)OpenAI baselines,機(jī)器學(xué)習(xí)算法可以進(jìn)行自主學(xué)習(xí)。目前,這個(gè)新的算法保證人工智能可以像人類一樣從自己的錯誤中汲取教訓(xùn)。
這個(gè)進(jìn)步源于OpenAI的研究人員在近期公布的名為“后見之明經(jīng)驗(yàn)復(fù)現(xiàn)(Hindsight Experience Reply, HER)”的開源算法。正如名字所示,HER幫助人工智能系統(tǒng)在完成一項(xiàng)任務(wù)后,具有自我審視的能力。OpenAI的博客中提到,人工智能認(rèn)為失敗乃成功之母。
研究人員寫到:“構(gòu)建HER的關(guān)鍵在于利用人類的直覺:在實(shí)現(xiàn)某個(gè)任務(wù)時(shí),雖然我們沒有成功,但是在這個(gè)過程中我們學(xué)到一些不一樣的東西,既然如此,為何不能將我們最終學(xué)到的知識作為我們最初的目標(biāo)呢?“
簡而言之,這意味著每一次失敗的嘗試都是為了實(shí)現(xiàn)一個(gè)意想不到的“虛擬”目標(biāo),而非既定目標(biāo)。
回想一下你學(xué)騎單車的經(jīng)歷,在最開始的幾次嘗試中,你無法掌握平衡。但是這些經(jīng)驗(yàn)告訴了你怎么騎車是不正確的,怎么做不能保持平衡。就像在人類的學(xué)習(xí)過程中,每一次的失敗讓我們距離成功更進(jìn)一步。
獎勵每一次失敗,并且失敗也不沮喪
通過使用HER,OpenAI希望他們的人工智能系統(tǒng)可以利用上述的方法來學(xué)習(xí)。與此同時(shí),這種算法也被作為增強(qiáng)學(xué)習(xí)模型中的獎勵機(jī)制的替代算法。為了訓(xùn)練人工智能,使其具有獨(dú)立的學(xué)習(xí)能力,它需要包含一個(gè)獎勵機(jī)制:如果人工智能算法達(dá)到了預(yù)期目標(biāo),就可以得到一個(gè)小獎勵,就像獎勵給小孩子一塊奶油餅干一樣,否則就什么都得不到。另外一個(gè)系統(tǒng)根據(jù)人工智能距離預(yù)期目標(biāo)的距離來給出獎勵。
但是這兩種算法并不是完美的。第一個(gè)算法會阻礙學(xué)習(xí),因?yàn)橐粋€(gè)人工智能算法在訓(xùn)練過程中要么得到獎勵,要么沒得到。另一方面,根據(jù)IEEE Spectrum報(bào)道的內(nèi)容顯示,第二系統(tǒng)在實(shí)現(xiàn)時(shí),需要衡量與目標(biāo)的距離并給出獎勵,這個(gè)過程是很需要技巧的。如果把每一個(gè)任務(wù)都當(dāng)作是后見之明的目標(biāo),即使人工智能系統(tǒng)沒有完成指定的任務(wù),HER也會提供一個(gè)獎勵。這樣幫助人工智能更快更好地學(xué)習(xí)。
OpenAI 在他的的博客中提到:“通過進(jìn)行這種獎勵機(jī)制的替換,強(qiáng)化學(xué)習(xí)算法在實(shí)現(xiàn)某些目標(biāo)后會獲得一個(gè)學(xué)習(xí)信號,即使這個(gè)學(xué)習(xí)任務(wù)不是它最初希望實(shí)現(xiàn)的。如果重復(fù)這個(gè)過程,系統(tǒng)最終可以實(shí)現(xiàn)任意的目標(biāo),包括最初的既定目標(biāo)。
這種方法并不意味著使用HER方法可以完全簡化人工智能系統(tǒng)學(xué)習(xí)某個(gè)任務(wù)的過程。研究者表示:“在機(jī)器人上使用HER進(jìn)行學(xué)習(xí)仍然很難實(shí)現(xiàn),因?yàn)檫@個(gè)過程需要大量的數(shù)據(jù)“。
無論如何,正如OpenAI的模型所顯示的,HER有助于鼓勵人工智能系統(tǒng)像人類一樣從錯誤中學(xué)習(xí),兩者的主要區(qū)別在于人工智能在面對失敗的時(shí)候不會像一些脆弱的人類那樣傷心沮喪。
-
人工智能
+關(guān)注
關(guān)注
1804文章
48518瀏覽量
245421 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8482瀏覽量
133929
原文標(biāo)題:高明!OpenAI提出HER算法,AI系統(tǒng)學(xué)會從錯誤中學(xué)習(xí)
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
OpenAI公布2025年發(fā)展目標(biāo)
OpenAI攻克Sora視頻創(chuàng)建錯誤率高難題
OpenAI投資道德算法研究
嵌入式和人工智能究竟是什么關(guān)系?
Vicor技術(shù)如何改進(jìn)生成式人工智能的供電

評論