0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

高明!OpenAI提出HER算法,人工智能可像人類一樣認(rèn)識錯(cuò)誤汲取教訓(xùn)

DPVg_AI_era ? 來源:未知 ? 作者:伍文輝 ? 2018-05-01 16:35 ? 次閱讀

失敗是成功之母:HER有自我審視能力。

OpenAI的研究人員集中精力于構(gòu)建具有更強(qiáng)的學(xué)習(xí)能力的人工智能。得益于他們的增強(qiáng)學(xué)習(xí)系統(tǒng)OpenAI baselines,機(jī)器學(xué)習(xí)算法可以進(jìn)行自主學(xué)習(xí)。目前,這個(gè)新的算法保證人工智能可以像人類一樣從自己的錯(cuò)誤中汲取教訓(xùn)。

這個(gè)進(jìn)步源于OpenAI的研究人員在近期公布的名為“后見之明經(jīng)驗(yàn)復(fù)現(xiàn)(Hindsight Experience Reply, HER)”的開源算法。正如名字所示,HER幫助人工智能系統(tǒng)在完成一項(xiàng)任務(wù)后,具有自我審視的能力。OpenAI的博客中提到,人工智能認(rèn)為失敗乃成功之母。

研究人員寫到:“構(gòu)建HER的關(guān)鍵在于利用人類的直覺:在實(shí)現(xiàn)某個(gè)任務(wù)時(shí),雖然我們沒有成功,但是在這個(gè)過程中我們學(xué)到一些不一樣的東西,既然如此,為何不能將我們最終學(xué)到的知識作為我們最初的目標(biāo)呢?“

簡而言之,這意味著每一次失敗的嘗試都是為了實(shí)現(xiàn)一個(gè)意想不到的“虛擬”目標(biāo),而非既定目標(biāo)。

回想一下你學(xué)騎單車的經(jīng)歷,在最開始的幾次嘗試中,你無法掌握平衡。但是這些經(jīng)驗(yàn)告訴了你怎么騎車是不正確的,怎么做不能保持平衡。就像在人類的學(xué)習(xí)過程中,每一次的失敗讓我們距離成功更進(jìn)一步。

獎(jiǎng)勵(lì)每一次失敗,并且失敗也不沮喪

通過使用HER,OpenAI希望他們的人工智能系統(tǒng)可以利用上述的方法來學(xué)習(xí)。與此同時(shí),這種算法也被作為增強(qiáng)學(xué)習(xí)模型中的獎(jiǎng)勵(lì)機(jī)制的替代算法。為了訓(xùn)練人工智能,使其具有獨(dú)立的學(xué)習(xí)能力,它需要包含一個(gè)獎(jiǎng)勵(lì)機(jī)制:如果人工智能算法達(dá)到了預(yù)期目標(biāo),就可以得到一個(gè)小獎(jiǎng)勵(lì),就像獎(jiǎng)勵(lì)給小孩子一塊奶油餅干一樣,否則就什么都得不到。另外一個(gè)系統(tǒng)根據(jù)人工智能距離預(yù)期目標(biāo)的距離來給出獎(jiǎng)勵(lì)。

但是這兩種算法并不是完美的。第一個(gè)算法會阻礙學(xué)習(xí),因?yàn)橐粋€(gè)人工智能算法在訓(xùn)練過程中要么得到獎(jiǎng)勵(lì),要么沒得到。另一方面,根據(jù)IEEE Spectrum報(bào)道的內(nèi)容顯示,第二系統(tǒng)在實(shí)現(xiàn)時(shí),需要衡量與目標(biāo)的距離并給出獎(jiǎng)勵(lì),這個(gè)過程是很需要技巧的。如果把每一個(gè)任務(wù)都當(dāng)作是后見之明的目標(biāo),即使人工智能系統(tǒng)沒有完成指定的任務(wù),HER也會提供一個(gè)獎(jiǎng)勵(lì)。這樣幫助人工智能更快更好地學(xué)習(xí)。

OpenAI 在他的的博客中提到:“通過進(jìn)行這種獎(jiǎng)勵(lì)機(jī)制的替換,強(qiáng)化學(xué)習(xí)算法在實(shí)現(xiàn)某些目標(biāo)后會獲得一個(gè)學(xué)習(xí)信號,即使這個(gè)學(xué)習(xí)任務(wù)不是它最初希望實(shí)現(xiàn)的。如果重復(fù)這個(gè)過程,系統(tǒng)最終可以實(shí)現(xiàn)任意的目標(biāo),包括最初的既定目標(biāo)。

這種方法并不意味著使用HER方法可以完全簡化人工智能系統(tǒng)學(xué)習(xí)某個(gè)任務(wù)的過程。研究者表示:“在機(jī)器人上使用HER進(jìn)行學(xué)習(xí)仍然很難實(shí)現(xiàn),因?yàn)檫@個(gè)過程需要大量的數(shù)據(jù)“。

無論如何,正如OpenAI的模型所顯示的,HER有助于鼓勵(lì)人工智能系統(tǒng)像人類一樣從錯(cuò)誤中學(xué)習(xí),兩者的主要區(qū)別在于人工智能在面對失敗的時(shí)候不會像一些脆弱的人類那樣傷心沮喪。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1804

    文章

    48677

    瀏覽量

    246267
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8490

    瀏覽量

    134034

原文標(biāo)題:高明!OpenAI提出HER算法,AI系統(tǒng)學(xué)會從錯(cuò)誤中學(xué)習(xí)

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    文速覽:人工智能(AI)算法與GPU運(yùn)行原理詳解

    改變了人類生活的方方面面,并且在未來仍然會繼續(xù)發(fā)揮越來越重要的影響力? “人工智能”這概念在1956年于美國達(dá)特茅斯學(xué)院舉辦的次學(xué)術(shù)集會上被首次
    的頭像 發(fā)表于 02-14 10:28 ?577次閱讀
    <b class='flag-5'>一</b>文速覽:<b class='flag-5'>人工智能</b>(AI)<b class='flag-5'>算法</b>與GPU運(yùn)行原理詳解

    OpenAI公布2025年發(fā)展目標(biāo)

    公布的目標(biāo)中,AGI(通用人工智能)位列榜首。AGI作為人工智能領(lǐng)域的終極目標(biāo)之,旨在創(chuàng)造出能夠人類
    的頭像 發(fā)表于 01-03 10:40 ?545次閱讀

    OpenAI攻克Sora視頻創(chuàng)建錯(cuò)誤率高難題

    人工智能與多媒體技術(shù)的交叉領(lǐng)域,OpenAI近期宣布了項(xiàng)重要進(jìn)展:成功解決了Sora視頻創(chuàng)建過程中錯(cuò)誤率高的問題。這突破不僅標(biāo)志著
    的頭像 發(fā)表于 12-31 10:37 ?443次閱讀

    OpenAI投資道德算法研究

    近日,據(jù)外媒最新報(bào)道,人工智能領(lǐng)域的領(lǐng)軍企業(yè)OpenAI正在積極投資學(xué)術(shù)研究,致力于開發(fā)種能夠預(yù)測人類道德判斷的算法。這
    的頭像 發(fā)表于 11-26 10:20 ?567次閱讀

    嵌入式和人工智能究竟是什么關(guān)系?

    領(lǐng)域,如工業(yè)控制、智能家居、醫(yī)療設(shè)備等。 人工智能是計(jì)算機(jī)科學(xué)的個(gè)分支,它研究如何使計(jì)算機(jī)具備人類
    發(fā)表于 11-14 16:39

    人工智能人類的影響有哪些

    人工智能(AI)作為現(xiàn)代科技的杰出代表,正在以前所未有的速度改變著人類的生活、工作和社會結(jié)構(gòu)。這種影響是全方位的,既帶來了顯著的積極變化,也伴隨著系列挑戰(zhàn)和問題。 、積極影響 工作
    的頭像 發(fā)表于 10-22 17:23 ?5460次閱讀

    Vicor技術(shù)如何改進(jìn)生成式人工智能的供電

    生成式人工智能(genAI)帶來的文化革命可能互聯(lián)網(wǎng)普及一樣人類產(chǎn)生深遠(yuǎn)影響。從您的角度來看,目前情況如何?
    的頭像 發(fā)表于 10-16 09:54 ?648次閱讀
    Vicor技術(shù)如何改進(jìn)生成式<b class='flag-5'>人工智能</b>的供電

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感

    和國際合作等多個(gè)層面。這些內(nèi)容讓我更加認(rèn)識到,在推動(dòng)人工智能與能源科學(xué)融合的過程中,需要不斷探索和創(chuàng)新,以應(yīng)對各種挑戰(zhàn)和機(jī)遇。 最后,通過閱讀這章,我深刻感受到人工智能對于能源科學(xué)的
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    農(nóng)業(yè)、環(huán)保等,為人類社會的可持續(xù)發(fā)展做出貢獻(xiàn)。 總結(jié) 《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章關(guān)于AI與生命科學(xué)的部分,為我們展示了個(gè)充滿希望和機(jī)遇的未來。在這個(gè)未來中,
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得

    深刻認(rèn)識人工智能在推動(dòng)科學(xué)進(jìn)步中的核心價(jià)值。它不僅是科技進(jìn)步的加速器,更是人類智慧拓展的催化劑,引領(lǐng)我們邁向個(gè)更加智慧、高效、持續(xù)的科
    發(fā)表于 10-14 09:12

    risc-v在人工智能圖像處理應(yīng)用前景分析

    RISC-V在人工智能圖像處理領(lǐng)域的應(yīng)用前景十分廣闊,這主要得益于其開源性、靈活性和低功耗等特點(diǎn)。以下是對RISC-V在人工智能圖像處理應(yīng)用前景的詳細(xì)分析: 、RISC-V的基本特點(diǎn) RISC-V
    發(fā)表于 09-28 11:00

    名單公布!【書籍評測活動(dòng)NO.44】AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新

    ! 《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》 這本書便將為讀者徐徐展開AI for Science的美麗圖景,與大家起去了解: 人工智能究竟幫科學(xué)家做了什么? 人工智能
    發(fā)表于 09-09 13:54

    OpenAI人工智能領(lǐng)域發(fā)展勢頭強(qiáng)勁

    北京時(shí)間8月29日,彭博社援引知情人士消息,揭示了OpenAI即將完成其新輪融資的重要進(jìn)展。本輪融資由知名投資機(jī)構(gòu)興盛資本(Thrive Capital)領(lǐng)銜,預(yù)計(jì)估值將突破千億美元大關(guān),標(biāo)志著OpenAI
    的頭像 發(fā)表于 08-29 15:37 ?691次閱讀

    FPGA在人工智能中的應(yīng)用有哪些?

    FPGA(現(xiàn)場可編程門陣列)在人工智能領(lǐng)域的應(yīng)用非常廣泛,主要體現(xiàn)在以下幾個(gè)方面: 、深度學(xué)習(xí)加速 訓(xùn)練和推理過程加速:FPGA可以用來加速深度學(xué)習(xí)的訓(xùn)練和推理過程。由于其高并行性和低延遲特性
    發(fā)表于 07-29 17:05

    人工智能如何改變著各行各樣

    人工智能的風(fēng)起云涌,幾乎顛覆了千行百業(yè)創(chuàng)新的節(jié)奏,今天的人工智能就如同揮舞著“指揮棒”一樣,改變著各行各樣本來的“模樣”。
    的頭像 發(fā)表于 07-19 10:58 ?767次閱讀
    <b class='flag-5'>人工智能</b>如何改變著各行各樣

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品