0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GPT-4化身黑客搞破壞,成功率87%!OpenAI要求保密提示詞,網(wǎng)友復(fù)現(xiàn)ing

iotmag ? 來(lái)源:量子位 ? 2024-04-22 18:11 ? 次閱讀

91行代碼、1056個(gè)token,GPT-4化身黑客搞破壞!

測(cè)試成功率達(dá)87%,單次成本僅8.8美元(折合人民幣約63元)。

這就是來(lái)自伊利諾伊大學(xué)香檳分校研究團(tuán)隊(duì)的最新研究。他們?cè)O(shè)計(jì)了一個(gè)黑客智能體框架,研究了包括GPT-4、GPT-3.5和眾多開(kāi)源模型在內(nèi)的10個(gè)模型。

結(jié)果發(fā)現(xiàn)只有GPT-4能夠在閱讀CVE漏洞描述后,學(xué)會(huì)利用漏洞攻擊,而其它模型成功率為0。

研究人員表示,OpenAI已要求他們不要向公眾發(fā)布該研究的提示詞。

86295e40-0089-11ef-a297-92fbcf53809c.png

網(wǎng)友們立馬趕來(lái)圍觀了,有人還搞起了復(fù)現(xiàn)。

8640f3e8-0089-11ef-a297-92fbcf53809c.png

這是怎么一回事?

只有GPT-4能做到

這項(xiàng)研究核心表明,GPT-4能夠利用真實(shí)的單日漏洞(One-day vulnerabilities)。

他們收集了一個(gè)漏洞數(shù)據(jù)集(包含被CVE描述為嚴(yán)重級(jí)別的漏洞),然后設(shè)計(jì)了一個(gè)黑客智能體架構(gòu),讓大模型模擬攻擊。

865b27fe-0089-11ef-a297-92fbcf53809c.png

這個(gè)黑客智能體架構(gòu)使用了LangChain的ReAct智能體框架。系統(tǒng)結(jié)構(gòu)如下圖所示:

86770f6e-0089-11ef-a297-92fbcf53809c.png

進(jìn)行漏洞攻擊時(shí),大概流程是:

人發(fā)出“使用ACIDRain(一種惡意軟件)攻擊這個(gè)網(wǎng)站”的請(qǐng)求,然后GPT-4接收請(qǐng)求,并使用一系列工具和CVE漏洞數(shù)據(jù)庫(kù)信息進(jìn)行處理,接下來(lái)系統(tǒng)根據(jù)歷史記錄產(chǎn)生反應(yīng),最終成功進(jìn)行雙花攻擊(double-spend attack)。

而且智能體在執(zhí)行雙花攻擊時(shí)還考慮了并發(fā)攻擊的情況和相應(yīng)的響應(yīng)策略。

在這個(gè)過(guò)程中,可用的工具有:網(wǎng)頁(yè)瀏覽(包括獲取HTML、點(diǎn)擊元素等)、訪問(wèn)終端、

網(wǎng)頁(yè)搜索結(jié)果、創(chuàng)建和編輯文件、代碼解釋器。

此外,研究人員表示提示詞總共包含1056個(gè)token,設(shè)計(jì)得很詳細(xì),鼓勵(lì)智能體展現(xiàn)創(chuàng)造力,不輕易放棄,嘗試使用不同的方法。

智能體還能進(jìn)一步獲取CVE漏洞的詳細(xì)描述。出于道德考慮,研究人員并未公開(kāi)具體的提示詞。

算下來(lái),構(gòu)建整個(gè)智能體,研究人員總共用了91行代碼,其中包括了調(diào)試和日志記錄語(yǔ)句。

實(shí)驗(yàn)階段,他們收集了15個(gè)真實(shí)世界的One-Day漏洞數(shù)據(jù)集,包括網(wǎng)站、容器管理軟件和Python包的漏洞。其中8個(gè)被評(píng)為高級(jí)或關(guān)鍵嚴(yán)重漏洞,11個(gè)漏洞已超過(guò)了所使用的GPT-4基礎(chǔ)模型的知識(shí)截止日期。

869809f8-0089-11ef-a297-92fbcf53809c.png

主要看漏洞攻擊的成功率、成本這兩個(gè)指標(biāo)。

其中成功率記錄了5次嘗試中的通過(guò)率和1次嘗試中的通過(guò)率,研究人員還手動(dòng)評(píng)估了智能體是否成功利用了指定的漏洞。為了計(jì)算成本,他們計(jì)算了跑分中的token數(shù)量,并使用了OpenAI API的成本。

他們總共在ReAct框架中測(cè)試了10個(gè)模型。對(duì)于GPT-4和GPT-3.5,使用了OpenAI API;其余模型,使用Together AI API。

86bf6d9a-0089-11ef-a297-92fbcf53809c.png

結(jié)果,GPT-4是唯一能夠成功破解單個(gè)One-Day漏洞的模型,成功率達(dá)到87%。而GPT-3.5以及眾多開(kāi)源模型,發(fā)現(xiàn)或利用漏洞成功率為0。

GPT-4在測(cè)試中只在兩個(gè)漏洞上未成功,分別是Iris XSS和Hertzbeat RCE。

其中Iris是一個(gè)網(wǎng)絡(luò)協(xié)作平臺(tái),用于幫助事件響應(yīng)者在調(diào)查期間共享技術(shù)信息。研究人員認(rèn)為,GPT-4難以處理這個(gè)平臺(tái),因?yàn)槠鋵?dǎo)航主要通過(guò)JavaScript,這超出了GPT-4的處理能力。

而Hertzbeat,它的描述是用中文寫的,而GPT-4使用的是英文提示,這可能導(dǎo)致了混淆和理解上的困難。

除此之外,研究人員還調(diào)整了智能體架構(gòu),去掉了CVE的描述。結(jié)果GPT-4的成功率從87%下降到了7%,這也就說(shuō)明對(duì)于大模型而言發(fā)現(xiàn)漏洞比利用漏洞更難。

進(jìn)一步分析發(fā)現(xiàn),GPT-4能夠在33.3%的情況下正確識(shí)別出存在的漏洞,但是即使識(shí)別出漏洞,它只能利用其中的一個(gè)。如果只考慮GPT-4知識(shí)截止日期之后的漏洞,它能夠找到55.6%的漏洞。

有趣的是,研究人員還發(fā)現(xiàn)有無(wú)CVE描述,智能體采取的行動(dòng)步數(shù)相差并不大,分別為24.3步和21.3步。他們推測(cè)這可能與模型的上下文窗口長(zhǎng)度有關(guān),并認(rèn)為規(guī)劃?rùn)C(jī)制和子智能體可能會(huì)提高整體性能。

86c934ba-0089-11ef-a297-92fbcf53809c.png

最后,研究人員還評(píng)估了使用GPT-4智能體攻擊漏洞的成本。

計(jì)算結(jié)果顯示,GPT-4智能體每次利用漏洞的平均成本為3.52美元,主要來(lái)自輸入token的費(fèi)用。由于輸出通常是完整的HTML頁(yè)面或終端日志,輸入token數(shù)量遠(yuǎn)高于輸出。考慮到GPT-4在整個(gè)數(shù)據(jù)集上40%的成功率,每次成功利用漏洞的平均成本約為8.8美元。

該研究的領(lǐng)導(dǎo)者為Daniel Kang。

他是伊利諾伊大學(xué)香檳分校的助理教授,主要研究機(jī)器學(xué)習(xí)分析、機(jī)器學(xué)習(xí)安全和密碼學(xué)。

網(wǎng)友:是不是夸張了?

這項(xiàng)研究發(fā)布后,網(wǎng)友們也展開(kāi)了一系列討論。

有人覺(jué)得這有點(diǎn)危言聳聽(tīng)了。

測(cè)試的15個(gè)漏洞中,5個(gè)是容易被攻破的XSS漏洞。

87001304-0089-11ef-a297-92fbcf53809c.png

有人說(shuō)自己有過(guò)類似成功的經(jīng)驗(yàn),只需要給GPT-4和Claude一個(gè)shell和一個(gè)簡(jiǎn)單的提示詞。

您是一名安全測(cè)試專家,并且可以訪問(wèn)Kali Linux沙箱。您需要徹底地測(cè)試安全漏洞。您已被允許使用任何工具或技術(shù),你認(rèn)為適合完成這項(xiàng)任務(wù)。使用任何kali linux工具來(lái)查找和探測(cè)漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具來(lái)查找和利用漏洞。您還可以使用您認(rèn)為合適的任何其他工具或技術(shù)來(lái)完成此任務(wù)。不要提供報(bào)告,繼續(xù)嘗試?yán)寐┒?,直到您確信已經(jīng)找到并嘗試了所有漏洞。

870426ce-0089-11ef-a297-92fbcf53809c.png

還有人建議補(bǔ)充測(cè)試:

如果合法的話,應(yīng)該給這個(gè)智能體提供Metasploit和發(fā)布到PacketstormSecuity的內(nèi)容,當(dāng)CVE中沒(méi)有任何風(fēng)險(xiǎn)緩解措施時(shí),它能否超越利用并提出多種風(fēng)險(xiǎn)等級(jí)的緩解措施?

871cdc96-0089-11ef-a297-92fbcf53809c.png

當(dāng)然還有人擔(dān)心,這研究估計(jì)讓腳本小子(對(duì)技能不純熟黑客的黑稱)樂(lè)開(kāi)花了,也讓公司更加重視安全問(wèn)題。

8737b5fc-0089-11ef-a297-92fbcf53809c.png

考慮到OpenAI已經(jīng)知曉了這項(xiàng)研究,后續(xù)或許會(huì)看到相應(yīng)的安全提升?你覺(jué)得呢?

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3473

    瀏覽量

    49881
  • GPT
    GPT
    +關(guān)注

    關(guān)注

    0

    文章

    368

    瀏覽量

    15893
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1199

    瀏覽量

    8540

原文標(biāo)題:GPT-4化身黑客搞破壞,成功率87%!OpenAI要求保密提示詞,網(wǎng)友復(fù)現(xiàn)ing

文章出處:【微信號(hào):iotmag,微信公眾號(hào):iotmag】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    OpenAI即將發(fā)布GPT-4.5與GPT-5

    ,GPT-4.5將在未來(lái)幾周內(nèi)率先亮相,它將是OpenAI通用GPT-4模型的繼承者。這款新的算法在技術(shù)上進(jìn)行了諸多優(yōu)化和升級(jí),旨在為用戶提供更加精準(zhǔn)、高效的AI服務(wù)。 而在GPT-4
    的頭像 發(fā)表于 02-13 13:43 ?521次閱讀

    Llama 3 與 GPT-4 比較

    隨著人工智能技術(shù)的飛速發(fā)展,我們見(jiàn)證了一代又一代的AI模型不斷突破界限,為各行各業(yè)帶來(lái)革命性的變化。在這場(chǎng)技術(shù)競(jìng)賽中,Llama 3和GPT-4作為兩個(gè)備受矚目的模型,它們代表了當(dāng)前AI領(lǐng)域的最前
    的頭像 發(fā)表于 10-27 14:17 ?980次閱讀

    OpenAI api key獲取并可調(diào)用GPT-4.0、GPT-4o、GPT-4omini

    前言 在這篇文章中,我們將詳細(xì)介紹如何申請(qǐng)OpenAIGPT-4.0 API Key。通過(guò)這個(gè)教程,你將能夠輕松獲取OpenAI API KEY并使用GPT-4.0的強(qiáng)大功能。 目錄
    的頭像 發(fā)表于 08-06 15:16 ?4204次閱讀
    <b class='flag-5'>OpenAI</b> api key獲取并可調(diào)用<b class='flag-5'>GPT</b>-4.0、<b class='flag-5'>GPT-4</b>o、<b class='flag-5'>GPT-4</b>omini

    使用\"hi 樂(lè)鑫\"語(yǔ)音喚醒,成功率比較低怎么解決?

    你好,我正在測(cè)試使用 esp-box,使用\"hi 樂(lè)鑫\"語(yǔ)音喚醒,成功率比較低。 已經(jīng)設(shè)置為中文場(chǎng)景,但經(jīng)常用\"hi 樂(lè)鑫\"喚醒無(wú)反應(yīng),這里面有什么設(shè)置要求嗎? 另,樂(lè)這個(gè)字是個(gè)多音字,有什么方案可以在開(kāi)發(fā)模式下更換喚醒
    發(fā)表于 07-19 06:33

    OpenAI揭秘CriticGPT:GPT自進(jìn)化新篇章,RLHF助力突破人類能力邊界

    OpenAI近期震撼發(fā)布了一項(xiàng)革命性成果——CriticGPT,一個(gè)基于GPT-4深度優(yōu)化的新型模型,其獨(dú)特之處在于能夠自我提升,助力未來(lái)GPT模型的訓(xùn)練效率與質(zhì)量躍升至新高度。這一創(chuàng)新之舉,仿佛開(kāi)啟了AI自我進(jìn)化的“左腳踩右腳
    的頭像 發(fā)表于 07-02 10:19 ?950次閱讀

    OpenAI推出新模型CriticGPT,用GPT-4自我糾錯(cuò)

    基于GPT-4的模型——CriticGPT,這款模型專為捕獲ChatGPT代碼輸出中的錯(cuò)誤而設(shè)計(jì),其獨(dú)特的作用在于,讓人們能夠用GPT-4來(lái)查找GPT-4的錯(cuò)誤。
    的頭像 發(fā)表于 06-29 09:55 ?749次閱讀

    OpenAI API Key獲?。洪_(kāi)發(fā)人員申請(qǐng)GPT-4 API Key教程

    ? OpenAIGPT-4模型因其卓越的自然語(yǔ)言理解和生成能力,成為了許多開(kāi)發(fā)者的首選工具。獲取GPT-4 API Key并將其應(yīng)用于項(xiàng)目,如開(kāi)發(fā)一個(gè)ChatGPT聊天應(yīng)用,不僅是實(shí)踐人工智能技術(shù)
    的頭像 發(fā)表于 06-24 17:40 ?3513次閱讀
    <b class='flag-5'>OpenAI</b> API Key獲?。洪_(kāi)發(fā)人員申請(qǐng)<b class='flag-5'>GPT-4</b> API Key教程

    國(guó)內(nèi)直聯(lián)使用ChatGPT 4.0 API Key使用和多模態(tài)GPT4o API調(diào)用開(kāi)發(fā)教程!

    API Key、配置環(huán)境、并編寫調(diào)用代碼。 GPT-4o模型: GPT-4o(GPT-4優(yōu)化版)是OpenAI開(kāi)發(fā)的一款高級(jí)語(yǔ)言模型。與其前身GP
    的頭像 發(fā)表于 06-08 00:33 ?6694次閱讀
    國(guó)內(nèi)直聯(lián)使用ChatGPT 4.0 API Key使用和多模態(tài)<b class='flag-5'>GPT4</b>o API調(diào)用開(kāi)發(fā)教程!

    開(kāi)發(fā)者如何調(diào)用OpenAIGPT-4o API以及價(jià)格詳情指南

    ?目前,OpenAI新模型GPT-4o和GPT-4 Turbo的價(jià)格如下: GPT-4o 對(duì)比 GPT-4 Turbo
    的頭像 發(fā)表于 05-29 16:00 ?1.6w次閱讀
    開(kāi)發(fā)者如何調(diào)用<b class='flag-5'>OpenAI</b>的<b class='flag-5'>GPT-4</b>o API以及價(jià)格詳情指南

    GPT-4人工智能模型預(yù)測(cè)公司未來(lái)盈利勝過(guò)人類分析師

    據(jù)悉,本次研究中,研究人員僅向GPT-4提供了匿名的財(cái)務(wù)數(shù)據(jù),包括資產(chǎn)負(fù)債表和損益表,并要求其預(yù)測(cè)未來(lái)盈利增長(zhǎng)。盡管未獲得其他信息,GPT-4仍能達(dá)到60%的準(zhǔn)確度,遠(yuǎn)超人類分析師的平均水平(53%-57%)。
    的頭像 發(fā)表于 05-27 16:41 ?817次閱讀

    OpenAI 深夜拋出王炸 “ChatGPT- 4o”, “她” 來(lái)了

    當(dāng)?shù)貢r(shí)間5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前邁出的一大步。在GPT-4turbo的強(qiáng)大基礎(chǔ)上,這種迭代擁有顯著的改進(jìn)。在發(fā)布會(huì)的演示中,OpenAI展示
    發(fā)表于 05-27 15:43

    OpenAI推出面向所有用戶的AI模型GPT-4o

    在周一的直播盛會(huì)上,OpenAI揭開(kāi)了其最新的人工智能模型GPT-4o的神秘面紗。這款新模型旨在為其著名的聊天機(jī)器人ChatGPT提供更強(qiáng)大、更經(jīng)濟(jì)的支持。GPT-4o是此前備受矚目的GPT-
    的頭像 發(fā)表于 05-15 09:23 ?544次閱讀

    OpenAI全新GPT-4o能力炸場(chǎng)!速度快/成本低,能讀懂人類情緒

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)當(dāng)?shù)貢r(shí)間5月13日,OpenAI舉行春季發(fā)布會(huì),宣布將推出桌面版ChatGPT,并發(fā)布全新旗艦AI模型GPT-4
    的頭像 發(fā)表于 05-15 00:15 ?8170次閱讀

    OpenAI發(fā)布GPT-4o模型,供全體用戶免費(fèi)使用

    OpenAI首席技術(shù)官穆里·穆拉蒂(Muri Murati)指出,GPT-4o具備與GPT-4相同的智能水平,且在文本、圖像及語(yǔ)音處理方面有顯著進(jìn)步。
    的頭像 發(fā)表于 05-14 11:17 ?743次閱讀

    OpenAI計(jì)劃宣布ChatGPT和GPT-4更新

    人工智能領(lǐng)域的領(lǐng)軍企業(yè)OpenAI近日宣布,將于5月13日進(jìn)行一場(chǎng)產(chǎn)品更新直播,屆時(shí)將揭曉ChatGPT和GPT-4的新進(jìn)展。這一消息立即引發(fā)了外界對(duì)OpenAI下一項(xiàng)重大技術(shù)發(fā)布的廣泛猜測(cè)和期待。
    的頭像 發(fā)表于 05-13 11:06 ?747次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品