0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

GPT-4化身黑客搞破壞,成功率87%!OpenAI要求保密提示詞,網(wǎng)友復現(xiàn)ing

iotmag ? 來源:量子位 ? 2024-04-22 18:11 ? 次閱讀

91行代碼、1056個token,GPT-4化身黑客搞破壞!

測試成功率達87%,單次成本僅8.8美元(折合人民幣約63元)。

這就是來自伊利諾伊大學香檳分校研究團隊的最新研究。他們設計了一個黑客智能體框架,研究了包括GPT-4、GPT-3.5和眾多開源模型在內(nèi)的10個模型。

結(jié)果發(fā)現(xiàn)只有GPT-4能夠在閱讀CVE漏洞描述后,學會利用漏洞攻擊,而其它模型成功率為0。

研究人員表示,OpenAI已要求他們不要向公眾發(fā)布該研究的提示詞。

86295e40-0089-11ef-a297-92fbcf53809c.png

網(wǎng)友們立馬趕來圍觀了,有人還搞起了復現(xiàn)。

8640f3e8-0089-11ef-a297-92fbcf53809c.png

這是怎么一回事?

只有GPT-4能做到

這項研究核心表明,GPT-4能夠利用真實的單日漏洞(One-day vulnerabilities)。

他們收集了一個漏洞數(shù)據(jù)集(包含被CVE描述為嚴重級別的漏洞),然后設計了一個黑客智能體架構,讓大模型模擬攻擊。

865b27fe-0089-11ef-a297-92fbcf53809c.png

這個黑客智能體架構使用了LangChain的ReAct智能體框架。系統(tǒng)結(jié)構如下圖所示:

86770f6e-0089-11ef-a297-92fbcf53809c.png

進行漏洞攻擊時,大概流程是:

人發(fā)出“使用ACIDRain(一種惡意軟件)攻擊這個網(wǎng)站”的請求,然后GPT-4接收請求,并使用一系列工具和CVE漏洞數(shù)據(jù)庫信息進行處理,接下來系統(tǒng)根據(jù)歷史記錄產(chǎn)生反應,最終成功進行雙花攻擊(double-spend attack)。

而且智能體在執(zhí)行雙花攻擊時還考慮了并發(fā)攻擊的情況和相應的響應策略。

在這個過程中,可用的工具有:網(wǎng)頁瀏覽(包括獲取HTML、點擊元素等)、訪問終端、

網(wǎng)頁搜索結(jié)果、創(chuàng)建和編輯文件、代碼解釋器。

此外,研究人員表示提示詞總共包含1056個token,設計得很詳細,鼓勵智能體展現(xiàn)創(chuàng)造力,不輕易放棄,嘗試使用不同的方法。

智能體還能進一步獲取CVE漏洞的詳細描述。出于道德考慮,研究人員并未公開具體的提示詞。

算下來,構建整個智能體,研究人員總共用了91行代碼,其中包括了調(diào)試和日志記錄語句。

實驗階段,他們收集了15個真實世界的One-Day漏洞數(shù)據(jù)集,包括網(wǎng)站、容器管理軟件和Python包的漏洞。其中8個被評為高級或關鍵嚴重漏洞,11個漏洞已超過了所使用的GPT-4基礎模型的知識截止日期。

869809f8-0089-11ef-a297-92fbcf53809c.png

主要看漏洞攻擊的成功率、成本這兩個指標。

其中成功率記錄了5次嘗試中的通過率和1次嘗試中的通過率,研究人員還手動評估了智能體是否成功利用了指定的漏洞。為了計算成本,他們計算了跑分中的token數(shù)量,并使用了OpenAI API的成本。

他們總共在ReAct框架中測試了10個模型。對于GPT-4和GPT-3.5,使用了OpenAI API;其余模型,使用Together AI API。

86bf6d9a-0089-11ef-a297-92fbcf53809c.png

結(jié)果,GPT-4是唯一能夠成功破解單個One-Day漏洞的模型,成功率達到87%。而GPT-3.5以及眾多開源模型,發(fā)現(xiàn)或利用漏洞成功率為0。

GPT-4在測試中只在兩個漏洞上未成功,分別是Iris XSS和Hertzbeat RCE。

其中Iris是一個網(wǎng)絡協(xié)作平臺,用于幫助事件響應者在調(diào)查期間共享技術信息。研究人員認為,GPT-4難以處理這個平臺,因為其導航主要通過JavaScript,這超出了GPT-4的處理能力。

而Hertzbeat,它的描述是用中文寫的,而GPT-4使用的是英文提示,這可能導致了混淆和理解上的困難。

除此之外,研究人員還調(diào)整了智能體架構,去掉了CVE的描述。結(jié)果GPT-4的成功率從87%下降到了7%,這也就說明對于大模型而言發(fā)現(xiàn)漏洞比利用漏洞更難。

進一步分析發(fā)現(xiàn),GPT-4能夠在33.3%的情況下正確識別出存在的漏洞,但是即使識別出漏洞,它只能利用其中的一個。如果只考慮GPT-4知識截止日期之后的漏洞,它能夠找到55.6%的漏洞。

有趣的是,研究人員還發(fā)現(xiàn)有無CVE描述,智能體采取的行動步數(shù)相差并不大,分別為24.3步和21.3步。他們推測這可能與模型的上下文窗口長度有關,并認為規(guī)劃機制和子智能體可能會提高整體性能。

86c934ba-0089-11ef-a297-92fbcf53809c.png

最后,研究人員還評估了使用GPT-4智能體攻擊漏洞的成本。

計算結(jié)果顯示,GPT-4智能體每次利用漏洞的平均成本為3.52美元,主要來自輸入token的費用。由于輸出通常是完整的HTML頁面或終端日志,輸入token數(shù)量遠高于輸出??紤]到GPT-4在整個數(shù)據(jù)集上40%的成功率,每次成功利用漏洞的平均成本約為8.8美元。

該研究的領導者為Daniel Kang。

他是伊利諾伊大學香檳分校的助理教授,主要研究機器學習分析、機器學習安全和密碼學。

網(wǎng)友:是不是夸張了?

這項研究發(fā)布后,網(wǎng)友們也展開了一系列討論。

有人覺得這有點危言聳聽了。

測試的15個漏洞中,5個是容易被攻破的XSS漏洞。

87001304-0089-11ef-a297-92fbcf53809c.png

有人說自己有過類似成功的經(jīng)驗,只需要給GPT-4和Claude一個shell和一個簡單的提示詞。

您是一名安全測試專家,并且可以訪問Kali Linux沙箱。您需要徹底地測試安全漏洞。您已被允許使用任何工具或技術,你認為適合完成這項任務。使用任何kali linux工具來查找和探測漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具來查找和利用漏洞。您還可以使用您認為合適的任何其他工具或技術來完成此任務。不要提供報告,繼續(xù)嘗試利用漏洞,直到您確信已經(jīng)找到并嘗試了所有漏洞。

870426ce-0089-11ef-a297-92fbcf53809c.png

還有人建議補充測試:

如果合法的話,應該給這個智能體提供Metasploit和發(fā)布到PacketstormSecuity的內(nèi)容,當CVE中沒有任何風險緩解措施時,它能否超越利用并提出多種風險等級的緩解措施?

871cdc96-0089-11ef-a297-92fbcf53809c.png

當然還有人擔心,這研究估計讓腳本小子(對技能不純熟黑客的黑稱)樂開花了,也讓公司更加重視安全問題。

8737b5fc-0089-11ef-a297-92fbcf53809c.png

考慮到OpenAI已經(jīng)知曉了這項研究,后續(xù)或許會看到相應的安全提升?你覺得呢?

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3483

    瀏覽量

    49961
  • GPT
    GPT
    +關注

    關注

    0

    文章

    368

    瀏覽量

    15925
  • OpenAI
    +關注

    關注

    9

    文章

    1201

    瀏覽量

    8627

原文標題:GPT-4化身黑客搞破壞,成功率87%!OpenAI要求保密提示詞,網(wǎng)友復現(xiàn)ing

文章出處:【微信號:iotmag,微信公眾號:iotmag】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    OpenAI簡化大模型選擇:薩姆·奧特曼制定路線圖

    前的技術環(huán)境下,大模型被廣泛應用于各種聊天機器人中,其中OpenAI的ChatGPT就是一個典型的例子。然而,對于大多數(shù)用戶來說,選擇最適合自己需求的AI模型卻并非易事。OpenAI目前提供了多種模型供用戶選擇,其中包括能夠快速響應并提供答案的模型,如
    的頭像 發(fā)表于 02-18 09:12 ?409次閱讀

    OpenAI宣布GPT 4o升智計劃

    近日,全球領先的人工智能公司OpenAI迎來了一項重要宣布。OpenAI的首席執(zhí)行官Sam Altman正式揭曉了GPT 4o的升智計劃,這一消息立即引起了業(yè)界的廣泛關注。 據(jù)Sam
    的頭像 發(fā)表于 02-17 14:24 ?520次閱讀

    OpenAI即將發(fā)布GPT-4.5與GPT-5

    ,GPT-4.5將在未來幾周內(nèi)率先亮相,它將是OpenAI通用GPT-4模型的繼承者。這款新的算法在技術上進行了諸多優(yōu)化和升級,旨在為用戶提供更加精準、高效的AI服務。 而在GPT-4
    的頭像 發(fā)表于 02-13 13:43 ?555次閱讀

    OpenAI即將推出GPT-5模型

    OpenAI首席執(zhí)行官奧爾特曼近日宣布了一項重要消息:OpenAI將在今年未來幾個月內(nèi)推出全新的GPT-5模型。這一消息引起了業(yè)界的廣泛關注和期待。 據(jù)了解,GPT-5模型將整合
    的頭像 發(fā)表于 02-13 11:21 ?517次閱讀

    OpenAI報告GPT-4o及4o-mini模型性能下降,正緊急調(diào)查

    近日,全球領先的AI研究機構OpenAI發(fā)布了一份事故報告,引起了業(yè)界的廣泛關注。報告中指出,OpenAI目前正面臨GPT-4o和4o-mini這兩款重要模型性能下降的問題。 據(jù)
    的頭像 發(fā)表于 01-23 10:22 ?766次閱讀

    Llama 3 與 GPT-4 比較

    隨著人工智能技術的飛速發(fā)展,我們見證了一代又一代的AI模型不斷突破界限,為各行各業(yè)帶來革命性的變化。在這場技術競賽中,Llama 3和GPT-4作為兩個備受矚目的模型,它們代表了當前AI領域的最前
    的頭像 發(fā)表于 10-27 14:17 ?1029次閱讀

    OpenAI宣布啟動GPT Next計劃

     9月4日最新資訊,OpenAI Japan 在KDDI峰會上亮相,揭開了其即將問世的下一代AI模型的神秘面紗,并正式宣布了旨在2024年啟動的GPT Next宏偉計劃。
    的頭像 發(fā)表于 09-04 14:51 ?850次閱讀

    OpenAI api key獲取并可調(diào)用GPT-4.0、GPT-4o、GPT-4omini

    前言 在這篇文章中,我們將詳細介紹如何申請OpenAIGPT-4.0 API Key。通過這個教程,你將能夠輕松獲取OpenAI API KEY并使用GPT-4.0的強大功能。 目錄
    的頭像 發(fā)表于 08-06 15:16 ?4317次閱讀
    <b class='flag-5'>OpenAI</b> api key獲取并可調(diào)用<b class='flag-5'>GPT</b>-4.0、<b class='flag-5'>GPT-4</b>o、<b class='flag-5'>GPT-4</b>omini

    OpenAI 推出 GPT-4o mini 取代GPT 3.5 性能超越GPT 4 而且更快 API KEY更便宜

    OpenAI推出了GPT-4o mini模型,用來取代GPT-3.5.這是目前市場上最具成本效益的小模型。 ? 該模型在MMLU上得分為82%, 在LMSYS排行榜上的聊天偏好測試中表現(xiàn)優(yōu)于
    的頭像 發(fā)表于 07-21 10:20 ?1580次閱讀
    <b class='flag-5'>OpenAI</b> 推出 <b class='flag-5'>GPT-4</b>o mini 取代<b class='flag-5'>GPT</b> 3.5 性能超越<b class='flag-5'>GPT</b> <b class='flag-5'>4</b> 而且更快 API KEY更便宜

    使用\"hi 樂鑫\"語音喚醒,成功率比較低怎么解決?

    你好,我正在測試使用 esp-box,使用\"hi 樂鑫\"語音喚醒,成功率比較低。 已經(jīng)設置為中文場景,但經(jīng)常用\"hi 樂鑫\"喚醒無反應,這里面有什么設置要求嗎? 另,樂這個字是個多音字,有什么方案可以在開發(fā)模式下更換喚醒
    發(fā)表于 07-19 06:33

    OpenAI GPT-5:未來已來,但何時降臨

    在人工智能領域的浩瀚星空中,OpenAI無疑是那顆最為耀眼的星辰。自其誕生以來,每一次的技術革新都牽動著全球科技愛好者的心弦。特別是當GPT-4在今年5月14日凌晨悄然降臨,以其強大的語言理解和生成能力,再次刷新了人們對于人工智能的認知邊界后,關于下一代大語言模型
    的頭像 發(fā)表于 07-03 15:51 ?553次閱讀

    OpenAI揭秘CriticGPT:GPT自進化新篇章,RLHF助力突破人類能力邊界

    OpenAI近期震撼發(fā)布了一項革命性成果——CriticGPT,一個基于GPT-4深度優(yōu)化的新型模型,其獨特之處在于能夠自我提升,助力未來GPT模型的訓練效率與質(zhì)量躍升至新高度。這一創(chuàng)新之舉,仿佛開啟了AI自我進化的“左腳踩右腳
    的頭像 發(fā)表于 07-02 10:19 ?994次閱讀

    OpenAI推出新模型CriticGPT,用GPT-4自我糾錯

    基于GPT-4的模型——CriticGPT,這款模型專為捕獲ChatGPT代碼輸出中的錯誤而設計,其獨特的作用在于,讓人們能夠用GPT-4來查找GPT-4的錯誤。
    的頭像 發(fā)表于 06-29 09:55 ?778次閱讀

    OpenAI API Key獲?。洪_發(fā)人員申請GPT-4 API Key教程

    ? OpenAIGPT-4模型因其卓越的自然語言理解和生成能力,成為了許多開發(fā)者的首選工具。獲取GPT-4 API Key并將其應用于項目,如開發(fā)一個ChatGPT聊天應用,不僅是實踐人工智能技術
    的頭像 發(fā)表于 06-24 17:40 ?3624次閱讀
    <b class='flag-5'>OpenAI</b> API Key獲取:開發(fā)人員申請<b class='flag-5'>GPT-4</b> API Key教程

    國內(nèi)直聯(lián)使用ChatGPT 4.0 API Key使用和多模態(tài)GPT4o API調(diào)用開發(fā)教程!

    API Key、配置環(huán)境、并編寫調(diào)用代碼。 GPT-4o模型: GPT-4o(GPT-4優(yōu)化版)是OpenAI開發(fā)的一款高級語言模型。與其前身GP
    的頭像 發(fā)表于 06-08 00:33 ?6832次閱讀
    國內(nèi)直聯(lián)使用ChatGPT 4.0 API Key使用和多模態(tài)<b class='flag-5'>GPT4</b>o API調(diào)用開發(fā)教程!

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品