人工智能在大規(guī)模生物攻擊中的操作風險

人工智能（AI）的快速發(fā)展對多個領(lǐng)域產(chǎn)生了深遠的影響，包括其在先進生物武器開發(fā)中的應(yīng)用潛力。這種應(yīng)用引起了特別的關(guān)注，因為它可以被非國家實體和個人訪問。人工智能技術(shù)的發(fā)展速度往往超過政府監(jiān)管的能力，導(dǎo)致現(xiàn)有政策和法規(guī)存在明顯差距。

2019年發(fā)生的冠狀病毒疾?。ㄐ鹿诜窝祝┮咔槭且粋€恰當?shù)睦樱f明即使是溫和的疫情也可能對全球系統(tǒng)產(chǎn)生毀滅性影響。進一步加劇這一問題的是生物技術(shù)攻防之間的經(jīng)濟失衡。例如，復(fù)活一種類似天花的危險病毒的邊際成本可以低至10萬美元，而開發(fā)一種復(fù)雜的疫苗可能超過10億美元。

以前將生物制劑武器化的嘗試，如奧姆真理教對肉毒桿菌毒素的嘗試，由于缺乏對這種細菌的了解而失敗。然而，人工智能的現(xiàn)有進步可能包含迅速彌合這種知識差距的能力：先進的大型語言模型（LLM）可以提供對潛在疫情病原體的見解，并討論它們的相對優(yōu)勢，給定實際限制。

1.人工智能或者說LLM是如何在生物攻擊中被濫用的？

LLM填補這一知識缺口的潛在能力凸顯了關(guān)注人工智能和生物技術(shù)(尤其是合成生物學(xué))融合的必要性，這可能允許對比野生病原體更嚴重、更致命的病原體進行新的設(shè)計或重組。這一不斷發(fā)展的領(lǐng)域不限于國家運營的生物武器計劃，而是越來越多地進入正式治理框架之外的個人和組織。人工智能和生物技術(shù)的交叉給風險評估帶來了特殊的挑戰(zhàn)。鑒于這些技術(shù)的快速發(fā)展，政府有效理解或監(jiān)管它們的能力有限。

人工智能威脅評估的許多專業(yè)知識都在開發(fā)這些系統(tǒng)的公司內(nèi)部。這阻礙了公眾準確識別這些技術(shù)是否被用于或可能被用于良性或惡意目的的能力。

我們的研究側(cè)重于建立嚴格、透明和普遍適用的方法，以評估與人工智能和生物技術(shù)集成相關(guān)的風險。兩個關(guān)鍵要素強調(diào)了這一重點。首先，隨著前沿人工智能技術(shù)的能力和可用性越來越強，開發(fā)確保這些系統(tǒng)安全可靠的方法至關(guān)重要——特別是防止在創(chuàng)造和部署有害生物制劑方面的潛在濫用。

其次，建立準確的風險評估方法對于公眾信任和建立有效的監(jiān)管框架至關(guān)重要。人工智能開發(fā)社區(qū)缺乏強制性威脅評估以及缺乏標準化的風險評估方法，這加劇了這項研究的必要性。我們的目標是開發(fā)和實施標準化的威脅評估，為政策決策提供信息，并有助于制定穩(wěn)健的監(jiān)管框架，以應(yīng)對人工智能和高級生物威脅交匯處的新興風險。

2.紅隊演習(xí)

人工智能監(jiān)管的最新提案主張由合格的第三方評估者進行嚴格的測試過程。這些評估可以使用紅隊——模仿惡意行為者的專家——他們在各種高風險場景中仔細檢查AI模型。

這些場景可以從人工智能引出武器的設(shè)計到引發(fā)其他非故意的危險行為。紅隊的使用通過將抽象或理論風險與實際、真實世界的后果聯(lián)系起來，增強了評估過程。這一方法步驟對于早期識別和緩解危險能力至關(guān)重要，從而防止?jié)撛诘睦?。我們的研究符合并實施了這種評估方法。

在這次紅隊演習(xí)中，我們的研究小組對大規(guī)模生物襲擊中濫用LLM的相關(guān)風險進行了深入研究。讓我們的項目與眾不同的是，它的重點是確定在這種情況下LLM的現(xiàn)實世界操作影響，旨在超越理論風險，以可操作的見解。我們使用了多學(xué)科的方法來產(chǎn)生直接適用于政策決定和負責任的人工智能開發(fā)的發(fā)現(xiàn)。

我們的研究從檢查生物武器威脅和開發(fā)描述各種現(xiàn)實風險情景的小插圖開始。通過這一過程，我們旨在捕捉惡意行為者的戰(zhàn)略目標，并針對生物武器進行有針對性的評估。

這些短文提供了潛在風險的多維視角，避開了脆弱的單點預(yù)測，并提供了各種可能的未來條件，可以更有力地指導(dǎo)人工智能的發(fā)展和監(jiān)管。

3.在這種背景下，人工智能和邏輯邏輯模型濫用的未來研究途徑是什么？

我們的方法以基于這些插圖的紅隊練習(xí)為中心。研究人員被分成由三個人組成的小組，他們在四個場景中的一個場景中扮演策劃生物攻擊的惡意演員。這些單元被隨機分配不同的資源訪問:只有互聯(lián)網(wǎng)訪問或互聯(lián)網(wǎng)訪問加上兩個LLM助理之一。在這些條件下總共有12個紅單元和兩個額外的深紅色單元。目的是了解LLM工具如何使攻擊計劃更加有效或高效，提供關(guān)于LLM能力和增加風險能力的經(jīng)驗數(shù)據(jù)。

每個團隊都有7個日歷周的時間限制，每個成員的紅隊工作時間不超過80小時。在這些限制條件下，他們需要制定一個作戰(zhàn)攻擊計劃。對于每個紅隊，領(lǐng)導(dǎo)被確定并允許選擇另外兩名隊員。團隊領(lǐng)導(dǎo)被指示建立一個擁有豐富經(jīng)驗和知識的平衡團隊。這一構(gòu)成表明，至少應(yīng)有一名成員具有相關(guān)的生物學(xué)經(jīng)驗，一名成員具有相關(guān)的LLM經(jīng)驗。除了這12個紅色單元，另外兩個單元（稱為深紅色單元）被合并到四個插圖之一。兩個深紅色單元的成員缺乏豐富的LLM或生物學(xué)經(jīng)驗，但有相關(guān)的操作經(jīng)驗。這為我們提供了研究這些領(lǐng)域中已有的知識如何影響LLM可能提供的相對優(yōu)勢的數(shù)據(jù)。分配的細目見表1。

表1 插圖和單元格分配

單元被隨機分配到四個插圖中的一個。然后，他們被隨機分為基線組或兩個LLM組之一?；€組僅在練習(xí)期間有互聯(lián)網(wǎng)接入，而LLM組既有互聯(lián)網(wǎng)接入，又能訪問兩個LLM中的一個。每個小組都被指示制定一份詳細的書面行動計劃（OPLAN ),概述他們將如何在分配給他們的插圖內(nèi)實施生物攻擊。

為了保持單元間的一致性，對工具的使用設(shè)置了某些限制。單元僅限于英語來源，被禁止訪問黑暗網(wǎng)絡(luò)，也不能利用印刷材料。LLM小組通過定制的聊天界面專門與LLM互動。所有研究活動都在一個受保護的網(wǎng)絡(luò)中進行，并有適當?shù)臄?shù)據(jù)保護措施來維護安全性。

在我們正在進行的研究中，每個單元的作戰(zhàn)計劃將由八名安全和生物學(xué)領(lǐng)域的專家進行嚴格評估。評估將使用兩個主要標準：操作可行性和生物可行性?？尚行灾傅氖翘嶙h計劃的實用性，即從操作的角度來看，考慮到插圖中隱含或明確提供的資源，計劃的組成部分有多可行。評估采用9分制，如表2所示，1分表示計劃完全不可行，9分表示計劃沒有任何明顯的缺陷，看起來完全可以實現(xiàn)。

表2 衡量可行性的標準

我們打算使用德爾菲法從主題專家的不同見解中獲益。在為期兩天的現(xiàn)場評審活動之前，每位專家將被要求對每個作戰(zhàn)計劃進行初步評估，重點關(guān)注作戰(zhàn)或生物可行性。在這次活動中，那些得分最高或最低的專家將概述他們的三大理由，而其他專家將討論他們的主要理由。這種結(jié)構(gòu)化的互動旨在激發(fā)對每個計劃屬性的徹底討論，促進專家之間的知識共享，并解決任何模糊或不同的觀點。有了這種更廣泛的理解，專家將被要求提供他們的最終OPLAN分數(shù)。這些明確的評估將作為我們研究核心目標的基礎(chǔ)：評估LLM對生物攻擊的設(shè)計和潛在成功的影響。

我們的研究旨在全面了解LLM被濫用于生物攻擊的相關(guān)風險。我們的目標不僅僅是識別來自LLM的相關(guān)輸出，而是確定這些輸出在實際意義上意味著什么。我們將評估此類輸出是否真正增強了惡意行為者使用生物制劑造成大規(guī)模傷亡的有效性和可能性，或者它們是否與其他類型的在線有害信息具有可比性。

4.初步見解

我們的研究正在進行中，但初步發(fā)現(xiàn)值得關(guān)注。在這一階段，重要的是要澄清，雖然我們正在測試的LLM不會產(chǎn)生明確的生物指令，但它們可以提供指導(dǎo)，幫助規(guī)劃和執(zhí)行生物攻擊。

在一個測試場景中，LLM參與了關(guān)于如何使用生物武器造成大量傷亡的討論(見圖1和圖2)。LLM確定了潛在的病原體，包括天花病毒、流感病毒的工程菌株、炭疽桿菌(炭疽)和鼠疫桿菌(鼠疫)，并討論了它們造成大量死亡的相對可能性。此外，LLM評估了獲取感染鼠疫耶爾森菌的嚙齒動物或跳蚤、運輸和保存活標本以及分發(fā)這些標本的可行性、時間、成本和障礙。LLM還提到，預(yù)計死亡人數(shù)將取決于受影響人口的規(guī)模、應(yīng)對的速度和有效性以及肺鼠疫病例的比例等因素，肺鼠疫比淋巴腺鼠疫更具傳染性和致命性。從LLM中提取這些信息需要一種越獄技術(shù)，因為它最初拒絕討論這些主題。我們在圖1和圖2中提供了這段對話的摘錄，其中的提示沒有透露方法。

圖1 與LLM的對話：瘟疫節(jié)選

在另一個以肉毒桿菌毒素為重點的示例中，LLM提供了對不同傳遞機制（如氣溶膠和食源性方法）的利弊的細致討論。對于食源性投送，LLM認為這種方法簡單易行，但充滿風險，特別是在放置于各種食品中時可能被檢測到以及毒素的穩(wěn)定性。另一方面，氣溶膠方法被認為是迅速影響大量人口的有效方法，盡管它們需要專門的設(shè)備和專門知識。

圖2. 與LLM的對話:肉毒桿菌毒素摘錄

除此之外，LLM對可能的氣溶膠輸送裝置提出了幾個建議，甚至建議了一個貌似合理的封面故事，可用于獲取薄涂梭菌，同時似乎進行合法的科學(xué)研究。

需要注意的是，這些發(fā)現(xiàn)只是暗示了潛在的風險；它們還不能提供真實世界操作影響的全貌。我們研究的持續(xù)性質(zhì)意味著，雖然我們可以確認LLM可以產(chǎn)生相關(guān)文本，但我們已完成的工作旨在描繪這些輸出在操作上意味著什么。具體來說，我們的最終報告將說明這些生成的文本是否是危險的，是否會增強惡意行為者造成廣泛傷害的有效性和可能性，或者它們是否只是提供了不幸的響應(yīng)，并反映了在線上已經(jīng)存在的其他有害信息。

5.結(jié)束語

我們正在進行的研究強調(diào)了人工智能濫用的復(fù)雜性，特別是LLM用于生物攻擊。初步結(jié)果表明，LLM可以產(chǎn)生可能有助于策劃生物攻擊的相關(guān)輸出。然而，除了網(wǎng)上容易獲得的有害信息之外，現(xiàn)有LLM的能力是否代表了新的威脅水平，這仍然是一個懸而未決的問題。

考慮到潛在的風險，嚴格測試的必要性是毋庸置疑的。在某些人將人工智能的威脅等同于核武器的背景下，這一點尤其正確。隨著我們工作的繼續(xù)，我們將致力于我們的研究、分析、發(fā)現(xiàn)和建議的透明度，同時保護敏感信息的機密性和安全性。為了支持正在進行的公共政策討論，我們將隨著研究的進展發(fā)布最新的研究結(jié)果。

網(wǎng)絡(luò)安全社區(qū)長期以來一直雇傭紅隊來測試系統(tǒng)對抗假想的威脅；在機器學(xué)習(xí)和人工智能的背景下，早就應(yīng)該有一個類似的嚴格的評估框架了。通過我們的研究，我們正在建立這一框架，并強調(diào)定期的、經(jīng)驗驅(qū)動的評估對識別和減輕風險的重要性。我們的初步見解表明，LLM可能會提供一些潛在的有害指導(dǎo)，這強調(diào)了探索限制LLM參與此類對話的意愿的機會的必要性。進一步的研究和評估有助于促進人工智能技術(shù)的負責任的開發(fā)和部署。