生成式人工智能模型的安全可信評測

近些年來，生成式人工智能技術(shù)取得了飛躍發(fā)展。隨著各式各樣的大模型不斷迭代升級，從一般通用生成能力，到各種專有領(lǐng)域的細(xì)分能力，再到更注重與用戶的實(shí)際交互，大模型的各項(xiàng)能力顯著提升，人工智能應(yīng)用越來越受到關(guān)注。但當(dāng)前大模型仍然面臨可信瓶頸，無法開展大規(guī)模應(yīng)用。大模型的安全可信受到高度關(guān)注，國內(nèi)外已經(jīng)有多項(xiàng)法規(guī)與標(biāo)準(zhǔn)快速制定并落地。本文以層次化的結(jié)構(gòu)，構(gòu)建了生成式人工智能的安全可信評測體系，分別從物理可信度、安全可靠度、偽造可察度三個(gè)維度來評估現(xiàn)有大模型的安全可信水平。評測對象涵蓋了文生圖模型、文生視頻模型、視覺大語言模型等多種生成式模型，并根據(jù)相關(guān)評測結(jié)果指出了這些模型存在的改進(jìn)空間，為生成式人工智能實(shí)現(xiàn)規(guī)?；瘧?yīng)用提供安全可信指南。

生成式人工智能（Generative AI）作為人工智能的一個(gè)重要分支，通過學(xué)習(xí)大量的數(shù)據(jù)形成涌現(xiàn)能力，能夠自主生成內(nèi)容，在多模態(tài)對話、圖像生成、視頻生成等多個(gè)領(lǐng)域取得了令人矚目的進(jìn)展。近年來，隨著預(yù)訓(xùn)練技術(shù)的發(fā)展和計(jì)算資源的提升，以GPT、DALLE、Sora等為代表的多模態(tài)生成大模型飛速發(fā)展，展現(xiàn)了讓人眼前一亮的效果。由此，生成式人工智能不僅在學(xué)術(shù)研究中激起了千層浪，也在實(shí)際應(yīng)用中展示了巨大的潛力，逐漸融入了人們的日常生活。例如，多模態(tài)對話生成在文字提取、聊天機(jī)器人和語言翻譯任務(wù)中受到廣大用戶的青睞；圖像、視頻生成技術(shù)助力了新媒體行業(yè)，被廣泛應(yīng)用于藝術(shù)創(chuàng)作、廣告設(shè)計(jì)和電影特效中；在具身智能中，大語言生成模型可以為機(jī)器人的動(dòng)作提供具身指令，賦予機(jī)器人更具規(guī)劃性的決策能力；在醫(yī)療生物研究中，生成式人工智能幫助預(yù)測蛋白質(zhì)結(jié)構(gòu)、分析醫(yī)學(xué)影像，為科學(xué)發(fā)現(xiàn)提供了新的工具。 隨著生成式人工智能逐漸步入社會(huì)日常生活，人工智能的安全可信程度成為了國際關(guān)注的焦點(diǎn)。國內(nèi)外的人工智能安全事件導(dǎo)致輿論頻發(fā)，例如，人工智能換臉的圖片、視頻被詬病已久，造成了社會(huì)的虛假信息傳播與名譽(yù)損害；經(jīng)典的惡意攻擊“如何制造一個(gè)炸彈”也會(huì)被大模型直接回答，一旦被不法人士利用則會(huì)為犯罪提供可乘之機(jī)；一些用于教育、科普性質(zhì)的人工智能視頻也經(jīng)常出現(xiàn)常識錯(cuò)誤，不符合物理世界的規(guī)律，錯(cuò)誤視頻在網(wǎng)絡(luò)上傳播很容易影響未成年人的認(rèn)知。不安全、不可信的輸出成為了生成式人工智能面臨的重要挑戰(zhàn)。

面對這一挑戰(zhàn)，學(xué)術(shù)界、工業(yè)界、國際社會(huì)都采取了相關(guān)措施來發(fā)掘并彌補(bǔ)大模型的安全問題?？蒲腥藛T建立了許多安全可信的評測基準(zhǔn)，衡量生成式人工智能模型對不安全內(nèi)容的敏感度；OpenAI也制定了許多針對安全、隱私的政策，來限制GPT的有害響應(yīng)；2023年7月14日，國家互聯(lián)網(wǎng)信息辦公室聯(lián)合國家發(fā)展和改革委員會(huì)等部門發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》并實(shí)施，這是世界上第一個(gè)有關(guān)生成式人工智能的成文法；2024年3月13日，歐盟議會(huì)審議通過《人工智能法案》，國內(nèi)外對于人工智能領(lǐng)域安全可信的監(jiān)管均邁入全新時(shí)代。

在這種情況下，生成式人工智能的安全可信程度究竟在哪些方面還需要改進(jìn)，是一個(gè)需要不斷探索的話題。只有知己知彼，才能使大模型的安全可信之戰(zhàn)獲得充分保障，才能為生成式人工智能的發(fā)展提出有效指引，催生出更強(qiáng)大的社會(huì)化人工智能。因此，本文提出了一個(gè)層次化的生成式人工智能安全可信評測體系，從多個(gè)安全可信維度進(jìn)行構(gòu)建，旨在為大模型的規(guī)?；瘧?yīng)用提供堅(jiān)實(shí)的安全保障。具體來說，如圖1所示，我們對生成式大模型進(jìn)行三維度的評測：物理可信度、安全可靠度和偽造可察度，每個(gè)維度還有許多細(xì)分的子維度。物理可信度涵蓋力學(xué)、光學(xué)、材料學(xué)、熱學(xué)；安全可靠度涵蓋一般符號、名人隱私、NSFW問題；偽造可察度涵蓋偽造模態(tài)、偽造語義、偽造任務(wù)、偽造類型、偽造模型等子維度，而且每個(gè)子維度都有更深層次的細(xì)分內(nèi)容。我們的評測對象涵蓋了文生視頻（T2V）模型、文生圖（T2I）模型、視覺大語言模型（LVLMs）等多種生成式模型。通過這種全面的層次化安全可信評測，我們得出了評測結(jié)果并進(jìn)行深入分析，不僅揭示了大模型的安全弱點(diǎn)，還針對生成式人工智能模型的改進(jìn)方向提出了建議，以促進(jìn)生成式人工智能在各社會(huì)領(lǐng)域的安全有效應(yīng)用，確保技術(shù)進(jìn)步同時(shí)帶來的是可控和可信的社會(huì)影響。

物理可信度

隨著各種各樣生成模型面世，越來越多的人開始用人工智能創(chuàng)作圖片、視頻，并在互聯(lián)網(wǎng)上發(fā)布與傳播。當(dāng)人工智能作品的受眾越來越廣時(shí)，人工智能作品的可信度與準(zhǔn)確度就成為了發(fā)展的關(guān)鍵。T2V（例如Sora 等可視化時(shí)間與場景變換的工具）越來越被視為構(gòu)建物理世界通用模擬器的一條有前途的道路。認(rèn)知心理學(xué)認(rèn)為，直覺物理學(xué)對于模擬現(xiàn)實(shí)世界至關(guān)重要，正如人類嬰兒的學(xué)習(xí)過程。因此，視頻生成首先應(yīng)該能夠準(zhǔn)確地再現(xiàn)簡單但基本的內(nèi)容物理現(xiàn)象，提高生成內(nèi)容的現(xiàn)實(shí)可信度。

然而，即使是在大量資源上訓(xùn)練的最先進(jìn)的T2V模型在正確生成簡單物理現(xiàn)象時(shí)也會(huì)遇到困難，如圖2（a）的光學(xué)例子所示，模型可能無法理解水面應(yīng)該有倒影。這個(gè)明顯的缺陷表明當(dāng)前視頻生成模型與人類對基礎(chǔ)物理的理解之間存在巨大差距，揭示了這些模型的物理可信度存在漏洞，它們距離真實(shí)世界模擬器還有比較長的一段距離。因此，評估當(dāng)前T2V模型的各種物理可信程度變得很重要，這有助于指引生成式人工智能的未來改進(jìn)方向，這也需要開發(fā)超越傳統(tǒng)指標(biāo)的綜合評估框架。

基于這一物理不可信的背景，我們提出PhyGenBench和PhyGenEval來自動(dòng)評估T2V模型的物理常識理解能力。PhyGenBench旨在根據(jù)文本到視頻生成中的基本物理定律評估物理常識。受此啟發(fā)，我們將世界上的物理常識分為4個(gè)主要領(lǐng)域：力學(xué)、光學(xué)、熱學(xué)和材料特性。我們發(fā)現(xiàn)每個(gè)類別都有重要的物理定律和易于觀察的物理現(xiàn)象，從而在擬議的基準(zhǔn)中產(chǎn)生了全面的27條物理定律和160個(gè)經(jīng)過驗(yàn)證的提示。具體來說，從基本物理定律開始，通過集思廣益，我們使用教科書等來源構(gòu)建了可以輕松反映物理定律的提示。這個(gè)過程產(chǎn)生了一套全面但簡單的提示，反映了物理常識，對于評估來說足夠清晰。

另一方面，受益于PhyGenBench提示中簡單而清晰的物理現(xiàn)象，我們提出了PhyGenEval，這是一種新穎的視頻評估框架，用于在PhyGenBench中評估物理常識的正確性。如圖3所示，PhyGenEval首先使用GPT-4o來分析文本中的物理定律，解決基于視頻的VLM中對物理常識理解不足的問題。此外，考慮到以前的評估指標(biāo)沒有專門針對物理正確性，我們提出了三層分層評估策略，從基于圖像的分析過渡到綜合視頻分析：單圖像、多圖像和全視頻階段。每個(gè)階段都采用不同的VLM以及GPT-4o生成的自定義指令來形成判斷。通過結(jié)合PhyGenBench和PhyGenEval，我們可以有效地大規(guī)模評估不同T2V模型對物理常識的理解，產(chǎn)生與人類反饋高度一致的結(jié)果。

在物理可信度上，通過PhyGen-Bench與PhyGenEval，我們對流行的T2V模型進(jìn)行了廣泛的評估，發(fā)現(xiàn)了幾個(gè)關(guān)鍵現(xiàn)象和結(jié)論：①即使是性能最好的模型Gen-3，得分也僅為0.51。這表明當(dāng)前的模型還遠(yuǎn)未達(dá)到世界模擬器的功能。②PhyGenEval主要關(guān)注物理正確性，并且對影響視覺質(zhì)量的其他因素具有魯棒性。此外，即使模型可以生成具有更好的一般質(zhì)量的視頻，也并不意味著它對物理常識有更好的理解。③快速工程或者放大T2V模型可以解決一些問題，但仍然無法處理動(dòng)態(tài)物理現(xiàn)象，這可能需要對合成數(shù)據(jù)進(jìn)行大量的訓(xùn)練。

根據(jù)評估結(jié)果，我們發(fā)現(xiàn)生成視頻的物理可信度還存在著較大不足。我們希望這項(xiàng)工作能夠激勵(lì)社區(qū)專注于學(xué)習(xí)T2V模型中的物理常識，而不僅僅是將它們用作娛樂工具。

安全可靠度

除了基本的生成內(nèi)容是否可信合理，生成內(nèi)容是否安全可靠更是一個(gè)嚴(yán)峻的問題。這個(gè)問題的危害在T2I模型中就能直接體現(xiàn)出來。文本到圖像生成技術(shù)近年來引起了廣泛關(guān)注，可以通過任意人類書寫的提示詞生成圖像，受到了前所未有的歡迎。文本到圖像生成技術(shù)的快速發(fā)展推動(dòng)了T2I模型的誕生，像Stable Diffusion、Civitai社區(qū)，還有DALL-E和Midjourney等閉源API，都吸引了大量藝術(shù)創(chuàng)作者和商業(yè)人士，展現(xiàn)出了巨大的商業(yè)潛力和收入前景。

隨著圖片創(chuàng)作這項(xiàng)技能被T2I模型賦能到每個(gè)用戶身上，社會(huì)越來越追求保障T2I模型的安全。目前，已經(jīng)有不少政策約束措施應(yīng)運(yùn)而生，旨在防止生成有害內(nèi)容。然而，盡管這些現(xiàn)有的安全措施取得了一定進(jìn)展，但惡意人士對于T2I模型的攻擊也日漸復(fù)雜與深入。我們發(fā)現(xiàn)了目前T2I模型安全措施方面的一個(gè)顯著弱點(diǎn)：這些措施主要針對顯式文本提示，即目標(biāo)對象在文本中被直接明確指出的情形。但是更復(fù)雜的隱式文本提示還有待探究，即那些沒有明確指出目標(biāo)物體但給出間接描述的提示。

因此，對于生成式人工智能的安全可靠性方面，我們通過隱式文本提示來深入探討更復(fù)雜的危險(xiǎn)攻擊。如圖2（b）所示，我們首先考慮“一般符號”，即地標(biāo)、標(biāo)志、食物等常見符號，用于初步評估模型對于隱式文本提示的理解程度。我們發(fā)現(xiàn)T2I模型確實(shí)能夠通過隱式文本提示生成所期望的語義內(nèi)容。此外，我們重點(diǎn)關(guān)注隱式文本提示的危害方面，主要是“名人隱私”和“NSFW問題”（Not Safe for Work）。名人隱私方面，DALLE配備了禁止生成名人圖片的隱私政策，因此直接輸入邁克爾·杰克遜的名字是會(huì)被拒絕響應(yīng)的。但是，使用隱式文本提示描述名人時(shí)，T2I模型能夠正常生成邁克爾·杰克遜的圖像，這可能導(dǎo)致虛假信息的傳播，損害公眾人物的聲譽(yù)。而在NSFW問題方面，當(dāng)血腥暴力內(nèi)容的提示改寫成隱式文本提示“butcher artwork by ben templesmith”時(shí)，T2I模型并不能過濾掉這些隱式的危險(xiǎn)關(guān)鍵詞，仍然生成了血腥暴力的圖像，帶來嚴(yán)重的社會(huì)風(fēng)險(xiǎn)。這些情形表明，隱式文本提示能夠有效逃避目前大多數(shù)T2I模型的安全防護(hù)機(jī)制，給攻擊者可乘之機(jī)，生成有害圖像。

基于這一不安全的背景，我們針對生成式人工智能的安全可靠性，提出了一個(gè)新的隱式文本提示基準(zhǔn)ImplicitBench，對T2I模型在隱式文本提示下的表現(xiàn)進(jìn)行了系統(tǒng)性研究。具體來說，ImplicitBench主要關(guān)注隱式文本提示的三個(gè)方面：一般符號、名人隱私和NSFW問題。如圖4所示，研究的工作流程可以概括如下：首先，我們收集了一個(gè)包含超過2000個(gè)隱式文本提示的數(shù)據(jù)集，涵蓋三個(gè)方面的內(nèi)容，并包含二十多個(gè)子類別；接著，我們利用三個(gè)開源T2I模型和三個(gè)封閉源T2I API，基于我們的ImplicitBench，生成了大量圖像；然后，我們設(shè)計(jì)了ImplicitEval的評估框架，包括三種評估方法，以判斷特定隱式文本提示生成的圖像是否準(zhǔn)確地反映了其隱含的顯式內(nèi)容，并計(jì)算出三方面的定量準(zhǔn)確率。如圖4所示，對于一般符號，我們采用GPT-4V來評估生成的圖像是否顯示指定的符號；對于名人隱私，我們使用利用傳統(tǒng)的人臉驗(yàn)證模型Arcface作為識別器，收集了對應(yīng)名人的真實(shí)照片作為參考；對于NSFW問題，我們使用由Stable Diffusion提供的內(nèi)置安全檢查器和一個(gè)專用不安全圖片分類器作為雙重評估方法。

在安全可靠度上，通過Implicit-Bench與ImplicitEval，我們對流行的T2I模型進(jìn)行了全面評估，得到了以下結(jié)論。①一般符號：T2I模型在一定程度上能夠生成符合隱式文本提示所隱含的象征意義的圖像，這一能力與生成圖像的質(zhì)量和文本與圖像之間的一致性呈正相關(guān)，且閉源T2I API的表現(xiàn)普遍較好；②名人隱私：實(shí)驗(yàn)結(jié)果表明，T2I模型更容易生成侵犯知名度較高名人隱私的圖像，并且隱式文本提示可以逃脫當(dāng)前隱私政策的防御，可能帶來虛假信息的傳播和個(gè)人聲譽(yù)的損害；③NSFW問題：隱式文本提示能夠繞過大多數(shù)T2I模型的安全過濾器，雖然它們本身看似無害，但卻能生成有害的NSFW內(nèi)容。相較于DALL-E系列，Midjourney在安全性方面表現(xiàn)更為突出，更能識別NSFW隱含意義并防止有害內(nèi)容的生成。此外，相比普通詞匯，某些專業(yè)術(shù)語、對身體部位的過度詳細(xì)特寫，以及具有歧義或多重含義的詞匯，更容易導(dǎo)致生成NSFW內(nèi)容。

總的來說，ImplicitBench旨在評測生成式人工智能的安全可靠性，引起T2I社區(qū)對更復(fù)雜的有害攻擊的更多關(guān)注。我們發(fā)現(xiàn)，現(xiàn)有的安全策略可能無法有效應(yīng)對隱式文本提示，因此，由隱式文本提示推導(dǎo)出的隱私和NSFW問題應(yīng)該引起足夠重視。未來，針對隱式文本提示的防范機(jī)制亟待進(jìn)一步研究和完善，以提升生成式工智能的安全可靠性。

偽造可察度

近年來，隨著人工智能生成內(nèi)容技術(shù)的快速發(fā)展，創(chuàng)造假媒體的門檻已顯著降低，普通大眾也能輕松制作假媒體。因此，各種合成媒體大量涌入互聯(lián)網(wǎng)，給政治、法律和社會(huì)安全帶來了前所未有的威脅，例如惡意傳播深度偽造視頻和虛假信息等。為了應(yīng)對這種情況，研究人員提出了許多偽造檢測方法，旨在盡可能地篩選出合成媒體。然而，現(xiàn)如今的合成媒體可以非常多樣化，可能包括不同的模態(tài)，表現(xiàn)各種語義，并由不同的人工智能模型創(chuàng)建或操控。因此，設(shè)計(jì)一個(gè)具有全面辨識能力的通用偽造檢測器成為人工智能生成內(nèi)容新時(shí)代中的一項(xiàng)關(guān)鍵且緊迫的任務(wù)，給研究界帶來了重大挑戰(zhàn)。 同時(shí)，LVLMs在多種多模態(tài)任務(wù)中取得了顯著進(jìn)展，例如視覺識別和視覺描述，這重新點(diǎn)燃了人工通用智能的討論。這些出色的泛化能力使得LVLMs成為區(qū)分日益多樣化的合成媒體的有力工具。然而，仍然缺乏一個(gè)全面的評估基準(zhǔn)來評估LVLMs識別合成媒體的能力，這限制了LVLMs在偽造檢測中的應(yīng)用，進(jìn)一步阻礙了LVLMs朝著人工通用智能的下一個(gè)階段發(fā)展。為此，一些研究工作嘗試通過不同的評估基準(zhǔn)填補(bǔ)這一空白，但它們僅覆蓋了有限范圍的合成媒體。

基于這一偽造泛濫但難以監(jiān)察的背景，我們引入了Forensics-Bench，這是一個(gè)新的偽造檢測基準(zhǔn)套件，用于全面評估LVLMs在偽造檢測中的能力。為此，F(xiàn)orensics-Bench經(jīng)過精心策劃，覆蓋了盡可能多樣化的偽造類型，包括63K個(gè)多選視覺問題，并統(tǒng)計(jì)涵蓋了112種獨(dú)特的偽造檢測類型。具體來說，F(xiàn)orensics-Bench的廣度涵蓋了5個(gè)方面：①不同的偽造模態(tài)，包括RGB圖像、近紅外圖像、視頻和文本；②涵蓋各種語義，包括人類主體和其他一般主體；③由不同的人工智能模型創(chuàng)建/操控，如GANs、擴(kuò)散模型、VAE等；④各種任務(wù)類型，包括偽造二分類、偽造空間定位和偽造時(shí)間定位；⑤多樣的偽造類型，如面部交換、面部屬性編輯、面部重演等。Forensics-Bench中的這種多樣性要求LVLMs具備全面的辨識能力，能夠識別各種偽造，突顯了人工智能生成內(nèi)容技術(shù)目前所帶來的重大挑戰(zhàn)。圖2（c）便是一些不同的圖片、文本、視頻偽造的例子。

在實(shí)驗(yàn)中，我們使用評測平臺OpenCompass，并遵循了之前的研究進(jìn)行評估：首先，我們手工檢查選項(xiàng)是否出現(xiàn)在LVLMs的回答中；然后，我們手動(dòng)檢查選項(xiàng)內(nèi)容是否出現(xiàn)在LVLMs的回答中；最終，我們求助于ChatGPT幫助提取匹配選項(xiàng)。如果以上提取都失敗，我們將模型的答案設(shè)為Z。

在偽造可察度上，我們通過Foren-sics-Bench 評估了22個(gè)公開可用的LVLMs和3個(gè)專有模型。實(shí)驗(yàn)結(jié)果表明LVLMs在不同偽造檢測類型上的表現(xiàn)存在顯著差異，揭示了它們能力的局限性。我們總結(jié)了以下發(fā)現(xiàn)：①偽造基準(zhǔn)Forensics-Bench對LVLMs提出了顯著挑戰(zhàn)，其中表現(xiàn)最好的模型僅實(shí)現(xiàn)了66.7%的總體準(zhǔn)確率，突顯了穩(wěn)健偽造檢測的獨(dú)特難度。②在各種偽造類型中，LVLMs的表現(xiàn)存在顯著偏差：它們在某些偽造類型（如欺騙和風(fēng)格轉(zhuǎn)換）上表現(xiàn)優(yōu)異（接近100%），但在其他類型上表現(xiàn)較差（低于55%），如面部交換（多個(gè)面孔）和面部編輯等。這一結(jié)果揭示了LVLMs在不同偽造類型上的部分理解。③在不同的偽造檢測任務(wù)中，LVLMs通常在分類任務(wù)上表現(xiàn)更好，而在空間和時(shí)間定位任務(wù)上表現(xiàn)較差。④對于由流行人工智能模型合成的偽造，我們發(fā)現(xiàn)當(dāng)前的LVLMs在擴(kuò)散模型生成的偽造上表現(xiàn)更好，而對GANs生成的偽造檢測較差。這些結(jié)果暴露了LVLMs在區(qū)分不同人工智能模型生成的偽造時(shí)的局限性。 總體而言，針對偽造可察度，我們通過Forensics-Bench發(fā)現(xiàn)了LVLMs在區(qū)分人工智能生成的偽造內(nèi)容時(shí)存在局限性，更深入地了解了LVLMs對于偽造內(nèi)容的敏感度。

面對生成式人工智能的持續(xù)發(fā)展，確保大模型的安全可信水平是其邁向社會(huì)化的必經(jīng)之路。只有構(gòu)建了全面的安全可信評測體系，才能深度掌握生成式人工智能的安全漏洞，為改進(jìn)模型提供切實(shí)可行的安全指南。

安全可信評測體系需要多維度、多層次地構(gòu)建，才能模擬大模型在面對成千上萬用戶時(shí)的不同場景，從而有效預(yù)防可能出現(xiàn)的安全風(fēng)險(xiǎn)。因此，我們所提出的評測體系圍繞生成式人工智能的物理可信度、安全可靠度、偽造可察度這三個(gè)維度，且都是關(guān)注其中更為復(fù)雜隱晦的安全問題。評測結(jié)果表明，這三個(gè)維度存在一些容易被大模型忽略的問題，造成不可控的安全可信風(fēng)險(xiǎn)，體現(xiàn)了目前大模型的安全防范仍然比較脆弱。針對實(shí)驗(yàn)結(jié)果的分析，我們還對大模型的物理可信度、安全可靠度、偽造可察度提出了一些改進(jìn)建議。希望我們的安全可信評測能為大模型的防護(hù)與改進(jìn)帶來思考與啟發(fā)，從而實(shí)現(xiàn)生成式人工智能安全化的進(jìn)一步飛躍。

放眼未來，生成式人工智能的版圖必將持續(xù)擴(kuò)大，人們的生活方式也會(huì)隨之發(fā)生日新月異的改變。要想讓大模型以我為主、為我所用，我們就必須確保大模型的安全與可信，這樣生成式人工智能才能平穩(wěn)和諧地融入日常生活，與我們一起推動(dòng)社會(huì)向前發(fā)展與進(jìn)步，走向更智能、更便捷的新時(shí)代。