如何使用Dioptra工具進行AI模型的加固

人工智能和機器學習在安全中的應用是一個屢見不鮮的話題，同樣在RSAC2022大會中出現(xiàn)了圍繞AI/ML為重點的焦點議題。此次會議中重點探討了AI對抗和隱私合規(guī)問題，還有時下熱門的零信任、API安全和威脅狩獵等。

RSAC2022人工智能安全議題

以智能對抗智能

是數(shù)字化時代下的安全趨勢

在數(shù)字化轉型時代，對抗愈發(fā)嚴峻，攻擊工具更加智能化。相信有過安全分析工作經(jīng)驗的人都對ATT&CK矩陣并不陌生，而對抗性機器學習威脅矩陣ATLAS（Adversarial Threat Landscape for Artificial-Intelligence Systems）參照了ATT&CK矩陣技術的框架設計，在機器學習攻防技術博弈的發(fā)展上，框架植入了一系列精心策劃的漏洞和攻擊行為，使安全分析師能夠定位對機器學習系統(tǒng)的攻擊。

對抗性機器學習威脅矩陣ATLAS

在RSA大會的實際攻擊案例中，來自SAP公司的漏洞管理人員分享了利用收集的圖像、語音樣本，構建深度虛假社會形象進行網(wǎng)絡攻擊，使得網(wǎng)絡攻擊更加智能化。為了防范此類攻擊，建議大家不要在社交媒體上留存過多的視頻和圖片，避免被攻擊者收集濫用。

NIST的安全人員在《Measuringthe Difference： Metric Development at NCCoE‘s Securing AI Testbed》話題中分享了如何利用NCCoE的安全AI測試平臺Dioptra評估人工智能防御模型脆弱性，演講者首先介紹了AI模型的三種常見攻擊手段：（1）樣本投毒：在訓練樣本中進行投毒；（2）模型逃逸：改變模型預測值；（3）反向工程：進行反向工程竊取模型或數(shù)據(jù)集。

AI圖像預測中的逃逸案例

最后，分享者介紹了如何使用Dioptra工具進行AI模型的加固，包括使用數(shù)據(jù)增強、進行模型推理前的預處理等。

除了Dioptra工具外，此次大會上還有另外一款工具值得注意——ART（Adversarial Robustness Toolbox），ART是IBM 研究團隊開源的、用于檢測模型及對抗攻擊的工具箱，為開發(fā)人員加強AI模型的防御性，讓AI系統(tǒng)變得更加安全，目前支持Tensor Flow和Keras深度學習，同時也支持傳統(tǒng)機器學習。

“以智能對抗智能”，用于紅隊和藍隊的ART工具

該工具支持的AI模型對抗攻擊類型：

Deep Fool

FastGradient Method

JacobianSaliency Map

UniversalPerturbation

VirtualAdversarial Method

C&WAttack

NewtonFool

對應的防御類型有：

Featuresqueezing

Spatialsmoothing

Labelsmoothing

Adversarialtraining

Virtualadversarial training

由于安全的本質是攻防技術的不斷對抗。對應防御方，以智能對抗智能是“正著”，ART工具可以說是以智能對抗智能的一個典型案例。微軟、谷歌和MITRE在《Red Teaming AI Systems： The Path， the Prospect and the Perils》話題中共同表明了紅隊AI是未來，但隨著AI對抗，需要更多的工具和框架來保護組織中的AI系統(tǒng)。微軟提出的AI風險管理評估框架建議機器學習工程師從多個維度來評估AI模型的影響和風險。

微軟的AI風險管理評估框架

以智能對抗智能是當前對抗AI類攻擊的主要手段，包括智能威脅分析、狩獵和自動化的響應處置，大會上來自Onee Security 和Acronis的研究人員分別分享了如何通過DS4N6AI工具集（集成了大量的異常檢測算法）增強威脅狩獵，基于機器學習和堆棧分析應對無文件勒索高級威脅，在云安全環(huán)境下如何使能安全團隊進行自動化調查和響應違規(guī)行為。

AI的雙刃劍：

AI隱私合規(guī)問題亟需解決

當然，伴隨著人工智能技術的應用，它在為人們帶來便利的同時，也暴露出一些問題，例如算法歧視、不公平、缺乏隱私和安全性等。因此，如何以負責的、符合倫理要求的方式使用AI，成為業(yè)界關注的焦點之一。

可信AI 8原則：可復現(xiàn)、健壯、公平、隱私、可解釋、可問責、透明、安全

解決AI隱私合規(guī)問題的“四方法”，首先最重要的是強化規(guī)則制定與立法，讓組織機構必須清楚了解目前適用于AI領域的隱私要求，才能為AI和機器學習應用建立一個合規(guī)的數(shù)據(jù)保護計劃。在本次RSA大會上，重點探討了歐盟和美國的法律和政策應對人工智能合規(guī)問題。

其次，一些安全聯(lián)盟的參與也至關重要，例如聯(lián)合國教科文組織（UNESCO）發(fā)布的《AI倫理問題建議書》，歐洲理事會的報告《AI系統(tǒng)的監(jiān)管》，經(jīng)濟合作與發(fā)展組織（OECD）的《AI原則》，以及歐盟委員會AI高級別專家組制定的《可信AI倫理指南》。在此次RSA大會上，由算法正義聯(lián)盟（Algorithmic Justice League，簡稱AJL）分享了他們的最新研究結果。AJL是一家位于馬薩諸塞州劍橋市的數(shù)字倡導性非營利組織，由計算機科學家Joy Buolamwini于2016年創(chuàng)立，通過研究、政策宣傳來提高社會對人工智能在社會中的使用以及人工智能對社會造成的危害和偏見的認識。

解決AI隱私合規(guī)問題的“四方法”

最后是AI風險管理框架和工具支撐，NIST研究人員在大會上介紹通過AIRMF框架解決AI系統(tǒng)可信和風險問題，必須處理好AI治理原則與隱私保護之間的關系。在可執(zhí)行層面，IBM的AI隱私工具集（ai-privacy-toolkit）通過數(shù)據(jù)匿名化和最小化幫助開發(fā)者解決低維表格類數(shù)據(jù)的隱私問題，當然模型精度會有所下降，大約2%左右。

IBM的ai-privacy-toolkit實現(xiàn)數(shù)據(jù)匿名化效果

針對AI模型是否存在偏見，大會上來自SailPoint的在《It’s Not Fair！ Detecting Algorithmic Bias with Open Source Tools》話題中提到的aequitas工具能夠幫助你評估AI模型的偏見問題，感興趣的讀者可以親自嘗試一下。

aequitas工具評估AI模型偏見問題

更多的優(yōu)秀工具，筆者都一一匯總在下表中。優(yōu)秀的開源AI隱私合規(guī)類工具

RSA大會上的其他AI議題，還包括了AI在零信任的應用。由于受到新冠疫情影響，遠程辦公對傳統(tǒng)安全體系結構帶來的挑戰(zhàn)。大會上分享了PKI、加密、機器身份在IAM中的快速增長，以及如何通過Workload Segmentation降低攻擊風險等。

從本次會議看，人工智能安全可謂在對抗中前進：人工智能除了要解決用戶關注的隱私合規(guī)問題外，還需要解決AI對抗類攻擊。以智能對抗智能是當前對抗AI類攻擊的主要手段，而如何在對抗中“獲得先手”，獲取防御主動地位，是AI安全要解決的核心問題，也是安全攻防的痛點。

原文標題：RSAC2022解讀丨人工智能安全洞察—在對抗中前進

文章出處：【微信公眾號：華為數(shù)據(jù)通信】歡迎添加關注！文章轉載請注明出處。