Deepfakes 可能會危及 AI 驅(qū)動的工業(yè)系統(tǒng)

從網(wǎng)絡(luò)安全的角度來看，在工廠車間使用人工智能和機(jī)器學(xué)習(xí)既有優(yōu)點(diǎn)也有缺點(diǎn)。兩者都可以幫助改進(jìn)對威脅和攻擊的監(jiān)控、檢測和預(yù)防，尤其是對于工業(yè) 4.0 端點(diǎn)。但是依賴這些技術(shù)的智能制造系統(tǒng)可能會被不法分子探測和操縱。

人工智能驅(qū)動系統(tǒng)漏洞的一個眾所周知的例子是深度偽造：由深度學(xué)習(xí)技術(shù)創(chuàng)建的偽造圖像、視頻和文本。在人眼看來，它們與原件一模一樣；只有人工智能可以檢測差異。

McAfee Labs 在討論其 2020 年威脅預(yù)測報告的博客中指出，威脅行為者已使用該技術(shù)試圖操縱公眾輿論，但面部識別安全系統(tǒng)也很容易受到攻擊。偽造的圖像可以成功地欺騙這些人工智能驅(qū)動的系統(tǒng)解鎖智能手機(jī)或允許入侵者使用偽造的 ID 進(jìn)入建筑物。

當(dāng)機(jī)器模型受到損害時，它可能會錯誤分類與通常正確分類的圖像只有最細(xì)微差別的示例，而人眼看不到差異。（來源：IBM）

所謂的“對抗性機(jī)器學(xué)習(xí)”或 AML 通常是由不良行為者實(shí)施的，但它也是網(wǎng)絡(luò)安全研究人員和供應(yīng)商與他們作斗爭的工具。當(dāng)攻擊者使用時，AML 可能包括毒化用于模型訓(xùn)練的數(shù)據(jù)。圖像識別和自然語言處理 (NLP) 系統(tǒng)都容易受到攻擊?；蛘呖梢酝嘎队?xùn)練數(shù)據(jù)并推測工業(yè)或公司機(jī)密。

AML 還可以包括通過多種方法模仿有效的用戶配置文件，包括通過產(chǎn)生與現(xiàn)有實(shí)際聲音剪輯 99% 相同的音頻波形來欺騙自動語音識別系統(tǒng)。相反，它們包含偽造的短語。

Rensselaer-IBM AI Research Collaboration 的首席科學(xué)家 Pin-Yu Chen 告訴EE Times，白帽黑客和研究人員可以使用 AML 來對抗對手，并通過使模型更加健壯來改進(jìn)基于 AI 的技術(shù)?！袄纾?a href="http://wenjunhu.com/v/tag/3744/" target="_blank">計算機(jī)視覺中，它可以幫助改進(jìn)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，以生成更好的數(shù)據(jù)并獲得非常高質(zhì)量的圖像，”他說。

智能制造系統(tǒng)的漏洞

智能制造的網(wǎng)絡(luò)安全挑戰(zhàn)很多。

ARC 咨詢集團(tuán)網(wǎng)絡(luò)安全服務(wù)副總裁 Sid Snitkin 告訴EE Times，在工業(yè) 4.0（也稱為數(shù)字化轉(zhuǎn)型）中，“每個人都希望訪問一切：設(shè)備、數(shù)據(jù)存儲和云中的應(yīng)用程序” ?！罢麄€想法是利用設(shè)備的這種連接性來做你甚至還沒有想到的新事情。但所有這些連接都打開了新的安全漏洞，這可能意味著操作受到威脅，因?yàn)閺陌踩嵌葋砜矗悴恢罃?shù)據(jù)來自哪里或另一端的去向。”

根據(jù) Darktrace 網(wǎng)絡(luò)情報和分析主管 Justin Fier 的說法，可見性是工廠車間智能制造和 AI/ML 面臨的最大網(wǎng)絡(luò)安全挑戰(zhàn)，因?yàn)闊o法保護(hù)你看不到的東西?！霸趯?shí)施工業(yè) 4.0 技術(shù)之前，您需要了解安全后果是什么。但我們傾向于先部署工業(yè) 4.0 技術(shù)，然后才考慮安全性?！?/p>

缺乏可見性對于供應(yīng)鏈中的環(huán)節(jié)尤其重要。Snitkin 說，英特爾公司等公司正在將安全性構(gòu)建到他們的硬件模塊中?！暗O(shè)備最大的問題是軟件供應(yīng)鏈，這是一個非常重要的問題。您正在開發(fā)的軟件包使用其他來源的軟件，但只有在主軟件包需要補(bǔ)丁時才會收到警報?！?/p>

趨勢科技的 Federico Maggi

由于工業(yè)制造系統(tǒng)仍被設(shè)計為封閉系統(tǒng)，因此它們被分配了與分配給高價值企業(yè)目標(biāo)的不同類型的保護(hù)?！霸O(shè)計人員假設(shè)攻擊者永遠(yuǎn)無法直接連接或直接破壞這些系統(tǒng)，”趨勢科技高級威脅研究員 Federico Maggi 指出?！斑@可能是真的，但攻擊者可以通過間接方式找到方法并進(jìn)入目標(biāo)系統(tǒng)?！?/p>

趨勢科技 5 月份發(fā)布的一份報告顯示，即使是孤立的智能制造系統(tǒng)也可能包括由外部顧問和員工定制設(shè)計的工業(yè)物聯(lián)網(wǎng)設(shè)備。這些反過來又包含定制設(shè)計的軟件，其中包括第三方組件?！皬脑O(shè)計和編程 IIoT 設(shè)備的人到最終包含該部分的機(jī)器的關(guān)系鏈非常長，很容易失去對鏈中所有環(huán)節(jié)的控制，”Maggi 說?！肮粽呖梢酝ㄟ^利用最薄弱的鏈接輕松注入惡意組件并導(dǎo)致機(jī)器發(fā)生故障?！?/p>

這份名為“智能制造系統(tǒng)攻擊”的報告是對意大利工業(yè) 4.0 實(shí)驗(yàn)室中模擬商品生產(chǎn)的安全分析，包括威脅和防御。該實(shí)驗(yàn)室制造玩具手機(jī)的基本原理與成熟的智能制造車間所用的基本原理相同。這些供應(yīng)鏈弱點(diǎn)是該報告的主要發(fā)現(xiàn)之一。

工廠車間的 AML

Darktrace 的 Fier 表示，AML 的目標(biāo)要么是用于制造和其他系統(tǒng)的人工智能，要么是模仿人類操作員的行為，然后進(jìn)行大規(guī)模攻擊。“例如，魚叉式網(wǎng)絡(luò)釣魚活動可能會使用 NLP 來模擬和偽造電子郵件，使它們看起來是由真人發(fā)送的?！?/p>

趨勢科技威脅研究經(jīng)理 Rainer Vosseler 表示，在智能制造中，機(jī)器學(xué)習(xí)被用于多個領(lǐng)域，包括異常檢測?！凹词鼓阍?AML 假設(shè)下進(jìn)行操作，你的數(shù)據(jù)也必須足夠好和足夠可信，以便在某個時候?qū)⑵涮峁┙o模型。由于流入系統(tǒng)的數(shù)據(jù)可以被操縱，攻擊者也可以操縱模型?！?/p>

根據(jù)IBM 博客，一些機(jī)器學(xué)習(xí)模型容易受到 AML 的攻擊，甚至最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也是如此。受損的模型錯誤地分類了與通常正確分類的圖像僅有微小差異的示例。

Fortinet 的 FortiGuard 實(shí)驗(yàn)室的安全洞察和全球威脅聯(lián)盟負(fù)責(zé)人 Derek Manky 解釋說，特別是在運(yùn)營技術(shù) (OT) 方面，ML 對分配的任務(wù)非常具體。例如，基于 Windows/X86/PC 的界面以及許多基于 ARM 的威脅仍然存在多種特定于 OT 的威脅?！耙虼?，機(jī)器學(xué)習(xí)模型必須學(xué)習(xí)和理解從 Linux 代碼到 ARM 代碼到 RISC 代碼以及許多其他代碼的所有內(nèi)容，”Manky 說。“現(xiàn)在一個固有的問題是，我們?nèi)绾胃鶕?jù)不同的 OT 協(xié)議和系統(tǒng)或環(huán)境連接這些不同的模型？這是下一代：聯(lián)合機(jī)器學(xué)習(xí)，一個分析所有這些協(xié)議和系統(tǒng)或環(huán)境的系統(tǒng)。”

IBM 陳品宇

IBM 的 Chen 表示，對抗性 AI 在現(xiàn)實(shí)世界中已經(jīng)發(fā)生了一些損害?！耙粋€典型的例子是自動駕駛，很容易修改停車標(biāo)志并欺騙系統(tǒng)，這樣自動駕駛汽車就不會停在需要停下的地方。”

他說，由于人工智能的開發(fā)和實(shí)施速度如此之快，用戶無法及時了解已開發(fā)的內(nèi)容，以及可以做什么和不可以做什么?！拔覀兊墓ぷ魇谴_定這一點(diǎn)，以便用戶可以對技術(shù)抱有現(xiàn)實(shí)的期望，并對部署的影響更加謹(jǐn)慎?！?由于用戶可能對實(shí)施 AI 過于樂觀，IBM 創(chuàng)建了新的情況說明書，告訴他們部署它的風(fēng)險是什么。

用人工智能對抗人工智能

在網(wǎng)絡(luò)安全中使用機(jī)器學(xué)習(xí)的主要原因很簡單：它可以異常快速地處理數(shù)據(jù)，至少從人類的角度來看是這樣。它也是動態(tài)的，而不是像更傳統(tǒng)的網(wǎng)絡(luò)安全方法那樣基于規(guī)則，因此算法可以更容易地自動化并更快地重新訓(xùn)練。例如，云服務(wù)提供商正在將 ML 技術(shù)整合到他們自己的網(wǎng)絡(luò)安全防御中。

一些公司正在合作生產(chǎn)為特定工業(yè)部門量身定制的人工智能驅(qū)動的網(wǎng)絡(luò)安全解決方案。例如，西門子去年表示，它正在將 OT 安全方面的專業(yè)知識與 SparkCognition 在DeepArmor Industrial人工智能方面的專業(yè)知識相結(jié)合。該網(wǎng)絡(luò)安全工具為發(fā)電、石油和天然氣以及輸配電中的遠(yuǎn)程能源端點(diǎn)提供防病毒、威脅檢測、應(yīng)用程序控制和零日攻擊防護(hù)。

對抗 ALM 的大部分工作是由網(wǎng)絡(luò)安全公司基于使用人工智能和機(jī)器學(xué)習(xí)的產(chǎn)品來完成的，以幫助改進(jìn)對威脅和攻擊的監(jiān)控、檢測和預(yù)防，特別是對于 IoT 和 IIoT 設(shè)備等端點(diǎn)。例如，Darktrace 的與協(xié)議無關(guān)的工業(yè)免疫系統(tǒng)可以了解跨 OT、IT 和 IIoT 環(huán)境的“正?！鼻闆r。據(jù)該網(wǎng)站稱，其基于機(jī)器學(xué)習(xí)的 Antigena 網(wǎng)絡(luò)“可以以機(jī)器速度和外科手術(shù)精度中斷攻擊，即使威脅是有針對性的或完全未知的” 。

Fier 說，由于對手肯定在進(jìn)行自己的 AML 研究，因此公司必須投資于 AI 防御。“它不再是最前沿的——它是堆棧中的必備品。檢測和緩解的時間過去是 200 天，但現(xiàn)在不是了?！?由于人工智能的處理速度非常快，“如果人工智能對你不利，你很可能永遠(yuǎn)看不到它，或者你玩得太晚了，你永遠(yuǎn)無法恢復(fù)，”他說?！斑@就是為什么我認(rèn)為AI對抗AI是最好的對決?！?/p>

Fortinet 的網(wǎng)絡(luò)安全也是人工智能驅(qū)動的。Manky 說，需要三件事來防范 AML 攻擊和攻擊者?！笆紫?，你需要處理能力，這已經(jīng)不是什么挑戰(zhàn)了。接下來，您需要數(shù)據(jù)——以及新的可靠數(shù)據(jù)，來自不同來源的大量數(shù)據(jù)，包括我們從全球部署的近 600 萬臺安全設(shè)備中獲得的數(shù)據(jù)。第三個要素是時間。你真的需要走在曲線的前面，尤其是在處理新興或已經(jīng)存在的垂直行業(yè)時，比如 OT?！?/p>

Fortinet 的 Derek Manky

陳說，像 IBM 這樣的公司正在開發(fā)更好的人工智能技術(shù)，以根據(jù)數(shù)據(jù)收集缺陷了解導(dǎo)致漏洞的原因?！拔覀儼缪葜c白帽黑客類似的角色：我們在產(chǎn)品推出之前識別漏洞并了解對市場的道德影響?！?/p>

對抗性攻擊可能發(fā)生在模型開發(fā)的三個階段中的任何一個階段：收集數(shù)據(jù)、訓(xùn)練模型或在現(xiàn)場部署模型。有不同的對策和技術(shù)來解決每個問題。IBM 的模型清理服務(wù)描述了好的模型，然后返回一個干凈的模型。另一項服務(wù)為穩(wěn)健模型提供基準(zhǔn)。

即將推出：人工智能驅(qū)動的惡意軟件？

不幸的是，使模型對攻擊更健壯通常意味著犧牲性能，因?yàn)楦训哪Ｐ鸵膊惶`活。此外，深度學(xué)習(xí)模型復(fù)雜且難以集成?！拔覀儾恢滥Ｐ腿绾谓鉀Q任務(wù)這一事實(shí)使得我們更難知道它是否安全，”Chen 說。“我們怎么知道它真的學(xué)會了如何解決問題？”

另一個障礙是試圖跟上簡單的攻擊量。與安全研究一樣，“如何才能使補(bǔ)丁足夠可靠、足夠安全，以應(yīng)對未來的攻擊？” 陳問。一個答案可能是一個認(rèn)證過程，例如 IBM 正在開發(fā)的一個。它可以對 AI 系統(tǒng)的安全區(qū)域或操作區(qū)域進(jìn)行分類，這對于用于關(guān)鍵工作的 AI 尤其重要。

Darktrace 的 Fier 警告說，基于人工智能的惡意軟件可能很快就會出現(xiàn)?！半m然人工智能驅(qū)動的惡意軟件還沒有完全發(fā)揮作用，但我們開始看到它出現(xiàn)了——它即將出現(xiàn)，”他說。“據(jù)我們所知，對抗性 AI 或 ML 在 [工業(yè)控制系統(tǒng)] 領(lǐng)域還沒有出現(xiàn)。但我設(shè)想在你的 ICS 環(huán)境中存在一個惡意軟件，在采取下一步行動之前從中學(xué)習(xí)。對工業(yè)領(lǐng)域影響最大的可能是擴(kuò)大損害?！?/p>

但到目前為止，大多數(shù)攻擊都使用自動化，而不是機(jī)器學(xué)習(xí)，F(xiàn)ortinet 的 Manky 說?！斑@是個好消息，因?yàn)樽詣踊?ML 更容易擊敗。我們每天看到 200 萬個病毒進(jìn)入我們的實(shí)驗(yàn)室，其中大部分是微不足道的自動化。但我們開始看到一些 ML 和 AI 逃避安全的跡象，所以它肯定會到來?！?/p>

審核編輯 黃昊宇