人工智能的未來(lái)在哪里?

人工智能和機(jī)器學(xué)習(xí)在帶來(lái)好處的同時(shí)也帶來(lái)了新的漏洞。本文敘述了幾家公司將風(fēng)險(xiǎn)降至最低的方法。

當(dāng)企業(yè)采用新技術(shù)時(shí)，安全性往往被放在次要位置，以最低的成本盡快將新產(chǎn)品或服務(wù)提供給客戶(hù)似乎更為重要。

人工智能（AI）和機(jī)器學(xué)習(xí)（ML）提供了與早期技術(shù)進(jìn)步相同的漏洞和錯(cuò)誤配置的機(jī)會(huì)，而且還有其特有的風(fēng)險(xiǎn)。隨著企業(yè)開(kāi)始進(jìn)行以人工智能驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型，這些風(fēng)險(xiǎn)可能會(huì)變得更大。博思艾倫漢密爾頓公司（Booz Allen Hamilton）的首席科學(xué)家愛(ài)德華?拉夫（Edward Raff）表示：“不要倉(cāng)促地進(jìn)入這個(gè)領(lǐng)域?！?/p>

與其他技術(shù)相比，人工智能和機(jī)器學(xué)習(xí)需要更多的數(shù)據(jù)，也需要更復(fù)雜的數(shù)據(jù)。數(shù)學(xué)家和數(shù)據(jù)科學(xué)家開(kāi)發(fā)的算法來(lái)自研究項(xiàng)目。拉夫表示，在科學(xué)界，直到最近才開(kāi)始認(rèn)識(shí)到人工智能存在安全問(wèn)題。

云平臺(tái)通常要處理大量的工作負(fù)載，從而增加了另一個(gè)級(jí)別的復(fù)雜性和脆弱性。毫不奇怪，網(wǎng)絡(luò)安全是人工智能采用者最令人擔(dān)憂的風(fēng)險(xiǎn)。德勤上月公布的一項(xiàng)調(diào)查顯示，62%的采納者認(rèn)為網(wǎng)絡(luò)安全風(fēng)險(xiǎn)是主要的擔(dān)憂，但只有39%的人表示他們準(zhǔn)備應(yīng)對(duì)這些風(fēng)險(xiǎn)。

讓問(wèn)題變得更加復(fù)雜的是，網(wǎng)絡(luò)安全是人工智能使用的首要功能之一。德勤技術(shù)、媒體和電信中心的執(zhí)行董事杰夫?洛克斯（Jeff Loucks）表示，企業(yè)在人工智能方面的經(jīng)驗(yàn)越豐富，他們就越擔(dān)心網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。

此外，即使是經(jīng)驗(yàn)更豐富的企業(yè)，也沒(méi)有遵循基本的安全做法，例如對(duì)所有AI和ML項(xiàng)目進(jìn)行完整的審計(jì)和測(cè)試。Loucks表示，公司目前在實(shí)施這些方面做得不是很好。

AI和ML對(duì)數(shù)據(jù)的需求帶來(lái)了風(fēng)險(xiǎn)

AI和ML系統(tǒng)需要三組數(shù)據(jù)：

?訓(xùn)練數(shù)據(jù)以建立預(yù)測(cè)模型

?測(cè)試數(shù)據(jù)以評(píng)估模型的運(yùn)行情況

?當(dāng)模型投入使用時(shí)運(yùn)營(yíng)數(shù)據(jù)

雖然實(shí)時(shí)交易或運(yùn)營(yíng)數(shù)據(jù)顯然是一項(xiàng)有價(jià)值的企業(yè)資產(chǎn)，但很容易忽略也包含敏感信息的訓(xùn)練和測(cè)試數(shù)據(jù)池。

許多用于保護(hù)其他系統(tǒng)中的數(shù)據(jù)的原則可以應(yīng)用于AI和ML項(xiàng)目，包括匿名化、令牌化和加密。第一步是詢(xún)問(wèn)是否需要數(shù)據(jù)。在準(zhǔn)備AI和ML項(xiàng)目時(shí)，收集所有可能的數(shù)據(jù)，然后看看可以做些什么。

關(guān)注業(yè)務(wù)成果可以幫助企業(yè)將收集的數(shù)據(jù)限制在所需的范圍內(nèi)。為教育機(jī)構(gòu)分析學(xué)生數(shù)據(jù)的Othot公司的首席技術(shù)官約翰?阿巴蒂科（John Abbatico）表示，數(shù)據(jù)科學(xué)團(tuán)隊(duì)非?？释麛?shù)據(jù)，他們?cè)谔幚韺W(xué)生數(shù)據(jù)時(shí)明確表示，高度敏感的PII（個(gè)人身份信息）不是必需的，也永遠(yuǎn)不應(yīng)該包含在提供給他們團(tuán)隊(duì)的數(shù)據(jù)中。

當(dāng)然，錯(cuò)誤是會(huì)發(fā)生的。例如，客戶(hù)有時(shí)會(huì)提供敏感的個(gè)人信息，如社會(huì)保險(xiǎn)號(hào)。這些信息不會(huì)提高模型的性能，但會(huì)帶來(lái)額外的風(fēng)險(xiǎn)。阿巴蒂科表示，他的團(tuán)隊(duì)已經(jīng)制定了一套程序來(lái)識(shí)別PII，將其從所有系統(tǒng)中清除，并將錯(cuò)誤通知客戶(hù)。

人工智能系統(tǒng)還需要情景數(shù)據(jù)，這可能會(huì)極大地?cái)U(kuò)大公司的暴露風(fēng)險(xiǎn)。假設(shè)一家保險(xiǎn)公司想要更好地掌握客戶(hù)的駕駛習(xí)慣，它可以購(gòu)買(mǎi)購(gòu)物、駕駛、位置和其他數(shù)據(jù)集，這些數(shù)據(jù)集可以很容易地交叉關(guān)聯(lián)并與客戶(hù)賬戶(hù)匹配。這種新的、呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)集對(duì)黑客更具吸引力，如果被攻破，對(duì)公司的聲譽(yù)也會(huì)造成更大的破壞。

人工智能的安全設(shè)計(jì)

有很多數(shù)據(jù)需要保護(hù)的一家公司是在線文件共享平臺(tái)Box。Box使用AI提取元數(shù)據(jù)，并提高搜索、分類(lèi)等能力。Box的CISO拉克希米?漢斯帕爾（Lakshmi Hanspal）表示，Box可以從合同中提取條款、續(xù)訂和定價(jià)信息。Box的大多數(shù)客戶(hù)內(nèi)容分類(lèi)要么是用戶(hù)定義的分類(lèi)，要么是被完全忽視。他們坐在堆積如山的數(shù)據(jù)上，這些數(shù)據(jù)可能對(duì)數(shù)字化轉(zhuǎn)型有用。

漢斯帕爾說(shuō)，保護(hù)數(shù)據(jù)是Box的一個(gè)重要事項(xiàng)，同樣的數(shù)據(jù)保護(hù)標(biāo)準(zhǔn)也適用于人工智能系統(tǒng)，包括訓(xùn)練數(shù)據(jù)。Box建立信任并保持信任。

這意味著所有系統(tǒng)，包括新的人工智能項(xiàng)目，都是圍繞核心數(shù)據(jù)安全原則構(gòu)建的，包括加密、日志記錄、監(jiān)控、身份驗(yàn)證和訪問(wèn)控制。漢斯帕爾指出，數(shù)字信任是其平臺(tái)與生俱來(lái)的，他們將其付諸于實(shí)踐。

Box對(duì)傳統(tǒng)代碼和新的AI和ML支持的系統(tǒng)都有一個(gè)安全的開(kāi)發(fā)流程。漢斯帕爾說(shuō)：“我們?cè)陂_(kāi)發(fā)安全產(chǎn)品方面與ISO的行業(yè)標(biāo)準(zhǔn)保持一致。設(shè)計(jì)上的安全性是內(nèi)置的，而且有制衡機(jī)制，包括滲透測(cè)試和紅色團(tuán)隊(duì)?！?/p>

數(shù)學(xué)家和數(shù)據(jù)科學(xué)家在編寫(xiě)AI和ML算法代碼時(shí)通常不擔(dān)心潛在的漏洞。當(dāng)企業(yè)構(gòu)建AI系統(tǒng)時(shí)，他們會(huì)借鑒現(xiàn)有的開(kāi)源算法，使用商業(yè)的“黑匣子”AI系統(tǒng)，或者從零開(kāi)始構(gòu)建自己的AI系統(tǒng)。

對(duì)于開(kāi)放源碼，攻擊者有可能嵌入惡意代碼，或者代碼包含漏洞或易受攻擊的依賴(lài)項(xiàng)。專(zhuān)有商業(yè)系統(tǒng)還使用開(kāi)放源代碼，以及企業(yè)客戶(hù)通常無(wú)法查看的新代碼。

逆向攻擊是一個(gè)主要威脅

AI和ML系統(tǒng)通常是由非安全工程師創(chuàng)建的開(kāi)源庫(kù)和新編寫(xiě)的代碼的組合。此外，不存在用于編寫(xiě)安全AI算法的標(biāo)準(zhǔn)最佳實(shí)踐?？紤]到安全專(zhuān)家和數(shù)據(jù)科學(xué)家的短缺，這兩方面的專(zhuān)家供應(yīng)更少。

AI和ML算法是最大的潛在風(fēng)險(xiǎn)之一，也是博思艾倫?漢密爾頓（Booz Allen Hamilton）的Raff最擔(dān)心的長(zhǎng)期威脅之一，其有可能將訓(xùn)練數(shù)據(jù)泄露給攻擊者。他表示：“有一些逆向攻擊，可以讓人工智能模型向你提供關(guān)于它自身以及它所接受的訓(xùn)練的信息。如果它是根據(jù)PII數(shù)據(jù)進(jìn)行訓(xùn)練的，你就可以讓模型向你泄露這些信息。實(shí)際的PII可能會(huì)暴露出來(lái)。”

Raff說(shuō)，這是一個(gè)被積極研究的領(lǐng)域，也是一個(gè)巨大的潛在痛點(diǎn)。有些工具可以保護(hù)訓(xùn)練數(shù)據(jù)免受逆向攻擊，但它們太昂貴了。他表示：“我們知道如何阻止這種威脅，但這樣做會(huì)使培訓(xùn)模型的成本增加100倍，這并不夸張，所以沒(méi)人會(huì)這么做?！?/p>

你不能確保你不能解釋的東西安全

另一個(gè)研究領(lǐng)域是可解釋性。今天，許多AI和ML系統(tǒng)，包括許多主要網(wǎng)絡(luò)安全供應(yīng)商提供的AI和ML支持的工具，都是“黑匣子”系統(tǒng)。YL Ventures的CISO Sounil Yu表示：“供應(yīng)商沒(méi)有在其中建立可解釋性。在安全方面，能夠解釋所發(fā)生的事情是一個(gè)基本的組成部分。如果我不能解釋為什么會(huì)發(fā)生這種情況，我怎么能補(bǔ)救呢？“。

對(duì)于構(gòu)建自己的AI或ML系統(tǒng)的公司來(lái)說(shuō)，當(dāng)出現(xiàn)問(wèn)題時(shí)，他們可以回到訓(xùn)練數(shù)據(jù)或使用的算法來(lái)解決問(wèn)題。Yu指出，如果你是從別人那里構(gòu)建的，你根本不知道訓(xùn)練數(shù)據(jù)是什么。

需要保護(hù)的不僅僅是算法

人工智能系統(tǒng)不僅僅是一個(gè)自然語(yǔ)言處理引擎，或者僅僅是一個(gè)分類(lèi)算法，或者僅僅是一個(gè)神經(jīng)網(wǎng)絡(luò)。即使這些部分是完全安全的，系統(tǒng)仍然必須與用戶(hù)和后端平臺(tái)交互。

系統(tǒng)是否使用強(qiáng)身份驗(yàn)證和最低權(quán)限原則？到后端數(shù)據(jù)庫(kù)的連接是否安全？與第三方數(shù)據(jù)源的連接情況如何？用戶(hù)界面對(duì)注入攻擊是否有彈性？

另一個(gè)與人相關(guān)的不安全感來(lái)源是人工智能和機(jī)器學(xué)習(xí)項(xiàng)目獨(dú)有的：數(shù)據(jù)科學(xué)家。奧托特的阿巴蒂科表示，優(yōu)秀的數(shù)據(jù)科學(xué)家對(duì)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，得出有洞察力的模型。然而，當(dāng)涉及到數(shù)據(jù)安全時(shí)，實(shí)驗(yàn)可能會(huì)導(dǎo)致危險(xiǎn)的行為。使用完數(shù)據(jù)后，他們可能會(huì)傾向于將數(shù)據(jù)移動(dòng)到不安全的位置或刪除樣本數(shù)據(jù)集。Othot在早期就投資于獲得SOC II認(rèn)證，這些控制有助于在整個(gè)公司實(shí)施強(qiáng)有力的數(shù)據(jù)保護(hù)實(shí)踐，包括在移動(dòng)或刪除數(shù)據(jù)時(shí)。

人工智能機(jī)構(gòu)Urvin AI的產(chǎn)品經(jīng)理、國(guó)際非營(yíng)利性安全研究組織ISECOM的聯(lián)合創(chuàng)始人彼得?赫爾佐格（Peter Herzog）表示：“事實(shí)是，所有地方的大多數(shù)人工智能模型中最大的風(fēng)險(xiǎn)并不在人工智能中，問(wèn)題出在人身上。沒(méi)有安全問(wèn)題的人工智能模型幾乎沒(méi)有，因?yàn)槿藗儧Q定如何訓(xùn)練他們，人們決定包括什么數(shù)據(jù)，人們決定他們想要預(yù)測(cè)和預(yù)測(cè)什么，以及人們決定暴露多少信息?！?/p>

另一個(gè)特定于AI和ML系統(tǒng)的安全風(fēng)險(xiǎn)是數(shù)據(jù)中毒，即攻擊者將信息輸入系統(tǒng)，迫使系統(tǒng)做出不準(zhǔn)確的預(yù)測(cè)。例如，攻擊者可能會(huì)通過(guò)向系統(tǒng)提供具有類(lèi)似惡意軟件指示器的合法軟件示例來(lái)欺騙系統(tǒng)，使其認(rèn)為惡意軟件是安全的。

拉夫說(shuō)：“這是大多數(shù)企業(yè)高度關(guān)注的問(wèn)題。目前，我沒(méi)有意識(shí)到任何人工智能系統(tǒng)在現(xiàn)實(shí)生活中受到攻擊。從長(zhǎng)遠(yuǎn)來(lái)看，這是一個(gè)真正的威脅，但現(xiàn)在攻擊者用來(lái)逃避殺毒軟件的經(jīng)典工具仍然有效，所以他們不需要變得更花哨。”

避免偏差和模型漂移

當(dāng)AI和ML系統(tǒng)用于企業(yè)安全時(shí)，例如，用于用戶(hù)行為分析、監(jiān)控網(wǎng)絡(luò)流量或檢查數(shù)據(jù)泄露，偏差和模型漂移可能會(huì)產(chǎn)生潛在風(fēng)險(xiǎn)。很快過(guò)時(shí)的訓(xùn)練數(shù)據(jù)集可能會(huì)使組織變得脆弱，特別是在越來(lái)越依賴(lài)人工智能進(jìn)行防御的情況下。企業(yè)需要不斷更新模型，讓更新模型成為一件持續(xù)的事情。

在某些情況下，訓(xùn)練數(shù)據(jù)可以是自動(dòng)的。例如，調(diào)整模型以適應(yīng)不斷變化的天氣模式或供應(yīng)鏈交付時(shí)間表，可以幫助使其隨著時(shí)間的推移變得更加可靠。當(dāng)信息源涉及惡意行為者時(shí)，則需要仔細(xì)管理訓(xùn)練數(shù)據(jù)集，以避免中毒和操縱。

企業(yè)已經(jīng)在處理造成道德問(wèn)題的算法，例如當(dāng)面部識(shí)別或招聘平臺(tái)歧視女性或少數(shù)族裔時(shí)。當(dāng)偏見(jiàn)悄悄滲透到算法中時(shí)，它還可能造成合規(guī)問(wèn)題，或者，在自動(dòng)駕駛汽車(chē)和醫(yī)療應(yīng)用的情況下，可能會(huì)導(dǎo)致人員死亡。

就像算法可以在預(yù)測(cè)中注入偏差一樣，它們也可以用來(lái)控制偏差。例如，Othot幫助大學(xué)實(shí)現(xiàn)優(yōu)化班級(jí)規(guī)?；?qū)崿F(xiàn)財(cái)務(wù)目標(biāo)。Othot的Abbatico說(shuō)，在沒(méi)有適當(dāng)約束的情況下創(chuàng)建模型很容易造成偏見(jiàn)?！皩?duì)偏見(jiàn)進(jìn)行審查需要多花精力。添加與多樣性相關(guān)的目標(biāo)有助于建模理解目標(biāo)，并有助于抵消偏見(jiàn)，如果不將多樣性目標(biāo)作為約束因素包括在內(nèi)，偏見(jiàn)則很容易被納入?！?/p>

人工智能的未來(lái)在云端

AI和ML系統(tǒng)需要大量的數(shù)據(jù)、復(fù)雜的算法和強(qiáng)大的處理器，這些處理器可以在需要時(shí)進(jìn)行擴(kuò)展。所有主要的云供應(yīng)商都在爭(zhēng)先恐后地提供數(shù)據(jù)科學(xué)平臺(tái)，這些平臺(tái)將所有東西都放在一個(gè)方便的地方。這意味著數(shù)據(jù)科學(xué)家不需要等待IT為他們配置服務(wù)器。他們只需上網(wǎng)，填寫(xiě)幾張表格，就可以開(kāi)業(yè)了。

根據(jù)德勤的AI調(diào)查，93%的企業(yè)正在使用某種形式的基于云的AI。德勤的Loucks說(shuō)：“這讓我們更容易上手?！比缓?，這些項(xiàng)目會(huì)變成運(yùn)營(yíng)系統(tǒng)，隨著規(guī)模的擴(kuò)大，配置問(wèn)題會(huì)成倍增加。有了最新的服務(wù)，集中化、自動(dòng)化的配置和安全管理儀表盤(pán)可能不可用，公司必須自己編寫(xiě)或等待供應(yīng)商加快步伐填補(bǔ)空白。

當(dāng)使用這些系統(tǒng)的人是公民數(shù)據(jù)科學(xué)家或理論研究人員，而他們?cè)诎踩矫鏇](méi)有很強(qiáng)的背景時(shí)，這可能是一個(gè)問(wèn)題。此外，供應(yīng)商歷來(lái)都是先推出新功能，然后再推出安全功能。當(dāng)系統(tǒng)被快速部署，然后擴(kuò)展得更快時(shí)，這可能會(huì)是一個(gè)問(wèn)題。我們已經(jīng)在物聯(lián)網(wǎng)設(shè)備、云存儲(chǔ)和容器上看到了這種情況。

Raff說(shuō)，人工智能平臺(tái)供應(yīng)商越來(lái)越意識(shí)到這一威脅，并從錯(cuò)誤中吸取了教訓(xùn)。他說(shuō)：“我看到，考慮到歷史上的‘安全放在最后’的心態(tài)，納入安全內(nèi)容的計(jì)劃比我們?cè)绢A(yù)期的要積極得多。ML社區(qū)對(duì)此更為關(guān)注，延遲時(shí)間可能會(huì)更短?！?/p>

德勤（Deloitte）AI聯(lián)席主管Irfan Saif對(duì)此表示贊同，特別是在涉及到支持大型企業(yè)AI工作負(fù)載的主要云平臺(tái)時(shí)。就網(wǎng)絡(luò)安全能力的演變而言，它們可能比之前的技術(shù)更成熟。

人工智能項(xiàng)目安全檢查清單

以下這些幫助確保人工智能項(xiàng)目安全的清單摘自德勤的《企業(yè)中的人工智能狀況》（第3版）：

?保存所有人工智能實(shí)施的正式清單

?使人工智能風(fēng)險(xiǎn)管理與更廣泛的風(fēng)險(xiǎn)管理工作保持一致

?有一名高管負(fù)責(zé)與人工智能相關(guān)的風(fēng)險(xiǎn)

?進(jìn)行內(nèi)部審計(jì)和測(cè)試

?利用外部供應(yīng)商進(jìn)行獨(dú)立審計(jì)和測(cè)試

?培訓(xùn)從業(yè)者如何認(rèn)識(shí)和解決圍繞人工智能的倫理問(wèn)題

?與外部各方合作，制定合理的人工智能道德規(guī)范

?確保人工智能供應(yīng)商提供不偏不倚的系統(tǒng)

?制定指導(dǎo)人工智能倫理的政策或委員會(huì)
責(zé)任編輯：tzh