人工智能安全工程將如何改變工程

介紹

開發(fā)智能機(jī)器的旅程使我們走上了發(fā)現(xiàn)、驚喜、敬畏和關(guān)注的道路。盡管還有很多東西有待發(fā)現(xiàn)，但我們知道，對安全人工智能的追求將改變我們設(shè)計(jì)、開發(fā)智能產(chǎn)品并將其推向市場的方式。安全的人工智能不僅需要像我們處理網(wǎng)絡(luò)安全那樣抵御外部攻擊者；我們必須確保人工智能的行為是安全的。未來的人工智能開發(fā)將側(cè)重于安全和風(fēng)險(xiǎn)管理貫穿開發(fā)過程的每個(gè)部分。

人工智能標(biāo)準(zhǔn)和指南中的安全性

AI 安全工程的需求之一是擁有可廣泛訪問的 AI 開發(fā)實(shí)用指南和標(biāo)準(zhǔn)。盡管許多標(biāo)準(zhǔn)組織和聯(lián)盟正在努力建立這些資源，但它們?nèi)赃h(yuǎn)未達(dá)成共識（再次出現(xiàn)價(jià)值一致性問題），甚至還遠(yuǎn)未提供具體的技術(shù)指導(dǎo)。與此同時(shí)，航空航天和醫(yī)療制造等安全密集型行業(yè)提供了潛在有用的風(fēng)險(xiǎn)管理模型，可以滿足短期人工智能安全需求，并作為最終標(biāo)準(zhǔn)和框架的基礎(chǔ)。特別是，可以使用德爾菲法來組織專家的集體智慧和判斷，不同人工智能系統(tǒng)類型的風(fēng)險(xiǎn)評估，以及硬起飛和軟起飛場景的結(jié)果。

設(shè)計(jì)思想和過程中的安全

一個(gè)相關(guān)的需求是主動將安全納入工程設(shè)計(jì)的所有領(lǐng)域，從設(shè)計(jì)思維開始一直到將產(chǎn)品推向市場的過程。讓我們面對現(xiàn)實(shí)：這將意味著許多開發(fā)團(tuán)隊(duì)的改變?？纯椿ヂ?lián)網(wǎng)?？纯?a href="http://wenjunhu.com/v/tag/2447/" target="_blank">嵌入式系統(tǒng)。現(xiàn)實(shí)情況是，在產(chǎn)品開始取得成功之前，大多數(shù)行業(yè)都不會在安全上投入大量資源。在智能系統(tǒng)中不檢查安全性的潛在后果是重大的，因?yàn)槭潞罂赡軣o法納入安全性。

用戶需求安全

工程安全人工智能將要求工程師超越表面用例，真正了解用戶的價(jià)值觀和偏好。我們習(xí)慣于從表面上看用例和用戶反饋；然而，第 2 部分中討論的價(jià)值對齊問題告訴我們需要深入挖掘才能了解實(shí)際需求。例如，如果我們問一個(gè)學(xué)生她為什么上學(xué)，她可能會告訴你她想獲得知識并研究一個(gè)感興趣的領(lǐng)域。不過，研究表明，真正的或額外的原因存在于其他地方：例如，獲得證書、獲得同行認(rèn)可和增加收入潛力。如果作為工程師，我們在開發(fā)智能產(chǎn)品時(shí)只看表面的用戶需求和反饋，很可能會開發(fā)出不能真正滿足用戶需求的產(chǎn)品……導(dǎo)致智能失敗。

漏洞評估中的安全性

在流程的每個(gè)階段，都必須考慮和解決產(chǎn)品及其智能（內(nèi)存、處理速度等）的安全性。黑客需要在這個(gè)無限的可能性空間中找到一個(gè)弱點(diǎn)，但人工智能可以以我們無法預(yù)測甚至無法想象的方式利用情報(bào)。潛在的產(chǎn)品漏洞是什么？什么是潛在的濫用？個(gè)別功能如何被濫用？每種情況如何適得其反？數(shù)據(jù)安全可靠嗎？我們怎么知道？產(chǎn)品是否包含了不必要的智能？這怎么可能被濫用？怎么能保證呢？

結(jié)論

工程安全人工智能將改變我們的流程、思維方式和優(yōu)先事項(xiàng)。擁有 AI 開發(fā)框架和標(biāo)準(zhǔn)將大大有助于設(shè)計(jì)安全 AI。與此同時(shí)，借鑒航空航天和醫(yī)療設(shè)備行業(yè)的做法會很有用，并能在產(chǎn)品開發(fā)過程的各個(gè)方面增加安全性。在接下來的第 6 部分中，我們將研究一種用于開發(fā)安全人工智能的新興技術(shù)，稱為人工愚蠢。

審核編輯hhy