機(jī)器學(xué)習(xí)可能帶來的風(fēng)險和應(yīng)對方法

　　近年來，深度學(xué)習(xí)算法推動人工智能實(shí)現(xiàn)了快速發(fā)展。以深度學(xué)習(xí)為基礎(chǔ)的機(jī)器學(xué)習(xí)可以讓計算機(jī)模擬或?qū)崿F(xiàn)人類學(xué)習(xí)行為，從而不斷改善自身性能，其應(yīng)用正遍及人工智能的各個領(lǐng)域，并在各行業(yè)得到爆發(fā)式增長。但機(jī)器學(xué)習(xí)也面臨著各種挑戰(zhàn)和風(fēng)險。美國《哈佛商業(yè)評論》雜志2021年1/2月刊發(fā)表歐洲工商管理學(xué)院（INSEAD）研究人員鮑里斯·巴比克（Boris Babic）、I. 格倫·科恩（I. Glenn Cohen）和西奧多·埃凡杰努（Theodoros Evgeniou）合著的文章《當(dāng)機(jī)器學(xué)習(xí)誤入歧途》（When Machine Learning Goes Off the Rail），對其可能帶來的風(fēng)險和應(yīng)對方法進(jìn)行了討論。

　　機(jī)器學(xué)習(xí)失誤的三大原因

　　機(jī)器學(xué)習(xí)與之前的數(shù)字技術(shù)的最大區(qū)別在于，它們能夠獨(dú)立做出越來越復(fù)雜的決定——比如交易哪些金融產(chǎn)品、車輛如何應(yīng)對障礙、診斷患者是否患病——并不斷適應(yīng)新數(shù)據(jù)。但這些算法并不總是順利運(yùn)行。它們并不總是做出合乎道德或準(zhǔn)確的選擇。這里有三個基本原因。

　　其中一個原因很簡單。算法做出了如此多的預(yù)測，很可能有些預(yù)測是錯誤的。出錯的可能性源于很多因素，包括用于訓(xùn)練算法的數(shù)據(jù)的數(shù)量和質(zhì)量，所選機(jī)器學(xué)習(xí)方法的具體類型，系統(tǒng)是否只使用可解釋的算法（意味著人類可以描述它們?nèi)绾巫龀鰶Q定），這可能不允許系統(tǒng)實(shí)現(xiàn)最大的準(zhǔn)確性。

　　其次，機(jī)器學(xué)習(xí)操作的環(huán)境本身可能會進(jìn)化或不同于算法開發(fā)時所面對的環(huán)境。雖然這可能以多種方式發(fā)生，但最常見的兩種是概念漂移和協(xié)變量漂移。

　　對于前者，系統(tǒng)使用的輸入和輸出之間的關(guān)系隨著時間的推移并不穩(wěn)定，或者可能被錯誤地指定。以股票交易的機(jī)器學(xué)習(xí)算法為例，如果只使用低市場波動和高經(jīng)濟(jì)增長時期的數(shù)據(jù)進(jìn)行訓(xùn)練，那么當(dāng)經(jīng)濟(jì)進(jìn)入衰退或經(jīng)歷動蕩時——比如在新冠疫情大流行這樣的危機(jī)期間——它可能表現(xiàn)不佳。隨著市場的變化，投入和產(chǎn)出之間的關(guān)系——例如，公司的杠桿程度與其股票回報之間的關(guān)系——也可能發(fā)生變化。在商業(yè)周期的不同階段，信用評分模型也可能出現(xiàn)類似的偏差。在醫(yī)學(xué)領(lǐng)域，概念漂移的一個例子是，基于機(jī)器學(xué)習(xí)的診斷系統(tǒng)使用皮膚圖像作為檢測皮膚癌的輸入，但由于沒有充分捕捉到人的膚色（可能因種族或日曬而不同）與診斷決策之間的關(guān)系，無法做出正確的診斷。這些信息甚至在用于訓(xùn)練機(jī)器學(xué)習(xí)模型的電子健康記錄中都找不到。

　　當(dāng)使用過程中輸入到算法中的數(shù)據(jù)與訓(xùn)練算法的數(shù)據(jù)不同時，就會發(fā)生協(xié)變量移位。即使算法學(xué)習(xí)到的模式是穩(wěn)定的，并且沒有概念漂移，這種情況也會發(fā)生。例如，醫(yī)療設(shè)備公司可以利用大城市醫(yī)院的數(shù)據(jù)開發(fā)基于機(jī)器學(xué)習(xí)的系統(tǒng)。但是，一旦該設(shè)備上市，農(nóng)村地區(qū)醫(yī)護(hù)人員輸入該系統(tǒng)的醫(yī)療數(shù)據(jù)可能與開發(fā)數(shù)據(jù)不太一樣。城市醫(yī)院的病人可能更集中于某些社會人口群體，他們擁有在農(nóng)村醫(yī)院不常見的基本醫(yī)療條件。只有當(dāng)設(shè)備在市場上比在測試時出錯更多時，這種差異才會被發(fā)現(xiàn)?？紤]到市場的多樣性和它們變化的速度，預(yù)測系統(tǒng)運(yùn)行環(huán)境中會發(fā)生什么變得越來越具有挑戰(zhàn)性，而且沒有多少數(shù)據(jù)能夠捕捉到現(xiàn)實(shí)世界中發(fā)生的所有細(xì)微差別。

　　機(jī)器學(xué)習(xí)可能做出錯誤決定的第三個原因與它所嵌入的整個系統(tǒng)的復(fù)雜性有關(guān)。以一種根據(jù)醫(yī)生輸入的圖像診斷疾病的設(shè)備IDx-DR為例，它可以識別糖尿病視網(wǎng)膜病變和黃斑水腫等眼部疾病，是美國食品和藥物管理局批準(zhǔn)使用的第一種基于機(jī)器學(xué)習(xí)的自主醫(yī)療設(shè)備。診斷的質(zhì)量取決于提供的圖像有多清晰、設(shè)備使用的具體算法、算法使用的數(shù)據(jù)、輸入圖像的醫(yī)生是否接受了適當(dāng)?shù)闹笇?dǎo)，等等。有著如此多的參數(shù)，很難評估這樣的設(shè)備是否和為什么會出錯，更不用說確定它的行為了。企業(yè)應(yīng)對風(fēng)險的具體方法

　　那么，應(yīng)該如何管理機(jī)器學(xué)習(xí)現(xiàn)有和正在出現(xiàn)的風(fēng)險呢？制定適當(dāng)?shù)牧鞒?，提出正確的問題，采用正確的思維框架，這些都是重要的步驟。

　　需要把機(jī)器學(xué)習(xí)看作一個有生命的實(shí)體，而不是一種無生命的技術(shù)。以企業(yè)為例，由于對員工的認(rèn)知測試無法揭示他們在加入現(xiàn)有團(tuán)隊(duì)時的表現(xiàn)，實(shí)驗(yàn)室測試也無法預(yù)測機(jī)器學(xué)習(xí)系統(tǒng)在現(xiàn)實(shí)世界中的表現(xiàn)。高管們應(yīng)該要求全面分析員工、客戶或其他用戶將如何應(yīng)用這些系統(tǒng)并對他們的決定作出反應(yīng)。即使監(jiān)管機(jī)構(gòu)沒有要求，企業(yè)也可能希望對其基于機(jī)器學(xué)習(xí)的新產(chǎn)品進(jìn)行隨機(jī)對照試驗(yàn)，以確保其在推出前的安全性、有效性和公平性。但他們也可能想要分析產(chǎn)品在實(shí)際市場中的表現(xiàn)，因?yàn)槟抢镉懈鞣N類型的用戶，看看產(chǎn)品的表現(xiàn)是否在他們之間有所不同。

　　此外，應(yīng)用該技術(shù)的公司應(yīng)該將這些算法做出的決策與在相同情況下不使用它們做出的決策的質(zhì)量進(jìn)行比較。在大規(guī)模部署產(chǎn)品之前，特別是那些沒有進(jìn)行隨機(jī)對照試驗(yàn)的產(chǎn)品，公司應(yīng)該考慮在有限的市場上測試它們，以便更好地了解它們在各種因素影響下的準(zhǔn)確性和行為——例如，當(dāng)面對不同來源的數(shù)據(jù)或環(huán)境變化時。

　　應(yīng)該制訂計劃，在機(jī)器學(xué)習(xí)產(chǎn)品上市前對其進(jìn)行認(rèn)證。監(jiān)管機(jī)構(gòu)的做法提供了一個很好的路線圖。例如，2020年，美國食品藥品監(jiān)督管理局發(fā)表了一篇論文，提出了一種新的監(jiān)管框架，用于修改基于機(jī)器學(xué)習(xí)的醫(yī)療設(shè)備軟件。它提出了一種方法，可以讓這類軟件在保證患者安全的同時不斷改進(jìn)，包括對開發(fā)軟件的公司或團(tuán)隊(duì)進(jìn)行完整的評估，以確保該公司擁有卓越的組織文化，從而能夠定期測試其機(jī)器學(xué)習(xí)設(shè)備。

　　基于機(jī)器學(xué)習(xí)的產(chǎn)品和服務(wù)以及它們所處的環(huán)境在不斷發(fā)展，很多公司可能會發(fā)現(xiàn)它們的技術(shù)并沒有像最初設(shè)想的那樣發(fā)揮作用。因此，重要的是，他們要尋找方法來檢查這些技術(shù)是否在適當(dāng)?shù)姆秶鷥?nèi)運(yùn)行。其他行業(yè)的成功經(jīng)驗(yàn)可以作為榜樣。美國食品藥品監(jiān)督管理局倡議利用不同的數(shù)據(jù)來源，如電子健康記錄，來監(jiān)控醫(yī)療產(chǎn)品的安全性，如果不合格，可以強(qiáng)制撤回這些產(chǎn)品。在許多方面，企業(yè)的監(jiān)控程序可能類似于目前制造業(yè)、能源公司或網(wǎng)絡(luò)安全領(lǐng)域使用的預(yù)防性維護(hù)工具和流程。例如，這些公司可能會對人工智能進(jìn)行所謂的對抗性攻擊，就像那些常規(guī)測試IT系統(tǒng)防御強(qiáng)度的攻擊一樣。

　　研發(fā)和制定智能安全原則

　　依賴機(jī)器學(xué)習(xí)的產(chǎn)品和服務(wù)——不斷吸收新數(shù)據(jù)，并根據(jù)數(shù)據(jù)做出相應(yīng)調(diào)整的計算機(jī)程序——并不總是能做出合乎道德或準(zhǔn)確的選擇。因此，自主決策的產(chǎn)品和服務(wù)需要解決道德困境——這一要求會帶來額外的風(fēng)險、監(jiān)管和產(chǎn)品開發(fā)挑戰(zhàn)。學(xué)者們現(xiàn)在已經(jīng)開始將這些挑戰(zhàn)定義為算法設(shè)計負(fù)責(zé)解決的問題。例如，特斯拉是應(yīng)該按照功利主義的成本—收益原則來設(shè)計汽車，還是按照康德主義的原則來設(shè)計汽車？即使答案是功利主義的，量化也是極其困難的：我們應(yīng)該如何對一輛車進(jìn)行編程，讓它來衡量三個老年人的生命更重要，還是一個中年人的生命更重要？企業(yè)應(yīng)該如何在諸如隱私、公平、準(zhǔn)確性和安全性之間取得平衡？所有這些風(fēng)險都可以避免嗎？的確，有時它們會造成投資損失、有偏見的雇傭，甚至車禍。隨著這類產(chǎn)品在各個市場的激增，很多應(yīng)用該技術(shù)的公司將面臨新的重大風(fēng)險。

　　對此，企業(yè)需要建立自己的準(zhǔn)則，包括道德準(zhǔn)則，來管理這些新的風(fēng)險，就像谷歌和微軟等公司已經(jīng)做的那樣。這些指導(dǎo)方針往往需要非常具體（例如，關(guān)于采用何種關(guān)于“公平”的定義）才能有用，并且必須針對所涉風(fēng)險進(jìn)行調(diào)整。如果你使用機(jī)器學(xué)習(xí)來做招聘決定，最好有一個簡單、公平和透明的模型。如果你使用機(jī)器學(xué)習(xí)來預(yù)測商品期貨合約的價格，你可能就不太關(guān)心這些價值，而更關(guān)心機(jī)器學(xué)習(xí)做出決定所允許的最大潛在經(jīng)濟(jì)損失。

　　幸運(yùn)的是，現(xiàn)在有很多機(jī)構(gòu)已經(jīng)參與到了開發(fā)和實(shí)現(xiàn)的原則中。人們可以從經(jīng)合組織等機(jī)構(gòu)多年來的努力中學(xué)到很多東西。經(jīng)合組織制定了首個政府間人工智能原則，并在2019年被許多國家采用。經(jīng)合組織原則促進(jìn)了創(chuàng)新、可信和負(fù)責(zé)任、透明的人工智能，尊重人權(quán)、法治和多樣性，推動包容性增長、可持續(xù)發(fā)展和人類福祉。他們還強(qiáng)調(diào)了人工系統(tǒng)在整個生命周期中的健康性、安全性和持續(xù)風(fēng)險管理。最近，經(jīng)合組織推出的人工智能政策觀察（The OECD AI Policy Observatory）平臺對此提供了更多有用的資源，如對全球人工智能政策的綜合匯編。
責(zé)任編輯：YYX