人工智能的算法黑箱與大數(shù)據(jù)的正義

人工智能的算法依賴于大數(shù)據(jù)，而大數(shù)據(jù)并非中立。它們從真實(shí)社會(huì)中抽取，必然帶有社會(huì)固有的不平等、排斥性和歧視的痕跡。

一個(gè)月前，《終極算法》作者、人工智能著名學(xué)者、華盛頓大學(xué)教授 Pedro Domingos 在社交網(wǎng)絡(luò)中寫道：“自 5 月 25 日起，歐盟將會(huì)要求所有算法解釋其輸出原理，這意味著深度學(xué)習(xí)成為非法的方式?！币皇て鹎永恕Ｈ藗儾唤獑?wèn)：歐盟為何出臺(tái)這個(gè)法規(guī)？以深度學(xué)習(xí)為核心的人工智能真的會(huì)遭遇重大挫折嗎？中國(guó)應(yīng)當(dāng)借鑒并仿效嗎？

利用人工智能的自動(dòng)化決定

盡管真正擁有知覺(jué)和自我意識(shí)的“強(qiáng)人工智能”仍屬幻想，但專注于特定功能的“弱人工智能”早如雨后春筍般涌現(xiàn)。在萬(wàn)物互聯(lián)的背景下，以云計(jì)算為用，以個(gè)人數(shù)據(jù)為體，以機(jī)器學(xué)習(xí)為魂的智能應(yīng)用已經(jīng)“潤(rùn)物細(xì)無(wú)聲”。

從今日頭條的個(gè)性化推送到螞蟻金服的芝麻信用評(píng)分，從京東的“奶爸當(dāng)家指數(shù)”到某旅游網(wǎng)站用大數(shù)據(jù)“殺熟”，個(gè)人信息自動(dòng)化分析深嵌入到我們?nèi)粘Ｉ钪小Ｔ诜缮?，我們稱之為“基于個(gè)人信息的自動(dòng)化決定”。簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)自動(dòng)化的數(shù)據(jù)處理，評(píng)估、分析及預(yù)測(cè)個(gè)人的工作表現(xiàn)、經(jīng)濟(jì)狀況、位置、健康狀況、個(gè)人偏好、可信賴度或者行為表現(xiàn)，進(jìn)而利用這種“數(shù)據(jù)畫像”（profiling），在不同的業(yè)務(wù)場(chǎng)景中做出有關(guān)數(shù)據(jù)主體的各項(xiàng)決定。

人工智能的自動(dòng)化決定一方面可以給我們帶來(lái)便利，比如智能投顧或智能醫(yī)療；但另一方面，它絕非完美無(wú)缺，它不僅可能出錯(cuò)，甚至還可能存在“惡意”。

美國(guó)馬薩諸塞州的居民John Gass便深受其害。聯(lián)邦調(diào)查局的反恐識(shí)別系統(tǒng)將他誤認(rèn)為是另一位司機(jī)，并吊銷了他的駕駛執(zhí)照，于是，他不得不費(fèi)時(shí)費(fèi)力，讓當(dāng)局相信他不是那名司機(jī)。其實(shí)，John Cass已經(jīng)非常幸運(yùn)。在美國(guó)，每周超過(guò)1000人被機(jī)場(chǎng)使用的算法錯(cuò)誤地標(biāo)記為***。一名美國(guó)航空公司的飛行員在一年中被拘留了80次，因?yàn)樗拿峙c愛(ài)爾蘭共和軍領(lǐng)導(dǎo)人的名字相似。這還不算是最糟糕的。

人工智能的算法依賴于大數(shù)據(jù)，而大數(shù)據(jù)并非中立。它們從真實(shí)社會(huì)中抽取，必然帶有社會(huì)固有的不平等、排斥性和歧視的痕跡。例如，為了在Twitter上與千禧一代進(jìn)行對(duì)話，微軟開(kāi)發(fā)了Tay聊天機(jī)器人，它旨在學(xué)習(xí)如何通過(guò)復(fù)制網(wǎng)民的語(yǔ)音來(lái)模仿他人?？蓛H僅在試用24小時(shí)后，它就被引入歧途，成為支持種族滅絕的反女權(quán)主義的納粹分子，以至于發(fā)出了“希特勒無(wú)罪”的消息。更有甚者，美國(guó)法院用以評(píng)估犯罪風(fēng)險(xiǎn)的算法COMPAS，亦被證明對(duì)黑人造成了系統(tǒng)性歧視。

無(wú)論是程序錯(cuò)誤，還是算法歧視，在人工智能的前沿領(lǐng)域——深度學(xué)習(xí)中，都變得難以識(shí)別。

華盛頓特區(qū)的Sarah Wysocki是一位被普遍認(rèn)可的老師，但當(dāng)2009年政府用一個(gè)自動(dòng)化決定程序來(lái)評(píng)價(jià)教師表現(xiàn)時(shí)，她和其他205人因得分不佳被解雇。據(jù)稱，該決定以少數(shù)學(xué)生的成績(jī)?yōu)橐罁?jù)，可學(xué)校始終無(wú)法解釋為何優(yōu)秀教師會(huì)落得如此下場(chǎng)。

華盛頓學(xué)校的難題有著深層次原因。與傳統(tǒng)機(jī)器學(xué)習(xí)不同，深度學(xué)習(xí)并不遵循數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預(yù)測(cè)的過(guò)程，而是由計(jì)算機(jī)直接從事物原始特征出發(fā)，自動(dòng)學(xué)習(xí)和生成高級(jí)的認(rèn)知結(jié)果。

在人工智能輸入的數(shù)據(jù)和其輸出的答案之間，存在著我們無(wú)法洞悉的“隱層”，它被稱為“黑箱”（black box）。這里的“黑箱”并不只意味著不能觀察，還意味著即使計(jì)算機(jī)試圖向我們解釋，我們也無(wú)法理解。哥倫比亞大學(xué)的機(jī)器人學(xué)家 Hod Lipson把這一困境形象地描述為“這就像是向一條狗解釋莎士比亞是誰(shuí)。”

《統(tǒng)一數(shù)據(jù)保護(hù)條例》的應(yīng)對(duì)

正是因?yàn)槿斯ぶ悄艿淖詣?dòng)化決定對(duì)個(gè)人權(quán)利的重大影響，將于2018年5月25日生效的歐盟《統(tǒng)一數(shù)據(jù)保護(hù)條例》（GDRR）在1995年《數(shù)據(jù)保護(hù)指令》（Directive 95/46/EC）的基礎(chǔ)上，進(jìn)一步強(qiáng)化了對(duì)自然人數(shù)據(jù)的保護(hù)。

首先，尊重個(gè)人的選擇權(quán)。當(dāng)自動(dòng)化決定將對(duì)個(gè)人產(chǎn)生法律上的后果或類似效果時(shí)，除非當(dāng)事人明確同意，或者對(duì)于當(dāng)事人間合同的達(dá)成和履行來(lái)說(shuō)必不可少，否則，個(gè)人均有權(quán)不受相關(guān)決定的限制。

其次，將個(gè)人敏感數(shù)據(jù)排除在人工智能的自動(dòng)化決定之外。根據(jù)《統(tǒng)一數(shù)據(jù)保護(hù)條例》第9（1）條，“敏感數(shù)據(jù)”即有關(guān)種族、政治傾向、宗教信仰、健康、性生活、性取向的數(shù)據(jù)，或者可唯一性識(shí)別自然人的基因數(shù)據(jù)、生物數(shù)據(jù)。由于這些數(shù)據(jù)一旦遭到泄露、修改或不當(dāng)利用，就會(huì)對(duì)個(gè)人造成不良影響，因此，歐盟一律禁止自動(dòng)化處理，即使當(dāng)事人同意亦是如是，只有在明確的法律規(guī)定時(shí)才存在例外。

再次，增加數(shù)據(jù)使用者在個(gè)人數(shù)據(jù)收集時(shí)的透明度。根據(jù)《統(tǒng)一數(shù)據(jù)保護(hù)條例》第13條（f）和第14條（g），如果個(gè)人數(shù)據(jù)將用于自動(dòng)化決定，那么至少應(yīng)當(dāng)向個(gè)人提供相關(guān)決定的重要性、對(duì)個(gè)人預(yù)期的影響以及有關(guān)運(yùn)算邏輯的“有用信息”。

比如，在銀行收集個(gè)人數(shù)據(jù)時(shí)，應(yīng)當(dāng)告知其可能使用人工智能對(duì)貸款人資質(zhì)進(jìn)行審核，而審核的最壞結(jié)果（如不批貸）也應(yīng)一并披露。此外，由于我們都不是技術(shù)專家，因此，這里的“有用信息”不但應(yīng)淺顯易懂，為每個(gè)人理解，而且要有助于每個(gè)人主張自己在《統(tǒng)一數(shù)據(jù)保護(hù)條例》或其他法律下的權(quán)利。還是以貸款審核為例，當(dāng)我們覺(jué)得被不公正對(duì)待時(shí)，銀行提供的信息就應(yīng)當(dāng)成為法院審理的重要依據(jù)。

最后，如果個(gè)人對(duì)自動(dòng)化決定不滿，則有權(quán)主張人工介入，以表達(dá)自己的觀點(diǎn)并提出質(zhì)疑。這一規(guī)定和上述透明度要求相結(jié)合，產(chǎn)生了針對(duì)人工智能的所謂“解釋權(quán)”，而這正是Pedro Domingos的擔(dān)憂所在?？紤]到算法黑箱，深度學(xué)習(xí)的合法化似乎是個(gè)無(wú)解的問(wèn)題。

但事實(shí)上，這可能是個(gè)誤解。一方面，“有用信息”的提供是在收集數(shù)據(jù)之時(shí)，而非做出自動(dòng)化決定之后，其意味著個(gè)人僅僅概括地了解系統(tǒng)的一般原則即可，并不需要徹底把握某項(xiàng)具體決定的邏輯；另一方面，法律所看重的是“可理解”（explainable），而不是“可闡釋（interpretable）。換言之，它不關(guān)注人工智能內(nèi)部究竟如何運(yùn)作，而只關(guān)心輸入數(shù)據(jù)和輸出結(jié)果的關(guān)聯(lián)關(guān)系。

在加州大學(xué)伯克利分校發(fā)布的《人工智能的系統(tǒng)挑戰(zhàn)：一個(gè)伯克利的觀點(diǎn)》（A Berkeley View of Systems Challenges for AI）中，這種關(guān)聯(lián)性被稱“反事實(shí)問(wèn)題”測(cè)試。在個(gè)人被拒絕貸款的例子中，人工智能系統(tǒng)必須能否回答如果諸如“我不是女性，是不是就能批貸？”“如果我不是小企業(yè)主，是不是就能批貸”這樣的問(wèn)題。因而數(shù)據(jù)使用者有義務(wù)建構(gòu)出一套具有交互診斷分析能力的系統(tǒng)，通過(guò)檢視輸入數(shù)據(jù)和重現(xiàn)執(zhí)行過(guò)程，來(lái)化解人們的質(zhì)疑。這才是“人工介入”的真實(shí)含義。

將數(shù)據(jù)正義引入中國(guó)

數(shù)據(jù)是數(shù)字經(jīng)濟(jì)的關(guān)鍵生產(chǎn)要素，人工智能是數(shù)字經(jīng)濟(jì)的關(guān)鍵產(chǎn)業(yè)支柱。如何在發(fā)掘數(shù)據(jù)的經(jīng)濟(jì)價(jià)值、發(fā)展人工智能的同時(shí)，保障個(gè)人的權(quán)利和自由，依然是數(shù)字社會(huì)的未解難題。

當(dāng)前，我國(guó)尚無(wú)《個(gè)人信息保護(hù)法》，在不久前出臺(tái)的《個(gè)人信息安全規(guī)范》中，第7.10條“約束信息系統(tǒng)自動(dòng)決策”也只是賦予了個(gè)人提出申請(qǐng)的程序性權(quán)利，并不涉及實(shí)質(zhì)約束。

無(wú)獨(dú)有偶，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》雖然已關(guān)注到人工智能的倫理和隱私問(wèn)題，但著墨不多，因過(guò)于原則而難以實(shí)施。就此而言，《統(tǒng)一數(shù)據(jù)保護(hù)條例》可成為我國(guó)可資借鑒的他山之石。它不僅僅提供了一系列具象的法律規(guī)則，更重要的是它在“數(shù)據(jù)效率”之外，傳遞出“數(shù)據(jù)正義”（data justice）的理念。

盡管作為一個(gè)發(fā)展中的理念，數(shù)據(jù)正義的含義遠(yuǎn)未定型，但“反數(shù)據(jù)歧視”和“數(shù)據(jù)透明”必然是題中之意。在數(shù)字化生存的今天，不管是“社會(huì)人”還是“經(jīng)濟(jì)人”，都首先是“數(shù)字人”。

現(xiàn)實(shí)空間的我們被數(shù)據(jù)所記載、所表達(dá)、所模擬、所處理、所預(yù)測(cè)，現(xiàn)實(shí)空間的歧視也是如此。從求職歧視到消費(fèi)歧視和司法歧視，數(shù)據(jù)歧視前所未有地制度化和系統(tǒng)化?；诖?，法律首先要做的就是規(guī)定更加小心和負(fù)責(zé)地收集、使用、共享可能導(dǎo)致歧視的任何敏感數(shù)據(jù),可這顯然不夠。

從大數(shù)據(jù)的相關(guān)性原理出發(fā)，只是將敏感數(shù)據(jù)簡(jiǎn)單排除并不能保證它們不被考慮。例如，若特定區(qū)域的人有著大量的低收入群體或少數(shù)族裔，那么區(qū)域的地理數(shù)據(jù)就可以代替收入或種族數(shù)據(jù)，用作歧視工具。所以，要識(shí)別和挑戰(zhàn)數(shù)據(jù)應(yīng)用中的歧視和偏見(jiàn)，“數(shù)據(jù)透明”就不可或缺。換言之，它要求在數(shù)據(jù)生產(chǎn)和處理日趨復(fù)雜的形勢(shì)下，增強(qiáng)個(gè)人的知情權(quán)，從而修復(fù)信息的對(duì)稱性。

凱文·凱利

關(guān)于這一點(diǎn)，凱文?凱利所講的老婆婆故事是一個(gè)絕佳的例子。在故事里，你住在一個(gè)小城鎮(zhèn)，你的鄰居老婆婆知道你的一切動(dòng)向和行蹤，但你可能不會(huì)覺(jué)得被冒犯，因?yàn)槟悴辉诩业臅r(shí)候，老婆婆會(huì)幫你看家；更重要的是，你了解關(guān)于老婆婆的一切。