科學(xué)家真正信任人工智能之前，首先需要去理解機(jī)器是如何學(xué)習(xí)的

As machine learning infiltrates society, scientists are trying to help ward off injustice.隨著機(jī)器學(xué)習(xí)對(duì)社會(huì)各領(lǐng)域的滲透，科學(xué)家正努力去防止一些不公平的現(xiàn)象產(chǎn)生。

Illustration by Mario Wagner

一、背景人工智能無處不在，但在科學(xué)家真正信任人工智能之前，首先需要去理解機(jī)器是如何學(xué)習(xí)的。

隨著人工智能技術(shù)的應(yīng)用，計(jì)算機(jī)的決策會(huì)逐漸被人們所接受，但一些決策可能會(huì)影響人們的生活。比如，機(jī)器學(xué)習(xí)算法應(yīng)用于虐童家庭預(yù)測(cè)和犯罪預(yù)測(cè)等。每天頭條新聞都有人說孩子們處于危險(xiǎn)中，而算法正在幫助公共部門改善兒童的危險(xiǎn)處境。2015年，Rhema Vaithianathan在賓夕法尼亞州匹茲堡解釋了軟件怎么樣幫我們改善兒童的危險(xiǎn)處境。從匹茲堡的早期運(yùn)行效果來看，算法預(yù)測(cè)分析技術(shù)似乎是兒童保護(hù)領(lǐng)域在過去20年間最令人興奮的創(chuàng)新之一。在刑事司法領(lǐng)域，算法預(yù)測(cè)分析也已經(jīng)被確立為法官和假釋委員會(huì)的工具。

這些算法預(yù)測(cè)工具應(yīng)該是一致、準(zhǔn)確、嚴(yán)謹(jǐn)?shù)?。但?duì)這些工具的監(jiān)督卻非常有限，因?yàn)闆]有人知道有多少人在使用這樣的工具。2016年有美國(guó)記者稱判定未來犯罪風(fēng)險(xiǎn)的系統(tǒng)會(huì)歧視黑人被告，算法運(yùn)作本身的保密性（不透明性）激起了公眾更為強(qiáng)烈的不滿，而且大部分算法是由私營(yíng)公司所開發(fā)、銷售和嚴(yán)密保護(hù)的。

在這樣的背景下，政府也在嘗試讓這樣的軟件更具可解釋性。2017年12月11日，美國(guó)紐約市議會(huì)通過了《算法問責(zé)法案》，以解決算法歧視問題。根據(jù)該法案，紐約市將成立一個(gè)由自動(dòng)化決策系統(tǒng)專家和受自動(dòng)化決策系統(tǒng)影響的公民組織代表組成的工作組，專門監(jiān)督市政機(jī)構(gòu)使用的自動(dòng)決策算法的公平性、問責(zé)性和透明度。該小組負(fù)責(zé)推動(dòng)政府決策算法開源，使公眾了解市政機(jī)構(gòu)自動(dòng)化決策的過程，并就如何改進(jìn)算法問責(zé)制和避免算法歧視提出了一些建議。

今年年初，法國(guó)稱會(huì)將政府使用的算法進(jìn)行公開。6月英國(guó)政府發(fā)布了《數(shù)據(jù)倫理框架》，要求在公共領(lǐng)域使用數(shù)據(jù)要滿足透明性和可解釋性。5月底實(shí)施的歐盟GDPR中的內(nèi)容也在推進(jìn)算法可解釋性。

Rhema Vaithianathan建立算法來幫助標(biāo)記少兒虐待的案例

科學(xué)家正面臨一個(gè)復(fù)雜的問題，就是算法公平到底意味著什么？像Vaithianathan這樣正在與公共組織協(xié)作去建立負(fù)責(zé)、高效的軟件的研究人員，必須解決的難題就是自動(dòng)化的工具如何引入偏見或擴(kuò)展當(dāng)前的不平等性，尤其是當(dāng)這種工具被應(yīng)用到本來就有歧視的社會(huì)系統(tǒng)時(shí)。

理論計(jì)算機(jī)科學(xué)家Suresh Venkatasubramanian稱，自動(dòng)化決策工具軟件引發(fā)的問題其實(shí)并不是新問題。評(píng)定犯罪或信用風(fēng)險(xiǎn)的工具已經(jīng)存在數(shù)十年了。但隨著更大的數(shù)據(jù)集和更復(fù)雜的模型的廣泛應(yīng)用，就不能忽視其中存在的倫理問題。

二、對(duì)公平的權(quán)衡

2014年，當(dāng)Allegheny人類服務(wù)部的官員提出使用自動(dòng)化的工具時(shí)，他們并沒有決定是否要使用這些工具。但他們想公開這樣的新系統(tǒng)。該部門數(shù)據(jù)分析研究和評(píng)估辦公室副主任Erin Dalton說，“他個(gè)人非常反對(duì)使用政府資金提出黑盒的解決方案”。

Allegheny Family Screening Tool （AFST）項(xiàng)目是2016年8月發(fā)起的。對(duì)每個(gè)打進(jìn)熱線的電話，呼叫中心職員會(huì)看到一個(gè)自動(dòng)風(fēng)險(xiǎn)評(píng)定系統(tǒng)給出的分值，范圍為1～20，分值越大代表風(fēng)險(xiǎn)越高。目前的情況是呼叫中心職員得出的結(jié)論并不必須與算法給出的風(fēng)險(xiǎn)分值一致，但政府部門希望這兩個(gè)結(jié)果能夠保持一致性。

預(yù)測(cè)犯罪改革

隨著AFST項(xiàng)目的應(yīng)用，Dalton希望有更多的人能幫助發(fā)現(xiàn)該系統(tǒng)是否存在偏見。2016年，她與卡內(nèi)基梅隆大學(xué)的數(shù)據(jù)分析師Alexandra Chouldechova一起分析了該軟件是否對(duì)特定群體存在歧視。Chouldechova也一直在研究算法本身可能存在的一些偏見。

今年5月，新聞網(wǎng)站ProPublica報(bào)道說佛羅里達(dá)州Broward縣法官使用了一款可以幫助決定罪犯在審判前是否可以保釋的商業(yè)軟件COMPAS。記者通過分析發(fā)現(xiàn)該軟件對(duì)黑人被告存在偏見，因?yàn)樵撥浖?duì)黑人的打分有很大比例是假陽(yáng)性的，也就是說軟件給出的風(fēng)險(xiǎn)值很高，但在之后被沒有被控訴。COMPAS算法的開發(fā)者稱該工具是沒有偏見的，在預(yù)測(cè)評(píng)分較高的白人被告和黑人被告再犯罪的準(zhǔn)確率是相當(dāng)?shù)摹?/p>

三、如何定義公平（FAIR）

研究算法偏見的研究人員說有許多方法來定義公平，而其中一些方法是互相矛盾的。

假設(shè)刑事司法使用的系統(tǒng)可以給兩組人（藍(lán)色和紫色）評(píng)定再次被捕的風(fēng)險(xiǎn)。歷史數(shù)據(jù)表明，紫色組被捕的概率略高，所以模型更容易會(huì)將紫色組的人分類為高風(fēng)險(xiǎn)。即使模型開發(fā)人員盡力去彌補(bǔ)這種偏見，但模型根據(jù)數(shù)據(jù)集的學(xué)習(xí)可能也會(huì)得出這樣的關(guān)聯(lián)。

高風(fēng)險(xiǎn)的狀態(tài)不能完美預(yù)測(cè)被捕率，但算法開發(fā)者嘗試讓預(yù)測(cè)是公正的：對(duì)兩組人來說，高風(fēng)險(xiǎn)對(duì)應(yīng)2年內(nèi)被捕的概率是2/3。未來被捕的概率可能不會(huì)遵循過去的模型。但舉一個(gè)簡(jiǎn)單的例子，假設(shè)藍(lán)色組中有3/10最終被捕，紫色組中有6/10最終被捕。

在藍(lán)色組中，1/7的人被誤認(rèn)為是高風(fēng)險(xiǎn)的；紫色組中，1/2的人被誤認(rèn)為是高風(fēng)險(xiǎn)的。所以紫色組看起來更像是“假陽(yáng)性的”——被誤認(rèn)為是高風(fēng)險(xiǎn)的。

因?yàn)樗{(lán)色和紫色組成員以不同的比例被再次逮捕，所以很難去得到一個(gè)預(yù)測(cè)的公平性，也無法讓假陽(yáng)性率相等。有人就會(huì)認(rèn)為紫色組的假陽(yáng)性率太高本身就是一種歧視。但也有研究人員認(rèn)為這并不足以說明算法存在偏見。

事實(shí)上，有很多的方法來定義公平。那么從數(shù)學(xué)的角度講，計(jì)算機(jī)科學(xué)家Arvind Narayanan在今年2月的會(huì)議上做了題為“21 fairness definitions and their politics”的演講。一些研究人員也研究了ProPublica的案例，他們認(rèn)為這確實(shí)不足以證明算法存在偏見；但確實(shí)映射出了一種統(tǒng)計(jì)假象。

有些人認(rèn)為ProPublica強(qiáng)調(diào)許多機(jī)構(gòu)缺乏資源和合適的算法評(píng)估工具。芝加哥大學(xué)數(shù)據(jù)科學(xué)和公共政策中心主任Rayid Ghani說，雇傭Northpointe的政府機(jī)關(guān)沒有給他們一個(gè)好的定義，政府需要學(xué)習(xí)和訓(xùn)練如何向這些系統(tǒng)尋求幫助，如何定義度量的標(biāo)準(zhǔn)來確保供應(yīng)商、咨詢者和研究者給出的系統(tǒng)的公平的。

Allegheny縣的經(jīng)驗(yàn)說明了駕馭這些問題的難度。Chouldechova發(fā)現(xiàn)他們的公司也存在同樣的統(tǒng)計(jì)不平衡性。該模型有一些不想要的特征，這種錯(cuò)誤率在種族和民族方面的期望要高很多，但是原因尚不清楚。Allegheny縣和Vaithianathan團(tuán)隊(duì)也在考慮使用其他的模型來降低這種不平衡性。

雖然統(tǒng)計(jì)不平衡性是一個(gè)問題，算法中的不公平可能會(huì)加強(qiáng)社會(huì)中的不公平現(xiàn)象。比如， COMPAS這樣的算法可能會(huì)用來預(yù)測(cè)未來犯罪情況，但只能利用一些可度量的指標(biāo)來進(jìn)行預(yù)測(cè)，比如再次被捕。即使我們準(zhǔn)確預(yù)測(cè)了一些事情，但我們準(zhǔn)確預(yù)測(cè)的事情也可能是不公平的。

卡姆登（美國(guó)新澤西州）的檢查用自動(dòng)化工具來預(yù)測(cè)哪些區(qū)域需要巡邏。

圖片來源:Timothy Clary/AFP/Getty

Allegheny使用的工具同樣飽受詬病。作家、政治學(xué)者Virginia Eubanks說，不論算法是不是準(zhǔn)確的，輸入本身就是不公平的，因?yàn)楹谌撕蛢煞N人種（兩種膚色結(jié)合）的家庭更容易被舉報(bào)。而且，因?yàn)樵撃Ｐ褪褂玫臄?shù)據(jù)是Allegheny系統(tǒng)中的公共服務(wù)信息，因?yàn)槭褂眠@些服務(wù)的家庭總體來說比較窮，所以算法對(duì)這種家庭更多監(jiān)管本身也是不公平的。Dalton承認(rèn)數(shù)據(jù)本身是有限的，但她認(rèn)為這樣的工具還是很有必要的。

四、算法透明性和限制

芝加哥大學(xué)、劍橋大學(xué)、斯坦福等高校和科研機(jī)構(gòu)都在進(jìn)行這類算法的研究。地區(qū)檢察官辦公室分析師Maria McKee說，“我們知道什么是對(duì)的，什么是公平的，但是我們沒有工具或研究成果來準(zhǔn)確地解釋?！?/p>

算法確實(shí)需要更多的透明性，當(dāng)算法不審計(jì)、不評(píng)審、不進(jìn)行公開討論、形成閉環(huán)的時(shí)候就會(huì)產(chǎn)生一些問題。但算法如何公開也是一個(gè)問題，而且算法的透明性和隱私性也可能會(huì)存在沖突。泄漏太多算法工作原理的信息可能會(huì)讓有些人去探測(cè)系統(tǒng)。

算法審計(jì)的一個(gè)障礙是機(jī)構(gòu)不會(huì)收集預(yù)測(cè)工具使用的過程信息和性能信息。算法不透明的原因是因?yàn)闆]有可共享的信息。California立法機(jī)關(guān)起草了一個(gè)法案草案，呼吁風(fēng)險(xiǎn)評(píng)定工具幫助減少被告必須支付保釋金的頻率，因?yàn)槿藗冋J(rèn)為這是一種懲罰低收入被告的方式。Goel希望該法案批準(zhǔn)收集法官不同意工具產(chǎn)生的結(jié)果的情況。這樣做的目的是在維護(hù)公共安全的同時(shí)盡量減少監(jiān)禁的情況。因?yàn)樾枰恍┱?dāng)程序（due process）基礎(chǔ)設(shè)施來確保算法是可審計(jì)的。今年4月，AI Now Institute就列出了公共機(jī)構(gòu)感興趣的算法決策工具負(fù)責(zé)任的應(yīng)用，還呼吁社區(qū)參與來給予市民申訴有關(guān)自己的決策的能力。

許多人也希望法律可以強(qiáng)制實(shí)現(xiàn)這樣的目標(biāo)。在美國(guó)，一些消費(fèi)者保護(hù)規(guī)則在有不利于公民的決策產(chǎn)生時(shí)，會(huì)給公民一個(gè)詳細(xì)的解釋。在法國(guó)，關(guān)于解釋的權(quán)利和爭(zhēng)議處理的立法可以追溯到20世紀(jì)70年代。

最大范圍的一次測(cè)試就是歐盟的GDPR，該法案于今年5月25日正式實(shí)施。其中的一些條款看似在推動(dòng)算法可審計(jì)性，比如自動(dòng)決策過程實(shí)例中的邏輯相關(guān)信息的權(quán)利等。但牛津互聯(lián)網(wǎng)研究院數(shù)據(jù)倫理學(xué)家Brent Mittelstadt認(rèn)為，GDPR也可能會(huì)阻礙算法可審計(jì)性。因?yàn)樗鼮槟切┬枰u(píng)估公平性的人創(chuàng)造了一個(gè)雷區(qū)。

測(cè)試算法是否存在偏見最好的辦法就是讓相關(guān)人員了解相關(guān)的屬性。但GDPR對(duì)敏感信息使用的限制太嚴(yán)厲、罰金太高，以致評(píng)估算法的公司可能沒有太多的動(dòng)機(jī)去處理這些信息。所以說，這對(duì)我們?cè)u(píng)估公平性的能力來說可能是一種限制。

而且一些GDPR的規(guī)則只適用于全自動(dòng)化的系統(tǒng)，這會(huì)將那些算法做出參考決策、人類做最終決定的情況排除在外。

五、算法審計(jì)

同時(shí)，研究人員正在向那些并未受到公共監(jiān)管的領(lǐng)域中的算法歧視進(jìn)行檢測(cè)。企業(yè)可能并不愿意去討論他們是如何解決公平性的，因?yàn)檫@首先承認(rèn)了他們存在公平性的問題。即使存在這樣的問題，企業(yè)的行為可能也只是去緩解而不是徹底消除歧視。最近，微軟和Facebook都聲明正在開發(fā)檢測(cè)算法歧視的工具。

還有研究人員嘗試從外部去找出商業(yè)算法中的歧視問題。比如，通過向求職網(wǎng)站投遞簡(jiǎn)歷來檢測(cè)性別歧視問題。今年5月，Ghani發(fā)布了一個(gè)開源軟件Aequitas，該軟件可以幫助工程師、政策制定者、數(shù)據(jù)分析師等來審計(jì)機(jī)器學(xué)習(xí)模型中的歧視問題。

還有研究人員選擇了不同的研究方向。比如，刑事司法應(yīng)用和其他領(lǐng)域目前主要是構(gòu)建算法模型來預(yù)測(cè)犯罪。還有一種更好的方式就是找出人們犯罪的影響因素，然后進(jìn)行干預(yù)，達(dá)到降低犯罪率的目的。

Vaithianathan目前仍在繼續(xù)推廣她的虐童預(yù)測(cè)模型，同時(shí)她也意識(shí)到需要構(gòu)建更好的算法。在復(fù)雜的系統(tǒng)中，算法不可能像直升機(jī)一樣直上直下，必須要有理解全局的人來幫助實(shí)施。但無論如何都會(huì)遇到一些挑戰(zhàn)，所以在沒有直接答案和完美解決方案之前，算法透明應(yīng)該是最好的策略。

“If you can't be right,

be honest.”