人工智能真正值得擔(dān)心的是缺德，而不是聰明

人工智能真正值得擔(dān)心的是缺德，而不是聰明

我們都要思考技術(shù)如何體現(xiàn)特定的價值觀和假設(shè)，這有助于確?！拔覀冇眉夹g(shù)打造的世界，是一個我們想要居于其中的世界”。

2018年3月18日晚10點左右，伊萊恩·赫茨伯格（Elaine Herzberg）在亞利桑那州坦佩市騎車橫穿馬路，被一輛自動駕駛汽車撞倒，不幸身亡。雖然車上有安全駕駛員，但當(dāng)時汽車完全由自動駕駛系統(tǒng)（人工智能）控制。

和其他涉及人與AI技術(shù)交互的事故一樣，這起事故提出了一系列的道德和原始法律問題：開發(fā)該系統(tǒng)的程序員在防止該系統(tǒng)奪人性命方面負有怎樣的道德責(zé)任？

誰應(yīng)該為赫茨伯格的死負責(zé)？

是坐在駕駛位上的那個人嗎？

是測試那輛汽車的公司嗎？

是該AI系統(tǒng)的設(shè)計者嗎？

還是車載感應(yīng)設(shè)備的制造商？

“人工智能”是指從周圍環(huán)境中獲取線索，根據(jù)這些數(shù)據(jù)來解決問題、評估風(fēng)險、作出預(yù)測和采取行動的系統(tǒng)。在高性能計算機和大數(shù)據(jù)之前的時代，人工智能系統(tǒng)由人類編寫，遵循人類發(fā)明的規(guī)則，但技術(shù)進步已經(jīng)導(dǎo)致了新方法的出現(xiàn)，其中便包括機器學(xué)習(xí)?，F(xiàn)在，機器學(xué)習(xí)是最活躍的AI領(lǐng)域，它通過統(tǒng)計方法來讓系統(tǒng)從數(shù)據(jù)中“學(xué)習(xí)”，作出決策，不必進行顯式編程。這樣的系統(tǒng)配合上一種算法或者一系列步驟，利用一個知識庫或者知識流（算法用來構(gòu)建模型的信息）來解決一個問題。

這些技術(shù)進步引發(fā)了道德?lián)鷳n，主要聚焦于AI在致命性軍用無人機方面的應(yīng)用，或者AI可能使全球金融系統(tǒng)陷入混亂的風(fēng)險?？紤]到自主無人系統(tǒng)已經(jīng)威脅到了無數(shù)貨車司機和打車司機的飯碗，AI激起了普通民眾對失業(yè)的焦慮。除了這些宏觀的社會和經(jīng)濟考量，數(shù)據(jù)科學(xué)家還擔(dān)心AI系統(tǒng)的偏見、這項技術(shù)的倫理實現(xiàn)和人機交互的本質(zhì)（如果這些系統(tǒng)恰當(dāng)且公平地部署于最尋常普通的應(yīng)用）。

讓我們來看一個似乎平淡無奇的社會變化：機器已經(jīng)有能力作出可以改變?nèi)藗內(nèi)粘Ｉ畹臎Q定。AI能匯集和評估大量數(shù)據(jù)，有時超出人力所及的范疇，因此AI可以提出雇傭建議，在幾秒內(nèi)確定貸款申請人的信用度，預(yù)測罪犯再次犯罪的幾率。

但這樣的應(yīng)用引發(fā)了令人不安的倫理問題，因為AI系統(tǒng)能強化它們從現(xiàn)實數(shù)據(jù)中獲得的認知，甚至放大熟悉的風(fēng)險，比如種族和性別偏見。在面對不熟悉的場景時，AI系統(tǒng)還可能作出錯誤判斷。由于很多AI系統(tǒng)都是“黑箱”，人類不太容易獲知或者理解它們的決策依據(jù)，因此難以提出質(zhì)疑或者進行探查。

這樣的例子有很多。2014年，亞馬遜開發(fā)了一款招聘工具，用來識別這家公司想要招募的軟件工程師。很快，該系統(tǒng)開始歧視女性，在2017年被亞馬遜棄用。2016年，ProPublica分析了一款商業(yè)軟件。該系統(tǒng)預(yù)測罪犯再次犯罪的可能性，旨在幫助法官作出更明智的量刑決定。ProPublica發(fā)現(xiàn)，該系統(tǒng)對黑人存有偏見。在過去兩年里，依靠規(guī)則和訓(xùn)練數(shù)據(jù)來運作的自動駕駛汽車導(dǎo)致了幾起致命事故，原因是對外界環(huán)境不熟悉或者導(dǎo)航系統(tǒng)無法理解輸入數(shù)據(jù)。私營商業(yè)開發(fā)商通常拒絕公布他們的代碼以供檢查，因為其軟件被視為專有知識產(chǎn)權(quán)，是另一種形式的不透明性——法律上的，而非技術(shù)上的。

技術(shù)進步本身無法解決AI的深層次根本性問題：算法的設(shè)計哪怕再周全，也必須根據(jù)現(xiàn)實世界的數(shù)據(jù)來作出決定，但現(xiàn)實世界是有缺陷的、不完美的、不可預(yù)測的、特異的。

計算機科學(xué)家比其他人更快意識到，在系統(tǒng)被設(shè)計出來之后，工程并不總是能解決這樣的問題。盡管數(shù)據(jù)隱私得到加強，對算法公平的局限性有了更加清醒的認識，但人們意識到，在系統(tǒng)投入使用之前，必須把道德關(guān)切納入考量。這種認知促使倫理學(xué)課程（由哲學(xué)系博士后和研究生講授）被正式整合進哈佛大學(xué)的很多計算機科學(xué)課程。哈佛大學(xué)以及人工智能倫理與治理基金機構(gòu)（由哈佛大學(xué)法學(xué)院伯克曼·克萊因中心和麻省理工學(xué)院媒體實驗室共同創(chuàng)辦）的數(shù)據(jù)科學(xué)家，就AI對人類社會的影響進行了深入討論。這種對倫理的關(guān)注源于哈佛大學(xué)一位資深的計算機科學(xué)教授。

從溝通到合作——和倫理學(xué)

自然科學(xué)教授芭芭拉·格羅茲（Barbara Grosz）說：“幾年前，我去拜訪微軟的幾位朋友。其中一人研究計算機視覺系統(tǒng)。我們開車去某處散步。在高速公路上，我們前面的是一輛卡車，上面載著一個移動廁所，一輛自行車綁在這個移動廁所上?！业南到y(tǒng)會怎么處理這個東西？’那人說，‘它知道該作何反應(yīng)嗎？’”答案是可能不知道。這樣的一幅情景不可能成為其“體驗”——大量的圖像，由人類進行標記，構(gòu)成了系統(tǒng)的訓(xùn)練數(shù)據(jù)——的一部分。

芭芭拉·格羅茲

現(xiàn)在的AI系統(tǒng)還很弱小，比不上強大的人類智能——可以把在一個場景中學(xué)到的東西迅速應(yīng)用到另一個場景?？v然電腦能區(qū)分自動車、卡車和移動廁所，但如果這些物體混在一起，以每小時100公里的速度，沿著帶自行車道的高速公路行駛，那么電腦就會搞不清狀況。（利用這一弱點就是“AI和敵對攻擊”的主題。）換句話說，AI缺乏常識和推理能力，即使它能發(fā)現(xiàn)人類發(fā)現(xiàn)不了的東西，比如發(fā)現(xiàn)復(fù)雜生物網(wǎng)絡(luò)中的三階或更高階相互作用（必須三個或更多變量相互作用才能產(chǎn)生效果）?！皠e老想著機器人會統(tǒng)治世界。與其擔(dān)心人們知道其局限性的智能系統(tǒng)，不如擔(dān)心人們以為很聰明的愚蠢系統(tǒng)。”

格羅茲曾在康奈爾大學(xué)學(xué)習(xí)數(shù)學(xué)，后來在加州大學(xué)伯克利分校攻讀計算機科學(xué)，1973年成為斯坦福國際研究院（SRI International）人工智能中心的研究數(shù)學(xué)家，從此開始鉆研AI問題。計算機如何生成和理解人類語音和文本是AI研究的一個子領(lǐng)域，格羅茲被視為該領(lǐng)域的奠基人（榮獲2017年國際計算語言學(xué)協(xié)會終生成就獎），她能說出Alexa、Siri和谷歌等智能語音系統(tǒng)一大堆的不足之處。例如，這些系統(tǒng)知道最近的醫(yī)院在哪里，卻沒辦法指引腳踝受傷的人前往。

她在語言方面開展AI研究的時候，還沒有自然語言處理這種數(shù)據(jù)驅(qū)動的方法，所以她發(fā)明了一種基于模型的方法來代表人類語言，好讓計算機可以理解其含義。事實證明這對該領(lǐng)域特別有價值，因為這促使她深入思考人機交互的本質(zhì)，后來在構(gòu)想人機協(xié)作的未來時，又促使她提出了旨在跟人進行團隊合作的協(xié)作型AI系統(tǒng)的理論模型。

她在語言計算模型方面的研究遠遠超出了語法規(guī)則設(shè)計的范疇。理解說話者的意圖，以便確定對話的結(jié)構(gòu)，從而解譯人類話語的含義，這是她開創(chuàng)的一個重要策略。她指出，真正的對話經(jīng)常偏離主題，焦點不時轉(zhuǎn)換。她舉了一個著名的例子：一個人試圖通過電傳打字機，告訴另一個人如何組裝一臺空氣壓縮機，兩人的自發(fā)對話被她記錄了下來。其中一人用“它”來指代一個已經(jīng)有半小時都沒有被提及的物體，但兩人十分清楚是什么意思。她說，語氣也是理解歧義句的關(guān)鍵。“你是真正的王子”可能說得真心誠意，也可能語帶諷刺，必須教電腦明白二者的區(qū)別。

從這種跨學(xué)科研究中，產(chǎn)生了關(guān)于人機交互本質(zhì)的一般性原則。格羅茲和博士生（現(xiàn)為微軟研究院高級研究員）艾瑟·卡馬爾（Ece Kamar）提出了“中斷管理”理論，用于引導(dǎo)人機之間的信息交換，以大大提高人機對話的效率。在漫長的職業(yè)生涯中，她逐漸意識到，AI系統(tǒng)與人類團隊協(xié)作才能最大程度地發(fā)揮AI的作用。她設(shè)想的未來將智能電腦的速度和統(tǒng)計能力與人類的天賦相結(jié)合，而不是機器和人類彼此對抗。在描述AI系統(tǒng)擊敗象棋和圍棋世界冠軍或者取代人類工作崗位時，對抗常常被用來形容機器和人類的關(guān)系。可以說，人機協(xié)作代表了AI系統(tǒng)的前沿。

格羅茲開始在醫(yī)療領(lǐng)域試驗基于團隊的AI系統(tǒng)。她和一位斯坦福兒科醫(yī)生啟動了一個協(xié)調(diào)罕見病兒童護理工作的項目。照料這些兒童的人有很多，除了父母之外，還包括醫(yī)生、家庭護理人員、理療師和老師。她說，護理時間橫跨數(shù)年，“我不知道有哪個人可以在這么長的時間內(nèi)，持續(xù)追蹤另外15個人都干了些什么”。

格羅茲和博士生（現(xiàn)為以色列理工學(xué)院教員）奧夫拉·阿米爾（Ofra Amir）從分析患者護理團隊如何工作開始，提出了一個團隊合作的理論，引導(dǎo)人類成員和旨在協(xié)調(diào)兒童護理信息的AI系統(tǒng)進行互動。正如她在語言方面的AI研究一樣，她從一般性原則著手?！霸诶碚搶用嫔?，我們希望更好地了解在團隊擁有多個成員的環(huán)境中如何共享信息，然后打造工具，先是為父母，接著為醫(yī)生?！?/p>

她和巴伊蘭大學(xué)教授薩里特·克勞斯（Sarit Kraus）提出了一個重要原則：團隊成員不應(yīng)該承擔(dān)他們?nèi)狈Ρ匾R或者無力完成的任務(wù)。這是良好的人類團隊合作所具有的一個特征，也是“知道自身局限性的智能系統(tǒng)”所具有的一個重要特征?！皢栴}在于，不僅是AI，還有很多已經(jīng)面世的技術(shù)無法完成分配給它們的工作。”“不知道你想要什么”的網(wǎng)絡(luò)客服聊天機器人就是一例。她說，這些系統(tǒng)原本應(yīng)該采取不同的設(shè)計，以便客戶的初次互動是在電腦的幫助下跟一個人進行，那個人應(yīng)該和客戶建立關(guān)系，并檢查電腦明顯誤解的地方，而系統(tǒng)應(yīng)該幫助那個人更快地作出回答。當(dāng)智能系統(tǒng)設(shè)計的這些基本原則沒有得到應(yīng)有的尊重時，系統(tǒng)被認為能夠做到它們實際上做不到的事情，或者以不恰當(dāng)?shù)姆绞奖皇褂谩?/p>

格羅茲的跨學(xué)科研究方法涵蓋語言學(xué)、哲學(xué)、心理學(xué)、經(jīng)濟學(xué)，甚至還有一點人類學(xué)和社會學(xué)，這促使她思考其中哪些學(xué)科對AI系統(tǒng)設(shè)計的教學(xué)最有幫助。1987年至2001年，她曾教了一門AI導(dǎo)論課程，當(dāng)時AI的應(yīng)用大體上還處于理論層面，但在2013年和2014年，她重開那門課程時，世界已經(jīng)大變，全面運行的AI系統(tǒng)投入了使用。格羅茲意識到，關(guān)于AI提出的倫理挑戰(zhàn)和良好的系統(tǒng)設(shè)計之間的相互影響，出現(xiàn)了一個教學(xué)良機。

這導(dǎo)致了格羅茲對哈佛大學(xué)計算機科學(xué)教學(xué)工作最重要的貢獻之一：倫理學(xué)應(yīng)該緊密地整合進所有課程。2015年秋，她引入了一門新課程，名叫“智能系統(tǒng)設(shè)計與倫理挑戰(zhàn)”。次年，該課程的25個名額有140多名學(xué)生申請，這使她有了信心。格羅茲鼓勵她的計算機科學(xué)同事將倫理學(xué)整合進他們自己的課程。由于他們大多缺乏倫理學(xué)的教學(xué)經(jīng)驗，她開始和哲學(xué)系主任、哲學(xué)沃爾科特教授艾莉森·西蒙斯（Alison Simmons）合作。他們攜手各自領(lǐng)域的同事，招募愿意將倫理單元囊括進計算機科學(xué)課程的計算機科學(xué)教授和愿意教授倫理單元的哲學(xué)系研究生。

這項“嵌入式倫理計算機科學(xué)”計劃的目標，是教那些打造未來AI系統(tǒng)的人如何識別和思考倫理問題。（計算機科學(xué)現(xiàn)在是哈佛大學(xué)本科生人數(shù)第二多的專業(yè)，如果把統(tǒng)計學(xué)和應(yīng)用科學(xué)等相關(guān)專業(yè)的學(xué)生計算在內(nèi)，那么招生總數(shù)將大大超過排名第一的經(jīng)濟學(xué)專業(yè)。）“大多數(shù)的倫理挑戰(zhàn)并沒有一個簡單的正確答案，”格羅茲指出，“所以，就像學(xué)生們學(xué)習(xí)基本的計算技能一樣，我希望他們學(xué)習(xí)基本的倫理推理技能。”2017年春，四門計算機科學(xué)課程囊括了倫理學(xué)習(xí)，同年秋達到五門，2018年春增加到八門，現(xiàn)在總共有18門，包括系統(tǒng)編程、機器學(xué)習(xí)及其對公平和隱私的影響、社交網(wǎng)絡(luò)與審查問題、機器人與就業(yè)和人機交互。

對就讀這些課程的學(xué)生進行調(diào)查后發(fā)現(xiàn)，80%到90%的學(xué)生贊同嵌入式倫理教學(xué)，并且還想要更多。格羅茲說：“我希望所有的計算機科學(xué)課程，可能除了一兩門以外，都包含倫理單元?！边@樣一來，到畢業(yè)時，每個學(xué)生都會知道，“倫理在該領(lǐng)域的方方面面都非常重要，而不僅僅是在AI方面”。她和同事希望學(xué)生們明白，想要解決偏見和AI可解釋性等問題，他們在設(shè)計系統(tǒng)時，必須從一開始就把倫理原則放在心上。

變成波士頓司機

伯克曼·克萊因互聯(lián)網(wǎng)及社會中心教務(wù)主任、國際法和計算機科學(xué)教授喬納森·齊特林（Jonathan Zittrain）一直從原始法律的角度朝這個目標努力。2018年春，他和麻省理工學(xué)院媒體實驗室主任伊藤穰一（Joi Ito）共同教授一門課程，內(nèi)容是探索應(yīng)該如何塑造AI技術(shù)，使其將公共利益牢記在心。自動駕駛汽車是極好的研究對象，迫使學(xué)生們正視復(fù)雜性的本質(zhì)，遠非決定誰生誰死的“失控電車難題”那么簡單。

齊特林解釋說，一旦汽車真正實現(xiàn)自主，“這意味著，如果發(fā)出了對某人的逮捕令，那么下次那個人進入一輛自動駕駛汽車時，車門會自動上鎖，汽車會把他送到最近的警局。或者，要是車里的人突然發(fā)病了，該怎么辦？車輛能否以每小時110公里的速度在城市道路上飛奔，把人送往醫(yī)院，而其他所有車輛都自動向兩邊分開，讓出一條道路？”

齊特林班上的學(xué)生以為他們知道有關(guān)自動駕駛汽車的討論會如何展開。但當(dāng)齊特林提出一個非常簡單的問題時，他們面臨著系統(tǒng)設(shè)計者在道德上的兩難抉擇。那個問題是：“司機應(yīng)不應(yīng)該能夠要求車輛以每小時128公里的速度行駛？”如果是，而汽車以那個速度行駛時發(fā)生了車禍，司機是否應(yīng)該承擔(dān)責(zé)任？或者，允許汽車達到那個速度的汽車制造商是否應(yīng)該負責(zé)？“超速行駛時有發(fā)生，但我們知道我們對此無能為力，這能讓我們心里好過點?！饼R特林指出，“對自動駕駛汽車的初始前提是，車上沒有司機，我們又不能責(zé)怪汽車，因為它是個死物?？雌饋砗孟駴]有責(zé)任，但實際上責(zé)任大了?！逼囍圃焐獭I系統(tǒng)設(shè)計者、政策制定者和司機都可以被追責(zé)。

齊特林指出，如果車載AI系統(tǒng)從道路駕駛經(jīng)歷中“學(xué)習(xí)”，不斷改變其行為，那么情況會變得更加復(fù)雜?！叭绻诓ㄊ款D開得夠多，說不定它會變成波士頓司機！”這適用于很多學(xué)習(xí)系統(tǒng)，而相關(guān)的法律解決方案還未經(jīng)探索。他說，如果學(xué)習(xí)系統(tǒng)的行為并不總是可以預(yù)測，帶著那種不確定性投入使用，會讓人們付出代價。

齊特林說，在跨學(xué)科研究中，各學(xué)科之間的聯(lián)系是關(guān)鍵所在。在伯克曼·克萊因中心和麻省理工學(xué)院媒體實驗室，他和同事建立了一個名叫“集會”的團體，讓其他公司的軟件開發(fā)人員跟學(xué)生、跟彼此共事幾個月，研究AI和數(shù)據(jù)科學(xué)其他領(lǐng)域的一些問題?！扒度胧絺惱硎谡n可以為哈佛大學(xué)不同專業(yè)的學(xué)生提供彼此相逢的機會，利用他們在各自專業(yè)學(xué)到的知識，以團隊方式研究這類東西?！?/p>

“我認為，這是格羅茲的教學(xué)和研究具有重大影響力和長久魅力的一個原因。她教的不是如何干預(yù)和修復(fù)計算機系統(tǒng)或軟件，而是在更宏觀的層面上思考人和技術(shù)應(yīng)該如何互動?！奔夹g(shù)能被追責(zé)嗎？技術(shù)能被理解嗎？技術(shù)能是公平的嗎？

系統(tǒng)偏見和社會工程

在2018年10月舉行的首屆哈佛數(shù)據(jù)科學(xué)大會（HDSC）上，自主無人系統(tǒng)的公平問題被放在了一個突出的位置。計算機科學(xué)教授大衛(wèi)·帕克斯（David Parkes）列出了哈佛大學(xué)數(shù)據(jù)科學(xué)研究的指導(dǎo)原則：應(yīng)該解決包括隱私在內(nèi)的道德問題；不應(yīng)該延續(xù)現(xiàn)有偏見；應(yīng)該是透明的。但想要創(chuàng)造出體現(xiàn)這些原則的學(xué)習(xí)型AI系統(tǒng)是很難的。系統(tǒng)復(fù)雜性（可能有數(shù)千甚至更多變量）使人們幾乎不可能真正理解AI系統(tǒng)，而且存在于學(xué)習(xí)系統(tǒng)所依賴的數(shù)據(jù)集中的偏見很容易得到強化。

人們?yōu)槭裁春芟氪蜷_AI系統(tǒng)的“引擎蓋”，弄明白它到底是如何作出決定的？這有很多原因：評估是什么導(dǎo)致輸出結(jié)果存在偏見，在出事故前進行安全檢查，或者在涉及自動駕駛汽車的事故發(fā)生后認定責(zé)任。

你能迅速完成這個簡單的決策樹嗎？輸入數(shù)據(jù)是：國際機器學(xué)習(xí)會議；2017年；澳大利亞；袋鼠；晴天。假設(shè)你已經(jīng)正確完成，請用文字來解釋你是如何達成拍手這個決定的。要是有100萬個變量，會怎么樣？

這探究起來其實很難、很復(fù)雜。為了說明這一點，計算機科學(xué)助理教授費娜麗·杜什-維雷茲（Finale Doshi-Velez）把一個相對簡單的決策樹投射到大屏幕上。該決策樹深四層，按照5個輸入數(shù)據(jù)來回答問題。如果執(zhí)行正確，最終的結(jié)果是舉起你的左手。一些與會者能按規(guī)定完成。然后，她展示了一個更加復(fù)雜得多的決策樹，可能深25層，增加了5個新參數(shù)來確定沿該決策樹到達正確答案的路徑。這個任務(wù)對電腦來說易如反掌。然而，當(dāng)維雷茲詢問有沒有觀眾可以用文字來描述他們?yōu)槭裁磿竭_他們得出的那個答案時，沒人回答。即使標出正確路徑，也很難用外行人的話來描述復(fù)雜的交互式輸入數(shù)據(jù)對結(jié)果的影響。這還只是決策樹那樣的簡單模型，而不是擁有數(shù)百萬個參數(shù)的現(xiàn)代深度架構(gòu)。開發(fā)從任意模型（可擴展系統(tǒng)，擁有任意數(shù)量的變量、任務(wù)和輸出數(shù)據(jù)）中獲取解釋的技術(shù)，這是維雷茲及其同事的研究課題。

偏見造成了一系列的問題。在HDSC大會上發(fā)表關(guān)于算法公平的講話時，計算機科學(xué)教授辛西婭·德沃克（Cynthia Dwork）說，面對不同的群體（比如種族不同或者宗教信仰不同），評定是否符合資格（比如貸款資格）的算法應(yīng)該對每個群體都一視同仁。但在機器學(xué)習(xí)系統(tǒng)中，算法本身（逐步解決一個特定問題的過程）只是系統(tǒng)的一部分。另一個部分是數(shù)據(jù)。在自動作出貸款決定的AI系統(tǒng)中，算法部分可能是沒有偏見的，對每個群體都完全公平的，但在算法從數(shù)據(jù)中學(xué)習(xí)后，結(jié)果可能就不是這樣了。德沃克解釋道：“算法訪問的數(shù)據(jù)沒有被正確標注（也就是沒有獲得真相）?！比绻挥脕碜鞒鰶Q定的數(shù)據(jù)存在偏見，那么決定本身就可能存在偏見。

有幾個方法可能解決這個問題。一是仔細挑選被算法納入考量的申請人屬性（郵政編碼是著名的種族代號，因此常常被排除）。但偏見可以通過算法使用的其他變量的相關(guān)性（比如姓氏與地理普查數(shù)據(jù)相結(jié)合）卷土重來。

德沃克說，針對特定群體的偏見常?？梢酝ㄟ^聰明的算法設(shè)計來加以解決，但由于算法決策的一個基本特征，確保對個人的公平要難得多。任何一個這樣的決定都會劃一條線：正如德沃克所說，總是會有來自不同群體的兩個人靠近這條線，線的兩邊各有一人，他們在幾乎所有方面都非常相似，但只有一個人會獲得貸款。

在某些情況下，通過系統(tǒng)設(shè)計來糾正偏見可能不是個好主意?？纯从嬎銠C科學(xué)教授陳伊玲（Yiling Chen，音譯）和研究生莉莉·胡（Lily Hu）設(shè)計的一個雇傭系統(tǒng)。該系統(tǒng)旨在消除對非洲裔美國人的雇傭偏見。莉莉說：“作為純粹的優(yōu)化驅(qū)動工具，算法會繼承、吸收、再現(xiàn)和加劇已有的不平等。比如，就業(yè)市場上存在一個由來已久的偏見，這時機器學(xué)習(xí)來了，它通過學(xué)會，重現(xiàn)了這個偏見?！彼麄兊慕鉀Q方法（利用經(jīng)濟學(xué)和社會學(xué)工具來理解就業(yè)市場上的偏見）使人們對算法公平的思考超出計算機科學(xué)的范疇，從跨學(xué)科、全系統(tǒng)的角度來看待這一問題。

陳伊玲從事于社會計算，這個數(shù)據(jù)科學(xué)領(lǐng)域強調(diào)人類行為對算法輸入數(shù)據(jù)的影響。由于人是“自私的、獨立的、容易犯錯的且不可預(yù)測的”，這使得算法設(shè)計不可能在任何情況下都確保公平公正，于是她開始思考如何消除訓(xùn)練數(shù)據(jù)（雇傭算法使用的現(xiàn)實信息）中的偏見。

她和莉莉致力于解決在招聘過程中落實反歧視行動的問題。想要消除少數(shù)群體歷來面臨的不公，一個直截了當(dāng)?shù)姆椒ㄊ窃谄渌袟l件相等的情況下，作出有利于少數(shù)群體的雇傭決定。（這可能被視為對多數(shù)群體的不公，但在真正實現(xiàn)就業(yè)平等之前，仍然是可以接受的。）但陳伊玲和莉莉考慮了人的因素。假設(shè)少數(shù)群體中的很多人都沒有上過大學(xué)，原因是“學(xué)費高昂，而且由于歧視的緣故，我即使拿到了學(xué)位，找到工作的幾率仍然很低”。同時，雇主可能認為“來自少數(shù)群體的人，受教育程度較低，工作表現(xiàn)不好，因為他們不夠努力”。陳伊玲和莉莉說，考慮到由來已久的不平等，即使某個少數(shù)群體人士不上大學(xué)的決定是理性的，但那個決定會強化雇主對整個群體的成見。這種反饋效應(yīng)模式不僅難以打破，而且正是算法（著眼于以前的成功招聘并將之與大學(xué)學(xué)位聯(lián)系起來）將會強化的那種數(shù)據(jù)模式。

陳伊玲和莉莉提出的解決方法不單單基于數(shù)學(xué)，而是社會工程，利用算法來改變數(shù)據(jù)標注。這相當(dāng)于承認消除數(shù)據(jù)中的偏見非常困難。研究人員提議創(chuàng)建一個臨時的就業(yè)市常陳伊玲說，可以將之視為一個實習(xí)期，每個應(yīng)聘者必須實習(xí)兩年，然后才能轉(zhuǎn)正。進入這個實習(xí)庫后，會面臨一個簡單的“公平約束”算法，該算法要求雇主從少數(shù)和多數(shù)群體中選擇實習(xí)生，實習(xí)生數(shù)量要具有代表性。然后，在實習(xí)結(jié)束時，是否轉(zhuǎn)正只看工作表現(xiàn)，不考慮屬于哪個群體。由于從族群角度來說是同樣聰明的，兩個群體最終實現(xiàn)了平等。

莉莉說：“我們試圖反駁的是一切都可歸結(jié)為優(yōu)化問題、預(yù)測問題或者分類問題的觀點。這種觀點在機器學(xué)習(xí)/AI圈子里仍然是主流。如果你以標準的機器學(xué)習(xí)方式來處理，最后的結(jié)果將是加劇那些不平等?！?/p>

她說，人們必須明白，“創(chuàng)造技術(shù)的行為和我們使用技術(shù)的方式，其本身就是政治行動。技術(shù)不是憑空存在的，就像有時為善、有時為惡的儀器工具一樣。我覺得，以那種方式來看待技術(shù)是很幼稚的”。

莉莉強調(diào)，不管技術(shù)被用來識別視頻片段中的犯罪嫌疑人，還是被用來提供適合不同學(xué)習(xí)風(fēng)格的教育或者醫(yī)療建議，“我們都要思考技術(shù)如何體現(xiàn)特定的價值觀和假設(shè)。這是第一步：要知道，問題并非是倫理上的和非倫理上的，其實，在我們設(shè)計的一切東西中，總會有規(guī)范性問題，每一步都是如此”。把那種認知整合進現(xiàn)有的課程中，這有助于確?！拔覀冇眉夹g(shù)打造的世界，是一個我們想要居于其中的世界”。