我們能打開人工智能的黑盒嗎？如何定義「公平」？

摘要：隨著越來越多的算法不斷滲透入社會的層層面面，如醫(yī)療機構(gòu)、政府部門，對算法偏見的討論越來越多。這個月，Nature 雜志評選出 2018 年最受歡迎的十大科學(xué)長篇專題報道，其中，Rachel Courtland 一篇討論算法偏見的文章成功當(dāng)選。

2015 年，一位憂心忡忡的父親問了衛(wèi)生經(jīng)濟學(xué)家 Rhema Vaithianathan一個至今仍在她腦海中揮之不去的問題。

那天，一小群人聚集在賓夕法尼亞州匹茲堡市的一間地下室里，聽Rhema Vaithianathan解釋軟件如何能夠解決虐待兒童的問題。每天，該地區(qū)的熱線電話都會接到幾十個懷疑附近有孩子處于危險之中的來電；其中一些來電會被呼叫中心的工作人員標(biāo)記以便調(diào)查。但是這個系統(tǒng)并不能掌握所有的虐童案件。Vaithianathan 和她的同事們剛剛簽訂了一份價值 50 萬美元的合同，該合同要求他們開發(fā)出能夠幫助解決該問題的算法。

衛(wèi)生經(jīng)濟學(xué)家 Vaithianathan 是新西蘭奧克蘭理工大學(xué)社會數(shù)據(jù)分析中心的聯(lián)合主任，他用下面的例子告訴人們這個算法是如何工作的：例如，一個使用大量數(shù)據(jù)（包括家庭背景和犯罪記錄）訓(xùn)練得到的工具，可以在接到電話時生成風(fēng)險評分。 這可能有助于通知審核員標(biāo)記出需要調(diào)查的家庭。

當(dāng) Vaithianathan 邀請聽眾提問后，那位（前面提到的）憂心忡忡的父親站起來發(fā)言。 他說，他曾經(jīng)染上了毒癮，并與毒癮做過艱難的斗爭。社工曾因此將他的孩子從家中帶走。 但目前，他已經(jīng)戒毒成功一段時間了。在電腦評估他的記錄的時候，他為改變自己的生活所做的這些努力難道就毫無意義嗎？換句話說：算法對他的評價是否不公平？

我們能打開人工智能的黑盒嗎？

Vaithianathan向這位父親保證，人們總是會改過自新的，他的努力不會被忽視。但是時至今日，即使這種自動化評估工具已經(jīng)部署完畢，Vaithianathan仍然在思考這位父親的問題。計算機的計算結(jié)果正越來越多地被用于控制那些可能改變?nèi)艘簧臎Q定，包括應(yīng)該拘留哪些被指控犯罪的被告、調(diào)查哪些可能存在虐待兒童現(xiàn)象的家庭，以及近來的「預(yù)測性警務(wù)」的趨勢（社區(qū)警察應(yīng)該關(guān)注哪些問題）。這些工具有望使決策更加一致、準(zhǔn)確和嚴謹。 但是對這一系統(tǒng)的監(jiān)管是有限的：沒人知道有多少這樣的系統(tǒng)正在被使用。這些算法的不公平性正在引起警惕。例如，2016 年，美國記者辯稱，用于評估未來的犯罪活動風(fēng)險的系統(tǒng)會歧視黑人被告。

紐約大學(xué)研究人工智能的社會影響的研究中心「AI Now」研究院的聯(lián)合創(chuàng)始人 Kate Crawford 表示：「我最擔(dān)心的是，我們提出的系統(tǒng)本應(yīng)改善問題，但最終卻可能使問題惡化」。

在 Crawford 和其他人提出警告時，政府正試圖使軟件更具公信力。去年 12 月，紐約市議會通過了一項法案，他們成立了一個特別工作組，用于提出公開分享關(guān)于算法信息的方案的建議，并調(diào)查它們是否存在偏見。今年，法國總統(tǒng) Emmanuel Macron表示，法國將公開政府使用的所有算法。在本月發(fā)布的指導(dǎo)意見中，英國政府呼吁那些在公共部門從事數(shù)據(jù)工作的人要公開透明，并負起責(zé)任。于五月底生效的歐洲通用數(shù)據(jù)保護條例（GDPR），也將促進算法問責(zé)制。

Rhema Vaithianathan 構(gòu)建算法來幫助標(biāo)記出潛在的兒童虐待案件

在這樣的活動中，科學(xué)家們面臨著一個復(fù)雜的問題：使算法公平究竟指的是什么？Vaithianathan 等為公共機構(gòu)工作的研究人員，試圖開發(fā)出負責(zé)任的、有效的軟件。他們必須努力解決自動化工具可能引入偏見或加深現(xiàn)有的不平等現(xiàn)象的問題，尤其是如果這些工具正被嵌入到一個本已具有一定歧視性的社會體系中時。

「有一個相當(dāng)活躍的研究團體，他們正試圖開發(fā)從外部審核評估這類系統(tǒng)的方法」。

鹽湖城猶他大學(xué)的理論計算機科學(xué)家 Suresh Venkatasubramanian 指出，自動化決策工具所引出的公平性問題并不是一個全新的問題，人們使用評估犯罪或信用風(fēng)險的精算工具已經(jīng)有幾十年的歷史。隨著大型數(shù)據(jù)集和更復(fù)雜模型的普及，人們越來越難以忽視它們在倫理方面的影響?！赣嬎銠C科學(xué)家別無選擇，我們必須開始進行這方面的研究。我們再也不能忽視算法的公平性，看看這樣會發(fā)生什么」。

公平性的折中

2014 年，匹茲堡所在的Allegheny 郡人類服務(wù)部門的官員打電話征求關(guān)于自動化工具的建議時，他們還沒有決定如何使用它。但是他們知道自己應(yīng)該對新系統(tǒng)采取開放的態(tài)度。該部門數(shù)據(jù)分析、研究和評估辦公室副主任Erin Dalton表示：「我極其反對把政府資金用于不能向社會說明我們在做什么的黑箱解決方案上」。該部門擁有一個建于 1999 年的中央數(shù)據(jù)倉庫，其中包含大量個人信息，包括住房、精神健康狀態(tài)和犯罪記錄。Dalton 說，Vaithianathan的團隊在關(guān)注兒童福利方面做出了巨大努力。

2016 年 8 月，Allegheny 家庭篩查工具（AFST）被推出。對于每個打進熱線的電話，呼叫中心的員工都會看到由自動風(fēng)險評估系統(tǒng)生成的得分（1 至 20 分），其中 20 分對應(yīng)于被認定為最高風(fēng)險的個案。AFST 預(yù)計這些高得分家庭的孩子最有可能在兩年內(nèi)被從家中帶走，或者因為打電話者懷疑這些孩子受到了虐待而再次被送到郡里（郡縣正在放棄第二種評價指標(biāo)，該指標(biāo)似乎并不能準(zhǔn)確反映出需要進一步調(diào)查的案件）。

位于加利福尼亞州的斯坦福大學(xué)的獨立研究員 Jeremy Goldhaber-Fiebert仍然在評估這個工具。但Dalton 說，初步的結(jié)果表明，該工具是有幫助的。她表示，采用該工具后，呼叫中心工作人員提交給調(diào)查人員的案件中似乎包含了更多有著合理的擔(dān)憂的實例。電話審核員似乎也會對類似的案件做出更加一致的決定。盡管如此，他們的決定并不一定與算法的風(fēng)險評分相符；郡政府希望使兩者的結(jié)果更接近一致。

改革預(yù)測性警務(wù)

隨著 AFST 被部署，Dalton 希望得到更多幫助，以確定該系統(tǒng)是否可能存在偏見。2016 年，她找來匹茲堡卡內(nèi)基梅隆大學(xué)的統(tǒng)計學(xué)家 Alexandra Chouldchova，幫助她分析該軟件是否會歧視特定群體。Chouldchova 此前已經(jīng)在考慮算法中的偏見問題，而且將參與到一個已經(jīng)引發(fā)了關(guān)于這個問題的廣泛辯論的案件。

同年 5 月，新聞網(wǎng)站 ProPublica 的記者報道了 Broward County 法官使用的商業(yè)軟件，這些軟件有助于判定一個被指控犯罪的被告是否應(yīng)該在審判前被從監(jiān)獄中釋放出來。記者們說這個軟件對黑人被告有偏見。這個被稱為 COMPAS 的工具可以生成一個得分，它被用來衡量一個人在兩年內(nèi)再次犯罪的可能性。

Propublica 團隊調(diào)查了數(shù)千名被告的 COMPAS 得分，這些分數(shù)是該團隊通過公共記錄請求獲得的。通過比較黑人和白人被告，記者們發(fā)現(xiàn)，「假正例」（被判斷為有罪，實際無罪）的黑人被告與白人被告的比例是嚴重失調(diào)的：黑人被 COMPAS 列為高風(fēng)險人群，但實際上他們隨后卻沒有被指控罪行。

該算法的開發(fā)者是一家總部位于密歇根州的名為 Northpointe （現(xiàn)在是俄亥俄州坎頓市的 Equivant）的公司，該公司認為這個工具沒有偏見。他們說，COMPAS 還能夠很好地預(yù)測被歸類為高犯罪風(fēng)險人群的白人或黑人被告是否會再次犯罪（這是一個「預(yù)測性平價」的例子）。Chouldechova很快發(fā)現(xiàn)，Northpointe 和 ProPublica 的公平度量是對立的。預(yù)測性平價、相等的假正例錯誤率和相等的假負例錯誤率都可以作為體現(xiàn)「公平」的方式，但是如果兩個群體之間存在差異——例如白人和黑人被再次逮捕的概率（參見后文「如何定義『公平』」章節(jié)），那么在統(tǒng)計學(xué)上，就不可能實現(xiàn)完全的公平。倫敦大學(xué)學(xué)院研究可靠性機器學(xué)習(xí)的研究員 Michael Veale表示：「魚和熊掌不可兼得！如果你想在某一方面做到公平，那么在另一個聽起來也很合理的情況下，你可能必然做不到公平」。

如何定義「公平」？

研究算法中的偏見的研究人員說，定義公平的方法有很多，但這些方法有時候是矛盾的。

我們不妨想象一下，在刑事司法系統(tǒng)中使用一種算法為兩組嫌疑人（用藍色和紫色表示）打分，從而衡量他們再次被捕的風(fēng)險。歷史數(shù)據(jù)表明，紫色組被捕的概率更高，因此模型會將更多的紫色組的人歸類為高危人群（見下圖頂部）。即使模型開發(fā)人員試圖不直接告訴模型一個人應(yīng)該被歸為藍色還是紫色，以避免產(chǎn)生偏見，但這種情況也會發(fā)生。這是因為用作訓(xùn)練輸入的其他數(shù)據(jù)可能與藍色或紫色相關(guān)。

盡管高風(fēng)險狀態(tài)不能完美地預(yù)測該嫌疑人是否會再次被捕，但該算法的開發(fā)者試圖使預(yù)測結(jié)果公平：對于這兩組人來說，「高風(fēng)險」指的是有 2/3 的幾率在兩年內(nèi)再次被捕。（這種公平稱為預(yù)測性平價。）未來的逮捕率可能不會遵循過去的模式，但是在這個簡單的例子中，假設(shè)它們確實如預(yù)期的那樣：藍色組的 3/10 和紫色組的 6/10（以及每組中 2/3被標(biāo)記為高風(fēng)險的人）確實被再次逮捕了（見下圖中底部的灰條）。

該算法滿足預(yù)測性平價（無論黑人和白人被告是否有相同的風(fēng)險評分總體準(zhǔn)確率），但是仍然存在一個問題。在藍色組中，7 人中有 1 人（14%）被誤認為是高危人群，而在紫色組中，4 人中有 2 人（50%）被誤認為高危人群。因此，紫色個體更有可能成為「假正例」——被誤認為高風(fēng)險。

只要藍色組和紫色組的成員再次被捕的概率不同，那么就很難實現(xiàn)預(yù)測性平價和相等的假正例率。從數(shù)學(xué)上來說，要做到這一點同時滿足第三項公平標(biāo)準(zhǔn)（除了預(yù)測性平價和相等的假正例率）是不可能的：相等的假負例率（被認定為低風(fēng)險但隨后又再次被捕的個體；在上面的例子中，紫色和藍色組的假負例率恰好相等，同為33%）。

一些人認為紫色組的假正例率更高體現(xiàn)出了算法的歧視性。但其他研究人員認為，這并不一定是算法存在偏見的確鑿證據(jù)。這種不平衡還可能有一個更深層次的原因：紫色組可能一開始就不公平地成為了逮捕的目標(biāo)。根據(jù)過去的數(shù)據(jù)，該算法能夠準(zhǔn)確地預(yù)測更多的紫色組成員將被再次逮捕。因此，我們可以認為該算法（甚至可以確定）有事先存在的社會偏見。

AI 科技評論注：更多關(guān)于統(tǒng)計悖論的信息，可以參見這個著名的統(tǒng)計學(xué)悖論，第一次聽說的人很可能懷疑人生一文。

事實上，從數(shù)學(xué)角度來說，還有更多的方式來定義公平：在今年 2 月的一次會議上，計算機科學(xué)家Arvind Narayanan發(fā)表了題為「21 個公平性的定義及其策略」的演講，他指出還有其它的定義方式。一些調(diào)查過 ProPublica 的案例的研究人員，包括 Chouldchova，指出「不相等的錯誤率是否表明算法存在偏見」尚不清楚。斯坦福大學(xué)的計算機科學(xué)家 Sharad Goel 說，他們反而反映了這樣一個事實：即算法對一個群體比對另一個群體更難做出預(yù)測?！甘聦嵶C明，這或多或少是一種統(tǒng)計學(xué)的假象」。

對于某些人來說，ProPublica 的案例凸顯了這樣一個事實，即許多機構(gòu)缺乏資源來尋求并正確評估算法工具。芝加哥大學(xué)的數(shù)據(jù)科學(xué)與公共政策中心的主任Rayid Ghani表示：「如果有的話，這樣的情況告訴我們的是：雇傭Northpointe的政府機構(gòu)沒有給出明確的衡量算法公平性的定義。我認為，各國政府需要學(xué)習(xí)并接受培訓(xùn)，學(xué)習(xí)如何尋求這些系統(tǒng)，如何定義算法應(yīng)該被衡量的指標(biāo)，以及如何確保供應(yīng)商、咨詢師和研究人員提供的系統(tǒng)實際上是公平的」。

Allegheny郡的經(jīng)驗表明要解決這些問題是多么困難。Chouldchova 受邀在 2017 年初開始研究 Allegheny 的數(shù)據(jù)，她發(fā)現(xiàn)這個工具也存在類似統(tǒng)計上的失衡現(xiàn)象。她說，該模型有一些「非常不理想的特性」。在不同的種族之間的錯誤率的差異遠遠高于預(yù)期。而且，由于尚不清楚的原因，被認為受虐待風(fēng)險最高的白人兒童被從家中帶走的可能性小于被認為受虐待風(fēng)險最高的黑人兒童。Allegheny 和 Vaithianathan 的團隊目前正在考慮轉(zhuǎn)而使用另一種模型?！高@可能有助于減少不公正的現(xiàn)象」，Chouldchova 說。

盡管統(tǒng)計失衡是一個有待解決的問題，但算法中潛藏著更深層次的不公平性（它們可能會加劇社會的不公正現(xiàn)象）。例如，像 COMPAS 這樣的算法可能原本是旨在預(yù)測未來犯罪活動的可能性，但它只能依賴于可測量的模式：例如被逮捕。警務(wù)實踐的差異可能意味著一些社會團體成為被逮捕幾率更高的目標(biāo)，他們可能因為會在其他社會團體中被忽視的罪行而被捕。David Robinson是 Upturn 的執(zhí)行董事（Upturn 是一個位于華盛頓特區(qū)的非營利性社會司法組織），他說：「即使我們準(zhǔn)確地預(yù)測了一些案件，但我們在準(zhǔn)確地預(yù)測案件的同時可能也對一些人群采取了不公正的對待」。這在很大程度上將取決于法官在多大程度上依賴此類算法來做出裁決，而我們對此知之甚少。

新澤西州卡姆登市的警察使用自動化工具來幫助確定哪些地區(qū)需要巡邏。

Allegheny 的工具也受到了類似的批評。作家、政治學(xué)家Virginia Eubanks認為，不管這個算法是否準(zhǔn)確，它都是基于有偏見的輸入工作的，因為黑人和混血家庭更有可能被熱線電話所提到。此外，由于該模型依賴于 Allegheny 體系中的公共服務(wù)信息，而且使用此類服務(wù)的家庭普遍貧窮，該算法會對較貧窮家庭進行更嚴格的審查，從而對這些家庭更加不公平。Dalton承認，現(xiàn)有的數(shù)據(jù)是一個我們不得不面對的限制，但她認為人們?nèi)匀恍枰@個工具。 Allegheny 郡今年早些時候在 AFST 網(wǎng)站上回應(yīng) Eubanks 時表示：「貧困這一不幸的社會問題并不能否認我們具有『為那些需要我們關(guān)懷的兒童提高我們的決策能力』的責(zé)任！」

透明度及其限制

盡管一些機構(gòu)建立了自己的工具或商業(yè)軟件，但學(xué)者們發(fā)現(xiàn)自己在公共部門算法方面的工作有很大的市場需求。在芝加哥大學(xué)，Ghani 一直在與一系列機構(gòu)合作，包括芝加哥公共衛(wèi)生部門，他們一起研究一種預(yù)測哪些家庭可能藏有對健康有危害的鉛的工具。在英國，劍橋大學(xué)的研究人員與Durhan 郡的警方合作，建立了一個模型，幫助他們確定可以對哪些人采取干預(yù)方案，作為起訴的替代辦法。Goel 和他的同事今年建立了斯坦福計算政策實驗室，該實驗室正在與包括舊金山地區(qū)檢察官辦公室在內(nèi)的政府機構(gòu)進行合作。地區(qū)檢察官辦公室的分析師Maria McKee認為，與外界的研究人員的合作關(guān)系至關(guān)重要。他說：「我們都知道什么是對的，什么是公平的，但我們往往沒有工具，也沒有進行研究，來準(zhǔn)確、條理清晰地告訴我們?nèi)绾螌崿F(xiàn)這一目標(biāo)」。

人們非常希望提高案件的透明度，這與 Allegheny 采取的方針一致。Allegheny 郡與利益相關(guān)方進行了接觸，并向記者敞開大門。AI Now 研究所的Crawford 說，當(dāng)算法是「不能接受算法審核、審查或公開辯論的封閉循環(huán)」時，這樣通常會激化問題。但是現(xiàn)在還不清楚如何使算法更加開放。Ghani 認為，簡單地公布一個模型的所有參數(shù)并不能提供對其工作機制的解釋。透明度也可能與隱私保護相沖突。在某些情況下，透露太多關(guān)于算法工作原理的信息可能會讓不懷好意的人攻擊這個系統(tǒng)。

Goel 說，問責(zé)制的一大障礙是，這些機構(gòu)往往不會收集它們?nèi)绾问褂眠@些工具或這些工具的性能的數(shù)據(jù)。「很多時候并不存在所謂的透明度，因為沒有什么信息是可以分享的」。例如，加利福尼亞州的立法機構(gòu)起草了一份法案，尋求能夠幫助人們減小被告必須支付保釋金的幾率的風(fēng)險評估工具，然而這種做法因為會懲罰低收入被告而受到詬病。Goel 希望該法案強制要求收集法官之所以不同意使用該工具的支撐案例的數(shù)據(jù)，以及包括判決結(jié)果在內(nèi)的每個案件的具體細節(jié)。他說，「我們的目標(biāo)是從根本上減少監(jiān)禁，同時維護公共安全，所以我們必須知道這樣做是否有效」。

Crawford說，我們將需要一系列「正當(dāng)程序」基礎(chǔ)設(shè)施來確保算法的可靠性。今年 4 月，AI Now 研究所為希望可靠地采用算法決策工具的公共機構(gòu)制定了一個框架；除此之外，該研究所呼吁征求社區(qū)的意見，并讓人們能夠?qū)εc他們的決議提出上訴。

人工智能研究存在盲點

許多人希望法律能夠強制執(zhí)行這些目標(biāo)。Solon Barocas是一名康奈爾大學(xué)的研究人工智能倫理和政策問題的研究員，他說，實際上曾經(jīng)有過一些這樣的先例。在美國，一些消費者保護法規(guī)在對作出不利于公民信用評價的決定時，會給予公民解釋的權(quán)利。而 Veale 說，早在 20 世紀(jì) 70 年代，法國就立法賦予公民解釋權(quán)和對自動裁決提出異議的權(quán)利。

最大的考驗將是 5 月 25 日生效的歐洲 GDPR。某些規(guī)定（例如獲得有關(guān)自動決策案件所涉邏輯的有意義信息的權(quán)利）似乎促進了算法問責(zé)制。但英國牛津互聯(lián)網(wǎng)研究所的數(shù)據(jù)倫理學(xué)家Brent Mittelstadt表示，對于那些希望評估算法公平性的人來說，GDPR 實際上可能會制造一個「法律雷區(qū)」，從而實際上妨礙算法公平。要檢驗一個算法是否在某些方面存在偏見（例如，它是否會偏袒一個種族，而歧視另一個種族），最好的方法就是了解系統(tǒng)涉及到的人的相關(guān)屬性。但是，Mittelstadt 說，GDPR 對使用這些敏感數(shù)據(jù)的限制十分嚴格，處罰也非常高，以至于那些有能力評估算法公平性的公司可能沒有什么動力去處理這些信息。 他說：「這似乎會限制我們評估算法公平性的能力」。

那些讓公眾對算法有一定了解、并吸引公眾關(guān)注的 GDPR 法案的作用范圍也存在一些問題。如前所述，一些 GDPR 規(guī)則僅適用于完全自動化的系統(tǒng)，這可以排除「算法對決策有一定影響，但應(yīng)該由人做出最后決定」的情況。Mittelstadt 說，這些細節(jié)最終應(yīng)該在法庭上澄清。

審核算法

與此同時，研究人員正在推進檢測算法中的偏見的策略，這些算法尚未對公眾開放審核。Barocas 說，公司可能不愿意討論他們將如何解決公平問題，因為這將意味著首先要承認他們的公平性存在問題。他說，即使他們這樣做了，他們根據(jù)算法采取的行為中的偏見可能會有所改善，但不會從根本上消除偏見?！敢虼?，任何有關(guān)這個問題的公開聲明，都不可避免地承認這個問題依然存在」。但最近幾個月，微軟和 Facebook 都宣布將開發(fā)工具來檢測算法偏見。

一些包括波士頓東北大學(xué)的計算機科學(xué)家 Christo Wilson在內(nèi)的研究人員，試圖從外部揭示商業(yè)算法的偏見。 比如，Wilson創(chuàng)造了一些虛擬的乘客，他們聲稱自己在尋找Uber 出租車，他還在一個求職網(wǎng)站上上傳了虛擬履歷，以測試性別偏見。還有人正在開發(fā)一些軟件，他們希望這些軟件能夠被廣泛用于自我評估。今年 5 月，Ghani 和他的同事發(fā)布了名為 Aequitas 的開源軟件，幫助工程師、政策制定者和分析師審核機器學(xué)習(xí)模型中的偏見。數(shù)學(xué)家 Cathy O’Neil 一直在強調(diào)用算法做出決策的危險性，她成立了一家公司，私下與一些公司進行了合作，審核他們的算法公平性。

一些研究人員已經(jīng)開始呼吁，在刑事司法應(yīng)用和其他領(lǐng)域，人們應(yīng)該從狹隘地專注于建立預(yù)測算法的狂熱中退一步。例如，一個工具可能擅長預(yù)測誰將不會出現(xiàn)在法庭上，但是最好問問為什么他們不會出現(xiàn)。或許，他們應(yīng)該設(shè)計一些干預(yù)措施，比如短信提醒或交通援助，這可能會提高他們出現(xiàn)在法庭上的概率。紐約大學(xué)法學(xué)院的民權(quán)律師、種族正義倡導(dǎo)者 Vincent Southerland 說：「這些工具通常幫助我們做出一些小的修正，但我們需要的是全面的改變」。 他表示，圍繞算法魯棒性展開的激烈辯論「迫使我們所有人詢問和回答這些真正棘手的基本問題，這些問題涉及我們正在使用的系統(tǒng)以及它們的運作方式」。

Vaithianathan 目前正在將她的兒童虐待預(yù)測模型擴展到科羅拉多州的 Douglas 和Larimer 郡，她認為，建立更好的算法是十分有價值的（即使它們所嵌入的總體系統(tǒng)是有缺陷的），也就是說，「算法不能被硬生生地嵌入這些復(fù)雜的系統(tǒng)里」。她說到，它們必須在理解更廣泛的具體應(yīng)用背景的專家的幫助下被實現(xiàn)。但是即使是最好的工作也會面臨挑戰(zhàn)。她表示，在缺乏直接的答案和完美的解決方案的情況下，提高算法的透明度是最好的選擇?！肝铱偸钦f: 如果你不能做到完全正確，那就讓自己變得更誠實」。