歐美收緊人工智能監(jiān)管 將來可能波及中國科技公司

近期，美國和歐盟先后發(fā)布AI監(jiān)管政策，預(yù)示著人工智能將迎來監(jiān)管時(shí)代。但美歐監(jiān)管路徑大相庭徑，歐盟意在加強(qiáng)監(jiān)管以強(qiáng)化個(gè)人權(quán)利保護(hù)，美國極力限制監(jiān)管范圍以促進(jìn)創(chuàng)新與發(fā)展。尤其，歐盟人工智能監(jiān)管框架延續(xù)了GDPR的長臂管轄理念，將來可能波及中國科技公司。

一、歐盟：新的數(shù)字戰(zhàn)略之下，加速建立人工智能監(jiān)管框架

2月19日，歐盟委員會發(fā)布了新的數(shù)字戰(zhàn)略，這是繼2015年5月啟動單一數(shù)字市場戰(zhàn)略之后，歐盟面向數(shù)字化轉(zhuǎn)型的又一綱領(lǐng)性戰(zhàn)略。與之一道發(fā)布的還有“人工智能白皮書”和“數(shù)據(jù)戰(zhàn)略”，這兩份戰(zhàn)略文件是落實(shí)新的數(shù)字戰(zhàn)略的第一批舉措。后續(xù)歐盟將圍繞以人為本的技術(shù)，公平、有競爭力的經(jīng)濟(jì)，開放、民主、可持續(xù)的社會這三大戰(zhàn)略目標(biāo)，出臺一系列落地措施。整體而言，歐盟出臺數(shù)字戰(zhàn)略，不僅意在增強(qiáng)歐盟的技術(shù)主權(quán)、產(chǎn)業(yè)領(lǐng)導(dǎo)力和經(jīng)濟(jì)競爭力，而且期望通過立法和監(jiān)管重塑數(shù)字發(fā)展模式，將給全球數(shù)字發(fā)展帶來持續(xù)性影響。

而人工智能白皮書的出臺，意味著歐盟的人工智能政策將從倫理轉(zhuǎn)向監(jiān)管，相關(guān)技術(shù)應(yīng)用和產(chǎn)業(yè)發(fā)展將逐步受到影響。白皮書在2018年4月出臺的歐盟人工智能戰(zhàn)略的基礎(chǔ)上，提出了投資和監(jiān)管并舉的思路，一方面將持續(xù)加強(qiáng)對芯片、算法、量子計(jì)算等技術(shù)和產(chǎn)業(yè)的投資；另一方面將通過建立監(jiān)管框架來防范自動化決策不透明、算法歧視、隱私侵犯、犯罪行為等AI應(yīng)用相關(guān)風(fēng)險(xiǎn)。旨在加強(qiáng)技術(shù)主權(quán)，確保技術(shù)信任?？梢?，歐盟希望通過監(jiān)管框架和技術(shù)/產(chǎn)業(yè)優(yōu)勢、數(shù)字基礎(chǔ)設(shè)施的結(jié)合，來確保歐盟在數(shù)字經(jīng)濟(jì)和人工智能領(lǐng)域成為全球創(chuàng)新的領(lǐng)導(dǎo)者。

白皮書提出針對人工智能建立新的監(jiān)管框架。新的監(jiān)管框架基于風(fēng)險(xiǎn)路徑，目的在于使各種風(fēng)險(xiǎn)和潛在損害最小化，同時(shí)避免過度監(jiān)管。核心規(guī)定包括以下五個(gè)方面。

第一，采取分類監(jiān)管方式，并非所有的AI應(yīng)用都會受到監(jiān)管，監(jiān)管只針對“高風(fēng)險(xiǎn)”AI應(yīng)用；但判斷標(biāo)準(zhǔn)模糊，存在監(jiān)管泛化的可能性。“高風(fēng)險(xiǎn)”的判斷，有兩個(gè)累加的標(biāo)準(zhǔn)：（1）在特定領(lǐng)域使用AI應(yīng)用很有可能發(fā)生重大風(fēng)險(xiǎn)；（2）在前述的特定領(lǐng)域使用AI應(yīng)用，考慮使用的方式，有可能出現(xiàn)重大風(fēng)險(xiǎn)。具體可能涵蓋哪些領(lǐng)域和使用場景，有待將來出臺監(jiān)管名單，來窮盡列舉，并可定期評估、修訂，白皮書列舉了醫(yī)療、交通、能源等領(lǐng)域。此外還有一個(gè)兜底規(guī)定，這會進(jìn)一步擴(kuò)大監(jiān)管的范圍，即不論是否在監(jiān)管名單中，考慮風(fēng)險(xiǎn)的程度，只要為特定目的使用AI系統(tǒng)被認(rèn)為具有高風(fēng)險(xiǎn)，就應(yīng)當(dāng)受到監(jiān)管，例如在招聘中使用AI，將AI應(yīng)用于遠(yuǎn)程生物識別和其他監(jiān)控技術(shù)，這意味著AI人臉識別也是“高風(fēng)險(xiǎn)”應(yīng)用?？梢?，判斷標(biāo)準(zhǔn)高度概括，非常模糊，存在很大解釋空間，賦予監(jiān)管較大的自由度，不排除將來出現(xiàn)監(jiān)管泛化。

第二，高風(fēng)險(xiǎn)系統(tǒng)需要遵守嚴(yán)格的強(qiáng)制性要求。新的監(jiān)管框架提出了一系列一般性法律要求，適用于所有的高風(fēng)險(xiǎn)AI應(yīng)用。這些要求涵蓋訓(xùn)練數(shù)據(jù)，數(shù)據(jù)記錄，信息提供與透明度，安全可靠與準(zhǔn)確無誤，人類監(jiān)督和干預(yù)等五個(gè)方面：

（1）訓(xùn)練數(shù)據(jù)：確保AI應(yīng)用安全，訓(xùn)練數(shù)據(jù)覆蓋所有相關(guān)場景；采取合理措施確保AI系統(tǒng)不會導(dǎo)致不合法歧視，使用的數(shù)據(jù)集具有足夠的代表性；確保AI應(yīng)用保護(hù)隱私和個(gè)人數(shù)據(jù)。

（2）數(shù)據(jù)記錄：準(zhǔn)確記錄訓(xùn)練、測試AI系統(tǒng)所使用的的數(shù)據(jù)集；必要時(shí)保存數(shù)據(jù)集本身；記錄編程細(xì)節(jié)和創(chuàng)造、測試、驗(yàn)證AI系統(tǒng)的方法、程序和技術(shù)。

（3）信息提供與透明度：提供關(guān)于AI系統(tǒng)的能力、限制的清晰信息，特別是涉及系統(tǒng)目的、正常運(yùn)行條件、在實(shí)現(xiàn)特定目的上的準(zhǔn)確程度的信息；當(dāng)公民在與AI系統(tǒng)交互時(shí)，應(yīng)明確告知。

（4）安全可靠與準(zhǔn)確無誤：確保AI系統(tǒng)在整個(gè)生命周期內(nèi)是安全可靠的，準(zhǔn)確無誤的；確保結(jié)果是可復(fù)制的；確保AI系統(tǒng)在整個(gè)生命周期內(nèi)可以應(yīng)對失誤和不穩(wěn)定情況；確保AI系統(tǒng)能夠抵御攻擊和針對數(shù)據(jù)、算法的操縱行為，并采取應(yīng)對措施。

（5）人類監(jiān)督和干預(yù)：人類干預(yù)存在方式和程度上的差異，例如，除非已由人類審查并確認(rèn)，否則AI系統(tǒng)的輸出不能成為有效的（如社會福利的申請只能由人類做出決定）；AI系統(tǒng)的輸出即時(shí)有效，但之后可以訴諸人類干預(yù)（如信用卡申請可由AI系統(tǒng)處理，但之后可以向人類提出申訴）；在運(yùn)行過程中監(jiān)督AI系統(tǒng)，以及能夠?qū)崟r(shí)地干預(yù)和關(guān)閉系統(tǒng)（如自動駕駛汽車具有關(guān)閉按鈕）；在設(shè)計(jì)階段，給AI系統(tǒng)施加運(yùn)行限制條件（如自動駕駛汽車在超出預(yù)設(shè)的運(yùn)行條件時(shí)停止運(yùn)行）。

這些強(qiáng)制性要求可以說是細(xì)致入微，但能否適應(yīng)技術(shù)和應(yīng)用快速發(fā)展迭代的特點(diǎn)，卻是一個(gè)大大的問號。此外，相比之前泄露出來的文件考慮在3-5年內(nèi)禁止在公共場所使用人臉識別技術(shù)，白皮書透露出歐盟對人臉識別技術(shù)的態(tài)度已經(jīng)大為緩和，并未禁止人臉識別的使用，但將限定使用情形并建立安全措施。即必須確保特定使用情形是合法正當(dāng)?shù)模媳壤瓌t的，并采取充分的安全措施。而對于在公共場所使用人臉識別技術(shù)，歐盟委員會后續(xù)將討論確定正當(dāng)?shù)氖褂脠鼍耙约肮餐陌踩胧?/p>

第三，延續(xù)長臂管轄思路，可能影響中國科技公司。在管轄方面，新的監(jiān)管框架延續(xù)了《一般數(shù)據(jù)保護(hù)條例》（GDPR）建立的長臂管轄規(guī)則，即在歐盟境內(nèi)提供AI相關(guān)產(chǎn)品或服務(wù)的所有相關(guān)主體都需要受到監(jiān)管，遵守前述強(qiáng)制性要求，無論其是否在歐盟境內(nèi)設(shè)有營業(yè)場所。這意味著歐盟以外的科技公司可能受到監(jiān)管，中國科技公司也不例外。在義務(wù)主體方面，一般而言，處在應(yīng)對潛在風(fēng)險(xiǎn)的最佳位置的主體，需要遵守前述強(qiáng)制性要求，避免過度擴(kuò)大義務(wù)主體的范圍。

第四，建立涵蓋事前、事中、事后各個(gè)環(huán)節(jié)的全面監(jiān)管機(jī)制。事前，為了確保高風(fēng)險(xiǎn)AI應(yīng)用遵守強(qiáng)制性要求，由監(jiān)管部門對其進(jìn)行合規(guī)認(rèn)證評估，包括測試、監(jiān)測和認(rèn)證程序，以及對在研發(fā)階段使用的算法和數(shù)據(jù)集進(jìn)行檢查。事中和事后，加強(qiáng)執(zhí)法，包括監(jiān)測合規(guī)與否，監(jiān)管部門或第三方機(jī)構(gòu)對AI應(yīng)用進(jìn)行測試。

第五，不在監(jiān)管范圍之內(nèi)的AI應(yīng)用，不需要遵守這些強(qiáng)制性要求。但針對不受監(jiān)管的AI應(yīng)用建立自愿認(rèn)證機(jī)制，即如果不受監(jiān)管的AI應(yīng)用自愿遵守這些強(qiáng)制性要求或者特別為自愿機(jī)制建立的類似要求，則可以被授予質(zhì)量標(biāo)簽，表明該AI系統(tǒng)是可信的。一旦貼上了質(zhì)量標(biāo)簽，AI應(yīng)用就必須遵守強(qiáng)制性要求，否則監(jiān)管部門可對其采取執(zhí)法措施。自愿標(biāo)簽機(jī)制將激勵(lì)行業(yè)主動合規(guī)，可能進(jìn)一步擴(kuò)大監(jiān)管范圍。

二、美國：科學(xué)審慎監(jiān)管、不監(jiān)管、非監(jiān)管措施多管齊下共促創(chuàng)新與發(fā)展

無獨(dú)有偶，今年1月，在出臺美國國家AI戰(zhàn)略滿一年之際，美國政府發(fā)布了《人工智能應(yīng)用監(jiān)管指南》，意在為聯(lián)邦政府對AI發(fā)展應(yīng)用采取監(jiān)管和非監(jiān)管措施提供指引?！吨改稀诽岢隽耸蟊O(jiān)管原則，涵蓋公眾對AI的信任、公眾參與、科研操守和信息質(zhì)量、風(fēng)險(xiǎn)評估與管理、成本效益分析、靈活性、公平無歧視、披露與透明度、安全可靠、聯(lián)邦機(jī)構(gòu)間協(xié)調(diào)等層面。這些原則既關(guān)乎方法論，也涉及目的，代表著美國在AI監(jiān)管上的總體思路?？傮w而言，美國對AI發(fā)展應(yīng)用的監(jiān)管，主要呈現(xiàn)出以下三個(gè)特點(diǎn)。

第一，強(qiáng)調(diào)監(jiān)管應(yīng)有助于創(chuàng)新與發(fā)展。美國的AI政策的根本目的在于，增強(qiáng)美國在AI的科學(xué)、技術(shù)、經(jīng)濟(jì)等方面的全球領(lǐng)導(dǎo)地位。AI監(jiān)管也需要服務(wù)于這一根本目的。就AI監(jiān)管的目的而言，與維護(hù)技術(shù)、經(jīng)濟(jì)和國家安全，隱私，自由，法治，知識產(chǎn)權(quán)等美國價(jià)值同等重要的是，促進(jìn)穩(wěn)健的創(chuàng)新生態(tài)系統(tǒng)，減少、移除AI技術(shù)發(fā)展和應(yīng)用面臨的不必要障礙，持續(xù)促進(jìn)技術(shù)和創(chuàng)新的進(jìn)步。所以《指南》要求充分評估監(jiān)管對AI創(chuàng)新和發(fā)展的影響，避免采取阻礙AI創(chuàng)新和發(fā)展的監(jiān)管、非監(jiān)管措施，避免采取可能給AI系統(tǒng)施加過高標(biāo)準(zhǔn)的預(yù)防性路徑，因?yàn)檫@可能影響社會從AI應(yīng)用中受益。

第二，強(qiáng)調(diào)監(jiān)管的科學(xué)性、靈活性。AI的監(jiān)管、非監(jiān)管措施需要充分考慮AI相關(guān)的科學(xué)、技術(shù)信息和程序，避免不切實(shí)際的拍腦袋立法。監(jiān)管需要采取風(fēng)險(xiǎn)路徑來評估哪些風(fēng)險(xiǎn)可被接受，哪些風(fēng)險(xiǎn)可能導(dǎo)致不被接受的損害，或者帶來的損害超出了帶來的益處。這意味著AI監(jiān)管不是要，也不可能消除所有的風(fēng)險(xiǎn)，而是對風(fēng)險(xiǎn)進(jìn)行管理，將風(fēng)險(xiǎn)控制在最小的或者社會可接受的限度。所以需要采取成本效益分析，在對AI進(jìn)行監(jiān)管之前，充分考慮AI發(fā)展應(yīng)用的社會成本、益處、影響等，以權(quán)衡AI活動的利弊并衡量風(fēng)險(xiǎn)大校此外，監(jiān)管、非監(jiān)管措施要具有足夠的靈活性和彈性，適應(yīng)技術(shù)快速變化和AI應(yīng)用迭代，僵硬的、規(guī)制技術(shù)細(xì)節(jié)的立法是不切實(shí)際的，無效的。

第三，強(qiáng)調(diào)不監(jiān)管?？梢哉f，對于AI應(yīng)用，美國是以不監(jiān)管為出發(fā)點(diǎn)的。如果既有的監(jiān)管是充分的，或者新的監(jiān)管不符合成本效益分析，此時(shí)理想的路徑就是不進(jìn)行監(jiān)管，或者采取非監(jiān)管的措施來應(yīng)對特定AI應(yīng)用的風(fēng)險(xiǎn)。不監(jiān)管和非監(jiān)管措施，和政府監(jiān)管同等重要?？梢灶A(yù)見，美國將更側(cè)重不具有法律強(qiáng)制性的非監(jiān)管措施，包括細(xì)分領(lǐng)域的政策指南或框架，試點(diǎn)項(xiàng)目和實(shí)驗(yàn)，行業(yè)內(nèi)自愿的共識標(biāo)準(zhǔn)等。這些非監(jiān)管措施主要包括：

（1）細(xì)分領(lǐng)域的政策指南或框架：出臺非監(jiān)管的政策聲明、指南，或者測試和部署框架，來鼓勵(lì)特定領(lǐng)域的AI創(chuàng)新。

（2）試點(diǎn)項(xiàng)目和實(shí)驗(yàn)：出臺監(jiān)管例外、豁免，或者試點(diǎn)項(xiàng)目，為特定的AI應(yīng)用提供“安全港”（safe harbor）。

（3）自愿的共識標(biāo)準(zhǔn)：行業(yè)可以就AI應(yīng)用形成自愿的共識標(biāo)準(zhǔn)，標(biāo)準(zhǔn)組織可以推動標(biāo)準(zhǔn)的制定，在出臺監(jiān)管或合規(guī)要求之前依賴行業(yè)內(nèi)的標(biāo)準(zhǔn)認(rèn)證項(xiàng)目。

三、美歐人工智能監(jiān)管政策對比

2020年絕對是全球人工智能政策的轉(zhuǎn)折點(diǎn)，美國和歐盟先后出臺監(jiān)管政策，表明人工智能將正式迎來監(jiān)管時(shí)代。監(jiān)管政策將成為美國和歐盟各自加強(qiáng)“科技主權(quán)”的重要工具。人工智能白皮書的出臺，表明歐盟的人工智能監(jiān)管立場已經(jīng)有所緩和，但是與美國相比，存在根本性差異。去年全球AI初創(chuàng)公司總共融資270億美元，其中美國占了170億美元，遠(yuǎn)超其他國家，美國活躍的創(chuàng)新生態(tài)在某種程度上表征著美歐監(jiān)管差異。

第一，監(jiān)管目的和初衷存在顯著差異。歐盟人工智能監(jiān)管框架延續(xù)了GDPR的立法初衷，過分強(qiáng)調(diào)個(gè)人權(quán)利保護(hù)和AI應(yīng)用的負(fù)面影響，包括個(gè)人數(shù)據(jù)和隱私保護(hù)、非歧視等基本權(quán)利，安全和責(zé)任等。相反，美國更全面地看待AI的影響，不僅側(cè)重維護(hù)美國核心價(jià)值，而且更加強(qiáng)調(diào)對AI創(chuàng)新與發(fā)展的促進(jìn)，所以把為AI應(yīng)用創(chuàng)設(shè)“安全港”、監(jiān)管例外、監(jiān)管豁免等提到了很高的地位。“安全港”制度絕對是美國在互聯(lián)網(wǎng)時(shí)代一騎絕塵的制勝法寶，美國希望在AI領(lǐng)域復(fù)制這一成功經(jīng)驗(yàn)。

第二，歐盟低門檻監(jiān)管，美國高門檻監(jiān)管。高度模糊的標(biāo)準(zhǔn)意味著，歐盟為AI應(yīng)用進(jìn)入監(jiān)管領(lǐng)域設(shè)置了較低的門檻。監(jiān)管要求具體入微，監(jiān)管和執(zhí)法覆蓋全過程，AI發(fā)展應(yīng)用將面臨更大范圍和更大程度的監(jiān)管壓力，技術(shù)和產(chǎn)業(yè)影響不容小覷。相反，美國所倡導(dǎo)的科學(xué)審慎監(jiān)管、風(fēng)險(xiǎn)評估與管理、成本效益分析、靈活敏捷等理念，不僅會很大程度壓縮監(jiān)管的空間，而且不至使監(jiān)管要求僵化，對技術(shù)和產(chǎn)業(yè)發(fā)展更加友好。

第三，歐盟粗放式監(jiān)管，美國精細(xì)化治理。粗放式不僅指標(biāo)準(zhǔn)抽象，而且意味著路徑單一，過度強(qiáng)調(diào)監(jiān)管的迫切性、必要性和重要性。相反，美國壓縮監(jiān)管空間，不意味著毫不作為，而是給技術(shù)和行業(yè)友好型的非監(jiān)管措施留出更大空間。

四、對我們的啟示

第一，持續(xù)加強(qiáng)基礎(chǔ)研發(fā)投入和人才培養(yǎng)。在推進(jìn)監(jiān)管的同時(shí)，美歐繼續(xù)加強(qiáng)科技研發(fā)投入，例如，美國在未來兩年將使投資于人工智能和量子計(jì)算的研發(fā)投入翻倍并打造量子互聯(lián)網(wǎng)，歐盟也將顯著地加強(qiáng)對AI、量子計(jì)算的研發(fā)投入。我國在基礎(chǔ)研究、芯片、核心算法、人才培養(yǎng)等方面尚存短板，需要持續(xù)加大對人工智能、量子計(jì)算等突破性技術(shù)的投入和支持力度。

第二，全球“技術(shù)主權(quán)”競爭背景下，需要包容審慎監(jiān)管AI應(yīng)用。數(shù)字時(shí)代，全球“技術(shù)主權(quán)”競爭趨于激烈，監(jiān)管政策是重要的工具，例如美國近年來加大對AI等前沿?cái)?shù)字技術(shù)的投資和出口管制，就是出于這一目的。因此美歐的AI監(jiān)管雖然存在差異，差異的存在是因?yàn)楫a(chǎn)業(yè)發(fā)展?fàn)顩r不同，但殊途同歸，最終都是為了打造技術(shù)和產(chǎn)業(yè)競爭力。在這樣的背景下，美國的AI監(jiān)管政策樣本更契合我國的技術(shù)和產(chǎn)業(yè)實(shí)際，需要遵循包容審慎的理念，通過多方參與、風(fēng)險(xiǎn)評估、成本效益分析等機(jī)制，確保立法和監(jiān)管的科學(xué)化、精細(xì)化、靈活化，并可考慮設(shè)立“安全港”規(guī)則或者監(jiān)管例外來鼓勵(lì)A(yù)I應(yīng)用，同時(shí)依靠監(jiān)管之外的多元化措施，如標(biāo)準(zhǔn)、指南、試點(diǎn)等。

第三，加強(qiáng)國際合作，積極推動國際AI標(biāo)準(zhǔn)設(shè)定。除了面向國內(nèi)的政策舉措，美歐也在積極建立國際同盟、聯(lián)盟等，希冀主導(dǎo)AI技術(shù)、倫理、治理等方面的國際標(biāo)準(zhǔn)，山頭主義的發(fā)展趨勢顯著。我國需要加強(qiáng)國際合作，積極輸出理念和價(jià)值觀。