人工智能時(shí)代的秩序、安全與和平

從軍事戰(zhàn)略的重新調(diào)整到外交的重建，人工智能將成為世界秩序的關(guān)鍵決定因素。人工智能不受恐懼和偏袒的影響，為戰(zhàn)略決策帶來了新的客觀性可能性。但這種客觀性，無論是由作戰(zhàn)人員還是和平締造者掌握，都應(yīng)該保留人類智慧的主觀性，而這對(duì)于負(fù)責(zé)任地行使武力至關(guān)重要。與其說人工智能是對(duì)未知事物的進(jìn)一步發(fā)現(xiàn)，不如說它是對(duì)我們現(xiàn)有狀況的揭示。戰(zhàn)爭(zhēng)中的人工智能將揭示人類最美好和最壞的表現(xiàn)。甚至在實(shí)現(xiàn)重大突破之前，人們就會(huì)認(rèn)識(shí)到人工智能在多大程度上既可以成為沖突的手段，又可以成為沖突終結(jié)者。

人類長(zhǎng)期以來一直在努力構(gòu)建越來越復(fù)雜的體系，以使任何國家都無法完全主宰其他國家，這一努力已成為一條連續(xù)不斷的自然法則。在一個(gè)主要參與者仍然是人類的世界里——即使配備了人工智能來通知、咨詢和建議他們——我們?nèi)匀粦?yīng)該享有一定程度的穩(wěn)定性，這種穩(wěn)定性基于參與者之間共同的行為準(zhǔn)則，但會(huì)隨著時(shí)間的推移而不斷調(diào)整。

但是，如果人工智能成為一組實(shí)際上獨(dú)立的政治、外交和軍事實(shí)體，那么古老的權(quán)力平衡將被迫被一種新的、未知的不平衡所取代。民族國家的國際協(xié)調(diào)——過去幾個(gè)世紀(jì)實(shí)現(xiàn)的脆弱且內(nèi)部不斷變化的平衡——部分是由于參與者的內(nèi)在平等而得以維持。一個(gè)嚴(yán)重不對(duì)稱的世界——例如，如果一些國家比其他國家更容易接受人工智能進(jìn)入政治領(lǐng)導(dǎo)地位——將變得難以預(yù)測(cè)。在某些人類可能與一個(gè)高度人工智能化的國家或人工智能本身在軍事或外交上對(duì)峙的情況下，人類似乎無力生存，更不用說競(jìng)爭(zhēng)了。這樣的中間秩序可能會(huì)見證一個(gè)內(nèi)部的社會(huì)內(nèi)爆和外部沖突無法控制的爆發(fā)。

除了最低限度的安全保障，人類長(zhǎng)期以來一直為追求勝利或捍衛(wèi)榮譽(yù)而參與戰(zhàn)斗。但機(jī)器——目前——缺乏真正的勝利或榮譽(yù)概念。它們可能會(huì)發(fā)動(dòng)一種人類歷史上獨(dú)一無二的戰(zhàn)爭(zhēng)。但人工智能會(huì)做出什么選擇？它們可能永遠(yuǎn)不會(huì)發(fā)動(dòng)戰(zhàn)爭(zhēng)，而是選擇（例如）立即、仔細(xì)劃分領(lǐng)土，并根據(jù)相對(duì)戰(zhàn)略優(yōu)勢(shì)的復(fù)雜計(jì)算進(jìn)行轉(zhuǎn)移？或者它們會(huì)——重視結(jié)果而不重視個(gè)人生命——陷入人類消耗戰(zhàn)？在一種情況下，人類可能會(huì)發(fā)生徹底的轉(zhuǎn)變，完全避免人類行為的殘酷性。在另一種情況下，我們會(huì)變得如此屈從，以至于回到野蠻的過去。

難道就沒有別的辦法了嗎？迄今為止，無論是耐心的外交努力還是令人震驚的戰(zhàn)爭(zhēng)恐怖，都未能永久地在人類（更不用說其他物種）心中植入對(duì)毀滅的厭惡。然而，在人工智能時(shí)代，永久和平的條件是否最終能夠?qū)崿F(xiàn)呢？

間諜和破壞活動(dòng)

各國在尋找確保技術(shù)安全的方法的同時(shí)，也在思考如何“贏得人工智能競(jìng)賽?！?從某種程度上來說，這種反應(yīng)是可以理解的。文化、歷史、交流和觀念共同造成了當(dāng)今主要國家之間的外交局勢(shì)，加劇了各方的不安全和猜疑。人工智能是全球未來的一個(gè)主要特征，它在本已不穩(wěn)定的組合中形成了一個(gè)低點(diǎn)，雙方都認(rèn)為，增加戰(zhàn)術(shù)優(yōu)勢(shì)可能對(duì)其長(zhǎng)期利益具有決定性作用。

如果出于自我保護(hù)的本能，每個(gè)人類社會(huì)都希望最大限度地發(fā)揮其單邊地位，那么敵對(duì)軍事力量和情報(bào)機(jī)構(gòu)之間的心理較量就會(huì)出現(xiàn)，而人類從未面臨過這樣的情況。今天，在第一個(gè)超級(jí)智能到來之前的幾年、幾個(gè)月、幾周和幾天里，一場(chǎng)生存性的安全困境正在等待著我們。任何擁有這種能力的人類行為者的第一個(gè)合乎邏輯的愿望可能是試圖保證單一的持續(xù)存在。任何這樣的行為者也可能默認(rèn)合理地認(rèn)為，其對(duì)手在同樣的不確定性和同樣的利害關(guān)系下，也會(huì)考慮采取類似的行動(dòng)。

即使一個(gè)占主導(dǎo)地位的國家沒有發(fā)動(dòng)戰(zhàn)爭(zhēng)，超級(jí)智能人工智能也可以顛覆、破壞和阻止競(jìng)爭(zhēng)程序。例如，人工智能既可以以前所未有的威力增強(qiáng)傳統(tǒng)病毒，又可以以類似的徹底性偽裝它們。就像計(jì)算機(jī)蠕蟲 Stuxnet 一樣——據(jù)說這種網(wǎng)絡(luò)武器已經(jīng)摧毀了德黑蘭五分之一的鈾在檢測(cè)到之前先對(duì)離心機(jī)進(jìn)行攻擊——人工智能代理可以通過掩蓋其存在的方式破壞對(duì)手的進(jìn)展，從而引導(dǎo)敵方科學(xué)家走上徒勞的調(diào)查之路。

具有獨(dú)特的能力，可以大規(guī)模操縱人類心理的弱點(diǎn)，它還可以劫持競(jìng)爭(zhēng)對(duì)手國家的媒體，制造大量令人震驚的虛假信息，從而激起大眾對(duì)該國人工智能能力進(jìn)一步發(fā)展的反對(duì)?；蛘?，對(duì)于另一個(gè)國家的首席人工智能科學(xué)家，它可能會(huì)針對(duì)性和個(gè)性化通信，使他或她對(duì)個(gè)人悲傷的感受過于強(qiáng)烈，從而削弱有效領(lǐng)導(dǎo)的能力。

評(píng)估競(jìng)爭(zhēng)狀況將更具挑戰(zhàn)性。目前最大的人工智能模型正在與互聯(lián)網(wǎng)其他部分?jǐn)嚅_的安全網(wǎng)絡(luò)上進(jìn)行訓(xùn)練。一些高管認(rèn)為，人工智能開發(fā)本身遲早會(huì)遷移到堅(jiān)不可摧的堡壘中，這些堡壘中的超級(jí)計(jì)算機(jī)由核反應(yīng)堆驅(qū)動(dòng)。現(xiàn)在甚至有人正在海底建造數(shù)據(jù)中心。很快它們就可能被隔離在環(huán)繞地球的軌道上。企業(yè)或國家可能會(huì)逐漸“隱身”，停止發(fā)布人工智能研究成果，這不僅是為了避免讓惡意行為者得逞（如公開規(guī)定的那樣），也是為了掩蓋自己的建設(shè)進(jìn)度（如私下打算的那樣）。為了扭曲其進(jìn)展的真實(shí)情況，其他人甚至可能會(huì)故意發(fā)布誤導(dǎo)性的研究成果，并借助人工智能來制造令人信服的謊言。

這種科學(xué)詭計(jì)是有先例的：1942年，蘇聯(lián)物理學(xué)家格奧爾基·弗洛洛夫在注意到美國和英國突然停止發(fā)表有關(guān)原子裂變的科學(xué)論文后，正確地推斷出美國正在研制核彈。然而，如今，由于衡量智能等抽象事物的進(jìn)展的復(fù)雜性和模糊性，這種競(jìng)爭(zhēng)將變得更加難以預(yù)測(cè)。盡管有些人認(rèn)為“優(yōu)勢(shì)”與他們擁有的人工智能模型的大小相稱，但較大的模型并不一定在所有情況下都占優(yōu)勢(shì)，也不一定總是勝過規(guī)模部署的較小、較差的模型。較小、更專業(yè)的人工智能機(jī)器可能會(huì)像一群無人機(jī)對(duì)抗航空母艦一樣運(yùn)作——無法摧毀它，但足以抵消其大部分能力。

對(duì)于某些行為者來說，實(shí)現(xiàn)某種能力可以表明整體優(yōu)勢(shì)。這種思路的問題在于，人工智能僅僅是指機(jī)器學(xué)習(xí)的過程，它不僅嵌入在單一技術(shù)中，而且嵌入在廣泛的技術(shù)中。因此，任何一個(gè)領(lǐng)域的能力可能由與另一個(gè)領(lǐng)域的能力完全不同的因素驅(qū)動(dòng)。從這個(gè)意義上講，通常計(jì)算的任何“優(yōu)勢(shì)”都可能是虛幻的。

此外，正如近年來人工智能能力的指數(shù)級(jí)和不可預(yù)見的爆炸式增長(zhǎng)所表明的那樣，進(jìn)步的軌跡既不是線性的，也不是可預(yù)測(cè)的。展望未來，專家們對(duì)人工智能的未來仍存在分歧。超級(jí)智能的發(fā)展：這僅僅是擴(kuò)大和實(shí)施現(xiàn)有學(xué)習(xí)基礎(chǔ)設(shè)施的問題，還是超級(jí)智能需要額外的創(chuàng)造力和科學(xué)創(chuàng)新？可以想象，從狹義智能到通用智能再到超級(jí)智能的轉(zhuǎn)變可能會(huì)在沒有明顯進(jìn)化跡象的情況下完成——特別是如果人類沒有形成統(tǒng)一的尋找目標(biāo)的概念。即使可以說一個(gè)參與者“領(lǐng)先”另一個(gè)參與者大約幾年或幾個(gè)月，關(guān)鍵領(lǐng)域在關(guān)鍵時(shí)刻的突然技術(shù)或理論突破可能會(huì)顛覆所有參與者的地位。

在這樣一個(gè)世界里，沒有哪個(gè)領(lǐng)導(dǎo)者能夠相信他們最可靠的智慧、最原始的本能，甚至現(xiàn)實(shí)本身的基礎(chǔ)，任何真正的超級(jí)智能競(jìng)爭(zhēng)者都不應(yīng)該因?yàn)閺臉O度偏執(zhí)和懷疑的角度采取行動(dòng)而受到指責(zé)。毫無疑問，領(lǐng)導(dǎo)者已經(jīng)在做出決定時(shí)，假設(shè)他們的努力受到監(jiān)視或隱藏著惡意影響造成的扭曲。在最壞的情況下，任何處于前沿的參與者的戰(zhàn)略考量都是優(yōu)先考慮速度和保密性，而不是安全。由于人類感知無法檢測(cè)或防御人工智能的壓制企圖，人類領(lǐng)導(dǎo)者可能會(huì)陷入一種恐懼之中，即沒有第二名。迫于壓力，他們可能會(huì)過早加速部署人工智能，以威懾外部破壞。

如今，我們?nèi)匀惶幱谝环N不由自主的無知之幕之后。人工智能主導(dǎo)地位之爭(zhēng)的最終贏家（如果可以定義贏家的話）尚不清楚。每家追求領(lǐng)先地位的企業(yè)都是潛在的競(jìng)爭(zhēng)對(duì)手。這種不確定性會(huì)產(chǎn)生不穩(wěn)定因素。

傳統(tǒng)上，新大國崛起后，必然要經(jīng)歷一場(chǎng)血腥的爭(zhēng)奪，然后對(duì)手才能達(dá)成至少各方都能接受的新現(xiàn)狀。然而，在一個(gè)因人工智能而迅速重構(gòu)的核武器世界里，可能沒有機(jī)會(huì)通過既定的戰(zhàn)爭(zhēng)原則和手段來驗(yàn)證新的共識(shí)。

如果勝者的身份確實(shí)明確，單純的競(jìng)爭(zhēng)可能會(huì)演變?yōu)榻^望和恐懼所驅(qū)動(dòng)的沖突。在這種情況下，確定性可能比預(yù)防措施更不穩(wěn)定。總而言之，完美的威懾加上無限的速度和最大的準(zhǔn)確性意味著徹底的勝利。歷史上對(duì)武力壟斷的追求通常會(huì)導(dǎo)致其他人的暗中計(jì)劃隨之而來。當(dāng)在一個(gè)不穩(wěn)定平衡的世界背景下考慮這些能力時(shí)，一些國家可能會(huì)認(rèn)為人工智能的出現(xiàn)足以威脅到需要進(jìn)行核回應(yīng)。在避免了常規(guī)戰(zhàn)爭(zhēng)之后，人工智能會(huì)把我們拖回核戰(zhàn)爭(zhēng)嗎？

在以往的軍備競(jìng)賽中，進(jìn)化本能與發(fā)明者之間的競(jìng)爭(zhēng)相結(jié)合，使得創(chuàng)建和操作旨在保護(hù)本土社會(huì)的工具。在這里，防御性人工智能系統(tǒng)也可以抵消對(duì)手的攻擊，例如通過更新目前易受攻擊的軟件和其他系統(tǒng)，或者，如果負(fù)責(zé)監(jiān)視競(jìng)爭(zhēng)程序，則通過充當(dāng)預(yù)警系統(tǒng)。然而，在這種情況下，新的威脅——人工智能生物武器、突然的核擴(kuò)散，甚至是失調(diào)的人工智能本身——可能會(huì)如此迅速和悄無聲息地出現(xiàn)，造成如此大的破壞，以至于搶占任何反應(yīng)的先機(jī)。

盡管我們可能還沒有進(jìn)入這樣的時(shí)刻，但應(yīng)該提前做好準(zhǔn)備，以應(yīng)對(duì)人工智能時(shí)代的生存競(jìng)爭(zhēng)及其伴隨的風(fēng)險(xiǎn)。一個(gè)意志堅(jiān)定或絕望的行動(dòng)者，擁有次要但相當(dāng)大的實(shí)力，將警惕更強(qiáng)大的人工智能。如果這個(gè)次要行動(dòng)者感知到——即使是錯(cuò)誤的——占主導(dǎo)地位的對(duì)手已經(jīng)掌握了全面的能力，它可能會(huì)發(fā)動(dòng)先發(fā)制人的電子或物理打擊，引發(fā)難以想象的升級(jí)和報(bào)復(fù)循環(huán)，以及相互毀滅的可能性不斷上升。

至少就目前而言，我們的不確定性中有一線希望。模糊性可能是培養(yǎng)對(duì)話的沃土。由于不確定今天做出的人工智能決策會(huì)給任何一個(gè)國家或團(tuán)體帶來什么好處或壞處，全球領(lǐng)導(dǎo)人有機(jī)會(huì)就人類集體生存的基礎(chǔ)展開討論。

應(yīng)對(duì)緊急情況

如果未來是一場(chǎng)爭(zhēng)奪單一、完美、無可爭(zhēng)議的主導(dǎo)智能的競(jìng)爭(zhēng)，那么人類很可能要么在多方競(jìng)爭(zhēng)中失去對(duì)生存競(jìng)賽的控制，要么遭受不受傳統(tǒng)制衡約束的勝利者行使最高霸權(quán)。獲勝的差距越小，人類誤判的可能性就越大。

單極可能是一條可以最大程度降低滅絕風(fēng)險(xiǎn)的途徑。如果現(xiàn)有的領(lǐng)先者能夠?qū)⑵漕I(lǐng)先優(yōu)勢(shì)擴(kuò)大到其他實(shí)體認(rèn)為不可能縮小的閾值，那么確保一定程度的穩(wěn)定可能會(huì)更加確定。至少在一段時(shí)間內(nèi)，世界秩序的基礎(chǔ)——不斷追求平衡力量之間短暫而脆弱的平衡——可能不再可取。

或者，也許可以——盡管這取決于人類自然本能的抑制——在競(jìng)爭(zhēng)實(shí)體之間達(dá)成協(xié)議，以確保商定的合作期限，甚至將處于領(lǐng)先地位的多個(gè)競(jìng)爭(zhēng)努力合并為一個(gè)單一的企業(yè)。但要實(shí)現(xiàn)跨越地緣政治和商業(yè)敵對(duì)狀態(tài)的統(tǒng)一，需要非凡的勇氣和遠(yuǎn)見。任何在前線或前線附近的行為者都希望被納入勝利的行列。在這一主要類別中，優(yōu)柔寡斷或仍處于落后地位的行為者自然會(huì)取得勝利參與該協(xié)議的其他國家將獲得最大利益，從而占據(jù)優(yōu)勢(shì)地位，獲得同等地位，并可能領(lǐng)先。相比之下，其他主要國家可能會(huì)發(fā)現(xiàn)犧牲自己的領(lǐng)先地位是無法忍受的，他們對(duì)利他主義的信任可能過于脆弱，無法抵擋徹底背叛的誘惑。

類似的選擇是通過談判分配和授權(quán)權(quán)力。當(dāng)確信勝利在即時(shí)，處于最有利位置的一方可能會(huì)試圖說服對(duì)手投降，保證他們有權(quán)使用超級(jí)人工智能。但人類對(duì)同胞的承諾從來都不是永遠(yuǎn)的，更不用說對(duì)前對(duì)手的承諾了。如果人類克服一切困難達(dá)成這樣的協(xié)議，那么如何實(shí)施它還遠(yuǎn)不清楚。

事實(shí)上，僅僅將知識(shí)“島嶼”上最尖銳的山峰聚集起來，可能會(huì)加劇其整合最初旨在防止的動(dòng)態(tài)。人類歷史上還沒有出現(xiàn)過這樣的嘗試，更不用說成功的記錄了。此外，這樣的安排需要對(duì)外交戰(zhàn)略進(jìn)行重大調(diào)整。從歷史上看，世界秩序的基礎(chǔ)是通過不斷追求平衡力量的微妙平衡來維持的。相比之下，民族國家將追求一種人類實(shí)踐中很少見的霸權(quán)停滯狀態(tài)。占主導(dǎo)地位的國家集團(tuán)可能是人工智能系統(tǒng)的最初創(chuàng)造者和其最關(guān)鍵部件的供應(yīng)商，以及開發(fā)和改進(jìn)人工智能的人才的生產(chǎn)者。非主導(dǎo)多數(shù)派可能會(huì)被降為附庸國，提供數(shù)據(jù)和其他商品，并獲得一定程度的人工智能發(fā)現(xiàn)、治理系統(tǒng)和防御能力。

無論如何，這種情況既不是我們的偏好，也不是我們的預(yù)測(cè)。相反，我們相信世界上將不僅僅存在一種至高無上的人工智能，而是存在多種超級(jí)智能實(shí)例。在這種情況下，將出現(xiàn)一組不同的可能未來。我們最強(qiáng)大的創(chuàng)造物作為制衡力量，可能比人類更有能力在全球事務(wù)中發(fā)揮和維持平衡，這種平衡受到人類先例的啟發(fā)（但不受限制）。因此，非人類智能至少在國家安全和地緣政治領(lǐng)域可以管理自己的出現(xiàn)。

但人工智能能否實(shí)現(xiàn)可持續(xù)的統(tǒng)治權(quán)劃分？有可能。外交談判在人類情感和心理的層層掩映之下，其核心是一種應(yīng)用博弈論，而博弈論本身又是數(shù)學(xué)的一個(gè)分支。即使外交實(shí)踐起源于一種藝術(shù)形式（盡管是人類行為領(lǐng)域獨(dú)有的），它也可能逐漸演變成一門科學(xué)。在確定和尋求妥協(xié)機(jī)會(huì)方面，它可以超越人類外交的復(fù)雜記錄。西方早期的人工智能模型已經(jīng)顯示出在應(yīng)用戰(zhàn)略方面的巨大潛力，至少在游戲玩法方面是如此，而中國則更進(jìn)一步，利用人工智能來機(jī)器智能履行人類外交官的職責(zé)。

人類的外交傳統(tǒng)始于在社會(huì)之間安全可靠地傳遞信息的簡(jiǎn)單需求。漸漸地，遠(yuǎn)方的使節(jié)開始享受特殊待遇，而違反新規(guī)范的國家很少能逃脫制裁。當(dāng)薛西斯的代表要求希臘城邦做出臣服的象征時(shí)，波斯外交官被扔進(jìn)坑里和井里。希羅多德記載，諸神后來會(huì)因?yàn)檫@一行為懲罰斯巴達(dá)。大約十七個(gè)世紀(jì)后，當(dāng)一位蒙古高級(jí)外交官按照波斯沙阿的命令被處決時(shí)，成吉思汗命令他可怕的部落摧毀整個(gè)花剌子模帝國作為報(bào)復(fù)。盡管如此，保持溝通渠道暢通已成為一種習(xí)慣，即使在戰(zhàn)爭(zhēng)時(shí)期也是如此；隨著時(shí)間的推移，人們形成了一項(xiàng)基本共識(shí)，即傾聽信息比殺死信使更好。

如果人工智能在它們之間進(jìn)行外交，它們可能會(huì)被有意訓(xùn)練接受相同的習(xí)俗，或者它們可能會(huì)偶然產(chǎn)生偏向，偏向于這些習(xí)俗所保證的額外信息。當(dāng)然也會(huì)有異常情況。雖然可能不會(huì)有人被解雇，但機(jī)器可能會(huì)找到一種同等的方式來追求它們狹隘的利益。在這里，如果人類能夠接受，它們的完全理性可能會(huì)增加至少更安全開端的可能性。

然而，為人類的基本問題（如外交和安全）提供機(jī)器解決方案將自然而然地導(dǎo)致對(duì)人工智能能力的進(jìn)一步依賴——如果人類必須果斷干預(yù)國際事務(wù)，這種依賴很難被打破。至少人類的治國方略，無論應(yīng)用得多么不完美，都迫使我們對(duì)自己的選擇負(fù)責(zé)。相比之下，選擇依賴人工智能可能會(huì)降低我們對(duì)基本人類判斷的信任能力，而在我們更可預(yù)測(cè)但原始的過去，我們可以依靠這種判斷可靠地生存。

為什么要冒這樣的風(fēng)險(xiǎn)？一方面是為了避免相互毀滅的競(jìng)爭(zhēng)困境或超級(jí)智能出現(xiàn)帶來的霸權(quán)，另一方面也是為了保護(hù)我們自己免受其他即將出現(xiàn)的威脅。隨著每一年的過去，隨著每一項(xiàng)新技術(shù)的突破，摧毀整個(gè)人類社會(huì)的最低門檻都在降低。

北歐神話講述了神奧丁和王后弗麗嘉的兒子巴德爾的故事，他被關(guān)于他們的兒子即將遭受慘死的預(yù)言所驚嚇。弗麗嘉女王決心保護(hù)他免受未來的命運(yùn)，她不知疲倦地走遍了地球上的九個(gè)王國，對(duì)每一種動(dòng)物、元素、植物和瘟疫施展強(qiáng)大的魔法，這樣就沒有人能用來對(duì)付他了。但是偽裝成老婦人的騙子神洛基從女王那里騙來了一個(gè)信息，說她的神圣保護(hù)斗篷覆蓋了地球上的所有東西，除了槲寄生，最無害的雜草。在慶祝巴爾德爾的豁免權(quán)，諸神為了炫耀女王的精湛技藝，輪流向他發(fā)射各種武器。然而，洛基強(qiáng)迫他的盲人兄弟霍德爾射出一支帶有槲寄生的箭，刺穿了巴爾德爾的胸膛，用瓦爾哈拉唯一不受女王全面監(jiān)護(hù)的物體殺死了他。

這句古老神話對(duì)于我們現(xiàn)代困境的意義簡(jiǎn)單而又令人不寒而栗：隨著威脅變得越來越模糊和復(fù)雜，人類對(duì)它們的防御必須更加完美，因?yàn)樽钶p微的錯(cuò)誤或疏忽都可能導(dǎo)致失敗。而要達(dá)到這種完美程度，我們很可能需要人工智能的幫助。

因此，要決定哪種風(fēng)險(xiǎn)較低，因此應(yīng)該優(yōu)先考慮：在人工智能發(fā)展中生存下來，在合成生物學(xué)出現(xiàn)等其他平行革命中生存下來，還是在劇烈氣候變化等潛在災(zāi)難中生存下來。誠然，小型人工智能可能會(huì)協(xié)助魯莽地發(fā)明現(xiàn)有技術(shù)；即使這些新手段的創(chuàng)造者本身受到完美和適當(dāng)?shù)谋O(jiān)管，其他人也可能不那么謹(jǐn)慎，危害更大。但大型人工智能可以幫助防御同樣的技術(shù)，使戰(zhàn)術(shù)防御決策真正完美。

例如，如果開發(fā)出個(gè)性化的生物防御系統(tǒng)，即人工智能納米機(jī)器人將被部署在我們的血液中，以清除任何未能匹配公認(rèn)的生物特征——將比我們以前對(duì)生物威脅的反應(yīng)更敏捷。同樣，人工智能可能會(huì)產(chǎn)生新材料和新工藝來減少碳排放，降低氣候?yàn)?zāi)難的風(fēng)險(xiǎn)。

毫無疑問，讓人工智能承擔(dān)其誕生之初的物種和社會(huì)的早期和持續(xù)責(zé)任是有風(fēng)險(xiǎn)的，但傳統(tǒng)的路徑要求人類表現(xiàn)完美，風(fēng)險(xiǎn)可能更大。在我們目前看來，最好的辦法是讓人工智能在人類不得不面對(duì)新的生存威脅擴(kuò)散之前而不是之后發(fā)揮作用。根據(jù)這一假設(shè)，適當(dāng)?shù)膯栴}是：人類如何才能加速人工智能理想的路徑，同時(shí)延緩不理想的路徑？

人工智能是一種不加選擇的不穩(wěn)定力量；如果不加以控制，它的出現(xiàn)會(huì)給其創(chuàng)造者和使用者帶來同樣大的風(fēng)險(xiǎn)。這恰恰可能迫使最初不情愿的競(jìng)爭(zhēng)對(duì)手考慮原本不切實(shí)際的協(xié)議。我們認(rèn)為，在外交、國防和其他領(lǐng)域，只有人工智能本身才能成功管理人工智能的一些風(fēng)險(xiǎn)。潘多拉魔盒已經(jīng)打開；即使沒有打開，人工智能的好處似乎仍然大于風(fēng)險(xiǎn)。

因此，我們認(rèn)為，我們的“脆弱世界”（借用尼克博斯特羅姆的話）很可能需要人工智能的干預(yù)，才能應(yīng)對(duì)人工智能技術(shù)發(fā)展帶來的一些挑戰(zhàn)和威脅。問題依然存在：人類必須如何行動(dòng)當(dāng)我們面對(duì)一個(gè)同時(shí)要求和禁止我們繼續(xù)控制的未來時(shí)？

戰(zhàn)爭(zhēng)的新范式

在人類歷史上，戰(zhàn)爭(zhēng)幾乎都是在特定的空間內(nèi)進(jìn)行的，人們可以相當(dāng)確定地知道敵方軍隊(duì)的能力和位置。這兩種屬性的結(jié)合為雙方提供了一種心理安全感和共識(shí)，使他們能夠明智地克制殺傷力。只有當(dāng)開明的領(lǐng)導(dǎo)人對(duì)戰(zhàn)爭(zhēng)可能如何進(jìn)行的基本理解統(tǒng)一時(shí)，敵對(duì)勢(shì)力才能控制是否應(yīng)該進(jìn)行戰(zhàn)爭(zhēng)。

速度和機(jī)動(dòng)性一直是決定任何軍事裝備能力的最可預(yù)測(cè)因素之一。早期的例子就是大炮的發(fā)展。狄奧多西城墻建成后，在一千年的時(shí)間里，它保護(hù)了君士坦丁堡這座大城市免受外來入侵。后來，在 1452 年，一位來自匈牙利王國（當(dāng)時(shí)受拜占庭宗主權(quán)管轄）的炮兵工程師向君士坦丁十一世皇帝提議建造巴西利克大炮，這是一門從防御墻后發(fā)射的巨型大炮，可以粉碎外來入侵者。但這位自滿的皇帝既沒有物質(zhì)手段，也沒有遠(yuǎn)見認(rèn)識(shí)到這項(xiàng)技術(shù)的重要性，因此拒絕了這項(xiàng)提議。

不幸的是，這位匈牙利工程師原來是一名政治雇傭兵：他改變了策略（和立場(chǎng)），將設(shè)計(jì)升級(jí)為更機(jī)動(dòng)的——至少需要 60 頭牛和 400 人才能運(yùn)輸——并接近皇帝的對(duì)手、土耳其奧斯曼帝國蘇丹穆罕默德二世，后者正準(zhǔn)備圍攻這座堅(jiān)不可摧的堡壘。這位富有創(chuàng)業(yè)精神的匈牙利人聲稱這門火炮可以“摧毀巴比倫城墻”，贏得了這位年輕蘇丹的興趣，并幫助土耳其軍隊(duì)在 55 天內(nèi)攻破了古老的城墻。

這場(chǎng) 15 世紀(jì)戲劇的輪廓在歷史上一再出現(xiàn)。在 19 世紀(jì)，速度和機(jī)動(dòng)性首先改變了法國的命運(yùn)，拿破侖的大軍壓倒了歐洲，然后又改變了普魯士的命運(yùn)，在赫爾穆特·馮·毛奇（老）和阿爾布雷希特·馮·羅恩的領(lǐng)導(dǎo)下，他們利用新開發(fā)的鐵路并采用分布式控制來實(shí)現(xiàn)更快、更靈活的機(jī)動(dòng)。同樣，閃電戰(zhàn)——德國軍事原則的演變——將在第二次世界大戰(zhàn)中用于對(duì)抗盟軍，產(chǎn)生了巨大而可怕的效果。

在數(shù)字戰(zhàn)爭(zhēng)時(shí)代，“閃電戰(zhàn)”有了新的含義，也無處不在。速度是瞬時(shí)的。攻擊者無需犧牲殺傷力來維持機(jī)動(dòng)性，因?yàn)榈乩砦恢貌辉偈侵萍s因素。盡管這種組合在很大程度上有利于數(shù)字攻擊中的進(jìn)攻，但人工智能時(shí)代可能會(huì)看到攻擊速度的提高并重新啟用與網(wǎng)絡(luò)攻擊相稱的網(wǎng)絡(luò)防御。

在動(dòng)能戰(zhàn)爭(zhēng)中，人工智能將引發(fā)另一次飛躍。例如，無人機(jī)將非常快速，機(jī)動(dòng)性超乎想象。一旦人工智能不僅用于引導(dǎo)一架無人機(jī)，還用于操控一隊(duì)無人機(jī)，無人機(jī)云將形成并同步飛行，形成一個(gè)單一的、有凝聚力的集體，同步性完美無缺。未來的無人機(jī)群將毫不費(fèi)力地解散并重組為各種規(guī)模的單位，就像精英特種作戰(zhàn)部隊(duì)由可擴(kuò)展的分隊(duì)組成一樣，每個(gè)分隊(duì)都能夠獨(dú)立指揮。

此外，人工智能將提供同樣快速靈活的防御。用傳統(tǒng)炮彈擊落無人機(jī)艦隊(duì)是不切實(shí)際的，甚至是不可能的。但人工智能槍支發(fā)射光子和電子（而不是彈藥），可以重現(xiàn)與太陽風(fēng)暴相同的致命致殘能力，太陽風(fēng)暴可以燒毀暴露衛(wèi)星的電路。速度和機(jī)動(dòng)性將再次超越人類的能力——并且可能在防守和進(jìn)攻上持平。

由于速度和機(jī)動(dòng)性不再是決定變量，競(jìng)爭(zhēng)實(shí)體之間的能力差距現(xiàn)在將取決于精確度、直接影響和戰(zhàn)略應(yīng)用。

人工智能武器將達(dá)到前所未有的精確度。長(zhǎng)期以來，對(duì)手地理知識(shí)的局限性限制了人工智能武器的能力和意圖。任何敵對(duì)一方都無法做到這點(diǎn)。但科學(xué)與戰(zhàn)爭(zhēng)的結(jié)合已經(jīng)確保了我們儀器的準(zhǔn)確性不斷提高，而人工智能有望再次取得突破——甚至多次。因此，人工智能將縮小初衷與最終結(jié)果之間的差距，包括在致命武力的應(yīng)用方面。無論是陸基無人機(jī)群、部署在海上的機(jī)器軍團(tuán)，還是可能的星際艦隊(duì)，機(jī)器都將擁有高度精確的殺傷人類的能力，幾乎沒有不確定性，而且影響無限。潛在破壞的界限將只取決于人類和機(jī)器的意志和克制。

因此，人工智能時(shí)代的戰(zhàn)爭(zhēng)將主要?dú)w結(jié)為評(píng)估對(duì)手的能力，而不是對(duì)手的意圖及其戰(zhàn)略應(yīng)用。在核時(shí)代，從某種意義上說，我們已經(jīng)進(jìn)入了這樣的階段——但隨著人工智能證明其作為戰(zhàn)爭(zhēng)武器的價(jià)值，其動(dòng)態(tài)和重要性將得到更清晰的關(guān)注。因此，關(guān)鍵問題是：人工智能指揮官想要什么和需要什么？

由于涉及如此寶貴的技術(shù)，人類不太可能被視為人工智能戰(zhàn)爭(zhēng)的主要目標(biāo)。事實(shí)上，人工智能可以完全取代人類作為戰(zhàn)爭(zhēng)中的代理人，使戰(zhàn)爭(zhēng)不那么致命，但可能不會(huì)削弱決定性。同樣，領(lǐng)土本身似乎不太可能激起人工智能的侵略——但數(shù)據(jù)中心和其他關(guān)鍵數(shù)字基礎(chǔ)設(shè)施肯定會(huì)。（超級(jí)計(jì)算機(jī)可能會(huì)被隱藏起來，情報(bào)存儲(chǔ)分散，以確保有更大的機(jī)會(huì)進(jìn)行作戰(zhàn)連續(xù)性并防御機(jī)械的“斬首打擊”。

因此，投降不會(huì)發(fā)生在對(duì)手人數(shù)減少、武器庫空無一物時(shí)，而是發(fā)生在幸存者的硅盾無法挽救其技術(shù)資產(chǎn)，最終無法挽救其人類副手時(shí)。戰(zhàn)爭(zhēng)可能演變成一場(chǎng)純粹的機(jī)械死亡游戲，決定因素是人類（或人工智能）的心理力量，他們必須冒險(xiǎn)一試，或者放棄以阻止徹底毀滅的突破時(shí)刻。

甚至新戰(zhàn)場(chǎng)的主導(dǎo)動(dòng)機(jī)在某種程度上也是陌生的。GK 切斯特頓告訴我們“真正的士兵戰(zhàn)斗不是因?yàn)樗骱扪矍暗囊磺校且驗(yàn)樗麩釔凵砗蟮囊磺?。?15人工智能戰(zhàn)爭(zhēng)不太可能涉及愛或恨，更不用說士兵勇敢的概念了。另一方面，它可能仍然包含自我、身份和忠誠——盡管這些身份和忠誠的性質(zhì)可能與今天不一致。

戰(zhàn)爭(zhēng)中的算計(jì)總是相對(duì)簡(jiǎn)單的：哪一方首先發(fā)現(xiàn)對(duì)手的威力所造成的折磨是無法忍受的，哪一方就會(huì)被征服和改變，然后也許才會(huì)進(jìn)行談判。對(duì)自己缺點(diǎn)的認(rèn)識(shí)可靠而自然地產(chǎn)生了克制。如果沒有這樣的認(rèn)識(shí)，也沒有痛苦的感覺（因此無法完全忍受痛苦），人們不禁會(huì)想，到底是什么會(huì)促使人們?cè)趹?zhàn)爭(zhēng)中克制自己。被引入戰(zhàn)爭(zhēng)的人工智能，以及它所引發(fā)的沖突將以何種結(jié)局收?qǐng)觥Ｈ绻缕宓娜斯ぶ悄軓奈幢桓嬷螒蚪Y(jié)束的規(guī)則，它會(huì)下到最后一個(gè)棋子嗎？

地緣政治重組

在人類的每個(gè)時(shí)代，幾乎就像遵循某種自然法則一樣，正如我們中的一個(gè)人曾經(jīng)說過的，會(huì)出現(xiàn)一個(gè)整體，“它擁有力量、意志以及智力和道德動(dòng)力，能夠按照自己的價(jià)值觀塑造整個(gè)國際體系”。在該實(shí)體出現(xiàn)后，其他單位以新的方式相互聯(lián)系，在危機(jī)時(shí)期建立不可預(yù)測(cè)的依賴關(guān)系，并不斷威脅到地緣政治力量平衡。在某些情況下，由此產(chǎn)生的系統(tǒng)顛覆了現(xiàn)有的權(quán)威；在其他情況下，它鞏固了這些權(quán)威。

人類文明最熟悉的安排是傳統(tǒng)意義上的威斯特伐利亞體系。然而，主權(quán)民族國家的概念只有幾個(gè)世紀(jì)的歷史，它起源于十七世紀(jì)中葉統(tǒng)稱為《威斯特伐利亞和約》的條約。它不是預(yù)定的社會(huì)組織單位，可能不適合人工智能時(shí)代。事實(shí)上，隨著大規(guī)模虛假信息和自動(dòng)歧視引發(fā)人們對(duì)這種安排失去信心，人工智能可能構(gòu)成一個(gè)固有的挑戰(zhàn)國家政府的權(quán)力。使問題更加復(fù)雜的可能是心理迷失和可能逃避現(xiàn)實(shí)，本書前面已經(jīng)詳述過?；蛘?，人工智能可能會(huì)重置當(dāng)今體系中競(jìng)爭(zhēng)對(duì)手的相對(duì)地位。如果人工智能的力量主要由民族國家自己掌握，人類可能會(huì)被迫走向霸權(quán)停滯，或者走向人工智能賦權(quán)的民族國家的新平衡。但它也可能成為更根本轉(zhuǎn)變的催化劑——轉(zhuǎn)向一個(gè)全新的體系，在這個(gè)體系中，國家政府將被迫放棄其在全球政治基礎(chǔ)設(shè)施中的核心作用。

一種可能性是，擁有和開發(fā)人工智能的公司將獲得全面的社會(huì)、經(jīng)濟(jì)、軍事和政治權(quán)力。當(dāng)今的政府被迫應(yīng)對(duì)其作為私營企業(yè)的東道主和啦啦隊(duì)的艱難地位——借出其軍事力量、外交資本和經(jīng)濟(jì)實(shí)力來促進(jìn)其本土利益——同時(shí)還要支持那些對(duì)壟斷貪婪和保密心存疑慮的普通人。這可能是一個(gè)站不住腳的矛盾。而且，正如本書前面所詳述的那樣，人工智能的出現(xiàn)將使任何既定機(jī)構(gòu)的治理變得更加困難。

與此同時(shí)，企業(yè)可以結(jié)成聯(lián)盟，鞏固其本已相當(dāng)強(qiáng)大的實(shí)力。這些聯(lián)盟可以建立在互補(bǔ)優(yōu)勢(shì)和合并利潤的基礎(chǔ)上，也可以建立在開發(fā)和部署人工智能系統(tǒng)的共同理念上。這些企業(yè)聯(lián)盟可能會(huì)承擔(dān)傳統(tǒng)民族國家職能，但它們并不尋求界定和擴(kuò)大有邊界的領(lǐng)土，而是培育分散的數(shù)字網(wǎng)絡(luò)作為自己的領(lǐng)域。

還有另一種選擇。不受控制的開源傳播可能會(huì)催生出規(guī)模較小的幫派或部落，這些幫派或部落擁有低于標(biāo)準(zhǔn)但相當(dāng)強(qiáng)大的人工智能能力，足以在有限的范圍內(nèi)管理、供養(yǎng)和保護(hù)自己。在那些拒絕既定權(quán)威、支持分散金融、通信和治理的人類群體中，原始無政府狀態(tài)可能會(huì)勝出?；蛘哌@樣的群體可能會(huì)包含宗教層面，也許是由上一章探討的人工智能和神性概念之一驅(qū)動(dòng)的。畢竟，就影響力而言，基督教、伊斯蘭教和印度教都比歷史上任何一個(gè)國家都更大、更持久。在未來的時(shí)代，宗教教派，而不是國家公民身份，可能會(huì)成為身份和忠誠的更相關(guān)框架。

無論是由企業(yè)聯(lián)盟主導(dǎo)的未來，還是分散到松散的宗教團(tuán)體中，每個(gè)團(tuán)體所宣稱的新“領(lǐng)土”——以及它們將為之而戰(zhàn)的領(lǐng)土——都不是幾英寸的土地，而是數(shù)字設(shè)備，這是個(gè)人用戶忠誠度的信號(hào)。這些用戶與任何政府之間的聯(lián)系——無疑受到人工智能對(duì)傳統(tǒng)中央集權(quán)政府地位的復(fù)雜影響——將顛覆傳統(tǒng)的公民觀念，并且實(shí)體之間的協(xié)議與普通的聯(lián)盟不同。

從歷史上看，聯(lián)盟是由個(gè)別領(lǐng)導(dǎo)人建立的，在戰(zhàn)爭(zhēng)中可以增強(qiáng)國家實(shí)力。相比之下，在和平時(shí)期，公民身份和聯(lián)盟（或許是征服或十字軍東征）的前景圍繞普通民眾的觀點(diǎn)、信仰和主觀身份構(gòu)建，這將需要一種新的（或非常古老的）帝國觀念。這還將迫使我們重新評(píng)估宣誓效忠所涉及的義務(wù)和退出選擇的成本（如果在我們與人工智能糾纏的未來中確實(shí)存在退出選擇的話）。

和平與權(quán)力

民族國家的外交政策，以及國際體系，都是通過平衡理想主義和現(xiàn)實(shí)主義而建立和調(diào)整的?；仡櫰饋恚覀兊念I(lǐng)導(dǎo)人所達(dá)成的暫時(shí)平衡并非最終狀態(tài)，而只是當(dāng)時(shí)的短暫（如果必要的話）策略。隨著每個(gè)新時(shí)代的到來，這種緊張關(guān)系產(chǎn)生了不同的政治秩序構(gòu)成表達(dá)。領(lǐng)導(dǎo)者不能僅僅實(shí)現(xiàn)現(xiàn)有和已經(jīng)考慮過的范圍內(nèi)的選擇。相反，統(tǒng)治者必須做出至少一些源自（或似乎源自）靈感的選擇——經(jīng)常鼓勵(lì)追求超出實(shí)際實(shí)現(xiàn)范圍的目標(biāo)。

追求利益與追求價(jià)值觀之間的矛盾，或者說某個(gè)民族國家的優(yōu)勢(shì)與全球利益之間的矛盾，一直是這一無休止演變的一部分。歷史上，小國領(lǐng)導(dǎo)人在外交上反應(yīng)直截了當(dāng)，優(yōu)先考慮自身生存的需要。相比之下，那些擁有實(shí)現(xiàn)額外目標(biāo)手段的全球帝國的領(lǐng)導(dǎo)人面臨著更痛苦的困境。

自文明誕生以來，隨著人類組織單位的不斷壯大，它們也同時(shí)達(dá)到了新的合作水平。但今天，也許是由于我們面臨的地球挑戰(zhàn)規(guī)模巨大，以及國家之間和國家內(nèi)部明顯的物質(zhì)不平等，對(duì)這一趨勢(shì)的反彈已經(jīng)浮出水面。人工智能能否證明自己與人類治理規(guī)模相稱，能夠細(xì)致而準(zhǔn)確地看到全球的相互作用，而不僅僅是國家的要求？我們能否指望它們比我們以前更精確地計(jì)算我們的利益和價(jià)值觀，然后計(jì)算它們之間的正確比例和關(guān)系？

正如我們其中一位之前所說，期望人類領(lǐng)導(dǎo)人能夠可靠地“將我們的行動(dòng)限制在我們的倫理、法律和軍事立場(chǎng)完全和諧，以及合法性最符合生存要求的情況下”是不現(xiàn)實(shí)的。對(duì)于人類來說，這仍然是正確的。然而，我們希望人工智能能夠?yàn)閲鴥?nèi)外的政治目的而部署。國外的人工智能可能不僅僅能闡明平衡的權(quán)衡。理想情況下，它們可以提供新的、全局最優(yōu)的解決方案，在更長(zhǎng)的時(shí)間范圍內(nèi)發(fā)揮作用，并且比人類能夠做到的分辨率更高，從而使我們相互競(jìng)爭(zhēng)的人類利益保持一致。在未來的世界里，機(jī)器智能駕馭沖突和談判和平可能有助于澄清甚至克服我們的傳統(tǒng)困境。

然而，如果人工智能確實(shí)能解決我們本應(yīng)希望自己解決的問題，我們可能會(huì)面臨信心危機(jī)：即一些人過度自信，而另一些人缺乏信心。對(duì)于前者，一旦我們了解了自我糾正能力的局限性，可能很難承認(rèn)我們已經(jīng)將太多權(quán)力交給了機(jī)器的智慧來處理人類行為的存在問題。對(duì)于后者，意識(shí)到僅僅從處理我們事務(wù)中移除人類的代理就足以解決我們最棘手的問題，這可能會(huì)過于明顯地揭示人類設(shè)計(jì)的缺陷。如果和平一直只是一種簡(jiǎn)單的自愿選擇，那么人類不完美的代價(jià)就是永無止境的戰(zhàn)爭(zhēng)。知道解決方案一直存在，但我們從未構(gòu)想出來，這將摧毀人類的自尊心。

就我們的安全而言，與我們?cè)诹麟x失所中的安全不同，在科學(xué)或其他學(xué)術(shù)活動(dòng)中，我們可能更容易接受機(jī)械第三方的公正性必然優(yōu)于人類的自私自利——就像人類很容易認(rèn)識(shí)到在有爭(zhēng)議的離婚案中需要調(diào)解人一樣。我們相信并希望，在這種情況下，我們的一些最壞的特質(zhì)將使我們展現(xiàn)出我們最好的特質(zhì)：人類追求自身利益的本能，包括以犧牲他人為代價(jià)，可能會(huì)讓我們做好準(zhǔn)備，接受人工智能超越自身利益。