人工智能在武裝沖突決策中的應用

在不到一年的時間里，Chat-GPT 已成為一個家喻戶曉的名字，反映了人工智能驅動的軟件工具，特別是生成式人工智能模型的驚人進步。伴隨著這些發(fā)展，人們頻頻預測人工智能將徹底改變戰(zhàn)爭。在人工智能發(fā)展的現(xiàn)階段，人們仍在探索可能的參數(shù)，但軍方對人工智能技術的反應是不可否認的。美國網(wǎng)絡安全和基礎設施安全局局長詹-伊斯特里警告說，人工智能可能是 "我們這個時代最強大的武器"。雖然自主武器系統(tǒng)在有關人工智能軍事應用的討論中往往占據(jù)主導地位，但人們較少關注在武裝沖突中支持人類決策的系統(tǒng)中使用人工智能的問題。

在這篇文章中，紅十字國際委員會軍事顧問魯本-斯圖爾特（Ruben Stewart）和法律顧問喬治婭-海因茲（Georgia Hinds）試圖批判性地審視人工智能用于支持戰(zhàn)爭中武裝人員決策時被吹噓的一些益處。其中特別討論了減輕對平民的傷害和節(jié)奏問題，尤其關注武裝沖突中對平民的影響。

即使在最近的炒作之前，人們可能已經以各種形式使用過人工智能，事實上，人們可能正在使用主要由人工智能驅動的設備閱讀這篇文章。如果您使用指紋或人臉打開過手機，參與過社交媒體，使用手機應用程序規(guī)劃過旅程，或者在網(wǎng)上購買過披薩和書籍等任何物品，那么這些都可能與人工智能有關。在很多方面，我們對人工智能已經習以為常，常常在不知不覺中將其應用到我們的日常生活中。

但如果人臉識別軟件被用來識別要攻擊的人呢？如果類似的軟件不是尋找最便宜的航班將你送往目的地，而是尋找飛機對目標實施空襲呢？或者，機器推薦的不是最好的披薩店或最近的出租車，而是攻擊計劃？這顯然是開發(fā)基于人工智能的國防決策平臺的公司 "即將到來 "的現(xiàn)實。

這類人工智能決策支持系統(tǒng)（AI-DSS）是一種計算機化工具，使用人工智能軟件顯示、綜合和/或分析數(shù)據(jù)，并在某些情況下提出建議，甚至預測，以幫助人類在戰(zhàn)爭中做出決策。

AI-DSS 的優(yōu)勢往往體現(xiàn)在提高態(tài)勢感知能力和加快決策周期上。下文將根據(jù)人工智能系統(tǒng)和人類的局限性，并結合現(xiàn)代沖突的規(guī)劃過程，對這些說法進行解讀。

將沖突中傷害平民的風險降至最低

新技術在戰(zhàn)爭中的出現(xiàn)往往伴隨著這樣的說法，即新技術的整合將減少對平民的傷害（盡管在實踐中并不總是如此）。就 AI-DSS 而言，有人聲稱這種工具在某些情況下有助于更好地保護沖突中的平民。當然，國際人道主義法（IHL）規(guī)定，軍事指揮官和其他負責攻擊的人員有義務根據(jù)他們在相關時間所掌握的所有來源的信息做出決定。特別是在城市戰(zhàn)爭的背景下，紅十字國際委員會建議，有關平民和民用物體存在等因素的信息應包括互聯(lián)網(wǎng)等公開來源資料庫。此外，具體到人工智能和機器學習，紅十字國際委員會認為，只要人工智能-DSS工具能夠促進更快、更廣泛地收集和分析這類信息，就能使人類在沖突中做出更好的決策，從而最大限度地減少對平民的風險。

與此同時，任何 AI-DSS 的輸出都應在多個來源之間進行交叉核對，以防止信息有偏差或不準確。雖然這對沖突中的任何信息來源都是如此，但對AI-DSS 尤為重要；正如紅十字國際委員會先前所概述的那樣，由于系統(tǒng)的功能以及人類用戶與機器的交互方式，要核實輸出信息的準確性可能極其困難，有時甚至是不可能的。下文將進一步闡述這些方面。

系統(tǒng)局限性

最近關于人工智能發(fā)展的報道經常包括人工智能失敗的例子，有時是致命的。例如，軟件無法識別或錯誤識別膚色較深的人，推薦的旅行路線沒有考慮最新的路況，以及自動駕駛汽車造成死亡的例子。其中一些失誤是可以解釋的，但不可原諒，例如，因為其輸出所依據(jù)的數(shù)據(jù)有偏差、被破壞、中毒或根本不正確。這些系統(tǒng)仍然很容易被 "欺騙"；可以使用一些技術來欺騙系統(tǒng)，使其對數(shù)據(jù)進行錯誤分類。例如，可以想象在沖突中使用對抗性技術來影響瞄準輔助系統(tǒng)的源代碼，使其將校車識別為敵方車輛，從而造成毀滅性后果。

隨著人工智能被用于執(zhí)行更復雜的任務，特別是當多層分析（可能還有決策和判斷）不斷累積時，驗證最終輸出以及導致最終輸出的任何錯誤的來源就變得幾乎不可能。隨著系統(tǒng)越來越復雜，出現(xiàn)復合錯誤的可能性也越來越大--第一個算法建議中的一個微小不足會被反饋到第二個算法過程中并造成偏差，而第二個算法過程又會反饋到第三個算法過程中，依此類推。

因此，人工智能系統(tǒng)經常表現(xiàn)出用戶或開發(fā)者無法解釋的行為，即使經過大量的事后分析也是如此。一項針對備受矚目的大型語言模型 GPT-4 的研究發(fā)現(xiàn)，三個月后，該模型解決數(shù)學問題的能力從 83.6% 銳減至 35.2%，令人費解。不可預測的行為也可以通過強化學習產生，在強化學習中，機器已被證明能夠非常有效地采用和隱藏不可預見的行為，有時甚至是負面行為，從而戰(zhàn)勝或超越人類：無論是通過撒謊贏得談判，還是通過走捷徑擊敗電腦游戲。

人類與機器互動面臨的挑戰(zhàn)

AI-DSS 不會 "做出 "決定。不過，它們確實會直接影響人類的決策，而且往往影響很大，其中包括人類在與機器交互時的認知局限性和傾向性。

例如，"自動化偏差 "指的是人類傾向于不批判性地質疑系統(tǒng)的輸出，或搜索矛盾的信息--尤其是在時間緊迫的情況下。在醫(yī)療保健等其他領域已經觀察到了這種情況，經驗豐富的放射科醫(yī)生的診斷準確性受到了人工智能錯誤輸出的不利影響。

在醫(yī)療領域，不準確的診斷可能是致命的。同樣，在武裝沖突中，過度信任也會帶來致命后果。2003 年，美國的 "愛國者 "防御系統(tǒng)兩次向友軍聯(lián)軍飛機開火，原因是這些飛機被誤認為是攻擊導彈。在隨后的調查中，發(fā)現(xiàn)的主要缺陷之一是 "操作員接受了信任系統(tǒng)軟件的培訓"。

這些運作方式，再加上人機互動的這些特點，有可能增加結果偏離人類決策者意圖的可能性。在戰(zhàn)爭中，這可能導致意外升級，無論如何都會增加平民和受保護人員的風險。

節(jié)奏

人工智能在軍事上被吹捧的一個優(yōu)勢是，它能讓用戶的決策節(jié)奏快于對手。節(jié)奏的加快往往會給平民帶來額外的風險，這就是為什么要采用 "戰(zhàn)術忍耐 "等降低節(jié)奏的技術來減少平民傷亡。放慢決策節(jié)奏，包括為決策提供信息的過程和評估，可以讓系統(tǒng)和用戶有額外的時間：

看到更多

了解更多；以及

制定更多選擇。重要的是，在整個決策鏈中都是如此，而不僅僅是在最后的 "決策點"。因此，聲稱 AI-DSS 將加快最終決定是否 "扣動扳機 "的耗時步驟，從而實際上為戰(zhàn)術忍耐帶來更多時間的說法，有可能過度簡化當代沖突中的目標選擇和武力執(zhí)行過程。

額外的時間讓用戶看到更多

2021 年 8 月 29 日，在喀布爾大撤退期間，無人機對喀布爾進行了臭名昭著的空襲，造成 10 名平民死亡，中央司令部指揮官將這次空襲歸咎于 "我們沒有多余的時間來分析生活模式和做其他一些事情"。

"生活模式"分析是一些軍隊對平民和戰(zhàn)斗人員的存在和密度、他們的時間表、在考慮攻擊的地區(qū)內和周圍的移動模式等進行評估的描述。這是減少平民傷害的重要方法。然而，對生活模式的評估只能實時進行--平民創(chuàng)造這種模式需要時間--無法加快。

試圖根據(jù)歷史趨勢預測未來行為的做法無法顧及當前情況。在這個例子中，回顧舊的情報資料，特別是喀布爾的全動態(tài)視頻，并不能反映出由于塔利班接管和正在進行的疏散工作而發(fā)生的形勢和行為變化。

正如預防平民傷亡指南所解釋的那樣，"等待和觀察的時間越長，你就會對發(fā)生的事情了解得越多，也就能更好地做出使用致命或非致命手段的決定"，或者正如拿破侖所說的那樣 "慢慢給我穿衣服，我趕時間"--有時，刻意為之才能達到最佳效果。

額外的時間可以讓用戶理解更多

放慢決策速度的另一個原因是，人的理解能力，尤其是對復雜和混亂情況的理解能力，需要時間來培養(yǎng)，也需要時間來斟酌適當?shù)膽獙Υ胧?。時間越少，人理解局勢的能力就越弱。軍事規(guī)劃流程旨在讓指揮官和參謀人員有時間考慮作戰(zhàn)環(huán)境、對手、友軍和平民，以及所考慮的行動方案的利弊。正如德懷特-D-艾森豪威爾所解釋的，"在準備戰(zhàn)斗的過程中，我總是發(fā)現(xiàn)計劃是無用的，但規(guī)劃是不可或缺的"。

當人類決策者考慮由 AI-DSS 生成或 "推薦 "的行動方案時，這一點就會產生影響，因為相對于對手而言，AI-DSS 加快行動節(jié)奏的能力可能是被利用的最主要原因。如果人類計劃人員沒有經歷或甚至完全不了解 AI-DSS 提出的計劃的制定過程，那么他對局勢、各種影響因素和相關人員的了解可能就會很有限。事實上，人們已經注意到，使用自動輔助工具會降低人類用戶的警覺性，損害他們保持態(tài)勢感知的能力。這一點應從如何影響遵守國際人道主義法義務的角度加以考慮；盡一切可能核查目標的義務表明，需要最大限度地利用現(xiàn)有情報、監(jiān)視和偵察資產，以獲得在當時情況下盡可能全面的態(tài)勢感知。

更多時間可讓用戶做出更多選擇

除了能讓指揮官看到和了解更多情況外，額外的時間還能讓指揮官制定戰(zhàn)術備選方案，包括決定不使用武力或緩和局勢。額外的時間可以讓其他單元和平臺脫離接觸、重新定位、重新補給、計劃和準備協(xié)助即將到來的行動。這為指揮官提供了更多選擇，包括可更好地減少平民傷害的替代計劃。額外的時間可能允許采取額外的緩解措施，如發(fā)布警告，從平民的角度來看，這也允許他們實施應對機制，如躲避、重新補給食物和水或撤離。

正如軍事規(guī)劃理論中的一個例子所解釋的那樣，"如果時間充裕，而且更快采取行動也沒有好處，那么就沒有什么借口不花時間進行充分規(guī)劃"。正如北約的《保護平民手冊》所回顧的那樣，"如果有時間按照國際人道主義法的原則對部隊或目標進行蓄意規(guī)劃、區(qū)分和精確瞄準，那么CIVCAS[平民傷亡]的可能性就會大大降低"。

結論

"戰(zhàn)爭是混亂的、致命的，從根本上說是人類的努力。它是人與人之間的意志沖突。所有戰(zhàn)爭本質上都是為了改變人類的行為，每一方都試圖通過武力改變另一方的行為"。"戰(zhàn)爭源于人類的分歧，在人類群體之間展開，由人類控制，由人類結束，而在戰(zhàn)爭結束后，人類又必須共存。最重要的是，沖突中的苦難由人類承擔。

這一現(xiàn)實，乃至國際人道主義法本身，都要求在武裝沖突中開發(fā)和使用人工智能時采取 "以人為本 "的方法--努力在本已不人道的活動中維護人性。這種方法至少有兩個關鍵方面：(1) 關注可能受影響的人；(2) 關注使用或下令使用人工智能的人的義務和責任。

在研究可能受影響的人時，不僅要考慮在使用 AI-DSS 獲取軍事優(yōu)勢時減少對平民的風險，還要考慮專門為保護平民的目標設計和使用這類工具的可能性。在這方面已經提出的可能性包括識別、跟蹤和提醒部隊注意平民人口存在的工具，或識別在武裝沖突中表明受保護地位的特殊標志的工具（見這里和這里）。

確保人類能夠履行其在國際人道主義法下的義務意味著 AI-DSS 應為人類決策提供信息，但不能取代人類對武裝沖突中人們的生命和尊嚴構成風險的判斷。在自主武器系統(tǒng)方面，各國已廣泛認識到這一點（例如，見此處、此處和此處）。遵守國際人道主義法的責任在于個人及其指揮官，而非計算機。正如美國國防部《戰(zhàn)爭法手冊》所述："戰(zhàn)爭法并不要求武器做出法律決定......相反，必須遵守戰(zhàn)爭法的是人。中國在《新一代人工智能倫理規(guī)范》中更普遍地強調了這一點，堅持 "人是最終的責任主體"。

關于 AI-DSS 必然會加強平民保護和遵守國際人道主義法的說法必須受到嚴格質疑，并根據(jù)這些考慮因素進行衡量，同時考慮到我們對系統(tǒng)局限性、人機互動以及行動節(jié)奏加快的影響的了解。

編輯：黃飛