公開機器學(xué)習(xí)模型代碼可能會有哪些風(fēng)險？

作為個人開發(fā)者，應(yīng)不應(yīng)該將自己的項目或模型、數(shù)據(jù)等進行開源？公開這些數(shù)據(jù)有哪些風(fēng)險？本文作者是斯坦福大學(xué)博士，長期從事開源機器學(xué)習(xí)研究，經(jīng)常接觸和處理敏感數(shù)據(jù)，他結(jié)合自己的經(jīng)驗，為這個問題提供了一些建議。

公開機器學(xué)習(xí)模型代碼可能會有哪些風(fēng)險？

OpenAI 最近因為創(chuàng)造了多項機器學(xué)習(xí)新任務(wù)的最優(yōu)性能記錄，但卻不開放源代碼而遭到越來越多的指摘。OpenAI發(fā)推表示，“由于擔(dān)心這些技術(shù)可能被用做惡意目的，不會放出訓(xùn)練后的模型代碼?！?/p>

對OpenAI這個決定的批評之聲不少，比如這樣會對其他團隊重現(xiàn)研究這些研究結(jié)果造成阻礙，而研究結(jié)果的可重現(xiàn)性是確保研究真實的基礎(chǔ)。而且，這樣做也可能導(dǎo)致媒體對人工智能技術(shù)產(chǎn)生一種由于未知而生的恐懼。

上面這段Twitter引起了我的注意。Anima Anandkumar在彌合機器學(xué)習(xí)的研究和實際應(yīng)用之間的差距方面擁有豐富的經(jīng)驗。我們是亞馬遜AWS的同事，最近還在一起討論了如何將機器學(xué)習(xí)技術(shù)從博士實驗室推向市場的問題。

Stephen Merity對社交媒體的回應(yīng)進行了總結(jié)，他表示，機器學(xué)習(xí)社區(qū)在這方面的經(jīng)驗其實不多：

OpenAI不公開模型源代碼是對是錯？這事各位可以自行判斷。不過在我看來，OpenAI在兩個方面做得不夠好，應(yīng)該就是否可以檢測到虛假內(nèi)容進行調(diào)查，并以多種語言發(fā)布模型，以對抗對英語產(chǎn)生的單語種偏見。

對于個人機器學(xué)習(xí)項目而言，下面給出一些關(guān)于是否應(yīng)該公開發(fā)布模型或數(shù)據(jù)集的決策時的一些常見問題：

在開源我的模型之前是否應(yīng)該三思？

是的。如果你的模型是基于私有數(shù)據(jù)構(gòu)建的，則可以對其進行逆向工程以提取出這些數(shù)據(jù)。

如果我的模型100％來自公共數(shù)據(jù)，那我是否還要考慮將模型開源？

是的。如果要在新的語言環(huán)境重新發(fā)布數(shù)據(jù)，已發(fā)布的數(shù)據(jù)可能會變成敏感數(shù)據(jù)，而且，聚合后的數(shù)據(jù)（包括機器學(xué)習(xí)模型）可能比分散的各個數(shù)據(jù)點更加敏感。你需要考慮：重新構(gòu)建數(shù)據(jù)或數(shù)據(jù)模型會產(chǎn)生哪些影響，要不要由我自己或我所在的組織公開發(fā)布？

即使單個數(shù)據(jù)點并非敏感數(shù)據(jù)，聚合數(shù)據(jù)被視為敏感也是很常見的情況。這是許多軍事組織的標準做法：當(dāng)他們匯總來自一組來源的數(shù)據(jù)時，他們會根據(jù)其敏感程度重新評估該匯總信息。聚合通常是統(tǒng)計學(xué)或無監(jiān)督機器學(xué)習(xí)的結(jié)果，但是基于該數(shù)據(jù)構(gòu)建的監(jiān)督模型同樣適用。

所以，你應(yīng)該經(jīng)常自問：我的模型中的聚合數(shù)據(jù)是否比單個數(shù)據(jù)點更為敏感？

我應(yīng)該如何評估開源風(fēng)險？

在安全性方面考慮，可以將每個策略視為“可被攻破的”。風(fēng)險防范的基本目標是使攻破某些安全措施的成本高于被保護數(shù)據(jù)的價值。

所以要考慮的問題是，從你的研究論文中復(fù)制模型的成本，是否值得為那些想要出于負面目的使用這些技術(shù)的人付出這樣的努力？應(yīng)該要明確這一點。這是決定是否將模型開源的一個重要因素。

我最近與Facebook進行了長時間的會談，討論的是出任一個職位，專門負責(zé)發(fā)現(xiàn)假新聞。從一個行內(nèi)人的角度來看，我最想知道的是這樣一件事：我能否以編程的方式成功檢測這種模型輸出，以便對抗假新聞？

我認為在Facebook上打擊假新聞是任何人都可以做的最重要的事情之一，來自O(shè)penAI的這項研究將會對此有所幫助。而且，如果能夠創(chuàng)建一個可以識別生成內(nèi)容的模型池，那么假新聞可能會更難以蒙混通過自動檢測系統(tǒng)。

如果你能夠定量地證明，對項目數(shù)據(jù)的惡意使用可以進行更容易/更難的打擊，這也將是你做出是否開源的決策過程中的另一個重要因素。

這算是機器學(xué)習(xí)中的新問題嗎？

其實不算是，你可以從過去的經(jīng)驗中學(xué)到很多東西。

如果你面臨類似的困境，請尋找具有深度知識的人來討論受影響最大的社區(qū)（最好是來自該社區(qū)內(nèi)部的人士），以及過去遇到類似的機器學(xué)習(xí)問題相關(guān)問題的人。

我是否應(yīng)該平衡機器學(xué)習(xí)的負面應(yīng)用和正面應(yīng)用？

是的。發(fā)布具有積極應(yīng)用意義的模型，很容易對世界產(chǎn)生積極影響。而限制具有許多負面應(yīng)用領(lǐng)域的模型的發(fā)布，很難對世界產(chǎn)生積極影響。

這其實是OpenAI的另一個失敗之處：缺乏多樣性。OpenAI比任何其他研究團隊都更多地發(fā)布了僅適用于英語模型和研究成果。從全球來看，英語每天僅占全世界對話的5％。在句子中的單詞順序、標準化拼寫和“單詞”作為機器學(xué)習(xí)功能單元上，英語是一個異類。

OpenAI的研究依賴于以下三個方面：單詞順序，單詞特征，拼寫一致性。這些研究能夠適用于世界上大多數(shù)語言嗎？我們不知道，因為沒有測試。OpenAI的研究確實表明，我們需要擔(dān)心這種類型的英語生成內(nèi)容，但并沒有表明，今天的假新聞的流傳，更有可能通過除英語之外的其他100多種語言進行。

如果你不想進入假新聞等應(yīng)用程序的灰色區(qū)域，那么可以選擇一個本質(zhì)上更具影響力的研究領(lǐng)域，例如低資源語言中與健康相關(guān)的文本的語言模型。

我需要在多大程度上考慮項目應(yīng)用實例的敏感性？

當(dāng)我為AWS的命名實體解析服務(wù)開發(fā)產(chǎn)品時，必須考慮是否要將街道級地址識別為顯式字段，并可能將坐標映射到相應(yīng)地址。我們認為這本身就是敏感信息，不應(yīng)該在一般解決方案中進行產(chǎn)品化。

在任何研究項目中都要考慮這一點：是否能夠隱含或明確地識別出模型中的敏感信息？

只是因為其他人都開源了自己的模型，因此我也應(yīng)該開源嗎？

當(dāng)然不是，你應(yīng)該對自己項目的影響力保持一份懷疑。無論你是否贊同OpenAI的決定，都應(yīng)該做出明智的決定，而不是盲目跟隨他人。