達(dá)摩院發(fā)布開源新型聯(lián)邦學(xué)習(xí)框架FederatedScope

5月5日，達(dá)摩院發(fā)布并開源新型聯(lián)邦學(xué)習(xí)框架FederatedScope，該框架支持大規(guī)模、高效率的聯(lián)邦學(xué)習(xí)異步訓(xùn)練，能兼容不同設(shè)備運(yùn)行環(huán)境，且提供豐富功能模塊，大幅降低了隱私保護(hù)計(jì)算技術(shù)開發(fā)與部署難度。

過去幾年，機(jī)器學(xué)習(xí)的迅猛發(fā)展是人工智能領(lǐng)域最引人注目的大事件，大數(shù)據(jù)則是隱藏在這波浪潮后面的重要功臣。過往的經(jīng)驗(yàn)告訴我們，如果要讓技術(shù)獲得令人滿意的成果，對數(shù)據(jù)的理解和應(yīng)用都非常關(guān)鍵。

但現(xiàn)實(shí)并不總能很好滿足研究人員對數(shù)據(jù)的質(zhì)量要求。更多時(shí)候，科學(xué)家們可以使用的都是數(shù)據(jù)孤島中的“小數(shù)據(jù)”——它們或者規(guī)模較小、或者缺少部分重要的特征。數(shù)據(jù)所有權(quán)意識上升帶來的數(shù)據(jù)隱私需求增強(qiáng)后，上述問題的重要性進(jìn)一步凸顯出來。怎樣在保護(hù)隱私的同時(shí)推動人工智能發(fā)展，已經(jīng)成為這個(gè)時(shí)代最重要的技術(shù)挑戰(zhàn)之一。

Gartner報(bào)告顯示，到2025年之前，約60%的大型企業(yè)預(yù)計(jì)將應(yīng)用至少一種隱私保護(hù)計(jì)算技術(shù)。達(dá)摩院2022十大科技趨勢同樣將隱私保護(hù)計(jì)算列為重要趨勢，認(rèn)為該技術(shù)將從覆蓋少量數(shù)據(jù)場景走向全域保護(hù)，從而激發(fā)數(shù)字時(shí)代的新生產(chǎn)力。

科學(xué)家必須想辦法使用那些不那么完美的數(shù)據(jù)，聯(lián)邦學(xué)習(xí)理念應(yīng)運(yùn)而生?？茖W(xué)家曾經(jīng)用一個(gè)形象的比喻來描述聯(lián)邦學(xué)習(xí)的思想——養(yǎng)羊就像機(jī)器學(xué)習(xí)，草料就像各類數(shù)據(jù)，沒有草料的持續(xù)供應(yīng)，就沒有羊群的不斷壯大。以前，科學(xué)家選擇在全球收割草料并集中起來提供給羊群；現(xiàn)在，他們選擇趕著羊群進(jìn)入一塊又一塊草場。

然而，隨著應(yīng)用隱私保護(hù)計(jì)算的場景和行業(yè)日趨多元，涉及的數(shù)據(jù)類型日趨豐富，已有聯(lián)邦學(xué)習(xí)框架難以靈活高效地滿足越來越復(fù)雜的計(jì)算需求，“可用”到“好用”之間的技術(shù)挑戰(zhàn)困擾著各方。

為解決上述挑戰(zhàn)，達(dá)摩院智能計(jì)算實(shí)驗(yàn)室研發(fā)了新型聯(lián)邦學(xué)習(xí)框架FederatedScope，該框架使用事件驅(qū)動的編程范式來構(gòu)建聯(lián)邦學(xué)習(xí)，即將聯(lián)邦學(xué)習(xí)看成是參與方之間收發(fā)消息的過程，通過定義消息類型以及處理消息的行為來描述聯(lián)邦學(xué)習(xí)過程。通過這一方式，F(xiàn)ederatedScope實(shí)現(xiàn)了支持在豐富應(yīng)用場景中進(jìn)行大規(guī)模、高效率的聯(lián)邦學(xué)習(xí)異步訓(xùn)練。

同時(shí)，達(dá)摩院團(tuán)隊(duì)對FederatedScope訓(xùn)練模塊進(jìn)行抽象，使其不依賴特定的深度學(xué)習(xí)后端，能兼容PyTorch、Tensorflow等不同設(shè)備運(yùn)行環(huán)境，大幅降低了聯(lián)邦學(xué)習(xí)在科研與實(shí)際應(yīng)用中的開發(fā)難度和成本。

為進(jìn)一步適應(yīng)不同應(yīng)用場景，F(xiàn)ederatedScope還集成了多種功能模塊，包括自動調(diào)參、隱私保護(hù)、性能監(jiān)控、端模型個(gè)性化等。FederatedScope支持開發(fā)者通過配置文件便捷地調(diào)用集成模塊，方便快速入門；也允許通過注冊的方式添加新的算法實(shí)現(xiàn)并調(diào)用，支持定制化及深度開發(fā)。

達(dá)摩院智能計(jì)算實(shí)驗(yàn)室隱私保護(hù)計(jì)算團(tuán)隊(duì)負(fù)責(zé)人丁博麟表示，“數(shù)據(jù)已成為重要的生產(chǎn)要素，而隱私保護(hù)計(jì)算是保障這一要素發(fā)揮作用的關(guān)鍵技術(shù)。通過開源最新聯(lián)邦學(xué)習(xí)框架，我們希望促進(jìn)隱私保護(hù)計(jì)算在研究和生產(chǎn)中的廣泛應(yīng)用，讓醫(yī)藥研發(fā)、政務(wù)互通、人機(jī)交互等數(shù)據(jù)密集領(lǐng)域更安全、更順暢地發(fā)展?！?/p>