0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

第二屆大會回顧第9期 | 從操作系統(tǒng)視角看大模型數(shù)據(jù)安全挑戰(zhàn)

OpenHarmony TSC ? 來源:OpenHarmony TSC ? 作者:OpenHarmony TSC ? 2024-02-22 10:36 ? 次閱讀

演講嘉賓 | 李 屹

回顧整理 | 廖 濤

排版校對 | 李萍萍

694d393e-bbe4-11ee-9b10-92fbcf53809c.png

嘉賓介紹

OS安全分論壇

李屹,華為OS內(nèi)核實(shí)驗(yàn)室安全技術(shù)專家與助理科學(xué)家。主要研究領(lǐng)域包括操作系統(tǒng)安全、軟件形式化證明、超低時(shí)延軟件建模與開發(fā)等。目前主要參與的工作包括:自研自動形式化證明平臺(支撐鴻蒙內(nèi)核獲得CC EAL 6+高等級安全認(rèn)證)、基于操作系統(tǒng)內(nèi)核層面構(gòu)建的數(shù)據(jù)安全底座等。

視頻回顧

打開嗶哩嗶哩APP,觀看更清晰視頻

正文內(nèi)容

大模型已成為當(dāng)下AI產(chǎn)業(yè)最大熱點(diǎn),業(yè)界也正在積極探索大模型的應(yīng)用場景。然而,大模型背后依賴的是海量的訓(xùn)練數(shù)據(jù)與交互數(shù)據(jù),人工智能的黑盒機(jī)制導(dǎo)致大模型在實(shí)踐中不可避免地存在敏感數(shù)據(jù)的安全挑戰(zhàn)。如何從操作系統(tǒng)視角應(yīng)對大模型應(yīng)用中的數(shù)據(jù)安全挑戰(zhàn)?華為OS內(nèi)核安全專家、副首席科學(xué)家李屹在第二屆OpenHarmony技術(shù)大會上進(jìn)行了精彩分享。

69627cae-bbe4-11ee-9b10-92fbcf53809c.png

圖像模型、大語言模型、多模態(tài)模型等大模型在研發(fā)的各階段為我們帶來巨大的生產(chǎn)力提升,例如:(1)協(xié)助編碼:代碼補(bǔ)全、知識檢索、測試用例生成;(2) 文檔寫作:語言翻譯、文檔潤色、文稿寫作;(3)數(shù)據(jù)處理:自動分析、數(shù)據(jù)制圖;(4)智能助手:Rewind、ChatGPT Mobile App。大模型的核心能力是數(shù)據(jù)的理解與處理,因此它所獲取的用戶數(shù)據(jù)越多,能為使用者提供的幫助也就越多,其帶來的便利,本質(zhì)上也是“對于數(shù)據(jù)的深度理解和處理”。然而,當(dāng)用戶深度使用大模型或者越來越依賴大模型能力時(shí),隨著大模型自身能力的增強(qiáng),用戶數(shù)據(jù)濫用的危害就越大。

696a8eda-bbe4-11ee-9b10-92fbcf53809c.png

因此,保障數(shù)據(jù)安全是我們放心使用大模型應(yīng)用的必要前提。從被保護(hù)對象的角度出發(fā),大模型數(shù)據(jù)安全挑戰(zhàn)主要有以下兩個(gè)方面:

保護(hù)用戶數(shù)據(jù)不被濫用。要求用戶數(shù)據(jù)的獲取和使用應(yīng)當(dāng)符合用戶的授權(quán);模型自身無法濫用用戶數(shù)據(jù);惡意攻擊者無法通過攻擊大模型應(yīng)用來獲取其中的用戶數(shù)據(jù)。

保護(hù)模型資產(chǎn)免受攻擊。要求模型資產(chǎn)的獲取和使用應(yīng)當(dāng)符合模型開發(fā)者的授權(quán);惡意使用者無法通過攻擊大模型應(yīng)用來獲取模型數(shù)據(jù)。

為什么我們希望基于操作系統(tǒng)來實(shí)施數(shù)據(jù)安全保護(hù)手段?

通常而言,每個(gè)應(yīng)用或者應(yīng)用生態(tài)都會自己構(gòu)建一定的數(shù)據(jù)安全保護(hù)能力。然而,由于應(yīng)用層構(gòu)建的安全能力往往各自為戰(zhàn),導(dǎo)致系統(tǒng)整體存在“千里之堤,潰于蟻穴”的風(fēng)險(xiǎn)。在數(shù)據(jù)共享的背景下,數(shù)據(jù)安全是一個(gè)完整的體系。其中任意一環(huán)被攻破即導(dǎo)致整體數(shù)據(jù)安全保護(hù)失效。

舉例來說,如果在應(yīng)用層構(gòu)建DLP(數(shù)據(jù)防泄漏)解決方案。由于安全能力構(gòu)建于各個(gè)應(yīng)用之中,而應(yīng)用之間會產(chǎn)生數(shù)據(jù)共享。因此一旦其中一個(gè)應(yīng)用出現(xiàn)問題或者被攻破,那么就會造成整體的數(shù)據(jù)泄露風(fēng)險(xiǎn)。

696f143c-bbe4-11ee-9b10-92fbcf53809c.png

在操作系統(tǒng)層如何構(gòu)建數(shù)據(jù)安全保護(hù)能力?可以基于3個(gè)維度:隔離、跟蹤和協(xié)同。

一、隔離:構(gòu)建可信的隔離空間來運(yùn)行大模型應(yīng)用。當(dāng)我們要保護(hù)數(shù)據(jù)的時(shí)候,最簡單,也最能令用戶信服的數(shù)據(jù)保護(hù)方式,就是讓數(shù)據(jù)始終留在端側(cè)。但是,由于大模型本身的黑盒特性,用戶并不信任應(yīng)用,那么誰來保證數(shù)據(jù)不出端呢?例如,當(dāng)用戶想詢問大模型今天的天氣怎么樣,需要穿什么衣服出門時(shí),大模型需要知道用戶的位置信息,且還需要從線上的其他地方獲取該位置的天氣數(shù)據(jù)。通過這個(gè)例子,很容易看出在部分場景下大模型既需要訪問用戶的個(gè)人隱私數(shù)據(jù),客觀上也需要聯(lián)網(wǎng)或者是訪問外部文件/數(shù)據(jù)以帶給用戶更好的體驗(yàn)。

在普通的操作系統(tǒng)中,由于沒有機(jī)密域隔離,攻擊者可以利用應(yīng)用漏洞發(fā)起攻擊即可獲取用戶數(shù)據(jù)和模型資產(chǎn);通過構(gòu)建可信的隔離空間,區(qū)分機(jī)密域和非機(jī)密域,可以實(shí)現(xiàn)即便攻破應(yīng)用本身,也無法獲取模型和用戶數(shù)據(jù)的目的。

6992a4b0-bbe4-11ee-9b10-92fbcf53809c.png

二、跟蹤:將無形的數(shù)據(jù)化為有形,跟蹤數(shù)據(jù)使用,實(shí)施精準(zhǔn)管控。盡管通過隔離手段能夠?qū)崿F(xiàn)數(shù)據(jù)安全,但在許多場景下大模型都是需要訪問聯(lián)網(wǎng)信息的。例如,即使數(shù)據(jù)質(zhì)量和參數(shù)規(guī)模強(qiáng)如ChatGPT,也不可能在模型參數(shù)中記錄整個(gè)互聯(lián)網(wǎng)的知識體系。需要通過搜索插件等在線獲??;Open Interpreter等應(yīng)用更是將支持聯(lián)網(wǎng)作為重要特性;新發(fā)布的大模型紛紛原生支持代碼的生成與運(yùn)行,進(jìn)一步增加了模型與外部交互的需求。

在大模型應(yīng)用中,數(shù)據(jù)本身是無形的,就是一串字節(jié)流。如果將應(yīng)用視作一個(gè)黑盒,那么對應(yīng)用的隔離管控只有“是”與“否”的區(qū)別。如果數(shù)據(jù)類型由操作系統(tǒng)觀測并管理,使大模型應(yīng)用在使用數(shù)據(jù)時(shí),操作系統(tǒng)能夠感知該數(shù)據(jù)是不是敏感數(shù)據(jù),從而實(shí)現(xiàn)精準(zhǔn)定位和管控,保障數(shù)據(jù)安全。

69b8c186-bbe4-11ee-9b10-92fbcf53809c.png

三、協(xié)同:安全調(diào)用云端算力,讓應(yīng)用更加智能。通過隔離和跟蹤,在端側(cè)可以實(shí)現(xiàn)較為精準(zhǔn)可靠的數(shù)據(jù)安全保護(hù)。然而,在現(xiàn)有的硬件設(shè)備下,端側(cè)算力仍顯不足,而端側(cè)算力對大模型的智能程度有很大影響。相較于GPT-3的175B參數(shù)規(guī)模而言,在實(shí)際的手機(jī)應(yīng)用場景,為了平衡功耗,性能等問題,當(dāng)前的主流端側(cè)大模型解決方案都選擇了1B級別的“小”模型。因此,如何通過端云協(xié)同來釋放云端算力成為當(dāng)前的研究熱點(diǎn)。

安全調(diào)用云端算力有2個(gè)思路:(1)構(gòu)建端云協(xié)同的分布式機(jī)密計(jì)算環(huán)境,從技術(shù)上讓數(shù)據(jù)留在同一個(gè)信任域中,實(shí)現(xiàn)“技術(shù)不出端”;(2)通過操作系統(tǒng)層構(gòu)建的數(shù)據(jù)脫敏模塊,來支撐多種不同形式的端云協(xié)同推理,實(shí)現(xiàn)敏感數(shù)據(jù)不出域的同時(shí),釋放云端算力。

69bf1dec-bbe4-11ee-9b10-92fbcf53809c.png

綜上所述,從操作系統(tǒng)視角,可以從隔離、跟蹤以及協(xié)同3個(gè)維度應(yīng)對大模型數(shù)據(jù)安全問題。后續(xù),希望能夠以操作系統(tǒng)為底座,以數(shù)據(jù)安全為第一原則,逐步構(gòu)建可信的原生智能。

「嘉賓材料暫不分享」

E N D

關(guān)注我們,獲取更多精彩。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 操作系統(tǒng)
    +關(guān)注

    關(guān)注

    37

    文章

    6862

    瀏覽量

    123513
  • 數(shù)據(jù)安全
    +關(guān)注

    關(guān)注

    2

    文章

    682

    瀏覽量

    29966
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2516

    瀏覽量

    2936
收藏 人收藏

    評論

    相關(guān)推薦

    谷東科技受邀參加2024第二屆元宇宙大會

    近日,2024第二屆元宇宙大會在海口開幕。本屆大會以“賦能應(yīng)用場景,智見廣闊未來”為主題,匯聚了國內(nèi)外的百余位頂尖專家、學(xué)者和行業(yè)領(lǐng)袖,就AI賦能產(chǎn)業(yè)健康發(fā)展和文體旅行業(yè)數(shù)字化融合等議題展開討論,深入交流。谷東科技受邀參加,并獲
    的頭像 發(fā)表于 12-16 15:16 ?326次閱讀

    美光科技第二屆鏈博會精彩回顧

    此前,11月26-30日,歷時(shí)5天,第二屆中國國際供應(yīng)鏈促進(jìn)博覽會在北京圓滿落幕,一起來回顧美光科技在本次鏈博會的精彩時(shí)刻吧。
    的頭像 發(fā)表于 12-03 13:35 ?193次閱讀

    智芯公司亮相2024第二屆中國電氣工程大會

    近日,由智芯公司和北京郵電大學(xué)協(xié)同組織的2024第二屆中國電氣工程大會“先進(jìn)通信技術(shù)賦能新型電力系統(tǒng)”專題分會場在安徽合肥成功舉辦。
    的頭像 發(fā)表于 12-02 14:18 ?286次閱讀

    帝奧微第二屆代理商大會圓滿召開

    近日,“帝奧微2024年第二屆全國代理商大會” 在上海研發(fā)中心圓滿召開。本次大會聚焦“智領(lǐng)芯程,合作共贏”主題,齊聚 80+代理商代表,共同探討未來發(fā)展趨勢。
    的頭像 發(fā)表于 11-29 13:45 ?387次閱讀

    知存科技邀您相約第二屆集成芯片和芯粒大會

    2024年11月8日-10日,以“集成芯片:邁進(jìn)大芯片時(shí)代”為主題的第二屆集成芯片和芯粒大會將在北京嘉里大酒店舉行。本次大會由基金委集成芯片前沿科學(xué)基礎(chǔ)重大研究計(jì)劃指導(dǎo)專家組指導(dǎo),由中
    的頭像 發(fā)表于 11-06 15:25 ?467次閱讀

    第二屆openEuler生態(tài)大會圓滿結(jié)束

    近日,第二屆openEuler生態(tài)大會(中國·湖南)成功舉辦。大會以“根植openEuler共建開源生態(tài)”為主題,旨在響應(yīng)國家開源產(chǎn)業(yè)發(fā)展戰(zhàn)略,推動建設(shè)以openEuler為根技術(shù)的開源操作系
    的頭像 發(fā)表于 10-31 16:02 ?299次閱讀

    第二屆開放原子大賽火熱進(jìn)行中

    第二屆開放原子大賽(簡稱“大賽”)是由開放原子開源基金會組織舉辦的開源技術(shù)領(lǐng)域?qū)I(yè)賽事,聚焦解決“真問題”,重點(diǎn)覆蓋基礎(chǔ)軟件、工業(yè)軟件、人工智能大模型等領(lǐng)域。
    的頭像 發(fā)表于 10-31 10:04 ?367次閱讀

    50萬獎金池!開放原子大賽——第二屆OpenHarmony創(chuàng)新應(yīng)用挑戰(zhàn)賽正式啟動

    第二屆OpenHarmony創(chuàng)新應(yīng)用挑戰(zhàn)賽作為開放原子大賽旗下的重要賽項(xiàng),聚焦 OpenHarmony應(yīng)用開發(fā),致力提升開發(fā)者的動手實(shí)踐能力與開發(fā)創(chuàng)新應(yīng)用的能力。 賽項(xiàng)要求開發(fā)者
    發(fā)表于 10-24 15:40

    第二屆開放原子大賽火熱開啟

    第二屆開放原子大賽(簡稱“大賽”)是由開放原子開源基金會組織舉辦的開源技術(shù)領(lǐng)域?qū)I(yè)賽事,聚焦解決“真問題”,重點(diǎn)覆蓋基礎(chǔ)軟件、工業(yè)軟件、人工智能大模型等領(lǐng)域。
    的頭像 發(fā)表于 10-18 11:39 ?476次閱讀

    第二屆大會回顧24 | 面向OpenHarmony的軟件工程研究:機(jī)遇與挑戰(zhàn)

    隨著萬物智聯(lián)時(shí)代的到來,OpenHarmony作為一個(gè)開源的智能終端設(shè)備操作系統(tǒng)的框架和平臺,將會遇到哪些機(jī)遇和挑戰(zhàn)?北京航空航天大學(xué)教授、OpenHarmony技術(shù)俱樂部主任黎立在第二屆OpenHarmony技術(shù)
    的頭像 發(fā)表于 08-07 18:14 ?1087次閱讀
    <b class='flag-5'>第二屆</b><b class='flag-5'>大會</b><b class='flag-5'>回顧</b><b class='flag-5'>第</b>24<b class='flag-5'>期</b> | 面向OpenHarmony的軟件工程研究:機(jī)遇與<b class='flag-5'>挑戰(zhàn)</b>

    第二屆英飛凌汽車創(chuàng)新峰會IACE開幕在即

    第二屆英飛凌汽車創(chuàng)新峰會IACE開幕在即
    的頭像 發(fā)表于 05-20 11:42 ?558次閱讀
    <b class='flag-5'>第二屆</b>英飛凌汽車創(chuàng)新峰會IACE開幕在即

    報(bào)名開啟!第二屆OpenHarmony開發(fā)者大會2024重磅來襲!

    /jishu_2429449_1_1.html 預(yù)約直播: 第二屆OpenHarmony開發(fā)者大會主論壇 第二屆OpenHarmony開發(fā)者大會:設(shè)備開發(fā)分論壇
    發(fā)表于 05-14 15:23

    華工科技以智賦能,亮相第二屆船舶行業(yè)安全生產(chǎn)大會

    4月18-19日,第二屆船舶行業(yè)安全生產(chǎn)與應(yīng)急管理技術(shù)交流大會在山東煙臺舉行。華工科技智能制造業(yè)務(wù)板塊應(yīng)邀參加,并發(fā)表題為《船體結(jié)構(gòu)部件智能制造助力安全生產(chǎn)》的主題演講。
    的頭像 發(fā)表于 04-19 17:44 ?660次閱讀
    華工科技以智賦能,亮相<b class='flag-5'>第二屆</b>船舶行業(yè)<b class='flag-5'>安全</b>生產(chǎn)<b class='flag-5'>大會</b>

    同星智能攜最新版支持DoIP診斷功能TSMaster軟件亮相第二屆汽車人工智能大會

    同星展會預(yù)告TOSUN.EXHIBIT2024第二屆汽車人工智能大會2024第二屆汽車人工智能大會將于4月17-18日在上海舉辦,本次大會
    的頭像 發(fā)表于 04-13 08:21 ?716次閱讀
    同星智能攜最新版支持DoIP診斷功能TSMaster軟件亮相<b class='flag-5'>第二屆</b>汽車人工智能<b class='flag-5'>大會</b>

    第二屆大會回顧8 | 智能終端OS的個(gè)人數(shù)據(jù)處理與保護(hù)

    CCF杰出會員。主要研究領(lǐng)域是操作系統(tǒng)系統(tǒng)結(jié)構(gòu),研究興趣為通過軟硬協(xié)同設(shè)計(jì)增強(qiáng)計(jì)算機(jī)系統(tǒng)安全性、隔離性與性能。與團(tuán)隊(duì)開發(fā)的系統(tǒng)包括:RI
    的頭像 發(fā)表于 02-21 11:52 ?455次閱讀
    <b class='flag-5'>第二屆</b><b class='flag-5'>大會</b><b class='flag-5'>回顧</b><b class='flag-5'>第</b>8<b class='flag-5'>期</b> | 智能終端OS的個(gè)人<b class='flag-5'>數(shù)據(jù)</b>處理與保護(hù)