使用Splashtop解鎖對企業(yè)生成AI的安全訪問

企業(yè)專用AI 模型

當(dāng)然，有些商業(yè)生成式AI SaaS產(chǎn)品承諾不使用提交的數(shù)據(jù)來改進(jìn)其公共模型。但是，并非所有公司都愿意將私人數(shù)據(jù)發(fā)送到他們幾乎無法控制的cloud 服務(wù)中。某些組織可能受主權(quán)和監(jiān)管合規(guī)性的約束，禁止使用在其他地區(qū)或國家托管的服務(wù)。

其他可以從私有人工智能模型中受益的公司是那些業(yè)務(wù)需要從頭開始訓(xùn)練自己的法學(xué)碩士模型，或者需要保護(hù)數(shù)據(jù)增強(qiáng)和優(yōu)化的法學(xué)碩士模型，這些模型已經(jīng)針對特定任務(wù)（例如客戶支持、財務(wù)咨詢等）進(jìn)行了預(yù)先訓(xùn)練。

構(gòu)建自己的私有生成式AI 和MLOps基礎(chǔ)結(jié)構(gòu)的公司能夠?qū)⑦@些工具的強(qiáng)大功能置于自己的IT控制之下（無論是在本地還是在私有cloud中），使他們能夠與業(yè)務(wù)需求、合規(guī)性和主權(quán)要求保持一致。這種設(shè)置可確保用于訓(xùn)練、微調(diào)或增強(qiáng)對 LLM的查詢的任何敏感和機(jī)密數(shù)據(jù)都不會泄露給外部各方。

保護(hù)所有級別的訪問權(quán)限

Splashtop安全工作區(qū)支持一組豐富的選項來控制對任何私有企業(yè)應(yīng)用程序（包括LLM）的訪問。主要功能包括：

單點登錄 （SSO）集成 – 與流行的身份提供商（包括Google、Microsoft、Okta）同步

多因素身份驗證(MFA) — 為所有支持SSO 的企業(yè)應(yīng)用程序（包括私有企業(yè)LLM 的聊天界面）的前端和后端用戶啟用強(qiáng)大的身份驗證控制。

條件訪問控制-通過檢查關(guān)鍵合規(guī)性和安全標(biāo)準(zhǔn)（包括地理位置和使用公司發(fā)行的筆記本電腦）來限制對應(yīng)用程序的訪問。例如，遵守數(shù)據(jù)主權(quán)規(guī)則的組織可能希望在員工出國旅行時阻止訪問私人法學(xué)碩士。

具有委派控制的特權(quán)訪問— Splashtop可以通過安全地委派指定用于管理企業(yè)應(yīng)用程序中的關(guān)鍵子系統(tǒng)和數(shù)據(jù)的特權(quán)帳戶或服務(wù)帳戶來控制訪問。對于 LLM 來說，這允許您控制和跟蹤對模型本身、矢量或圖形數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)存儲庫或ML 管道的訪問權(quán)限，而不會不必要地暴露敏感憑據(jù)。

安全的第三方訪問— 我們的平臺為可能需要臨時訪問企業(yè)應(yīng)用程序的第三方提供安全的訪問共享。這可能包括需要安全訪問權(quán)限才能進(jìn)行現(xiàn)場故障排除的私有LLM 解決方案提供商。Secure Workspace 可實現(xiàn)便捷的訪問，同時完全記錄會話以用于審計和合規(guī)目的。

零信任網(wǎng)絡(luò)訪問（ZTNA）— 與授予對整個網(wǎng)絡(luò)子網(wǎng)的完全訪問權(quán)限的傳統(tǒng) VPN相比，Splashtop安全工作區(qū)的 ZTNA方法授予對已批準(zhǔn)資源的精確訪問權(quán)限，從而確保最小的攻擊面。“默認(rèn)拒絕” 方法為企業(yè) LLM 處理高度敏感的數(shù)據(jù)提供了保證。

API 驅(qū)動的自動化— 致力于自動化 和 DevOps 工作流程的公司將欣賞我們的Secure Workspace 平臺緊密集成和自動化的能力。在生成式 AI 環(huán)境中，Splashtop安全工作區(qū)可無縫融入任何MLOps管道，從而促進(jìn)對關(guān)鍵資源的自動配置訪問以及安全工作區(qū)平臺本身的自動配置，從而最大限度地提高生產(chǎn)力并減少人為錯誤。

現(xiàn)在，我們將演示如何使用我們的安全工作空間實現(xiàn)對企業(yè)生成式AI 的安全訪問。而且，為了繼續(xù)關(guān)注，你最終會得到自己的基于 LLM的私人聊天機(jī)器人 ——你自己的個人 ChatGPT。

如何為你的私人LLM 設(shè)置Secure Workspace

現(xiàn)在，讓我們采取必要的步驟來保護(hù)對您自己的私有大型語言模型LLM 的訪問，其中包含Splashtop 安全工作區(qū)。我們的連接器可為您的私有應(yīng)用程序提供安全連接，讓您集中控制訪問權(quán)限。

步驟1：創(chuàng)建連接器并復(fù)制連接器令牌

登錄到您的 Splashtop安全工作區(qū)管理員帳戶。

轉(zhuǎn)到 “部 署” 菜單，選擇“連接器”，然后單擊 “添加連接器”。

選擇Headless/CLI，填寫連接器名稱，然后單擊“下一步”。然后選擇 Linux 并單擊“完成”。

創(chuàng)建連接器后，單擊連接器列表中的連接器名稱以查看詳細(xì)信息。復(fù)制 令牌 以供在下方使用。

步驟2：創(chuàng)建LLM 應(yīng)用程序

將私人 LLM聊天機(jī)器人服務(wù)添加為私有應(yīng)用程序，為您的員工提供此服務(wù)。

導(dǎo)航到 “應(yīng)用程序/應(yīng)用程序”，然后單擊“添加應(yīng)用程序 /添加私有應(yīng)用程序”按鈕。

在表格中填寫應(yīng)用程序名稱，“l(fā)ocalhost”作為 主機(jī) ，“6006”作為端口。

選擇 HTTP 作為協(xié)議，選擇之前創(chuàng)建的連接器名稱，然后為該應(yīng)用程序分配正確的組。單擊 “保存”。

SecureWorkspace 將自動為私有LLM 應(yīng)用程序生成完全限定的域名(FQDN)。

步驟3：在cloud中運行應(yīng)用

在 LLM-As-Chatbot文件夾中，使用 dstackrun 命令在 cloud中預(yù)配專用 LLM和安全工作區(qū)（ 將$token替換為步驟 1中的連接器令牌）：dstackrun . -f ssw-private-llm.yml $token

此命令將在 cloud中預(yù)配和運行 LLM即聊天機(jī)器人，并啟動安全工作區(qū)連接器實例。

一切啟動并運行后，使用您創(chuàng)建的FQDN 訪問私有LLM。同時，您可以為此應(yīng)用程序設(shè)置授權(quán)和條件訪問策略。

審核編輯：湯梓紅