0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

【比特熊充電?!繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

微軟科技 ? 2023-09-19 13:40 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大模型時(shí)代,安全問(wèn)題不容小覷。但如果把大模型比作孫悟空,那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”,可以輕松的為基于 LLM 的對(duì)話系統(tǒng)添加可編程護(hù)欄,來(lái)避免大語(yǔ)言模型輸出違法違規(guī)內(nèi)容,并通過(guò)自定義方式響應(yīng)用戶特定請(qǐng)求,按照預(yù)定義的對(duì)話路徑進(jìn)行操作,以及使用特定的語(yǔ)言風(fēng)格進(jìn)行回答。

如何在 Azure 中搭建 NeMo Guardrails 環(huán)境,將 NeMo Guardrails 與 Azure OpenAI 結(jié)合使用,構(gòu)建更加安全可靠的 LLM 對(duì)話引擎?本期【比特熊充電?!縉VIDIA 企業(yè)級(jí)開發(fā)者社區(qū)經(jīng)理李奕澎,將為大家解讀 NeMo Guardrails 中的 Colang 語(yǔ)言,以及進(jìn)行將 NeMo Guardrails 與 Azure OpenAI 結(jié)合使用的代碼實(shí)戰(zhàn),見證安全 LLM 對(duì)話引擎的構(gòu)建。

8c70f784-56ae-11ee-939d-92fbcf53809c.png

李奕澎

NVIDIA 企業(yè)級(jí)開發(fā)者社區(qū)經(jīng)理

NLP,Conversational-AI,LLM

Colang 語(yǔ)言

定義 LLM 對(duì)話引擎

NeMo Guardrails 中的 Colang 語(yǔ)言,是一種用于對(duì)話式人工智能的建模語(yǔ)言,能夠定義護(hù)欄。它的目標(biāo)是為用戶提供一個(gè)可讀可擴(kuò)展的,使用自然語(yǔ)言定義或控制對(duì)話機(jī)器人的行為的語(yǔ)言。

Colang 語(yǔ)言已經(jīng)作為 NeMo Guardrails 的內(nèi)核來(lái)使用。Colang 語(yǔ)言像電影的編劇,用戶和機(jī)器人是演員,通過(guò) Colang 語(yǔ)言,可以定義用戶的信息、機(jī)器人信息和 Flow,把機(jī)器話語(yǔ)和用戶話語(yǔ)進(jìn)行對(duì)話邏輯上的連接。

Colang 語(yǔ)言中常用的關(guān)鍵詞包括 bot, break, continue, create, define 等,能夠幫助開發(fā)快速上手使用,降低對(duì)話式 AI 領(lǐng)域的學(xué)習(xí)門檻。

8c8fd7c6-56ae-11ee-939d-92fbcf53809c.png

NeMo Guardrails 與 Azure OpenAl 的結(jié)合使用

搭建 LLM 對(duì)話引擎

在上一期【比特熊充電?!恐校呀?jīng)詳細(xì)解讀了在 Azure 中搭建 NeMo Guardrails 環(huán)境的步驟,包括申請(qǐng) Azure 賬號(hào),開通 Azure Machine Learning 服務(wù),安裝 OpenAI、NeMo Guardrails,開通 Azure OpenAI 服務(wù)等。搭建完成后,才能將 NeMo Guardrails 與 Azure OpenAl 結(jié)合使用。

NeMo Guardrails 與 AzureOpenAl 結(jié)合使用,構(gòu)建更加安全可靠的LLM對(duì)話引擎,還需要通過(guò)以下步驟進(jìn)行操作:

?導(dǎo)入 NeMo Guardrails 大模型護(hù)欄及 RailsConfig 護(hù)欄配置文件工具類;

?從 langchain 中導(dǎo)入 Azure Chat OpenAI 工具類;

?傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name、對(duì)應(yīng)的版本信息等關(guān)鍵參數(shù),就可以實(shí)例化一個(gè)大模型;

?調(diào)用 NeMo Guardrails 大模型中的 from_content 變量,讀取 Colang_Config2 文件和 Yaml_Config 配置文件,就可以實(shí)例一個(gè)安全的聊天機(jī)器人 App;

?調(diào)用 App 中的 generate_async 函數(shù),輸入用戶的問(wèn)題語(yǔ)句,機(jī)器人就會(huì)給出對(duì)應(yīng)的回答。

8cce70ee-56ae-11ee-939d-92fbcf53809c.png

NeMo Guardrails

自定義 LLM 對(duì)話引擎應(yīng)用

NeMo Guardrails 除了支持 Azure OpenAI 外,還支持很多對(duì)話引擎大模型,包括 AI21labs、Cohere、Hugging Face、GPT4All 等。調(diào)用對(duì)話引擎大模型,首先要自定義一個(gè)大語(yǔ)言模型的 class:從 langchain 中導(dǎo)入 BaseLanguageModel,從 NeMo Guardrails 中導(dǎo)入 register_llm_provider,自定義大語(yǔ)言模型的 class 并注冊(cè)。

以 Hugging Face 為例,調(diào)用對(duì)話引擎大模型的步驟如下:

?創(chuàng)建并初始化一個(gè)構(gòu)造函數(shù),調(diào)用父類的構(gòu)造函數(shù)來(lái)初始化這個(gè)類的實(shí)例;

?然后指定大模型的 ID,調(diào)用 HuggingFacePipeline class 中的 from_model_id 函數(shù),輸入對(duì)應(yīng)大模型 id,定義 device、task 和模型參數(shù);

?然后定義返回、自定義函數(shù),以字符串的形式返回大語(yǔ)言模型的類型,在 langchain 中分別同步調(diào)用和異步調(diào)用自定義 LLM。

8d01f4d2-56ae-11ee-939d-92fbcf53809c.png

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 微軟
    +關(guān)注

    關(guān)注

    4

    文章

    6685

    瀏覽量

    105722
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5308

    瀏覽量

    106341
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1207

    瀏覽量

    8900
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3138

    瀏覽量

    4059
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    325

    瀏覽量

    835

原文標(biāo)題:【比特熊充電棧】實(shí)戰(zhàn)演練構(gòu)建 LLM 對(duì)話引擎

文章出處:【微信號(hào):mstech2014,微信公眾號(hào):微軟科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    森林防滅實(shí)戰(zhàn)告捷!卓翼智能長(zhǎng)白山首演“空天地一體”集群滅火

    近日,吉林省應(yīng)急管理廳在長(zhǎng)白山林區(qū)組織開展森林草原防滅火實(shí)戰(zhàn)綜合演練,此次演練旨在檢驗(yàn)無(wú)人機(jī)在復(fù)雜地形下森林草原防滅火實(shí)戰(zhàn)效能,切實(shí)提升復(fù)雜地形下森林火災(zāi)“打早、打小、打了”能力,響應(yīng)
    的頭像 發(fā)表于 06-23 09:15 ?404次閱讀
    森林防滅<b class='flag-5'>實(shí)戰(zhàn)</b>告捷!卓翼智能長(zhǎng)白山首演“空天地一體”集群滅火

    實(shí)戰(zhàn)演練:使用相機(jī)氣密性檢測(cè)儀進(jìn)行防水測(cè)試

    在攝影領(lǐng)域,尤其是進(jìn)行戶外攝影,不少攝影師會(huì)在惡劣環(huán)境下使用相機(jī),這就對(duì)相機(jī)的防水性能有了要求。而相機(jī)氣密性檢測(cè)就是判斷相機(jī)防水性能的重要途徑,下面我們就來(lái)一次使用相機(jī)氣密性檢測(cè)儀進(jìn)行防水測(cè)試的實(shí)戰(zhàn)
    的頭像 發(fā)表于 05-30 11:04 ?162次閱讀
    <b class='flag-5'>實(shí)戰(zhàn)</b><b class='flag-5'>演練</b>:使用相機(jī)氣密性檢測(cè)儀進(jìn)行防水測(cè)試

    從戶外弱網(wǎng)到指揮大屏 | 千視P3+D350護(hù)航防汛演練全程直播

    2025年4月15日,福清市開展了一場(chǎng)覆蓋城區(qū)、山區(qū)、沿海三地的防汛防臺(tái)風(fēng)應(yīng)急響應(yīng)演練,模擬臺(tái)風(fēng)引發(fā)極端天氣下的內(nèi)澇、山洪及海堤險(xiǎn)情等場(chǎng)景。此次演練由福清市人民政府防汛抗旱指揮部主辦,旨在通過(guò)實(shí)戰(zhàn)
    的頭像 發(fā)表于 05-26 16:32 ?370次閱讀
    從戶外弱網(wǎng)到指揮大屏 | 千視P3+D350護(hù)航防汛<b class='flag-5'>演練</b>全程直播

    開發(fā)進(jìn)階指南:LuatOS-log庫(kù)從入門到實(shí)戰(zhàn)

    本文將帶你深入探索LuatOS系統(tǒng)中l(wèi)og庫(kù)的核心原理與實(shí)戰(zhàn)技巧,通過(guò)代碼示例解析日志管理、錯(cuò)誤追蹤及性能優(yōu)化的最佳實(shí)踐,助力全工程師構(gòu)建更穩(wěn)健的物聯(lián)網(wǎng)應(yīng)用。 今天,我們一起來(lái)認(rèn)識(shí)LuatOS
    的頭像 發(fā)表于 05-15 16:12 ?2323次閱讀
    全<b class='flag-5'>棧</b>開發(fā)進(jìn)階指南:LuatOS-log庫(kù)從入門到<b class='flag-5'>實(shí)戰(zhàn)</b>!

    小白學(xué)大模型:從零實(shí)現(xiàn) LLM語(yǔ)言模型

    ://github.com/FareedKhan-dev/train-llm-from-scratch本文將為你提供一個(gè)簡(jiǎn)單直接的方法,從下載數(shù)據(jù)到生成文本,帶你一步步構(gòu)建大院模型。步
    的頭像 發(fā)表于 04-30 18:34 ?488次閱讀
    小白學(xué)大模型:從零實(shí)現(xiàn) <b class='flag-5'>LLM</b>語(yǔ)言模型

    《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》閱讀心得3——RAG架構(gòu)與部署本地知識(shí)庫(kù)

    額外推薦兩本主題是是介紹RAG實(shí)戰(zhàn)和應(yīng)用開發(fā)的好書,分別是《大模型RAG實(shí)戰(zhàn), RAG原理、應(yīng)用與系統(tǒng)構(gòu)建》和《基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化——構(gòu)建企業(yè)級(jí)
    發(fā)表于 03-07 19:49

    無(wú)法在OVMS上運(yùn)行來(lái)自Meta的大型語(yǔ)言模型 (LLM),為什么?

    無(wú)法在 OVMS 上運(yùn)行來(lái)自 Meta 的大型語(yǔ)言模型 (LLM),例如 LLaMa2。 從 OVMS GitHub* 存儲(chǔ)庫(kù)運(yùn)行 llama_chat Python* Demo 時(shí)遇到錯(cuò)誤。
    發(fā)表于 03-05 08:07

    《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》閱讀心得2——客服機(jī)器人、AutoGen框架 、生成式代理

    更精準(zhǔn)地路由用戶請(qǐng)求到相應(yīng)的處理模塊。在后端功能設(shè)計(jì)上,采用了模塊化的響應(yīng)生成機(jī)制,包括知識(shí)檢索引擎、對(duì)話狀態(tài)管理器和響應(yīng)生成器三個(gè)核心組件。知識(shí)檢索引擎使用向量相似度匹配算法,不僅支持精確匹配,還能
    發(fā)表于 02-25 21:59

    小白學(xué)大模型:構(gòu)建LLM的關(guān)鍵步驟

    你梳理如何在構(gòu)建AI算法應(yīng)用時(shí)做出合適的決策。訓(xùn)練LLM的三種選擇https://wandb.ai/site/articles/training-llms/在構(gòu)建A
    的頭像 發(fā)表于 01-09 12:12 ?961次閱讀
    小白學(xué)大模型:<b class='flag-5'>構(gòu)建</b><b class='flag-5'>LLM</b>的關(guān)鍵步驟

    4G模組Air724UG軟件示例:UDP實(shí)戰(zhàn)演練!

    關(guān)于4G模組Air724UG軟件的UDP示例,今天我將對(duì)其實(shí)戰(zhàn)演練,整理成文示例展示:
    的頭像 發(fā)表于 11-26 12:10 ?556次閱讀
    4G模組Air724UG軟件示例:UDP<b class='flag-5'>實(shí)戰(zhàn)</b><b class='flag-5'>演練</b>!

    什么是LLM?LLM在自然語(yǔ)言處理中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,自然語(yǔ)言處理(NLP)領(lǐng)域迎來(lái)了革命性的進(jìn)步。其中,大型語(yǔ)言模型(LLM)的出現(xiàn),標(biāo)志著我們對(duì)語(yǔ)言理解能力的一次飛躍。LLM通過(guò)深度學(xué)習(xí)和海量數(shù)據(jù)訓(xùn)練,使得機(jī)器能夠以前
    的頭像 發(fā)表于 11-19 15:32 ?3639次閱讀

    如何訓(xùn)練自己的LLM模型

    訓(xùn)練自己的大型語(yǔ)言模型(LLM)是一個(gè)復(fù)雜且資源密集的過(guò)程,涉及到大量的數(shù)據(jù)、計(jì)算資源和專業(yè)知識(shí)。以下是訓(xùn)練LLM模型的一般步驟,以及一些關(guān)鍵考慮因素: 定義目標(biāo)和需求 : 確定你的LLM將用
    的頭像 發(fā)表于 11-08 09:30 ?1499次閱讀

    LLM技術(shù)對(duì)人工智能發(fā)展的影響

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(LLM)技術(shù)已經(jīng)成為推動(dòng)AI領(lǐng)域進(jìn)步的關(guān)鍵力量。LLM技術(shù)通過(guò)深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù),使得機(jī)器能夠理解和生成自然語(yǔ)言,極大地?cái)U(kuò)展了人工智能的應(yīng)用范圍
    的頭像 發(fā)表于 11-08 09:28 ?1846次閱讀

    LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

    在人工智能領(lǐng)域,LLM(Large Language Models,大型語(yǔ)言模型)和傳統(tǒng)機(jī)器學(xué)習(xí)是兩種不同的技術(shù)路徑,它們?cè)谔幚頂?shù)據(jù)、模型結(jié)構(gòu)、應(yīng)用場(chǎng)景等方面有著顯著的差異。 1. 模型結(jié)構(gòu)
    的頭像 發(fā)表于 11-08 09:25 ?1876次閱讀

    新品|LLM Module,離線大語(yǔ)言模型模塊

    LLM,全稱大語(yǔ)言模型(LargeLanguageModel)。是一種基于深度學(xué)習(xí)的人工智能模型。它通過(guò)大量文本數(shù)據(jù)進(jìn)行訓(xùn)練,從而能夠進(jìn)行對(duì)話、回答問(wèn)題、撰寫文本等其他任務(wù)
    的頭像 發(fā)表于 11-02 08:08 ?1040次閱讀
    新品|<b class='flag-5'>LLM</b> Module,離線大語(yǔ)言模型模塊

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品