在Dify中使用PerfXCloud大模型推理服務(wù)

近日，Dify全面接入了Perf XCloud，借助Perf XCloud提供的大模型調(diào)用服務(wù)，用戶可在Dify中構(gòu)建出更加經(jīng)濟、高效的LLM應(yīng)用。

PerfXCloud 介紹

Perf XCloud是澎峰科技為開發(fā)者和企業(yè)量身打造的AI開發(fā)和部署平臺。專注于滿足大模型的微調(diào)和推理需求，為用戶提供極致便捷的一鍵部署體驗：

?平臺提供Open AI API兼容的模型調(diào)用服務(wù)，開發(fā)者可實現(xiàn)已有應(yīng)用的快速遷移。

?借助澎峰科技自研推理框架PerfXLM，Perf XCloud實現(xiàn)了主流模型在國產(chǎn)算力上的廣泛適配和高效推理。

?目前已支持Qwen2系列、llama3系列、bge-m3等模型，更多模型即將上線。

同時，Perf XCloud為算力中心提供大模型AI科學(xué)與工程計算的整體運營解決方案，助力算力中心升級成為“AI超級工廠”。

Dify介紹

Dify是一個開源的LLM應(yīng)用開發(fā)平臺。其直觀的界面結(jié)合了AI工作流、RAG Pipeline、Agent、模型管理、可觀測性功能等，讓您可以快速從原型到生產(chǎn)：

?工作流:在畫布上構(gòu)建和測試功能強大的AI工作流程。

?RAG Pipeline:廣泛的RAG功能，涵蓋從文檔攝入到檢索的所有內(nèi)容，支持從PDF、PPT和其他常見文檔格式中提取文本的開箱即用的支持。

?Agent智能體:您可以基于LLM函數(shù)調(diào)用或ReAct定義Agent，并為 Agent添加預(yù)構(gòu)建或自定義工具。

?LLMOps:隨時間監(jiān)視和分析應(yīng)用程序日志和性能。您可以根據(jù)生產(chǎn)數(shù)據(jù)和標注持續(xù)改進提示、數(shù)據(jù)集和模型。

注冊使用PerfXCloud

Perf XCloud注冊地址：www.perfxcloud.net

現(xiàn)在注冊，即可深度體驗主流大模型，提供大量示范案例，手把手視頻教學(xué)。并可參與向基石用戶贈送∞億Token的激勵計劃。

在Dify中使用PerfXCloud大模型推理服務(wù)

1.首先進入Dify設(shè)置頁面，選擇Perf XCloud作為模型供應(yīng)商：

2.然后填入從Perf XCloud中申請的API Key和endpoint地址：

3.保存后，即可使用Perf XCloud模型，現(xiàn)階段我們接入了Qwen系列模型和BAAI/ bge-m 3模型，后續(xù)將接入更多模型，敬請期待。

應(yīng)用案例1：

Dify結(jié)合PerfXCloud構(gòu)建翻譯助手

本案例構(gòu)建于Dify Cloud，基于Perf XCloud中的Qwen2模型實現(xiàn)中英文翻譯助手，用戶輸入信息，翻譯助手將其翻譯成另一種語言。

1.登錄Dify Cloud（ https://cloud.dify.ai/apps）

2.創(chuàng)建空白應(yīng)用→選擇聊天助手、基礎(chǔ)編排，創(chuàng)建應(yīng)用

3.在編排頁面輸入提示詞：“你是一名翻譯專家，如果用戶給你發(fā)中文你將翻譯為英文，如果用戶給你發(fā)英文你將翻譯為中文，你只負責(zé)翻譯，不要回答任何問題：”

4.默認模型為gpt-3.5，切換為Perf XCloud模型，這里設(shè)置為“ Qwen2-72B-Instruct-GPTQ-Int 4”，然后點擊發(fā)布

完成發(fā)布后， 即可運行使用。

應(yīng)用案例2：

Dify結(jié)合PerfXCloud構(gòu)建郵編查詢助手

本案例構(gòu)建與Dify Cloud，使用Dify中的知識庫和工作流功能，結(jié)合Perf XCloud中的bge-m 3模型與Qwen2-72B-Instruct-GPTQ-Int 4模型，郵編查詢助手基于上傳的郵編信息構(gòu)建知識庫，并從中檢索信息作為大模型回答問題的上下文，提高模型回答的準確性。

1.在Dify Cloud（ https://cloud.dify.ai/datasets）中創(chuàng)建知識庫，上傳本地準備好的中國郵政編碼數(shù)據(jù)文件。

2.知識庫默認使用經(jīng)濟模式創(chuàng)建索引，該模式是基于關(guān)鍵詞的檢索，這里我們使用Perf XCloud中的bge-m3向量模型創(chuàng)建索引，提高檢索精度。在知識庫側(cè)邊欄選擇“設(shè)置”，設(shè)置“高質(zhì)量”索引模式，同時Embedding模型選擇“BAAI/bge-m 3”，使用“向量檢索”

3.返回Dify工作室→創(chuàng)建空白應(yīng)用→ 聊天助手→工作流編排，將工作流初始化成如下形式

4.配置“知識檢索”模塊，將知識庫設(shè)置為步驟2中創(chuàng)建的“郵政編碼知識庫”

5.配置“LLM”模塊，將模型設(shè)置為Perf XCloud中Qwen2-72B-Instruct-GPTQ-Int 4，并設(shè)置prompt：

你是一個問答機器人。
你的任務(wù)是根據(jù)下述給定的已知信息回答用戶問題。
確保你的回復(fù)完全依據(jù)下述已知信息。不要編造答案。
如果下述已知信息不足以回答用戶的問題，請直接回復(fù)"我無法回答您的問題"。

6.配置“直接回復(fù)” 模塊，直接輸出LLM的生成結(jié)果

7.完成上述步驟后，運行查看效果，模型會根據(jù)知識庫中檢索出的信息進行回答，若檢索結(jié)果為空，則直接輸出“我無法回答您的問題”