探析OpenAI平臺(tái)架構(gòu)

本文最初發(fā)布于 THENEWSTACK 博客。自 2022 年 11 月推出 ChatGPT 以來(lái)，OpenAI 一直受到知識(shí)工作者、開(kāi)發(fā)人員以及幾乎所有互聯(lián)網(wǎng)和 Web 用戶的廣泛關(guān)注。但是，OpenAI 已經(jīng)成立很長(zhǎng)時(shí)間了，甚至在 ChatGPT 創(chuàng)建之前就已經(jīng)存在了，而且為開(kāi)發(fā)人員提供了許多令人興奮的服務(wù)。它是首批通過(guò)簡(jiǎn)單 REST API 端點(diǎn)開(kāi)放生成式 AI 的平臺(tái)公司之一。

云計(jì)算通用可編程DPU發(fā)展白皮書(shū)（2023年）

這是 OpenAI 系列文章的第一篇，我們將探討 OpenAI 的總體情況及其平臺(tái)架構(gòu)。通過(guò)這篇文章，我們將了解 OpenAI 平臺(tái)的基本原理和基本構(gòu)建模塊。

OpenAI：生成式 AI 民主化

OpenAI 成立于 2015 年，是由 Ilya Sutskever、Greg Brockman、Trevor Blackwell、Vicki Cheung、Andrej Karpathy、Durk Kingma、John Schulman、Pamela Vagata 和 Wojciech Zaremba 等人創(chuàng)立的一家非營(yíng)利性研究機(jī)構(gòu)。Sam Altman 和 Elon Musk 是初始董事會(huì)成員。

微軟在 2019 年宣布投資 10 億美元，并在今年早些時(shí)候宣布了新一輪 100 億美元的投資，OpenAI 成了人們關(guān)注的焦點(diǎn)。企業(yè)投資者包括 Infosys 和 Khosla，個(gè)人投資者則包括 Reid Hoffman、Peter Thiel 和 Jessica Livingston。

雖然人們經(jīng)常批評(píng) OpenAI 從一家非營(yíng)利性人工智能公司轉(zhuǎn)變?yōu)橐患疑虡I(yè)人工智能公司，但它一直處于生成式人工智能研究的前沿。得益于和微軟的合作伙伴關(guān)系，它獲得了由 Azure 計(jì)算服務(wù)提供支持的最先進(jìn)的基礎(chǔ)設(shè)施。

關(guān)于 OpenAI 的歷史和發(fā)展情況，這里就不過(guò)多介紹了。現(xiàn)在我們看下該公司的現(xiàn)狀。

生成式人工智能模型使用大型數(shù)據(jù)集基于無(wú)監(jiān)督學(xué)習(xí)（稱為基礎(chǔ)模型）進(jìn)行訓(xùn)練。在比較高的層面上，OpenAI 包括三個(gè)關(guān)鍵的基礎(chǔ)模型：GPT、DALL-E 和 Whisper。GPT 是訓(xùn)練用來(lái)處理文本內(nèi)容的最流行的模型之一。DALL-E 可以基于自然語(yǔ)言輸入生成圖像。最后，Whisper 是一個(gè)將語(yǔ)音轉(zhuǎn)換為文本并將一種語(yǔ)言翻譯成另一種語(yǔ)言的模型。

OpenAI 支持的所有用例和生成式 AI 場(chǎng)景都是圍繞著這三個(gè)基礎(chǔ)模型。其中，由于 ChatGPT 的成功，GPT 獲得的關(guān)注最多。ChatGPT 是基于 GPT 模型的最新版本 GPT-4 的。GPT 模型有多種變體，可以分別支持單詞補(bǔ)全、交互式聊天、校訂、改寫(xiě)、摘要和文本分類等場(chǎng)景。類似地，DALL-E 可用于創(chuàng)建、編輯圖像及生成圖像變體。Whisper 模型可用于音頻文件的轉(zhuǎn)錄和翻譯。

為了方便開(kāi)發(fā)人員嵌入生成式人工智能，OpenAI 已經(jīng)公開(kāi)了多個(gè)與應(yīng)用場(chǎng)景對(duì)應(yīng)的 API。為了集成 GPT 或 DALL-E 等模型，開(kāi)發(fā)人員必須獲得 API 密鑰并使用它來(lái)訪問(wèn) Open AI REST 端點(diǎn)。

OpenAI API 使人們可以通過(guò)簡(jiǎn)單的 REST 接口訪問(wèn)最先進(jìn)的語(yǔ)言和視覺(jué)模型，從而使生成式 AI 民主化。任何了解如何使用 API 的開(kāi)發(fā)人員都可以將生成式 AI 的強(qiáng)大功能嵌入到其應(yīng)用程序中。他們既不需要理解神經(jīng)網(wǎng)絡(luò)背后的復(fù)雜數(shù)學(xué)運(yùn)算，也不需要訪問(wèn)基于高端 CPU 和 GPU 的強(qiáng)大的計(jì)算基礎(chǔ)設(shè)施。

OpenAI 的基礎(chǔ)模型可以通過(guò)自定義的私有數(shù)據(jù)集進(jìn)行調(diào)優(yōu)。然后，可以使用調(diào)優(yōu)后的模型在私有數(shù)據(jù)上進(jìn)行推理，大幅提高生成式人工智能的價(jià)值。OpenAI 已經(jīng)將調(diào)優(yōu)功能作為一個(gè) API 公開(kāi)，它可以接受基礎(chǔ)模型的變種和自定義數(shù)據(jù)集。

下圖概括了 OpenAI 平臺(tái)的架構(gòu)。最底層由基礎(chǔ)模型組成，上面一層是各種模型變體，每一個(gè)都針對(duì)特定的用例做了優(yōu)化。最上層是 REST API，它通過(guò)廣為人知的端點(diǎn)公開(kāi)模型。

探索 OpenAI 生態(tài)系統(tǒng)

OpenAI 構(gòu)建了面向開(kāi)發(fā)人員和最終用戶的工具、SDK 和服務(wù)。ChatGPT 就是一個(gè)面向最終用戶的服務(wù)的示例。OpenAI 主要利用 ChatGPT 從用戶那里獲得交互式反饋，這對(duì)改進(jìn) GPT 模型有很大的幫助。它還利用輸入和提示來(lái)分析用戶與模型的交互方式。

OpenAI 為開(kāi)發(fā)人員提供了一個(gè)操練場(chǎng)，可以作為 REST API 的交互界面，用于測(cè)試調(diào)優(yōu)后的模型如何響應(yīng)相同的輸入或提示。開(kāi)發(fā)人員還可以用它來(lái)調(diào)整影響模型準(zhǔn)確性和創(chuàng)造性的參數(shù)。

雖然使用 cURL 這樣的工具調(diào)用 REST API 很簡(jiǎn)單，但 OpenAI 官方提供了一個(gè) Python 庫(kù)，可以簡(jiǎn)化 Jupyter Notebook 等環(huán)境中的 API 消費(fèi)。對(duì)于那些喜歡使用 JavaScript 的人，官方還提供了一個(gè) Node.js 庫(kù)工具。OSS 社區(qū)已經(jīng)針對(duì) C#、C++、Go、Kotlin 和 Swift 等語(yǔ)言構(gòu)建了各種庫(kù)。

下圖展示了通過(guò) cURL 調(diào)用 /vi/completions API：

同樣，也可以通過(guò) OpenAI 官方維護(hù)的 Python 庫(kù)完成：

OpenAI 還發(fā)布了將消息轉(zhuǎn)換為詞元的工具和庫(kù)——那是 GPT 等大型語(yǔ)言模型的基本輸入單元。這些工具可以幫助開(kāi)發(fā)人員評(píng)估使用 OpenAI API 所涉及的成本。當(dāng)你通過(guò) PIP 安裝 Python 庫(kù)時(shí)，還可以獲得一個(gè)方便的 API 測(cè)試 CLI。

如果你是微軟 Azure 開(kāi)發(fā)人員，則可以注冊(cè) Azure OpenAI 服務(wù)，它與微軟的云服務(wù)實(shí)現(xiàn)了緊密的集成，如活動(dòng)目錄、虛擬網(wǎng)絡(luò)、基于角色的訪問(wèn)控制等。

在本系列的下一篇文章中，我們將深入探討提示工程以及它在處理 GPT 方面的重要性。原文鏈接：https://thenewstack.io/beyond-chatgpt-exploring-the-openai-platform/