ChatGPT背后的AI背景、技術(shù)門道和商業(yè)應(yīng)用

1.3 ChatGPT背后的NLP和Transformer

在了解ChatGPT的能力圈和人工智能的發(fā)展史之后，非AI從業(yè)者也能明白ChatGPT的研究屬于自然語(yǔ)言處理(Natural Language Processing, NLP)領(lǐng)域范疇。

自然語(yǔ)言處理(Natural Language Processing, NLP) 被譽(yù)為“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也突出了它的技術(shù)難度。

簡(jiǎn)單來(lái)說(shuō)，NLP要做的事就是利用計(jì)算機(jī)實(shí)現(xiàn)自然語(yǔ)言數(shù)據(jù)的智能化處理、分析和生成，以期讓計(jì)算機(jī)實(shí)現(xiàn)聽(tīng)、說(shuō)、讀、寫、譯這些人類所具備的語(yǔ)言能力。

更具體一點(diǎn)，NLP領(lǐng)域根據(jù)下游任務(wù)不同主要包括以下幾類研究方向：

細(xì)心的讀者已經(jīng)發(fā)現(xiàn)了，ChatGPT基本已經(jīng)實(shí)現(xiàn)了以上7大類任務(wù)的中階目標(biāo)，所以NLP研究員和工程師們擔(dān)心自己發(fā)明工具卻搶了自己飯碗不是沒(méi)有道理，其他技術(shù)含量不高的行業(yè)工作者也就更加戰(zhàn)戰(zhàn)兢兢。

NLP的發(fā)展也經(jīng)歷了三個(gè)大的階段，即以規(guī)則學(xué)習(xí)為代表的第一階段(1960-1990)、以統(tǒng)計(jì)學(xué)習(xí)為代表的第二階段(1990-2010)和以深度學(xué)習(xí)為代表的第三階段(2010-至今)。

而其中真正影響ChatGPT和其他大語(yǔ)言模型產(chǎn)生的無(wú)疑是Transformer架構(gòu)。

可以說(shuō)，Transformer的出現(xiàn)完全打開(kāi)了大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型(Pre-trained Language Model , PLM)的空間，并且奠定了生成式AI的游戲規(guī)則。

2017 年，Google 機(jī)器翻譯團(tuán)隊(duì)在機(jī)器學(xué)習(xí)頂級(jí)會(huì)議NIPS上發(fā)表了《Attention is All You Need》論文，文章的核心正是 Transformer 模型。

Transformer相比之前論文的novalty在于：大膽地拋棄了傳統(tǒng)的CNN和RNN基礎(chǔ)模型，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全是由Attention機(jī)制組成。更準(zhǔn)確地說(shuō)，Transformer由且僅由自注意力(self-Attenion)機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)(Feed Forward Neural Network)組成。

而從實(shí)際應(yīng)用的角度來(lái)看，Transformer的主要貢獻(xiàn)(contribution)在于以下幾個(gè)方面：

1.突破了 RNN 模型不能并行計(jì)算的限制

2.精度和模型復(fù)雜度相比RNN/CNN + Attention系列模型更優(yōu)

3.Transformer本身也可以作為base model擴(kuò)展

我們站在此刻回想，ChatGPT背后的Transformer，其思想和架構(gòu)恰恰印證了那句: 「大道至簡(jiǎn)」。

它首先在機(jī)器翻譯任務(wù)中取得SOTA，而后成功被應(yīng)用到NLP和CV等各個(gè)任務(wù)中，并獲得了穩(wěn)定優(yōu)異的性能表現(xiàn)。

Transformer 模型架構(gòu)圖

后來(lái)的故事很多人都知道了，Google人再接再厲， 他們?cè)?018年10月提出來(lái)的BERT(Bidirectional Encoder Representation from Transformers)模型再次轟動(dòng)業(yè)界。

BERT在機(jī)器閱讀理解頂級(jí)水平測(cè)試SQuAD1.1中表現(xiàn)出驚人的成績(jī): 全部?jī)蓚€(gè)衡量指標(biāo)上全面超越人類，并且在11種不同NLP測(cè)試中創(chuàng)出SOTA(業(yè)界最佳)表現(xiàn)，包括將GLUE基準(zhǔn)推高至80.4% (絕對(duì)改進(jìn)7.6%)，MultiNLI準(zhǔn)確度達(dá)到86.7% (絕對(duì)改進(jìn)5.6%)，成為NLP發(fā)展史上的里程碑式的模型成就。

就當(dāng)所有人以為Google會(huì)在大語(yǔ)言模型賽道中一騎絕塵時(shí)，最終率先讓世人熟知的卻是來(lái)自O(shè)penAI的GPT系列模型。

二、技術(shù)門道

2.1 GPT-1到ChatGPT的演進(jìn)和技術(shù)原理

GPT(Generative Pre-training Transformer)系列模型首先選擇和BERT繞道而行，盡管GPT-1(2018/06)發(fā)布的時(shí)間比BERT(2018/10)還要早。

BERT僅使用了Transformer的編碼器(Encoder)部分進(jìn)行訓(xùn)練，而GPT-1則只使用了Transformer的解碼器(Decoder)部分。

由此二者各自走上了不同的道路。

GPT-1: 預(yù)訓(xùn)練+微調(diào)模式，117M參數(shù)、12層、2億單詞

原文：Improving Language Understanding by Generative Pre-Training

預(yù)訓(xùn)練階段：基于Transformer Decoder架構(gòu)，以語(yǔ)言建模作為訓(xùn)練目標(biāo)(自監(jiān)督，根據(jù)已知的詞預(yù)測(cè)未知的詞)。

微調(diào)階段：將訓(xùn)練好的Decoder參數(shù)固定，接上一層線性層，通過(guò)有監(jiān)督訓(xùn)練任務(wù)微調(diào)線性層的參數(shù)，從而進(jìn)行預(yù)測(cè)。

GPT-1的局限：微調(diào)只能用到特定任務(wù)中，如果fine-tune一個(gè)分類任務(wù)，就不能用到句子相似度任務(wù)中去。

所以能不能用一個(gè)模型去做所有NLP的任務(wù)？

這就是后續(xù)GPT-2和GPT-3的改進(jìn)目標(biāo)。

GPT-2: 多任務(wù)學(xué)習(xí) + zero-shot learning，1542M參數(shù)、48層、400億單詞

原文：Language Models are Unsupervised Multitask Learners

GPT-2的目標(biāo)是試圖用一個(gè)模型去做多個(gè)NLP任務(wù)，它的核心思想就反映在論文標(biāo)題里：語(yǔ)言模型=無(wú)監(jiān)督多任務(wù)學(xué)習(xí)。

通俗地解釋一下： 語(yǔ)言模型實(shí)際上是一種自監(jiān)督的方式，根據(jù)已知的詞預(yù)測(cè)未知的詞，只是不需要顯示地定義哪些字段是要預(yù)測(cè)的輸出。 那如何用無(wú)監(jiān)督多任務(wù)的訓(xùn)練方式實(shí)現(xiàn)語(yǔ)言模型自監(jiān)督訓(xùn)練+多任務(wù)微調(diào)的效果呢？ 我們只需要將input、output和task都表示為數(shù)據(jù)，例如在一個(gè)英文翻譯成法語(yǔ)的機(jī)器翻譯任務(wù)中，我們只需要將樣本、標(biāo)簽和任務(wù)表示成如下格式，就實(shí)現(xiàn)了對(duì)P(output|input,task)的建模。

重要的是，這種方式可以實(shí)現(xiàn)無(wú)監(jiān)督訓(xùn)練，并且里面的task可以變化，也就是說(shuō)現(xiàn)在GPT-2可以實(shí)現(xiàn)無(wú)監(jiān)督多任務(wù)訓(xùn)練而不需要第二階段分不同任務(wù)有監(jiān)督的微調(diào)！

所以最后我們看到，GPT-2相對(duì)于GPT-1，最大的改進(jìn)就是去掉了第二階段的微調(diào)(fine-tune)層，實(shí)現(xiàn)了多任務(wù)訓(xùn)練和zero-shot方式(Zero-shot learning，零樣本學(xué)習(xí))直接接諸多的下游任務(wù)，在多個(gè)任務(wù)下都可以取得很好的效果。

當(dāng)然肉眼可見(jiàn)的還有數(shù)據(jù)集、網(wǎng)絡(luò)層數(shù)、參數(shù)量、詞匯表大小、初始化和LN(layer normalization)的調(diào)整。

GPT-3：in-context learning + few-shot learning，1750億參數(shù)、96層、5000億單詞

原文：Language Models Are Few-shot Learners

GPT-3 基本繼承了GPT-2的模型架構(gòu)和訓(xùn)練模式，除了大力出奇跡的海量數(shù)據(jù)和巨型參數(shù)之外，GPT-3在模型設(shè)計(jì)層面相對(duì)于GPT-1和GPT-2主要的改進(jìn)點(diǎn)在于：in-context learning(上下文情境學(xué)習(xí)，ICL) 和 few-shot learning(小樣本學(xué)習(xí)，F(xiàn)SL)配合服用。

我們已經(jīng)知道，GPT-1和BERT都需要對(duì)下游任務(wù)進(jìn)行微調(diào)，而GPT-2通過(guò)無(wú)監(jiān)督多任務(wù)和零樣本學(xué)習(xí)舍棄了微調(diào)，并且驗(yàn)證了性能更加優(yōu)越，那能否在不需要微調(diào)的前提下繼續(xù)提升呢？

答案是可以，引入in-context learning(上下文情境)學(xué)習(xí)機(jī)制。

這種機(jī)制可以理解為給模型加一定的先驗(yàn)知識(shí)，適當(dāng)對(duì)模型進(jìn)行引導(dǎo)，教會(huì)它應(yīng)當(dāng)輸出什么內(nèi)容。

比如你希望GPT3幫你把中文翻譯成英文，你可以這么向他提問(wèn)：

用戶輸入到GPT3：請(qǐng)把以下中文翻譯成英文：你覺(jué)得球神帥嗎？

如果你希望GPT3回答你的問(wèn)題，你可以換個(gè)方式問(wèn)：

用戶輸入到GPT3：模型模型你說(shuō)說(shuō)：你覺(jué)得球神帥嗎？

這樣模型就可以根據(jù)用戶提示的情境，進(jìn)行針對(duì)性的回答了。

這里只是告訴了模型怎么做，能不能先給個(gè)示例呢？

用戶輸入到 GPT-3：請(qǐng)回答以下問(wèn)題：你覺(jué)得球神帥嗎？=> 我覺(jué)得還挺帥的呢; 你覺(jué)得科比打球帥還是歐文打球帥？=>

其中回答球神帥不帥就是一個(gè)示例，用于讓模型感知應(yīng)該輸出什么。

基于以上，只給提示就是zero-shot，給一個(gè)示例叫做one-shot，給少量多個(gè)示例就是few-shot。

專業(yè)的讀者應(yīng)該能發(fā)現(xiàn)，這里給提示的in-context learning(上下文情境)學(xué)習(xí)跟prompt learning(提示學(xué)習(xí))的思想很相似。

GPT-3論文里提供了3個(gè)版本的性能比較：

顯然，in-context learning(情境學(xué)習(xí))搭配few-shot learning(小樣本學(xué)習(xí))效果更好。

InstructGPT: RLHF（人類反饋強(qiáng)化學(xué)習(xí)）+ PPO(近端策略優(yōu)化)

原文：Training language models to follow instructions with human feedback

InstructGPT相對(duì)GPT-3要解決的是大模型的alignment(對(duì)齊)問(wèn)題。其背景是：大型語(yǔ)言模型會(huì)生成一些不真實(shí)、有毒(不符合人類道德倫理等)或?qū)τ脩艉翢o(wú)幫助的輸出，顯然這些與用戶期待的不一致。

大模型在預(yù)訓(xùn)練過(guò)程中見(jiàn)識(shí)了各種各樣的數(shù)據(jù)，因此針對(duì)一個(gè)prompt/instruct(提示)會(huì)輸出什么東西，也可能是多種多樣的，但是預(yù)訓(xùn)練數(shù)據(jù)中出現(xiàn)的數(shù)據(jù)模式，不代表都是人類在使用模型時(shí)希望看到的模式，因此需要一個(gè)alignment(對(duì)齊)的過(guò)程，來(lái)規(guī)范模型的“言行舉止”。

而實(shí)現(xiàn)這個(gè)過(guò)程InstructGPT引入了RLHF機(jī)制(人類反饋強(qiáng)化學(xué)習(xí))，實(shí)際上6年前的AlphaGo正是充分利用了強(qiáng)化學(xué)習(xí)，才在圍棋領(lǐng)域?qū)崿F(xiàn)了所到之處無(wú)敵手。

簡(jiǎn)單點(diǎn)說(shuō)，InstructGPT就是在GPT-3基礎(chǔ)上利用RLHF機(jī)制(人類反饋強(qiáng)化學(xué)習(xí))做了微調(diào)，以解決大模型的alignment(對(duì)齊)問(wèn)題。

我們不妨先想一下，應(yīng)該如何解決模型輸出跟人類期待不匹配的問(wèn)題？

最直接的辦法，就是人工構(gòu)造一大批數(shù)據(jù)（標(biāo)注員自己寫prompt和期待的輸出），完全符合人類的期待的模式，然后交給模型去學(xué)。然而，這代價(jià)顯然太大了。因此，我們得想辦法怎么讓這個(gè)過(guò)程變得更輕松一點(diǎn)，RLHF機(jī)制(人類反饋強(qiáng)化學(xué)習(xí))做到了這一點(diǎn)。

下面是InstructGPT的流程圖，看懂了它也就能明白R(shí)LHF機(jī)制是如何實(shí)現(xiàn)的。

Step-1: 稱初始模型為V0，也就是GPT-3。我們可以先人工構(gòu)造一批數(shù)據(jù)，不用數(shù)量很大，盡其所能，然后先讓模型學(xué)一學(xué)，稱這個(gè)時(shí)候模型為V1。

Step-2: 然后讓模型再根據(jù)一堆prompt(提示)輸出，看看效果咋樣，我們讓模型V1對(duì)一個(gè)prompt進(jìn)行多個(gè)輸出，然后讓人對(duì)多個(gè)輸出進(jìn)行打分排序，排序的過(guò)程雖然也需要人工，但是比直接讓人寫訓(xùn)練數(shù)據(jù)，還是要方便的多，因此這個(gè)過(guò)程可以更輕松地標(biāo)注更多數(shù)據(jù)。然而，這個(gè)標(biāo)注數(shù)據(jù)，并不能直接拿來(lái)訓(xùn)練模型，因?yàn)檫@是一個(gè)排序，但我們可以訓(xùn)練一個(gè)打分模型，稱為RM（reward-model，也即獎(jiǎng)勵(lì)模型），RM的作用就是可以對(duì)一個(gè) pair打分，評(píng)價(jià)這個(gè)output跟prompt搭不搭。,output>

Step-3: 接下來(lái)，我們繼續(xù)訓(xùn)練V1模型(被一個(gè)策略包裝并且用PPO更新)，給定一些prompt，得到輸出之后，把prompt和output輸入給RM，得到打分，然后借助強(qiáng)化學(xué)習(xí)的方法，來(lái)訓(xùn)練V1模型(打分會(huì)交給包著V0模型內(nèi)核的策略來(lái)更新梯度)，如此反復(fù)迭代，最終修煉得到V2模型，也就是最終的InstructGPT。

整體理解一下：整個(gè)過(guò)程就是老師（人類標(biāo)注員）先注入一些精華知識(shí)，然后讓模型試著模仿老師的喜好做出一些嘗試，然后老師對(duì)模型的這些嘗試進(jìn)行打分，打分之后，學(xué)習(xí)一個(gè)打分機(jī)器，最后打分機(jī)器就可以和模型配合，自動(dòng)化地進(jìn)行模型的迭代，總體思路稱為RLHF：基于人類反饋的強(qiáng)化學(xué)習(xí)。

其中，PPO機(jī)制( Proximal Policy Optimization，近端策略優(yōu)化) 是強(qiáng)化學(xué)習(xí)中AC類(Actor/Critic)的經(jīng)典算法，由OpenAI 2017年提出，既有Policy Gradient方法的優(yōu)勢(shì)，同時(shí)基于importance sampling實(shí)現(xiàn)experience buffer的利用，發(fā)揮類似DQN類算法的數(shù)據(jù)利用優(yōu)勢(shì)。

PPO是OpenAI常用的baseline方法，理論部分相當(dāng)復(fù)雜，感興趣的專業(yè)讀者可以閱讀原文和相關(guān)博客。

原文：Proximal policy optimization algorithms

非專業(yè)讀者只需要理解到這是一種適應(yīng)人類反饋強(qiáng)化學(xué)習(xí)(RLHF)機(jī)制完成整個(gè)流程訓(xùn)練的策略優(yōu)化算法即可。

通過(guò)以上流程拆解，我們不難發(fā)現(xiàn)InstructGPT能通過(guò)這種RLHF機(jī)制實(shí)現(xiàn)更好的性能，有一個(gè)大的前提：就是初始模型GPT-3已經(jīng)足夠強(qiáng)大。

只有初始模型本身比較強(qiáng)大了，才能實(shí)現(xiàn)人類提供少量的精華數(shù)據(jù)，就可以開(kāi)始進(jìn)行模仿，同時(shí)在第二步產(chǎn)出較為合理的輸出供人類打分。

ChatGPT: 聊天升級(jí)版InstructGPT

根據(jù)OpenAI官方介紹，2022/11 發(fā)布的ChatGPT和2022/02 發(fā)布的InstructGPT在模型結(jié)構(gòu)，訓(xùn)練方式上都完全一致，只是采集數(shù)據(jù)的方式上有所差異，但是目前沒(méi)有更多的資料表明數(shù)據(jù)采集上有哪些細(xì)節(jié)不同。

所以，ChatGPT的技術(shù)原理與他的小兄弟InstructGPT基本一致，相當(dāng)于InstructGPT是ChatGPT的預(yù)熱版，也被稱為GPT3.5，而傳言即將發(fā)布的GPT-4是一個(gè)多模態(tài)模型(可以處理圖片+文本+語(yǔ)音等多模態(tài)數(shù)據(jù))，期待。

至此，從GPT-1到ChatGPT的演進(jìn)和技術(shù)原理就解釋得差不多了。

import有點(diǎn)爆肝

最后來(lái)一張Instruct/ChatGPT中文架構(gòu)流程圖，更加清晰易懂。

2.2 ChatGPT的局限性

盡管ChatGPT已經(jīng)足夠人工智能了，但是在眾多真實(shí)智能人類的鑒定下，它目前還存在不少局限。

功能局限

1.有時(shí)答案會(huì)出現(xiàn)事實(shí)性錯(cuò)誤

2.仍然會(huì)產(chǎn)生有偏見(jiàn)、與人類道德倫理不對(duì)齊的內(nèi)容

3.沒(méi)有與實(shí)時(shí)信息建立關(guān)聯(lián)

4.有時(shí)對(duì)輸入的表達(dá)方式表現(xiàn)敏感

5.有時(shí)回答過(guò)于冗長(zhǎng)

以上限制主要基于以下幾點(diǎn)復(fù)合原因：

1.ChatGPT乃至所有機(jī)器學(xué)習(xí)模型都是基于已有的數(shù)據(jù)、知識(shí)、關(guān)聯(lián)、標(biāo)簽等做出的預(yù)測(cè)，因此只要它有所依賴和基于概率預(yù)測(cè)，錯(cuò)誤、不準(zhǔn)、有偏見(jiàn)的答案理論上都是存在的，只是精度和召回的問(wèn)題；

2.ChatGPT的人工標(biāo)注(包括指示和輸出)準(zhǔn)確度、表達(dá)層度、“價(jià)值觀”等還可以提升，目前的AI對(duì)齊方式--RLHF機(jī)制也未必是最優(yōu)；

3.ChatGPT的信息更新停留在了 2021年，它目前還無(wú)法連接搜索引擎，將最新、最實(shí)時(shí)的信息反饋給用戶。

技術(shù)局限

1.再大的模型都不能無(wú)限大

2.模型受獎(jiǎng)勵(lì)模型和人工標(biāo)注影響較大

這是ChatGPT技術(shù)架構(gòu)的兩大痛點(diǎn)，也是目前深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)研究領(lǐng)域的兩大難點(diǎn)問(wèn)題。

其他局限

1.數(shù)據(jù)和算力帶來(lái)技術(shù)的壟斷

ChatGPT訓(xùn)練需要的這種數(shù)據(jù)和算力體量，使得玩家基本就國(guó)外和國(guó)內(nèi)那些科技巨頭企業(yè)。而且目前ChatGPT也不會(huì)開(kāi)源，這就使得學(xué)校和中小AI企業(yè)沒(méi)得研究，這并不利于ChatGPT本身的進(jìn)步。

2.模型輕量化和性能的平衡

ChatGPT的參數(shù)量已經(jīng)到達(dá)千億級(jí)，如此大的模型顯然不適合大規(guī)模真實(shí)場(chǎng)景應(yīng)用，后續(xù)的模型輕量化研究不可回避，而輕量化和性能的平衡也是一個(gè)巨大的挑戰(zhàn)。

3.可解釋性背后的AI可信

即使目前的ChatGPT在各項(xiàng)NLP任務(wù)上表現(xiàn)驚人，但是模型本身還像一個(gè)黑盒，可解釋性依然是專業(yè)算法人需要深入探索的點(diǎn)，用戶的期待依然是更加可信的AI。

2.3 ChatGPT的優(yōu)化和探索方向

1.多模態(tài)擴(kuò)展

ChatGPT目前所展示出來(lái)的能力還主要在文本域和少部分跨模態(tài)/域的內(nèi)容生成。

下一步的趨勢(shì)已經(jīng)很明顯，統(tǒng)一集成文本、圖像、語(yǔ)音、視頻等多模態(tài)理解和生成能力，像人一樣，多模態(tài)思考、多模態(tài)處理。

2.不止于RLHF，探索其他AI對(duì)齊方式 RLHF(人類反饋強(qiáng)化學(xué)習(xí))并不是唯一的AI對(duì)齊技術(shù)，針對(duì)強(qiáng)化學(xué)習(xí)的AI對(duì)齊還有很多方法、很多策略可以探索。

3.提升指示的泛化和糾錯(cuò)能力

除了人工標(biāo)注的標(biāo)簽(ground truth)，ChatGPT對(duì)指示(prompt)的依賴也非常明顯，進(jìn)一步提升模型對(duì)指示的泛化能力以及對(duì)錯(cuò)誤指示的糾錯(cuò)能力，不僅能提升用戶使用模型的體驗(yàn)，也能使模型能夠適應(yīng)更廣泛的應(yīng)用場(chǎng)景。

4.模型輕量化技術(shù)探索

自深度學(xué)習(xí)框架效果被廣泛驗(yàn)證以來(lái)，CV界和NLP界為了追求性能，過(guò)去10年的研究工作總體趨勢(shì)是模型層數(shù)越來(lái)越深、參數(shù)越來(lái)越多、數(shù)據(jù)量越來(lái)越大。

但是在圈里的每個(gè)人其實(shí)又都知道，到了某個(gè)階段必須得破圈，如今，ChatGPT雖然性能爆棚，但其模型之大之深顯然不適合大規(guī)模真實(shí)場(chǎng)景甚至在端上應(yīng)用，未來(lái)對(duì)模型輕量化的研究不可回避，而輕量化和性能的平衡也非?？简?yàn)AI技術(shù)是否真的走向成熟。

5.數(shù)據(jù)+算力+人工標(biāo)注的降本增效

數(shù)據(jù)、算力和算法作為AI三要素，ChatGPT成功地把其中的數(shù)據(jù)、算力附加人工標(biāo)注的資源成本打到高校、研究機(jī)構(gòu)、其他小AI公司無(wú)法承受的水平，所以即便眾多專家學(xué)者吐槽“大力出奇跡”卻也無(wú)可奈何。

技術(shù)似乎又一次走在了科學(xué)的前面，這對(duì)科技本身的長(zhǎng)期進(jìn)步顯然并不有利。

然而，從OpenAI等大型資本加持的巨頭企業(yè)角度來(lái)看，他們也同樣希望在未來(lái)能夠逐步降本增效，畢竟AI開(kāi)發(fā)者的終極目標(biāo)還是“AI，讓生活更美好”，只不過(guò)這其中會(huì)有諸如技術(shù)壟斷、商業(yè)競(jìng)爭(zhēng)等因素夾雜在其中更影響實(shí)現(xiàn)的時(shí)間。

三、商業(yè)應(yīng)用

3.1 國(guó)內(nèi)外資本投入層層加碼

除了ChatGPT能做什么以及背后的技術(shù)門道，人們或許更關(guān)心它未來(lái)的產(chǎn)品化和商業(yè)化的過(guò)程。

而復(fù)雜且高投入的技術(shù)要想能夠大規(guī)模產(chǎn)品化和商業(yè)化，離不開(kāi)資本的助力。

事實(shí)上，OpenAI的發(fā)展歷程首先證明了這一點(diǎn)。

OpenAI由創(chuàng)業(yè)家埃隆·馬斯克、美國(guó)創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等人于2015年12月在舊金山創(chuàng)立。

起初它的定位是一家非盈利的AI研究公司，而后在2019年3月，OpenAI成立了一家叫做 OpenAI LP 的有限合伙公司，正式過(guò)度到“封頂盈利”性質(zhì)。

轉(zhuǎn)折點(diǎn)在2019年7月，微軟向OpenAI豪注10億美金，并獲得了OpenAI技術(shù)商業(yè)化的授權(quán)。

所以2020年5月OpenAI成功發(fā)布了1750億參數(shù)+45TB數(shù)據(jù)量的GPT-3語(yǔ)言模型，僅僅訓(xùn)練階段就花費(fèi)了大約 1200 萬(wàn)美元。

真就Money is all you need.

而在ChatGPT大放異彩的2023年初，微軟、谷歌、亞馬遜、百度、騰訊等國(guó)內(nèi)外科技巨頭更加不愿意錯(cuò)過(guò)機(jī)會(huì)，隨之而來(lái)的是資本和研發(fā)投入的層層加碼，燒錢 + 燒人。

3.2 ChatGPT商業(yè)化序幕已經(jīng)拉開(kāi)

2月1日，微軟宣布推出由ChatGPT提供技術(shù)支持的視頻會(huì)議及遠(yuǎn)程協(xié)作平臺(tái)Teams的高級(jí)付費(fèi)版Microsoft Teams Premium，訂閱者可享用OpenAI GPT提供支持的大型語(yǔ)言模型技術(shù)，用AI自動(dòng)生成會(huì)議筆記。

2月2日，OpenAI宣布，推出其人工智能聊天機(jī)器人ChatGPT的付費(fèi)訂閱版本，新的訂閱服務(wù)名為ChatGPT Plus，月費(fèi)為20美元。訂閱包括在高峰使用時(shí)間訪問(wèn)聊天機(jī)器人。目前的免費(fèi)版本在使用率高的時(shí)間段將限制對(duì)用戶的服務(wù)。

2月8日，微軟推出了由OpenAI提供最新技術(shù)支持的新版搜索引擎必應(yīng)（Bing）和Edge瀏覽器。

ChatGPT 已經(jīng)被亞馬遜用于各種不同的工作職能中，包括回答面試問(wèn)題、編寫軟件代碼和創(chuàng)建培訓(xùn)文檔等。

文案自動(dòng)生成平臺(tái)Jasper，其技術(shù)底層是 OpenAI 的 GPT-3，在成立僅 18 個(gè)月后就達(dá)到了 15 億美元的高估值。

2月7日，百度宣布將在3月份完成其ChatGPT產(chǎn)品的內(nèi)測(cè)，面向公眾開(kāi)放，該項(xiàng)目名字為文心一言（ERNIE Bot）。

ChatGPT應(yīng)用場(chǎng)景廣泛，商業(yè)價(jià)值巨大，有望賦能傳媒、影視、營(yíng)銷、教育、金融、醫(yī)療、科研、游戲等多個(gè)行業(yè)。

ChatGPT賦能傳媒：實(shí)現(xiàn)智能新聞寫作，提升新聞的時(shí)效性

ChatGPT可以幫助新聞媒體工作者智能生成報(bào)道，將部分勞動(dòng)性的采編工作自動(dòng)化，更快、更準(zhǔn)、更智能地生成內(nèi)容。

ChatGPT賦能影視：拓寬創(chuàng)作素材，提升作品質(zhì)量

ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容，從而更有可能吸引大眾的注意力，獲得更好的收視率、票房和口碑。 ChatGPT可以為劇本創(chuàng)作提供新思路，創(chuàng)作者可根據(jù)ChatGPT的生成內(nèi)容再進(jìn)行篩選和二次加工，從而激發(fā)創(chuàng)作者的靈感，開(kāi)拓創(chuàng)作思路，縮短創(chuàng)作周期。

ChatGPT賦能營(yíng)銷：打造虛擬客服，助力售前和售后

ChatGPT賦能教育金融醫(yī)療：促進(jìn)數(shù)實(shí)共生，助力產(chǎn)業(yè)升級(jí)

ChatGPT+教育：賦予教育教材新活力，讓教育方式更個(gè)性化、更智能；

ChatGPT+金融：幫助金融機(jī)構(gòu)降本增效，讓金融服務(wù)更有溫度；

ChatGPT+醫(yī)療：賦能醫(yī)療機(jī)構(gòu)診療全過(guò)程。

另外，ChatGPT和之前熱炒的元宇宙顯然還不太一樣。

元宇宙到目前為止更像是一個(gè)美好的想法，還沒(méi)有實(shí)際的產(chǎn)品和成熟的模式產(chǎn)生，大眾甚至查閱資料都無(wú)法明白元宇宙是要做什么。

但ChatGPT以及背后的生成式人工智能(AIGC)，不僅有ChatGPT這樣To C觸感非常強(qiáng)烈的產(chǎn)品，而且已經(jīng)能看到如上述一些比較清晰的商業(yè)化模式。

現(xiàn)在缺的就是資本加速和技術(shù)突破。

3.3 ChatGPT助力AIGC浪潮再起

AIGC(Artificial Intelligence Generated Context)，是指利用人工智能技術(shù)來(lái)生成內(nèi)容，常見(jiàn)如AI繪畫、AI寫作、AI生成圖片、代碼、視頻等。

AIGC順著AI發(fā)展的脈絡(luò)，大致經(jīng)歷了三個(gè)大的階段：

2010年以來(lái)，隨著深度學(xué)習(xí)的快速突破以及數(shù)字內(nèi)容的海量增長(zhǎng)，AIGC領(lǐng)域相關(guān)技術(shù)打破了預(yù)定義規(guī)則的局限性，算法模型結(jié)構(gòu)不斷創(chuàng)新，使得快速便捷且智慧地輸出多模態(tài)的數(shù)字內(nèi)容成為可能。

從2017年微軟小冰作詩(shī)到2018年英偉達(dá)StyleGAN生成高質(zhì)量圖片，再到2019年谷歌DeepMind DVD-E2生成連續(xù)視頻，AIGC正在經(jīng)歷一波蓬勃發(fā)展。

直到本文的主角ChatGPT 2022年年底出場(chǎng)，AIGC終于迎來(lái)了突破式的拐點(diǎn)，新一輪的浪潮正在徐徐展開(kāi)。

AIGC應(yīng)用場(chǎng)景

AIGC按內(nèi)容生成類別可劃分為文本、代碼、圖像、音視頻四大類，而跨模態(tài)生成技術(shù)是真正實(shí)現(xiàn)生成式智能的核心。

AIGC的意義在于提高內(nèi)容生產(chǎn)力、打開(kāi)內(nèi)容創(chuàng)作想象空間，這或許也是巨頭爭(zhēng)相加碼AIGC的原因所在。從現(xiàn)有的應(yīng)用場(chǎng)景來(lái)看，AIGC已經(jīng)可以替代部分重復(fù)勞動(dòng)力，并協(xié)助部分創(chuàng)造性勞動(dòng)，未來(lái)AI技術(shù)的發(fā)展有望不斷降低內(nèi)容生產(chǎn)成本、提高生產(chǎn)效率并拓展內(nèi)容邊界。

AIGC市場(chǎng)空間

2023年人工智能從學(xué)術(shù)研究逐漸走向產(chǎn)業(yè)化，商業(yè)與AI技術(shù)的融合形成互為支點(diǎn)的發(fā)展格局，進(jìn)入產(chǎn)業(yè)規(guī)模商用期。人工智能技術(shù)將不斷地對(duì)AI數(shù)字商業(yè)的各個(gè)領(lǐng)域進(jìn)行滲透。

據(jù)量子位預(yù)測(cè)，2030年AIGC市場(chǎng)規(guī)模有望超過(guò)萬(wàn)億元。在內(nèi)容領(lǐng)域，人機(jī)協(xié)同，對(duì)于存量業(yè)務(wù)，AIGC的價(jià)值在于降本增效，對(duì)于增量業(yè)務(wù)，其價(jià)值在于跨模態(tài)的內(nèi)容生成等。

據(jù)Gartner的“人工智能技術(shù)成熟度曲線”，生成式AI仍處于萌芽期，但其廣闊的應(yīng)用場(chǎng)景和需求空間吸引大量資本和技術(shù)的投入，預(yù)計(jì)將在2-5年內(nèi)實(shí)現(xiàn)規(guī)?；瘧?yīng)用。

AIGC有潛力產(chǎn)生數(shù)萬(wàn)億元的經(jīng)濟(jì)價(jià)值，AIGC繁榮發(fā)展，將促進(jìn)資產(chǎn)服務(wù)快速跟進(jìn)，通過(guò)對(duì)生成內(nèi)容合規(guī)評(píng)估、資產(chǎn)管理、產(chǎn)權(quán)保護(hù)、交易服務(wù)等構(gòu)成AIGC完整生態(tài)鏈，并進(jìn)行價(jià)值重塑，充分釋放其商業(yè)潛力，至2025年中國(guó)生成式AI商業(yè)應(yīng)用規(guī)模至2070億元。

AIGC商業(yè)模式

過(guò)去AI發(fā)展多年，雖然在諸多領(lǐng)域也取得一些顯著成果，但從整個(gè)AI產(chǎn)業(yè)來(lái)看，過(guò)去的應(yīng)用更多的像是經(jīng)過(guò)專業(yè)學(xué)習(xí)的“?？粕保痪邆渫ㄓ脠?chǎng)景的泛化性。

但ChatGPT的問(wèn)世，證明了基于大模型的AIGC已經(jīng)像是一位接受過(guò)通識(shí)教育的“本科生”，雖然在發(fā)展初期在特定專業(yè)領(lǐng)域功能有限，卻有著更強(qiáng)的可拓展性，能夠賦能和落地各個(gè)商業(yè)領(lǐng)域。 并且直觀來(lái)看，ChatGPT告訴世人，AI變成了一個(gè)普通人也可以輕松運(yùn)用、提升效率的工具。

這意味著AIGC的商業(yè)模式更加顯式化，不僅可以To B也可以To C。

AIGC To B模式主要希望解決的痛點(diǎn)問(wèn)題在于：用AI代替人工生產(chǎn)，幫助企業(yè)實(shí)現(xiàn)降本增效。因?yàn)閷?duì)B端帶來(lái)的效果是快而顯著的，因此客戶的付費(fèi)意愿較強(qiáng)。

而 To C模式下，對(duì)于個(gè)人用戶來(lái)說(shuō)，一方面AIGC應(yīng)用可以作為效率工具，能夠在信息獲取、格式整理和工作流等各個(gè)流程提高個(gè)人用戶的效率，并且AI模型作為基礎(chǔ)設(shè)施能夠集成到現(xiàn)有的工作流程中；另一方面可以作為創(chuàng)作工具，類似剪輯、修圖軟件一樣，AIGC能夠在用戶原創(chuàng)流行的今天，大幅度降低大眾用戶的創(chuàng)作門檻，強(qiáng)化個(gè)人媒體的IP價(jià)值。

從商業(yè)角度而言，將AIGC作為底層基礎(chǔ)設(shè)施的SaaS訂閱將成為中長(zhǎng)期趨勢(shì)。用戶選擇付費(fèi)的邏輯在于：更高效的信息獲取方式；從輔助表達(dá)到替代表達(dá)；集成到已有的工作流；擴(kuò)大用戶創(chuàng)造力。

AIGC產(chǎn)業(yè)鏈

一方面，AIGC產(chǎn)業(yè)鏈可根據(jù)模型層次劃分為基礎(chǔ)層、中間層、應(yīng)用層三層架構(gòu)。

(1) 基礎(chǔ)層：利用預(yù)訓(xùn)練模型搭建基礎(chǔ)設(shè)施，該環(huán)節(jié)具備最高的進(jìn)入門檻，參與者以頭部企業(yè)為主

預(yù)訓(xùn)練模型是眾多小模型的通用基底，為開(kāi)發(fā)者降低AI開(kāi)發(fā)與應(yīng)用的門檻。預(yù)訓(xùn)練模型初始投入成本高、運(yùn)行成本高，對(duì)軟件、硬件均提出較高要求，因此涉足該環(huán)節(jié)的企業(yè)以微軟、谷歌、英偉達(dá)、Meta等科技巨頭以及OpenAI、Stability.ai等AI研究機(jī)構(gòu)為主。

以O(shè)penAI為例，2020年該機(jī)構(gòu)訓(xùn)練GPT-3的硬件及電力成本達(dá)1200萬(wàn)美元；以Meta為例，為了提供更強(qiáng)大的算力支撐，Meta攜手英偉達(dá)、Penguin Computing及Pure Storage打造AI超級(jí)計(jì)算機(jī)RSC，其測(cè)試數(shù)據(jù)顯示，RSC訓(xùn)練大型NLP模型的速度提升3倍，運(yùn)行計(jì)算機(jī)視覺(jué)工作的速度提升20倍。

(2) 中間層：基于預(yù)訓(xùn)練模型開(kāi)發(fā)垂直化、場(chǎng)景化、個(gè)性化的模型和應(yīng)用工具

中間層廠商基于預(yù)訓(xùn)練的大模型生成場(chǎng)景化定制化的小模型，幫助不同行業(yè)和垂直領(lǐng)域?qū)崿F(xiàn) AIGC 的快速部署。在預(yù)訓(xùn)練模型基礎(chǔ)之上，開(kāi)發(fā)者可根據(jù)不同行業(yè)、不同功能場(chǎng)景生成相應(yīng)的小模型，基礎(chǔ)層企業(yè)向中間層延伸為順勢(shì)而為。

此外，基礎(chǔ)層企業(yè)還可扮演MaaS（Model-as-a-Service）服務(wù)提供方，將其模型開(kāi)源給更多企業(yè)以二次開(kāi)發(fā)模型，如Novel AI基于Stability.ai的開(kāi)源模型Stable Diffusion開(kāi)發(fā)出二次元風(fēng)格AI繪畫工具。

(3) 應(yīng)用層：面向C端用戶提供文本、圖像、音視頻等內(nèi)容生成服務(wù)

應(yīng)用層是指面向 C 端提供 AIGC 相關(guān)服務(wù)，典型企業(yè)包括微軟、Meta、百度、騰訊，阿里巴巴等。基于基礎(chǔ)層、中間層的模型及工具，應(yīng)用層企業(yè)可將其重心放在滿足用戶需求乃至創(chuàng)造內(nèi)容消費(fèi)需求上，AI寫作、AI繪畫等AIGC應(yīng)用已在營(yíng)銷、娛樂(lè)、藝術(shù)收藏等領(lǐng)域落地。

以國(guó)內(nèi)企業(yè)為例，視覺(jué)中國(guó)依托其數(shù)字版權(quán)內(nèi)容優(yōu)勢(shì)布局AIGC數(shù)字藏品，借力AI持續(xù)擴(kuò)充藝術(shù)多元性，截至目前多輪發(fā)售的AIGC數(shù)字藏品均已售罄；藍(lán)色光標(biāo)機(jī)器人小藍(lán)博面向廣告主推出AI繪畫、AI寫作工具，其中AI繪畫工具創(chuàng)意畫廊可生成抽象風(fēng)格畫作以適配不同營(yíng)銷場(chǎng)景。

另一方面，「數(shù)據(jù)算力、算法模型和上層應(yīng)用」又構(gòu)成了AIGC產(chǎn)業(yè)鏈的直接上中下游關(guān)系。

AIGC上游主要包括數(shù)據(jù)供給方、算法機(jī)構(gòu)、創(chuàng)作者生態(tài)以及底層配合工具等，中游主要是文字、圖像、音頻和視頻處理廠商，其中玩家眾多；下游主要是各類內(nèi)容創(chuàng)作及分發(fā)平臺(tái)以及內(nèi)容服務(wù)機(jī)構(gòu)等。

后記

ChatGPT，作為一項(xiàng)影響力出圈的AI技術(shù)應(yīng)用，是近10年來(lái)人工智能和計(jì)算機(jī)技術(shù)快速發(fā)展、不斷更新迭代、多種技術(shù)疊加在一起形成質(zhì)變的產(chǎn)物，是自然語(yǔ)言處理(NLP)領(lǐng)域近年來(lái)研究的結(jié)晶。

ChatGPT實(shí)現(xiàn)了一種使機(jī)器獲得語(yǔ)言智能的完整有效技術(shù)路線，但這個(gè)研究方向仍然面臨諸多挑戰(zhàn)，需要在科學(xué)和技術(shù)上進(jìn)一步探索。

同時(shí)展望未來(lái)，它對(duì)AIGC、產(chǎn)業(yè)互聯(lián)網(wǎng)、數(shù)字經(jīng)濟(jì)等領(lǐng)域的長(zhǎng)足發(fā)展也將影響深遠(yuǎn)。

最后附上幾個(gè)有爭(zhēng)議性的話題，供讀者思考和交流。

ChatGPT會(huì)引領(lǐng)第四次科技革命嗎？

關(guān)鍵詞：生產(chǎn)力、規(guī)模、效率

ChatGPT會(huì)給人類帶來(lái)失業(yè)潮嗎？

關(guān)鍵詞：情感、創(chuàng)造力、稀缺性

ChatGPT適合下海創(chuàng)業(yè)嗎？

關(guān)鍵詞：技術(shù)、資金、團(tuán)隊(duì)、商業(yè)模式

ChatGPT及AIGC產(chǎn)業(yè)鏈有值得投資的企業(yè)嗎？

關(guān)鍵詞：納指100、中概互聯(lián)、騰訊、百度、科大訊飛

參考文獻(xiàn)

學(xué)術(shù)論文：

Transformer: Attention Is All You Need, 2017. BERT: Bidirectional Encoder Representation from Transformers, 2018.

GPT-1: Improving Language Understanding by Generative Pre-Training, 2018.

GPT-2: Language Models are Unsupervised Multitask Learners, 2019.

GPT-3: Language Models Are Few-shot Learners, 2020.

InstructGPT: Training language models to follow instructions with human feedback, 2022.

ChatGPT: Optimizing Language Models for Dialogue, 2022.

證券研報(bào)：

1.國(guó)泰君安-計(jì)算機(jī)行業(yè)：ChatGPT 研究框架（2023）

2.華西證券-計(jì)算機(jī)行業(yè)深度研究報(bào)告：ChatGPT，開(kāi)啟AI新紀(jì)元

3.銀河證券-計(jì)算機(jī)行業(yè)：聊天機(jī)器人頂流ChatGPT，開(kāi)啟自然語(yǔ)言處理領(lǐng)域新篇章

4.招商證券-計(jì)算機(jī)行業(yè)：ChatGPT快速流行，重構(gòu)AI商業(yè)模式

5.國(guó)聯(lián)證券-計(jì)算機(jī)行業(yè)：ChatGPT風(fēng)口已至，商業(yè)化落地加速

6.東方證券-計(jì)算機(jī)行業(yè)：ChatGPT引領(lǐng)AI新浪潮，AIGC商業(yè)化啟程

7.興業(yè)證券-計(jì)算機(jī)行業(yè)：從AIGC到ChatGPT，原理、前景和機(jī)會(huì)

8.華泰證券-計(jì)算機(jī)行業(yè)：ChatGPT：深度拆解

9.招銀國(guó)際-中國(guó)互聯(lián)網(wǎng)行業(yè)：ChatGPT & AIGC在中國(guó)市場(chǎng)的發(fā)展前景

公眾號(hào)文章：

慧博資訊：《ChatGPT行業(yè)深度報(bào)告》

慧博資訊：《AIGC行業(yè)深度報(bào)告》

TJUNLP：《對(duì)ChatGPT的二十點(diǎn)看法》，作者：熊得意老師

知乎文章：

https://zhuanlan.zhihu.com/p/589621442

https://zhuanlan.zhihu.com/p/517219229

https://zhuanlan.zhihu.com/p/34656727

https://zhuanlan.zhihu.com/p/595891945

https://zhuanlan.zhihu.com/p/597264009

https://zhuanlan.zhihu.com/p/563166533

https://zhuanlan.zhihu.com/p/606901798

https://www.zhihu.com/question/570431477/answer/2888747398

https://www.zhihu.com/question/581311491/answer/2882281060

審核編輯 黃宇