chatgpt下非端到端方案是否還有意義

最近c(diǎn)hatgpt逐漸變火，很多人也多少能夠發(fā)現(xiàn)，chatgpt能夠成為一個(gè)相對(duì)可靠的端到端解決方案，大有干掉很多智能對(duì)話助手、搜索引擎的趨勢(shì)，當(dāng)然現(xiàn)在已經(jīng)有不少用戶也在用這個(gè)來(lái)充當(dāng)搜索引擎來(lái)用了。然而，從技術(shù)角度，我們是否可以考慮去這么做了，或者說(shuō)現(xiàn)階段是否合適真的去這么嘗試了。來(lái)看我的看法吧。

先說(shuō)結(jié)論吧，我自己的分析結(jié)論是，大家都應(yīng)該去嘗試，但是不要指望短期內(nèi)徹底替換。

什么是端到端

先說(shuō)一下端到端和非端到端的意思，簡(jiǎn)單地說(shuō)，就是一個(gè)模型完成全流程的任務(wù)，而非端到端，就是通過(guò)多個(gè)模型或者模塊有機(jī)組合最終完成的任務(wù)。

舉個(gè)例子，對(duì)話系統(tǒng)，可以用一個(gè)比較完善的生成模型來(lái)完成，也可以用一個(gè)系統(tǒng)，里面有各種模型，例如意圖識(shí)別模塊、召回模塊、排序模塊等多個(gè)模塊協(xié)同合作來(lái)共同完成，前者就是端到端的方案，后者就是非端到端的方案。

端到端和非端到端的競(jìng)爭(zhēng)

其實(shí)端到端和非端到端的競(jìng)爭(zhēng)，早在前幾年就有了，DSTC對(duì)話系統(tǒng)的比賽，榜單上就已經(jīng)分為了端到端和非端到端兩派進(jìn)行，從比賽的數(shù)據(jù)來(lái)看，非端到端的模型基本都能在A榜有個(gè)不錯(cuò)的成績(jī)，而B榜上，端到端模型則能夠一舉超越非端到端模型獲得勝利，從這點(diǎn)我們其實(shí)可以推斷，非端到端模型更容易在已知情況達(dá)到更高的水平，但是因?yàn)槟Ｐ捅旧淼奶囟ǎ说蕉说哪Ｊ较?，則更容易頂?shù)礁叩纳舷?，泛化能力也能拉的比較高。

正因?yàn)槎说蕉四Ｐ透菀啄茼數(shù)礁叩纳暇€，所以在科研界，多半也是朝著端到端的方案去走的，配合預(yù)訓(xùn)練模型這股東風(fēng)，絕大部分復(fù)雜任務(wù)的SOTA方案都是端到端模型的身影。

然而，與之相反的是工業(yè)界，在工業(yè)界，各大廠所采用的方案，基本都是非端到端的方案，前沿重器系列中我聊了很多場(chǎng)景下大廠的架構(gòu)：

前沿重器[1] | 微軟小冰-多輪和情感機(jī)器人的先行者

前沿重器[2] | 美團(tuán)搜索理解和召回

前沿重器[3] | 平安智能問(wèn)答系統(tǒng)

前沿重器[4] | 騰訊搜索的Quer理解如何直擊心靈

大家都可以看到，這里面大家不約而同地選擇了這些方案，而沒有選擇比較直接的端到端方案，甚至，在一些小任務(wù)下，大家也傾向于拆解成非端到端的任務(wù)來(lái)進(jìn)行，例如糾錯(cuò)（NLP.TM[37] | 深入討論糾錯(cuò)系統(tǒng)），就拆解成3部分靈活處理。

為什么會(huì)選擇非端到端

我自己也經(jīng)常會(huì)對(duì)一些需求做技術(shù)方案，也會(huì)比較傾向于非端到端的方案，主要是出于這幾個(gè)原因吧：

非端到端出效果穩(wěn)定。拆解開的每個(gè)步驟都能監(jiān)控到，什么位置出問(wèn)題成為短板能快速定位修復(fù)，且不影響其他模塊。

資源和需求多樣性導(dǎo)致必須拆分。不同的資源來(lái)源導(dǎo)致我們必須在內(nèi)部拆分，例如要出天氣要查天氣的庫(kù)，此時(shí)就要拆分各模塊做識(shí)別等任務(wù)。

可控性和可更新性。國(guó)內(nèi)外其實(shí)都有很多不能發(fā)布的信息或者價(jià)值觀，這些是需要控制的，另一方面，有些內(nèi)容是需要可更新的，此時(shí)需要可更新的模塊來(lái)處理，每次直接更新整個(gè)模型成本很高。

這應(yīng)該也是大家會(huì)在現(xiàn)實(shí)落地情況選擇花時(shí)間拆分模塊，逐步完成的核心原因了，也側(cè)面映射出，非端到端的方案最終沒選擇的原因：

調(diào)優(yōu)成本和風(fēng)險(xiǎn)大，除了問(wèn)題后的效果調(diào)優(yōu)可控性其實(shí)不是很高，很依賴訓(xùn)練策略、資源等很多原因。

對(duì)現(xiàn)有資源的使用能力差，原來(lái)的端到端模型主要靠喂特定的樣本，現(xiàn)階段則是prompt，但是多種復(fù)雜的資源不見得能支持這樣的使用。

可控性和可更新性不足，一些風(fēng)險(xiǎn)問(wèn)題，需要實(shí)時(shí)更新的問(wèn)題（依舊舉天氣的例子），端到端模型的變化是不夠敏捷的，甚至在變化過(guò)程中可能引入新的不可控風(fēng)險(xiǎn)。

這些問(wèn)題不解決，我們很難完全放心把整個(gè)大的任務(wù)交給一個(gè)模型的。

端到端模型是否有可能克服缺點(diǎn)

我的答案是，現(xiàn)階段是有可能但是還需要發(fā)展迭代。

隨著prompt的出現(xiàn)，大家會(huì)開始有一種錯(cuò)覺，prompt的方式能讓模型快速學(xué)會(huì)一些比較好的知識(shí)，或者換個(gè)角度，prompt方案似乎能引導(dǎo)模型吐出我們想讓他吐出的東西，看起來(lái)非常有用，大家在體驗(yàn)chatgpt時(shí)多少有點(diǎn)這個(gè)感覺，然而仔細(xì)看過(guò)chatgpt有關(guān)原理的朋友們應(yīng)該會(huì)發(fā)現(xiàn)，他們?cè)诘讓邮腔ㄙM(fèi)了很大成本來(lái)構(gòu)造很多prompt來(lái)讓模型學(xué)習(xí)的，標(biāo)注看著很簡(jiǎn)單，但chatgpt這里其實(shí)非常困難，總結(jié)而說(shuō)是有兩點(diǎn)：

prompt的數(shù)量，prompt訓(xùn)練是需要一定的數(shù)據(jù)支撐的，別給我說(shuō)就幾條，那是一個(gè)類目下，但是類目層面就很多了，每個(gè)類幾條那也要很多條的對(duì)吧。

prompt的質(zhì)量，只有泛化的，多樣的prompt才能更好地引導(dǎo)模型訓(xùn)練，這種人工活動(dòng)不同于標(biāo)注，他是帶有一定創(chuàng)造性的，此時(shí)難度其實(shí)就很高了。

當(dāng)然，有關(guān)靈活可控性，大家會(huì)有說(shuō)adapter之類的結(jié)構(gòu)，就是輕量化微調(diào)的方案，這點(diǎn)我在之前的輕量化微調(diào)文章里也有說(shuō)過(guò)（前沿重器[27] | 從遺忘問(wèn)題到預(yù)訓(xùn)練輕量化微調(diào)），雖然這種方案能一定程度緩解，但是敏捷性其實(shí)還可以提升的，有些緊急的公關(guān)問(wèn)題需要快速下線，類似天氣、新聞等需要快速更新的內(nèi)容，如果還需要慢慢吞吞地訓(xùn)adapter模塊，那速度大家肯定覺得會(huì)不太夠，還不如直接塞庫(kù)里，用dsl直接查的快對(duì)吧，當(dāng)然了，如果是實(shí)時(shí)性要求沒那么高的，這種控制起來(lái)其實(shí)已經(jīng)非常足夠了。

有關(guān)chatgpt的效果問(wèn)題

現(xiàn)階段，chatgpt的口碑有目共睹，但是盛名之下是否能副，這里我是想打一個(gè)問(wèn)號(hào)的。有幾個(gè)比較嚴(yán)謹(jǐn)?shù)膯?wèn)題需要被拋出來(lái)：

開放域下的指標(biāo)如何。大家你一個(gè)我一個(gè)的試，從個(gè)人層面看就是超小樣本，統(tǒng)計(jì)能力不足，而把大家的都算上，基本一定程度算高頻問(wèn)題，可以說(shuō)是帶點(diǎn)偏的，然而拋開這批嘗試的用戶，只看用戶日常真正的提問(wèn)，例如像百度那樣用戶當(dāng)做工具每天搜的情況，效果如何，這點(diǎn)還需要更為嚴(yán)格，數(shù)量更豐富的評(píng)測(cè)。

現(xiàn)階段大家的新鮮感還比較強(qiáng)，其實(shí)容忍度還是比較高的，很難避免一些錯(cuò)誤可能會(huì)被我們縮小，如果對(duì)其他的一些軟件和產(chǎn)品，尤其是國(guó)產(chǎn)的，大家是否也能有這個(gè)容忍度呢，我自己看游戲領(lǐng)域、電影領(lǐng)域甚至一些奢飾品等領(lǐng)域的經(jīng)驗(yàn)來(lái)看，用戶多半對(duì)國(guó)產(chǎn)產(chǎn)品有著比同類外國(guó)產(chǎn)品更苛刻的要求的，例子就不舉了，相信大家都懂。

產(chǎn)品形態(tài)的問(wèn)題?，F(xiàn)階段的chatgpt的輸出形態(tài)其實(shí)還是比較局限的——文本和圖像，但是實(shí)際上我們需要的可能會(huì)更加復(fù)雜，例如智能家居的指令（幫我開燈），銷售場(chǎng)景的智能推薦（給我推薦一臺(tái)七千塊左右的電腦），天氣內(nèi)容展示（告訴我未來(lái)一周的天氣）等。

怎么做

講到這里，其實(shí)我們可以有這幾個(gè)共識(shí)吧：

非端到端模型在目前的落地場(chǎng)景下，仍有不可撼動(dòng)的地位，直接切換或者使用端到端模型應(yīng)該是激進(jìn)的。

端到端有自己獨(dú)特且突出的優(yōu)勢(shì)，泛化能力強(qiáng)，這點(diǎn)也是毋庸置疑的，

在對(duì)這個(gè)東西有基本的共識(shí)后，我們可以繼續(xù)來(lái)聊怎么做，整體思路可以參考很多系統(tǒng)所常見的嵌入方式：新增召回路，參與篩選和把控。

之前我有文章聊過(guò)“召回-排序”這種在多個(gè)系統(tǒng)中被廣泛使用的一個(gè)架構(gòu)（心法利器[79] | 對(duì)話系統(tǒng)中的多路召回和排序），我們可以考慮在內(nèi)容的召回上，把這種端到端的方式作為其中一種召回鏈路放入到召回池子里，增加一種回復(fù)的可能性，最終的篩選則是在排序?qū)?，和其他路召回的?nèi)容進(jìn)行綜合排序，并完成拒識(shí)判斷（嚴(yán)謹(jǐn)起見端到端方案在特定場(chǎng)景不合適，此時(shí)需要過(guò)濾拒絕），此時(shí)就可以相對(duì)安全地利用上這個(gè)好東西，算是“馴服”了。在后續(xù)階段，隨著逐漸優(yōu)化，我們可以慢慢放開排序和拒識(shí)模塊，讓端到端方案的采納率逐步提升，在提升到一定階段后，就可以考慮下掉其他模塊，最終完成了從非端到端到端到端的切換了，中間階段也比較可控安全。

chatgpt是否會(huì)替代嗎

最后想夾帶點(diǎn)私貨，回應(yīng)一下最近很多人后臺(tái)希望和我聊的問(wèn)題，簡(jiǎn)單地說(shuō)就是chatgpt是否能完全替代別的東西，尤其是人，最近c(diǎn)hatgpt逐漸變火，除了chatgpt很火之外，更多的聲音是“哀鴻遍野”，很多人覺得非常悲觀，很多工作都可能會(huì)被機(jī)器替代。不過(guò)從我自己的角度看，是兩個(gè)聲音：

chatgpt已經(jīng)能幫忙做很多事，能替代不少人了。

簡(jiǎn)單任務(wù)已經(jīng)可以做了，所以基礎(chǔ)人力肯定會(huì)被壓縮，但是因?yàn)樯罡袠I(yè)的人更了解具體流程和chatgpt能做的事，所以明白終究是需要有指導(dǎo)機(jī)器干活的，需要搭建架構(gòu)的人，因此讓自己成長(zhǎng)起來(lái)，這塊壓力其實(shí)沒想象中的大，而且在這個(gè)趨勢(shì)下，資本進(jìn)一步了解到AI的重要性，說(shuō)不定對(duì)相應(yīng)從業(yè)人員的需求更多。

而且這兩個(gè)聲音的具有非常鮮明的特征，前者像是一些對(duì)有關(guān)領(lǐng)域了解不深的人，后者則是深耕某個(gè)領(lǐng)域時(shí)間比較久的老鳥。很多時(shí)候，老鳥的這個(gè)東西的理解很深，往往能參透這里的本質(zhì)。

說(shuō)個(gè)很簡(jiǎn)單的事吧，很多人發(fā)現(xiàn)了chatgpt會(huì)寫代碼，所以覺得程序員就要被淘汰了，其實(shí)這部分人只是單純的認(rèn)為程序員只有一個(gè)任務(wù)就是寫代碼罷了，但其實(shí)并非如此，以算法工程師為例，大家可以看看我的日常（心法利器[31] | 我的算法工程師日常），大家會(huì)發(fā)現(xiàn)，真正寫代碼的時(shí)間可能就10%左右了，在這種情況下，chatgpt更多的是一個(gè)幫助我們工作的工具，而不是替代我們的對(duì)手。

我們不能說(shuō)外行如何如何，畢竟術(shù)業(yè)有專攻，但是對(duì)我們這些專業(yè)領(lǐng)域的人還是需要體現(xiàn)出自己的專業(yè)水準(zhǔn)的，冷靜思考，不能被不懂這個(gè)的人帶去了節(jié)奏，而是真正的深入了解某個(gè)東西的原理和優(yōu)缺點(diǎn)，并且找到自己的優(yōu)劣勢(shì)和機(jī)會(huì)，這個(gè)才是真正破局所需要的。

審核編輯 ：李倩