2023年AI技術科普：算法、算力、數(shù)據及應用

大模型是AI開發(fā)的新范式，是人工智能邁向通用智能的里程碑：大模型指通過在大規(guī)模寬泛的數(shù)據上進行訓練后能適應一系列下游任務的模型，本質依舊是基于統(tǒng)計學的語言模型，只不過“突現(xiàn)能力”賦予其強大的推理能力。大模型的訓練和推理都會用到AI芯片的算力支持，在數(shù)據和算法相同情況下，算力是大模型發(fā)展的關鍵，是人工智能時代的“石油”。

1.算法：大模型——人工智能邁向通用智能的里程碑

大模型就是Foundation Model（基礎模型），指通過在大規(guī)模寬泛的數(shù)據上進行訓練后能適應一系列下游任務的模型。大模型兼具“大規(guī)?！焙汀邦A訓練”兩種屬性，面向實際任務建模前需在海量通用數(shù)據上進行預先訓練，能大幅提升人工智能的泛化性、通用性、實用性，是人工智能邁向通用智能的里程碑技術。

大模型的本質依舊是基于統(tǒng)計學的語言模型，“突現(xiàn)能力”賦予其強大的推理能力。當前幾乎所有參數(shù)規(guī)模超過千億的大語言模型都采取GPT模式。近些年來，大型語言模型研究的發(fā)展主要有三條技術路線：Bert模式、GPT模式以及混合模式。Bert模式適用于理解類、做理解類、某個場景的具體任務，專而輕，2019年后基本上就沒有什么標志性的新模型出現(xiàn)；混合模式大部分則是由國內采用；多數(shù)主流大語言模型走的還是GPT模式，2022年底在GPT-3.5的基礎上產生了ChatGPT，GPT技術路線愈發(fā)趨于繁榮。

GPT4作為人工智能領域最先進的語言模型，在如下四個方面有較大的改進。

1）多模態(tài)：GPT4可以接受文本和圖像形式的prompt，在人類給定由散布的文本和圖像組成的輸入的情況下生成相應的文本輸出（自然語言、代碼等）；

2）多語言：在測試的26種語言的24種中，GPT-4優(yōu)于GPT-3.5和其他大語言模型（Chinchilla，PaLM）的英語語言性能；

3）“記憶力”：GPT-4的最大token數(shù)為32,768，即2^15，相當于大約64,000個單詞或50頁的文字，遠超GPT-3.5和舊版ChatGPT的4,096個token；

4）個性化：GPT-4比GPT-3.5更原生地集成了可控性，用戶將能夠將“具有固定冗長、語氣和風格的經典ChatGPT個性”更改為更適合他們需要的東西。

2.算力：AI訓練的基礎設施

大模型算力成本主要分為初始訓練成本和后續(xù)運營成本。

初始訓練：根據openAI官網數(shù)據，每個token（token是服務端生成的一串字符串,以作客戶端進行請求的一個令牌）的訓練成本通常約為6N FLOPS（FLOPS指每秒浮點運算次數(shù)，理解為計算速度,可以用來衡量硬件的性能），其中N是LLM（大型語言模型）的參數(shù)數(shù)量。1750億參數(shù)模型的GPT-3是在3000億token上進行訓練的。根據openAI官網數(shù)據，在訓練過程中，模型的FLOPS利用率為46.2%。我們假設訓練時間為1個月，采用英偉達A100進行訓練計算（峰值計算能力為312 TFLOPS FP16/FP32），則測算結果為需要843顆英偉達A100芯片。

運營（推理）成本：運營階段所需算力量與使用者數(shù)量緊密相關。根據openAI官網數(shù)據，每個token的推理成本通常約為2N FLOPS，其中N是LLM的參數(shù)數(shù)量。根據openAI官網數(shù)據，在訓練過程中，模型的FLOPS利用率為21.3%。同樣采用英偉達A100進行推理計算（峰值計算能力為312 TFLOPS FP16/FP32）。我們假設GPT-3每日5000萬活躍用戶，每個用戶提10個問題，每個問題回答400字，則測算結果為需要16255顆英偉達A100芯片。

GPT-4為多模態(tài)大模型，對算力要求相比GPT-3會提升10倍。GPT-4的收費是8kcontext為$0.03/1k token，是GPT-3.5-turbo收費的15倍（$0.002 / 1K tokens），因此我們推斷GPT-4的參數(shù)量是GPT-3的10倍以上，預計GPT-4的算力需求是GPT-3的10倍以上。

國產大模型有望帶動國內新增A100出貨量超200萬顆，使得中國算力市場空間增加2倍以上。我們假設國內百度，華為，阿里，騰訊，字節(jié)等前10位頭部大廠都會發(fā)布自己的大模型。

加速卡國產化率較低，美國制裁加速。根據IDC數(shù)據，2021年，中國加速卡市場中Nvidia占據超過80%市場份額。

英偉達推出中國特供版A800，算力與A100基本一致。2022年11月8日，英偉達推出A800 GPU，將是面向中國客戶的A100 GPU的替代產品。A800符合美國政府關于減少出口管制的明確測試，并且不能通過編程來超過它。A800 GPU在算力上與A100保持一致，但增加了40GB顯存的PCIe版本，但在NVLink互聯(lián)速度上，A800相較于A100下降了200GB/s的速度。同時，A800 80GB SXM版本目前已經不支持16塊GPU的成套系統(tǒng)，上限被限制在8塊?？偟膩砜矗珹800能夠滿足國內市場需求，是A100的平替版本。

3.數(shù)據：AI發(fā)展的驅動力

數(shù)據資源是AI產業(yè)發(fā)展的重要驅動力之一。數(shù)據集作為數(shù)據資源的核心組成部分，是指經過專業(yè)化設計、采集、清洗、標注和管理，生產出來的專供人工智能算法模型訓練的數(shù)據。

大模型的訓練數(shù)據主要來自于維基百科、書籍、期刊、Reddit社交新聞站點、Common Crawl和其他數(shù)據集。OpenAI雖沒有直接公開ChatGPT的相關訓練數(shù)據來源和細節(jié)，但可以從近些年業(yè)界公布過的其他大模型的訓練數(shù)據推測出ChatGPT的訓練數(shù)據來源，近幾年大模型訓練采用的數(shù)據來源基本類似。國內大模型的數(shù)據來源和自身優(yōu)勢業(yè)務有較強相關性，如百度文心一言大模型的來源主要基于互聯(lián)網公開數(shù)據，包括網頁、搜索、圖片、語音日均調用數(shù)據，以及知識圖譜等。

GPT4依靠大量多模態(tài)數(shù)據訓練。GPT4是一個大規(guī)模的多模態(tài)模型，相比于此前的語言生成模型，數(shù)據方面最大的改進之一就是突破純文字的模態(tài)，增加了圖像模態(tài)的輸入，具有強大的圖像理解能力，即在預練習階段輸入任意順序的文本和圖畫，圖畫經過Vision Encoder向量化、文本經過普通transformer向量化，兩者組成多模的句向量，練習目標仍為next-word generation。根據騰訊云開發(fā)者推測，GPT4訓練數(shù)據中還額外增加了包含正誤數(shù)學問題、強弱推理、矛盾一致陳述及各種意識形態(tài)的數(shù)據，數(shù)據量可能是GPT3.5（45TB數(shù)據）的190倍。

4.應用：AI的星辰大海

AI時代已經來臨，最大的市場將是被AI賦能的下游應用市場。如果說AI是第四次工業(yè)革命，那么正如前三次工業(yè)革命，最大的市場將是被AI賦能的下游應用市場。本輪革命性的產品ChatGPT將極大地提升內容生產力，率先落地于AIGC領域，打開其產業(yè)的想象邊界。文本生成、代碼生成、圖像生成以及智能客服將是能直接賦予給下游行業(yè)的能力，打開其產業(yè)想象的邊界。

最直接的應用在內容創(chuàng)作領域。ChatGPT的功能核心是基于文本的理解和分析，與內容創(chuàng)作行業(yè)趨同。ChatGPT可用于創(chuàng)建新聞文章、博客文章甚至小說等內容，它可以生成原創(chuàng)且連貫的內容，為內容創(chuàng)作者節(jié)省時間和資源。整體生成式AI已用于創(chuàng)建圖像，視頻，3D對象，Skyboxes等。這大大節(jié)省了創(chuàng)作時間，同時帶來了多樣的創(chuàng)作風格。

ChatGPT解決了機器人的痛點。ChatGPT開啟了一種新的機器人范式，允許潛在的非技術型用戶參與到回路之中，ChatGPT可以為機器人場景生成代碼。在沒有任何微調的情況下，利用LLM的知識來控制不同的機器人動作，以完成各種任務。ChatGPT大大改善了機器人對指令的理解，并且不同于以前單一、明確的任務，機器人可以執(zhí)行復合型的任務。

ChatGPT在芯片設計領域的應用。傳統(tǒng)的芯片設計強烈依賴模板而忽視了大量可以復用的優(yōu)秀數(shù)據，同時數(shù)據量大導致ChatGPT泛化性更好。此外芯片硬件模塊相對單一，有一些成熟范式，芯片設計代碼復雜但人工不足，這些都與ChatGPT有很好的互補。AI使得芯片開發(fā)成本降低、周期縮短，具備足夠多訓練數(shù)據和AI能力的芯片設計公司競爭優(yōu)勢可能會擴大。

審核編輯 ：李倩