大模型時(shí)代，商湯大裝置重構(gòu)AI基礎(chǔ)設(shè)施與服務(wù)

大模型時(shí)代，怎樣的基礎(chǔ)設(shè)施與服務(wù)才能滿足行業(yè)所需？

4月9~11日，第十二屆中國(guó)電子信息博覽會(huì)（CITE 2024）在深圳舉行，商湯科技大裝置事業(yè)群首席運(yùn)營(yíng)官梁守星受邀參加博覽會(huì)期間的“2024 AI算力產(chǎn)業(yè)大會(huì)”，分享了商湯大裝置在AI基礎(chǔ)設(shè)施與服務(wù)領(lǐng)域的探索和實(shí)踐成果。

打造“數(shù)據(jù)、算力、算法”

三位一體的AI基礎(chǔ)設(shè)施

數(shù)據(jù)、模型、算力的量變，引發(fā)了AI行業(yè)的質(zhì)變。

比如，大模型的語(yǔ)料規(guī)模5年間翻了1000倍，模型參數(shù)量更是百萬(wàn)倍的增長(zhǎng)，而算力也呈現(xiàn)數(shù)十萬(wàn)倍的增長(zhǎng)趨勢(shì)。

在這一趨勢(shì)下，以基礎(chǔ)算力、網(wǎng)絡(luò)、存儲(chǔ)服務(wù)為核心的傳統(tǒng)云架構(gòu)，已難以滿足AI行業(yè)的需求。AI時(shí)代的基礎(chǔ)設(shè)施，需要做到“數(shù)據(jù)、算力、算法”三要素的一體化。

數(shù)據(jù)管理是一項(xiàng)復(fù)雜而重要的任務(wù)，涉及接入、采集、標(biāo)注等體系化流程。而且相較英文，中文語(yǔ)料的變量更加多樣，增加一個(gè)標(biāo)點(diǎn)就可能改變整個(gè)語(yǔ)境，進(jìn)一步增加了數(shù)據(jù)管理難題。

對(duì)此，商湯大裝置打造了百億級(jí)非結(jié)構(gòu)化的AI數(shù)據(jù)管理平臺(tái)，并支持秒級(jí)的數(shù)據(jù)可視檢索，同時(shí)還提供數(shù)據(jù)安全整套解決方案和優(yōu)質(zhì)公開(kāi)數(shù)據(jù)集，讓數(shù)據(jù)管理更便捷、模型訓(xùn)練更高效。

在算力層面，商湯前瞻布局SenseCore商湯大裝置，擁有高達(dá)12,000 petaFLOPS的算力規(guī)模，超過(guò)4.5萬(wàn)塊GPU，為商湯自身大模型研發(fā)提供了豐沛算力的同時(shí)，也支持外部客戶訓(xùn)練大模型和應(yīng)用部署，國(guó)內(nèi)主流大模型客戶達(dá)30家以上。

基于商湯大裝置及長(zhǎng)期經(jīng)驗(yàn)積累，商湯構(gòu)建了高效、完備、易用的大模型生產(chǎn)工具鏈，實(shí)現(xiàn)了基礎(chǔ)層、模型層、串聯(lián)層、應(yīng)用層的標(biāo)準(zhǔn)化體系。

不僅如此，商湯還提供涵蓋從訓(xùn)練系統(tǒng)優(yōu)化、模型訓(xùn)練、技術(shù)咨詢的全鏈條AI專家服務(wù)體系，滿足各行各業(yè)不斷涌現(xiàn)的大模型開(kāi)發(fā)和應(yīng)用需求。

在商湯大裝置的支持下，商湯在算法層面也實(shí)現(xiàn)了高效迭代?！叭杖招耂enseNova 4.0”在代碼編寫、數(shù)據(jù)分析和醫(yī)療問(wèn)答等多個(gè)場(chǎng)景中，達(dá)到了與GPT-4相匹配的能力水平。本月，商湯日日新大模型體系還將發(fā)布最新更新。

助力各行各業(yè)

降本增效、產(chǎn)業(yè)升級(jí)

根據(jù)國(guó)際知名調(diào)研機(jī)構(gòu)弗若斯特沙利文（Frost & Sullivan）聯(lián)合頭豹研究院發(fā)布的《2023年中國(guó)AI開(kāi)發(fā)平臺(tái)市場(chǎng)報(bào)告》，商湯大裝置成為AI開(kāi)發(fā)平臺(tái)領(lǐng)軍者，市場(chǎng)綜合競(jìng)爭(zhēng)表現(xiàn)國(guó)內(nèi)第一，全球位居第二，僅次于亞馬遜云。

作為AI原生時(shí)代稀缺的大模型基礎(chǔ)設(shè)施，商湯大裝置正在助力各行各業(yè)客戶實(shí)現(xiàn)降本增效和產(chǎn)業(yè)升級(jí)：

例如，助力某大模型客戶在1個(gè)月內(nèi)完成500B tokens、千億規(guī)模參數(shù)LLM預(yù)訓(xùn)練，顯著提升自動(dòng)應(yīng)答質(zhì)量提升。

助力某電力客戶優(yōu)化電力生產(chǎn)和運(yùn)維流程、降低客戶生產(chǎn)成本和運(yùn)維難度、提升電網(wǎng)運(yùn)行效率和穩(wěn)定性，促進(jìn)新能源集成和消納。

此外，商湯還與重慶南岸區(qū)聯(lián)合打造重慶AIDC，助力重慶AIDC成為國(guó)產(chǎn)化示范點(diǎn)，賦能當(dāng)?shù)卣?wù)、民生、經(jīng)濟(jì)等領(lǐng)域數(shù)字化應(yīng)用及西南地區(qū)重點(diǎn)產(chǎn)業(yè)升級(jí)。

商湯大裝置致力于打造高效率、低成本、規(guī)?；?/strong>的下一代AI基礎(chǔ)設(shè)施產(chǎn)品與服務(wù)，構(gòu)建豐富的產(chǎn)業(yè)上下游生態(tài)，共建、共創(chuàng)AI未來(lái)發(fā)展。