千億參數(shù)多模態(tài)大模型，“紫東太初”規(guī)模化應(yīng)用加速

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）過(guò)去近一年時(shí)間，國(guó)內(nèi)外大模型技術(shù)越來(lái)越成熟，并逐步在不同場(chǎng)景中實(shí)現(xiàn)實(shí)現(xiàn)應(yīng)用。在國(guó)內(nèi)，作為早早布局多模態(tài)大模型的科研機(jī)構(gòu)，中國(guó)科學(xué)院自動(dòng)化研究所自2019年開(kāi)始在語(yǔ)音、文本、圖像等單模態(tài)大模型研究和應(yīng)用的基礎(chǔ)上，向多模態(tài)大模型攻關(guān)，并于2021年7月正式發(fā)布了全球首個(gè)千億參數(shù)多模態(tài)大模型紫東太初。

2023年6月16日，中國(guó)科學(xué)院自動(dòng)化研究所和武漢人工智能研究院發(fā)布紫東太初2.0。2023年8月，中科院旗下紫東太初的大模型位列首批通過(guò)《生成式人工智能服務(wù)管理暫行辦法》備案的名單，可正式上線面向公眾提供服務(wù)。如今，紫東太初已經(jīng)在不同領(lǐng)域?qū)崿F(xiàn)應(yīng)用。

紫東太初多模態(tài)大模型的技術(shù)進(jìn)展

紫東太初是全球首個(gè)圖文音（視覺(jué)-文本-語(yǔ)音）三模態(tài)預(yù)訓(xùn)練模型（OPT-Omni-Perception pre-Trainer），同時(shí)具備跨模態(tài)理解與跨模態(tài)生成能力。

紫東太初2.0在文本、圖像、語(yǔ)音三模態(tài)的基礎(chǔ)上，融入3D點(diǎn)云、視頻、信號(hào)等更多模態(tài)數(shù)據(jù)，現(xiàn)已支持多輪問(wèn)答、文本創(chuàng)作、圖像生成、3D 理解、信號(hào)分析等全面問(wèn)答任務(wù)，擁有更強(qiáng)的認(rèn)知、理解、創(chuàng)作能力，帶來(lái)全新互動(dòng)體驗(yàn)。

紫東太初多模態(tài)大模型擁有三大關(guān)鍵技術(shù)和六大核心能力。三大關(guān)鍵技術(shù)：多模態(tài)理解與生成多任務(wù)統(tǒng)一建模；面向國(guó)產(chǎn)化軟硬件的高效訓(xùn)練與部署；多模態(tài)預(yù)訓(xùn)練模型架構(gòu)設(shè)計(jì)與優(yōu)化。六大核心能力：多模態(tài)統(tǒng)一表示與語(yǔ)義關(guān)聯(lián)；預(yù)訓(xùn)練模型網(wǎng)絡(luò)架構(gòu)合計(jì)；模型適配與分布式訓(xùn)練；跨模態(tài)內(nèi)容轉(zhuǎn)化與生成；標(biāo)注受限自監(jiān)督模型學(xué)習(xí)；模型輕量化與推理加速。

近期，為推動(dòng)數(shù)字技術(shù)與行業(yè)應(yīng)用深度融合，提供更加先進(jìn)的新一代人工智能解決方案，助力產(chǎn)業(yè)升級(jí)和發(fā)展，武漢人工智能研究院基于“紫東太初”全模態(tài)大模型，搭建全棧國(guó)產(chǎn)化“紫東太初”大模型開(kāi)放服務(wù)平臺(tái)。“紫東太初”跨模態(tài)通用人工智能平臺(tái)以多模態(tài)大模型為核心，基于全棧國(guó)產(chǎn)化基礎(chǔ)軟硬件平臺(tái)，可支撐全場(chǎng)景AI應(yīng)用。

武漢人工智能研究院院長(zhǎng)王金橋不久前表示，武漢人工智能研究院是以科技創(chuàng)新與成果轉(zhuǎn)化雙輪驅(qū)動(dòng)的新型研發(fā)機(jī)構(gòu)，作為湖北省人工智能產(chǎn)業(yè)鏈“鏈創(chuàng)”平臺(tái)，基于“紫東太初”多模態(tài)大模型，在智能制造、智慧醫(yī)療等多個(gè)領(lǐng)域打造了典型示范應(yīng)用，并搭建全棧國(guó)產(chǎn)化自主可控的紫東太初大模型開(kāi)放服務(wù)平臺(tái)，全力打造湖北省數(shù)字經(jīng)濟(jì)智能底座。

“紫東太初”大模型正在賦能千行百業(yè)

據(jù)介紹，目前紫東太初已經(jīng)在各行各業(yè)中實(shí)現(xiàn)應(yīng)用。據(jù)武漢人工智能研究院官網(wǎng)介紹，該機(jī)構(gòu)基于“紫東太初”多模態(tài)大模型攜手長(zhǎng)安歐尚，共同引入了元宇宙的概念，創(chuàng)造出YYDS虛擬數(shù)字人，可以通過(guò)復(fù)刻自己或者親人的形象和聲音，捏出專屬的語(yǔ)音助手。

攜手杭州市文廣旅游局、杭州移動(dòng)，基于“紫東太初”多模態(tài)大模型打造文旅場(chǎng)景首個(gè)多模態(tài)AI數(shù)字人“杭小憶”，為杭州文化旅游提供具有親和力、感染力、吸引力的代言人形象。利用AR/VR技術(shù)還原南宋御街歷史風(fēng)貌，包含陶瓷燒制釉變、活字印刷、特色小吃等場(chǎng)景。

在紡織制造領(lǐng)域，該機(jī)構(gòu)與魏橋集團(tuán)合作了布匹缺陷檢測(cè)設(shè)備，該設(shè)備通過(guò)接入“紫東太初”大模型的質(zhì)檢攝像頭識(shí)別70多種布匹瑕疵，能夠在較短時(shí)間內(nèi)就滿足生產(chǎn)的精度要求，在驗(yàn)布檢驗(yàn)環(huán)節(jié)相比人工實(shí)現(xiàn)了質(zhì)的突破，瑕疵識(shí)別檢出率高達(dá)95%。還能夠基于聲音發(fā)現(xiàn)瑕疵，提升紡織行業(yè)織布、驗(yàn)布效率，助力紡織工業(yè)質(zhì)檢。

在醫(yī)療領(lǐng)域，“紫東太初-火石數(shù)智燧石醫(yī)療大模型”最新應(yīng)用成果于近期正式發(fā)布，九州通醫(yī)療器械集團(tuán)項(xiàng)目總監(jiān)徐琳介紹，對(duì)于骨科疾病治療場(chǎng)景來(lái)說(shuō)，按照監(jiān)管要求，目前很多醫(yī)院設(shè)備科的工作人員，是拿著放大鏡一顆一顆地去數(shù)骨釘?shù)群牟?，統(tǒng)計(jì)使用數(shù)量、類型，驗(yàn)收器械的批號(hào)和實(shí)物是否一致，這種核驗(yàn)過(guò)程不夠高效快捷。

她透露，今年3月起，九州通與武漢人工智能研究院聯(lián)合進(jìn)行技術(shù)研發(fā)，歷經(jīng)半年，完成骨科內(nèi)植入耗材系統(tǒng)“骨科嫦娥”智慧系統(tǒng)研發(fā)。系統(tǒng)利用人工智能、深度神經(jīng)卷積以及大模型等技術(shù)，在一個(gè)完整手術(shù)治療周期內(nèi)，對(duì)骨科復(fù)雜植入物和工具進(jìn)行智慧識(shí)別、全程追蹤、報(bào)表統(tǒng)計(jì)、能效分析、數(shù)據(jù)查詢、共享協(xié)同等閉環(huán)式、智慧化高效管理，試行效果良好。

“江城洛神”是基于“紫東太初”大模型打造的人工智能內(nèi)容創(chuàng)作平臺(tái)，通過(guò)多模態(tài)技術(shù)實(shí)現(xiàn)圖像編輯與生成，輔助內(nèi)容生產(chǎn)，用戶無(wú)需任何專業(yè)技能，只需輕輕一點(diǎn)，便可輕松創(chuàng)造出屬于自己的藝術(shù)作品，可廣泛運(yùn)用于設(shè)計(jì)、影視、游戲等多個(gè)領(lǐng)域。

以室內(nèi)裝修設(shè)計(jì)領(lǐng)域?yàn)槔?，只需提供一張戶型圖，“江城洛神”就可自動(dòng)生成多種裝修設(shè)計(jì)樣式，提示詞越多、越精細(xì)，生成質(zhì)量就越高，還能根據(jù)不同提示自動(dòng)對(duì)結(jié)果進(jìn)行編輯。

王金橋表示，“紫東太初”大模型正在賦能千行百業(yè)，推動(dòng)數(shù)字經(jīng)濟(jì)全面發(fā)展。“紫東太初”人工智能開(kāi)放服務(wù)平臺(tái)目前已成功應(yīng)用于汽車制造質(zhì)檢、媒體信息服務(wù)、文化旅游、手語(yǔ)教育、紡織生產(chǎn)質(zhì)檢、醫(yī)療器械等10余個(gè)領(lǐng)域，形成規(guī)?；瘧?yīng)用落地。

小結(jié)

人工智能未來(lái)的10年將是生成式人工智能的10年，如今國(guó)內(nèi)外各大科技巨頭及AI企業(yè)已經(jīng)從初期招兵買馬啟動(dòng)大模型產(chǎn)品的技術(shù)研發(fā)，進(jìn)入到拓展應(yīng)用場(chǎng)景的階段。如今市面上已經(jīng)發(fā)布的大模型有幾百款。然而，通用大模型就如早期的操作系統(tǒng)一樣，最終只會(huì)需要一兩個(gè)或者兩三個(gè)。未來(lái)，就看誰(shuí)能夠真正了解市場(chǎng)需求，最終脫穎而出了。