云天勵(lì)飛邊緣AI推動(dòng)大模型規(guī)?；瘧?yīng)用落地

2024年毫無(wú)疑問(wèn)是大模型應(yīng)用落地元年，面對(duì)靈活多變的任務(wù)和復(fù)雜的場(chǎng)景環(huán)境，用邊緣AI打造低成本、高效能、強(qiáng)落地的大模型應(yīng)用是關(guān)鍵。

2024慕尼黑上海電子展在上海隆重開(kāi)幕。在首日的“2024算力技術(shù)創(chuàng)新發(fā)展生態(tài)大會(huì)”上，云天勵(lì)飛受邀發(fā)表主題演講，全面系統(tǒng)地介紹了公司以邊緣AI作為推動(dòng)大模型產(chǎn)業(yè)規(guī)模化應(yīng)用的切入點(diǎn)，圍繞國(guó)產(chǎn)邊緣AI芯片在架構(gòu)和技術(shù)上進(jìn)行的創(chuàng)新和探索。

技術(shù)平臺(tái)如何打造?應(yīng)用驅(qū)動(dòng)是關(guān)鍵

科技創(chuàng)新日新月異，但技術(shù)發(fā)展與迭代若沒(méi)有應(yīng)用落地和使用場(chǎng)景的支撐，就像無(wú)本之木沒(méi)有根基。云天勵(lì)飛深入場(chǎng)景落地、沉淀技術(shù)平臺(tái)，在公共安全、城市治理、智慧交通、人居生活等行業(yè)落地多個(gè)標(biāo)桿案例，同時(shí)率先提出“1+1+N”自進(jìn)化城市智能體的實(shí)踐框架。

在此過(guò)程中，云天勵(lì)飛堅(jiān)持自主研發(fā)芯片，沉淀 “算法芯片化” 的核心能力。這里的“算法芯片化”并不是簡(jiǎn)單的“算法+芯片”，而是基于對(duì)場(chǎng)景的理解，對(duì)應(yīng)用中關(guān)鍵計(jì)算負(fù)載——算法的量化分析，將芯片設(shè)計(jì)者的理念、思想與算法相融合的方法論和芯片設(shè)計(jì)流程，它能夠讓AI芯片在實(shí)際應(yīng)用中發(fā)揮更優(yōu)的效果。

在算法層面，云天勵(lì)飛構(gòu)建了應(yīng)用落地驅(qū)動(dòng)的算法平臺(tái)，開(kāi)發(fā)了“云天天書(shū)”大模型。

在神經(jīng)網(wǎng)絡(luò)處理器和芯片層面，云天勵(lì)飛通過(guò)自定義指令集、處理器架構(gòu)以及工具鏈的協(xié)同設(shè)計(jì)，構(gòu)建了算法驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)處理器平臺(tái)和面向邊緣AI的芯片平臺(tái)，完成了四代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的技術(shù)迭代，自主研發(fā)了三代邊緣AI芯片，并陸續(xù)投入商用。

推動(dòng)大模型規(guī)模化落地 邊緣AI是關(guān)鍵

隨著人工智能進(jìn)入大模型時(shí)代，多模態(tài)模型和具身多模態(tài)模型成為人工智能重要的技術(shù)方向。同時(shí)，在大模型產(chǎn)業(yè)規(guī)?；瘧?yīng)用落地的驅(qū)動(dòng)下，算力需求也從云側(cè)向邊緣側(cè)和終端擴(kuò)展。

在大模型領(lǐng)域，“云天天書(shū)”大模型采用通用大模型、行業(yè)大模型、場(chǎng)景大模型的三層架構(gòu)設(shè)計(jì)，包含了語(yǔ)言大模型、視覺(jué)大模型、多模態(tài)大模型等不同系列，能提供十億、百億、千億級(jí)參數(shù)量的多尺寸大模型，實(shí)現(xiàn)對(duì)多個(gè)行業(yè)賦能，并支持各類場(chǎng)景的快速部署。

通過(guò)首創(chuàng)的SPACE高性能推理引擎，可以在保證精度的同時(shí)，實(shí)現(xiàn)更高并發(fā)、更快推理、更低成本的行業(yè)應(yīng)用方案。云天勵(lì)發(fā)構(gòu)建了完備的大模型安全體系，“云天天書(shū)”大模型也已正式通過(guò)中央網(wǎng)信辦備案。

通過(guò)可微調(diào)的場(chǎng)景大模型的多種能力，云天勵(lì)飛打造了具有專業(yè)領(lǐng)域知識(shí)的智能體，實(shí)現(xiàn)公共安全、智慧政務(wù)、城市治理、智慧交通、AI教育等多個(gè)行業(yè)的智能應(yīng)用賦能。

為邊緣AI筑牢算力底座 芯片創(chuàng)新是關(guān)鍵

云天勵(lì)飛大模型的行業(yè)應(yīng)用落地實(shí)踐中，發(fā)現(xiàn)推理微調(diào)算力需求將超過(guò)通用訓(xùn)練算力的需求，“云邊端”的混合協(xié)同部署將成為趨勢(shì)，同時(shí)由于專用推理微調(diào)硬件的價(jià)格優(yōu)勢(shì)和能效優(yōu)勢(shì)，邊緣的專用推理微調(diào)芯片將有廣闊市場(chǎng)空間。云天勵(lì)飛以終為始，將邊緣推理微調(diào)作為芯片創(chuàng)新的切入點(diǎn)。

從N個(gè)場(chǎng)景、N套算法，到N個(gè)場(chǎng)景、1套算法，從“教了才會(huì)”到無(wú)師自通，從硬件、軟件、人力的大量投入到0成本調(diào)用，支撐“云天天書(shū)”大模型在多個(gè)行業(yè)快速落地應(yīng)用，推理微調(diào)芯片功不可沒(méi)。云天勵(lì)飛DeepEdge10系列芯片，正是這樣的存在。

DeepEdge10系列芯片基于國(guó)產(chǎn)先進(jìn)工藝，集成了自研神經(jīng)網(wǎng)絡(luò)處理器NNP400T，不僅采用了高集成度的 SoC 主控級(jí)設(shè)計(jì)，還在國(guó)內(nèi)首創(chuàng)采用 Die-to-Die 高速互聯(lián)架構(gòu)和 Chiplet 先進(jìn)封裝設(shè)計(jì)，實(shí)現(xiàn)了片內(nèi)算力的靈活拓展。同時(shí)，還支持基于 Chip-to-Chip 組網(wǎng)互聯(lián)進(jìn)行系統(tǒng)擴(kuò)展，可滿足千億級(jí)參數(shù)大模型的邊緣微調(diào)部署需求。

通過(guò)架構(gòu)創(chuàng)新，DeepEdge10系列芯片實(shí)現(xiàn)了純國(guó)產(chǎn)芯片在邊緣AI場(chǎng)景的突圍，賦能邊緣全場(chǎng)景的智能應(yīng)用，推動(dòng)大模型場(chǎng)景的規(guī)模化落地。

目前，針對(duì)不同邊緣應(yīng)用場(chǎng)景，云天勵(lì)飛正式推出支持多種算力性能和多種內(nèi)存容量配置的DeepEdge10系列芯片，賦能大模型規(guī)?；瘧?yīng)用落地，促進(jìn)中國(guó)人工智能高質(zhì)量發(fā)展，云天勵(lì)飛期待和各個(gè)行業(yè)的生態(tài)伙伴共同努力。