算力即服務(wù)，首個(gè)基于RISC-V算力的行業(yè)大模型生態(tài)系統(tǒng)問世

近年來，我國始終將“數(shù)字化”“智能化”擺在關(guān)鍵位置，一再強(qiáng)調(diào)加快數(shù)字經(jīng)濟(jì)發(fā)展，推進(jìn)數(shù)字產(chǎn)業(yè)化、產(chǎn)業(yè)數(shù)字化，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合。

2022年OpenAI發(fā)布的ChatGPT及其背后的GPT系列預(yù)訓(xùn)練基座大語言模型，引領(lǐng)了從判別式小模型轉(zhuǎn)向生成式大模型的發(fā)展熱潮。各行各業(yè)紛紛嘗試借助基座大模型打造垂類大模型行業(yè)應(yīng)用，期望給業(yè)務(wù)帶來新的突破，同時(shí)又深深擔(dān)心算力供應(yīng)的穩(wěn)定性和安全可靠性。

廣州希姆半導(dǎo)體科技有限公司（后文中簡(jiǎn)稱希姆計(jì)算）作為一家致力于研發(fā)AI領(lǐng)域?qū)Ｓ眉軜?gòu)處理器的公司，始終深耕RISC-V路線并以商業(yè)落地為導(dǎo)向，是少數(shù)從芯片指令集到上層應(yīng)用全面布局的創(chuàng)新型企業(yè)。隨著大模型的火熱，希姆計(jì)算敏銳的覺察到各行業(yè)對(duì)優(yōu)質(zhì)且安全可靠算力服務(wù)的需求，積極跟進(jìn)AI行業(yè)前沿技術(shù)并落地行業(yè)應(yīng)用，旨在基于RISC-V本身強(qiáng)大的自主可控標(biāo)準(zhǔn)化優(yōu)勢(shì)通過軟硬一體的大模型解決方案為政企客戶的數(shù)智化轉(zhuǎn)型賦能。

大模型、智能體、數(shù)據(jù)治理——

政企場(chǎng)景落地的關(guān)鍵

在數(shù)智化轉(zhuǎn)型的大潮中，政企面臨著處理與分析海量數(shù)據(jù)的挑戰(zhàn)，并且普遍存在業(yè)務(wù)邏輯復(fù)雜、定制化要求高、部門協(xié)同難度大、數(shù)據(jù)壁壘難以打破等困難，單一技術(shù)手段難以應(yīng)對(duì)這種復(fù)雜的業(yè)務(wù)場(chǎng)景，亟需平臺(tái)級(jí)產(chǎn)品促進(jìn)業(yè)務(wù)發(fā)展、提升競(jìng)爭(zhēng)力。

經(jīng)過對(duì)政企場(chǎng)景進(jìn)行了深入調(diào)研，希姆計(jì)算設(shè)計(jì)開發(fā)了希姆九州大模型（后文中簡(jiǎn)稱九州）、希姆玄數(shù)數(shù)據(jù)治理平臺(tái)（后文中簡(jiǎn)稱玄數(shù)）以及希姆擎天智能體開發(fā)平臺(tái)（后文中簡(jiǎn)稱擎天），三者相輔相成，共同構(gòu)建了一個(gè)高效的數(shù)據(jù)處理生態(tài)系統(tǒng)，覆蓋了大模型應(yīng)用開發(fā)的完整生命周期，不僅解決了單一技術(shù)手段難以應(yīng)對(duì)復(fù)雜業(yè)務(wù)場(chǎng)景的問題，而且極大地促進(jìn)了從數(shù)據(jù)到價(jià)值轉(zhuǎn)化的過程。

這套系統(tǒng)有機(jī)結(jié)合共同解決基座大模型應(yīng)用中常見的“幻覺問題”，滿足政企業(yè)務(wù)對(duì)準(zhǔn)確率的苛刻要求，推動(dòng)政企數(shù)智化轉(zhuǎn)型，提升整體競(jìng)爭(zhēng)力。

九州是面向政企領(lǐng)域的垂直大模型，基于20億條垂直領(lǐng)域與開源語料深度訓(xùn)練而成，不僅掌握了豐富的通用知識(shí)，還特別強(qiáng)化了對(duì)垂類場(chǎng)景的理解，能夠精準(zhǔn)把握地方政策法規(guī)、理解業(yè)務(wù)場(chǎng)景意圖并生成相關(guān)內(nèi)容。在企業(yè)內(nèi)部管理、客戶服務(wù)、產(chǎn)品推薦，數(shù)據(jù)檢索查詢等場(chǎng)景中，九州能夠更準(zhǔn)確地理解企業(yè)特定的業(yè)務(wù)需求和術(shù)語。

九州不僅助力政企數(shù)字化轉(zhuǎn)型，提升業(yè)務(wù)質(zhì)量，還實(shí)現(xiàn)了一種全新的知識(shí)沉淀的機(jī)制來幫助業(yè)務(wù)部門更高效和透明的提供服務(wù)。

玄數(shù)集成了強(qiáng)大的數(shù)據(jù)智能抽取與知識(shí)增強(qiáng)功能。通過實(shí)體抽取、關(guān)系抽取、屬性抽取及屬性對(duì)齊技術(shù)，玄數(shù)能夠高效地從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中提取關(guān)鍵信息。此外，利用屬性增強(qiáng)和關(guān)系增強(qiáng)技術(shù)，可以進(jìn)一步豐富和完善數(shù)據(jù)的知識(shí)體系，提升數(shù)據(jù)的可用性和價(jià)值。

玄數(shù)兼容諸多大小模型，涵蓋了自然語言處理（NLP）、自然語言生成（NLG）及命名實(shí)體識(shí)別（NER）、OCR等多個(gè)領(lǐng)域的任務(wù)，確保平臺(tái)在文本理解、內(nèi)容生成、信息檢索等方面的卓越表現(xiàn)。客戶可以輕松實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的價(jià)值最大化，促進(jìn)業(yè)務(wù)流程優(yōu)化與決策支持。

擎天作為業(yè)界領(lǐng)先的智能體開發(fā)平臺(tái)集成了智能體構(gòu)建、知識(shí)管理、工作流編排等核心功能，通過結(jié)合九州和多種小模型（如BERT、Embedding和Rerank模型），提供高效、精準(zhǔn)的數(shù)據(jù)處理和服務(wù)能力。在工作流編排模塊提供了豐富的交互界面和接口，支持快速在搭建各種業(yè)務(wù)場(chǎng)景的工作流，同時(shí)支持低代碼開發(fā)。

而在Agent開發(fā)管理方面，擎天兼容主流的Agent開發(fā)范式，可以幫助政企客戶快速搭建高階智能體應(yīng)用。在知識(shí)管理方面，擎天除了支持標(biāo)準(zhǔn)的向量數(shù)據(jù)庫，還結(jié)合政企場(chǎng)景的業(yè)務(wù)提供了先進(jìn)高效的知識(shí)圖譜檢索算法，從而提高推理的準(zhǔn)確性和可靠性。

希姆計(jì)算基于擎天、九州、玄數(shù)平臺(tái)，為廣州市黃埔區(qū)開發(fā)了智能政務(wù)問答助手，利用政務(wù)圖譜能夠從海量的政務(wù)公共數(shù)據(jù)中提煉關(guān)鍵信息，在落地中涵蓋了37個(gè)政府部門的2000余項(xiàng)事項(xiàng)以及數(shù)千份政策文件和指南。無論是政策咨詢還是具體辦事流程，該助手都能根據(jù)政務(wù)圖譜提供準(zhǔn)確的答案。

相比傳統(tǒng)的問答助手，該助手將政務(wù)咨詢準(zhǔn)確率從30%左右提高到95%以上，辦事體驗(yàn)更加流暢自然，減少了對(duì)人工客服的需求，促進(jìn)了政務(wù)知識(shí)沉淀。相對(duì)于傳統(tǒng)軟件系統(tǒng)，智能體可以更好的服務(wù)業(yè)務(wù)應(yīng)用。

服務(wù)政企客戶的經(jīng)驗(yàn)來之不易，在研發(fā)過程中面臨著諸多挑戰(zhàn)，研發(fā)副總裁王得科說：“政企垂直場(chǎng)景的挑戰(zhàn)是要做一個(gè)真正‘懂’業(yè)務(wù)的智能體，我們不僅提供了一套智能系統(tǒng)，也為客戶引入了一種全新的工作模式。這一過程要求我們對(duì)客戶的業(yè)務(wù)有深入的理解，并將這種理解深度結(jié)合到大模型應(yīng)用的開發(fā)實(shí)踐中。”

支撐一個(gè)AI應(yīng)用，需要多少技術(shù)棧

AI的發(fā)展經(jīng)歷了數(shù)次高潮和低谷，在第三次高潮中深度學(xué)習(xí)是主流的技術(shù)路線。隨著ChatGPT印證了Scaling Law以及隨之產(chǎn)生的智能涌現(xiàn)能力，大模型的智能上升到了前所未有的量級(jí)，其背后采用的Transformer算法和預(yù)訓(xùn)練大模型的生成式AI技術(shù)，讓這股發(fā)展勢(shì)頭達(dá)到了前所未有的高度，大模型的規(guī)模也屢創(chuàng)新高。

大模型規(guī)模的增長(zhǎng)不斷刷新著算力需求的上限，隨之而來的算力焦慮正在困擾整個(gè)行業(yè)。如果說AI應(yīng)用是露出海面的冰山一角，支持AI應(yīng)用以及大模型的算力解決方案、智算集群乃至AI芯片就是冰山穩(wěn)穩(wěn)浮起的底層保障。

希姆計(jì)算從公司成立伊始就堅(jiān)持軟硬一體自主可控的發(fā)展方向，支撐九州、玄數(shù)、擎天的底層核心軟硬件全鏈路自主研發(fā)，基于自研AI計(jì)算矩陣擴(kuò)展指令集設(shè)計(jì)了STCP920芯片、推理卡以及配套軟件，為智算中心量身定制了希姆智算云平臺(tái)，提供了落地大模型應(yīng)用的RISC-V創(chuàng)新方案，是RISC-V軟硬一體技術(shù)創(chuàng)新的代表性企業(yè)。

RISC-V，數(shù)智時(shí)代的天選之子

如果說x86架構(gòu)是抓住了個(gè)人PC普及的機(jī)遇，ARM抓住了移動(dòng)時(shí)代的浪潮，那么當(dāng)前隨著AI等技術(shù)的快速發(fā)展，RISC-V迎來新的發(fā)展浪潮。

政企業(yè)務(wù)需要穩(wěn)定高效靈活的算力基座，自主可控的底層技術(shù)，長(zhǎng)期安全可持續(xù)的發(fā)展路徑以及逐步繁榮和國際接軌的生態(tài)體系。RISC-V+AI完美的滿足政企業(yè)務(wù)的這些需求，是解決當(dāng)下AI算力焦慮的最佳方案，也是我國獨(dú)立發(fā)展大芯片的重要技術(shù)路線。

希姆計(jì)算在創(chuàng)業(yè)時(shí)就瞄準(zhǔn)了基于RISC-V研發(fā)AI領(lǐng)域?qū)Ｓ眉軜?gòu)處理器的切入點(diǎn)，突破了SIMD向量指令、GEMM通用矩陣計(jì)算以及深度學(xué)習(xí)模型中的算子計(jì)算加速等技術(shù)難關(guān)，自主研發(fā)并在全球范圍內(nèi)率先開源了AI計(jì)算矩陣擴(kuò)展指令集，完成了基于RISC-V指令集的標(biāo)量、向量、張量的一體化指令集架構(gòu)，也形成了自身的核心競(jìng)爭(zhēng)力。

憑借對(duì)RISC-V生態(tài)發(fā)展的深度參與和貢獻(xiàn)的技術(shù)成果，希姆計(jì)算獲得了行業(yè)的高度認(rèn)可，先后被接納為RISC-V國際基金會(huì)最高級(jí)別會(huì)員、RISC-V董事會(huì)成員單位、RISC-V TSC技術(shù)委員會(huì)成員單位、RISC-V軟件應(yīng)用與工具委員會(huì)主席單位，RISC-V AI/ML專委會(huì)主席單位和RISC-V Matrix TG核心成員單位。

同時(shí)希姆計(jì)算在國內(nèi)積極推進(jìn)RISC-V的廣泛應(yīng)用，先后當(dāng)選中標(biāo)協(xié)RISC-V工作委員會(huì)副會(huì)長(zhǎng)單位、中國智能計(jì)算產(chǎn)業(yè)聯(lián)盟副秘書長(zhǎng)單位，以及全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)-人工智能分技術(shù)委員會(huì)單位委員和多樣性算力產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)成員單位。

基于一體化指令集架構(gòu)，希姆計(jì)算實(shí)現(xiàn)了NeuralScale NPC核心架構(gòu)，并推出了STCP920芯片和推理卡。STCP920推理卡是面向云端AI推理計(jì)算的板卡級(jí)產(chǎn)品，具有高能效、低延時(shí)等優(yōu)勢(shì)，可廣泛應(yīng)用于需要AI推理加速的場(chǎng)景中。

此外，希姆計(jì)算針為STCP920研發(fā)了完整的軟件工具鏈，充分發(fā)掘指令集的優(yōu)勢(shì)及硬件的潛力，覆蓋了深度學(xué)習(xí)模型的開發(fā)、部署、運(yùn)維全流程，有力的支撐了上層業(yè)務(wù)。

針對(duì)常見的深度學(xué)習(xí)模型，希姆計(jì)算提供了MLTC編譯器套件，通過先進(jìn)的多層IR設(shè)計(jì)搭配先進(jìn)的自動(dòng)優(yōu)化技術(shù)，不僅能夠兼容不同格式的深度學(xué)習(xí)框架，同時(shí)可以使得這些模型在希姆計(jì)算的硬件上達(dá)到最佳性能水平。

而針對(duì)大模型，希姆計(jì)算亦開發(fā)了專用的推理加速框架 STC_LLM，根據(jù)大模型的特點(diǎn)，在Kernel層、調(diào)度層引入了多種大模型專用的優(yōu)化技術(shù)，大大提升了大模型的推理表現(xiàn)，最高可以提升300%的性能。

智算中心，高效釋放算力價(jià)值

AI加速卡的理論算力往往是大家最關(guān)心的一項(xiàng)指標(biāo)，也是各大廠商發(fā)布產(chǎn)品時(shí)宣傳的重點(diǎn)，但是理論算力并非客戶最終能用到的算力。對(duì)于大模型的大規(guī)模算力需求，往往通過智算集群來滿足，絕不是卡的簡(jiǎn)單堆砌，更加強(qiáng)調(diào)軟硬協(xié)同的系統(tǒng)、全棧解決方案中各層級(jí)的優(yōu)化功力以及最終的算力服務(wù)質(zhì)量。

希姆計(jì)算始終以商業(yè)落地為導(dǎo)向，無論是硬件產(chǎn)品還是軟件產(chǎn)品，設(shè)計(jì)之初就朝著端到端全棧解決方案的方向齊頭并進(jìn)。研發(fā)副總裁王得科表示："打造全棧解決方案是一個(gè)漫長(zhǎng)而復(fù)雜的過程，要求我們從算力即服務(wù)的角度出發(fā)，為各個(gè)產(chǎn)品和功能設(shè)計(jì)合理的邊界?！?/p>

希姆計(jì)算以算力即服務(wù)為交付理念，通過成熟的軟件生態(tài)，簡(jiǎn)化模型部署的鏈路，降低客戶開發(fā)AI應(yīng)用的復(fù)雜度，對(duì)信創(chuàng)/非信創(chuàng)的軟硬件生態(tài)均有良好的適配和支持，幫助客戶打通從模型開發(fā)到部署的最后一公里，方便一鍵式發(fā)布、部署模型服務(wù)。

希姆智算云平臺(tái)是希姆計(jì)算面向智算中心研發(fā)的專業(yè)算力平臺(tái)，旨在有機(jī)調(diào)動(dòng)智算集群中的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源，形成云上隨用隨取的AI算力，應(yīng)對(duì)當(dāng)前AI算力中心建設(shè)中標(biāo)準(zhǔn)不一、技術(shù)深度不足、交付周期冗長(zhǎng)等一系列挑戰(zhàn)。

智算云平臺(tái)的設(shè)計(jì)采用了云原生的理念，通過容器化部署、微服務(wù)架構(gòu)、分布式存儲(chǔ)和計(jì)算資源的動(dòng)態(tài)調(diào)度等技術(shù)，可以支持超大規(guī)模集群的部署，最高支持萬卡規(guī)模的集群，典型場(chǎng)景下可以做到秒級(jí)切換，深度學(xué)習(xí)負(fù)載可以達(dá)到90%以上的利用率，充分發(fā)揮硬件能力。

希姆計(jì)算充分考慮了國內(nèi)外的模型生態(tài)和落地場(chǎng)景，建設(shè)了高度適配自研硬件的模型倉庫STC-ModelZoo，為客戶提供開箱即用的各類SOTA模型，包含了傳統(tǒng)的計(jì)算機(jī)視覺CV、自然語言處理NLP、搜索推薦、語音、多模態(tài)等模型200余個(gè)，以及當(dāng)前熱門的各種開源大語言模型，LLaMA、Qwen、Baichuan、ChatGLM、InternLM、Mixtral、MOSS-Moon、Phi、XVERSE、Yi等系列30余個(gè)，參數(shù)量規(guī)格從幾B到幾十B不等。

針對(duì)私有模型，希姆計(jì)算提供了轉(zhuǎn)換工具（STC-TOOLKIT），幫助客戶方便地遷移至希姆計(jì)算生態(tài)，快速部署私有模型，大大降低遷移成本。

目前，希姆計(jì)算已經(jīng)在全國各地成功落地了多個(gè)智算中心項(xiàng)目，有力支撐了各種 AI 應(yīng)用，包括AIGC、問答助手、內(nèi)容創(chuàng)作、缺陷檢測(cè)、安全施工、煙火報(bào)警、交通研判、醫(yī)療診斷、內(nèi)容審核、語音識(shí)別等，全面覆蓋了互聯(lián)網(wǎng)、智慧辦公、智慧城市、智慧工業(yè)、智慧金融、智慧醫(yī)療等熱門領(lǐng)域。

希姆計(jì)算， AIGC時(shí)代軟硬一體解決方案的領(lǐng)導(dǎo)者

從ChatGPT的橫空出世，到國內(nèi)外廠商紛紛入局大模型“百模大戰(zhàn)”，再到智算中心的火熱建設(shè)，現(xiàn)如今才過去了不到兩年的時(shí)間。AIGC技術(shù)已經(jīng)在顛覆生產(chǎn)內(nèi)容的方式，迅速在眾多領(lǐng)域重塑著生產(chǎn)力關(guān)系。行業(yè)的發(fā)展日新月異，對(duì)優(yōu)質(zhì)產(chǎn)品的需求日趨精細(xì)，更要求企業(yè)持續(xù)加強(qiáng)自身核心競(jìng)爭(zhēng)力，審視自身能夠?yàn)榭蛻籼峁┑膬r(jià)值。

在RISC-V+AI這條賽道上，希姆計(jì)算從自研關(guān)鍵的AI計(jì)算矩陣擴(kuò)展指令集切入，通過先進(jìn)的核心架構(gòu)和推理加速產(chǎn)品，以及完整的軟件工具鏈，為自主可控地提供算力服務(wù)夯實(shí)了軟硬件基礎(chǔ)，并且明確自身做為算力技術(shù)提供者、推進(jìn)行業(yè)智能化轉(zhuǎn)型的定位，基于自身算力平臺(tái)率先打造出了成熟的垂直大模型、智能體、數(shù)據(jù)治理產(chǎn)品。

這些產(chǎn)品的成功體現(xiàn)了希姆計(jì)算從硬科技創(chuàng)新到場(chǎng)景化落地的綜合實(shí)力，在RISC-V創(chuàng)新方案上搶先了一個(gè)身位，也是希姆計(jì)算賴以發(fā)展壯大的基因。

未來，行業(yè)對(duì)算力的需求沒有止境，不斷創(chuàng)新和突破瓶頸是企業(yè)和行業(yè)永遠(yuǎn)的使命。對(duì)希姆計(jì)算來說，當(dāng)前的全棧解決方案只是階段性的成果。創(chuàng)新，永遠(yuǎn)在路上，點(diǎn)滴積累才能匯聚成創(chuàng)新的土壤。未來無論是打磨既有方案落地更多場(chǎng)景，還是將沉淀的經(jīng)驗(yàn)融入開發(fā)中的下一代芯片，以及推進(jìn)AI方向的國際技術(shù)標(biāo)準(zhǔn)制定和生態(tài)合作，希姆計(jì)算都將為行業(yè)的發(fā)展注入新的可能。