軟通動力大模型一體機(jī)亮相2024昇思人工智能框架峰會

人工智能框架作為軟件根技術(shù)，已成為加速人工智能大模型開發(fā)、推動產(chǎn)業(yè)智能化發(fā)展的核心力量。以“為智而昇，思創(chuàng)之源”為主題的昇思人工智能框架峰會2024在北京國家會議中心舉辦，旨在匯聚AI產(chǎn)業(yè)界創(chuàng)新力量，推動根技術(shù)持續(xù)創(chuàng)新，共建人工智能開源新生態(tài)。軟通動力作為聯(lián)合承辦方深度參與該峰會。

大會期間，昇思MindSpore開源社區(qū)理事會第三次閉門會議召開，軟通動力高級副總裁、數(shù)字基礎(chǔ)設(shè)施與集成總經(jīng)理謝睿作為理事會成員代表出席，與行業(yè)伙伴共探MindSpore未來發(fā)展趨勢。

會上，軟通動力數(shù)字基礎(chǔ)設(shè)施與集成技術(shù)總監(jiān)單繼嶺發(fā)表了題為“軟通動力訓(xùn)推一體化平臺加速企業(yè)智能化升級”的主題演講，旨通過一體機(jī)形式幫助客戶實現(xiàn)大模型場景推理“最后一公里”。

此外，昇思人工智能框架峰會2024的舉辦為業(yè)界提供了一個交流合作的平臺。大會期間，軟通動力在峰會展區(qū)亮相了“AI訓(xùn)推一體化平臺”和“天璇2.0MaaS平臺，與眾多伙伴進(jìn)行了互動與合作。

軟通動力AI訓(xùn)推一體化平臺，打通AI應(yīng)用最后一公里

人工智能作為引領(lǐng)未來的戰(zhàn)略性技術(shù)，正在深刻推動著人類社會和產(chǎn)業(yè)變革；人工智能框架作為軟件根技術(shù)，在AI技術(shù)的迭代中扮演著重要角色。在此背景下，軟通動力推出AI訓(xùn)推一體化平臺，該平臺集成了昇騰AI基礎(chǔ)硬件平臺、天鶴OS操作系統(tǒng)等組件，并搭載天璇2.0 MaaS平臺，支持一站式AI開發(fā)，疊加行業(yè)AI大模型，深度適配企業(yè)不同AI應(yīng)用場景。軟通AI訓(xùn)推一體化平臺支持昇思MindSpore 全場景AI框架，具備用戶態(tài)易用、運(yùn)行態(tài)高效、部署態(tài)靈活的特點(diǎn)，可以為用戶提供設(shè)計友好、運(yùn)行高效的開發(fā)體驗。目前，軟通AI訓(xùn)推一體化平臺已覆蓋央國企、科技機(jī)構(gòu)、教育實訓(xùn)、金融等打造多個offering服務(wù)不同客戶。

當(dāng)前，大模型在各行各業(yè)的規(guī)模化應(yīng)用落地面臨精準(zhǔn)度不夠、與業(yè)務(wù)系統(tǒng)聯(lián)動不足、數(shù)據(jù)安全擔(dān)憂、算力成本居高不下等問題，為提升大模型在實際業(yè)務(wù)中的有效應(yīng)用，軟通動力聯(lián)合百川智能推出“軟通-百川AI大模型一體機(jī)”。軟通動力副總裁、數(shù)字基礎(chǔ)設(shè)施與集成副總經(jīng)理劉雅、數(shù)字基礎(chǔ)設(shè)施與集成技術(shù)總監(jiān)單繼嶺；百川智能政企事業(yè)群產(chǎn)研總經(jīng)理李劍、政企事業(yè)群一體機(jī)負(fù)責(zé)人謝楠共同出席發(fā)布儀式。

作為自主創(chuàng)新的軟硬一體解決方案，該一體機(jī)基于昇騰AI基礎(chǔ)硬件平臺，預(yù)裝百川大模型能力，支持多輪對話、報告生成、內(nèi)容生成、代碼生成、知識檢索、文本分類、API平臺、企業(yè)知識庫等多樣化功能，在許多復(fù)雜的客戶業(yè)務(wù)場景中，助力用戶實現(xiàn)大模型場景推理的“最后一公里”。

同方AI算力底座

軟通-百川大模型一體機(jī)基于昇騰AI硬件底座，具備高能效、高算力、高可靠、易管理、易擴(kuò)展等優(yōu)點(diǎn)，可按需選擇兩款硬件產(chǎn)品：超強(qiáng)K620和超強(qiáng)A800I A2，整合天鶴OS操作系統(tǒng)，廣泛應(yīng)用于AI算法開發(fā)和AI推理服務(wù)的場景。核心優(yōu)勢如下：

超強(qiáng)算力：

性能領(lǐng)先，加速AI推理效率，單臺推理服務(wù)器可達(dá)2.2 PFLOPS AI算力；

超高能效：

內(nèi)置高算力AI芯片、高性能算子庫，支持多卡高速互聯(lián)、分布式存儲；

平滑擴(kuò)展：

根據(jù)業(yè)務(wù)需要可以隨時擴(kuò)展存儲、算力、服務(wù)器；

安全啟動：

一體機(jī)內(nèi)網(wǎng)部署，數(shù)據(jù)不出機(jī)房，數(shù)據(jù)安全可靠，構(gòu)建可信的起點(diǎn)。

百川基座大模型

軟通-百川大模型一體機(jī)基于全場景昇思MindSpore AI開發(fā)框架，預(yù)裝百川大模型、軟通天璇MaaS平臺，助力企業(yè)快速開展業(yè)務(wù)大模型場景推理，根據(jù)推理結(jié)果實現(xiàn)微調(diào)，提高模型預(yù)測的準(zhǔn)確率;解決企業(yè)大模型快速部署上線、算力成本居高不下、數(shù)據(jù)安全擔(dān)憂等問題。

豐富的基座大模型：

內(nèi)置了Baichuan2 3B、7B、13B、33B大模型參數(shù)，且支持192K長窗口，單次可輸入超35萬字,極致的Transformer計算工程優(yōu)化;

搜索增強(qiáng)+知識庫：

基于搜索增強(qiáng)的企業(yè)知識庫與實時信息獲取,業(yè)界領(lǐng)先的Embedding model，稀疏檢索+向量檢索實現(xiàn)的多路召回能力,融合互聯(lián)網(wǎng)在線搜索和信息整合能力；

全生命周期服務(wù)：

安裝部署、模型部署、推理服務(wù)等全生命周期，提供優(yōu)質(zhì)高效技術(shù)服務(wù)。

隨著人工智能技術(shù)的不斷發(fā)展和普及，大模型一體機(jī)將在更多領(lǐng)域得到應(yīng)用和推廣。未來，軟通動力將聯(lián)合華為、百川智能等伙伴繼續(xù)發(fā)揮優(yōu)勢，不斷創(chuàng)新突破，為人工智能技術(shù)的發(fā)展和產(chǎn)業(yè)的繁榮做出更大的貢獻(xiàn)。

審核編輯：劉清