潞晨訓(xùn)推一體機(jī)，畫(huà)出大模型到企業(yè)的一條龍路線圖

最近跟一位企業(yè)的CIO交流，對(duì)方關(guān)于大模型的認(rèn)知讓我驚呆了，他說(shuō)，“聽(tīng)說(shuō)做私域大模型要兩千萬(wàn)的軟件投入和兩千萬(wàn)的算力投入，我們公司沒(méi)有這個(gè)預(yù)算”。

于是我問(wèn)道：“那如果按照你們公司的數(shù)據(jù)基礎(chǔ)和業(yè)務(wù)場(chǎng)景，只需要十分之一甚至更少的投入，你愿意做大模型嗎？”

他馬上表示：“這個(gè)預(yù)算可以搞！”

如果只關(guān)注基礎(chǔ)模型廠商和賣“鏟子”的英偉達(dá)的發(fā)布會(huì)，會(huì)覺(jué)得大模型立馬就可以將企業(yè)用戶“帶飛”。事實(shí)上，很多企業(yè)在應(yīng)用大模型時(shí)，還有大量的困惑與難題。

比如以為需要大算力、大投入，要么望而卻步，要么盲目囤了很多卡/服務(wù)器，卻發(fā)現(xiàn)基座模型與業(yè)務(wù)融合的過(guò)程漫長(zhǎng)且復(fù)雜，涉及大量試錯(cuò)、調(diào)優(yōu)等工作，后續(xù)訓(xùn)練、推理、部署等環(huán)節(jié)的算力資源消耗與浪費(fèi)情況，是容易被忽略的隱藏問(wèn)題。

這有點(diǎn)像我們要去一個(gè)地形復(fù)雜、風(fēng)景優(yōu)美的陌生城市旅游，提前按照攻略買好了各種機(jī)酒門票，但實(shí)際行程卻總被意外情況拖慢，無(wú)法高效地推進(jìn)，導(dǎo)致很多資源都被浪費(fèi)掉了。

企業(yè)做大模型也是如此。大模型開(kāi)發(fā)，涉及一個(gè)相當(dāng)漫長(zhǎng)且復(fù)雜的產(chǎn)業(yè)鏈，每個(gè)環(huán)節(jié)對(duì)于企業(yè)用戶來(lái)說(shuō)，都有相對(duì)陌生的地方，難以將稀缺昂貴的算力發(fā)揮出最大價(jià)值。

企業(yè)能否落地大模型的關(guān)鍵，就在于是否能夠?qū)⒉煌h(huán)節(jié)的技術(shù)、產(chǎn)品整合起來(lái)，構(gòu)筑一體化的解決方案。怎么實(shí)現(xiàn)呢？

腦極體曾報(bào)道過(guò)，相比單純售賣AI服務(wù)和API的商業(yè)模式，開(kāi)箱即用的大模型一體機(jī)，能夠縮短部署周期、深度結(jié)合場(chǎng)景、降低落地門檻，是更符合當(dāng)下國(guó)內(nèi)大模型產(chǎn)業(yè)現(xiàn)狀的一種選擇，解決企業(yè)在AI落地過(guò)程中的最后一公里問(wèn)題。

最近，我們關(guān)注到潞晨科技也推出了訓(xùn)推一體機(jī)，在集成高性能硬件的基礎(chǔ)上，還集成了Colossal-AI加速框架，支持多種微調(diào)fine-tune方式，幫助企業(yè)更輕松地實(shí)現(xiàn)AI技術(shù)的深度融合和業(yè)務(wù)創(chuàng)新。

我想，如果開(kāi)篇中那位CIO更早認(rèn)識(shí)了這款產(chǎn)品，肯定不會(huì)因軟硬件成本而對(duì)大模型望而卻步，可以放心大膽地踏上AI創(chuàng)新之旅。

本文就以潞晨訓(xùn)推一體機(jī)為例，聊聊一體機(jī)如何將遠(yuǎn)方未知的大模型技術(shù)，變成企業(yè)身邊的AI風(fēng)景，又如何打磨好“一條龍式”的一站式AI解決方案。

散裝的大模型，在跋涉中折騰的企業(yè)

提到互聯(lián)網(wǎng)，我們會(huì)想到電商、直播、手機(jī)游戲、社交媒體等豐富多彩的應(yīng)用，而不是光纖、網(wǎng)關(guān)、路由器這些底層設(shè)施。但觀察今天的企業(yè)，提到大模型，第一時(shí)間想到的依然是算卡、API、tokens這些詞，而不是適配業(yè)務(wù)的AI應(yīng)用。盡管企業(yè)迫切希望運(yùn)用大模型來(lái)加速業(yè)務(wù)創(chuàng)新，但在實(shí)際操作中卻可能面臨各種各樣的問(wèn)題。

大模型訓(xùn)練、推理、部署的一系列環(huán)節(jié)，都是“散裝”的，不成體系。企業(yè)想用業(yè)務(wù)數(shù)據(jù)做專屬大模型，得一山一水地跋涉，不僅效率低，還會(huì)在選型、適配、兼容、迭代等各個(gè)階段反復(fù)折騰，走很多彎路，吃不少悶虧。

舉個(gè)例子，今天，高端AI算力依然是中小微企業(yè)難以搞定的珍稀資源，好不容易搞來(lái)了算卡，一個(gè)模型在TensorFlowPyTorch上跑一次好幾天，驗(yàn)證一次好幾天，發(fā)現(xiàn)問(wèn)題迭代調(diào)試，流程再來(lái)一遍，眼看著友商已經(jīng)用上了AI，只能干著急。這種進(jìn)度，顯然是追求競(jìng)爭(zhēng)效率和創(chuàng)新速度的企業(yè)所難以接受的。

所以目前這個(gè)階段，大量企業(yè)都不希望“散裝”亂折騰，大模型致用，需要一條龍解決方案，即軟硬件緊耦合的大模型一體機(jī)。

目前，有許多國(guó)內(nèi)頭部AI廠商和ICT服務(wù)商都推出大模型一體機(jī)。為什么我們會(huì)關(guān)注到潞晨科技的訓(xùn)推一體機(jī)呢？

企業(yè)做大模型，“散裝自由行”有些昂貴和繁瑣，潞晨訓(xùn)推一體機(jī)的深度優(yōu)化與打磨，帶來(lái)了“訓(xùn)推一條龍”路線圖，在企業(yè)和大模型之間架起了一條效率高速。奔跑在潞晨訓(xùn)推一體機(jī)上的企業(yè)大模型之旅，能看到怎樣的風(fēng)景？

第一道風(fēng)景：訓(xùn)推協(xié)同的澎湃算力，助推企業(yè)創(chuàng)新

做大模型，跟旅游一樣，最掃興的情況就是目的地還沒(méi)到，隊(duì)友已經(jīng)走不動(dòng)了。大模型訓(xùn)練中，因硬件性能不足、聯(lián)接故障而中斷，會(huì)帶來(lái)時(shí)間成本和機(jī)會(huì)成本的損失。

高性能硬件的澎湃算力供給，是企業(yè)用好大模型的前提條件，也是潞晨訓(xùn)推一體機(jī)帶給企業(yè)的第一道風(fēng)景線。

目前，NVIDIA GPU是AI芯片 “一哥”，在AI訓(xùn)練領(lǐng)域一家獨(dú)大，幾乎無(wú)敵手。潞晨訓(xùn)推一體機(jī)，采用英偉達(dá)H20作為底層硬件，每臺(tái)一體機(jī)配有8張H20卡，每卡有高達(dá)96GB的顯存，在單臺(tái)設(shè)備上即可完成 32B Qwen1.5 模型的全參數(shù)微調(diào)，更可支持單卡 34B Yi1.5模型的推理。

H20采用Hopper架構(gòu)，卡間互聯(lián)速度達(dá)到了驚人的900GB/s，整機(jī)配備4個(gè)400GB/s的IB網(wǎng)口，無(wú)論是多卡互聯(lián)還是多機(jī)互聯(lián)，都有極高的效率。這對(duì)于需要大規(guī)模并行計(jì)算和協(xié)同工作的AI任務(wù)尤為重要，可以減少等待時(shí)間，提高開(kāi)發(fā)效率。

參數(shù)大代表了硬件的“發(fā)動(dòng)機(jī)”強(qiáng)，還需要結(jié)合框架這一“動(dòng)力引擎”，壓榨出硬件的最優(yōu)性能表現(xiàn)。與硬件適配度更高的框架，協(xié)同更高效，可以帶來(lái)更高的訓(xùn)練推理效率。比如，潞晨科技就為這套硬件量身定做了極致優(yōu)化的訓(xùn)推加速方案。

使用Colossal-AI優(yōu)化，在8卡規(guī)模下的上機(jī)實(shí)測(cè)中，平均每卡算力相較原生速度提升21%，大幅度提高效率。微調(diào)Qwen 7B的大模型，僅需半天，即可完成1B數(shù)據(jù)的學(xué)習(xí)與迭代。

總結(jié)一下，潞晨訓(xùn)推一體機(jī)性能領(lǐng)先、軟硬協(xié)同、訓(xùn)推一體的緊耦合架構(gòu)，降低了使用大模型的門檻和成本。企業(yè)可以減少人力和物力的投入，“輕裝上陣”踏上業(yè)務(wù)創(chuàng)新之旅，探索代表未來(lái)的智能世界。

第二道風(fēng)景：內(nèi)置軟件，帶來(lái)轉(zhuǎn)型松弛感

算力作為動(dòng)力，而模型算法才是業(yè)務(wù)價(jià)值和競(jìng)爭(zhēng)力的創(chuàng)造者。企業(yè)探索AI，既要選擇先進(jìn)的基礎(chǔ)模型，來(lái)確保高效、準(zhǔn)確的預(yù)測(cè)和決策能力，又要將模型與業(yè)務(wù)深度結(jié)合，確保開(kāi)發(fā)出來(lái)的AI產(chǎn)品能夠滿足業(yè)務(wù)邏輯和需求，為企業(yè)帶來(lái)真正的商業(yè)價(jià)值。

那么問(wèn)題來(lái)了，如何獲得更適合企業(yè)業(yè)務(wù)需求的先進(jìn)模型，并輕松上手？

潞晨訓(xùn)推一體機(jī)的“一條龍”路線圖，在模型層、平臺(tái)層、應(yīng)用層，都內(nèi)置了定制的AI軟件，方便使用。

模型層：潞晨訓(xùn)推一體機(jī)集成了眾多精選的優(yōu)質(zhì)開(kāi)源模型，例如LLaMA3、Mixtral、Qwen等，方便企業(yè)用戶調(diào)用，快速體驗(yàn)到不同開(kāi)源模型的能力。同時(shí)，借助潞晨訓(xùn)推框架的優(yōu)化，上述模型在一體機(jī)上的訓(xùn)練推理效率，會(huì)比原生硬件更高。

平臺(tái)層：平臺(tái)層的軟件工具下接算力、上接應(yīng)用，讓大模型從底層算力到上層應(yīng)用，實(shí)現(xiàn)順暢運(yùn)行和高效協(xié)作。潞晨訓(xùn)推一體機(jī)搭載的訓(xùn)推軟件Colossal LLM Studio，配備了直觀易用的UI界面，讓非技術(shù)背景的用戶也能輕松操作，通過(guò)低代碼、可視化的方式進(jìn)行模型訓(xùn)練微調(diào)，企業(yè)不再需要付費(fèi)外包，一個(gè)軟件就相當(dāng)于一支大模型訓(xùn)練團(tuán)隊(duì)。

應(yīng)用層：開(kāi)箱即用的AI應(yīng)用，實(shí)用性強(qiáng)，可以將大模型的能力快速集成到企業(yè)現(xiàn)有的業(yè)務(wù)系統(tǒng)或應(yīng)用中，帶來(lái)實(shí)際的價(jià)值和效益。通過(guò)潞晨訓(xùn)推一體機(jī)，企業(yè)用戶用到潞晨科技推出的Colossal Reader，一款專為提升文檔理解效率而設(shè)計(jì)的AI智能助手。一方面，經(jīng)過(guò)精細(xì)調(diào)整和優(yōu)化的 RAG 流程，具備長(zhǎng)文本能力，支持深度解析復(fù)雜文檔，如財(cái)務(wù)報(bào)表和法律文件，幫助用戶迅速掌握關(guān)鍵信息，實(shí)現(xiàn)高效辦公。同時(shí)，基于一體機(jī)的私有化部署既保證了長(zhǎng)期使用的穩(wěn)定，又保障了企業(yè)內(nèi)部文檔等的數(shù)據(jù)安全。

Sora開(kāi)啟了文生視頻的新階段，展現(xiàn)出AIGC在影視制作、游戲開(kāi)發(fā)和廣告創(chuàng)意等方面的諸多可能。企業(yè)想在業(yè)務(wù)中引入類Sora能力，潞晨訓(xùn)推一體機(jī)上，免費(fèi)提供Open-Sora開(kāi)源版本的本地推理部署。

潞晨科技團(tuán)隊(duì)傾力打造的文生視頻大模型Open-Sora，自3月19日登上GitHub Trending榜，受到大量開(kāi)發(fā)者關(guān)注，星數(shù)持續(xù)增長(zhǎng)，熱度僅次于Grok-1。其中LambdaLabs團(tuán)隊(duì)基于Open-Sora模型進(jìn)行微調(diào)打造了一個(gè)具有獨(dú)特藝術(shù)風(fēng)格的樂(lè)高動(dòng)畫(huà)世界，展現(xiàn)了潞晨科技的技術(shù)領(lǐng)先性和實(shí)力。而這一優(yōu)秀模型，潞晨訓(xùn)推一體機(jī)的用戶可以直接在本地部署，基于高配硬件，結(jié)合企業(yè)的應(yīng)用場(chǎng)景，將文生視頻能力落地在自身業(yè)務(wù)中。

從模型層、平臺(tái)層、應(yīng)用層，潞晨訓(xùn)推一體機(jī)完整的AI軟件體系支持，讓企業(yè)不必有“FOMO（害怕錯(cuò)過(guò)）情緒”，快速上手大模型及應(yīng)用。簡(jiǎn)單易用的軟件風(fēng)景，為企業(yè)探索大模型營(yíng)造了難得的松弛感。

第三道風(fēng)景：全周期服務(wù)，一路護(hù)航

有人會(huì)問(wèn)，數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、部署與監(jiān)控等一系列復(fù)雜的工程化任務(wù)，帶來(lái)了大量挑戰(zhàn)，企業(yè)是不是要構(gòu)建一支既懂技術(shù)又懂業(yè)務(wù)的團(tuán)隊(duì)？如果吸引不到這樣的人才怎么辦？

讓企業(yè)聚焦在業(yè)務(wù)創(chuàng)新上，需要相應(yīng)的運(yùn)維服務(wù)及售后服務(wù)，免除客戶的后顧之憂。

選擇潞晨訓(xùn)推一體機(jī)的企業(yè)客戶，將獲得潞晨科技的技術(shù)團(tuán)隊(duì)提供為期一周的免費(fèi)專業(yè)咨詢服務(wù)，解決數(shù)據(jù)處理和模型選擇等技術(shù)問(wèn)題，以及最高級(jí)別的服務(wù)優(yōu)先權(quán)，并將優(yōu)先支持其他付費(fèi)服務(wù)。

我們知道，任何一個(gè)產(chǎn)業(yè)和企業(yè)都有自己的獨(dú)特性，即使擁有強(qiáng)大的通用性AI軟硬件，也容易施展不開(kāi)手腳。讓大模型與行業(yè)特征、企業(yè)周期、業(yè)務(wù)場(chǎng)景相結(jié)合，是最難的一道關(guān)卡，也是潞晨科技希望通過(guò)服務(wù)加持助力企業(yè)消除與技術(shù)的隔閡。

獨(dú)行快、眾行遠(yuǎn)，去陌生的技術(shù)領(lǐng)域探索未知的景色，這個(gè)過(guò)程中，企業(yè)和潞晨科技的攜手，讓AI風(fēng)景可以長(zhǎng)長(zhǎng)久久地綿延下去。

一條龍深度游：“導(dǎo)游”潞晨的獨(dú)特AI打開(kāi)方式

算力不折騰，簡(jiǎn)單用，放心用，輕松用，潞晨訓(xùn)推一體機(jī)改變了大模型開(kāi)發(fā)的“散裝”流程，用“訓(xùn)推一條龍”，推動(dòng)大模型深入企業(yè)業(yè)務(wù)，加速落地。

從中，我們可以看到潞晨科技帶來(lái)的企業(yè)智能打開(kāi)方式：

1.高集成。企業(yè)能夠在一個(gè)平臺(tái)上完成從模型訓(xùn)練到部署的全過(guò)程，無(wú)需在多個(gè)系統(tǒng)或工具之間切換，大大提高了工作效率。

2.質(zhì)價(jià)比。大模型，可以看做企業(yè)智能的“消費(fèi)升級(jí)”，有望帶來(lái)更高的智慧水平。訓(xùn)推一體機(jī)，提高算效，讓大模型變得物美價(jià)廉?？傮w來(lái)看，企業(yè)智能的質(zhì)價(jià)比正在提高，成為新的競(jìng)爭(zhēng)力。

3.廣覆蓋。訓(xùn)推一體機(jī)降低了大模型應(yīng)用門檻，意味著更多行業(yè)和企業(yè)，尤其是缺乏自建智算中心能力的中小企業(yè)和傳統(tǒng)行業(yè)，可以在低門檻、輕成本的前提下，快速進(jìn)入智能階段，提高AI的滲透率和廣覆蓋。

作為企業(yè)智能的“一條龍導(dǎo)游”，潞晨訓(xùn)推一體機(jī)，讓大模型從大廠實(shí)驗(yàn)室和論壇峰會(huì)的神壇中走下來(lái)，進(jìn)入企業(yè)觸手可及的范圍之內(nèi)，變成水、電、網(wǎng)絡(luò)一樣的必需品和常規(guī)消費(fèi)品。

撬動(dòng)企業(yè)智能的龐大市場(chǎng)，潞晨訓(xùn)推一體機(jī)正在兌現(xiàn)大模型的真正利好。欲知詳情，可移步潞晨科技公眾號(hào)。

審核編輯 黃宇