躍昉科技LLM軟件棧成功適配RISC-V高性能平臺

2024年5月，躍昉科技正式加入“甲辰計劃”，旨在與各生態(tài)伙伴合作，致力于在下一個丙辰年（2036龍年）之前，基于RISC-V架構(gòu)實現(xiàn)從數(shù)據(jù)中心到桌面辦公、從移動穿戴到智能物聯(lián)網(wǎng)全信息產(chǎn)業(yè)覆蓋的開放標(biāo)準(zhǔn)體系及開源系統(tǒng)軟件棧，使RISC-V軟硬件生態(tài)達到作為主流指令集架構(gòu)所需的生態(tài)成熟度。

近日，躍昉科技宣布了一項重大技術(shù)突破：Transformer、Gradio等PyTorch生態(tài)核心大語言模型（LLM）軟件棧，已在RISC-V高性能平臺上成功完成移植及適配驗證。這一里程碑式的成就標(biāo)志著RISC-V架構(gòu)在AI和大語言模型領(lǐng)域的應(yīng)用上邁出了重要一步。

Transformer是一種深度學(xué)習(xí)模型框架，最早由 Vaswani 等人在 2017 年提出，專門用于處理序列數(shù)據(jù)（如自然語言、時間序列等）的任務(wù)。Transformer 通過引入自注意力機制（Self-Attention Mechanism） 來捕捉序列中不同位置之間的依賴關(guān)系，并通過并行處理大大提高了訓(xùn)練效率。

RISC-V計算架構(gòu)以其簡潔、開放、靈活、低功耗、模塊化及可擴展性等特點，正逐步成為AI時代的原生計算架構(gòu)。作為RISC-V架構(gòu)SoC芯片設(shè)計與產(chǎn)業(yè)應(yīng)用的開拓者，躍昉科技專注于研發(fā)基于RISC-V的高端芯片及配套軟件棧核心技術(shù)，不斷探索其在高性能計算領(lǐng)域的潛力。

在此次與開源社區(qū)的合作中，躍昉團隊深入鉆研，攻克了多個技術(shù)難題，確保了Transformer等LLM軟件棧在RISC-V高性能平臺上流暢運行，降低了LLM軟件棧對特定硬件的依賴，為其帶來了更加多元化的運行環(huán)境選擇，提高了系統(tǒng)的靈活性和可擴展性。

移植案例展示

1創(chuàng)建LLM應(yīng)用-中英文翻譯的訪問鏈接

2使用RISC-V CPU執(zhí)行LLM應(yīng)用-中英文翻譯

3創(chuàng)建LLM應(yīng)用-圖生文的訪問鏈接

4使用RISC-V CPU執(zhí)行LLM應(yīng)用-圖生文

移植案例中，中英文翻譯和圖生文等LLM應(yīng)用在RISC-V高性能平臺上的順利實施，充分展示了RISC-V在AI領(lǐng)域的應(yīng)用潛力，進一步完善了RISC-V高性能軟件棧。

未來，躍昉科技將繼續(xù)攜手各生態(tài)伙伴，助力RISC-V高性能軟件生態(tài)建設(shè)，拓展RISC-V的高性能應(yīng)用場景，共同推動RISC-V生態(tài)系統(tǒng)的發(fā)展，為全球用戶帶來更多創(chuàng)新高效的產(chǎn)品和解決方案！

廣東躍昉科技有限公司聚焦研發(fā)基于RISC-V架構(gòu)的SoC芯片產(chǎn)品及系統(tǒng)解決方案，并提供從操作系統(tǒng)到云平臺的全?；A(chǔ)智能軟件服務(wù)，通過融合人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等交叉領(lǐng)域技術(shù)為中國數(shù)字經(jīng)濟的創(chuàng)新應(yīng)用賦能。

躍昉科技作為RISC-V架構(gòu)SOC芯片設(shè)計及產(chǎn)業(yè)應(yīng)用的開拓者，已推出系列基于RISC-V架構(gòu)的高性能SOC芯片及產(chǎn)品，覆蓋AIoT邊端物聯(lián)、控制和計算等應(yīng)用領(lǐng)域，集高效能計算資源、豐富工業(yè)接口、穩(wěn)定可靠品質(zhì)等特性于一體。依托于全棧技術(shù)能力，躍昉科技正持續(xù)深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領(lǐng)域，旨在為客戶帶來專業(yè)化、高品質(zhì)的產(chǎn)品和服務(wù)。