RISC-V新CPU為端側(cè)大模型落地應(yīng)用提供新范式

縱觀歷史，但凡能夠大幅提升生產(chǎn)力的技術(shù)必將大規(guī)模應(yīng)用并深刻改變社會(huì)發(fā)展進(jìn)程。以大模型為代表的新AI第一次使智能體具備了主動(dòng)學(xué)習(xí)和泛化能力，為生產(chǎn)力的發(fā)展帶來(lái)質(zhì)的飛躍，未來(lái)數(shù)字世界和物理世界的絕大多數(shù)事物都將接入大模型新AI，進(jìn)行智能化升級(jí)，引發(fā)新一輪工業(yè)革命。

互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展歷史表明，越貼近用戶，其應(yīng)用場(chǎng)景越大，產(chǎn)業(yè)價(jià)值越高。大模型最大的應(yīng)用場(chǎng)景在終端和邊緣端。未來(lái)所有的終端和邊緣端設(shè)備都值得用大模型重新做一遍，為數(shù)十萬(wàn)億規(guī)模的電子信息制造業(yè)提供增量市場(chǎng)和高質(zhì)量發(fā)展的機(jī)遇。

大模型需要在資源有限的終端設(shè)備上高效運(yùn)行，對(duì)芯片的AI部署通用性、易用性、經(jīng)濟(jì)性等提出了更高的要求。進(jìn)迭時(shí)空的實(shí)踐表明，RISC-V作為開源開放的下一代計(jì)算架構(gòu)，以通用CPU核為基礎(chǔ)，結(jié)合少量DSA定制和大量微架構(gòu)創(chuàng)新，不僅具備完整CPU功能，更擁有強(qiáng)大的原生AI算力，可以為端側(cè)大模型落地應(yīng)用提供全新的解決方案。

1

RISC-V新CPU提供強(qiáng)大的AI通用性

進(jìn)迭時(shí)空SpacemiT Key StoneK1憑借其開放性和可編程性，能夠輕松接入ONNXRuntime等主流開源生態(tài)。這一特性不僅降低了部署大量現(xiàn)有AI模型的門檻，還天然支持了timm、onnx modelzoo、ppl modelzoo等開源模型倉(cāng)庫(kù)的模型，以及所有的公開onnx模型。這意味著，無(wú)論是傳統(tǒng)的小模型還是當(dāng)下火熱的大模型，如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等，都能在這款A(yù)I CPU上得到高效支持。

尤其是，進(jìn)迭時(shí)空SpacemiT Key StoneK1的原生AI算力具有極強(qiáng)的可編程性，支持主流低bit量化方式，從而極大地降低了大模型的帶寬需求。K1芯片運(yùn)行主流的5億參數(shù)大模型可以實(shí)現(xiàn)每秒20個(gè)token的優(yōu)異性能。

2

RISC-V新CPU提供強(qiáng)大的AI便捷性

借助主流開源生態(tài)，進(jìn)迭時(shí)空不僅擴(kuò)充了模型倉(cāng)庫(kù)，還實(shí)現(xiàn)了低成本的遷移ONNXRuntime生態(tài)中的各種案例。此外，通過(guò)云端通用AI助手，用戶只需通過(guò)自然語(yǔ)言描述，即可實(shí)現(xiàn)AI部署。由于AI CPU支持全集ONNX算子，用戶只需修改模型路徑和攝像頭設(shè)備號(hào)，即可成功進(jìn)行部署，極大地簡(jiǎn)化了操作流程。

3

RISC-V新CPU構(gòu)建本地大模型推理應(yīng)用

進(jìn)迭時(shí)空在SpacemiT Key StoneK1芯片上構(gòu)建了以通義千問(wèn)（qwen2.5-1.5B-coder）為基礎(chǔ)的本地AI助手。借助本地AI助手，用戶可以通過(guò)自然語(yǔ)言描述實(shí)現(xiàn)AI部署，無(wú)需依賴網(wǎng)絡(luò)連接，進(jìn)一步提升了AI應(yīng)用的便捷性和安全性。

未來(lái)，進(jìn)迭時(shí)空將繼續(xù)堅(jiān)持RISC-V+AI技術(shù)路線，通過(guò)技術(shù)創(chuàng)新帶來(lái)更具競(jìng)爭(zhēng)力的解決方案，為大模型在終端和邊緣端的普及提供強(qiáng)有力的支持。

來(lái)源：進(jìn)迭時(shí)空