0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

歐盟前沿性NimbleAI項目采用定制RISC-V處理器來支持神經(jīng)形態(tài)視覺與3D集成芯片

半導(dǎo)體芯科技SiSC ? 來源:半導(dǎo)體芯科技SiSC ? 作者:半導(dǎo)體芯科技SiS ? 2023-05-04 16:04 ? 次閱讀

作者:Codasip

隨著越來越多的研究伙伴加入以及新技術(shù)和新產(chǎn)品的不斷披露,歐盟于2022年底啟動的NimbleAI這一前沿項目在喧囂的GPT熱潮中,開始展現(xiàn)出一條新的智能化和數(shù)字化轉(zhuǎn)型之道。NimbleAI旨在推動神經(jīng)形態(tài)視覺(neuromorphic vision)傳感和處理技術(shù)的發(fā)展和研究。作為一種創(chuàng)新的視覺感知和處理技術(shù),神經(jīng)形態(tài)視覺參考了生物系統(tǒng)工作方式,通過檢測動態(tài)場景中的變化來決定是否更細(xì)致地查看捕捉到的內(nèi)容,而不是花費大量資源區(qū)連續(xù)分析整個場景,從而節(jié)省大量資源和大幅度縮短延遲。

盡管NimbleAI是一個啟動不久的新項目,它已經(jīng)在帶動許多新的計算和控制技術(shù)的研究和開發(fā)。例如,全球領(lǐng)先的定制處理器IP和開發(fā)工具提供商Codasip也一直關(guān)注和參與該領(lǐng)域的進展;作為Codasip的創(chuàng)新孵化器,該公司旗下的Codasip Labs不斷探索將未來新技術(shù)快速推進到應(yīng)用,因而于近期加入NimbleAI項目,為其開發(fā)一個RISC-V可定制內(nèi)核,賦能神經(jīng)形態(tài)傳感3D集成芯片。

歐盟的NimbleAI項目是一個為期3年、耗資1000萬歐元的研究項目,匯集了來自歐盟和英國的商業(yè)組織和學(xué)術(shù)界的合作伙伴共同參與研發(fā)。該項目由歐盟資助,旨在設(shè)計一種神經(jīng)形態(tài)視覺傳感和處理的3D集成芯片。在動輒需要上萬張高性能GPU卡和巨量存儲的GPT人工智能時代,這一靈感來自于眼睛對光線的探測和大腦對視覺信息處理的新機器視覺和智能技術(shù),以其對資源和算力的節(jié)省再加更低的延遲而廣受關(guān)注,因而NimbleAI項目也吸引了眾多的目光。

顯而易見,這是一個受生物學(xué)啟發(fā)的前沿技術(shù),目標(biāo)是提高下一代基于事件的視覺傳感的神經(jīng)形態(tài)芯片的能源效率和性能。如果一切按計劃進行,那么會創(chuàng)建一種完整的神經(jīng)形態(tài)架構(gòu),賦能終端設(shè)備有效準(zhǔn)確地運行和多樣化的計算機視覺算法。目前這些應(yīng)用設(shè)備通常在資源和面積上受到限制,典型的應(yīng)用領(lǐng)域包括手持和電池供電的醫(yī)療成像設(shè)備、自動駕駛車輛智能顯示器、可穿戴的眼球追蹤眼鏡等等。

將生物系統(tǒng)作為電子系統(tǒng)的“黃金基準(zhǔn)”是近年來的一個技術(shù)趨勢。受到生物學(xué)的啟發(fā),NimbleAI正在利用生物眼腦系統(tǒng)作為其系統(tǒng)架構(gòu)。該項目正在實施一個始終在線的傳感模式,高度專業(yè)化的事件驅(qū)動處理內(nèi)核和神經(jīng)網(wǎng)絡(luò),以使用最少的能量對選定的刺激進行視覺推理。通過基于事件來決定應(yīng)該發(fā)送和分析什么信息,計算系統(tǒng)就可以選擇捕捉和分析有意義的特征信息,而不需要捕捉和分析所有信息。這種基于事件的方法可以大幅度降低資源需求,節(jié)省大量能耗,并減少延遲。

作為定制處理器專家,Codasip在該項目中積極探索RISC-V ISA在內(nèi)存加速器中的擴展,這些加速器由合作伙伴CEA提供。定制的RISC-V處理有助于提高神經(jīng)形態(tài)芯片的性能并降低其功耗。為了實現(xiàn)這一目標(biāo),項目選用了Codasip Studio工具和CodAL架構(gòu)描述語言,這些工具促使定制工作流程變得直接便捷。之后由Codasip開發(fā)的RISC-V內(nèi)核會被映射到Menta SAS嵌入式FPGA(eFPGA)模塊上。

改變游戲規(guī)則的定制處理器技術(shù)

目前在NimbleAI項目中,Codasip團隊正在開發(fā)基于RISC-V的下一代人工智能處理器。同時這也是Codasip Labs的系列項目中的一個完美案例。Codasip Labs專注于關(guān)鍵應(yīng)用領(lǐng)域,包括安全、功能安全和人工智能/機器學(xué)習(xí)(AI/ML)等等。以發(fā)現(xiàn)和打造創(chuàng)新技術(shù)來擴展定制計算的無限可能性為宗旨。在NimbleAI項目之前,Codasip的可定制RISC-V處理器IP和Codasip Studio定制開發(fā)工具已經(jīng)得到了實際應(yīng)用的廣泛驗證并獲得了多項業(yè)界大獎的褒嘉,搭載其IP的處理器的出貨量已超過20億顆。

NimbleAI項目正在證明一個新的趨勢:通過定制的、領(lǐng)域?qū)S玫奶幚砥髟O(shè)計,可以加快直接針對智能化應(yīng)用的定制化/差異化處理器產(chǎn)品的上市時間,并能夠以高性能和低功耗等特性來最終贏得市場青睞。在為期3年的NimbleAI項目結(jié)束時,與目前基于幀的CPU或GPU處理視頻標(biāo)準(zhǔn)相比,我們期望看到重大的性能提升。該項目將實現(xiàn)新的功能和實際實現(xiàn),以解鎖更先進的人工智能和計算機視覺算法和應(yīng)用。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    19329

    瀏覽量

    230133
  • 芯片
    +關(guān)注

    關(guān)注

    456

    文章

    50908

    瀏覽量

    424443
  • RISC-V
    +關(guān)注

    關(guān)注

    45

    文章

    2292

    瀏覽量

    46217
收藏 人收藏

    評論

    相關(guān)推薦

    RISC-V芯片中使用的各種常用總線釋義

    仲裁機制分配總線使用權(quán)。特點 :靈活性高、可根據(jù)具體需求進行定制。ICB總線釋義 :ICB(Internal Chip Bus)總線是另一種自定義總線協(xié)議,常用于特定RISC-V處理器
    發(fā)表于 12-28 17:53

    Andes晶心科技推出D45-SE RISC-V處理器

    RISC-V International 的創(chuàng)始高級會員,今天宣布推出其領(lǐng)先行業(yè)的AndesCore D45-SE功能安全 RISC-V 處理器,該
    的頭像 發(fā)表于 12-26 10:54 ?187次閱讀

    RISC-V架構(gòu)及MRS開發(fā)環(huán)境回顧

    —— CH32V103系列MCU。作為長久以來對RISC-V架構(gòu)關(guān)注和研究的成果, RISC-V3A處理器,支持IMAC指令子集,內(nèi)嵌了PF
    發(fā)表于 12-16 23:08

    Banana Pi BPI-CanMV-K230D-Zero :AIoT 應(yīng)用的 Kendryte K230D RISC-V

    BPI-CanMV-K230D-Zero 規(guī)格 SoC—— Kendryte K230D中央處理器CPU1 – 64 位 RISC-V 處理器
    發(fā)表于 12-05 09:19

    基于risc-v架構(gòu)的芯片與linux系統(tǒng)兼容討論

    上能夠充分發(fā)揮其性能。 編譯工具鏈和二進制格式 : 對于RISC-V架構(gòu)的芯片,需要對應(yīng)的交叉編譯工具鏈編譯Linux內(nèi)核和應(yīng)用程序。 不同架構(gòu)的處理器往往使用不同的二進制文件格式,
    發(fā)表于 11-30 17:20

    RISC-V能否復(fù)制Linux 的成功?》

    ,初創(chuàng)公司基于RISC-V開放標(biāo)準(zhǔn)設(shè)計處理器,風(fēng)投則仔細(xì)審查這些芯片新貴。像英偉達和西部數(shù)據(jù)這樣的大公司也開始大量采用
    發(fā)表于 11-26 20:20

    RISC-V指令集的特點總結(jié)

    實現(xiàn)的復(fù)雜,提高處理器的執(zhí)行效率和易于優(yōu)化。 模塊化 定義:RISC-V 指令集支持模塊化擴展,允許開發(fā)者根據(jù)具體應(yīng)用需求添加或定制特定的
    發(fā)表于 08-30 22:05

    香蕉派 BPI-CanMV-K230D-Zero 采用嘉楠科技 K230D RISC-V芯片設(shè)計

    概述 Banana Pi BPI-CanMV-K230D-Zero 采用嘉楠科技 K230D RISC-V芯片設(shè)計,探索
    發(fā)表于 07-30 17:43

    RISC-V適合什么樣的應(yīng)用場景

    設(shè)計使得開發(fā)者可以靈活選擇所需的指令集和模塊,以滿足嵌入式系統(tǒng)的各種性能要求。 3. 人工智能(AI)和機器學(xué)習(xí)(ML) 高性能計算:RISC-V結(jié)合AI加速或協(xié)處理器,可以提供高效
    發(fā)表于 07-29 17:16

    請問ESP32s3 ULP RISC-V協(xié)處理器是否支持ADC的讀???

    我在ULP RISC-V協(xié)處理器的例程中,沒有發(fā)現(xiàn)有對ADC的操作,請問RISC-V協(xié)處理器目前還不支持嗎?使用的IDF版本為4.4.2。
    發(fā)表于 06-14 07:38

    risc-v的mcu對RTOS兼容如何

    是否支持特定的RISC-V變種。 大多數(shù)現(xiàn)代RTOS都支持多種處理器架構(gòu),包括RISC-V。例如,F(xiàn)reeRTOS、RT-Thread等RT
    發(fā)表于 05-27 16:26

    Achronix FPGA增加對Bluespec提供的基于Linux的RISC-V處理器支持,以實現(xiàn)可擴展數(shù)據(jù)處理

    Bluespec支持加速功能的RISC-V處理器將Achronix的FPGA轉(zhuǎn)化為可編程SoC 近日,高性能FPGA芯片和嵌入式FPGA(
    的頭像 發(fā)表于 04-19 18:08 ?713次閱讀

    中國工程師最喜歡的10大RISC-V芯片

    數(shù)據(jù)記錄等。 全志科技****D1 【RISC-V內(nèi)核】 全志科技的D1芯片采用平頭哥玄鐵C
    發(fā)表于 04-17 11:04

    國產(chǎn)RISC-V MCU推薦

    ESP32-C3很好,物聯(lián)網(wǎng)小產(chǎn)品首選,單芯片搞定Wi-Fi和藍牙,夠用好用,現(xiàn)在已經(jīng)用到產(chǎn)品中了。 ESP32-C3系列芯片搭載低功耗RISC-V
    發(fā)表于 04-17 11:00

    科技正式發(fā)布基于RISC-V處理器的HSM子系統(tǒng)解決方案

    本土RISC-V CPU IP領(lǐng)軍企業(yè)——芯科技正式發(fā)布基于RISC-V處理器的HSM子系統(tǒng)解決方案,提供專業(yè)有效的信息安全保護以及加解密功能。
    的頭像 發(fā)表于 03-11 11:01 ?1425次閱讀
    芯<b class='flag-5'>來</b>科技正式發(fā)布基于<b class='flag-5'>RISC-V</b><b class='flag-5'>處理器</b>的HSM子系統(tǒng)解決方案