0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

肇觀電子3D深度計(jì)算AI加速芯片D163A正式發(fā)布

你好張江 ? 來源:你好張江 ? 作者:你好張江 ? 2021-02-04 16:02 ? 次閱讀

近日,肇觀電子正式發(fā)布3D深度計(jì)算+AI加速芯片——D163A,可廣泛應(yīng)用于包括各種形態(tài)機(jī)器人、AGV、無(wú)人機(jī)、可穿戴設(shè)備等多個(gè)領(lǐng)域。

我們所處的現(xiàn)實(shí)世界是一個(gè)三維空間,即3D立體空間;高級(jí)動(dòng)物如哺乳類長(zhǎng)了一雙眼睛,通過左右眼觀察到的信息的差別來判斷物體的遠(yuǎn)近。而普通的照相機(jī)拍攝出來的照片卻是平面的,二維的。

如果要用計(jì)算機(jī)視覺的方式來獲得環(huán)境空間信息,根據(jù)二維照片的輸入,怎么實(shí)現(xiàn)呢?

對(duì)空間立體信息的感知能力是智能設(shè)備比如無(wú)人機(jī)、無(wú)人車、機(jī)器人的最重要的能力之一。四周物體和自己的相對(duì)位置比如方向、距離、運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、運(yùn)動(dòng)加速度等信息,對(duì)于機(jī)器人在空間中判斷自身位置以及和周圍物體互動(dòng)十分重要。

我們?nèi)绻胱寵C(jī)器人從點(diǎn)A到點(diǎn)B,機(jī)器人首先要確定什么是點(diǎn)A,什么是點(diǎn)B,如何從點(diǎn)A走到點(diǎn)B,如何規(guī)劃初始路徑,中間遇到障礙該如何動(dòng)態(tài)調(diào)整路徑……完成這些任務(wù)都需要機(jī)器人具有幾何解算能力,而3D深度計(jì)算是幾何解算的基礎(chǔ)任務(wù)之一。

雙目立體視覺、結(jié)構(gòu)光、飛行時(shí)間傳感器(ToF)、激光雷達(dá)這些諸多技術(shù)路線都是為了解決3D深度信息獲取問題而生,每一種技術(shù)路線都由信號(hào)獲?。▊鞲衅鳎┖托盘?hào)處理(計(jì)算)兩部分組成。

雙目立體視覺

雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)經(jīng)典領(lǐng)域,其技術(shù)路線具有信息量大、不受陽(yáng)光干擾、距離范圍從近到遠(yuǎn)、無(wú)多徑干擾問題、傳感器成本低等諸多優(yōu)點(diǎn),頗受學(xué)術(shù)界和工業(yè)界青睞;其代表應(yīng)用為斯巴魯汽車的Eyesight高級(jí)輔助駕駛系統(tǒng)、無(wú)人機(jī)的飛行避障系統(tǒng)、火星車的視覺模塊、波士頓動(dòng)力的機(jī)器人的視覺系統(tǒng);但立體視覺需要消耗大量的計(jì)算力來處理,因此在傳統(tǒng)觀點(diǎn)來看代價(jià)十分高昂。

結(jié)構(gòu)光、飛行時(shí)間傳感器(ToF)、激光雷達(dá)這些技術(shù)主要是利用主動(dòng)發(fā)射特定信息,然后讓接收器選擇性接收這些信息的原理,本質(zhì)上是通過增加傳感器的復(fù)雜度來降低對(duì)計(jì)算的要求,達(dá)到在算力不足的情況下獲取深度信息的目的,在各自領(lǐng)域有著諸多應(yīng)用。

隨著應(yīng)用日益復(fù)雜,工程師往往在通過傳感器獲取到這些原始信息之后,需要在后端計(jì)算引擎上面做降噪、增強(qiáng)、融合等各種進(jìn)一步加工,這需要有充足算力的芯片來處理。

肇觀電子推出了D163A芯片,具有包括深度計(jì)算幾何引擎和AI計(jì)算引擎在內(nèi)的一系列加速器,將計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用推進(jìn)了一大步。

D163A是一個(gè)完整的SoC主控芯片,其具有CPU、DSP、ISP、Codec、CV加速引擎、MCU、AI計(jì)算引擎和豐富的接口等在內(nèi)的一系列組件,支持LinuxRTOS操作系統(tǒng),是一款適合作為信號(hào)處理的核心芯片。

D163A有著業(yè)界領(lǐng)先的數(shù)字信號(hào)處理能力,支持200余種通用數(shù)學(xué)計(jì)算算子,例如三角函數(shù)、對(duì)數(shù)、快速傅里葉變換、HoG、SVM、RANSAC,等等。

除了強(qiáng)大的3D深度計(jì)算能力和數(shù)字信號(hào)處理能力,D163A有著業(yè)界領(lǐng)先的AI計(jì)算加速能力包括領(lǐng)先的每TOPs處理幀數(shù),實(shí)時(shí)數(shù)據(jù)流處理能力,支持高精度FP16神經(jīng)網(wǎng)絡(luò)模型無(wú)損部署以及高性能的INT8網(wǎng)絡(luò)支持能力。

D163A搭配肇觀電子推出的“5分鐘部署”的AI應(yīng)用開發(fā)平臺(tái)Infer Studio,助力AI算法快速商用;

可支持雙目立體視覺、結(jié)構(gòu)光、飛行時(shí)間傳感器(ToF)、激光雷達(dá)等各種傳感器的信號(hào)處理,包括采集、降噪、增強(qiáng)、融合等后處理算法的加速;其高性能低功耗、適用于端側(cè)應(yīng)用;

接口豐富,支持千兆以太網(wǎng)USB3.0,支持各種操作系統(tǒng),既可用作主控芯片也可用作協(xié)處理器芯片。

D163A在機(jī)器人自主避障、車與車之間的距離測(cè)算、活體檢測(cè)、手勢(shì)識(shí)別、空間定位、工業(yè)相機(jī)、AR/VR等各個(gè)方面具有廣泛的應(yīng)用,搭載D163A的模組和系統(tǒng)已經(jīng)在包括智能叉車、可穿戴設(shè)備、無(wú)人機(jī)、工業(yè)檢測(cè)等多個(gè)領(lǐng)域批量商用。

讓智能設(shè)備具有人一樣的視覺感知和理解能力,在復(fù)雜的環(huán)境中完成復(fù)雜的工作,幫助到人們的工作和生活的方方面面,是肇觀電子始終不變的追求目標(biāo)。肇觀電子此次發(fā)布3D深度計(jì)算+AI加速芯片D163A,是公司發(fā)展的又一項(xiàng)里程碑式事件,將助力打造機(jī)器人的“視覺系統(tǒng)”,推動(dòng)智能機(jī)器人時(shí)代的加速到來。

原文標(biāo)題:肇觀電子發(fā)布3D深度計(jì)算+AI加速芯片D163A,打造機(jī)器人的“視覺系統(tǒng)”

文章出處:【微信公眾號(hào):你好張江】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    455

    文章

    50818

    瀏覽量

    423725
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2878

    瀏覽量

    107555
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30898

    瀏覽量

    269133

原文標(biāo)題:肇觀電子發(fā)布3D深度計(jì)算+AI加速芯片D163A,打造機(jī)器人的“視覺系統(tǒng)”

文章出處:【微信號(hào):zjpark,微信公眾號(hào):你好張江】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    2.5D/3D封裝技術(shù)升級(jí),拉高AI芯片性能天花板

    2.5D/3D封裝和Chiplet等得到了廣泛應(yīng)用。 ? 根據(jù)研究機(jī)構(gòu)的調(diào)研,到2028年,2.5D3D封裝將成為僅次于晶圓級(jí)封裝的第二大先進(jìn)封裝形式。這一技術(shù)不僅能夠提高
    的頭像 發(fā)表于 07-11 01:12 ?6559次閱讀

    技術(shù)資訊 | 2.5D3D 封裝

    本文要點(diǎn)在提升電子設(shè)備性能方面,2.5D3D半導(dǎo)體封裝技術(shù)至關(guān)重要。這兩種解決方案都在不同程度提高了性能、減小了尺寸并提高了能效。2.5D封裝有利于組合各種器件并減小占用空間,適合高
    的頭像 發(fā)表于 12-07 01:05 ?358次閱讀
    技術(shù)資訊 | 2.5<b class='flag-5'>D</b> 與 <b class='flag-5'>3D</b> 封裝

    中興通訊攜手中國(guó)移動(dòng)推出AI裸眼3D創(chuàng)新產(chǎn)品

    全球領(lǐng)先的通訊科技企業(yè)中興通訊攜手中國(guó)移動(dòng),在2024MWC上海展上聯(lián)合發(fā)布兩款全球首創(chuàng)的AI裸眼3D創(chuàng)新產(chǎn)品:千元普惠的中興遠(yuǎn)航3D手機(jī)和第二代裸眼
    的頭像 發(fā)表于 10-15 10:05 ?763次閱讀

    中興通訊全場(chǎng)景AI終端應(yīng)用與裸眼3D新品亮相

    次展會(huì)上,中興通訊還與中國(guó)移動(dòng)聯(lián)合發(fā)布千元普惠的AI裸眼3D手機(jī)——中興遠(yuǎn)航3D,以及全球首款5G+AI裸眼
    的頭像 發(fā)表于 10-15 10:00 ?885次閱讀

    NEO推出3D X-AI芯片AI性能飆升百倍

    近日,半導(dǎo)體行業(yè)的創(chuàng)新先鋒NEO Semiconductor震撼發(fā)布了一項(xiàng)革命性技術(shù)——3D X-AI芯片,這項(xiàng)技術(shù)旨在徹底顛覆人工智能處理領(lǐng)域的能效與性能邊界。
    的頭像 發(fā)表于 08-21 15:45 ?649次閱讀

    3D DRAM內(nèi)嵌AI芯片AI計(jì)算性能暴增

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)盡管當(dāng)前AI訓(xùn)練主要采用GPU+HBM的方案,不過一些新的技術(shù)仍然希望進(jìn)一步打破存儲(chǔ)數(shù)據(jù)傳輸帶來的瓶頸問題。最近,NEO半導(dǎo)體宣布開發(fā)其3D X-AI
    的頭像 發(fā)表于 08-16 00:08 ?3218次閱讀
    <b class='flag-5'>3D</b> DRAM內(nèi)嵌<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>,<b class='flag-5'>AI</b><b class='flag-5'>計(jì)算</b>性能暴增

    紫光展銳助力全球首款AI裸眼3D手機(jī)發(fā)布

    1.4億臺(tái),展示了該技術(shù)巨大的市場(chǎng)潛力和增長(zhǎng)空間。近日,全球首款AI裸眼3D手機(jī)——中興遠(yuǎn)航3D重磅上市。憑借微米級(jí)3D光柵技術(shù)、Neovision
    的頭像 發(fā)表于 07-15 16:00 ?693次閱讀

    中興通訊與中國(guó)移動(dòng)發(fā)布全球首創(chuàng)AI裸眼3D新品,引領(lǐng)3D科技新浪潮

    在科技飛速發(fā)展的今天,裸眼3D技術(shù)以其獨(dú)特的沉浸式體驗(yàn),正逐漸成為科技領(lǐng)域的新寵。近日,全球領(lǐng)先的通訊科技企業(yè)中興通訊攜手中國(guó)移動(dòng),在備受矚目的2024MWC上海展上,發(fā)布了兩款全球首創(chuàng)的AI裸眼
    的頭像 發(fā)表于 06-28 15:32 ?999次閱讀

    銀牛微電子:集3D視覺感知、AI及SLAM為一體的3D空間計(jì)算

    有限責(zé)任公司研發(fā)副總裁周凡在論壇上介紹了“集3D視覺感知、AI及SLAM為一體的3D空間計(jì)算芯片NU4500”。 ? 合肥銀牛微
    的頭像 發(fā)表于 05-17 10:18 ?934次閱讀
    銀牛微<b class='flag-5'>電子</b>:集<b class='flag-5'>3D</b>視覺感知、<b class='flag-5'>AI</b>及SLAM為一體的<b class='flag-5'>3D</b>空間<b class='flag-5'>計(jì)算</b>芯

    NVIDIA生成式AI研究實(shí)現(xiàn)在1秒內(nèi)生成3D形狀

    NVIDIA 研究人員使 LATTE3D (一款最新文本轉(zhuǎn) 3D 生成式 AI 模型)實(shí)現(xiàn)雙倍加速。
    的頭像 發(fā)表于 03-27 10:28 ?498次閱讀
    NVIDIA生成式<b class='flag-5'>AI</b>研究實(shí)現(xiàn)在1秒內(nèi)生成<b class='flag-5'>3D</b>形狀

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,該模型以其獨(dú)特的功能吸引了眾多關(guān)注。此模型具備從單張圖像中生成多視圖3D視頻的能力,為視頻制作領(lǐng)域帶來了革命性的突破。
    的頭像 發(fā)表于 03-22 10:30 ?855次閱讀

    Stability AI推出Stable Video 3D模型,可制作多視角3D視頻

    SV3D_u是Stable Video 3D的一個(gè)版本,僅需單幅圖片即可生成運(yùn)動(dòng)軌跡視頻,無(wú)須進(jìn)行相機(jī)調(diào)整。擴(kuò)充版本的SV3D_p加入了軌道視圖的特性,使其可以根據(jù)預(yù)設(shè)的相機(jī)路徑創(chuàng)建3D
    的頭像 發(fā)表于 03-21 14:57 ?1023次閱讀

    中興通訊發(fā)布全球首款5G+AI裸眼3D平板

    2024年世界移動(dòng)通信大會(huì)(MWC24)在西班牙巴塞羅那隆重開幕,中興通訊作為全球通信行業(yè)的佼佼者,攜多款創(chuàng)新終端產(chǎn)品亮相展會(huì),其中最為引人注目的莫過于全球首款的5G+AI裸眼3D平板——nubia Pad 3D Ⅱ。
    的頭像 發(fā)表于 02-28 09:32 ?671次閱讀

    中興努比亞發(fā)布全球首款5G+AI裸眼3D平板

    此平板采用Neovison 3D Anytime科技將2D畫面即時(shí)轉(zhuǎn)換為3D效果,增強(qiáng)影及音樂娛樂體驗(yàn)的真實(shí)感。較前代產(chǎn)品而言,新設(shè)備在分辨率、亮度和色相等
    的頭像 發(fā)表于 02-27 14:51 ?719次閱讀

    2.5D3D封裝的差異和應(yīng)用

    2.5D3D 半導(dǎo)體封裝技術(shù)對(duì)于電子設(shè)備性能至關(guān)重要。這兩種解決方案都不同程度地增強(qiáng)了性能、減小了尺寸并提高了能效。2.5D 封裝有利于組合各種組件并減少占地面積。它適合高性能
    的頭像 發(fā)表于 01-07 09:42 ?1944次閱讀
    2.5<b class='flag-5'>D</b>和<b class='flag-5'>3D</b>封裝的差異和應(yīng)用