0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

愛芯元智的AI ISP夢想 幫助更多人解決邊緣側(cè)高清視頻優(yōu)化的難題

電子麥克風(fēng) ? 來源:電子發(fā)燒友網(wǎng) ? 作者:張迎輝 ? 2021-10-02 08:23 ? 次閱讀
很多玩直播的人、或是看直播可能會有切身的體會。咱們在看直播的時候,如果是視頻效果稍有不佳,就會有著隨時切換直播間的念頭。咱們自己在做直播的時候,一覺得自己的直播間視頻沒有別家好,就會想著提升自己的裝備,例如增加補(bǔ)光燈、配備更好的相機(jī)鏡頭,或是換一臺更強(qiáng)大功能的智能手機(jī),來做直播??傊?,視頻直播黨漸漸地都變成了裝備黨。

目前我所用過的很多旗艦手機(jī),在夜景或強(qiáng)光下,拍照效果還是很不錯,但視頻的時候噪點(diǎn)太多,畫面時好時壞,或是人臉的膚色失真,自己都對自己不滿意,主動給視頻后期師加雞腿。但是直播中加雞腿給攝影師也沒有用,裝備不給力,攝影師也只能說,“臣妾也做不到”。

由此看來,這一塊用戶需求很剛,但智能手機(jī)廠商也是有力使不上。畢竟,關(guān)于視頻AI優(yōu)化的技術(shù),遠(yuǎn)比圖像AI優(yōu)化的難度大。再加上這種特別的需求,目前也就在中國需求最廣最強(qiáng)。因?yàn)橹袊拿缊D優(yōu)化好多年以來,已經(jīng)寵壞了用戶。不加美顏給美女帥哥拍照,那簡直是不懂禮節(jié),不P圖就發(fā)朋友圈,完全是不講武德。

還好,咱們手機(jī)廠商、拍照直播類APP廠商,也是很懂用戶需求的。手機(jī)大廠這些年,也不知道是雷總還是余總帶的頭,都是特別寵粉。所以粉絲提的需求,都是一律都不遺力的支持。這不風(fēng)水轉(zhuǎn)到了視頻優(yōu)化這個階段了,誰能先上個邊緣側(cè)的AI ISP,明顯提升視頻優(yōu)化的算力與算法,那誰就有可能獨(dú)得粉絲的寵愛。

與之類似的,關(guān)于視頻AI算法能力的需求,推廣到智慧城市、智慧社區(qū)、自動駕駛或是智能制造等領(lǐng)域,對于高清視頻ISP的算法優(yōu)化上,其需求現(xiàn)在看,技術(shù)天花板也都看不到上限。

圖:愛芯元智半導(dǎo)體(上海)有限公司 創(chuàng)始人兼首席執(zhí)行官仇肖莘
電子發(fā)燒友網(wǎng)記者日前專訪了國內(nèi)專門做AI ISP芯片的初創(chuàng)公司愛芯元智半導(dǎo)體(上海)有限公司 創(chuàng)始人兼首席執(zhí)行官仇肖莘,她從多個角度深入地解答了我們的問題。訪談中我們了解到,目前做視頻處理的芯片公司中,愛芯元智的獨(dú)門AI絕技,可能還遠(yuǎn)不止于消費(fèi)級應(yīng)用的藍(lán)海級市場。下面是電子發(fā)燒友網(wǎng)的采訪報(bào)道。

2021年9月,AI視覺芯片研發(fā)及基礎(chǔ)算力平臺初創(chuàng)公司愛芯科技正式更名為愛芯元智半導(dǎo)體(上海)有限公司(簡稱為“愛芯元智”),并宣布完成品牌升級。愛芯元智成立于2019年5月,專注于打造高性能、低功耗的人工智能視覺處理器芯片。核心技術(shù)產(chǎn)品支持多種AI視覺任務(wù),廣泛適用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領(lǐng)域。愛芯元智自主研發(fā)的第一顆AI視覺處理芯片AX630A已在2020年12月實(shí)現(xiàn)量產(chǎn),第二顆芯片AX620A也已經(jīng)于2021年7月成功點(diǎn)亮,即將開始正式的客戶推廣。

仇肖莘博士本身就是一個手機(jī)通信行業(yè)的高級技術(shù)與管理人才,有著非常傳奇的個人職業(yè)經(jīng)歷。

下面是電子發(fā)燒友摘選愛芯元智公司的對外宣傳資料。

仇肖莘博士1991年畢業(yè)于清華大學(xué)自動化專業(yè),并獲得碩士學(xué)位,隨后前往美國南加州大學(xué)完成電子工程博士學(xué)位。先后擔(dān)任美國博通公司副總裁,紫光展銳首席技術(shù)官。

2019年5月創(chuàng)立并擔(dān)任愛芯元智半導(dǎo)體(上海)有限公司(原愛芯科技)首席執(zhí)行官,作為公司最高負(fù)責(zé)人,領(lǐng)導(dǎo)研發(fā)AI SoC芯片——能夠廣泛應(yīng)用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領(lǐng)域。

仇博士在Fortune 500 公司有20年以上研發(fā)及管理經(jīng)驗(yàn),曾擔(dān)任重要崗位負(fù)責(zé)人,帶領(lǐng)過大型國際化團(tuán)隊(duì)。精通公司業(yè)務(wù)發(fā)展戰(zhàn)略,兼具極強(qiáng)的研發(fā)及團(tuán)隊(duì)、項(xiàng)目管理能力,對公司業(yè)績做出過突出貢獻(xiàn)。其在SoC芯片研發(fā)、系統(tǒng)架構(gòu),及整體技術(shù)平臺解決方案方面具有極強(qiáng)的專業(yè)知識和豐富的經(jīng)驗(yàn)。

2008年仇肖莘博士當(dāng)選美國博通公司杰出工程師(在研發(fā)人員中占比小于0.5%),被Broadcom內(nèi)部人才管理體系評為“頂級明星”;曾作為Broadcom CEO及其管理團(tuán)隊(duì)的技術(shù)顧問,深度參與技術(shù)路線制定,M&A項(xiàng)目的技術(shù)調(diào)研。

Featured engineer in National Academy of Engineering’s Celebration of Women Engineering.

AT&T Labs - Research(前身貝爾實(shí)驗(yàn)室) 研究卓越獎。

正是因?yàn)橛性诓┩ê妥瞎庹逛J的手機(jī)SoC芯片部門的研發(fā)與管理經(jīng)驗(yàn),仇總對于手機(jī)廠商的硬件需求特別熟悉。所以愛芯元智可以在一年左右的時間就一次性成功流片高端的AI SoC,并且獲得了晶圓廠的產(chǎn)能支持。

仇總介紹,愛芯元智(原愛芯科技)是一個AI視覺芯片研發(fā)及基礎(chǔ)算力平臺公司。其產(chǎn)品策略跟國內(nèi)眾多的視頻處理器公司或ISP公司不同的是,公司第一顆芯片就是做行業(yè)最強(qiáng)最高的芯片技術(shù),匹配市場中的高端應(yīng)用。由于眾所周知的原因,智慧城市、智能交通等市場,出現(xiàn)了供貨的真空期。面對如此巨大的市場,有多家芯片公司都在發(fā)力,但大多數(shù)公司,由于技術(shù)歷史的原因,例如做平板、電視或顯示器的企業(yè),公司之前的技術(shù)積累主要在視頻編解碼,或圖像顯示端,或者說是GPU的能力很強(qiáng),但I(xiàn)SP端并沒有太發(fā)力。而愛芯元智從團(tuán)隊(duì)搭建開始,就是構(gòu)建視頻的ISP算法團(tuán)隊(duì)、NPU團(tuán)隊(duì),并且重點(diǎn)在邊緣側(cè),而不是云端。避免跟大算力大功耗的CPU和NPU競爭。

仇總表示,愛芯元智專注于高性能、低功耗的人工智能處理器芯片研發(fā),并自主研發(fā)面向推理加速的神經(jīng)網(wǎng)絡(luò)處理器IP (NPU IP)。

目前,愛芯內(nèi)部負(fù)責(zé)芯片設(shè)計(jì)、AI算法和應(yīng)用開發(fā)的研發(fā)員工人數(shù),已近公司總?cè)藬?shù)的85%。隨著AX630A的量產(chǎn),研發(fā)團(tuán)隊(duì)已經(jīng)開始跟頭部首波客戶一起合作,盡快做進(jìn)客戶的產(chǎn)品中,一起推到市場。

在頭波客戶需求成熟對接的同時,仇總和團(tuán)隊(duì)也在同步開發(fā)匹配市場主流應(yīng)用定位的產(chǎn)品,從上往下做,把量做大業(yè)績做大。同時為產(chǎn)品找到更多的應(yīng)用市場,例如我們在文章開頭所說的手機(jī)上的ISP視頻AI優(yōu)化的應(yīng)用。

公開資料顯示,愛芯元智通過神經(jīng)網(wǎng)絡(luò)提升畫質(zhì),支持多種視覺任務(wù)開發(fā)。愛芯元智核心技術(shù)產(chǎn)品廣泛適用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領(lǐng)域?;谒惴?、芯片、產(chǎn)品的垂直整合,愛芯元智為合作伙伴提供全棧式解決方案,幫助客戶實(shí)現(xiàn)最新技術(shù)的快速落地。與此同時,公司制定了完善的產(chǎn)品路線圖,覆蓋高中低端市場,以滿足客戶不同場景的產(chǎn)品需求。

而智能手機(jī)或智能相機(jī)這類消費(fèi)級的需求,愛芯元智既可以在后面推出更加靈活的合作方案例如IP級的合作,或是更低成本定制化的芯片。

在ISP方面,愛芯元智還引入了一位ISP行業(yè)的牛人張興。張興現(xiàn)在是愛芯元智半導(dǎo)體(上海)有限公司 ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師。他的工作經(jīng)驗(yàn)專注在ISP多年。據(jù)資料顯示,張興 自2013年開始,從事芯片及設(shè)備上ISP/camera相關(guān)設(shè)計(jì)經(jīng)驗(yàn),曾在多家世界500強(qiáng)的公司及tier-1芯片公司從事camera和ISP的系統(tǒng)設(shè)計(jì)工作;他具有豐富的算法設(shè)計(jì)經(jīng)驗(yàn),曾進(jìn)行多個業(yè)界先進(jìn)算法和方案的設(shè)計(jì)和改進(jìn),在camera領(lǐng)域有多項(xiàng)專利;他還是知名公眾號“大話成像”創(chuàng)始人之一。

當(dāng)然,我們不能說國內(nèi)其他公司的ISP算法團(tuán)隊(duì)技術(shù)就不強(qiáng)。只是過去很多年,視頻ISP的技術(shù)大牛國內(nèi)并不多,而一些特別強(qiáng)大的團(tuán)隊(duì)在日本、歐洲等地。既要有AI NPU卷積的算法能力,也還要結(jié)合客戶需求來不斷推理訓(xùn)練。

愛芯元智第一顆芯片AX630A的實(shí)際亮眼表現(xiàn)
愛芯元智的AI芯片AX630A的特點(diǎn)是算法協(xié)同設(shè)計(jì),每秒處理幀數(shù)可以達(dá)到 1356,遠(yuǎn)超市場水平。
在功耗方面,AX630A的算力是57.6TOPS@800MHz 2w4的功耗是3W左右。下一代的AX620A算力28.8TOPS@800MHz 2w4的功耗低于1W。

真實(shí)案例表現(xiàn) 1:夜間視頻效果(人物已做面部隱私保護(hù)處理)
真實(shí)案例表現(xiàn)2:大規(guī)模智能分析檢測識別能力
真實(shí)案例表現(xiàn)3:多路視頻結(jié)構(gòu)化智能分析能力

從案例3中可以看出,AX630A其實(shí)可以當(dāng)作多路視頻后端分析。

總結(jié)

目前來看,智慧城市市場確實(shí)屬于芯片供應(yīng)真空期,市場需求有AX630A這樣的芯片,來支持相關(guān)的廠商。但作為一個曾經(jīng)在博通、展銳這樣的大公司SoC部門管理操盤過的大咖來說,能夠做到更多的應(yīng)用市場,尤其是智能手機(jī)、相機(jī)這樣的海量市場,公司的前景會遠(yuǎn)超人們的預(yù)期。

文章開頭是一個由電子發(fā)燒友網(wǎng)記者本人開啟的話題,相信未來很快會有愛芯元智或別的公司進(jìn)入來打開視頻ISP的更廣的應(yīng)用空間。畢竟視頻直播已經(jīng)從娛樂級應(yīng)用提升為生產(chǎn)力工具的級別,也就是說從柔性需求,上升到市場剛需。

今年市場上索尼用于直播的幾款相機(jī)漲價缺貨,也是直播業(yè)者的剛需猛漲。相信很多廠商已經(jīng)看到了商機(jī),無論是從手機(jī)端來改進(jìn),還是單獨(dú)的可用于直播的相機(jī)品類的開發(fā),都離不開ISP技術(shù)廠商的支持。電子發(fā)燒友網(wǎng)編輯會持續(xù)關(guān)注和報(bào)道這個賽道。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • ISP
    ISP
    +關(guān)注

    關(guān)注

    6

    文章

    480

    瀏覽量

    52094
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31892

    瀏覽量

    270708
收藏 0人收藏

    評論

    相關(guān)推薦

    AI賦能邊緣網(wǎng)關(guān):開啟智能時代的新藍(lán)海

    中,把握技術(shù)趨勢、深耕應(yīng)用場景的企業(yè)將贏得先機(jī)。隨著5G網(wǎng)絡(luò)的普及和AI算法的持續(xù)優(yōu)化AI邊緣網(wǎng)關(guān)將在更多領(lǐng)域展現(xiàn)其價值,推動產(chǎn)業(yè)智能化升
    發(fā)表于 02-15 11:41

    智出席2024年度智能汽車產(chǎn)業(yè)鏈硬科技趨勢峰會

    在近日舉行的“2024年度智能汽車產(chǎn)業(yè)鏈「硬科技」趨勢峰會”上,智車載事業(yè)部(速)技
    的頭像 發(fā)表于 11-30 16:49 ?736次閱讀

    AI助力智駕智艙產(chǎn)品快速量產(chǎn)

    近日,智車載事業(yè)部(品牌“速”)受邀參加了多場行業(yè)論壇分享,針對公司在車載芯片產(chǎn)品、
    的頭像 發(fā)表于 11-21 16:58 ?384次閱讀

    智精彩亮相IC China 2024

    論壇”上,智聯(lián)合創(chuàng)始人、副總裁劉建偉分享了大模型芯片行業(yè)發(fā)展的最新思考,并介紹了適合智能時代應(yīng)用的
    的頭像 發(fā)表于 11-21 16:56 ?431次閱讀

    智與紫光展銳達(dá)成戰(zhàn)略合作

    近日,智與紫光展銳結(jié)成戰(zhàn)略合作伙伴關(guān)系,雙方將在人工智能生態(tài)建設(shè)、人工智能應(yīng)用等領(lǐng)域長期開展廣泛和深入合作,共同構(gòu)建健康、可持續(xù)的人工智能生態(tài)系統(tǒng),推動AI普惠大眾。
    的頭像 發(fā)表于 11-21 16:54 ?482次閱讀

    速榮膺最佳技術(shù)實(shí)踐應(yīng)用獎

    智車載事業(yè)部(品牌“速”)憑借在車載芯片領(lǐng)域的創(chuàng)新技術(shù)研發(fā)實(shí)力以及在推動量產(chǎn)上車方面
    的頭像 發(fā)表于 10-25 11:39 ?414次閱讀

    摘獲“新銳產(chǎn)品獎”,智重磅亮相ICDIA-IC Show 2024

    智宣布,憑借著出色的性能、經(jīng)濟(jì)及環(huán)保優(yōu)勢,智自研
    的頭像 發(fā)表于 10-08 10:05 ?458次閱讀
    摘獲“新銳產(chǎn)品獎”,<b class='flag-5'>愛</b><b class='flag-5'>芯</b><b class='flag-5'>元</b>智重磅亮相ICDIA-IC Show 2024

    智發(fā)布“AI處理器”

    在近日隆重召開的世界人工智能大會(WAIC)這一全球科技盛會上,智科技有限公司憑借其深厚的AI技術(shù)研發(fā)實(shí)力,正式推出了劃時代的“
    的頭像 發(fā)表于 07-09 09:35 ?499次閱讀

    2024 WAIC智能芯片及多模態(tài)大模型論壇丨AI處理器助力打造普惠智能

    等領(lǐng)域的專家與意見領(lǐng)袖,共同分享大模型時代的創(chuàng)新機(jī)遇及落地成果。智提出了打造基于邊端智能的AI處理器的產(chǎn)品主張,并突出強(qiáng)調(diào)其“更經(jīng)濟(jì)、更高效、更環(huán)?!钡南冗M(jìn)優(yōu)勢。分論壇上,
    的頭像 發(fā)表于 07-05 21:15 ?1662次閱讀
    2024 WAIC智能芯片及多模態(tài)大模型論壇丨<b class='flag-5'>愛</b><b class='flag-5'>芯</b>通<b class='flag-5'>元</b><b class='flag-5'>AI</b>處理器助力打造普惠智能

    智旗下“速”宣布與廣汽埃安達(dá)成系列智能駕駛項(xiàng)目合作

    2024年5月29日,AI芯片創(chuàng)新公司智旗下車載業(yè)務(wù)品牌“
    的頭像 發(fā)表于 05-30 10:13 ?965次閱讀

    智AX620E和AX650芯片獲PSA一級安全認(rèn)證

    據(jù)認(rèn)證資料顯示,智AX620E系列是專為IPC及其他智能視覺應(yīng)用而生的高性能AI視覺處理器,在高畫質(zhì)、智能處理和分析等方面均處于業(yè)界領(lǐng)先地位。該系列芯片采用Arm? Cortex
    的頭像 發(fā)表于 04-23 17:04 ?960次閱讀

    嘉楠基于RISC-V的端側(cè)AIoT SoC采用了原的ISP IP和GPU IP

    信號處理器(ISP)IP ISP8000、畸變矯正(DeWarp)處理器IP DW200,以及2.5D圖形處理器(GPU)IP GCNanoV。該合作極大地優(yōu)化了高精度、低延遲的端側(cè)A
    的頭像 發(fā)表于 03-14 10:20 ?743次閱讀

    嘉楠端側(cè)AIoT芯片K230集成ISP IP和GPU IP

    AIoT芯片K230,成功集成了原的圖像信號處理器(ISP)IP ISP8000、畸變矯正(DeWarp)處理器IP DW200,以及2.5D圖形處理器(GPU)IP GCNanoV。這一創(chuàng)新性的合作極大地
    的頭像 發(fā)表于 03-14 10:02 ?1509次閱讀

    嘉楠基于RISC-V的端側(cè)AIoT SoC采用了原的ISP IP和GPU IP

    原股份 (原,股票代碼:688521.SH) 今日宣布嘉楠科技 (嘉楠,納斯達(dá)克股票代碼:CAN) 全球首款支持RISC-V Vector 1.0標(biāo)準(zhǔn)的商用量產(chǎn)端側(cè)AIoT芯片K230集成了
    的頭像 發(fā)表于 03-14 09:03 ?601次閱讀

    國科微:將持續(xù)優(yōu)化邊緣AI戰(zhàn)略布局

    國科微近日在接受調(diào)研時透露,公司正積極推進(jìn)搭載自研NPU架構(gòu)的芯片研發(fā),主要聚焦在邊緣側(cè)應(yīng)用。公司表示,將持續(xù)優(yōu)化邊緣AI戰(zhàn)略布局,加快
    的頭像 發(fā)表于 02-23 11:23 ?937次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品