黑芝麻智能科技演講實(shí)錄

黑芝麻智能科技致力于提供基于圖像處理、計(jì)算圖像以及人工智能的嵌入式視覺(jué)感知平臺(tái)。安創(chuàng)成長(zhǎng)營(yíng)五期Demo Day現(xiàn)場(chǎng)，黑芝麻智能科技榮獲“最具潛力獎(jiǎng)”，安創(chuàng)加速器聯(lián)合創(chuàng)始人楊宇欣先生為團(tuán)隊(duì)頒獎(jiǎng)。

安創(chuàng)加速器聯(lián)合創(chuàng)始人楊宇欣先生

為“最具潛力獎(jiǎng)”團(tuán)隊(duì)黑芝麻智能科技頒獎(jiǎng)

黑芝麻智能科技演講實(shí)錄

非常高興，也很感謝安創(chuàng)加速器給我們提供了這樣的舞臺(tái)，為大家介紹黑芝麻智能科技。我們的slogan是“用芯，看懂世界”，提供基于圖像處理、計(jì)算圖像以及人工智能的嵌入式視覺(jué)感知平臺(tái)，不僅要看清楚世界，而且要理解世界。我們致力于成為全球領(lǐng)先的自動(dòng)駕駛感知技術(shù)方案提供商。

最近，總會(huì)看到一些關(guān)于自動(dòng)駕駛車(chē)禍的報(bào)道： Uber的感知系統(tǒng)不穩(wěn)定，所以把warning關(guān)掉了，結(jié)果發(fā)生了車(chē)禍；特斯拉沒(méi)有把隔離帶識(shí)別出來(lái)，結(jié)果直接撞了上去；右下角的是Mobileye無(wú)人駕駛測(cè)試車(chē)，沒(méi)有識(shí)別出紅綠燈，直接闖過(guò)去了。如果我們沒(méi)有一個(gè)好的感知系統(tǒng)，自動(dòng)駕駛根本無(wú)法談起。

我們認(rèn)為，一個(gè)準(zhǔn)確的、穩(wěn)定的、可靠的感知系統(tǒng)需要有四個(gè)方面的功能：清晰的視覺(jué)、優(yōu)質(zhì)的算法、多傳感器融合、足夠的計(jì)算能力。

這是我們提出的解決方案。面對(duì)復(fù)雜的外部環(huán)境，如車(chē)、人、道路、交通標(biāo)識(shí)等，通過(guò)傳感器感知信號(hào)，利用控光技術(shù)把光場(chǎng)進(jìn)行處理（攝像頭），使得攝像頭能夠在實(shí)現(xiàn)在各種特殊工況條件下成像。再通過(guò)毫米波雷達(dá)、超聲波雷達(dá)、GPS、IMU與攝像頭融合，將這些信號(hào)傳入到黑芝麻感知系統(tǒng)。

在黑芝麻感知系統(tǒng)中搭載獨(dú)特的圖像處理技術(shù)，感知理解算法以及優(yōu)化的計(jì)算平臺(tái)。關(guān)于感知理解算法，比如人的特征、行為和場(chǎng)景的識(shí)別等；我們還有一個(gè)優(yōu)化的SoC計(jì)算平臺(tái)，這樣能夠?qū)⒏兄Y(jié)果傳達(dá)給下游自動(dòng)駕駛企業(yè)去做決策、控制。因此，黑芝麻提供的是端到端、全棧式的感知解決方案。

這是我們第一次對(duì)外展示SoC的架構(gòu)。上面中間的部分是Arm 架構(gòu)CPU，藍(lán)色部分都是黑芝麻的技術(shù)，包含ISP、Codec、計(jì)算機(jī)視覺(jué)和神經(jīng)網(wǎng)絡(luò)等。和國(guó)內(nèi)很多企業(yè)只關(guān)注神經(jīng)網(wǎng)絡(luò)加速相比，我們的技術(shù)更加豐富。

目前，汽車(chē)是我們著重關(guān)注的領(lǐng)域。利用黑芝麻的獨(dú)特技術(shù)，黑芝麻能夠開(kāi)發(fā)出車(chē)規(guī)級(jí)的芯片，實(shí)現(xiàn)的功能包括支持多種傳感器的輸入，針對(duì)超低光、超高動(dòng)態(tài)范圍的圖像處理，也能夠滿(mǎn)足L3、L4自動(dòng)駕駛的計(jì)算能力。同Mobileye EyeQ4和EyeQ5相比，黑芝麻感知芯片單位功耗下計(jì)算能力有優(yōu)勢(shì)。

我們的高動(dòng)態(tài)成像當(dāng)中經(jīng)常會(huì)出現(xiàn)這樣的情景，通過(guò)黑芝麻的算法能夠得到完整的、比較清晰的圖片，這樣能夠?yàn)?a target="_blank">深度學(xué)習(xí)、網(wǎng)絡(luò)加速提供很好的圖像信息來(lái)源。

這個(gè)DEMO展示了我們?cè)诓煌r下，有效識(shí)別出車(chē)道和汽車(chē)、行人、交通標(biāo)志，在彎道，大逆光、低光、雨/霧天等情況下都能進(jìn)行識(shí)別。

接下來(lái)這個(gè)demo展示了黑芝麻利用多種傳感器的融合，進(jìn)行高精度定位。綠色的是我們定位的軌跡，紅色的是普通GPS信號(hào)的軌跡?？梢钥吹?，經(jīng)過(guò)傳感器融合后的定位跟實(shí)際位置幾乎沒(méi)有偏差。

黑芝麻智能成立于2016年8月，在硅谷、上海、深圳、武漢都建立了自己的研發(fā)機(jī)構(gòu)和辦事處，員工接近100人，都來(lái)自于細(xì)分領(lǐng)域的頂級(jí)公司，包括OV、Ambarella、高通、英偉達(dá)，甚至美國(guó)國(guó)防部，平均工作時(shí)間也都超過(guò)15年。

現(xiàn)在你們整機(jī)廠(chǎng)方面的進(jìn)展情況怎么樣？

車(chē)規(guī)級(jí)的芯片我們選擇了三家有代表性的汽車(chē)廠(chǎng)，一個(gè)是中國(guó)實(shí)力最強(qiáng)的主機(jī)廠(chǎng)，另一個(gè)是中國(guó)新能源汽車(chē)當(dāng)中的佼佼者，還有一個(gè)是新勢(shì)力造車(chē)的典型代表。

有沒(méi)有明確的計(jì)劃和時(shí)間表？

有的，因?yàn)槭擒?chē)規(guī)級(jí)的，目前芯片設(shè)計(jì)部分已經(jīng)結(jié)束，完成所有驗(yàn)證要到2021年。

剛才我們看到了很棒的視頻展示，團(tuán)隊(duì)過(guò)去在傳感器方面有很多積累，非常惡劣的環(huán)境下表現(xiàn)非常好，大家對(duì)這方面應(yīng)該沒(méi)有任何疑問(wèn)，能否分享一下具體團(tuán)隊(duì)成員的情況和經(jīng)驗(yàn)？如何把車(chē)規(guī)級(jí)的SoC做出來(lái)？

我們的團(tuán)隊(duì)成員在產(chǎn)業(yè)工作年限都超過(guò)15年，曾在行業(yè)尖端企業(yè)，比如高通、安霸等工作，在芯片的設(shè)計(jì)和驗(yàn)證方面有著豐富的經(jīng)驗(yàn)。

智能網(wǎng)聯(lián)汽車(chē)規(guī)劃當(dāng)中提到，中國(guó)需要有自主的智能駕駛計(jì)算平臺(tái)，國(guó)家也有一些戰(zhàn)略推動(dòng)整車(chē)廠(chǎng)方面建立自主的計(jì)算平臺(tái)，現(xiàn)在這些大的整車(chē)廠(chǎng)大概是什么進(jìn)程？

現(xiàn)在中國(guó)的自主品牌主機(jī)廠(chǎng)都有一個(gè)很明確的A/B方案，A方案就是剛才說(shuō)的外圍公司，B方案就是黑芝麻，所以需要跟著自主品牌一起成長(zhǎng)。

傳感器方面現(xiàn)在的合作力度是比較緊密的，因?yàn)橹苯訒?huì)決定信息的獲取，整個(gè)合作的過(guò)程當(dāng)中對(duì)傳感器是怎樣的影響力？

芯片的功能特征是有雷達(dá)、GPS等其他傳感器的接口。

比如激光雷達(dá)，全球短期內(nèi)有沒(méi)有比較容易做出來(lái)的？

目前激光雷達(dá)商業(yè)化確實(shí)比較難，成本也比較高，目前我們只是留了接口，但還沒(méi)有進(jìn)行具體布局，實(shí)現(xiàn)商業(yè)化還需要一定時(shí)間。

現(xiàn)在算法是已經(jīng)固化到里面了嗎？

我們沒(méi)有固化，就是留了接口。我們有ISP，加上神經(jīng)網(wǎng)絡(luò)、SOC架構(gòu)當(dāng)中還有基于RISK-V保密和加密安全方面。

基于視覺(jué)的識(shí)別都是你們自己做的嗎？

是的。

第三方有些很知名的，專(zhuān)門(mén)做機(jī)器視覺(jué)的公司，他們的算法也可以應(yīng)用于你們的芯片嗎？

可以。

所以CNN加速不依賴(lài)于自己的算法？

我們是比較開(kāi)放的平臺(tái)。會(huì)給第三方開(kāi)發(fā)兩種選擇：一是用我們提供的神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具直接進(jìn)行原始網(wǎng)絡(luò)的硬件合成； 二是用我們提供的神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具進(jìn)行網(wǎng)絡(luò)的深度優(yōu)化，包括剪裁和再訓(xùn)練。

黑芝麻智能科技（上海）有限公司是一家視覺(jué)感知核心技術(shù)開(kāi)發(fā)與應(yīng)用提供商，該公司正致力于成為全球嵌入式圖像處理、計(jì)算機(jī)視覺(jué)的領(lǐng)跑者。2016年8月，分別在上海和美國(guó)加州硅谷成立研發(fā)中心。團(tuán)隊(duì)成員已接近100人，核心團(tuán)隊(duì)成員皆有15年以上產(chǎn)業(yè)工作經(jīng)驗(yàn)。公司核心業(yè)務(wù)為提供圖像處理、計(jì)算圖像的解決方案，以及基于人工智能的嵌入式視覺(jué)感知平臺(tái)。目前公司已經(jīng)完成A+輪融資。