和高通一起打造智能手機影像的硬件創(chuàng)新，2023年P(guān)rophesee進入收獲期

不久前，Prophesee與高通技術(shù)公司聯(lián)合宣布雙方將合作優(yōu)化 Prophesee Metavision 事件視覺傳感器與高通驍龍移動平臺的深度融合，為智能手機提供神經(jīng)擬態(tài)視覺技術(shù)在速度、性能和成像質(zhì)量方面的優(yōu)勢。據(jù)了解，這一方案正積極推進，很快就會有品牌智能手機的項目落地。

日前，Prophesee聯(lián)合創(chuàng)始人兼執(zhí)行總裁Luca Verre以及Prophesee副總裁兼大中華區(qū)總經(jīng)理楊雪飛接受包括電子發(fā)燒友網(wǎng)在內(nèi)的媒體采訪，分享了 Prophesee Metavision技術(shù)的應(yīng)用情況以及公司發(fā)展等話題。

Prophesee Metavision技術(shù)推動智能手機攝影的創(chuàng)新

Prophesee Metavision 事件視覺傳感器能夠模擬人眼工作模式。Luca Verre解析，通常人眼在觀察畫面時，關(guān)注點并不是整個畫面，而只是關(guān)注于畫面當中正在發(fā)生變化的部分，Prophesee的傳感器技術(shù)通過獨立且異步的像素設(shè)計實現(xiàn)這個原理，可以獨立地對畫面中發(fā)生變化的物體信息做出反應(yīng)，這樣不僅可以很大程度上減少信息量，并且像素反應(yīng)速度極快，而且?guī)缀醪皇芄饩€條件的影響。

圖：Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre

Prophesee成立于2015年，技術(shù)團隊對于事件視覺傳感器的研究長達25年之久，最初是希望借助這個技術(shù)幫助視力受損的人修復(fù)視覺，這項工作在2016年取得很大的成功。同時這項技術(shù)也賦能到一些設(shè)備上，特別是在人工智能（AI）和機器視覺領(lǐng)域，包括像物聯(lián)網(wǎng)設(shè)備、機器人、無人機以及智能手機上。

如今，手機是圖像傳感器最大的市場，占比達60%。手機的攝影功能是各大手機廠商都非常重視的指標，都在不斷地追求極致。在手機端，將Prophesee的事件傳感器與傳統(tǒng)的以幀為單位的圖像傳感器進行結(jié)合，能夠提高手機攝影照片的質(zhì)量。

Prophesee和高通都一致認為，神經(jīng)擬態(tài)技術(shù)將會為未來智能手機帶來非常多的附加價值，不論是在計算攝影還是在其他一些傳感應(yīng)用方面，這也是為什么高通決定和Prophesee達成長期戰(zhàn)略性的合作伙伴關(guān)系。Luca Verre表示，我們和高通的合作主要是在兩個方面，在技術(shù)層面，高通幫助我們把事件視覺傳感器和軟件整合到驍龍移動平臺上；在業(yè)務(wù)發(fā)展層面，高通將會和我們一起，向手機OEM推廣這個解決方案。Prophesee在神經(jīng)擬態(tài)視覺領(lǐng)域具有領(lǐng)導(dǎo)性的地位。我們希望能夠和高通一起，共同推進這個產(chǎn)品和技術(shù)的發(fā)展和落地。

攝影模糊是當前手機影像面臨的一大挑戰(zhàn)。如果你的拍照對象移動速度很快的話，很容易產(chǎn)生模糊的情況。



如上圖，左側(cè)展示的是用常規(guī)的攝像機拍攝的照片，整個過程有停頓，并且很明顯在照片當中出現(xiàn)了模糊的狀態(tài)；而在右側(cè)使用我們事件相機的技術(shù)，可以看到非常連貫，并且能夠很好地捕捉到運動的部分。在捕捉動態(tài)物體方面，Prophesee的技術(shù)和解決方案要比傳統(tǒng)的攝像機表現(xiàn)更優(yōu)越。

進一步來看，在使用普通常規(guī)攝像機拍攝的時候，如果被拍攝對象移動速度很快，比如照片上的這位男士，或是由于場景光線不足導(dǎo)致曝光時間延長，都可能會導(dǎo)致照片發(fā)生模糊。簡單來說就是普通照相機的傳感器沒有足夠的時間去收集到足夠的信號，也沒有時間去對這些捕捉到的數(shù)據(jù)和信號進行重新的架構(gòu)。


而基于事件的視覺解決方案，它收集到的事件數(shù)據(jù)在時間上具有連續(xù)性，可以借助這些信息來重新構(gòu)建和修復(fù)常規(guī)攝像機拍攝的模糊的圖像，像照片上的這位男士以及球桿，都可以恢復(fù)到接近我們?nèi)搜垡曈X看到的狀態(tài)。

以雙攝像頭模組來看，右側(cè)是事件相機，左側(cè)是以幀為基礎(chǔ)的相機，將兩者進行結(jié)合以提升照片的質(zhì)量，可以借助事件相機捕捉到的運動對象的信息，來校準發(fā)生模糊的照片。




據(jù)透露，目前Prophesee已經(jīng)開發(fā)了比較成熟的攝像頭模組和應(yīng)用軟件，計劃會在下個季度向市場推出相關(guān)的手機參考設(shè)計。照片去模糊只是事件視覺技術(shù)眾多應(yīng)用中的一個，未來Prophesee還將高通以及手機OEM廠商共同開發(fā)更多的功能。

以低延遲低功耗，助力AR/VR領(lǐng)域的跟蹤功能創(chuàng)新

隨著越來越多的攝像頭用于邊緣智能的處理，傳統(tǒng)基于幀的攝像頭在在數(shù)據(jù)的處理量、處理速度、以及周圍光線條件不理想時，遇到的模糊問題日益突出。除了智能手機是Prophesee重點關(guān)注的賽道之外，事件視覺技術(shù)未來還將解鎖更多市場應(yīng)用，能夠為行業(yè)帶來巨大的范式轉(zhuǎn)變。

Prophesee目前在可穿戴設(shè)備以及AR/VR領(lǐng)域進行探索和突破，包括位姿跟蹤、手勢追蹤、眼球跟蹤等等?？梢员M可能地幫助減少延遲和降低功耗，這也是提升沉浸式體驗的關(guān)鍵。




Luca Verre解析，從應(yīng)用案例來看，像inside-out tracking借助事件視覺技術(shù)，可以精準檢測目標對象的輪廓，并進行高速追蹤，而且?guī)缀醪皇芄饩€條件的影響。這些應(yīng)用也能夠幫助我們更好地與空間進行交互和互動，比如說提升游戲的體驗感等。

還有眼球追蹤案例中，如果使用傳統(tǒng)攝像頭進行眼球追蹤，通常需要達到500幀/秒以上的速度，這就對算力的要求非常高。而事件視覺技術(shù)只關(guān)注畫面中動態(tài)變化的信息，可以大大降低數(shù)據(jù)量，并且實現(xiàn)非常高速的追蹤。去年Meta公司發(fā)布了基于Prophesee合作取得的系列成果和數(shù)據(jù)，在有限的功耗內(nèi)實現(xiàn)了高性能的眼球追蹤。

Prophesee的事件視覺解決方案可以有效解決三個痛點，即高速跟蹤、降低算力需求以及降低整體功耗。而未來這項技術(shù)會在AR/VR領(lǐng)域解鎖更多的應(yīng)用可能，創(chuàng)造更多的價值。

2023年進入收獲期，更多項目落地

目前Prophesee已經(jīng)獲得了超過1.2億美元的融資，團隊成員超過110人，在法國、美國、中國和日本都設(shè)立辦公室。中國團隊目前規(guī)模最大，增長速度也非常快。

Prophesee 副總裁兼大中華區(qū)總經(jīng)理楊雪飛介紹，除了中國區(qū)總部上海之外，公司在北京、香港、臺北等地方覆蓋了團隊，同時還在加速設(shè)立深圳辦公室，來支持合作伙伴和客戶。

Prophesee 副總裁兼大中華區(qū)總經(jīng)理楊雪飛

Prophesee中國團隊不僅以銷售為主，開發(fā)也是非常重要的一個方向。公司也致力于把基于事件的（event-based）解決方案的軟件提供給客戶，使用自己的軟件處理數(shù)據(jù)，給客戶提供所需的解決方案。

去年夏天，公司專門從法國邀請了創(chuàng)始團隊當中的一位成員擔任中國區(qū)CTO，帶動技術(shù)研發(fā)以滿足中國區(qū)客戶的支持與開發(fā)。同時Prophesee也在加強本地化團隊的技術(shù)開發(fā)能力，以及快速地響應(yīng)能力，完全地支持在中國區(qū)的客戶。

到2022年為止，Prophesee 與中國區(qū)合作伙伴進行了大量地合作，包括如清華大學(xué)在內(nèi)的超過30所大學(xué)院校、大專院校以及研究所單位。同時也面向工業(yè)類、應(yīng)用類，與大量的ToB企業(yè)進行合作，包括小米、索尼這些頭部的企業(yè)。去年P(guān)rophesee在中國也找到了相機合作廠商，在中國區(qū)落地EVS相機和本地化的生產(chǎn)。

楊雪飛表示，跨入到2023年之后，Prophesee逐漸開始收獲。

首先，今年將推出Prophesee的中文版官方網(wǎng)站。Prophesee的歐洲版官方網(wǎng)站有一個開發(fā)者論壇，這個論壇提供很多新技術(shù)的開源代碼給廣大開發(fā)者，在論壇上相互交換研究所得。目前在全球英文開發(fā)者論壇上面已經(jīng)有超過8000多的會員共同來開發(fā)事件視覺傳感器各種應(yīng)用領(lǐng)域，包括很多知名的大學(xué)院校和相應(yīng)的研究單位。今年也會在中國區(qū)開發(fā)中文的開發(fā)者論壇，方便和中國的廣大合作伙伴一起把這個技術(shù)的交流和研發(fā)推向一個更廣闊的前景。

第二，2023年是Prophesee收獲眾多合作開發(fā)果實的一年。目前Prophesee已經(jīng)完全打通了高通平臺，也正在全面與中國各家知名的手機OEM廠商展開合作。

除了手機之外，在IoT這個領(lǐng)域的監(jiān)控安防，Prophesee在該領(lǐng)域就會有相應(yīng)的量產(chǎn)產(chǎn)品落地，目前正在穩(wěn)步推進。Prophesee的技術(shù)不但能夠保護隱私，而且能夠節(jié)省數(shù)據(jù)流量和資源，讓整個方案變得更便捷、安全。

另外，VR的眼球追蹤技術(shù)，或者真人動作捕捉類技術(shù)，事件視覺傳感器捕捉到的信息具有優(yōu)秀的連貫性，能夠帶來非常好的效果，這類應(yīng)用也有緊密合作中。

今年P(guān)rophesee還會推出針對3D深度信息捕捉的解決方案。事件視覺傳感器的高速特性會大幅提升捕捉速度，能夠在更高速的運動過程中進行3D信息的傳輸。