一顆好的處理器需要什么樣的好IP？

　　大家對(duì)于處理器內(nèi)部的IP供應(yīng)商，最熟悉的是ARM和Imagination。他們幾乎提供了所有的CPU和GPU內(nèi)核IP。基本上他們的IP就已經(jīng)決定了一顆處理器能跑多少分。但是越來(lái)越多人明白了一個(gè)新道理：僅僅會(huì)跑個(gè)高分，對(duì)于一個(gè)處理器來(lái)說(shuō)，肯定是不夠的。具體來(lái)說(shuō)，還要看這顆處理器，既要強(qiáng)大，還要省電，同時(shí)最好還很智能。

　　因此，對(duì)于提供CPU和GPU以外的IP，例如DSP處理、連接（有線和無(wú)線）、通信的IP，可以幫助實(shí)現(xiàn)更省電、更智能、更靈活的連接性。日前電子工程專(zhuān)輯記者專(zhuān)訪了CEVA公司市場(chǎng)拓展副總裁Eran Briman，向這家全球排名第一的DSP IP和WiFi藍(lán)牙授權(quán)廠商，了解這些技術(shù)的細(xì)節(jié)。

　　CEVA公司市場(chǎng)拓展副總裁Eran Briman在深圳接受媒體的采訪

　　CEVA近五年的IP戰(zhàn)略演變

　　CEVA是業(yè)界排名第一的DSP IP供應(yīng)商，在Nasdaq上市，全球員工約250名，其中170名都在以色列總部，因此常被認(rèn)為是一家以色列公司。

　　很多芯片公司成為了一代拳王，是因?yàn)椴荒茏龀鱿乱淮拖聨状挠袃?yōu)勢(shì)的產(chǎn)品。那么如果是一家IP供應(yīng)商，不能有遠(yuǎn)見(jiàn)地看到四五年以后的芯片趨勢(shì)，那么他們也很可能會(huì)犯致命錯(cuò)誤。不久前一位EDA工具和IP供應(yīng)商的朋友在社交平臺(tái)上發(fā)了個(gè)感嘆：半導(dǎo)體廠商合并太快，今后每個(gè)垂直市場(chǎng)只能讓前三的芯片廠商生存，因此所有的活下來(lái)的芯片廠商都可以說(shuō)自己做到了市場(chǎng)前三。

　　下面這張圖是CEVA在2011年的IP產(chǎn)品規(guī)劃圖。細(xì)心一點(diǎn)即可發(fā)現(xiàn)，在移動(dòng)多媒體CEVA只規(guī)劃了720P高清的視頻編解CEVA-X IP，其中并沒(méi)有列出1080P或更高清的視頻編解碼IP。

　　當(dāng)我向Eran Briman求解時(shí)，他給出的回答很讓人啟發(fā)?！霸?011年我們還認(rèn)為應(yīng)用市場(chǎng)可以像圖中那樣細(xì)分，但后來(lái)市場(chǎng)變化得很快。我們當(dāng)時(shí)認(rèn)為1080p和更高清的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)視頻標(biāo)準(zhǔn)，都會(huì)由硬解碼完成。而能夠編程的非標(biāo)準(zhǔn)視頻和圖像的DSP處理，才會(huì)更有價(jià)值?！?/p>

　　2015年，CEVA的客戶(hù)對(duì)于信號(hào)處理的重要需求，變成了上張PPT中的四個(gè)大類(lèi)：圖像與視覺(jué)、音頻/語(yǔ)音/感測(cè)、無(wú)線連接、通信。

　　“在新的信號(hào)處理上，反而是DSP變得越來(lái)越重要。我們認(rèn)為今后的DSP發(fā)展趨勢(shì)，應(yīng)該是以提供獨(dú)立第三方IP這種方式更適合生存，而不是像TI這種自己研發(fā)DSP技術(shù)，僅在自己的芯片上使用，”一位CEVA的工作人員告訴我們說(shuō)。的確，DSP在圖像識(shí)別、機(jī)器視覺(jué)、語(yǔ)音/聲音識(shí)別等方面的應(yīng)用場(chǎng)景非常廣泛，采用IP授權(quán)的方式，有利于集中力量做研發(fā)，同時(shí)又均攤成本。

　　上面這張CEVA授權(quán)廠商的圖表，很好地說(shuō)明了IP授權(quán)業(yè)務(wù)的模式很成功，國(guó)內(nèi)的展訊、炬力、瑞芯微、新岸線、RDA、ZTE、Beken等，都是CEVA的客戶(hù)。細(xì)心的人可以發(fā)現(xiàn)，海思半導(dǎo)體并不在列。

　　不同于手機(jī)與平板市場(chǎng)，物聯(lián)網(wǎng)的連接技術(shù)格局劇變

　　在2G和3G通信時(shí)代，高通幾乎掌握了大部分的基帶專(zhuān)利技術(shù)，CEVA的2G/2.5G/3G基帶無(wú)線通信技術(shù)，授權(quán)給了展訊、三星、聯(lián)芯和英特爾等芯片廠商，在4G/LTE以后，高通的專(zhuān)利變少，而CEVA獲得了很多的LTE授權(quán)。2014年采用了CEVA LTIP的智能手機(jī)出貨量真實(shí)過(guò)了1100萬(wàn)，到2015年Q3預(yù)計(jì)就會(huì)超過(guò)2500萬(wàn)支。這個(gè)統(tǒng)計(jì)數(shù)據(jù)不包括新興的物聯(lián)網(wǎng)的設(shè)備。

　　過(guò)去兩三年中，很多半導(dǎo)體廠商的手機(jī)基帶與處理器部門(mén)被出售、合并或是裁員關(guān)閉，而過(guò)往的手機(jī)芯片大佬高通的手機(jī)芯片業(yè)務(wù)，也受到很大的沖擊，其大客戶(hù)三星，在新的旗艦機(jī)上Galaxy S6上，采用了高通和三星自己的基帶，市場(chǎng)傳聞三星自己的基帶手機(jī)出貨量更大。甚至還有傳聞，蘋(píng)果的下一代手機(jī)，會(huì)采用英特爾的基帶，對(duì)于高通真的是一壞消息 ，但對(duì)于CEVA，卻相反，因?yàn)橛⑻貭?、三星手機(jī)芯片都用了CEVA的IP。手機(jī)芯片市場(chǎng)格局在發(fā)生變化，芯片背后的IP供應(yīng)商，起了重要的作用。有人預(yù)測(cè)將來(lái)存活下來(lái)的手機(jī)芯片廠商，應(yīng)該難以超過(guò)六家，其中有三家是自家手機(jī)用自家的處理器：蘋(píng)果、三星和華為。

　　新的物聯(lián)網(wǎng)設(shè)備需要用到的技術(shù)，包括藍(lán)牙、WIFI、圖像與視覺(jué)、音頻/語(yǔ)音/感測(cè)、通信。CEVA已經(jīng)有獲得了超過(guò)50家的非基帶授權(quán)客戶(hù)。

　　上圖右邊是在列的非基帶授權(quán)業(yè)務(wù)，數(shù)量已經(jīng)超過(guò)了50家。而現(xiàn)在的手機(jī)平板芯片廠家數(shù)量還在繼續(xù)減少。

　　針對(duì)物聯(lián)網(wǎng)設(shè)備，WiFi、藍(lán)牙、LTE和窄帶LTE（NB-LTE）是最重要的連接技術(shù)，而非傳統(tǒng)的LTE和有線連接。通過(guò)攝像機(jī)進(jìn)行面部識(shí)別、 AR、VR、ADAS，或是通過(guò)智能數(shù)字麥克風(fēng)與傳感器，智能設(shè)備中的始終開(kāi)啟、噪聲抑制、傳感器中樞技術(shù)，也正好是CEVA為物聯(lián)網(wǎng)提供的未來(lái)技術(shù)。

　　CEVA花1900美元收購(gòu)的RivieraWaves，帶來(lái)了超值的回報(bào)

　　2014年7月CEVA以1900萬(wàn)美元收購(gòu)RivieraWaves。這家公司的低功耗WiFi與藍(lán)牙IP技術(shù)，與CEVA的DSP結(jié)合，現(xiàn)在看來(lái)是非常成功的案例。RivieraWaves的Wi-Fi和Bluetooth IP以備有高功效的基于硬件設(shè)計(jì)和基于DSP設(shè)計(jì)方式提供，為L(zhǎng)TE和Wi-Fi帶來(lái)了實(shí)現(xiàn)差異化的靈活性和統(tǒng)一的平臺(tái)。其藍(lán)牙與WIFI IP，已經(jīng)成功地應(yīng)用到了很多新的物聯(lián)網(wǎng)市場(chǎng)，包括可穿戴、智能家居，無(wú)線音響等超大量規(guī)模應(yīng)用。

　　下面這張PPT中有提到一個(gè)ZigSmart的詞。據(jù)Eran Briman介紹，它是由ZigBee、Thread、6LoWPAN、BLT 4.2整合演進(jìn)，是CEVA的獨(dú)家專(zhuān)有技術(shù)，符合 IEEE 802.15.4標(biāo)準(zhǔn)。

　　在上圖列出的客戶(hù)中，Dialog在小米手環(huán)和眾多可穿戴設(shè)備上的成功，Beken在無(wú)線藍(lán)牙音箱市場(chǎng)等領(lǐng)域占有很大的出貨量，都讓人印象深刻。現(xiàn)在越來(lái)越多的遙控器、耳機(jī)、健身產(chǎn)品，也都在采用越低功耗藍(lán)牙方案，將來(lái)每個(gè)市場(chǎng)的出貨量將是數(shù)以?xún)|計(jì)。

　　在CEVA與NXP的一篇新聞稿中指出，“NXP的SoC充分利用RivieraWaves Bluetooth Smart 的超低功耗特性，極大地簡(jiǎn)化了下一代可穿戴產(chǎn)品、智能家居、數(shù)字健康和其它物聯(lián)網(wǎng)（IoT） 構(gòu)成設(shè)備的創(chuàng)新?！?/p>

　　“RivieraWaves Bluetooth Smart IP為智能手表、助聽(tīng)器、用于醫(yī)療/運(yùn)動(dòng)（心率、血糖、體溫）的可穿戴傳感器、遙控裝置、玩具、環(huán)境傳感器和位置信標(biāo)等需要單模式低功耗藍(lán)牙（BLE）的應(yīng)用及許多其它“機(jī)器對(duì)機(jī)器”（machine–to-machine）通信提供極低功耗、低運(yùn)算負(fù)荷和低邏輯門(mén)數(shù)的平臺(tái)。這個(gè)Bluetooth Smart IP符合最新的Bluetooth Smart 4.2規(guī)范，由一個(gè)硬件基帶控制器和包括Profiles在內(nèi)的完整軟件協(xié)議棧構(gòu)成?！?/p>

　　順便說(shuō)一下，對(duì)于CEVA業(yè)務(wù)模式上既收IP授權(quán)費(fèi)，又收IP使用費(fèi)。這些新的應(yīng)用隨時(shí)都有著比手機(jī)平板都要大的出貨量，錢(qián)景真是無(wú)限看好。下面插入一張CEVA過(guò)去18個(gè)月的股價(jià)趨勢(shì)圖，刺激大家一下：

　　CEVA的股價(jià)在過(guò)去一年中幾乎翻了一番。

　　筆者在另一篇新聞稿中找到了關(guān)于低功耗WiFi IP技術(shù)的介紹。低功耗WiFi是一個(gè)非常值得大家關(guān)注的技術(shù)，具體作用的描述，從一篇CEVA的新聞稿中摘錄如右：CEVA的RivieraWaves Wi-Fi IP在瞄準(zhǔn)智能手機(jī)、可穿戴產(chǎn)品、消費(fèi)電子、智能家居、工業(yè)和汽車(chē)電子應(yīng)用的SoC設(shè)計(jì)中無(wú)縫實(shí)現(xiàn)低功耗802.11合規(guī)連接性功能。

　　還是用一張PPT來(lái)說(shuō)明CEVA的WIFI平臺(tái)更合適。其中Celeno也是一個(gè)以色列公司，主要市場(chǎng)是家庭用WiFi產(chǎn)品。

　　智能產(chǎn)品不可或缺的技術(shù)：圖像視覺(jué)識(shí)別、語(yǔ)音識(shí)別分析

　　對(duì)視頻、圖像和語(yǔ)音的機(jī)器識(shí)別與分析，在云和服務(wù)器端并不是什么難題。但在嵌入式產(chǎn)品端來(lái)進(jìn)行，一直是一個(gè)非常前沿的科技難題。一方面是因?yàn)榍度胧疆a(chǎn)品的功率與功耗限制了處理器的性能，或一方面則是海量的存儲(chǔ)數(shù)據(jù)，都只能在云端進(jìn)行，嵌入式產(chǎn)品的智能識(shí)別功能非常有限。

　　隨著新的技術(shù)的發(fā)展，在嵌入式產(chǎn)品端直接完成快速的識(shí)別與判斷， 漸漸成為了可能。CEVA推出深層神經(jīng)網(wǎng)絡(luò)框架加快低功耗嵌入式系統(tǒng)中的機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用。

　　CEVA公司日前宣布推出實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)軟件框架CEVA 深層神經(jīng)網(wǎng)絡(luò)（CEVA Deep Neural Network， CDNN），以簡(jiǎn)化低功耗嵌入式系統(tǒng)中的機(jī)器學(xué)習(xí)部署。通過(guò)利用CEVA-XM4 圖像和視覺(jué)DSP的處理能力，CDNN使得嵌入式系統(tǒng)執(zhí)行深層學(xué)習(xí)任務(wù)的速度比基于GPU的領(lǐng)先系統(tǒng)提高3倍，同時(shí)消耗的功率減少30倍，所需存儲(chǔ)帶寬減少15倍 （注）。例如，在28nm工藝下對(duì)每秒 30幀的1080p視頻流運(yùn)行基于深層神經(jīng)網(wǎng)絡(luò)（DNN） 的行人檢測(cè)算法，所需功率低于30mW。

　　CNN神經(jīng)網(wǎng)絡(luò)之前有介紹過(guò)，此處不再重復(fù)。下面分聲音和視覺(jué)兩方面來(lái)做介紹。

　　聲音分析指的是嵌入式產(chǎn)品，可能接受語(yǔ)音的指令或者是感受到環(huán)境中的聲音，通過(guò)DSP技術(shù)來(lái)識(shí)別這些聲音，例如嬰兒的哭泣、門(mén)窗玻璃碎裂等，來(lái)作出決斷并給出下一步的指令。

　　而這些，都是在無(wú)云端（Cloudless）的音頻分析，以低功耗的方式完成。

　　工程師今后可以借助具備聲音分析功能的芯片，開(kāi)發(fā)出語(yǔ)音控制的產(chǎn)品，或是聲音預(yù)警的產(chǎn)品。個(gè)人想到的就有家用機(jī)器人，聲音遠(yuǎn)程報(bào)警設(shè)備、小區(qū)智能監(jiān)控器等。

　　智能的視覺(jué)分析技術(shù)，它比以往的GPU和CPU，更加節(jié)能高效。CEVA公司CEVAnet合作伙伴計(jì)劃的成員企業(yè)Phi Algorithm Solutions已經(jīng)使用CDNN實(shí)現(xiàn)了一個(gè)基于CNN的通用目標(biāo)檢測(cè) （Universal Object Detector）算法，用于CEVA-XM4 DSP。現(xiàn)在應(yīng)用開(kāi)發(fā)人員和OEM廠商可以把這個(gè)算法用于各種應(yīng)用，包括用于安全的行人檢測(cè)和面部檢測(cè)、先進(jìn)駕駛輔助系統(tǒng)（ADAS）和基于低功耗相機(jī)功能系統(tǒng)的其它嵌入式設(shè)備。

　　Phi Algorithm Solutions總裁兼共同創(chuàng)始人Steven Hanna在新聞稿中表示：“CEVA深層神經(jīng)網(wǎng)絡(luò)框架為我們基于卷積神經(jīng)網(wǎng)絡(luò)的算法提供了從離線訓(xùn)練到實(shí)時(shí)檢測(cè)的快速順暢路徑，使得我們能夠在短短數(shù)天內(nèi)獲得經(jīng)過(guò)優(yōu)化的獨(dú)特目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)施方案，并且功耗比其它平臺(tái)顯著降低。CEVA-XM4圖像和視覺(jué)DSP結(jié)合CDNN框架，是嵌入式視覺(jué)設(shè)備的理想選擇，并且為使用深層學(xué)習(xí)技術(shù)的人工智能設(shè)備在未來(lái)數(shù)年的進(jìn)步打穩(wěn)了根基?！?/p>

　　CDNN軟件框架以源代碼方式提供，擴(kuò)展了CEVA-XM現(xiàn)有的應(yīng)用開(kāi)發(fā)套件 （ADK） 。它具有靈活和模塊化特性，能夠支持完整的CNN實(shí)施方案或特定層，并且可與各種網(wǎng)絡(luò)和結(jié)構(gòu)共享，比如使用Caffe、Torch或Theano訓(xùn)練框架開(kāi)發(fā)的網(wǎng)絡(luò)，或?qū)Ｓ芯W(wǎng)絡(luò)。CDNN包括用于圖像分類(lèi)、定位和目標(biāo)識(shí)別的實(shí)時(shí)示例模型，用于目標(biāo)和場(chǎng)景識(shí)別、先進(jìn)駕駛輔助系統(tǒng)（ADAS）、人工智能 （AI）、視頻分析、增強(qiáng)現(xiàn)實(shí)（AR）、虛擬現(xiàn)實(shí)（VR）和類(lèi)似的計(jì)算機(jī)視覺(jué)應(yīng)用。

　　總結(jié)

　　最后回到文章前面提到了1080P高清編解碼的IP問(wèn)題。相比這些可編程的視覺(jué)分析DSP技術(shù)，那些標(biāo)準(zhǔn)化的視頻格式的處理，給客戶(hù)、用戶(hù)帶來(lái)的價(jià)值，是完全不同的。應(yīng)對(duì)差異化無(wú)限大的物聯(lián)網(wǎng)市場(chǎng)，設(shè)計(jì)或是選擇一顆好的處理器，參考的指標(biāo)遠(yuǎn)不僅是ARM/Imagination的CPU和GPU內(nèi)核參數(shù)這么簡(jiǎn)單。