谷歌進(jìn)軍手機(jī)芯片，打什么算盤？

現(xiàn)在智能手機(jī)的亮點(diǎn)越來越少，八核，F(xiàn)HD+的全面屏，AMOLED，大容量內(nèi)存，大家千篇一律。最大的亮點(diǎn)和變數(shù)都在拍照里了。

上周發(fā)布的兩款手機(jī)被關(guān)注最多的焦點(diǎn)就在拍照上了。首先是Google最新親兒子Google Pixel 2在DxOMark手機(jī)相機(jī)評分榜上碾壓iPhone 8和Galaxy Note 8，拿下史上總分最高分：98。緊接著華為Mate 10 Pro則在這個(gè)榜單上拿下了總分97分 第二好的成績。

而在拍照（Photo）方面，華為Mate 10 Pro 超過了Pixel 2的99分，以100分的成績傲視群雄。

從上圖可以看出盡管Mate 10 Pro使用了更大的光圈f/1.6，但由于單Camera的像素沒有Pixel 2大，所以在曝光和對比度上差于Pixel 2。而Dual PD的快速對焦比PDAF快，使得Pixel 2在Autofocus上略占上風(fēng)。只是Mate 10 Pro在去噪，變焦，和景深上下足功夫，最終在拍照的總分上超過了Pixel 2。

說到上表中的Bokeh（虛化），Google Pixel 2 還用單攝像頭實(shí)現(xiàn)了雙攝才有的背景虛化功能。這是如何實(shí)現(xiàn)的呢？其實(shí)Google Pixel 2 的后置攝像頭用的類似VIVO X20的前置攝像頭，都采用的是Dual PD技術(shù)。

普通的Camera sensor每個(gè)像素點(diǎn)都是一個(gè)RGBG 的Bayer Pattern，而Dual PD 的每個(gè)像素點(diǎn)則是在Bayer Pattern的技術(shù)上，將每個(gè)像素點(diǎn)一分為二（如下圖）

使用Dual PD的好處就是，一方面Pixel 較大。一般的12M camera pixel 都為1.12um，最多1.25um，而為了做Dual PD 通常的做法是采用1.4um pixel，當(dāng)然現(xiàn)在也有了1.28um pixel 的Dual PD sensor。使用大pixel 的好處就是在暗光下相關(guān)會更加的好。而另一方面，由于dual PD 每個(gè)像素點(diǎn)都跟雙Camera一樣，分左右圖，很容易實(shí)現(xiàn)depth map（深度信息），從而實(shí)現(xiàn)雙Camera的虛化效果。

不過一般雙Camera的兩個(gè)Sensor之間的baseline（間距）都是在10mm左右，Dual PD的間距非常的近，只能對距離在70cm以內(nèi)的物體產(chǎn)生較為準(zhǔn)確的深度信息。Pixel 2 采用了Samsung 1.28um pixel S5K2L9，所以在虛化效果上，會有一定的缺陷。從DXO Mark官網(wǎng)提供的對比照片來看，雖然Pixel 2做到了虛化效果，但此美女背后的柱子出現(xiàn)了明顯的虛化不一致，景深距離判斷錯(cuò)誤的問題。

其實(shí)最早采用Dual PD的是Samsung的Galaxy S7。而S7 僅是利用了Dual PD 大像素暗光效果好的功能，以及由于可以測距，從而實(shí)現(xiàn)比PDAF更快的快速對焦。并沒有利用測距去實(shí)現(xiàn)景深效果。

而VIVO的X20 也是利用此技術(shù)，在人臉解鎖時(shí)，通過Dual PD技術(shù)，計(jì)算人臉的3D信息，從而避免通過照片欺騙相機(jī)解鎖的問題。

除了能帶來更好的拍照體驗(yàn)外，真正讓人們眼前一亮的是，Google Pixel 2 手機(jī)里居然內(nèi)置了Google 自行研發(fā)PIxel Visual Core，是一顆尚未激活的圖像處理和機(jī)器學(xué)習(xí)協(xié)處理器。

如上圖所示，PIxel Visual Core的核心是一個(gè)八核的IPU（Image Processing Unit 圖像處理單元），而每個(gè)IPU 都有512算術(shù)邏輯單元（ALU）。除了通過用Halide來進(jìn)行圖像處理，用TensorFlow處理機(jī)器學(xué)習(xí)，Google還做了一個(gè)編譯器，來優(yōu)化硬件代碼，Google使得IPU的功能一場的強(qiáng)大。

不過，Pixel Visual Core現(xiàn)在依然在休眠，要等到Android 8.1推送之后，這款處理器就能用了。之后，Google會第三方開發(fā)者開放Pixel Visual Core，開發(fā)者也可以通過Android Camera API，讓自己的App用上Pixel 2的HDR+（High-Dynamic Range,高動(dòng)態(tài)范圍圖像）技術(shù)。

當(dāng)然，Google 剛開始只是開放的是HDR+ 技術(shù)。而HDR+技術(shù)其實(shí)很早以前就有了。使用此技術(shù)主要是解決在高亮度差的情況下，對高亮場景不過曝，低亮場景可以清楚顯示的問題。最簡單的解釋就是解決黑人和白人合影的問題。

一般實(shí)現(xiàn)HDR有幾種實(shí)現(xiàn)方式：

1. 普通的HDR，即一幀長曝光，一幀短曝光。長曝光可以讓低亮度的圖像更加清晰，而短曝光可以避免高亮度的地方過曝。但缺點(diǎn)是因?yàn)橛昧藘蓭瑘D像合成，若兩幀的圖像有差異，容易產(chǎn)生鬼影（拖影）。此HDR犧牲幀率，所以不適應(yīng)用于錄像，主要適合拍照。

2. iHDR，即同一幀里不同行，一行長曝光，一行短曝光。好處是可以避免兩幀合成產(chǎn)生的鬼影，缺點(diǎn)是會犧牲分辨率。iHDR需要Camera Sensor支持。由于犧牲了分辨率，而錄像的分辨率一般遠(yuǎn)低于拍照，所以此技術(shù)主要用于錄像。

3. zzHDR，即在同一幀里，長曝光和短曝光的像素點(diǎn)交錯(cuò)出現(xiàn)，像一個(gè)z字，所以又叫zzHDR。此技術(shù)也需要Camera sensor的支持。目前還沒有看到使用的手機(jī)。

Google 的 IPU 到底使用哪個(gè)技術(shù)還不得而知。不過通過提高長短曝光的時(shí)間，以及合成的速度，也會讓用戶體驗(yàn)到更好的HDR效果。Google獨(dú)立的IPU可以在這塊上做很多優(yōu)化工作。

一般的手機(jī)平臺，如高通，聯(lián)發(fā)科，展訊，甚至Apple都是在主芯片SoC里集成了圖像處理芯片。但這兩年我們也看到了很多外置芯片的手機(jī)，比如早些年的海思平臺，這兩年的Samsung Galaxy S系列（S8采用的自己的ISP C3），華碩，VIVO采用了瑞芯微的Pre ISP。通過外置的圖像處理芯片，

可以使手機(jī)在圖像處理上與其他手機(jī)產(chǎn)生差異化。比如華碩，VIVO 在暗光下的處理，Google則利用IPU 實(shí)現(xiàn)了HDR+。

當(dāng)然HDR+只是Google先實(shí)現(xiàn)的功能，Google今年發(fā)布的ARCore就是為了跟Apple的ARkit相抗衡。AR一方面需要強(qiáng)大的CPU，另外一方面則需要更好的圖像處理能力，才能使虛擬物體更好的與現(xiàn)實(shí)結(jié)合在一起。

由于Google沒有自己的主控芯片SoC，無法掌控手機(jī)主芯片SoC上的圖像處理，通過自己研發(fā)圖像處理單元，則可以避免不同CPU之間的差異化，和性能不足的問題。另外由于圖像處理芯片自己研發(fā)，則可以更好的跟自己的算法配合，甚至可以避免一些技術(shù)外泄的風(fēng)險(xiǎn)。

Google做此芯片不知道是否會賣給做Android品牌手機(jī)客戶，但即便不賣，也可以用在自家Pixel 系列的手機(jī)上。所以從芯片銷量來講，沒有太多風(fēng)險(xiǎn)。而從芯片架構(gòu)來看，將圖像處理芯片獨(dú)立出來，需要獨(dú)立的DRAM，所以Pixel Visual Core也繼承了一個(gè)LPDDR4。從去年到現(xiàn)在，甚至到明年，DRAM的供貨都是供小于求的，若起量，是否能拿到足夠的DRAM供貨，也是Google需要考慮的問題。好在Google的大客戶Samsung自己就能生產(chǎn)DRAM，相信Google在這塊也會有足夠的話語權(quán)的。

Google 的 Pixel 2的推出，帶給大家眼前一亮的感覺。無論是單攝實(shí)現(xiàn)虛化，還是HDR+的功能，都讓人看出Google在拍照方面的良苦用心。雖然用Dual PD的Sensor做景深，距離有所限制，但Dual PD去拍照，暗光效果，對焦速度還是很不錯(cuò)的。此舉會帶到各手機(jī)品牌廠商在拍照功能上的微創(chuàng)新。對Camera sensor廠商，獨(dú)立的ISP公司，拍照相關(guān)算法公司來講，都是利好消息，讓各家都會關(guān)注這些公司。

而對于Google來講，除了這次的 Pixel Visual Core，Google 早已推出了專門用于 TensorFlow 深度學(xué)習(xí)應(yīng)用的處理器 TPU。據(jù)了解，Google 早在 2013 年就開始秘密研發(fā) TPU，并在 2015 年上半年用于自己的數(shù)據(jù)中心。

當(dāng)時(shí) Google 的基礎(chǔ)設(shè)施副總裁 Urs Holze 表示，使用 TPU 代表了 Google 為其人工智能服務(wù)設(shè)計(jì)專用硬件邁出的第一步，未來 Google 將設(shè)計(jì)更多系統(tǒng)層面上的硬件。如今來看，Pixel Visual Core 的出現(xiàn)算是印證了這一說法。

從這兩年Google的收購來看，Google 從收購Android開始，先后收購Youtube，DeepMind，Motorola，hTC等公司，都可以看出Google希望在智能終端上的發(fā)力。

操作系統(tǒng)方面，Android的競爭對手僅剩下Apple的iOS。Apple 推出ARkit，Google自然不會落后的推出ARCore。而在于Apple的競爭中，Google也發(fā)現(xiàn)了自己對品牌手機(jī)廠商的掌控力度不足，對手機(jī)硬件平臺掌控力的不足，這些都會影響Google與Apple的競爭。Android平臺的手機(jī)一直不如Apple手機(jī)高端，使得Google只能一直免費(fèi)的釋放Android操作系統(tǒng)，并不能很直接的向客戶收費(fèi)。

為了對抗Apple，Pixel Visual Core只是Google的第一步，只是Google為了使Android手機(jī)有更多的差異化，新穎的功能。據(jù)說Google自己的主芯片SoC 將會在2020年出來。到那個(gè)時(shí)候才會是Google真正與Apple較量的時(shí)候。不過到那個(gè)時(shí)候，國內(nèi)的品牌手機(jī)廠商會有什么樣的牌與Google對抗，才是國內(nèi)品牌手機(jī)廠商需要思考的問題。

作者簡介

7 Tens，某知名手機(jī)產(chǎn)業(yè)鏈公司供職，手機(jī)行業(yè)近20年的老司機(jī)，善于鉆研新技術(shù)發(fā)展趨勢，并進(jìn)行市場分析對手機(jī)相關(guān)領(lǐng)域都有自己獨(dú)到的見解和認(rèn)知。