解讀主流品牌手機(jī)相機(jī)背后的圖像處理器

　　進(jìn)入八月底，手機(jī)市場(chǎng)變得異常熱鬧，大有你方唱罷我登場(chǎng)的陣勢(shì)——魅族MX3剛發(fā)布，小米3、索尼Xperia Z1、Galaxy Note III、iPhone 5S/C、OPPO N1陸續(xù)熱鬧登場(chǎng)……幾乎無(wú)一例外，相機(jī)功能成為了這些業(yè)界矚目的明星產(chǎn)品主要功能訴求之一。在智能手機(jī)日趨同質(zhì)化的今天，相機(jī)也成為了廠商在產(chǎn)品宣傳上重點(diǎn)進(jìn)行差異化的焦點(diǎn)之一，防抖動(dòng)、高速連拍、美顏……各種功能特性扯足眼球。

　　正所謂外行熱鬧，內(nèi)行看門道，各種宣傳說(shuō)辭背后，是軟硬件技術(shù)實(shí)力的比拼。手機(jī)相機(jī)受尺寸限制，難免先天不足——鏡頭必須盡量小以適應(yīng)手機(jī)相機(jī)的封裝，這導(dǎo)致圖像傳感器獲取的圖像信號(hào)難以像數(shù)碼相機(jī)一樣的出色，因此作為數(shù)碼相機(jī)功能的關(guān)鍵功能模塊的圖像處理器（ISP）擔(dān)當(dāng)起了提升圖像傳感器捕獲的圖像質(zhì)量的“重任”。

　　在這些“明星”產(chǎn)品中，魅族MX3手機(jī)相機(jī)公開(kāi)采用了富士通4通道ISP芯片。無(wú)獨(dú)有偶，在當(dāng)前國(guó)內(nèi)外多個(gè)主流品牌的熱門機(jī)型中，包括魅族MX2、三星Galaxy Note II和Galaxy ZOOM，以及OPPO的幾款主流主流手機(jī)產(chǎn)品中，我們也能發(fā)現(xiàn)富士通ISP技術(shù)的身影。為此，筆者近日特別采訪了富士通半導(dǎo)體公司圖像處理技術(shù)負(fù)責(zé)人Holmes 沈，期待挖掘出手機(jī)相機(jī)ISP的“那些事”。

　　解析主流數(shù)碼相機(jī)ISP Milbeaut的技術(shù)基因

　　富士通數(shù)碼相機(jī)ISP產(chǎn)品家族基于其2000年開(kāi)始推出的圖像處理器Milbeaut技術(shù)，目前已經(jīng)發(fā)展到第六代。作為數(shù)碼相機(jī)產(chǎn)品的核心器件，Milbeaut算是實(shí)實(shí)在在的“幕后英雄”， 其名號(hào)并不為大多數(shù)人所知，甚至網(wǎng)上也難以搜到太多相關(guān)介紹。但Holmes拋出的第一個(gè)數(shù)據(jù)就讓人不得不對(duì)Milbeaut刮目相看：“Milbeaut占據(jù)全球數(shù)碼相機(jī)ISP市場(chǎng)超過(guò)50%的份額，全球知名數(shù)碼相機(jī)廠商幾乎都與我們有合作，在單反數(shù)碼相機(jī)中同樣有大量的成功應(yīng)用?！?/p>

　　近年來(lái)，高像素相機(jī)逐漸成為中高端手機(jī)的主流配置，而獨(dú)立ISP具有的突出圖形處理能力，開(kāi)始替代500萬(wàn)像素時(shí)代的集成ISP，這類獨(dú)立ISP開(kāi)始走向手機(jī)應(yīng)用的舞臺(tái)。當(dāng)前智能手機(jī)廠商大都傾向于采用專用的ISP，因?yàn)檫@樣能實(shí)現(xiàn)可以與高端數(shù)碼相機(jī)媲美的圖像質(zhì)量和性能。而富士通半導(dǎo)體公司基于其占據(jù)數(shù)碼相機(jī)市場(chǎng)領(lǐng)先優(yōu)勢(shì)的圖像處理器Milbeaut開(kāi)發(fā)了針對(duì)手機(jī)相機(jī)應(yīng)用的Milbeaut Mobile ISP系列，成功地將其在數(shù)碼相機(jī)ISP芯片上的領(lǐng)先技術(shù)成功復(fù)制到手機(jī)相機(jī)應(yīng)用上。據(jù)悉，在日本廠商生產(chǎn)的配備800萬(wàn)像素以上攝像頭的終端中，富士通的圖像處理LSI確保了近80％的份額。

　　“在2008年，第三代Milbeaut Mobile ISP就率先采用了多種在數(shù)碼相機(jī)中成功應(yīng)用的功能，如靜態(tài)圖像拍照的連續(xù)自動(dòng)對(duì)焦、人臉識(shí)別、?！盚olmes指出，“第六代Milbeaut Mobile ISP MBG046就采用了幾乎所有的相機(jī)功能，而且還具有高清視頻（1920x1080像素）連續(xù)自動(dòng)對(duì)焦，以及市場(chǎng)需求視頻處理器?！痹诓稍L中，Holmes對(duì)Milbeaut的領(lǐng)先功能特性如數(shù)家珍：“MBG046基本的功能特性包括實(shí)時(shí)轉(zhuǎn)換和校正來(lái)自傳感器的信號(hào)，并輸出到應(yīng)用處理器。ISP針對(duì)手機(jī)相機(jī)系統(tǒng)進(jìn)行了優(yōu)化，能使應(yīng)用處理器直接顯示接收到的圖像數(shù)據(jù)，并無(wú)需修改直接存儲(chǔ)這些數(shù)據(jù)……”按照Holmes的詳細(xì)介紹，Milbeaut Mobile ISP MBG046主要功能特性可以總結(jié)如下：

　　高速圖像處理。MBG046圖像處理器執(zhí)行基本的圖像處理功能，可以實(shí)現(xiàn)每秒24幀、每幀8MB的圖像處理，以及每秒超過(guò)30幀的高清圖像處理。幾乎所有的基本圖像處理功能由硬件實(shí)現(xiàn)，從而可以實(shí)現(xiàn)很高的處理速度和低功耗。此外，由于應(yīng)用處理器是手機(jī)相機(jī)在圖像處理的流程中的下一級(jí)，如果來(lái)自傳感器的數(shù)據(jù)不能及時(shí)轉(zhuǎn)換以及進(jìn)行校準(zhǔn)處理，對(duì)于拍攝視頻這種對(duì)響應(yīng)速度很敏感的應(yīng)用來(lái)說(shuō)，就會(huì)存在延時(shí)的問(wèn)題。Milbeaut Mobile ISP通過(guò)將由圖像處理器單元處理過(guò)的圖像數(shù)據(jù)直接發(fā)送到圖像輸出單元，而不是通常方案中經(jīng)由SDRAM進(jìn)行各種插值處理，從而實(shí)現(xiàn)了快速處理，消除了信號(hào)轉(zhuǎn)換、校正處理導(dǎo)致的延時(shí)。

　　超強(qiáng)的噪聲消除功能。由于Milbeaut Mobile ISP產(chǎn)品面對(duì)的相機(jī)應(yīng)用一般不可能采用可與數(shù)碼相機(jī)媲美的相機(jī)鏡頭，要保證圖像質(zhì)量具有挑戰(zhàn)性，特別是處理圖像噪聲非常重要。因此，MBG046圖像處理器采用了比數(shù)碼相機(jī)更強(qiáng)大的機(jī)制來(lái)保證對(duì)亮度噪聲和色彩噪聲的消除。為消除噪聲同時(shí)不降低分辨率，在MBG046中采用了最新的技術(shù)，從而可以同時(shí)采用不同的噪聲消除方法以匹配圖像質(zhì)量。

　　優(yōu)化的軟件配置。軟件處理是相機(jī)系統(tǒng)中的一個(gè)重要部分，是硬件序列控制和“3A”（自動(dòng)白平衡調(diào)整、自動(dòng)曝光調(diào)整、自動(dòng)對(duì)焦調(diào)整）運(yùn)算不可或缺的部分。設(shè)計(jì)上，富士通將那些涉及復(fù)雜處理，但是運(yùn)算量輕的任務(wù)轉(zhuǎn)移到軟件實(shí)現(xiàn)，而將運(yùn)算量很大的圖像數(shù)據(jù)處理由專用硬件實(shí)現(xiàn)。這樣的配置能讓更多的CPU資源用于額外的軟件圖像處理（運(yùn)動(dòng)補(bǔ)償、人臉識(shí)別等），從而可以讓系統(tǒng)更靈活，也能將更多資源用于實(shí)現(xiàn)先進(jìn)的處理性能。

　　定制化設(shè)計(jì)服務(wù)帶來(lái)差異設(shè)計(jì)機(jī)會(huì)

　　芯片的技術(shù)特性之外，Holmes還非常強(qiáng)調(diào)富士通針對(duì)客戶需求提供定制化設(shè)計(jì)服務(wù)的價(jià)值?！凹夹g(shù)支持是客戶看重富士通的另外一個(gè)方面，我們可以根據(jù)客戶對(duì)相機(jī)功能、性能的定義，結(jié)合我們的專業(yè)Knowhow去幫助客戶最快實(shí)現(xiàn)產(chǎn)品市場(chǎng)化?！盚olmes指出，“比如最新發(fā)布的魅族MX3手機(jī)，在產(chǎn)品定義的階段，我們的十多位技術(shù)專家組成的技術(shù)支持團(tuán)隊(duì)就參與進(jìn)去了?！?/p>

　　魅族MX3發(fā)布獲得業(yè)界廣泛好評(píng)，尤其其相機(jī)功能采用四通道富士通ISP，實(shí)現(xiàn)了同等配置下諸多突破性的性能設(shè)計(jì)——每秒20張連拍、零延時(shí)拍照技術(shù)、第四代白平衡算法， MX3采用的富士通四通道ISP芯片與傳統(tǒng)的雙通道ISP相比傳輸速度快兩倍……而這些獨(dú)特的功能特性背后是大量對(duì)關(guān)鍵技術(shù)的設(shè)計(jì)探討和創(chuàng)新探索，如在魅族公開(kāi)宣傳中提到的針對(duì)第四代白平衡算法進(jìn)行了數(shù)萬(wàn)次優(yōu)化；“零延時(shí)拍照”技術(shù)在按下拍照鍵的瞬間，巧妙地從前面1/8秒中挑選出最佳的畫面，從而避開(kāi)快門抖動(dòng)。

　　富士通強(qiáng)調(diào)的三大核心競(jìng)爭(zhēng)力：品質(zhì)、生態(tài)系統(tǒng)和技術(shù)支持

　　Holmes還提到另外一個(gè)定制化的設(shè)計(jì)細(xì)節(jié)——在MX3的相機(jī)方案中，富士通工程師團(tuán)隊(duì)通過(guò)與魅族設(shè)計(jì)團(tuán)隊(duì)聯(lián)合設(shè)計(jì)，實(shí)現(xiàn)了前置200萬(wàn)像素?cái)z像頭與后置800萬(wàn)像素?cái)z像頭共享同一顆ISP，這樣確保了前后相機(jī)拍照時(shí)照片品質(zhì)的一致性。而此前，很多前置攝像頭采用了傳感器模塊內(nèi)置ISP進(jìn)行前拍圖像處理，照片的一致性通常難以保證。

　　“事實(shí)上，這樣的定制化設(shè)計(jì)服務(wù)在很多主要客戶中進(jìn)行，這種貼身的定制化設(shè)計(jì)合作，可以幫助客戶借用我們的專業(yè)經(jīng)驗(yàn)彌補(bǔ)他們的不足。”Holmes指出，“數(shù)碼相機(jī)設(shè)計(jì)涉及到大量的專業(yè)技術(shù)知識(shí)和IP，這不僅是很多手機(jī)廠商所欠缺的，甚至也是很多ISP廠商所難以具備的，因?yàn)檫@背后是需要大量的案例和時(shí)間的技術(shù)積累?！睋?jù)悉，富士通目前負(fù)責(zé)Milbeaut產(chǎn)品的工程師團(tuán)隊(duì)超過(guò)150人，這其中大部分都具有8、9年的研發(fā)經(jīng)驗(yàn)?！按箨懙难邪l(fā)團(tuán)隊(duì)與客戶的設(shè)計(jì)團(tuán)隊(duì)一起工作，他們豐富的經(jīng)驗(yàn)?zāi)軡M足絕大部分的客戶需求，對(duì)于更深層的技術(shù)定制化需求，富士通日本的核心團(tuán)隊(duì)可以參與提供支持?！盚olmes說(shuō)道。

　　未來(lái)發(fā)展趨勢(shì)對(duì)ISP要求更多

　　近日，有專業(yè)分析人士認(rèn)為，2014年業(yè)界將推出1600萬(wàn)像素手機(jī)，2015年手機(jī)可能出現(xiàn)2k、4k需求，人臉識(shí)別以及手勢(shì)功能即將成為高端手機(jī)的標(biāo)配……除了更高的像素，這些發(fā)展趨勢(shì)對(duì)相機(jī)模塊主要特性提出更高的要求，例如更高幀率，更突出的3A性能、更具挑戰(zhàn)性的低功耗設(shè)計(jì)等等。

　　“對(duì)于智能手機(jī)應(yīng)用而言，低功耗特性是個(gè)永遠(yuǎn)的話題?！盚olmes指出，“如何利用軟硬件優(yōu)化，甚至借助獨(dú)特的工藝技術(shù)來(lái)實(shí)現(xiàn)低功耗都是ISP供應(yīng)商必須解決的挑戰(zhàn)?！睋?jù)悉，目前富士通M10MO ISP在1080P@30FPS下的平均功耗約280mW，是業(yè)界很低的水平?！拔磥?lái)我們可能借助40nm甚至20nm及以下的半導(dǎo)體工藝實(shí)現(xiàn)更低的功耗?！盚olmes表示。在低功耗方面，富士通擁有SuVolta公司的深度耗盡溝道（DDC）技術(shù)授權(quán)，采用該技術(shù)可以將芯片功耗進(jìn)一步降低15~20%。富士通最新推出的MB86S22AA Milbeau圖像處理器就是業(yè)界首款基于DDC晶體管的芯片，與現(xiàn)有產(chǎn)品相比就實(shí)現(xiàn)了約兩倍的處理性能，而功耗卻降低了30%。

　　“另外值得指出的是，更高像素的圖像處理以及2K、4K視頻將與當(dāng)前的圖像處理方式存在很大的差異，將要求更高的帶寬，成本、功耗也將面臨很大壓力，這都對(duì)圖像處理器供應(yīng)商的技術(shù)能力帶來(lái)很大的挑戰(zhàn)。”Holmes指出。據(jù)Holmes透露，富士通支持諸多領(lǐng)先新特性的ISP產(chǎn)品預(yù)計(jì)今年年底或明年初面市，將支持16M@30FPS拍照、H.264視頻壓縮格式、1080P@60FPS視頻功能等等。而且在算法上將有新的升級(jí)，包括采用新的噪聲消除算法、新的CI算法。

　　關(guān)于即將面市的Milbeaut Mobile ISP新品還有哪些突出功能和性能？電路設(shè)計(jì)和算法上將有哪些創(chuàng)新思路？對(duì)手機(jī)相機(jī)將產(chǎn)生哪些影響？對(duì)于這些問(wèn)題，Holmes沒(méi)有透露更多技術(shù)細(xì)節(jié)，我們拭目以待吧。