利用人工智能改進(jìn)手機(jī)攝影技術(shù)

如果你關(guān)心手機(jī)的攝像頭有多好?不妨留意一下手機(jī)制造商對(duì)于AI(人工智能)的評(píng)價(jià)，為什么呢?因?yàn)槿斯ぶ悄苓@項(xiàng)技術(shù)在過(guò)去的幾年里，已經(jīng)使攝影技術(shù)取得了驚人的進(jìn)步，沒(méi)有理由認(rèn)為這種進(jìn)步會(huì)放緩。

不過(guò)目前為止，AI仍然有許多噱頭，但攝影技術(shù)最令人印象深刻的進(jìn)步，實(shí)際上歸功于軟件和AI，而不是傳感器和鏡頭，這在很大程度上得益于AI。

Google Photos，利用人工智能+攝像相結(jié)合

舉個(gè)例子，例如Google Photos，在2015年推出這款應(yīng)用時(shí)，其展示了人工智能和攝影兩者結(jié)合的功能多么強(qiáng)大。在此之前，谷歌多年來(lái)一直使用機(jī)器學(xué)習(xí)對(duì)谷歌上的圖片進(jìn)行分類，這款圖片應(yīng)用程序也包含了面向消費(fèi)者的人工智能功能，用戶無(wú)組織的數(shù)千張、沒(méi)有標(biāo)簽的圖片庫(kù)，一夜之間就變成了可搜索的數(shù)據(jù)庫(kù)，并且可利用人工智能自動(dòng)創(chuàng)建拼貼、動(dòng)畫、電影、風(fēng)格化圖片等等。

圖片來(lái)源：Google Photos

2013年谷歌收購(gòu)了一家專門從事語(yǔ)音和圖像識(shí)別研究的公司DNNresearch，以此作為前期的發(fā)展基礎(chǔ)，它建立了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，對(duì)人類標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練，這叫做監(jiān)督學(xué)習(xí)。這個(gè)過(guò)程涉及到對(duì)數(shù)百萬(wàn)張圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，使其能夠在像素級(jí)別上尋找視覺(jué)線索，以幫助識(shí)別圖片類別。

隨著時(shí)間的推移，該算法在識(shí)別方面做得越來(lái)越好，例如用來(lái)正確識(shí)別熊貓的模式，通過(guò)進(jìn)一步的訓(xùn)練，我們可以搜索更抽象的詞匯，如“動(dòng)物”或“早餐”，這些詞匯可能沒(méi)有共同的視覺(jué)指標(biāo)，但對(duì)人類來(lái)說(shuō)仍然是顯而易見(jiàn)的。

圖片來(lái)源：Google Photos

當(dāng)然，訓(xùn)練這樣的算法需要花費(fèi)大量的時(shí)間和處理能力，但是在數(shù)據(jù)中心完成它們的工作之后，就可以在低功耗的移動(dòng)設(shè)備上輕松運(yùn)行。繁重的工作已經(jīng)完成，所以一旦你的照片上傳到云端，谷歌就可以使用它的模型來(lái)分析和標(biāo)記整個(gè)庫(kù)。

大約在Google Photos發(fā)布一年后，蘋果公司宣布了一項(xiàng)照片搜索功能，該功能同樣經(jīng)過(guò)了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，但作為公司對(duì)隱私承諾的一部分，實(shí)際的分類是在每臺(tái)設(shè)備的處理器上分別執(zhí)行，而不發(fā)送數(shù)據(jù)，這通常需要一到兩天的時(shí)間，并在后臺(tái)進(jìn)行設(shè)置。

蘋果利用如何利用“計(jì)算攝影”?

智能照片管理軟件是一回事，但人工智能和機(jī)器學(xué)習(xí)可以說(shuō)對(duì)最初的圖像采集方式產(chǎn)生了更大的影響。是的，鏡頭、變得更快，傳感器變得更大，但實(shí)際上已經(jīng)達(dá)到了物理的局限性，比如將光學(xué)系統(tǒng)塞進(jìn)超薄的移動(dòng)設(shè)備。

盡管如此，在某些情況下，手機(jī)拍出的照片比很多專用相機(jī)設(shè)備拍出的照片要好，這在當(dāng)今并不少見(jiàn)，至少在后期處理之前是這樣。這是因?yàn)閭鹘y(tǒng)相機(jī)無(wú)法在另一類硬件上與之競(jìng)爭(zhēng)，這類硬件對(duì)攝影來(lái)說(shuō)同樣意義深遠(yuǎn)：包含CPU、圖像信號(hào)處理器、以及越來(lái)越多的神經(jīng)處理單元(NPU)的芯片系統(tǒng)。

這就是所謂的“計(jì)算攝影”所利用的硬件，“計(jì)算攝影”是一個(gè)寬泛的術(shù)語(yǔ)，涵蓋了從手機(jī)人像模式的假景深效果，到幫助驅(qū)動(dòng)Google Pixel’s圖像質(zhì)量的算法等方方面面。并非所有的計(jì)算攝影都涉及人工智能，但人工智能無(wú)疑是其中的一個(gè)重要組成部分。

圖片來(lái)源：蘋果官網(wǎng)

蘋果利用這項(xiàng)技術(shù)來(lái)驅(qū)動(dòng)其雙攝像頭手機(jī)的人像模式。iPhone的圖像信號(hào)處理器使用機(jī)器學(xué)習(xí)技術(shù)，用一臺(tái)相機(jī)識(shí)別人，而第二臺(tái)相機(jī)創(chuàng)建深度地圖，以幫助隔離主題和模糊背景。這種通過(guò)機(jī)器學(xué)習(xí)來(lái)識(shí)別人的功能在2016年推出時(shí)并不新鮮，因?yàn)檎掌M織軟件已經(jīng)在這么做了，但以智能手機(jī)攝像頭所需的速度進(jìn)行實(shí)時(shí)管理它是一個(gè)突破。

谷歌仍然是這一領(lǐng)域的明顯領(lǐng)導(dǎo)者，然而，三代Pixel所產(chǎn)生的卓越結(jié)果是最令人信服的證據(jù)。HDR+是默認(rèn)的拍攝模式，它使用了一種復(fù)雜的算法，可以將幾個(gè)曝光不足的幀合并到一個(gè)幀中。

正如谷歌的計(jì)算攝影負(fù)責(zé)人Marc Levoy在《The Verge》雜志上指出的那樣，機(jī)器學(xué)習(xí)意味著系統(tǒng)只會(huì)隨著時(shí)間的推移而變得更好。谷歌已經(jīng)在一個(gè)巨大的標(biāo)簽照片數(shù)據(jù)集上訓(xùn)練了它的人工智能，就像Google Photos軟件一樣，這進(jìn)一步幫助相機(jī)曝光。

華為：4800萬(wàn)像素分辨率最高

不過(guò)，硬件仍有發(fā)揮作用的空間，尤其是在有人工智能支持的情況下。華為榮耀的新款View 20手機(jī)，以及華為Nova 4，是首款使用索尼IMX586圖像傳感器的手機(jī)。它的傳感器比大多數(shù)競(jìng)爭(zhēng)對(duì)手都要大，擁有4800萬(wàn)像素，是迄今為止所有手機(jī)中分辨率最高的。

但這仍然意味著在一個(gè)很小的空間中塞入大量的像素，往往會(huì)對(duì)圖像質(zhì)量造成問(wèn)題。然而在20次的測(cè)試中，榮耀的“AI Ultra Clarity”模式在充分利用分辨率方面表現(xiàn)出色，它消除了傳感器不同尋常的顏色濾鏡，以解鎖額外的細(xì)節(jié)。這就使得這款手機(jī)拍攝的照片，可清晰到大聚會(huì)合照的每一張人臉，并且接近專業(yè)相機(jī)的照片解析力。

榮耀總裁趙明在微博曬榮耀V20高清攝影

榮耀V20拍照細(xì)節(jié)放大

一段時(shí)間以來(lái)，圖像信號(hào)處理器一直是手機(jī)相機(jī)性能的重要組成部分，但隨著計(jì)算攝影技術(shù)的進(jìn)步，NPU似乎將扮演更重要的角色。華為是第一家宣布采用專用人工智能硬件系統(tǒng)芯片的公司，即麒麟970，這是業(yè)界首顆帶有獨(dú)立NPU專用硬件處理單元的手機(jī)芯片。

盡管蘋果的A11仿生芯片最終首先到達(dá)了消費(fèi)者手中。高通是全球最大的安卓處理器供應(yīng)商，該公司尚未將機(jī)器學(xué)習(xí)作為主要關(guān)注點(diǎn)，但谷歌已經(jīng)開發(fā)了自己的芯片Pixel Visual Core，以幫助完成與人工智能相關(guān)的成像任務(wù)。

與此同時(shí)，最新款的蘋果A12仿生擁有一個(gè)8核神經(jīng)引擎，可以在蘋果的機(jī)器學(xué)習(xí)框架Core ML中運(yùn)行任務(wù)，速度是A11的9倍，而且它首次直接與圖像處理器相連。蘋果公司表示，這讓相機(jī)更好地理解焦平面，有助于產(chǎn)生更真實(shí)的景深。

攝像頭是基礎(chǔ)，人工智能是改進(jìn)的最佳手段

這種硬件對(duì)于設(shè)備上高效、高性能的機(jī)器學(xué)習(xí)將變得越來(lái)越重要，因?yàn)闄C(jī)器學(xué)習(xí)對(duì)處理器的要求非常高。而支持Google Photos的算法是在擁有強(qiáng)大的GPU和強(qiáng)大的計(jì)算機(jī)上進(jìn)行訓(xùn)練的，之后才在照片庫(kù)中得到釋放。可以這么說(shuō)，大部分工作可以“提前”完成，但在移動(dòng)設(shè)備上實(shí)時(shí)進(jìn)行機(jī)器學(xué)習(xí)計(jì)算的能力仍處于領(lǐng)先地位。

谷歌已經(jīng)展示了一些令人印象深刻的工作，可以減少處理負(fù)擔(dān)，而神經(jīng)引擎正變得越來(lái)越快。但即使是在“計(jì)算攝影”的早期階段，圍繞機(jī)器學(xué)習(xí)設(shè)計(jì)的手機(jī)相機(jī)也有真正的好處。事實(shí)上，在過(guò)去幾年人工智能熱潮所帶來(lái)的所有可能性和應(yīng)用中，如今最實(shí)用的領(lǐng)域無(wú)疑是攝影，攝像頭是任何手機(jī)的基本功能，而人工智能是改進(jìn)攝影的最佳手段。