谷歌提出了一種新的映射機(jī)制——Turbo

偽彩色圖在計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)中具有重要的應(yīng)用，從深度圖的可視化到類似圖像差分等抽象應(yīng)用都需要偽彩色圖來(lái)幫助我們理解視覺(jué)信息。彩色畫(huà)的圖像幫助人類提升對(duì)于細(xì)節(jié)的理解能力，定量估計(jì)數(shù)值并更有效直觀地識(shí)別出數(shù)據(jù)中的模式。 然而對(duì)于顏色映射的選擇會(huì)極大地影響人們對(duì)于圖像的理解。例如在醫(yī)學(xué)圖像處理中彩色映射常常會(huì)引入精度損失。但在很多任務(wù)中偽彩色圖還是人們更希望應(yīng)用的表達(dá)形式，在一定精度損失的代價(jià)下能夠更加快速直觀的進(jìn)行視覺(jué)評(píng)價(jià)。下圖顯示了灰度表示的視差圖和利用Jet映射的偽彩圖，偽彩圖對(duì)于人類視覺(jué)來(lái)說(shuō)更為直觀。

計(jì)算機(jī)視覺(jué)中最常用的顏色映射算法是Jet，它具有高的對(duì)比度可以有效突出圖像中的細(xì)節(jié)。但如果仔細(xì)觀察圖像的梯度圖會(huì)發(fā)現(xiàn)一系列的顏色帶，在青色和黃色區(qū)域最為明顯。這對(duì)于偽彩圖最大的影響在于顏色變化過(guò)于劇烈，將導(dǎo)致人眼對(duì)于實(shí)際數(shù)據(jù)的誤解。很多平滑過(guò)渡的區(qū)域會(huì)被誤解為有較大的梯度。由于Jet映射對(duì)于人眼感知來(lái)說(shuō)變化不是常量，所以它不具有感知均勻性。這種影響對(duì)于色盲人士來(lái)說(shuō)更為明顯，將造成偽彩圖映射出的信息變得模糊。下圖就顯示了模擬出的紅色盲看到的結(jié)果。

為了解決這些問(wèn)題，目前有很多均勻和色盲人士可以使用的顏色映射圖，例如繪圖工具包matplotlib中的Viridis(左)和Inferno(右)映射。這類線性亮度映射解決了Jet中的很多問(wèn)題，但依然存在一些限制使得這類線性顏色映射函數(shù)不是某些任務(wù)的最優(yōu)方法。

谷歌的研究人員希望解決這些顏色映射中存在的問(wèn)題，為計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)提出更好的彩色映射方案，提出了一種新的映射機(jī)制——Turbo。它可以有效除了偽細(xì)節(jié)、錯(cuò)誤的顏色帶，并為色盲人士提供更為準(zhǔn)確的信息。Turbo針對(duì)多種可視化任務(wù)進(jìn)行了手工調(diào)教，確保對(duì)視覺(jué)信息進(jìn)行有效呈現(xiàn)。

有效的Turbo映射

研究人員為了構(gòu)建Turbo映射，利用一個(gè)簡(jiǎn)單的交互界面來(lái)利用七節(jié)點(diǎn)的三次樣條對(duì)sRGB曲線進(jìn)行調(diào)整，并與其它顏色映射進(jìn)行比較。

這種方式創(chuàng)建的Turbo顏色映射可以在保持曲線C2連續(xù)性的同時(shí)進(jìn)行控制。雖然最終的顏色結(jié)果不是感知線性的，但它比jet更為平滑，不會(huì)引入錯(cuò)誤的細(xì)節(jié)。

與其他顏色映射的比較

Viridis是一種具有代表性的顏色映射方法，因?yàn)樗鼘?duì)于人眼比較適宜同時(shí)能修復(fù)某些Jet映射的問(wèn)題。Inferno具有Viridis線性特性的同時(shí)還具有更高的對(duì)比度，使得細(xì)節(jié)能夠得到更好的展現(xiàn)。然而，這些色彩映射會(huì)產(chǎn)生一些刺眼的視覺(jué)效果，雖然在出版業(yè)中沒(méi)有太多影響，但確實(shí)會(huì)影響人們基于偽彩圖進(jìn)行的決策。

由于顏色和強(qiáng)度的劇烈變化，Jet相較于Viridis和Inferno會(huì)削弱背景的細(xì)節(jié)，最終基于數(shù)據(jù)呈現(xiàn)出的圖像會(huì)讓人眼遺失很多細(xì)節(jié)。而Turbo則通過(guò)非線性映射將背景進(jìn)行了強(qiáng)化。下圖中可以看到在Inferno中遠(yuǎn)處的背景幾乎無(wú)法看清，而Turbo映射中遠(yuǎn)處的背景數(shù)目則依然為人眼所見(jiàn)。

Turbo模擬了Jet的光強(qiáng)特性，映射的強(qiáng)度從低到高在從高到低，但卻沒(méi)有顯著的強(qiáng)度帶阻隔。下圖顯示了四種不同顏色銀蛇的強(qiáng)度值曲線，可以看到Turbo的強(qiáng)度值基本對(duì)稱分布，使得它在單側(cè)的斜率幾乎是Viridis和Inferno的兩倍，在高地兩側(cè)將有效的提升對(duì)比度。同時(shí)低側(cè)的斜率和高側(cè)的斜率不同，這是因?yàn)槿祟惛兄乃{(lán)色比紅色更強(qiáng)。

雖然這種低高低的曲線可以增強(qiáng)細(xì)節(jié)，但卻會(huì)造成強(qiáng)度的模糊。將彩色圖轉(zhuǎn)換為灰度圖時(shí)會(huì)造成較低的值與較高的值得到相同的取值，這意味著Turbo不適合于灰度打印也不適合于罕見(jiàn)全色盲人士。

語(yǔ)義層

計(jì)算機(jī)視覺(jué)對(duì)于視差圖的檢驗(yàn)一般通過(guò)圖像中不同區(qū)域來(lái)實(shí)現(xiàn)。這種比較對(duì)人類來(lái)說(shuō)，彩色比黑白更加有效和精確。

利用Jet和Turbo來(lái)說(shuō)，由于顏色更為豐富可以很輕易地識(shí)別出圖像中左右兩邊在相同深度的球和環(huán)，但在Viridis或Inferno可區(qū)分的顏色較少，則難以確認(rèn)左邊的球?qū)?yīng)右邊的哪個(gè)相同深度的環(huán)。與Jet相比Turbo則更為平滑，同時(shí)沒(méi)有明顯的顏色帶痕跡，從下圖的量化中可以更好的看到Turbo(左)的平滑效果。

快速評(píng)估

當(dāng)快速評(píng)估兩張圖像時(shí)，基于顏色的比較要比基于強(qiáng)度的比較更容易。例如在單圖像深度估計(jì)任務(wù)中，基準(zhǔn)圖像與預(yù)測(cè)圖像間的比較，Turbo顏色相較于Viridis就更容易區(qū)分和辨別誤差。

此外也可以迅速的人工得到定量的數(shù)值，因?yàn)閺?qiáng)度被映射到了一些常見(jiàn)的顏色上。

偏差圖應(yīng)用

Turbo顏色映射同時(shí)可以有效用于圖像差異的顯示。在使用過(guò)程中可以將零值設(shè)置為綠色、負(fù)值偏藍(lán)、正值偏紅。但負(fù)值側(cè)會(huì)比正值側(cè)更暗，并不是完全的平衡，但仍然能夠有效地顯示圖像間的差異。

色盲友好性

研究人員同時(shí)還利用色盲模擬器對(duì)這種新的顏色映射進(jìn)行測(cè)試，結(jié)果表明除了全色盲人群外Turbo可以保持具有顯著區(qū)分和平滑的顏色。針對(duì)全色盲來(lái)說(shuō)，由于低值區(qū)和高值區(qū)的灰度可能類似會(huì)造成一定的感知模糊。由于全色盲在人口中的比例是三萬(wàn)分之一，所以這套色彩映射可以有效覆蓋99.997%的人群。

Turbo作為作為Jet的替代品，對(duì)于高對(duì)比度、視覺(jué)平滑等方面進(jìn)行了有效處理，可以應(yīng)用于深度圖等表示絕對(duì)值的圖像也可以應(yīng)用于表示差異的偽彩色圖像中，使其具有平滑的視覺(jué)效果、對(duì)比度更好的細(xì)節(jié)、更好的語(yǔ)義感知以及差異分析等優(yōu)勢(shì)。開(kāi)發(fā)人員同時(shí)推出C/CPP和python的接口，同時(shí)也給出了多項(xiàng)式近似供開(kāi)發(fā)者使用。