揭開圖形信號處理的面紗，看背后的大學(xué)問

　這篇文章是我從事ISP研究數(shù)年來的一些經(jīng)驗(yàn)總結(jié)，沒有用到深?yuàn)W的理論知識，有的只是根據(jù)實(shí)際狀況來處理的一些常規(guī)方法，以及曾經(jīng)犯過的錯(cuò)誤總結(jié)。我想把ISP function的原理用簡單淺顯的語言描述出來，希望對初學(xué)者有所幫助。這里的ISP主要是指從CMOS sensor輸出的bayer pattern，到轉(zhuǎn)換成通用的YUV或者YCbCr格式的過程，通常用于USB攝像頭/監(jiān)控?cái)z像頭/手機(jī)/平板等芯片設(shè)計(jì)中。
　　在IC設(shè)計(jì)中，受限于處理速度，像素級的ISP算法都相對簡單，只會用到加/減/乘/比較等基本運(yùn)算，通常不會用到除法、指數(shù)、對數(shù)、平方根、三角函數(shù)等復(fù)雜運(yùn)算。以1080p 30fps的視頻為例，像素處理速度為1080*1920*30=62M pixel/s，每個(gè)pixel都需要非常多的基本運(yùn)算，用pipeline的方式實(shí)現(xiàn)連續(xù)高速計(jì)算。像除法，指數(shù)運(yùn)算或者三角函數(shù)，則較多的時(shí)鐘周期才能完成一次計(jì)算，因此不適用于ISP的像素級處理，在算法設(shè)計(jì)中要盡量避免這些復(fù)雜運(yùn)算。ISP中也有針對整幅圖像處理的運(yùn)算（非像素級），例如白平衡AWB，自動(dòng)曝光AE和自動(dòng)對焦AF，這些算法比較靈活，處理速度要求不高，通常由CPU來處理的，任何復(fù)雜運(yùn)算都可以用，只要CPU性能足夠。
　　研究ISP算法是一件充滿樂趣的事情，原因在于ISP算法沒有標(biāo)準(zhǔn)答案，任何ISP算法都沒有一個(gè)標(biāo)準(zhǔn)協(xié)議，每個(gè)人都可以自由發(fā)揮自己的想象力，目的只有一個(gè)，讓人眼看得舒服，大家看著好，才是真的好。每個(gè)人的想象力各不相同，算法復(fù)雜度也是無窮盡，評價(jià)ISP算法的優(yōu)劣，主要就是一個(gè)性價(jià)比：在一定復(fù)雜度要求的條件下，達(dá)到最好的圖像質(zhì)量。在學(xué)習(xí)ISP相關(guān)的paper的時(shí)候，要關(guān)注的重點(diǎn)是算法的原理，或者說出發(fā)點(diǎn)，而不是計(jì)算公式，因?yàn)楣街型ǔ６际菑?fù)雜運(yùn)算，難以實(shí)際用起來，在理解了原理之后，可以找近似的替代算法來達(dá)到相近的效果。
　　從視覺感受來分，我把ISP大致分成亮度，色彩和細(xì)節(jié)三個(gè)部分。亮度是指對圖像整體的亮度調(diào)整，涉及到的算法有自動(dòng)曝光Auto Exposure，黑電平校正Black Level Correction，鏡頭陰影校正Lens Shading Correction，Gamma，High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance，色彩校正Color Correction Matrix，飽和度Saturation，色相Hue等。細(xì)節(jié)的算法主要的去噪Denoise，插值interpolation，縮放zoom，邊緣增強(qiáng)edge enhance等。還有一些其他相對特殊的算法，例如自動(dòng)對焦Auto Focus，防閃爍anti-flick等。一個(gè)簡化的ISP算法框架如下圖。
　　
　　Figure 0.1 ISP簡單框架
　　ISP各個(gè)基本算法是相對獨(dú)立的，但是在整體效果呈現(xiàn)上，又是相互關(guān)聯(lián)的。舉例來說，Lens Shading Correction這個(gè)算法把要圖像四周的拉亮，這就導(dǎo)致圖像四周的Noise比較大， 而Noise較大的話，edge enhance就要對四周的像素做特殊處理，使得Noise不會被放大，這會導(dǎo)致圖像中心相對清晰，四周相對模糊。經(jīng)常調(diào)校ISP的人，對此可能深有體會。諸多ISP算法模塊，內(nèi)在是有一些確定的邏輯關(guān)系的，上圖中的框架結(jié)構(gòu)，有些順序是可以改變，有些則不可以改變， 有些改變會導(dǎo)致算法復(fù)雜度提升。ISP算法中有不少特性是相互對立矛盾的，例如清晰度和噪聲，AWB中的穩(wěn)定度和精確度，AE中的收斂穩(wěn)定性和收斂速度等，這些對立的特性，就像天平的兩端，需要根據(jù)客戶需求或者實(shí)際應(yīng)用場景去做平衡。
　　對ISP的研究學(xué)習(xí)過程，既有符合構(gòu)想預(yù)期的情況，也有充滿意外的時(shí)候，同時(shí)感嘆一下人眼或者說人腦的高復(fù)雜度和高靈敏度。ISP的各種數(shù)學(xué)運(yùn)算，最終是要讓CMOS sensor感應(yīng)到的圖像，轉(zhuǎn)化模擬成人眼/人腦感受到的圖像，通過不斷的學(xué)習(xí)和嘗試，讓各種ISP模塊中的數(shù)學(xué)計(jì)算，能夠得出期望的圖像效果，或者從圖像效果反推出算法中的原因所在。一個(gè)有經(jīng)驗(yàn)的ISP算法研究工程師，就是建立起數(shù)學(xué)計(jì)算和圖像效果之間的映射關(guān)系。
　　接下來，我將從圖像format開始，然后再從圖像亮度，色彩和細(xì)節(jié)三個(gè)方面來一一介紹ISP中各個(gè)function。