解密圖像顯示控制器的3D功能 - 全文

關(guān)鍵詞： 3D , 圖像 , 顯示

作者：富士通半導(dǎo)體Rick Tewell和Cheyenne Wolford

如今， 消費(fèi)電子用戶通常希望液晶顯示屏的用戶界面包含3D元素。自最初的3D界面上市以來，消費(fèi)者們已習(xí)慣了看到有縱深且能夠旋轉(zhuǎn)的物體，以及能在屏幕上移動(dòng)來顯示更多選項(xiàng)的菜單。iPad、iTouch和Android設(shè)備就是最好例證。成千上萬的液晶顯示驅(qū)動(dòng)消費(fèi)類設(shè)備都以具備3D功能作為核心的用戶界面技術(shù)。

3D優(yōu)于2D的原因顯而易見。從清晰度來看，2D圖像就像一張照片，只有寬度和高度，沒有深度。一輛車的2D圖像可以旋轉(zhuǎn)、縮放，在屏幕上做二維(‘x’和‘y’)移動(dòng)(轉(zhuǎn)換)。而3D圖像可以做三維(‘x’、‘y’和 ‘z’)的旋轉(zhuǎn)、縮放和轉(zhuǎn)換。3D物體有深度，是全視角的。這是基于人對(duì)空間和物體的認(rèn)知，3D可使人們獲得更直觀和互動(dòng)的體驗(yàn)。有效的3D圖像讓消費(fèi)者享受視覺盛宴，幫助定義產(chǎn)品的風(fēng)格和價(jià)值，并傳遞大量的信息。

生成3D圖像需要復(fù)雜精尖的圖像顯示控制器(GDC)，而它又需要一個(gè)幾何單元和結(jié)構(gòu)處理單元。將這些元素整合到一個(gè)圖像引擎中可提供最佳性能，如圖一所示。

2012-4-13 16:21:30 上傳

下載附件 (65.71 KB)

圖1：圖像SoC集成。

作為該技術(shù)的領(lǐng)先者，富士通在嵌入式圖像市場(chǎng)已活躍了十多年，而涉足圖像領(lǐng)域已近二十年，它設(shè)計(jì)、開發(fā)并幫助客戶集成領(lǐng)先的2D和3D 圖像顯示控制器。因此，讓我們回顧一下這些強(qiáng)大而創(chuàng)新器件的基本原理。

當(dāng)前，許多最好的圖像控制器對(duì)2D和3D圖像都能駕馭。但在許多情況下，系統(tǒng)設(shè)計(jì)者并沒有充分利用已有的3D功能，而這一功能可以給終端用戶帶來許多益處。例如，在汽車應(yīng)用中，駕駛者想要了解泄氣的車胎或不亮的車燈的情況。應(yīng)用2D技術(shù)就要求具備許多預(yù)置圖像，以此來突出所有可能的角度和情況。加之“車門或后備箱微開”的情況，就需要數(shù)百兆字節(jié)的預(yù)置2D圖像(圖2)。

2012-4-13 16:21:31 上傳

下載附件 (26.35 KB)

圖2：顯示旋轉(zhuǎn)的2D圖像(還需幾百個(gè)圖像來顯示完整的旋轉(zhuǎn)動(dòng)作)。

2012-4-13 16:21:32 上傳

下載附件 (39.56 KB)

圖3：3D圖像——單一物體可以旋轉(zhuǎn)至任何角度，縮放至任意大小，突出任意部位(輪胎、車燈、車門等等)。

而有了3D技術(shù)，所有這些及更多要求只需不到一兆字節(jié)的圖像和幾何數(shù)據(jù)就可輕松搞定。

3D物體的工作原理

3D物體由三角形“網(wǎng)格”構(gòu)成，這些三角形勾勒出物體具體的形狀。物體越具體詳細(xì)，所需的三角形也就越多(圖4)。構(gòu)成物體形狀的三角形數(shù)量依所需物體顯現(xiàn)的真實(shí)度而異。

2012-4-13 16:21:35 上傳

下載附件 (43.27 KB)

圖4：一款福特汽車的多邊形網(wǎng)格。

每個(gè)多邊形都有三個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)都在“模型空間”中有“x”、“ y” 和“ z”坐標(biāo)。這些頂點(diǎn)通常表示為一系列的浮點(diǎn)數(shù)。整個(gè)模型完全由這些浮點(diǎn)數(shù)構(gòu)成，這些浮點(diǎn)數(shù)組成了模型的頂點(diǎn)數(shù)組。

下一步是對(duì)模型進(jìn)行“陰影處理”或“紋理繪制”，以使其看起來更像實(shí)物。陰影處理的過程其實(shí)就是簡單地為每個(gè)三角形填色?？蓪?duì)三角形進(jìn)行單色陰影處理——即只在三角形中填充一種灰度或顏色；也可以進(jìn)行高氏陰影處理——即基于每一個(gè)頂點(diǎn)的顏色來填充漸變色(圖5)。

2012-4-13 16:21:36 上傳

下載附件 (11.77 KB)

圖5：3D物體網(wǎng)格圖、單色陰影處理圖和高氏陰影處理圖。

增加其它復(fù)雜效果

要使物體看起來更真實(shí)，就要添加其它復(fù)雜的效果。含有陰影處理器引擎的圖像顯示控制器可以實(shí)現(xiàn)包括水、煙、火和反射性表面屬性等其它效果。

應(yīng)用紋理繪圖的過程與給塑料模型印花來增加真實(shí)度相似。像印花一樣，紋理繪圖使網(wǎng)格狀的框架變成一個(gè)更逼真的圖像。紋理繪圖是一個(gè)由多個(gè)獨(dú)立小圖像構(gòu)成的2D方形圖，這些小圖被放置在多邊形網(wǎng)格的特定位置。一個(gè)叫UV圖的表格指定了這些位置，該圖包括了紋理繪圖中每一個(gè)“印花”的坐標(biāo)(圖6)。

2012-4-13 16:21:37 上傳

下載附件 (22.78 KB)

圖6：一款福特汽車的UV圖。

紋理繪圖一旦應(yīng)用于多邊形網(wǎng)格，就可以建立起一個(gè)完整的3D模型，既有深度，也可以旋轉(zhuǎn)、縮放及隨三軸(x、y、z)轉(zhuǎn)換。在應(yīng)用了紋理繪圖以及圖像處理器處理了頂點(diǎn)和紋理繪圖數(shù)據(jù)之后，你即可看到如圖七所示的完整的3D模型。

2012-4-13 16:21:37 上傳

下載附件 (13.11 KB)

圖7：福特汽車完整3D模型。

通過使用圖像芯片的幾何引擎，這一模型現(xiàn)在可以任何方式進(jìn)行動(dòng)畫模擬、從任何角度進(jìn)行位置擺放。只要擁有3D模型(多邊形網(wǎng)格和紋理繪圖)，無需提供任何其它數(shù)據(jù)，你就能全方位地展示3D模型。通過沿著3D模型的三個(gè)軸進(jìn)行縮放、旋轉(zhuǎn)和轉(zhuǎn)換，你可以獲得無限量的圖像數(shù)據(jù)。正如之前指出的，無需昂貴的閃存或系統(tǒng)存儲(chǔ)器，你就可呈現(xiàn)車胎數(shù)據(jù)、故障的車燈和車門狀況等任意數(shù)量的信息和提示。

富士通的“Jade”和“Emerald”是經(jīng)過驗(yàn)證、具有復(fù)雜3D功能和領(lǐng)先的圖像顯示屬性的圖像顯示控制器的樣板。MB86R0x Jade系列圖像顯示控制器被用于多種汽車和工業(yè)應(yīng)用。MB86R1x Emerald系列圖像顯示控制器則可讓開發(fā)者有能力實(shí)現(xiàn)未來更雄心勃勃和復(fù)雜的3D應(yīng)用。

充分發(fā)揮優(yōu)勢(shì)

然而，在很多情況下，現(xiàn)有的應(yīng)用并未充分使用Jade的3D功能。這就太可惜了，因?yàn)?D技術(shù)可以在現(xiàn)有的平臺(tái)上實(shí)現(xiàn)更加復(fù)雜的圖像功能，只需更改軟件即可。換句話說，汽車廠商、游戲開發(fā)者和其他消費(fèi)類電子公司可為現(xiàn)有的設(shè)計(jì)注入新鮮血液，而這并不需要花費(fèi)額外的硬件工程費(fèi)用，因?yàn)閾碛羞@一功能的硬件和顯示已經(jīng)存在。

那么，使用這一功能需要什么呢？就Jade而言，只是去使用現(xiàn)有的3D軟件庫就萬事大吉。為使過程更為便捷，Jade助手庫(Quantum)在富士通提供的圖像庫(V03)(圖8和圖9)中，幫助完成建立幾何和紋理繪制所需的絕大多數(shù)艱巨工作。而Emerald則使用類似于OpenGL ES 2.0的圖庫。

2012-4-13 16:21:37 上傳

下載附件 (14.23 KB)

圖8：使用Quantum進(jìn)行3D處理。

2012-4-13 16:21:40 上傳

下載附件 (30.62 KB)

圖9：Quantum 3D 引擎。

Jade和Emerald在其核心部位為3D運(yùn)行提供了巨大支持。這些圖像顯示控制器的圖像功能中，至少有一半與3D技術(shù)相關(guān)，包括：

3D 基本要素—— 點(diǎn)、線、線帶、三角、三角帶、三角扇、任意多邊形

防失真

高氏陰影處理、單色陰影處理

紋理繪圖——過濾、透視校正、混合模式、alpha顏色混合及遮蓋技術(shù)

幾何處理——MVP變換、裁剪、篩選、視見區(qū)轉(zhuǎn)換

Z-緩沖——消除隱藏面

多邊繪圖標(biāo)志緩沖器

OpenGL ES 2.0——可兼容陰影處理器引擎(只限Emerald)

3D技術(shù)如何顯著改善2D用戶界面

3D引擎可以像處理3D圖像那樣，輕易、優(yōu)雅地處理2D圖像。當(dāng)你將上述3D引擎的功能添加到2D圖像中，就可以獲得不同凡響的效果。

例如，如果使用常規(guī)的2D技術(shù)，圖十中樹葉圖像估計(jì)會(huì)消耗100MB的閃存。這當(dāng)然大大超過了許多系統(tǒng)的合理存儲(chǔ)量預(yù)算和規(guī)范，特別是對(duì)于單一圖像功能而言。如果加入更多的圖像功能——假設(shè)每種功能所需的空間大小相似——就需要數(shù)百兆的閃存空間才能實(shí)現(xiàn)所要的圖像。通過使用3D引擎來完成縮放、旋轉(zhuǎn)和轉(zhuǎn)換任務(wù)，取決于所選的顏色深度等因素，我們就可以將存儲(chǔ)要求降低到8MB或更少。

這是通過如下方式實(shí)現(xiàn)的：為樹葉的每一狀態(tài)生成一幅圖像；讓3D引擎來處理旋轉(zhuǎn)和縮放；然后用2D引擎來呈現(xiàn)圖像(圖11)。

2012-4-13 16:21:41 上傳

下載附件 (20.22 KB)

圖10：3D動(dòng)畫樹葉的自動(dòng)化儀表盤。

2012-4-13 16:21:42 上傳

下載附件 (15.45 KB)

圖11：樹葉圖像：Jade 前后旋轉(zhuǎn)和縮放。

3D通過其它方式來改進(jìn)用戶界面開發(fā)，例如：

要求小得多的內(nèi)存空間

支持加速的旋轉(zhuǎn)、縮放和轉(zhuǎn)換

簡化圖像資產(chǎn)的增加或更改，以及

支持簡單的遷移路徑

更小的存儲(chǔ)空間

如前所述，3D單元縮放、旋轉(zhuǎn)和轉(zhuǎn)換物體的能力使開發(fā)者需要存儲(chǔ)的圖像數(shù)量少得多。3D技術(shù)可向用戶呈現(xiàn)更多信息，但對(duì)系統(tǒng)存儲(chǔ)器(DDR)和非易失性存儲(chǔ)器(NOR/NAND閃存)需求產(chǎn)生的影響甚微。

樹葉的例子說明，使用3D圖像引擎來縮放、旋轉(zhuǎn)和轉(zhuǎn)換從NOR閃存中獲得的2D圖像，就可以有數(shù)千個(gè)可能的圖像。

使用八位色時(shí)，就可能改變動(dòng)態(tài)物體的顏色，并產(chǎn)生諸如在兩種顏色間有褪色這種強(qiáng)大的色差效果。使用3D單元，可對(duì)黑白圖像進(jìn)行著色處理，以實(shí)現(xiàn)幾千種可能的顏色。通過在已完成的圖像上使用2D引擎，你還可以增加臨位效應(yīng)(alpha effect)(透明)，并提供數(shù)以千計(jì)的其它圖像效果。

具體來說，可以對(duì)2D圖像元素實(shí)施如下操作：

大小縮放——包括使物體變寬或變窄的非線性縮放

如果使用的是高氏陰影處理而非單色陰影處理，可以實(shí)現(xiàn)單一或多種色彩

旋轉(zhuǎn)到任一角度，或

上述操作的任意同時(shí)組合

例如，假設(shè)我們以單個(gè)2D圖像(圖12)開始，其未壓縮和壓縮格式分別占32K或3K的存儲(chǔ)器。

2012-4-13 16:21:42 上傳

下載附件 (13.22 KB)

圖12：2D樹葉圖像。

我們可以輕松地將這個(gè)單一圖像客體轉(zhuǎn)換成一系列可以從多角度、多方位呈現(xiàn)的圖像客體(圖13)。一旦3D引擎被用來處理2D圖像素材，那么將單一圖像物體有用性最大化的能力會(huì)成指數(shù)增長。

2012-4-13 16:21:43 上傳

下載附件 (23.45 KB)

圖13：3D樹葉狀態(tài)。

硬件加速的旋轉(zhuǎn)、縮放和轉(zhuǎn)換

電腦圖像的關(guān)鍵之一是時(shí)間。必須以最快的速度把圖像素材收集起來并送到液晶顯示面板，否則用戶就會(huì)注意到圖像的繪制過程。這一速率就是通常說的“幀頻”。

實(shí)現(xiàn)成功幀頻的關(guān)鍵是窮盡圖像處理器的所有能力，在預(yù)算時(shí)間內(nèi)，使圖像盡可能逼真。雖然其它因素也在發(fā)揮作用，但我們一直不懈地地追求液晶顯示面板的幀頻指標(biāo)，以保證圖像的流暢呈現(xiàn)。

在每秒60幀(液晶顯示面板的通用刷新率)的情況下，我們只有16.66毫秒(千分之一秒)來繪制希望用戶看到的一切。圖像控制器需要幾項(xiàng)重要的硬件功能以編繪一幅場(chǎng)景(例如，一個(gè)具備升級(jí)的儀表和圖像元素的完整儀表板——圖14)、將圖像元素轉(zhuǎn)換成所需的圖像并且保證時(shí)間預(yù)算。Jade具備這些功能或模塊。

2012-4-13 16:21:43 上傳

下載附件 (45.2 KB)

圖14：帶有儀表和圖像元素的3D儀表樣板。

例如，在Jade的圖像子系統(tǒng)的核心有四個(gè)關(guān)鍵硬件加速器，它們支持實(shí)現(xiàn)強(qiáng)大且極快的硬件旋轉(zhuǎn)、縮放、轉(zhuǎn)換和圖像呈現(xiàn)。這四個(gè)模塊如圖十五所示。各模塊并行工作，實(shí)現(xiàn)了極速的圖像性能。

當(dāng)前一些汽車的集成表盤只使用這四個(gè)模塊中的兩個(gè)9(2D單元和顯示控制器)。另外兩個(gè)是默認(rèn)禁用的。使用3D幾何單元和紋理處理單元可以為終端用戶帶來更賞心悅目的圖像體驗(yàn)。

隨時(shí)增加或改變動(dòng)態(tài)圖像素材

當(dāng)為系統(tǒng)添加圖像素材時(shí)，圖像素材特性通常會(huì)變身為部分底層源代碼。當(dāng)使用3D引擎來處理2D圖像時(shí)，只需簡單地替換系統(tǒng)中的現(xiàn)有素材，而無需更改其它。

總之，當(dāng)2D圖像素材被應(yīng)用于3D環(huán)境時(shí)，紋理圖子系統(tǒng)的規(guī)則要求：在x和y軸，紋理圖必須是2的冪(例如, 32 x 32, 128 x 128, 256 x 256, 或 512 x 512像素)。盡管Jade子系統(tǒng)中紋理圖的絕對(duì)極限是4096 x 4096，但使用像128 x 128 或 256 x 256這樣合理尺寸的圖則更普遍和有效。(一個(gè)寶貴的經(jīng)驗(yàn)法則是：根據(jù)視覺需要確定紋理圖的大小。)

例如，考慮一幅采用128 x 128像素紋理圖的圖像。無需改變?nèi)魏未a，我們就能完全改變樹葉的外觀，或徹底將其變成其它物體，而代碼將繼續(xù)正常工作。這就允許開發(fā)者在不干擾編碼流程的條件下，隨時(shí)對(duì)圖像進(jìn)行重要的藝術(shù)再創(chuàng)作。

提供通往3D的更便捷之路

在某一時(shí)刻，藝術(shù)工作室可以選擇為現(xiàn)有的用戶界面模板創(chuàng)建3D物體，而不是完全重新創(chuàng)作。如果3D引擎被用來處理以前用戶界面的2D圖像元素，那么支持這些代替現(xiàn)有2D元素的新3D物體要相對(duì)簡單。這是因?yàn)樘幚磉@些圖像的過程和庫調(diào)用幾乎一樣，只需增加深度軸即可讓物體達(dá)到真正的3D效果。

3D帶給藝術(shù)工作室的諸多可能性值得深究，因?yàn)?D可以為眾多產(chǎn)品增色。使用3D用戶界面的主要障礙來自于對(duì)整個(gè)設(shè)計(jì)周期中應(yīng)用該界面存在困難的擔(dān)憂。采用富士通的圖像顯示控制器，就解決了這一問題。一旦藝術(shù)工作室和開發(fā)人員知道如何將2D物體轉(zhuǎn)化為3D物體，他們就開啟了全新的、精尖的圖像選擇的新世界。

為2D物體采用3D引擎的最大困難是無限的圖像可能。解決之道就是明確如何最大程度地發(fā)揮可用功能的作用。

3D如何提升終端用戶的體驗(yàn)

舉例也許是最能展示3D圖像對(duì)終端用戶價(jià)值的方式。

在消費(fèi)類電子產(chǎn)品領(lǐng)域，如蘋果公司引領(lǐng)的3D元素(例如封面流、應(yīng)用流和滾選圖標(biāo))在很大程度上依賴3D技術(shù)。沒有這些3D元素，就幾乎不可能傳送這數(shù)以千計(jì)的信息節(jié)點(diǎn)(如iPod上的歌)，用戶需要3D進(jìn)行快速分類和篩選。采用3D界面技術(shù)，在有限空間里為用戶提供成千上萬的選擇就變得很實(shí)用(圖17)。

2012-4-13 16:21:45 上傳

下載附件 (23.97 KB)

圖15：Jade圖像子系統(tǒng)。

2012-4-13 16:21:45 上傳

下載附件 (18.81 KB)

圖16：2D與3D的差別簡示。

2012-4-13 16:21:45 上傳

下載附件 (46.6 KB)

圖17：3D流媒體概念

另一個(gè)例子是汽車儀表板。標(biāo)準(zhǔn)的汽車模擬儀表板(圖18)所提供的信息有限。儀表板上的每一個(gè)物理位置只能傳達(dá)一則信息(如燃油量)。

2D圖像儀表板(圖19)傳達(dá)更多信息，但缺乏深度觀感。盡管從其傳達(dá)的信息來看，已是對(duì)模擬儀表板的巨大改進(jìn)，但是添加3D元素仍會(huì)帶來顯著提升。

2012-4-13 16:21:47 上傳

下載附件 (17.75 KB)

圖18：標(biāo)準(zhǔn)的模擬汽車儀表板。

2012-4-13 16:21:48 上傳

下載附件 (11.84 KB)

圖19：2D圖像儀表板。

2D/3D 圖像儀表板(圖20)在液晶顯示屏的左右側(cè)引入了3D元素。

2012-4-13 16:21:48 上傳

下載附件 (20.77 KB)

圖20：2D/3D 圖像儀表板。

左側(cè)的汽車圖像可被旋轉(zhuǎn)任意角度，且可提供以下信息：

輪胎壓力

車內(nèi)溫度

車外溫度

燃油量

車門、后備箱或引擎蓋的開閉狀態(tài)

特定的轉(zhuǎn)向信號(hào)、前車燈和故障車燈

右側(cè)的地球儀形狀的3D圖像可以顯示：

每加侖油的行駛里程

指南針的方位

路線導(dǎo)航指南

谷歌地球類形狀的下載(fly down)

使用2D技術(shù)的儀表板的中央儀表提供了大量信息，它是由3D引擎完成縮放、旋轉(zhuǎn)等處理的。中央集成表盤(圖21)也在屏幕左右側(cè)展示了3D元素，而屏幕中央則以2D/3D元素為特色。這一1280x480分辨度的12.3英寸顯示屏是采用Jade處理器設(shè)計(jì)的。

2012-4-13 16:21:50 上傳

下載附件 (26.5 KB)

圖21：2D/3D的中央集成表盤概念。

盡管上述的大多數(shù)例子都是關(guān)于汽車應(yīng)用的，但是3D技術(shù)可廣泛應(yīng)用于其它工業(yè)和消費(fèi)類產(chǎn)品，如游戲、信息終端、培訓(xùn)、航天和醫(yī)療設(shè)備。其中一項(xiàng)特別的創(chuàng)新應(yīng)用是在冰箱上，3D圖像提供了一整套可幫助用戶完成一系列任務(wù)的互動(dòng)功能，從使用制冰機(jī)來調(diào)節(jié)冰箱溫度到確保冷藏室門已關(guān)嚴(yán)。

隨著設(shè)計(jì)者和開放者能更加舒適、自信和創(chuàng)造性地使用3D圖像，這些創(chuàng)新的實(shí)現(xiàn)指日可待。

下載原文：

3D_and_Fujitsu_GDCs.pdf (11.46 MB, 下載次數(shù): 20)

2012-4-13 16:30:56 上傳

下載次數(shù): 20
下載積分: 積分 -1