三星新專(zhuān)利公開(kāi)，顯示出將AR Emoji應(yīng)用到視頻聊天的可能

今年年初三星正式發(fā)布了Galaxy S9，同時(shí)推出和iPhone X的Animoji非常相似的AR Emoji，它們的功能相差不多，都是用人臉的表情制作出一個(gè)動(dòng)畫(huà)表情，由此通過(guò)社交軟件分享給朋友和家人，讓聊天變的更有趣。

最近，三星的一份專(zhuān)利公開(kāi)，顯示出將AR Emoji應(yīng)用到視頻聊天的可能。

專(zhuān)利中表示, 現(xiàn)有的視頻通信系統(tǒng)和服務(wù), 如 Skype 和 Google 網(wǎng)絡(luò), 在運(yùn)行播放器應(yīng)用程序的設(shè)備之間傳輸2D 視頻流。這種視頻通信系統(tǒng)通常將壓縮序列圖像的視頻流傳輸與設(shè)備之間的音頻流配對(duì)。大多數(shù)通信系統(tǒng)都是供單個(gè)用戶(hù)使用, 需要在包含照相機(jī)和顯示器的計(jì)算機(jī)設(shè)備上運(yùn)行播放機(jī)應(yīng)用程序。

但這樣的視頻通信系統(tǒng)在為用戶(hù)提供視頻功能的同時(shí), 也存在一些弊端。例如, 現(xiàn)有的視頻通信系統(tǒng)通常需要較高的帶寬, 并且在將信號(hào)傳輸?shù)搅硪粋€(gè)設(shè)備之前需要生成和壓縮整個(gè)圖像序列時(shí), 其固有的高滯后時(shí)間。所以, 對(duì)于低滯后時(shí)間和高質(zhì)量的應(yīng)用程序, 現(xiàn)有的視頻通信系統(tǒng)要求通信設(shè)備最好通過(guò) wi-fi、3G 或4G 移動(dòng)通信技術(shù)進(jìn)行傳輸。

因此, 需要有一個(gè)可視化的通信系統(tǒng), 能夠顯示用戶(hù)的實(shí)際肖像, 面部表情和實(shí)時(shí)的運(yùn)動(dòng), 同時(shí)減少帶寬。

根據(jù)專(zhuān)利的說(shuō)明, 發(fā)送3D 網(wǎng)格模型更新數(shù)據(jù)比一般傳輸方式發(fā)送圖像序列需要的帶寬要少得多, 從而允許在帶寬較小的環(huán)境中進(jìn)行流暢的通信，可以解決前述問(wèn)題。

這項(xiàng)專(zhuān)利主要是兩個(gè)設(shè)備之間視覺(jué)通信的方法和系統(tǒng)。包括創(chuàng)建第一個(gè)設(shè)備用戶(hù)的3D 網(wǎng)格模型;在二個(gè)設(shè)備之間的可視通信會(huì)話(huà)期間接收傳感器陣列中的傳感器數(shù)據(jù), 其中圖像數(shù)據(jù)包括第一個(gè)設(shè)備用戶(hù)的運(yùn)動(dòng)方式，第二個(gè)設(shè)備由圖像數(shù)據(jù)確定3D 網(wǎng)格模型的變化，將3D 網(wǎng)格模型更新顯示出來(lái)。

具體來(lái)說(shuō), 在第一個(gè)設(shè)備上, 記錄對(duì)3D 網(wǎng)格模型的更改和發(fā)送更新數(shù)據(jù)比獲得新圖像并且將圖像壓縮到圖像序列中的滯后時(shí)間更低。

在第二個(gè)設(shè)備上, 不需要等待整個(gè)圖像的傳輸和解壓縮循環(huán)，可以一次更新3D 網(wǎng)格模型。即使第二個(gè)設(shè)備不支持3D 視頻通信的情況下, 第二個(gè)設(shè)備仍然可以通過(guò)對(duì)3D 網(wǎng)格模型的分析，顯示出2D的圖像，同時(shí)通過(guò)傳統(tǒng)的2D 視頻傳輸方案將圖像傳輸給第一個(gè)設(shè)備。

在專(zhuān)利的一個(gè)案例中, 視頻模式的可能由用戶(hù)手動(dòng)選擇。例如, 系統(tǒng)確認(rèn)第一個(gè)設(shè)備包含3D攝像頭系統(tǒng), 那么據(jù)可以允許用戶(hù)在3D視頻模式或2D視頻模式之間選擇。如果混合視覺(jué)通信器發(fā)現(xiàn)該設(shè)備僅包括2D 攝像頭系統(tǒng), 則混合視覺(jué)通信可能默認(rèn)為2D 視頻模式，系統(tǒng)也可以根據(jù)可用帶寬自動(dòng)向用戶(hù)建議2D 視頻模式或3D 視覺(jué)模式, 并在可視化過(guò)程中根據(jù)帶寬的變化動(dòng)態(tài)更改視頻模式。

這個(gè)圖片用于說(shuō)明創(chuàng)建出的用戶(hù)的臉部和頭部的3D 網(wǎng)格模型

三星的專(zhuān)利規(guī)定, 新的視覺(jué)通信應(yīng)用將能夠與各種操作系統(tǒng), 如 Android, 黑莓, 窗口和 iOS。

另一個(gè)有趣的點(diǎn)是，除了從攝像頭和深度傳感器接收?qǐng)D像數(shù)據(jù)外, 它還可能接收與可視化通訊會(huì)話(huà)上下文相關(guān)的其他傳感器數(shù)據(jù), 比如環(huán)境條件數(shù)據(jù)和用戶(hù)的身體數(shù)據(jù)，用戶(hù)的身體數(shù)據(jù)包括位置傳感器(加速度計(jì)、陀螺儀等) 和生物識(shí)別傳感器（如心率傳感器、電偶皮膚傳感器、瞳孔膨脹傳感器等），將此用于確定用戶(hù)位置的移動(dòng)和情緒狀態(tài)。同時(shí)，3D 模型組件還可以存儲(chǔ)不同的面部表情, 以及不同可選姿勢(shì)供用戶(hù)選擇。

必須說(shuō)明，三星在2013年就開(kāi)始了這方面的研究，2016年就第一次提交這份專(zhuān)利，最開(kāi)始的時(shí)候，專(zhuān)利只是為了減少對(duì)視頻時(shí)帶寬的需求，提出一種用于進(jìn)行視頻聊天的 "3D 網(wǎng)格模型"。這個(gè)3D 模型只會(huì)對(duì)用戶(hù)的面部表情作出反應(yīng), 只有這些表情的變化會(huì)被傳送。相對(duì)于一般的傳輸方案, 這樣對(duì)帶寬的要求更少。

巧合的是, 這個(gè)專(zhuān)利在三星推出AR emoji之后通過(guò)，但三星只是有可能會(huì)應(yīng)用這個(gè)技術(shù)，到現(xiàn)在為止也并沒(méi)有官方在這方面的說(shuō)明。但至少，這項(xiàng)專(zhuān)利可以說(shuō)明三星一直都在探索增強(qiáng)現(xiàn)實(shí)模型的應(yīng)用。