預(yù)測(cè)圖像如何影響視覺(jué)反應(yīng)速度

想象一下，當(dāng)你沿著一條路行駛時(shí)，一個(gè)障礙突然出現(xiàn)在你的路上。你能多快做出反應(yīng)？你的反應(yīng)速度如何隨時(shí)間、障礙物的顏色以及它在你視野中的位置而變化？

對(duì)視覺(jué)事件做出快速反應(yīng)的能力對(duì)日常生活很有價(jià)值。它也是快節(jié)奏視頻游戲中的一項(xiàng)基本技能。 NVIDIA 、紐約大學(xué)和普林斯頓大學(xué)的研究人員最近進(jìn)行了合作 – SIGGRAPH 2022 年技術(shù)論文獎(jiǎng)得主 – 探索圖像特征與觀察者反應(yīng)所需時(shí)間之間的關(guān)系。

反應(yīng)速度和視覺(jué)事件

隨著顯示技術(shù)的不斷進(jìn)步，人類(lèi)的反應(yīng)時(shí)間已經(jīng)成為圖形管道中的主要瓶頸。與遠(yuǎn)程服務(wù)器通信、渲染和顯示圖像以及收集和處理鼠標(biāo)或鍵盤(pán)輸入的響應(yīng)時(shí)間通常為幾十毫秒或更短。

相比之下，人類(lèi)感知的管道要慢得多，根據(jù)視覺(jué)輸入的復(fù)雜程度，可以在 100 到 500 毫秒之間。這項(xiàng)研究旨在簡(jiǎn)化和優(yōu)化圖像，盡可能減少我們的反應(yīng)時(shí)間。

視覺(jué)對(duì)比度和空間頻率是影響低水平視覺(jué)的眾所周知的特征。此外，人類(lèi)的視覺(jué)在整個(gè)視野中并不均勻。提高反應(yīng)時(shí)間所需的對(duì)比度取決于偏心率、視角（物體相對(duì)于中心視線的位置）和空間頻率（例如，物體是純色還是復(fù)雜圖案）。反應(yīng)時(shí)間是許多神經(jīng)過(guò)程的組合，所提出的模型包括所有這些因素。

反應(yīng)時(shí)間測(cè)量基于稱(chēng)為掃視的自愿快速眼動(dòng)的起始潛伏期。目標(biāo)一出現(xiàn)在屏幕上，“反應(yīng)時(shí)間時(shí)鐘”就開(kāi)始滴答作響。一旦識(shí)別出目標(biāo)，就開(kāi)始向其掃視。

掃視反應(yīng)模型

為了建立一個(gè)感知準(zhǔn)確的反應(yīng)時(shí)間預(yù)測(cè)模型，研究人員對(duì)人類(lèi)觀察者進(jìn)行了一系列實(shí)驗(yàn)，收集了 11000 多個(gè)不同圖像特征的反應(yīng)時(shí)間。

受人腦感知信息和決策方式的啟發(fā)，研究人員設(shè)計(jì)了一個(gè)反應(yīng)時(shí)間預(yù)測(cè)模型，考慮了對(duì)比度、頻率和偏心率，以及人類(lèi)反應(yīng)速度的內(nèi)在隨機(jī)性。

在這個(gè)模型中，隨著時(shí)間的推移，“決策置信度”的量度會(huì)累積，一旦累積了足夠的置信度，就會(huì)進(jìn)行一次掃視。置信度隨時(shí)間累積的速率不一致。

因此，該模型提供了顯示各種反應(yīng)時(shí)間的可能性，而不是完全確定地預(yù)測(cè)單個(gè)反應(yīng)時(shí)間。置信度累積的平均速率受圖像特征的影響，并導(dǎo)致反應(yīng)時(shí)間的可能性發(fā)生變化。

兩個(gè)驗(yàn)證實(shí)驗(yàn)證實(shí)，該模型可以應(yīng)用于可能看到的圖像，包括視頻游戲和自然照片。

使用反應(yīng)時(shí)間預(yù)測(cè)優(yōu)化人的績(jī)效

這種掃視反應(yīng)時(shí)間模型的應(yīng)用包括，例如，智能駕駛輔助系統(tǒng)，用于估計(jì)駕駛員是否能夠?qū)π腥撕推渌?chē)輛做出安全反應(yīng)，并啟用適當(dāng)?shù)妮o助功能。類(lèi)似地，電子競(jìng)技游戲設(shè)計(jì)師可以使用該模型來(lái)理解游戲視覺(jué)設(shè)計(jì)的公平性，避免競(jìng)爭(zhēng)結(jié)果中的偏見(jiàn)。

野心勃勃的玩家也可以使用這種模型來(lái)微調(diào)他們的設(shè)置以獲得最佳性能——例如，為目標(biāo) 3D 對(duì)象選擇最佳皮膚。

在未來(lái)的工作中，研究團(tuán)隊(duì)計(jì)劃探索顏色和時(shí)間效應(yīng)等其他圖像特征如何影響人類(lèi)的反應(yīng)時(shí)間，以及如何訓(xùn)練人類(lèi)提高他們對(duì)屏幕或現(xiàn)實(shí)世界事件的反應(yīng)速度。

關(guān)于作者

Budmonde Duinkharjav 是 NVIDIA 2022 年夏季實(shí)習(xí)生，也是紐約大學(xué)沉浸式計(jì)算實(shí)驗(yàn)室的博士候選人，由孫琦教授擔(dān)任顧問(wèn)。在 2021 春季開(kāi)始學(xué)習(xí)之前，他分別于 2018 年和 2019 年在麻省理工學(xué)院獲得了計(jì)算機(jī)科學(xué)和工程學(xué)士學(xué)位和孟學(xué)位。 Monde 對(duì)探索計(jì)算機(jī)圖形學(xué)、 AR / VR 和電子競(jìng)技中的人類(lèi)表現(xiàn)、行為和感知方面的各種主題感興趣。

Rachel Brown 是位于俄勒岡州波特蘭的 NVIDIA 人類(lèi)感知和表現(xiàn)小組的研究科學(xué)家。她的興趣集中在計(jì)算機(jī)圖形學(xué)應(yīng)用中人類(lèi)如何感知和響應(yīng)刺激，特別是周邊視覺(jué)、色彩和立體視覺(jué)領(lǐng)域。她于 2018 年在加州大學(xué)伯克利分校完成了研究生學(xué)業(yè)，獲得了視覺(jué)科學(xué)博士學(xué)位和計(jì)算機(jī)科學(xué)碩士學(xué)位，并于 2011 年在威廉瑪麗學(xué)院完成了本科學(xué)業(yè)，獲得生物學(xué)和心理學(xué)學(xué)士學(xué)位。

Anjul Patney 是位于華盛頓雷德蒙的 NVIDIA 人類(lèi)表現(xiàn)和體驗(yàn)研究小組的首席研究科學(xué)家。此前，他是 Facebook Reality Labs （ 2019-2021 ）的研究科學(xué)家，也是 NVIDIA （ 2013-2019 ）實(shí)時(shí)渲染的高級(jí)研究科學(xué)家。他于 2013 年獲得加州大學(xué)戴維斯分校的博士學(xué)位， 2007 年獲得印度理工學(xué)院德里分校的學(xué)士學(xué)位。 Anjul 的研究領(lǐng)域包括實(shí)時(shí)圖形的深度學(xué)習(xí)、時(shí)空?qǐng)D像質(zhì)量的感知度量、虛擬現(xiàn)實(shí)圖形的中心凹渲染以及虛擬現(xiàn)實(shí)環(huán)境中的重定向行走。

審核編輯：郭婷