VizWiz數(shù)據(jù)集：用計(jì)算機(jī)視覺(jué)回答盲人的問(wèn)題

計(jì)算機(jī)視覺(jué)的應(yīng)用可以用來(lái)幫助盲人，無(wú)論是改善視力缺陷還是打破社交障礙。例如TapTapSee和CamFind等物體識(shí)別工具可以讓人們拍攝圖像，并識(shí)別目標(biāo)物體是什么，以及哪里能買到。另外，F(xiàn)acebook和Twitter推出的新功能可以識(shí)別和標(biāo)記圖片中的好友，讓人們與朋友保持聯(lián)系。計(jì)算機(jī)視覺(jué)應(yīng)用的下一個(gè)理想目標(biāo)是讓有視力障礙的人更自然地接收到關(guān)于周圍世界的信息。這一目標(biāo)的出現(xiàn)引起了人們對(duì)通用視覺(jué)問(wèn)題解答（visual question answering）的興趣，該問(wèn)題旨在準(zhǔn)確地回答任何有關(guān)圖像的問(wèn)題。

在過(guò)去三年里，計(jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)涌現(xiàn)出了14種VQA數(shù)據(jù)集，但他們都是人工創(chuàng)建設(shè)置的，并且沒(méi)有一個(gè)數(shù)據(jù)集的圖片是來(lái)自盲人的或服務(wù)于盲人的。然而，可以這么說(shuō)，盲人能夠產(chǎn)生訓(xùn)練算法所需的大量數(shù)據(jù)。近十年來(lái)，盲人群體通過(guò)拍照詢問(wèn)他們拍的是什么，并且盲人通常是計(jì)算機(jī)視覺(jué)技術(shù)早期的使用者，這項(xiàng)技術(shù)將為他們的生活帶來(lái)極大的便利。

中國(guó)科學(xué)技術(shù)大學(xué)和美國(guó)卡內(nèi)基梅隆大學(xué)等高校的研究人員共同提出了第一個(gè)由盲人產(chǎn)生的視覺(jué)數(shù)據(jù)庫(kù)“VizWiz”，他們通過(guò)數(shù)據(jù)庫(kù)創(chuàng)建了一個(gè)手機(jī)程序，可以讓盲人通過(guò)拍照和詢問(wèn)得到超過(guò)七萬(wàn)個(gè)問(wèn)題的答案。數(shù)據(jù)集剛開(kāi)始構(gòu)建時(shí)嚴(yán)格對(duì)內(nèi)容進(jìn)行過(guò)濾，消除有可能侵犯?jìng)€(gè)人隱私的視覺(jué)問(wèn)題。之后通過(guò)眾包獲取圖像的答案來(lái)訓(xùn)練和評(píng)估算法，接著通過(guò)實(shí)驗(yàn)對(duì)圖像進(jìn)行特征分類、問(wèn)題回答，最終發(fā)現(xiàn)了VizWiz與其他現(xiàn)有VQA數(shù)據(jù)集不同的地方。

VizWiz介紹

該VQA數(shù)據(jù)集由盲人提出的視覺(jué)問(wèn)題組成，在四年時(shí)間里積累了72205個(gè)問(wèn)題。表一總結(jié)了VizWiz收集數(shù)據(jù)的過(guò)程與其他數(shù)據(jù)庫(kù)的不同，其中明顯的區(qū)別是VizWiz包含來(lái)自盲人攝影師的圖像，并且提問(wèn)方式是口頭而非文字。

表一

這種圖像質(zhì)量帶來(lái)了一般數(shù)據(jù)集中沒(méi)有的挑戰(zhàn)，例如會(huì)有大量的模糊、光線不足、圖像內(nèi)容缺失等。另外，因?yàn)椤疤釂?wèn)者”也是“拍攝者”，所以有時(shí)問(wèn)題可能與圖像無(wú)關(guān)，如圖所示。

在對(duì)數(shù)據(jù)集的圖像進(jìn)行篩選時(shí)，研究人員將可能會(huì)泄露隱私的圖片分成以下幾類：

暴露個(gè)人信息，例如人臉、財(cái)務(wù)狀況、藥品處方。

某個(gè)地點(diǎn)，例如郵箱地址、商業(yè)地點(diǎn)。

不雅內(nèi)容，例如***、褻瀆。

可疑的復(fù)雜場(chǎng)景，審查人員懷疑其中可能包括個(gè)人信息，但沒(méi)有找到明確的地方。

可疑的低質(zhì)量圖像，審查人員懷疑增強(qiáng)圖像質(zhì)量可能會(huì)暴露個(gè)人信息。

最終，研究人員通過(guò)IQ引擎、Facebook、Twitter或電子郵件公開(kāi)接收?qǐng)D像的答案。

VizWiz數(shù)據(jù)庫(kù)分析

接著，研究人員將對(duì)VizWiz中的問(wèn)題和答案進(jìn)行可視化，他們分析了自然語(yǔ)言問(wèn)題的類型、圖像都有哪幾類、答案分為哪幾類以及視覺(jué)問(wèn)題無(wú)法回答的情況。

首先，問(wèn)題的類別如下圖所示：

表中統(tǒng)計(jì)了所有問(wèn)題的前六個(gè)字母。最內(nèi)環(huán)代表第一個(gè)字母，以此類推?？梢钥闯?，“這是什么？（What is this）”這個(gè)問(wèn)題是最常見(jiàn)的。

然后，我們來(lái)分析數(shù)據(jù)庫(kù)中的圖像多樣性。尤其值得關(guān)注的是，我們的數(shù)據(jù)集中高質(zhì)量的圖像可以顯示單個(gè)標(biāo)志性的對(duì)象，因?yàn)樵谑占瘯r(shí)過(guò)濾掉了可疑圖像。在之前工作的基礎(chǔ)上，我們首先計(jì)算了VizWiz中所有圖像的平均圖像。如下圖所示：

接著，我們來(lái)分析答案的多樣性。我們首先用詞匯地圖將不同答案進(jìn)行可視化，如下圖所示：

文字越大，答案出現(xiàn)的頻率就越高。

VizWiz評(píng)估結(jié)果

研究人員用現(xiàn)有算法測(cè)試了VizWiz數(shù)據(jù)集的難度。首先是用現(xiàn)代VQA算法預(yù)測(cè)VizWiz數(shù)據(jù)集中視覺(jué)問(wèn)題的答案，結(jié)果如下表所示：

可以看出前兩行的表現(xiàn)非常糟糕，而VizWiz的表現(xiàn)還是不錯(cuò)的。

接著他們測(cè)試了算法是夠能區(qū)分某一問(wèn)題是否可答的精確度，結(jié)果如下圖所示：

結(jié)果可見(jiàn)，研究人員提出的方法比現(xiàn)有方法的精確度提高了至少25%。

結(jié)語(yǔ)

在這篇論文中，研究人員介紹了一種VQA數(shù)據(jù)集——VizWiz，與一般數(shù)據(jù)集不同的是，其中的內(nèi)容都來(lái)自盲人拍攝的圖片，并由盲人對(duì)內(nèi)容進(jìn)行提問(wèn)。通過(guò)對(duì)數(shù)據(jù)集的分析，研究人員對(duì)計(jì)算機(jī)視覺(jué)以及自然語(yǔ)言處理又有了新的認(rèn)識(shí)。更重要的一點(diǎn)是，VizWiz的出現(xiàn)能讓更多人關(guān)注針對(duì)盲人的技術(shù)需求，為開(kāi)發(fā)專門的技術(shù)提供了新機(jī)會(huì)。