使用人工智能研究了將原稿與反射區(qū)分開的原因

文字向后。時(shí)鐘逆時(shí)針運(yùn)行。汽車在錯(cuò)誤的道路上行駛。右手變成左手。

康奈爾大學(xué)的一個(gè)研究小組對反射如何以微妙而不是那么微妙的方式改變圖像產(chǎn)生了興趣，他們使用人工智能研究了將原稿與反射區(qū)分開的原因。他們的算法學(xué)會了從意想不到的線索（例如頭發(fā)部位，凝視方向以及令人驚訝的胡須）中發(fā)現(xiàn)-這些發(fā)現(xiàn)對于訓(xùn)練機(jī)器學(xué)習(xí)模型和檢測偽造圖像具有啟示意義。

“宇宙不對稱。如果您翻轉(zhuǎn)圖像，也有差別，”諾厄·斯納夫利，在康奈爾大學(xué)科技計(jì)算機(jī)科學(xué)副教授和研究的資深作者說，“視覺手性在6月14日至19日舉行的2020年計(jì)算機(jī)視覺和模式識別會議上發(fā)表?！拔覍νㄟ^收集信息的新方法所能發(fā)現(xiàn)的發(fā)現(xiàn)很感興趣?！?/p>

林志奎‘20是該論文的第一作者;合著者是計(jì)算機(jī)科學(xué)助理教授安倍·戴維斯（Abe Davis）和康奈爾科技大學(xué)的博士后研究員JinSun。

Snavely說，區(qū)分原始圖像和反射圖像對于AI來說是一件非常容易的任務(wù)-基本的深度學(xué)習(xí)算法可以快速學(xué)習(xí)如何分類圖像是否以60%到90%的準(zhǔn)確度進(jìn)行翻轉(zhuǎn)，具體取決于所用圖像的種類。訓(xùn)練算法。人們難以察覺到的許多線索。

在這項(xiàng)研究中，研究小組開發(fā)了創(chuàng)建熱圖的技術(shù)，該熱圖指示了算法感興趣的圖像部分，從而深入了解了如何做出這些決策。

他們毫不奇怪地發(fā)現(xiàn)，最常用的線索是文本，在每種書面語言中向后看起來都不同。為了了解更多信息，他們從數(shù)據(jù)集中刪除了帶有文本的圖像，并發(fā)現(xiàn)該模型關(guān)注的下一組特征包括手表，襯衫領(lǐng)（按鈕通常在左側(cè)），面部和電話-大多數(shù)人往往掌握右手–以及其他顯示右撇子的因素。

該算法傾向于集中于人臉，這似乎并不對稱，這引起了研究人員的興趣?！霸谀承┓矫?，它留下的問題多于答案，” Snavely說。

然后，他們進(jìn)行了另一項(xiàng)針對面部的研究，發(fā)現(xiàn)熱量圖在包括頭發(fā)部位，眼睛凝視在內(nèi)的區(qū)域照亮了（由于研究人員不知道的原因，大多數(shù)人凝視肖像照片中的左側(cè)）和胡須。

Snavely說他和他的團(tuán)隊(duì)成員不知道該算法在胡須中發(fā)現(xiàn)了什么信息，但是他們假設(shè)人們梳理或刮臉的方式可以顯示出慣用的手感。

“這是視覺發(fā)現(xiàn)的一種形式，” Snavely說?！叭绻梢栽跀?shù)百萬個(gè)圖像上大規(guī)模運(yùn)行機(jī)器學(xué)習(xí)，也許您可??以開始發(fā)現(xiàn)有關(guān)世界的新事實(shí)?！?/p>

結(jié)果表明，這些線索中的每一個(gè)可能都不可靠，但是該算法可以通過組合多個(gè)線索來建立更大的置信度。研究人員還發(fā)現(xiàn)，該算法使用源自相機(jī)處理圖像的方式的低電平信號來做出決策。

盡管需要進(jìn)行更多的研究，但是這些發(fā)現(xiàn)可能會影響機(jī)器學(xué)習(xí)模型的訓(xùn)練方式。這些模型需要大量的圖像才能學(xué)習(xí)如何對圖片進(jìn)行分類和識別，因此計(jì)算機(jī)科學(xué)家經(jīng)常使用現(xiàn)有圖像的反射來有效地將其數(shù)據(jù)集加倍。

Snavely說，檢查這些反射圖像與原始圖像的不同之處可能會揭示有關(guān)機(jī)器學(xué)習(xí)中可能導(dǎo)致結(jié)果不準(zhǔn)確的偏見的信息。