人工智能可以幫助我們找到圖片背后的攝影師

在日常生活中，我們經(jīng)常會(huì)看到一些十分漂亮、構(gòu)思精妙的照片，但某張照片背后的攝影師是誰(shuí)？我們有時(shí)卻并不清楚。

如今，人工智能（AI）可以幫助我們找到圖片背后的攝影師。

在一項(xiàng)新的國(guó)際跨學(xué)科研究中，研究人員通過(guò)使用人工智能算法分析近 60000 張二戰(zhàn)時(shí)期的歷史照片發(fā)現(xiàn)，人工智能可以根據(jù)照片內(nèi)容來(lái)識(shí)別攝影師的身份。相關(guān)研究成果以論文的形式發(fā)表在科學(xué)雜志 IEEE Access上。

研究人員展示了使用現(xiàn)代神經(jīng)網(wǎng)絡(luò)分析圖像的優(yōu)勢(shì)，以使機(jī)器可以自動(dòng)檢測(cè)各種場(chǎng)景中的人和物體，甚至可以根據(jù)圖像中的特征區(qū)分?jǐn)z影師，這些操作比任何人工檢查過(guò)程都要快得多。獲得的結(jié)果將有助于歷史學(xué)家、其他研究人員和專(zhuān)業(yè)人員在工作中使用歷史照片檔案來(lái)分析和比較特定攝影師的作品。

通過(guò)這項(xiàng)工作，研究人員證明了人工智能可以在某些方面幫助學(xué)者“追溯”歷史照片檔案的潛力。

令人驚訝

研究人員選擇了 23 名芬蘭戰(zhàn)地?cái)z影師作為實(shí)驗(yàn)對(duì)象。他們中的 20 人是芬蘭戰(zhàn)時(shí)照片檔案中圖像總數(shù)最高的攝影師，另外 3 人則是因?yàn)橛袑?zhuān)家認(rèn)為他們的照片對(duì)這項(xiàng)攝影新聞研究很有趣。

他們提出并評(píng)估了機(jī)器學(xué)習(xí)可以幫助分析歷史圖像的幾個(gè)應(yīng)用領(lǐng)域，即分析場(chǎng)景中存在的對(duì)象、照片取景評(píng)估、攝影師分類(lèi)以及評(píng)估它們的視覺(jué)相似性。

他們使用人工智能技術(shù)對(duì)這 23 位著名芬蘭攝影師在第二次世界大戰(zhàn)期間拍攝的照片進(jìn)行了識(shí)別，所用照片來(lái)自公開(kāi)可用的芬蘭戰(zhàn)時(shí)照片檔案庫(kù)，其中包含約 160000 張 1939-1945 年間從芬蘭冬季戰(zhàn)爭(zhēng)、延續(xù)戰(zhàn)爭(zhēng)（第二次世界大戰(zhàn)期間芬蘭與蘇聯(lián)之間的兩場(chǎng)戰(zhàn)爭(zhēng)中的第二場(chǎng)戰(zhàn)爭(zhēng)）和拉普蘭戰(zhàn)爭(zhēng)中拍攝的照片。

由于芬蘭戰(zhàn)時(shí)照片檔案中的數(shù)千張照片仍然沒(méi)有攝影師的名字，所以這項(xiàng)研究中選用的照片總數(shù)為 59000 多張。

這種自動(dòng)分析可以作為一種工具，以提供基于內(nèi)容的公共照片檔案的文本描述，比如丹麥抵抗博物館的照片檔案。今年 9 月生效歐盟可訪(fǎng)問(wèn)性指令（DIRECTIVE（EU）2016/2102），要求將圖像內(nèi)容的文字描述添加到網(wǎng)絡(luò)上的所有公共圖像中。

對(duì)此，論文作者之一 Alexandros Iosifidis 表示：“這讓我們非常驚訝，人工智能可以根據(jù)照片中的特征（如內(nèi)容和框架）識(shí)別攝影師?！?/p>

準(zhǔn)確率最高可達(dá) 69．7%

在這項(xiàng)研究中，研究人員應(yīng)用了最先進(jìn)的目標(biāo)檢測(cè)模型和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，以獲得來(lái)自杰出二戰(zhàn)攝影師的統(tǒng)計(jì)數(shù)據(jù)和特征。

由于每個(gè)攝影師都有一定數(shù)量的重復(fù)圖像，這里研究人員根據(jù)拍攝時(shí)間將照片分成訓(xùn)練集和測(cè)試集，以確保描述同一事件的照片不會(huì)用于訓(xùn)練和測(cè)試。

研究中分析的照片顯示，一些攝影師具有非常獨(dú)特且容易識(shí)別的特征，而另一些則很難被人工智能識(shí)別。這一人工智能模型的分類(lèi)準(zhǔn)確率區(qū)間為 20．1-69．7%，平均為 41．1%。

通過(guò)將識(shí)別結(jié)果與先前對(duì)檢測(cè)到的物體的分析進(jìn)行比較發(fā)現(xiàn)，一些攝影師因?yàn)橛兄囟ǖ呐臄z物體和喜好很容易被識(shí)別。因此，研究人員檢查了每個(gè)攝影師照片中的典型物體類(lèi)別，并分析了他們捕捉和框定人的方式差異。

Roivainen 拍攝的照片中擁有最多的狗、馬和汽車(chē)，預(yù)測(cè)準(zhǔn)確率為 69．7%;Hollming 拍攝了大量滑雪照片，所有照片中只有幾把椅子出現(xiàn)，即戶(hù)外照片多，預(yù)測(cè)準(zhǔn)確率為 51．4%;Manninen 拍攝的人物照片中的平均人數(shù)最高，椅子（即室內(nèi)照片）出現(xiàn)率最高，預(yù)測(cè)準(zhǔn)確率為 35．5%;SJ Blom 喜歡在城市環(huán)境中拍攝照片，預(yù)測(cè)準(zhǔn)確率為 50．4%。

研究結(jié)果證明，除了確定照片的作者身份之外，這些特征代表了模型對(duì)這些攝影師的整體視覺(jué)相似性和照片風(fēng)格相似性的認(rèn)知。此外，由于卷積神經(jīng)網(wǎng)絡(luò)可以在一定程度上從照片中識(shí)別攝影師，某些照片可以被認(rèn)為是特定攝影師的典型。其中最著名的攝影師是 Heikki Roivainen，他是芬蘭植物學(xué)教授，曾在延續(xù)戰(zhàn)爭(zhēng)期間擔(dān)任官方戰(zhàn)地?cái)z影師。

通往更多應(yīng)用的大門(mén)

在這項(xiàng)工作中，研究人員只使用了可公開(kāi)獲得的預(yù)處理對(duì)象檢測(cè)模型和基本照片信息，但他們認(rèn)為這一模型可用于大多數(shù)照片檔案，且提供了所有代碼、模型和數(shù)據(jù)注釋?zhuān)约叭绾问褂盟鼈兊脑敿?xì)描述。

例如，可以通過(guò)考慮攝影師的意圖和他們的照片質(zhì)量來(lái)進(jìn)一步增強(qiáng)攝影師分析。此外，可以通過(guò)考慮信息融合方法來(lái)增強(qiáng)對(duì)象檢測(cè)性能，以及改善較小尺寸對(duì)象的檢測(cè)。除了對(duì)象級(jí)分析，場(chǎng)景識(shí)別將有助于進(jìn)一步描述攝影師的特征。

在未來(lái)，研究人員將專(zhuān)注于需要更專(zhuān)業(yè)方法的問(wèn)題，比如識(shí)別僅出現(xiàn)在芬蘭歷史照片或二戰(zhàn)期間的對(duì)象類(lèi)別。他們的目標(biāo)是利用原始的文本照片描述來(lái)產(chǎn)生更完整的對(duì)象標(biāo)簽以及主題和事件識(shí)別。

這將有助于人們解決分析戰(zhàn)時(shí)照片時(shí)面臨的最大挑戰(zhàn)之一，即區(qū)分拍攝對(duì)象的不同狀態(tài)——照片中的人是活著的、受傷的還是死亡的。

這些更精細(xì)的結(jié)果最終可以幫助人們更詳細(xì)地描繪出傳統(tǒng)知識(shí)攝影師的目標(biāo)、素質(zhì)和性格。這項(xiàng)研究的目標(biāo)是在檔案中公布所有的結(jié)果，以幫助對(duì)檔案進(jìn)行不同類(lèi)型的社會(huì)研究。

對(duì)于此次研究結(jié)果，作者之一、從事新聞攝影研究已有 25 年以上的 Anssi M？nnist？ 認(rèn)為，“對(duì)照片蘊(yùn)含的內(nèi)容進(jìn)行大數(shù)據(jù)分析是我的一個(gè)長(zhǎng)期夢(mèng)想，我對(duì)這個(gè)項(xiàng)目的結(jié)果非常著迷。人工智能可以識(shí)別諸如照片中的框架和內(nèi)容的各個(gè)方面，這將在人文科學(xué)和社會(huì)科學(xué)領(lǐng)域中有著廣泛的應(yīng)用?！?br />
責(zé)任編輯：xj