Seeing AI幫助盲人和弱視用戶“看”世界

導盲犬可以很好地幫助盲人或視障人士出行，但是如果想辨別出前面路口的標識，或者想知道錢包里還有多少錢，導盲犬可就辦不到了。

由微軟AI研究小組開發(fā)的應(yīng)用程序Seeing AI為這個問題給出了解決方案。該應(yīng)用程序可為盲人和弱視用戶描述這個世界，使他們可以使用自己的智能手機來識別一切：包括單個物體、顏色、鈔票、文檔等。

自去年問世以來，這一應(yīng)用程序的下載量已突破15萬次，執(zhí)行任務(wù)500萬次，其中一些任務(wù)的服務(wù)對象還是全球知名的盲人。

“Stevie Wonder（美國知名藝人）每天都會用，這確實很令人振奮。”微軟高級數(shù)據(jù)科學家Anirudh Koul在3月于圣何塞舉行的GPU技術(shù)大會上發(fā)表演講時說道。

該應(yīng)用程序的現(xiàn)場演示就已展現(xiàn)出了其強大的功能。和Koul一同上臺的還有他的一位同事，當他在自己的智能手機上運行應(yīng)用程序，并將手機朝向他的同事時，應(yīng)用程序描述他看到的是“一位31歲、有著黑頭發(fā)、戴著眼鏡且看起來很開心的男士”。

如果這位同事在他的聯(lián)系人列表中，則有更佳的使用效果，因為Seeing AI可以與用戶的聯(lián)系人進行整合，并能識別出朋友的名字。

Koul還分享了幾個令人嘆服的使用案例：一位盲人教師將運行該應(yīng)用的手機面朝教室門口，這樣孩子們就不會因她是盲人而趁機偷偷進出教室；另一位用戶在颶風肆虐的地區(qū)穿行時，利用這款應(yīng)用程序避開了倒落的電線和其他障礙物。

Seeing AI的開發(fā)始于2014年2月，開發(fā)人員曾試圖創(chuàng)建一個能發(fā)現(xiàn)并識別周圍物體的卷積神經(jīng)網(wǎng)絡(luò)。但是其延遲時間達10秒，這樣的速度不能及時幫助人們快速作出決策。

第二年，微軟贊助了一場為期一周的黑客馬拉松，活動共吸引了13000人參與，并由此引發(fā)了第二次嘗試：在用戶的頭上配備手機。

在使用智能眼鏡進行試驗后，Koul的團隊開始著手于應(yīng)用程序本身的開發(fā)工作。網(wǎng)絡(luò)本地訓練過程在NVIDIA GPU上進行，而較為繁重的工作則交給了基于NVIDIA Tesla P100 GPU運行的Azure云實例。通過逐幀分析確定每一部分訓練的發(fā)生位置。

AI調(diào)優(yōu)

應(yīng)用程序需要辨別不同圖像，而圖像屬性具有不確定性，所以開發(fā)人員針對此特性對模型進行了訓練。例如，如果訓練應(yīng)用程序識別貨幣，則需要向訓練網(wǎng)絡(luò)內(nèi)輸入不清晰和無背景的貨幣圖片，以及貨幣某一極小部分放大后的圖片，再讓其識別出圖片的真實內(nèi)容。

該團隊向志愿者征集，最終得到了各種類型的圖片，其中包括一張貓咪玩紙幣的圖片，以及紙幣被封在冰塊中的照片。通過這些變量對模型進行訓練，最終就能夠計算出識別圖片所需的最小參數(shù)。

Koul的團隊對網(wǎng)絡(luò)進行了調(diào)整，使其傾向于得出否定性分類或不分類的結(jié)果，而不是猜測結(jié)果（這樣可能將5元鈔票識別成10元），因為猜測很顯然會給盲人用戶造成麻煩。

隨著用戶人數(shù)的增多，這款應(yīng)用程序也將變得越好、越準確。AI將會成為盲人和視障用戶的福音。