商品識(shí)別在零售行業(yè)的應(yīng)用，商品識(shí)別的難點(diǎn)

世界頂尖人工智能交流合作平臺(tái)2019世界人工智能大會(huì)于8月29日在上海世博中心開幕。計(jì)算機(jī)視覺作為在很多領(lǐng)域都有廣泛應(yīng)用場(chǎng)景的前沿技術(shù)，受到了廣泛關(guān)注。

接觸人工智能技術(shù)，大多人都是從計(jì)算機(jī)視覺領(lǐng)域中的人臉識(shí)別開始，從安防到手機(jī)開屏都有了廣泛的應(yīng)用。而與人臉識(shí)別相對(duì)應(yīng)的是物體的識(shí)別，其中的商品識(shí)別由于在零售行業(yè)有廣泛的應(yīng)用空間，最近兩年逐步受到行業(yè)內(nèi)頭部人工智能企業(yè)的重視，包括騰訊、曠視、商湯等都在商品識(shí)別領(lǐng)域有廣泛的研究。本次大會(huì)上，我們也看到了從核心技術(shù)到產(chǎn)品落地，商品識(shí)別開始有了更大的突破。

商品識(shí)別在零售行業(yè)的應(yīng)用

線下數(shù)字化是我們生活實(shí)現(xiàn)智能的一個(gè)前提，也就是人類的出行生活等都可以被計(jì)算機(jī)所理解和描述，從而可以被進(jìn)一步的優(yōu)化。我們?cè)?a target="_blank">網(wǎng)絡(luò)上的所有行為都是數(shù)字化的，比如在淘寶上看過哪些商品，看了多久，在百度上搜索過什么內(nèi)容，在微信上的聊天，在頭條的新聞瀏覽，這些行為都能被計(jì)算機(jī)捕捉，并被應(yīng)用方作為產(chǎn)品優(yōu)化的主要依據(jù)。而線下的數(shù)字化就難了很多，計(jì)算機(jī)視覺是實(shí)現(xiàn)線下數(shù)字化的一個(gè)重要技術(shù)。

類似于淘寶購物，如果商超能夠?qū)崿F(xiàn)對(duì)顧客從進(jìn)店那一刻起的所有行為進(jìn)行識(shí)別和分析，那么會(huì)大大提升店內(nèi)的商品優(yōu)化和運(yùn)營(yíng)效率。這個(gè)領(lǐng)域的核心技術(shù)為人的識(shí)別（人臉識(shí)別、用戶重識(shí)別Re-ID以及用戶行為分析）和商品識(shí)別。而商品識(shí)別同時(shí)還有貨架排面分析，自動(dòng)結(jié)算等方面的應(yīng)用，是解決線下數(shù)字化的一個(gè)核心技術(shù)點(diǎn)。

商品識(shí)別的難點(diǎn)

“人臉識(shí)別和商品識(shí)別哪個(gè)更難？”這是很多人經(jīng)常問的一個(gè)問題。首先這個(gè)問題不是很科學(xué)，任何問題在不同的場(chǎng)景都可以很難或者比較容易。從算法模型來看，人臉識(shí)別模型可以做到手機(jī)上，而商品識(shí)別基本上不可能做到，也就是商品識(shí)別的模型一般會(huì)比人臉識(shí)別的模型大很多。商品識(shí)別最大的難度在于商品種類的多樣性和多角度識(shí)別。很多應(yīng)用場(chǎng)景會(huì)要求對(duì)商品的各個(gè)角度能夠識(shí)別，我們簡(jiǎn)單理解一下，如果人的識(shí)別也要做到看后腦勺就能識(shí)別，是不是難度高了好幾個(gè)級(jí)別。另外一個(gè)方面是很多人臉識(shí)別是配合型的，但是商品識(shí)別基本都是不配合型的。

從技術(shù)上來看，商品識(shí)別分為兩個(gè)步驟，第一步是目標(biāo)檢測(cè)，也就是在一個(gè)圖片上先找到一個(gè)或者多個(gè)感興趣的目標(biāo)，一般用一個(gè)叫bounding-box的畫框把目標(biāo)摳出來。第二步是對(duì)這個(gè)畫框的內(nèi)容進(jìn)行識(shí)別，區(qū)分具體是哪個(gè)商品。在大部分場(chǎng)景，第一步目標(biāo)檢測(cè)的難度是遠(yuǎn)遠(yuǎn)超過識(shí)別的難度。我們來看一個(gè)例子。

這是一個(gè)用手機(jī)拍攝的貨架排面檢查圖片，圖片里大概有幾百個(gè)商品，這種高密集的目標(biāo)檢測(cè)，要做到一個(gè)不多一個(gè)不少是很困難的?，F(xiàn)在流行的目標(biāo)檢測(cè)模型faster-rcnn或者yolo都不是針對(duì)這種高密集目標(biāo)檢測(cè)設(shè)計(jì)的，比較容易造成漏框和多框的錯(cuò)誤。如果這個(gè)拍攝的攝像頭是安裝在店內(nèi)的頂部，造成的拍攝角度會(huì)大大增加檢測(cè)的難度。

商品的識(shí)別大部分是在特定的場(chǎng)景下進(jìn)行，具體的物理擺放會(huì)大大增加識(shí)別的難度。下圖是一個(gè)智能零售柜內(nèi)用魚眼攝像頭拍到的圖片，我們可以看到大部分商品只漏頂部的一些信息，有些只漏出瓶蓋的部分，這樣對(duì)類似商品的區(qū)分大大增加了難度。

在實(shí)際商品識(shí)別應(yīng)用中，單純一個(gè)識(shí)別模型很難解決實(shí)際的問題，往往需要通過物理?xiàng)l件的改變，以及多模型的融合才能達(dá)到可以應(yīng)用的水平。模型復(fù)雜度的增加也會(huì)影響最后的計(jì)算資源成本。

商品識(shí)別目前處于什么水平

商品識(shí)別最早的應(yīng)用場(chǎng)所是拍照購物，通過圖像識(shí)別找到同款商品。早在10年前硅谷有個(gè)創(chuàng)業(yè)公司SnapTell’s就是做類似的產(chǎn)品，在2009年被亞馬遜旗下公司A9收購。后來的圖片社區(qū)pinterest和谷歌圖片搜索都有類似的功能。

國(guó)內(nèi)的淘寶拍立淘是阿里自研的圖片購物產(chǎn)品，其優(yōu)勢(shì)在于淘寶巨大的圖片庫。而電商的另一巨頭京東拍照購的核心算法是由海深科技在2017年上線提供的。海深科技在小物體的目標(biāo)檢測(cè)方面有行業(yè)內(nèi)前沿性的技術(shù)，能夠準(zhǔn)確的檢測(cè)和識(shí)別穿在腳上的鞋子等小物體。同時(shí)海深科技為小紅書、搜狗等應(yīng)用提供圖像識(shí)別服務(wù)，提供圖像變現(xiàn)的新途徑。目前對(duì)電商網(wǎng)站用戶評(píng)論區(qū)的圖片進(jìn)行同款搜索，海深科技的top20的準(zhǔn)確率在75%左右，處于行業(yè)領(lǐng)先地位。本次AI界盛會(huì)上，海深科技也受邀參展，并現(xiàn)場(chǎng)展現(xiàn)了基于商品識(shí)別技術(shù)的智能產(chǎn)品。

Amazon Go的自動(dòng)結(jié)算方案是商品識(shí)別的另外一個(gè)重要應(yīng)用場(chǎng)景，但是由于開放式的環(huán)境，一般都還需要利用重量感應(yīng)器等其它輔助手段才能達(dá)到一定的準(zhǔn)確率。而場(chǎng)景可控的智能零售柜成為一個(gè)新的零售終端方式，在辦公樓、學(xué)校、醫(yī)院等場(chǎng)景得到了大力的推廣。雖然有物體密集擺放、魚眼攝像頭造成的圖像畸形以及遮擋等問題，海深科技推出的G-BOX AI 零售柜在實(shí)際應(yīng)用場(chǎng)景中能夠達(dá)到99.8%的準(zhǔn)確率，無論是在識(shí)別速度還是準(zhǔn)確率方面，都處于領(lǐng)先水準(zhǔn)。

不同于人臉識(shí)別已經(jīng)有多個(gè)權(quán)威的測(cè)試數(shù)據(jù)集，商品識(shí)別并沒有統(tǒng)一的標(biāo)準(zhǔn)和測(cè)試數(shù)據(jù)，造成這個(gè)領(lǐng)域的學(xué)習(xí)成本很高。我們了解到海深科技正在建設(shè)商品識(shí)別數(shù)據(jù)共享平臺(tái)，把商品數(shù)據(jù)和算法以服務(wù)的方式開放給應(yīng)用方，推動(dòng)這個(gè)領(lǐng)域的技術(shù)發(fā)展。

商品識(shí)別的發(fā)展趨勢(shì)

邊緣化計(jì)算是商品識(shí)別的一個(gè)趨勢(shì)。由于模型的復(fù)雜程度，大部分商品識(shí)別算法只能部署在云端GPU完成計(jì)算。這個(gè)也是商超線下數(shù)字化目前遇到的困境，巨大的帶寬需求和計(jì)算資源造成單店成本過高。隨著嵌入式計(jì)算的發(fā)展，更多的計(jì)算能夠在前端完成，增加部署的靈活性。

圖像識(shí)別這幾年的快速發(fā)展，很大程度受益于李飛飛教授主持的ImageNet大量標(biāo)注圖片數(shù)據(jù)集。同樣的道理，由于商品種類的繁多性，靠一個(gè)公司或者團(tuán)體的能力，很難提升算法的泛化能力，也就是單一算法只能適用于非常有限的場(chǎng)景，很難形成規(guī)?；?yīng)。數(shù)據(jù)共享和算法開放將會(huì)成為人工智能發(fā)展的一個(gè)重要趨勢(shì)。