對話三位IEEE專家：如何理解SAM視覺大模型

正在流行的視覺AI大模型SAM究竟是一種什么樣的技術(shù)，會形成什么樣的產(chǎn)業(yè)影響？經(jīng)濟觀察報就此采訪三位IEEE（電氣電子工程師學(xué)會）專家，解讀了視覺大模型SAM技術(shù)、應(yīng)用路線以及對原有產(chǎn)業(yè)的影響。

今年4月，Meta公布了一款名為SAM（Segment Anything Model）的技術(shù)，這是一款用于圖像分割的AI大模型，會對圖像進行觀察、感知、思考、邏輯推理、得出結(jié)果，且操作極其簡單，類似于ChatGPT用人類語言對話的方式給機器下命令。

IEEE高級會員、天津理工大學(xué)教授、AR/VR技術(shù)專家羅訓(xùn)對記者表示，SAM是視覺領(lǐng)域的通用大模型，很多報道中把它比喻成視覺領(lǐng)域的ChatG－PT，SAM和ChatGPT的支撐技術(shù)和應(yīng)用場景都是不同的，但是在通用性這一點上，它們都是當(dāng)前技術(shù)發(fā)展趨勢的代表者。

“SAM技術(shù)、應(yīng)用路線和顛覆性

作為AI的一個重要分支，機器視覺的目標(biāo)是讓計算機模仿人類視覺系統(tǒng)，實現(xiàn)圖像和視頻的理解和處理。

IEEE數(shù)字化轉(zhuǎn)型聯(lián)合會策略與架構(gòu)主席汪齊齊對記者表示，高效準(zhǔn)確的圖像分割結(jié)果，對于日常生活和商業(yè)場景，甚至科研領(lǐng)域都具有重大意義。正因為如此，其在計算機視覺領(lǐng)域一直是個重要的課題。SAM的圖像分割功能，是機器視覺的核心任務(wù)之一。過去，機器視覺分割圖像的過程需要大量圖像標(biāo)注、堆疊算法，消耗大量算力。如今，SAM更容易地實現(xiàn)了機器視覺的目標(biāo)。

Meta將SAM大模型和背后數(shù)據(jù)集一并開源，相關(guān)的研究手稿也于今年4月5日發(fā)布在arXiv上（用于學(xué)術(shù)交流的預(yù)印本平臺），作者有Alexander Kirillov，Eric Mintun等12人。

此后，SAM在開源社區(qū)Github上獲得大量關(guān)注，一些華人學(xué)者又照此原理提出了相關(guān)的大模型GroundingDI－NO，用于物體檢測，不久GitHub上有人再創(chuàng)新，將GroundingDINO和SAM結(jié)合，達到了對圖像識別、檢測、分割的效果。

汪齊齊表示，該模型在準(zhǔn)確程度、效率上，達到了驚人的提升。尤其是SAM開源的SA-1B數(shù)據(jù)庫，用巨量的圖像以及更加巨量的Mask（這里譯為圖層遮罩），將有助于許多科研項目和商業(yè)化項目在高起點上快速更新迭代，產(chǎn)生更好的模型和更優(yōu)化的數(shù)據(jù)。

Meta從AR、VR、內(nèi)容創(chuàng)建等領(lǐng)域，介紹了SAM的應(yīng)用場景。中國的專家看到了更廣泛的應(yīng)用場景。

羅訓(xùn)對記者表示，鑒于計算機視覺的廣泛應(yīng)用場景，SAM的發(fā)布對產(chǎn)業(yè)的影響也會是巨大的，會賦能更多的長尾創(chuàng)新者進入產(chǎn)業(yè)，并進一步豐富應(yīng)用場景和商業(yè)模式。

汪齊齊表示，早前人工智能技術(shù)就能實現(xiàn)回答用戶問題的功能，而Chat－GPT第一次讓很多人產(chǎn)生了“生成的回復(fù)可以在接受的比例下用于日常、商用和科研”，并因此達到了在這個垂直領(lǐng)域前所未有的高度。目前SAM的分割結(jié)果，以及其公開的大量供公眾使用的資源來看，SAM在其擅長的垂直領(lǐng)域也達到了相當(dāng)可觀的高度，并會從技術(shù)、數(shù)據(jù)以及對于這個領(lǐng)域的關(guān)注度等多方面幫助計算機視覺在短時間內(nèi)產(chǎn)生大量突破，而計算機視覺，是一個非常重要的“廣義AI生態(tài)”中的基礎(chǔ)設(shè)施，該方面的突破將實現(xiàn)對數(shù)字化世界的理解和升級，帶來質(zhì)變的效率和價值提升。

IEEE會士、河海大學(xué)信息科學(xué)與工程學(xué)院院長韓光潔對記者表示，SAM將會在自動駕駛、安防控制、醫(yī)學(xué)影像處理等應(yīng)用領(lǐng)域改變業(yè)態(tài)布局，甚至引發(fā)技術(shù)革命。SAM作為一個基礎(chǔ)模型，可為這些應(yīng)用領(lǐng)域快速孵化出適用性更強的專用網(wǎng)絡(luò)模型。

SAM的變革性可能會顛覆一批原有的AI技術(shù)優(yōu)勢。汪齊齊表示，視覺大模型會在相當(dāng)多的領(lǐng)域抵消技術(shù)壁壘，這在任何一次產(chǎn)業(yè)技術(shù)升級中都多次出現(xiàn)，也是無法避免的。

羅訓(xùn)表示，通用大模型就相當(dāng)于AI的能力開放平臺，之前頭部企業(yè)的AI能力優(yōu)勢，會因為通用大模型的興起而被一定程度削弱。但是這些企業(yè)是否本身會變?nèi)?，取決于它們的轉(zhuǎn)型。

羅訓(xùn)舉例稱，回顧移動計算在本世紀前十年的變化，iOS和安卓的能力開放平臺在賦能長尾創(chuàng)新者方面起到了非常重要的作用，極大增加了移動計算產(chǎn)業(yè)規(guī)模。在移動計算領(lǐng)域，WindowsMobile和塞班的封閉平臺最終因為缺乏競爭力而退出了市場。

汪齊齊表示，作為有核心技術(shù)儲備和深入理解的企業(yè)，首先是需要擁抱大模型，尤其是應(yīng)該感謝相對公開的大模型，將自己對于產(chǎn)業(yè)的理解和領(lǐng)先部分，在大模型的加持下快速升級，演化出更新的形態(tài)。同時，計算機視覺領(lǐng)域也一定會有大模型目前還不擅長的領(lǐng)域，仍然可以作為技術(shù)壁壘，并在這些方面繼續(xù)深挖獨有優(yōu)勢。

“AIGC帶來知識和技術(shù)的平權(quán)？

此前有科技企業(yè)表示，AIGC的本質(zhì)是技術(shù)平權(quán)和知識平權(quán)，這在很大程度上將大廠與小廠拉到了同一起跑線上。

羅訓(xùn)就該觀點對記者表示，技術(shù)和知識平權(quán)的說法并不是很準(zhǔn)確，因為之前并沒有系統(tǒng)性的歧視。AIGC帶來的是“易得”，本質(zhì)上是市場規(guī)模急劇擴大后的成本降低。AIGC會促進整個社會對算力和計算模式使用的轉(zhuǎn)型升級，大規(guī)模提高AI使用者的生產(chǎn)效率，同時利好AI軟硬件設(shè)施生態(tài)企業(yè)。過程中，巨頭和大廠是技術(shù)進步的先期投入者，它們在其周期內(nèi)獲取回報也是合理的，因為它們付出了更高的成本，也承擔(dān)了更大的風(fēng)險。

汪齊齊認為，AIGC確實帶來了一定的技術(shù)平權(quán)，但技術(shù)本身是有一個價值屬性的。例如，曾經(jīng)做網(wǎng)頁可以帶來不菲的收入，隨著工具升級和模板的完善，一個漂亮網(wǎng)頁制作難度數(shù)量級地下降，但是他帶來的價值也產(chǎn)生數(shù)量級地下降。

同樣，AIGC將一個需要大量技術(shù)和知識儲備才能產(chǎn)生優(yōu)質(zhì)內(nèi)容的時代，帶入輕易產(chǎn)生的優(yōu)質(zhì)內(nèi)容的時代，這會讓原有定義的“優(yōu)質(zhì)內(nèi)容”的平均價值急速下降。

汪齊齊表示，AIGC是否帶來了知識平權(quán)仍然有待商榷。長期來看，AIGC可能會使人們更容易獲取到真實有用的知識。但是今天，人們還處于“技術(shù)帶來了前所未有的體量的知識，也同時讓篩選這些知識的可用度達到了前所未有的高成本”。

汪齊齊表示，盡管AIGC可以產(chǎn)生大量的知識和內(nèi)容，但其準(zhǔn)確性和可信度是個挑戰(zhàn)，相當(dāng)部分AIGC是基于老的訓(xùn)練數(shù)據(jù)，“一本正經(jīng)供應(yīng)錯誤知識”的案例已經(jīng)有很多。目前在大量、無法辨別真?zhèn)蔚臄?shù)據(jù)和內(nèi)容的情況下，是否真正達到了知識平權(quán)，是要打問號的。