揭秘商湯賦能科技冬奧的背后故事

編者按：在剛剛過去的2022北京冬奧會(huì)上，商湯科技在科技部“科技冬奧”專項(xiàng)支持下，參與了多項(xiàng)課題項(xiàng)目，為科技冬奧貢獻(xiàn)力量。從超現(xiàn)實(shí)的觀賽體驗(yàn)到沉浸式AR導(dǎo)航，商湯冬奧團(tuán)隊(duì)都實(shí)現(xiàn)了哪些技術(shù)創(chuàng)新?又在過程中解決了哪些新的挑戰(zhàn)?在這里，將為您揭開商湯賦能科技冬奧背后的一些故事。

盡管2022年北京冬奧會(huì)已經(jīng)結(jié)束，但是很多驚艷世界的創(chuàng)新技術(shù)，依然持續(xù)傳遞著“科技冬奧”精神。

“冰壺運(yùn)動(dòng)軌跡捕捉和再現(xiàn)”技術(shù)就是其中之一。

冰壺比賽是北京冬奧賽程最長(zhǎng)的項(xiàng)目，從開幕前兩天的2月2日開賽，一直持續(xù)至2月20日閉幕當(dāng)天，來自全球不同國(guó)家和地區(qū)的三十支參賽隊(duì)進(jìn)行了混雙、男子團(tuán)體、女子團(tuán)體共147場(chǎng)比賽。

作為一種策略游戲，冰壺有著“冰上象棋”美譽(yù)。矗立在冰壺比賽現(xiàn)場(chǎng)的一座170㎡的巨幕大屏，則在每一場(chǎng)比賽中都準(zhǔn)確無誤地描繪出冰壺的運(yùn)動(dòng)軌跡曲線，同時(shí)以垂直視角實(shí)時(shí)呈現(xiàn)大本營(yíng)的無形變畫面，幫助場(chǎng)上運(yùn)動(dòng)員分析研判對(duì)戰(zhàn)形勢(shì)、適時(shí)調(diào)整投壺技戰(zhàn)術(shù)。

線上觀賽的觀眾，也能夠通過“咪咕視頻”APP選擇“咪咕&商湯AI技戰(zhàn)術(shù)分析”直播窗口一覽冰壺軌跡和賽事信息，更好了解和感受冰壺運(yùn)動(dòng)的精髓。

“雖然只是捕捉一個(gè)小小冰壺的軌跡，但背后卻涉及諸多的技術(shù)挑戰(zhàn)。四年一屆的冬奧會(huì)機(jī)會(huì)難得，我們希望盡最大努力，將更高質(zhì)量的觀賽體驗(yàn)帶給觀眾?！必?fù)責(zé)此次項(xiàng)目的商湯科技算法技術(shù)負(fù)責(zé)人王權(quán)、產(chǎn)品負(fù)責(zé)人王磊與項(xiàng)目經(jīng)理鄭少林等人，歷時(shí)十個(gè)的時(shí)間，克服多種技術(shù)難題和突發(fā)性挑戰(zhàn)，基于商湯SenseMARS火星混合現(xiàn)實(shí)平臺(tái)，成功實(shí)現(xiàn)這項(xiàng)技術(shù)在全世界的首次應(yīng)用。

在巨大“冰立方”中捕捉微小的冰壺

2020年10月，科技部完成“科技冬奧”重點(diǎn)專項(xiàng)2020年度指南項(xiàng)目立項(xiàng)批復(fù)。憑借在人工智能深度學(xué)習(xí)、虛實(shí)融合、AR智能化觀賽等領(lǐng)域的技術(shù)能力優(yōu)勢(shì)和豐富實(shí)踐經(jīng)驗(yàn)，商湯科技有幸參與并負(fù)責(zé)了由國(guó)家游泳中心牽頭的“冰壺賽況的智能感知與虛實(shí)融合技術(shù)和平臺(tái)研究”課題項(xiàng)目，為科技冬奧貢獻(xiàn)力量。

“冰立方”是冬奧會(huì)歷史上體量最大的冰壺場(chǎng)館，在兩年前“水冰轉(zhuǎn)換”過程中，其冰壺場(chǎng)地改造工程總面積約5萬平方米。冰壺比賽每條賽道長(zhǎng)40多米，在比賽過程中，每條賽道內(nèi)通常會(huì)有16個(gè)冰壺，并有2支隊(duì)伍8名運(yùn)動(dòng)員來回走動(dòng)。

在一名隊(duì)員擲球時(shí)，兩名本方隊(duì)員會(huì)在冰壺滑行前方左右兩側(cè)快速擦刷冰面。要在如此多人員頻繁移動(dòng)、多個(gè)目標(biāo)密集分布、互相遮擋的情況下，從超大的場(chǎng)館中準(zhǔn)確捕捉到直徑約30厘米的小冰壺，給硬件方案和算法設(shè)計(jì)都提出巨大難題。

針對(duì)這一挑戰(zhàn)，商湯團(tuán)隊(duì)進(jìn)行重點(diǎn)攻堅(jiān)，經(jīng)過考察和反復(fù)研究，確定了通過在場(chǎng)館不同位置安裝42個(gè)高清攝像頭從不同角度捕捉賽道上運(yùn)動(dòng)冰壺的硬件方案，同時(shí)原創(chuàng)開發(fā)了“多視角實(shí)時(shí)動(dòng)態(tài)捕捉技術(shù)”、“多相機(jī)感知融合技術(shù)”、“多目標(biāo)定位追蹤技術(shù)”，對(duì)不同攝像頭拍攝的圖像進(jìn)行智能合成，計(jì)算出冰壺的運(yùn)動(dòng)參數(shù)。

最終，商湯團(tuán)隊(duì)成功實(shí)現(xiàn)了超大空間范圍內(nèi)，遠(yuǎn)距離精準(zhǔn)檢測(cè)識(shí)別定位跟蹤可能被遮擋的運(yùn)動(dòng)冰壺。“從對(duì)冰壺運(yùn)動(dòng)的實(shí)時(shí)捕捉，到對(duì)冰壺坐標(biāo)參數(shù)的快速計(jì)算，再到運(yùn)行軌跡的合成和渲染，我們通過軟硬件的緊密協(xié)同，實(shí)現(xiàn)了全流程的自動(dòng)化處理，整個(gè)流程只需不到1秒，并且將位置精確度保證在10厘米以內(nèi)”，鄭少林表示。

賽事期間的任務(wù)同樣艱巨。每天早中晚的三個(gè)時(shí)段，四個(gè)賽道會(huì)分別舉辦一場(chǎng)冰壺比賽，相當(dāng)于一天就有12場(chǎng)比賽。為保證“冰壺運(yùn)動(dòng)軌跡捕捉和再現(xiàn)”技術(shù)在每場(chǎng)比賽的順利運(yùn)行，商湯專門在閉環(huán)內(nèi)外設(shè)立了9人保障團(tuán)隊(duì)。

閉環(huán)外安排2名固定工作人員，4名輪換工作人員，閉環(huán)外人員需要在每場(chǎng)比賽開始的半個(gè)小時(shí)之前，確保冰壺運(yùn)動(dòng)軌跡捕捉系統(tǒng)和可視化分析平臺(tái)以及近20臺(tái)服務(wù)器的正常啟用，從早上8點(diǎn)半左右一直工作到晚上10點(diǎn)半左右。

閉環(huán)內(nèi)的3名工作人員則負(fù)責(zé)比賽期間可視化平臺(tái)的賽事創(chuàng)建、賽程、隊(duì)員和軌跡管理工作，智慧觀賽系統(tǒng)和線上AI直播系統(tǒng)的服務(wù)啟停、監(jiān)測(cè)、功能優(yōu)化和故障修復(fù)等工作。

由于冰壺混雙、女子團(tuán)體、男子團(tuán)體等不同比賽的規(guī)則不盡相同，而每局比賽中還會(huì)經(jīng)常出現(xiàn)投壺隊(duì)員順序臨時(shí)變更，裁判判罰投壺?zé)o效需要重新投壺等情況，這些因素都會(huì)對(duì)投壺情況的后臺(tái)統(tǒng)計(jì)分析和前端呈現(xiàn)產(chǎn)生影響。因此需要3名工作人員時(shí)刻緊盯比賽進(jìn)程，對(duì)賽況進(jìn)行分析和判斷，實(shí)時(shí)切換比賽的開始/結(jié)束狀態(tài)，監(jiān)測(cè)智能大屏系統(tǒng)和線上AI直播系統(tǒng)的穩(wěn)定性，同時(shí)根據(jù)賽場(chǎng)運(yùn)動(dòng)員的賽前介紹和投壺順序更新運(yùn)動(dòng)員、冰壺序號(hào)等信息，確保準(zhǔn)確無誤地記錄和統(tǒng)計(jì)每場(chǎng)比賽的投壺情況。

從精準(zhǔn)的軌跡捕捉，到完善的運(yùn)維保障，看似一切工作準(zhǔn)備就緒，然而還是遇到了一些“小插曲”。

就在北京冬奧會(huì)冰壺比賽正式開賽前一天，團(tuán)隊(duì)進(jìn)場(chǎng)做最后的設(shè)備檢查和測(cè)試工作時(shí)，突然發(fā)現(xiàn)用于固定拍攝大本營(yíng)畫面攝像頭的桁架，會(huì)受到國(guó)外媒體攝像機(jī)轉(zhuǎn)動(dòng)的影響而產(chǎn)生晃動(dòng)，造成現(xiàn)場(chǎng)大屏上大本營(yíng)畫面的輕微晃動(dòng)。雖然幅度很小，次數(shù)也不多，但為了呈現(xiàn)最佳的顯示效果，商湯團(tuán)隊(duì)在和國(guó)家游泳中心基礎(chǔ)設(shè)施保障團(tuán)隊(duì)快速溝通后毅然決定調(diào)整方案。

在國(guó)家游泳中心大力支持下，加急采購新的桁架，并調(diào)度閉環(huán)內(nèi)外各個(gè)資源方的工作人員，從夜里零點(diǎn)開始，用了不到五個(gè)小時(shí)的時(shí)間，完成了桁架的運(yùn)輸、攝像頭的拆卸和二次安裝等工作。

不僅如此，團(tuán)隊(duì)還通過在軟件層面增加攝像頭拍攝位置和角度可調(diào)整的功能，不斷調(diào)教大本營(yíng)畫面，以確保大本營(yíng)整體畫面位置的準(zhǔn)確呈現(xiàn)。最終，在正式比賽開賽前，問題順利得到解決，確保了大屏畫面全程穩(wěn)定的輸出。

整個(gè)賽事期間，商湯團(tuán)隊(duì)不僅要確保冰壺運(yùn)動(dòng)軌跡在現(xiàn)場(chǎng)大屏畫面中的準(zhǔn)確顯示，還要保證在“咪咕視頻”APP中的精準(zhǔn)呈現(xiàn)。

在比賽首日，聚集在大本營(yíng)周邊的人員越來越多，導(dǎo)致部分軌跡在手機(jī)屏幕上觀看會(huì)有明顯抖動(dòng)現(xiàn)象。團(tuán)隊(duì)隨即第一時(shí)間進(jìn)行了算法迭代，通過對(duì)軌跡進(jìn)行平滑處理等優(yōu)化工作，最終實(shí)現(xiàn)了非常完美的效果?！拔覀兯龅牟粌H僅只是現(xiàn)場(chǎng)的保障，而是在不斷發(fā)現(xiàn)問題、解決問題，依靠我們豐富的算法經(jīng)驗(yàn)，進(jìn)行持續(xù)迭代和優(yōu)化，盡可能打造更好的賽事直播和觀看體驗(yàn)”，王權(quán)表示。

智慧觀賽技術(shù)與巨幕大屏相結(jié)合，起到了非常好的輔助觀賽、科技助力效果，獲得現(xiàn)場(chǎng)觀眾、媒體、運(yùn)動(dòng)員、教練和技術(shù)官員的認(rèn)可。在整個(gè)比賽過程中，運(yùn)動(dòng)員在比賽中“回頭看大屏”的現(xiàn)象已成常態(tài)。

事實(shí)上，早在去年10月，“冰壺運(yùn)動(dòng)軌跡捕捉技術(shù)”已經(jīng)在輪椅冰壺世錦賽上提前亮相并應(yīng)用，當(dāng)時(shí)還得到了世界冰壺聯(lián)合會(huì)主席凱特·凱斯尼斯等多方好評(píng)。在即將到來的北京冬殘奧會(huì)冰壺輪椅比賽期間，這項(xiàng)技術(shù)將繼續(xù)應(yīng)用。

咪咕解說嘉賓也對(duì)這項(xiàng)技術(shù)的應(yīng)用予以高度評(píng)價(jià)：看比賽，光看得清還不夠，還要看得懂。對(duì)于許多人來說，有不少冰雪項(xiàng)目規(guī)則復(fù)雜，往往會(huì)看得一頭霧水。直播觀賽時(shí)如果有專業(yè)分析，那可真是“雪中送炭”。

以直播和分析解說的形式，直觀呈現(xiàn)比賽過程中冰壺的運(yùn)動(dòng)軌跡曲線，讓不少資深體育迷直呼過癮，也獲得冰雪“小白”的大力點(diǎn)贊。

對(duì)運(yùn)動(dòng)員和教練來說，“冰壺運(yùn)動(dòng)軌跡捕捉”這項(xiàng)技術(shù)可以運(yùn)用到他們的日常訓(xùn)練中，幫助提高訓(xùn)練和比賽水平。而對(duì)普羅大眾來說，這項(xiàng)跨越虛實(shí)的技術(shù)，可以讓觀眾更全面地了解冰壺運(yùn)動(dòng)的精髓。

雖然冰壺起源于16世紀(jì)的蘇格蘭，但中國(guó)直到2000年才成立第一支冰壺隊(duì)，這使很多大眾對(duì)冰壺比較陌生，也很少接觸這項(xiàng)運(yùn)動(dòng)。在商湯團(tuán)隊(duì)與國(guó)家游泳中心共同規(guī)劃這項(xiàng)課題時(shí)，便一致希望通過創(chuàng)新技術(shù)的應(yīng)用，激發(fā)更多人對(duì)冰壺運(yùn)動(dòng)的興趣，甚至由此助力冰壺運(yùn)動(dòng)在中國(guó)的發(fā)展和進(jìn)步。

AI破解大面積冰雪場(chǎng)景AR導(dǎo)航難題

除了“冰壺運(yùn)動(dòng)軌跡捕捉”技術(shù)外，商湯團(tuán)隊(duì)還在科技部科技冬奧專項(xiàng)支持下，負(fù)責(zé)了“基于3D的實(shí)時(shí)精準(zhǔn)定位技術(shù)、虛擬與現(xiàn)實(shí)結(jié)合的3D高精度識(shí)別的智慧AR導(dǎo)航系統(tǒng)研究”課題。憑借原創(chuàng)的SenseMARS火星混合現(xiàn)實(shí)平臺(tái)的強(qiáng)大能力，商湯創(chuàng)新地通過GPS與視覺融合的數(shù)據(jù)關(guān)聯(lián)方法和參數(shù)分塊優(yōu)化方法在短時(shí)間內(nèi)，將超現(xiàn)實(shí)體驗(yàn)帶向了張家口冬奧村。

經(jīng)過幾個(gè)月的研發(fā)攻關(guān)，商湯實(shí)現(xiàn)了大尺度場(chǎng)景下厘米級(jí)的3D空間構(gòu)建和部署，并解決了動(dòng)態(tài)復(fù)雜場(chǎng)景下實(shí)現(xiàn)精準(zhǔn)定位跟蹤等難題。

在項(xiàng)目過程中，團(tuán)隊(duì)還克服很多其他AR導(dǎo)航場(chǎng)景很少遇到的難題，包括冬奧村內(nèi)建筑群風(fēng)格比較統(tǒng)一導(dǎo)致存在的大面積相似紋理，冰雪覆蓋造成場(chǎng)景視覺變化多等挑戰(zhàn)。

測(cè)試過程中，商湯團(tuán)隊(duì)還發(fā)現(xiàn)整個(gè)冬奧村是一個(gè)斜面，存在數(shù)米落差，最終通過重新建模，將導(dǎo)航地圖動(dòng)態(tài)的規(guī)劃在一個(gè)水平面上予以解決，讓AR導(dǎo)航箭頭在不同坡度的地面上都可以準(zhǔn)確與地面貼合，實(shí)現(xiàn)實(shí)時(shí)、精準(zhǔn)的6自由度空間定位。

最終，商湯團(tuán)隊(duì)實(shí)現(xiàn)了在張家口冬奧村近30萬平方米區(qū)域內(nèi)的任意地點(diǎn)，都能保證精準(zhǔn)定位。該應(yīng)用無需獨(dú)立APP，僅借助web瀏覽器即可輕松體驗(yàn)。

無論是“冰壺運(yùn)動(dòng)軌跡捕捉”，還是冬奧村AR導(dǎo)航，都成功助力了“科技冬奧”從愿景走進(jìn)現(xiàn)實(shí)，同時(shí)也為這些技術(shù)在更多領(lǐng)域的規(guī)?；瘧?yīng)用，起到推動(dòng)作用。比如，冰壺捕捉背后“在大空間內(nèi)捕捉小物體”的感知技術(shù)，還可以用于城市、工業(yè)等場(chǎng)景，輔助車輛和設(shè)備的智慧管理。

“科技冬奧”理念不僅僅是展現(xiàn)技術(shù)的創(chuàng)新成果，商湯更希望借此機(jī)遇，增進(jìn)大眾對(duì)創(chuàng)新科技的認(rèn)知，更好推動(dòng)AI技術(shù)的創(chuàng)新和應(yīng)用，最終惠及到城市管理、產(chǎn)業(yè)發(fā)展和個(gè)人生活當(dāng)中，普惠大眾，改變生活。

原文標(biāo)題：從30厘米冰壺到30萬平米冬奧村，揭秘冰雪盛會(huì)中的商湯“黑科技”

文章出處：【微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅