人工智能啟動讓3D動作捕捉變得輕而易舉

對于動畫人物來說，他們首先必須移動。但將虛擬角色帶入生活并不是一件簡單的事情。

動作捕捉技術(shù)記錄并數(shù)字化復(fù)制人體運(yùn)動以創(chuàng)建3D動畫。想想Andy Serkis的作品，轉(zhuǎn)化為咕嚕，在指環(huán)王電影系列中。

問題在于傳統(tǒng)的動作捕捉依賴于大量昂貴，笨重的硬件。它需要熟練的專業(yè)人員操作多攝像機(jī)設(shè)置，演播室環(huán)境和演員所穿的特殊傳感器套裝。

“所有這些費(fèi)用，技能和時間都是令人望而卻步的，”RADiCAL聯(lián)合創(chuàng)始人兼首席執(zhí)行官Gavan Gravesen說。顧名思義，位于紐約的NVIDIAInception計(jì)劃面向創(chuàng)業(yè)公司的計(jì)劃違背了傳統(tǒng)。他說：“我們致力于提供通用可用性，無縫集成和速度 - 所有這些都以低成本實(shí)現(xiàn)?！?/p>

該公司的AI驅(qū)動的解決方案由NVIDIA GPU驅(qū)動，只需要游戲開發(fā)商，3D圖形藝術(shù)家，電影制作人員和AR / VR愛好者擁有一個物理項(xiàng)目：一臺2D相機(jī)，甚至一臺手機(jī)。不需要其他硬件，工作室或精密的傳感器設(shè)備，這大大降低了所涉及的成本和工作量。

快速運(yùn)動捕捉

世界上任何地方的用戶都可以通過智能手機(jī)或網(wǎng)絡(luò)直接將視頻上傳到RADiCAL的云中。該公司使用人工智能和運(yùn)動科學(xué)處理視頻，以檢測到底是什么，在3D空間中表現(xiàn)人類運(yùn)動，甚至重建相機(jī)無法看到的東西。

該算法自動適應(yīng)不同的人體比例和人體運(yùn)動，并創(chuàng)建一個模型，其運(yùn)動可以反映出3D視頻主體。雖然模型的平滑運(yùn)動使得該過程看起來很簡單，但它不是什么。

“我們?nèi)诤狭?a target="_blank">深度學(xué)習(xí)，機(jī)器人技術(shù)，計(jì)算機(jī)視覺和生物力學(xué)，這需要強(qiáng)大的人工智能開發(fā)環(huán)境，”RADiCAL聯(lián)合創(chuàng)始人兼首席技術(shù)官Anna-Chiara Bellini說。NVIDIA GPU計(jì)算在實(shí)現(xiàn)這一目標(biāo)方面發(fā)揮著至關(guān)重要的作用。

用TensorFlow和CUDA快速迭代

Bellini表示，在開發(fā)人工智能時，RADiCAL面臨的第一個挑戰(zhàn)是需要處理的大量數(shù)據(jù)。要開發(fā)他們的算法，單個靜止圖像可能需要分析多達(dá)6GB的數(shù)據(jù)。但隨著每一秒的動作，有120幀，有效地創(chuàng)造了驚人的720GB的數(shù)據(jù)。

Bellini和她的團(tuán)隊(duì)選擇TensorFlow將GPU編程集成到他們的研究過程中，為他們的整個管道提供“單一執(zhí)行模型”?！巴ㄟ^使用CUDA編寫的ad-hoc內(nèi)核來補(bǔ)充TensorFlow，我們已經(jīng)到了一個地步，即在幾個小時內(nèi)編寫的簡單內(nèi)核可以為我們節(jié)約模擬時間”，她說。

為了支持其運(yùn)動模型，RADiCAL在多GPU系統(tǒng)上以交錯方式處理多個幀?！爸С侄鄠€Tesla V100 GPU的最新一代NVIDIA NVLink等技術(shù)使這一切成為可能，”Bellini說。

Bellini和她的團(tuán)隊(duì)使用基于云的多GPU設(shè)備，從構(gòu)思到部署到生產(chǎn)的開發(fā)周期減少了10倍。

她說：“NVIDIA GPU可以讓我們更快地工作，探索更多選擇，并更有效地利用機(jī)器學(xué)習(xí)工程師的時間?！薄斑@是一個啟示。”

即用型動畫文件

視頻處理完畢后，RADiCAL通過其網(wǎng)站和MOTiON應(yīng)用程序提供與實(shí)際視頻片段并排呈現(xiàn)的實(shí)時3D預(yù)覽。

用戶還可以下載適用于3D動畫，增強(qiáng)現(xiàn)實(shí)，虛擬現(xiàn)實(shí)，游戲引擎和其他3D圖形程序和內(nèi)容頻道的格式的工作動畫文件。

RADiCAL最近為創(chuàng)意產(chǎn)業(yè)的早期使用者開放了一個公開測試計(jì)劃。它的目標(biāo)是在數(shù)周內(nèi)完成全面的商業(yè)發(fā)布。

該公司是全球近2,800家初創(chuàng)公司之一，已加入我們的Inception計(jì)劃。通過此計(jì)劃，NVIDIA可幫助他們獲得技術(shù)，專業(yè)知識和市場支持，從而加快創(chuàng)業(yè)速度。