NVIDIA Triton開源推理服務(wù)軟件三大功能推動(dòng)效率提升

Microsoft Teams借助AI生成的實(shí)時(shí)字幕和轉(zhuǎn)錄功能，幫助全球?qū)W生和職場(chǎng)人士順利進(jìn)行在線會(huì)議。用于訓(xùn)練的NVIDIA AI計(jì)算技術(shù)和用于推理語音識(shí)別模型的NVIDIA Triton推理服務(wù)器進(jìn)一步提升了這兩個(gè)功能。

Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近2.5億活躍用戶。Microsoft Azure 認(rèn)知服務(wù)為Teams提供28種語言的字幕和轉(zhuǎn)錄，并將很快能夠在NVIDIA GPU上運(yùn)行關(guān)鍵的計(jì)算密集型神經(jīng)網(wǎng)絡(luò)推理。

實(shí)時(shí)字幕功能幫助與會(huì)者實(shí)時(shí)跟蹤對(duì)話，轉(zhuǎn)錄功能方便與會(huì)者在日后回顧當(dāng)時(shí)的創(chuàng)意或回看未能參與的會(huì)議。

實(shí)時(shí)字幕對(duì)聾啞人、聽力障礙者，或者異國與會(huì)者特別有用。

NVIDIA Triton開源推理服務(wù)軟件能夠幫助Teams使用認(rèn)知服務(wù)優(yōu)化語音識(shí)別模型。

使用Triton，認(rèn)知服務(wù)能夠支持高度先進(jìn)的語言模型，以極低的延遲實(shí)時(shí)提供高度準(zhǔn)確、個(gè)性化的語音轉(zhuǎn)文本結(jié)果。同時(shí)，可以保證運(yùn)行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力，在消耗更少計(jì)算資源的同時(shí)，為客戶提供更高的吞吐量，進(jìn)而降低成本。

底層語音識(shí)別技術(shù)作為認(rèn)知服務(wù)中的一個(gè)API，開發(fā)人員可以使用它定制和運(yùn)行自己的應(yīng)用程序——客服電話轉(zhuǎn)錄、智能家居控制或?yàn)榧本热藛T提供AI助手。

字字達(dá)意的AI

認(rèn)知服務(wù)會(huì)生成Teams的轉(zhuǎn)錄和字幕，將語音轉(zhuǎn)換為文本，并識(shí)別說話人。同時(shí)也能夠識(shí)別專業(yè)術(shù)語 、姓名和其他會(huì)議背景，提高字幕的準(zhǔn)確性。

Microsoft Teams的通話、會(huì)議及設(shè)備首席項(xiàng)目經(jīng)理Shalendra Chhabra表示：“這樣的AI模型非常復(fù)雜，需要數(shù)千萬個(gè)神經(jīng)網(wǎng)絡(luò)參數(shù)才能識(shí)別幾十種不同的語言。但模型越大，就越難以經(jīng)濟(jì)高效地實(shí)時(shí)運(yùn)行?！?/p>

NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下，通過強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)高準(zhǔn)確性，確保語音-文本的實(shí)時(shí)轉(zhuǎn)換。

當(dāng)啟用轉(zhuǎn)錄功能時(shí)，與會(huì)者可以在會(huì)議結(jié)束后輕松補(bǔ)上錯(cuò)過的內(nèi)容。

Triton三大功能推動(dòng)效率提升

NVIDIA Triton有助于簡(jiǎn)化AI模型部署，并解鎖高性能推理。用戶甚至可以為自己的應(yīng)用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴(kuò)展到更多會(huì)議和用戶，包括：

流推理：新型流推理功能——通過跟蹤語音上下語境，提高延遲、敏感性字幕的準(zhǔn)確度，它助力NVIDIA和Azure認(rèn)知服務(wù)合作定制語音轉(zhuǎn)文本的應(yīng)用程序。

動(dòng)態(tài)合批：批大小指神經(jīng)網(wǎng)絡(luò)同時(shí)處理的輸入樣本數(shù)量。通過Triton的動(dòng)態(tài)合批，單項(xiàng)推理請(qǐng)求被自動(dòng)組合成一個(gè)批次，因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

并發(fā)模型執(zhí)行：實(shí)時(shí)字幕和轉(zhuǎn)錄需要同時(shí)運(yùn)行多個(gè)深度學(xué)習(xí)模型。Triton使開發(fā)人員能夠在單個(gè)GPU上同時(shí)完成這些工作，包括使用不同深度學(xué)習(xí)框架的模型。

即刻啟程，借助Azure 認(rèn)知服務(wù)，在您的應(yīng)用中使用語音轉(zhuǎn)文本的功能，并進(jìn)一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團(tuán)隊(duì)大規(guī)模部署AI模型。

NVIDIA 將參加 CES 2022， 并將在 1 月 5 日凌晨 0 點(diǎn)（北京時(shí)間）發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級(jí)副總裁 Jeff Fisher 和 NVIDIA 汽車部門副總裁兼總經(jīng)理 Ali Kani 將展示加速計(jì)算在設(shè)計(jì)、仿真、游戲和自動(dòng)駕駛汽車方面的新突破。掃描下方海報(bào)，即刻將該日程添加到日歷！

原文標(biāo)題：Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實(shí)時(shí)字幕和轉(zhuǎn)錄功能

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
審核編輯：湯梓紅