使用TensorFlow開發(fā)的一款通用深度學(xué)習(xí)框架，側(cè)重于針對(duì)語言相關(guān)任務(wù)的序列模型

Lingvo 是國(guó)際性語言世界語中的一個(gè)單詞，意為 “語言”。此名稱寓指 Lingvo 框架的根基，即它是使用 TensorFlow 開發(fā)的一款通用深度學(xué)習(xí)框架，側(cè)重于針對(duì)語言相關(guān)任務(wù)（例如機(jī)器翻譯、語音識(shí)別和語音合成）的序列模型。

此框架在 Google 內(nèi)部非常受歡迎，使用它的研究人員也越來越多。目前已發(fā)表 數(shù)十篇使用 Lingvo 獲得頂尖成果的論文，未來還會(huì)有更多論文面世。Lingvo 支持多種架構(gòu)，從傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 序列模型到 Transformer 模型，再到包含變分自編碼器 (VAE) 組件的模型，不一而足。為表示對(duì)研究社區(qū)的支持，同時(shí)鼓勵(lì)可復(fù)現(xiàn)的研究工作，我們開源了此框架，并開始發(fā)布論文中使用的模型。

圖 1：Lingvo 框架概覽，簡(jiǎn)要展示了如何實(shí)例化和訓(xùn)練模型，以及如何將模型導(dǎo)出以進(jìn)行評(píng)估和部署

在構(gòu)建 Lingvo 時(shí)，我們秉持著協(xié)作研究的理念，通過在不同任務(wù)之間共享公共層的實(shí)現(xiàn)來提升代碼復(fù)用率。此外，所有層都采用相同的公共界面，并且以相同的方式布局。這不僅可以產(chǎn)生更簡(jiǎn)潔易懂的代碼，還能讓您非常輕松地將其他開發(fā)者為其他任務(wù)所做的改進(jìn)應(yīng)用到您自己的任務(wù)上。執(zhí)行這種一致性的確成本不菲，需要更多的規(guī)則和樣板文件，但 Lingvo 會(huì)努力將成本降至最低，以確保在研究過程中更快地進(jìn)行迭代。

協(xié)作的另一個(gè)方面是共享可復(fù)現(xiàn)的成果。Lingvo 提供一個(gè)集中的位置，用于存儲(chǔ)檢入的模型超參數(shù)配置。這不僅可以用來記錄重要的實(shí)驗(yàn)，還能讓其他研究者通過訓(xùn)練相同的模型，輕松復(fù)現(xiàn)您的成果。

雖然 Lingvo 最初的關(guān)注重點(diǎn)是 NLP，但它其實(shí)非常靈活，研究人員已經(jīng)使用此框架成功實(shí)現(xiàn)了圖像分割、點(diǎn)云分類等任務(wù)的模型。它還支持提煉、生成式對(duì)抗網(wǎng)絡(luò) (GAN) 和多任務(wù)模型。同時(shí)，此框架的速度并未因此而受到影響，它具有經(jīng)優(yōu)化的輸入管道和快速分布式訓(xùn)練能力。最后，Lingvo 還將易于實(shí)現(xiàn)生產(chǎn)化也納入考慮，它甚至有一條明確定義的路徑，可以將模型移植到移動(dòng)推理。