一項(xiàng)Gmail新功能-智能撰寫,為電子郵件寫作提供了一種新的方式

在 5 月初的 Google I/O 大會(huì)上，我們推出了一項(xiàng) Gmail 新功能 -智能撰寫，此功能利用機(jī)器學(xué)習(xí)，以交互方式在用戶打字時(shí)給出建議，幫助用戶補(bǔ)全句子，從而提高電子郵件的寫作速度。智能撰寫基于為智能回復(fù)開發(fā)的技術(shù)，為電子郵件寫作提供了一種新的方式。無論是回復(fù)收到的電子郵件，還是新寫郵件都能夠體驗(yàn)。

在開發(fā)智能撰寫的過程中，需要面對(duì)許多關(guān)鍵挑戰(zhàn)，其中包括：

延遲時(shí)間：智能撰寫基于每次的按鍵操作提供預(yù)測(cè)，因此它必須在 100 毫秒內(nèi)作出響應(yīng)，用戶才不會(huì)注意到任何延遲。因此，如何平衡模型復(fù)雜度和推斷速度成為一個(gè)關(guān)鍵問題。

規(guī)模：Gmail 擁有超過 14 億用戶。要為所有 Gmail 用戶提供有效的自動(dòng)補(bǔ)全建議，模型必須具備足夠的建模能力，才能根據(jù)不同的語境給出相應(yīng)的建議。

公平性和隱私性：在開發(fā)智能撰寫時(shí)，我們需要在訓(xùn)練過程中杜絕存在潛在偏見的數(shù)據(jù)源，同時(shí)必須遵守與智能回復(fù)相同的嚴(yán)格用戶隱私標(biāo)準(zhǔn)，確保模型不會(huì)泄露用戶的隱私信息。此外，研究人員無法訪問電子郵件，這意味著他們必須開發(fā)并訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)來處理他們無法讀取的數(shù)據(jù)集。

尋找合適的模型

ngram、神經(jīng)詞袋(BoW) 和RNN 語言(RNN-LM) 等典型的語言生成模型基于前面的單詞序列學(xué)習(xí)預(yù)測(cè)下個(gè)單詞。 然而，在電子郵件場(chǎng)景中，用戶在當(dāng)前電子郵件撰寫會(huì)話中所打出的單詞只是模型可用于預(yù)測(cè)下個(gè)單詞的提示之一。為了融入有關(guān)用戶想表達(dá)內(nèi)容的更多語境，我們的模型將電子郵件主題和之前的電子郵件正文（如果用戶要回復(fù)收到的郵件）也作為了一種預(yù)測(cè)條件。

要想包含這一額外語境，一種方法是將此問題看作序列到序列(seq2seq) 的機(jī)器翻譯任務(wù)，其中源序列是主題和之前電子郵件正文（如果有）的結(jié)合，目標(biāo)序列是用戶當(dāng)前正在撰寫的電子郵件。盡管此方法在預(yù)測(cè)質(zhì)量方面表現(xiàn)良好，但它遠(yuǎn)遠(yuǎn)達(dá)不到我們嚴(yán)格的延遲時(shí)間約束標(biāo)準(zhǔn)。

為了改善這種情況，我們將 BoW 模型與 RNN-LM 結(jié)合起來，結(jié)果，速度快于 seq2seq 模型，且模型預(yù)測(cè)質(zhì)量損失微乎其微。在這種混合方法中，我們通過將每個(gè)字段中的詞嵌入取平均值，對(duì)主題和之前的電子郵件進(jìn)行編碼。然后在每個(gè)解碼步驟中，將這些平均嵌入連接起來并輸入到目標(biāo)序列 RNN-LM 中。模型架構(gòu)如下圖所示。

智能撰寫 RNN-LM 模型架構(gòu)。通過對(duì)每個(gè)字段中的詞嵌入取平均值，對(duì)主題和之前的電子郵件消息進(jìn)行編碼。然后在每個(gè)解碼步驟中將平均嵌入輸入到 RNN-LM 中。

加速模型訓(xùn)練與服務(wù)

當(dāng)然，確定使用這種建模方法后，我們?nèi)孕枰{(diào)整不同的模型超參數(shù)，并在數(shù)十億個(gè)樣本上訓(xùn)練模型，這些加起來需要耗費(fèi)大量時(shí)間。為了加快速度，我們使用完整的 TPUv2 Pod 進(jìn)行實(shí)驗(yàn)。通過這種方式，不到一天的時(shí)間即可將模型訓(xùn)練至收斂。

即使在訓(xùn)練完較快的混合模型之后，最初版本的智能撰寫在標(biāo)準(zhǔn) CPU 上運(yùn)行時(shí)的平均服務(wù)延遲時(shí)間仍高達(dá)數(shù)百毫秒，這個(gè)值對(duì)于一個(gè)試圖節(jié)約用戶時(shí)間的功能來說仍然是不可接受的。幸運(yùn)的是，在推斷時(shí)還可以使用 TPU，從而極大地加速用戶體驗(yàn)。通過將大量計(jì)算轉(zhuǎn)移到 TPU 上，我們將平均延遲時(shí)間減少到幾十毫秒，同時(shí)極大地提高了單個(gè)機(jī)器可服務(wù)的請(qǐng)求數(shù)量。

公平性和隱私性

機(jī)器學(xué)習(xí)中的公平性非常重要，因?yàn)檎Z言理解模型可能反映人類的認(rèn)知偏見，產(chǎn)生一些不受歡迎的單詞和句子關(guān)聯(lián)。正如 Caliskan 等人在他們的近期論文"Semantics derived automatically from language corpora contain human-like biases"中所述，這些關(guān)聯(lián)與自然語言數(shù)據(jù)有著盤根錯(cuò)節(jié)的聯(lián)系，這對(duì)構(gòu)建語言模型提出了巨大挑戰(zhàn)。我們正在積極探索如何在訓(xùn)練過程中進(jìn)一步減少潛在偏見。同時(shí)，由于智能撰寫與垃圾郵件機(jī)器學(xué)習(xí)模型的訓(xùn)練方式類似，基于數(shù)十億詞組和句子訓(xùn)練而成，因此，我們運(yùn)用此論文的研究成果，對(duì)模型進(jìn)行了大量測(cè)試，以便確保只有多個(gè)用戶使用的常見詞組才會(huì)被模型記住。