2篇論文入選KDD 2022！騰訊廣告持續(xù)探索效果提升新思路

8月14日至18日，被譽(yù)為全球數(shù)據(jù)挖掘最高級(jí)別學(xué)術(shù)會(huì)議、反映最前沿?cái)?shù)據(jù)領(lǐng)域研究風(fēng)向的ACM SIGKDD 2022 （下稱(chēng)KDD 2022）正式舉行。騰訊廣告共有2篇論文被KDD 2022收錄，彰顯了騰訊在數(shù)字廣告領(lǐng)域的前沿視野與以技術(shù)探索效果邊界的行動(dòng)力。

如何進(jìn)一步革新廣告技術(shù)，才能得到投放效果的最優(yōu)解？這始終是平臺(tái)方持續(xù)探索的命題。

隨著各大平臺(tái)流量增長(zhǎng)放緩，亟需以技術(shù)為驅(qū)動(dòng)，提升對(duì)商品、人、場(chǎng)景的理解維度與深度，促成高效精準(zhǔn)的匹配。以提升用戶(hù)體驗(yàn)，騰訊廣告致力于提升品牌與用戶(hù)每一次相遇的效率與體驗(yàn)，實(shí)現(xiàn)品牌和平臺(tái)、用戶(hù)多方共贏。

從去年開(kāi)始，騰訊廣告展開(kāi)了從基建到算法的技術(shù)探索，對(duì)廣告系統(tǒng)進(jìn)行持續(xù)升級(jí)。一方面，依托底層太極機(jī)器學(xué)習(xí)平臺(tái)，系統(tǒng)打造廣告大模型，提升在召回、粗排、精排等競(jìng)價(jià)環(huán)節(jié)的匹配效率，持續(xù)優(yōu)化廣告投放全鏈路；另一方面，系統(tǒng)基于行業(yè)知識(shí)和數(shù)據(jù)提煉特征進(jìn)行建模，持續(xù)優(yōu)化算法，提升每一次投放的轉(zhuǎn)化效率和效果。

本次被KDD2022收錄的兩篇論文，就分別從用戶(hù)畫(huà)像和合約廣告發(fā)力，探索更高效的廣告效果轉(zhuǎn)化：

錄用論文1：

《 Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling 》

在廣告和推薦系統(tǒng)等工業(yè)應(yīng)用中，多樣化和準(zhǔn)確的用戶(hù)畫(huà)像可以極大地幫助改進(jìn)個(gè)性化體驗(yàn)。當(dāng)前，深度學(xué)習(xí)廣泛應(yīng)用于從用戶(hù)標(biāo)簽建設(shè)，即通過(guò)歷史交互行為挖掘含有實(shí)際意義的標(biāo)簽，例如對(duì)廣告的點(diǎn)擊、轉(zhuǎn)化等行為動(dòng)作可以挖掘出表達(dá)用戶(hù)興趣/意向的標(biāo)簽。通常采用的方法是，面向多個(gè)動(dòng)作（action）時(shí)，每次以單個(gè)動(dòng)作為建模目標(biāo)，引入多套獨(dú)立的雙塔模型（由于標(biāo)簽眾多，單塔復(fù)雜性高）來(lái)預(yù)測(cè)用戶(hù)對(duì)標(biāo)簽發(fā)生該動(dòng)作的可能性（看作對(duì)標(biāo)簽的CTR或CVR預(yù)估），預(yù)估出高得分的標(biāo)簽可以用來(lái)表示用戶(hù)的喜好（興趣/意向）。然而，多個(gè)獨(dú)立的模型之間不能互補(bǔ)地學(xué)習(xí)，當(dāng)某些動(dòng)作的樣本比較稀疏時(shí)也不能很好地支持模型學(xué)習(xí)。此外，由于雙塔之間往往缺乏信息融合，這類(lèi)設(shè)計(jì)無(wú)法很好地預(yù)估用戶(hù)對(duì)各種不同主題下標(biāo)簽的喜好程度。

該研究摒棄了業(yè)界常用的雙塔結(jié)構(gòu)模型算法，獨(dú)辟蹊徑采用了創(chuàng)新型的多虛擬核專(zhuān)家混合模型（MVKE），用于統(tǒng)一聯(lián)合學(xué)習(xí)用戶(hù)對(duì)各種不同動(dòng)作和主題的喜好。在MVKE中，我們提出了虛擬內(nèi)核專(zhuān)家的概念，該概念側(cè)重于對(duì)用戶(hù)喜好的一個(gè)特定方面進(jìn)行建模，并且所有這些方面都在統(tǒng)一協(xié)調(diào)地學(xué)習(xí)。此外，MVKE中使用的Gate結(jié)構(gòu)在兩個(gè)塔之間構(gòu)建了一座信息融合橋梁，提高了模型的性能并保持了仍然保持了雙塔具備的較高的效率。我們將該模型應(yīng)用于騰訊廣告系統(tǒng)，在線和離線評(píng)估表明，與基線方法相比，我們的方法具有更好的表現(xiàn)，并對(duì)實(shí)際廣告收入產(chǎn)生了明顯的提升。

錄用論文2：

《CONFLUX: A Request-level Fusion Framework for Impression Allocation via Cascade Distillation》

合約廣告與效果廣告構(gòu)成了廣告平臺(tái)的兩條平行利潤(rùn)流。由于廣告主不同的訴求（品牌效應(yīng)或短時(shí)影響力），導(dǎo)致了不同的廣告售賣(mài)模式（批量售賣(mài)或競(jìng)拍售賣(mài)）和定價(jià)方式（固定單價(jià)或波動(dòng)競(jìng)拍）。隨之而來(lái)的問(wèn)題，是如何通過(guò)合理的分配用戶(hù)曝光打破兩類(lèi)廣告市場(chǎng)的中間壁壘。通過(guò)在全局最高點(diǎn)售賣(mài)曝光，提升平臺(tái)的總體收益。這種融合兩類(lèi)市場(chǎng)的分配過(guò)程使得合約廣告和效果廣告之間，以及定向重合的合約廣告之間的競(jìng)爭(zhēng)關(guān)系更加復(fù)雜。此外，非平穩(wěn)的用戶(hù)流量模式和效果廣告出價(jià)分布使得上述曝光分配構(gòu)成無(wú)監(jiān)督問(wèn)題，且難以衡量每次分配的效果優(yōu)劣。顯然，已有的靜態(tài)或者粗粒度的建模方案都不足以很好的解決該問(wèn)題。

該研究提出了一種創(chuàng)新的請(qǐng)求級(jí)融合排序框架CONFLUX，通過(guò)在兩種不同業(yè)務(wù)邏輯的廣告市場(chǎng)，即合約和效果廣告之間合理的分配曝光以提升平臺(tái)總體收益并保證廣告投放效果。該框架基于級(jí)聯(lián)式的結(jié)構(gòu)設(shè)計(jì)：首先通過(guò)線性規(guī)劃生成分配范式，將原問(wèn)題有監(jiān)督化。然后利用復(fù)雜深度學(xué)習(xí)模型在請(qǐng)求級(jí)粒度上建模廣告之間的競(jìng)爭(zhēng)關(guān)系，并將范式提煉為可供輕量級(jí)模型學(xué)習(xí)的經(jīng)驗(yàn)信息。在線上服務(wù)階段，為了緩解模型衰退并適應(yīng)線上分布遷移，本文引入時(shí)序蒸餾損失。通過(guò)在新舊模型之間保留有用信息，周期性的微調(diào)線上服務(wù)模型同時(shí)防止過(guò)擬合現(xiàn)象的發(fā)生。這一工作流程類(lèi)似于化學(xué)中的級(jí)聯(lián)蒸餾并因此得名。CONFLUX算法被實(shí)際部署于騰訊廣告系統(tǒng)并運(yùn)行超過(guò)六個(gè)月。線上A/B測(cè)試以及與基線方法的對(duì)比都表明本文提出的方案能在保證廣告投放效果的同時(shí)，顯著提升平臺(tái)總體收益，實(shí)現(xiàn)廣告主和平臺(tái)的共贏。

KDD作為數(shù)據(jù)挖掘領(lǐng)域歷史最悠久、規(guī)模最大的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議，由美國(guó)計(jì)算機(jī)學(xué)會(huì)（ACM）數(shù)據(jù)挖掘及知識(shí)發(fā)現(xiàn)專(zhuān)委會(huì)（SIGKDD）主辦，迄今為止已舉辦了28屆，被中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦為A類(lèi)國(guó)際學(xué)術(shù)會(huì)議，云集了數(shù)據(jù)領(lǐng)域最前沿、最頂尖的技術(shù)趨勢(shì)與成果。吸引了數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、大數(shù)據(jù)、AI等領(lǐng)域的多位頂級(jí)學(xué)者與從業(yè)人員、學(xué)生慕名投遞論文。

KDD論文非?？粗卣撐牡?“落地應(yīng)用性”，選拔標(biāo)準(zhǔn)極高。據(jù)悉，今年共計(jì)接收到2448篇投稿，僅有449篇被錄用，接收率僅為 18.3%。本次入圍，不僅是對(duì)上述兩篇論文的前沿性及突破性予以認(rèn)可，更是對(duì)騰訊廣告技術(shù)實(shí)力的再次肯定。

圍繞技術(shù)增效的恒久命題，騰訊廣告亦將圍繞在機(jī)器學(xué)習(xí)平臺(tái)、大模型算法等領(lǐng)域進(jìn)行搜廣推的持續(xù)探索和深耕。

審核編輯 黃昊宇