大數(shù)據(jù)和人工智能對(duì)海量用戶行為數(shù)據(jù)的深度分析和挖掘的方法淺析

隨著電視智能化程度的提升越來(lái)越多的智能電視服務(wù)商成為了互聯(lián)網(wǎng)流量的一個(gè)新的入口，智能電視服務(wù)商積累了海量的用戶在影視、音樂(lè)、游戲、應(yīng)用、教育及生活消費(fèi)等各個(gè)方面的數(shù)據(jù)，廣告是智能電視運(yùn)營(yíng)服務(wù)商將流量變現(xiàn)的一種通用商業(yè)模式。本文主要講述如何利用大數(shù)據(jù)和人工智能相關(guān)的技術(shù)通過(guò)對(duì)海量用戶行為數(shù)據(jù)的深度分析和挖掘，將數(shù)據(jù)挖掘的成果應(yīng)用到廣告的售賣、投放中，用大數(shù)據(jù)和AI的相關(guān)技術(shù)實(shí)現(xiàn)廣告競(jìng)價(jià)售賣、精準(zhǔn)的廣告投放、預(yù)測(cè)廣告的投放效果、控制廣告投放成本、提高流量的變現(xiàn)能力。

智能電視廣告的背景和市場(chǎng)

智能電視廣告是依托智能電視平臺(tái)，結(jié)合人工智能和大數(shù)據(jù)技術(shù)將不同品牌和服務(wù)信息以廣告的方式精準(zhǔn)投放給具體的受眾。相對(duì)于傳統(tǒng)電視、移動(dòng)互聯(lián)網(wǎng)廣告，智能電視廣告其獨(dú)特價(jià)值體現(xiàn)在：

1）受眾體量大、價(jià)值高。根據(jù)勾正數(shù)據(jù)分析到2020年國(guó)內(nèi)智能電視存量超過(guò)2．8億臺(tái)，占市場(chǎng)比例近60％，智能電視用戶群體量級(jí)巨大、智能電視用戶集中在25－45歲最具備消費(fèi)能力，最有價(jià)值的核心消費(fèi)層，而傳統(tǒng)電視用戶則集中在中老年及偏遠(yuǎn)的鄉(xiāng)村。從整體用戶屬性看，智能電視用戶更集中在高收入、高學(xué)歷、消費(fèi)能力強(qiáng)的家庭人群上。國(guó)內(nèi)智能電視監(jiān)測(cè)領(lǐng)域布局最早的數(shù)據(jù)技術(shù)公司，AdMaster發(fā)現(xiàn)，針對(duì)智能電視平臺(tái)的廣告投放正在快速增加，2017年第二季度，CTV廣告曝光量同比增長(zhǎng)639％，投放CTV廣告的廣告主數(shù)量同比增長(zhǎng)97％、CTV廣告項(xiàng)目數(shù)量同比增長(zhǎng)356％。

2） 廣告展示效果好。智能電視大屏幕、高分辨率的視覺(jué)體驗(yàn)可以使廣告展示更精致，體驗(yàn)也更加直觀，接受度更高，沖擊力強(qiáng)、大屏幕有利于品牌廣告的傳播，同時(shí)智能電視上的廣告支持高清視頻、高清圖片、動(dòng)畫等多種方式且具有交互性。

3） 場(chǎng)景獨(dú)占。智能電視新型交互方式使用戶在享受視頻娛樂(lè)的同時(shí)，趣味性接受廣告?zhèn)鞑?，用戶注意力集中，廣告具有獨(dú)占性，記憶度高的特點(diǎn)，能夠快速捕捉用戶的視線，可快速形成品牌意識(shí)。

4） 完整的營(yíng)銷閉環(huán)、具有互聯(lián)網(wǎng)的屬性。傳統(tǒng)電視多是單向推送，少量升級(jí)為雙向網(wǎng)絡(luò)后依然互動(dòng)性不強(qiáng)。而智能電視不僅可以看視頻，還可以在看視頻的同時(shí)參與投票、搶紅包、跨屏互動(dòng)，玩游戲，下載應(yīng)用以及直接在線完成購(gòu)買，構(gòu)建了從廣告曝光、互動(dòng)、購(gòu)買到分享等的一整套營(yíng)銷閉環(huán)。

計(jì)算廣告的定義及在智能電視上的應(yīng)用場(chǎng)景

智能電視運(yùn)營(yíng)商掌握了智能電視流量的入口并收集入海量用戶的行為數(shù)據(jù)，因此計(jì)算廣告在智能電視上具有天然的應(yīng)用場(chǎng)景和獨(dú)特價(jià)值。通過(guò)對(duì)智能電視的分析和了解，梳理了智能電視上可投放廣告的應(yīng)用場(chǎng)景如下：：

開(kāi)機(jī)啟動(dòng)畫面、待機(jī)屏保畫面、關(guān)機(jī)畫面；

基于播放器的廣告（如：貼片、暫停等）；

基于遙控器控制的廣告（如：音量、頻道、菜單等）

基于大屏智能APP的啟動(dòng)廣告；

基于業(yè)務(wù)的深度定制廣告（排行榜、猜你喜歡、智能推薦）；

基于瀏覽器及導(dǎo)航應(yīng)用的廣告；

基于智能電視大屏到手機(jī)小屏的雙向互動(dòng)廣告。

大數(shù)據(jù)及AI技術(shù)在計(jì)算廣告上的應(yīng)用場(chǎng)景

場(chǎng)景一：基于大數(shù)據(jù)和實(shí)時(shí)計(jì)算的程序化廣告交易平臺(tái)

隨著廣告市場(chǎng)的成熟和競(jìng)爭(zhēng)機(jī)制的引入，廣告投放市場(chǎng)不斷的向需求方開(kāi)放，廣告在售賣的產(chǎn)品形態(tài)上更加的精細(xì)化，除了傳統(tǒng)廣告投策略中廣告主可按照已經(jīng)定義好的用戶、時(shí)段、區(qū)域劃分來(lái)購(gòu)買之外，更多的精細(xì)化的售賣方案逐漸成為主流，主要包括廣告主可以自行選擇流量，每次展示獨(dú)立詢價(jià)、出價(jià)、競(jìng)價(jià)，廣告投放成本可管控，廣告平臺(tái)流量利益最大化的實(shí)時(shí)評(píng)測(cè)體系。因此依靠大數(shù)據(jù)、人工智能算法、實(shí)時(shí)計(jì)算能力組合而成的程序化廣告交易平臺(tái)成為連接廣告主、廣告運(yùn)營(yíng)商和用戶之間的紐帶。實(shí)時(shí)競(jìng)價(jià)廣告的產(chǎn)生，可以讓廣告的售賣市場(chǎng)更加的透明化，通過(guò)競(jìng)價(jià)的策略實(shí)時(shí)得到廣告候選，并按照廣告主的出價(jià)實(shí)時(shí)完成投放決策，廣告投放者對(duì)于流量的選擇和控制能力達(dá)到了極致，同時(shí)程序化的交易平臺(tái)可以讓優(yōu)質(zhì)的流量利潤(rùn)最大化，詢價(jià)、出價(jià)、成交的需求存在與流量和廣告投放者預(yù)算范圍內(nèi)的準(zhǔn)確套利，同時(shí)程序化的廣告售賣平臺(tái)提供近乎準(zhǔn)確的廣告點(diǎn)擊率預(yù)測(cè)、點(diǎn)擊價(jià)值估計(jì)、流量預(yù)測(cè)的優(yōu)化策略與能力。

場(chǎng)景二：基于用戶畫像的精準(zhǔn)化廣告投放與推薦平臺(tái)

基于大數(shù)據(jù)和實(shí)時(shí)計(jì)算的程序化廣告交易平臺(tái)構(gòu)建了通過(guò)競(jìng)價(jià)機(jī)制解決了廣告流量售賣中利潤(rùn)最大話的問(wèn)題而基于用戶畫像的精準(zhǔn)化廣告投放與推薦平臺(tái)主要解決如何細(xì)分流量、最大化流量效能的問(wèn)題。主要通過(guò)在智能電視終端收集海量用戶的行為數(shù)據(jù)，通過(guò)對(duì)用戶行為的深度分析與多維度的挖掘，發(fā)現(xiàn)用戶潛在的行為規(guī)律，細(xì)分領(lǐng)域上的偏好、新增特定場(chǎng)景上的需求。畫像的內(nèi)容一方面可以作為單獨(dú)的廣告場(chǎng)景售賣或者根據(jù)廣告主的邏輯來(lái)劃分廣告用戶群，另一方面可以作為精準(zhǔn)化廣告投放的依據(jù)。常用的用戶畫像維度主要包括如下：

計(jì)算廣告的推薦系統(tǒng)是根據(jù)個(gè)體用戶信息投放個(gè)性化內(nèi)容，該系統(tǒng)主要包括如下內(nèi)容：在線投放引擎，主要用于實(shí)時(shí)響應(yīng)終端的請(qǐng)求完成投放執(zhí)行任務(wù)；離線的分布式計(jì)算數(shù)據(jù)處理平臺(tái)；在線實(shí)時(shí)反饋的流計(jì)算平臺(tái)。

通過(guò)用戶畫像體系與推薦平臺(tái)可以將廣告主的廣告需求快速的落地到轉(zhuǎn)移到具體用戶身上，實(shí)現(xiàn)廣告投放的價(jià)值，最終一方面解決了廣告主廣告利益最大化的需求，另一方面解決了用戶在特定領(lǐng)域上的需求、優(yōu)化了產(chǎn)品體驗(yàn)、提高了產(chǎn)品的競(jìng)爭(zhēng)力。

大數(shù)據(jù)與AI算法在用戶畫像及投放系統(tǒng)中的主要應(yīng)用如下：基于大數(shù)據(jù)統(tǒng)計(jì)規(guī)律的用戶偏好畫像，基于ALS（協(xié)同過(guò)濾）召回算法，基于FP－Growth的關(guān)聯(lián)規(guī)則召回、基于邏輯回歸、隱因子分解機(jī)、梯度提升決策樹、深度神經(jīng)網(wǎng)絡(luò)等的排序算法。

場(chǎng)景三：基于實(shí)時(shí)計(jì)算的廣告流量和交易清算平臺(tái)。

程序化的廣告交易平臺(tái)和廣告投放與推薦平臺(tái)解決了廣告的售賣和流量的變現(xiàn)問(wèn)題，基于實(shí)時(shí)計(jì)算的廣告流量和交易清算平臺(tái)主要用來(lái)解決售賣和變現(xiàn)過(guò)程中交易相關(guān)的問(wèn)題，通過(guò)實(shí)時(shí)的計(jì)算，可以實(shí)時(shí)的反饋流量的售賣價(jià)值和流量的轉(zhuǎn)化價(jià)值，一方面輔助經(jīng)營(yíng)決策者實(shí)時(shí)調(diào)整經(jīng)營(yíng)策略，一方面讓廣告投放者了解廣告的投放情況、幫助其評(píng)估廣告的投放效果、調(diào)整投放策略。清算平臺(tái)的另一個(gè)核心功能是提高廣告產(chǎn)品的利潤(rùn)，其核心的優(yōu)化目標(biāo)為：

（說(shuō)明：a表示廣告、u表示用戶、c表示環(huán)境、r表示點(diǎn)擊產(chǎn)出、q表示投入、μ表示預(yù)測(cè)點(diǎn)擊率、v表示點(diǎn)擊價(jià)值），同時(shí)清算系統(tǒng)需要實(shí)時(shí)判斷流量來(lái)源中是否有作弊的流量，并且將這部分流量從后續(xù)的計(jì)價(jià)和統(tǒng)計(jì)中去掉，對(duì)于那些即將預(yù)算耗盡的廣告，必須馬上通知廣告投放系統(tǒng)終止其投放計(jì)劃。

AI技術(shù)在清算系統(tǒng)中的核心作用是求解最優(yōu)化的問(wèn)題，當(dāng)投入q一定時(shí)，如何找到最優(yōu)的投放策略，使投入的成本最小成為了終極問(wèn)題。最優(yōu)化的問(wèn)題在數(shù)學(xué)上就是：給定某個(gè)確定的目標(biāo)函數(shù)以及該函數(shù)自變量的一些約束條件，求解函數(shù)的最大或者最小值問(wèn)題。常用的解決方案主要包括：拉格朗日法與函數(shù)凸優(yōu)化、梯度下降算法及擬牛頓法。通過(guò)數(shù)據(jù)和算法來(lái)尋找最優(yōu)化的解，制定最優(yōu)的投放策略。