IOTA架構(gòu)之下的數(shù)據(jù)采集

來源：ST社區(qū)

IOTA架構(gòu)是基于IOTA和AI時代背景下的大數(shù)據(jù)架構(gòu)模式，其整體技術(shù)結(jié)構(gòu)的核心是貫穿于整體業(yè)務始終的數(shù)據(jù)模型，具有提高整體的預算效率的作用。IOTA架構(gòu)這一概念由易觀首次提出，并將其應用于最新研發(fā)的精細化運營工具中。

在之前文章中介紹過易觀提出的IOTA架構(gòu)，相信很多同學已經(jīng)對整體有了一個了解。本文將介紹IOTA架構(gòu)下的數(shù)據(jù)采集。

在IOTA架構(gòu)下，在當下終端設備計算能力普通較強的情況下，SDK不僅承載著以往的基礎(chǔ)功能，并且被賦予了邊緣計算的角色。例如在設備端就開始做數(shù)據(jù)完整性和有效性的校驗、將用戶行為轉(zhuǎn)化成為統(tǒng)一的數(shù)據(jù)模型，然后傳送給服務端。

一個穩(wěn)定的數(shù)據(jù)采集端需要有如下功能，存儲、回數(shù)、控制、保護。

存儲：數(shù)據(jù)存儲，校驗當前存儲數(shù)據(jù)合法性，及防止數(shù)據(jù)被第三方串改。

回數(shù)：數(shù)據(jù)上報，加密上報數(shù)據(jù)，防止被第三方截取，保證不受HOOK等影響，防止DNS污染等。

控制：控制發(fā)送策略，可以指定3G/4G/wifi 環(huán)境上傳，可以調(diào)整上報時間頻次、本地數(shù)據(jù)緩存規(guī)則全部可動態(tài)調(diào)整。

保護：有自保護機制。不要影響用戶的正常使用，減少因逆向?qū)е碌臄?shù)據(jù)異常

顯而易見，普通的采集端都具有這些功能。作為IOTA架構(gòu)下的采集端進行了哪些優(yōu)化呢？如下:

統(tǒng)一模型：在IOTA架構(gòu)下從數(shù)據(jù)采集到數(shù)據(jù)接收以及數(shù)據(jù)處理都是用一套數(shù)據(jù)模型。例如對于用戶行為分析時會用到的模型中，我們可以抽象出以下幾個基本要素： 發(fā)生行為主體 （who），行為發(fā)生的時間(when), 行為的發(fā)生地點(where)，發(fā)送的事件(what)。在IOTA架構(gòu)下也統(tǒng)稱為Common Data Model。

聚合：同樣的數(shù)據(jù)進行邊緣聚合計算，如某些用戶訪問路徑可以直接由采集端來完成，生成對應類似漏斗的事件。一般這個計算是服務器下發(fā)策略來動態(tài)控制的，當然也可以隨時做出調(diào)整，值得注意的是這是不可以逆的運算，并且這種模式只適用于適合間隔發(fā)送模式的數(shù)據(jù)。

校驗：數(shù)據(jù)的完整和有效性可以放到采集端處理，確保SDK給server的數(shù)據(jù)不是被修改的，產(chǎn)生的數(shù)據(jù)是合理的，這就要求采集端加入防作弊的功能。 這是一個成熟產(chǎn)品長期需要投入的項目，大部分公司的風控做的也有一部分這樣的工作。典型的案例如防止Xposed攔截，防止反編譯，防止二次打包。

實時：數(shù)據(jù)實時上報給服務器，這樣才能讓用戶感覺到零延遲，實時計算。如12306購票，要立即的進行查看結(jié)果，不能等得到次日才看到結(jié)果。同樣的帶來另一個問題，個人高頻上報、用戶高峰期大量用戶上報需要進行區(qū)分，兩者對收數(shù)服務器而言是一樣的，那這個時候就需要收數(shù)服務器和采集端進行通訊，動態(tài)控制。

高可控：高可控是對數(shù)據(jù)采集最基礎(chǔ)，也是最重要的一個要求。不然面對攻擊，服務器無法實時監(jiān)控，動態(tài)調(diào)整，立即處理，可能會導致服務器的短時間無法正常工作(如數(shù)據(jù)處理延遲，嚴重的乃至宕機)。

當然對于很多大數(shù)據(jù)架構(gòu)中，數(shù)據(jù)采集端各不相同，這也是我們在支持大量用戶后的一個分享。

總的來說，IOTA架構(gòu)下的數(shù)據(jù)采集有如下特點：采用統(tǒng)一的數(shù)據(jù)模型，支持邊緣計算、支持與服務器端動態(tài)交互的控制策略。這些已經(jīng)在易觀的數(shù)據(jù)產(chǎn)品中廣泛使用，也歡迎大家試用易觀方舟、易觀千帆。

審核編輯 黃昊宇