虹科分享 | 基于流的流量分類的工作原理 | 網(wǎng)絡(luò)流量監(jiān)控

許多ntop產(chǎn)品，如ntopng、nProbe和PF_RING FT等都是基于網(wǎng)絡(luò)流的。然而，并不是所有的用戶都詳細(xì)知道什么是網(wǎng)絡(luò)流，以及它在實(shí)踐中是如何工作的。這篇博客文章描述了它們是什么以及它們?cè)趯?shí)踐中是如何工作的。

什么是網(wǎng)絡(luò)流量

網(wǎng)絡(luò)流是一組具有公共財(cái)產(chǎn)的數(shù)據(jù)包。它們通常由5元組密鑰標(biāo)識(shí)，這意味著給定流的所有數(shù)據(jù)包都具有相同的源和目的IP、源和目的端口以及應(yīng)用協(xié)議（例如TCP）。在實(shí)踐中，流密鑰還至少包括VLAN Id，并且最終包括諸如封裝業(yè)務(wù)的隧道ID之類的其他屬性。流是一種通過使用公共密鑰對(duì)數(shù)據(jù)包進(jìn)行聚類然后對(duì)流量進(jìn)行分類的方法，它與運(yùn)行netstat-na等命令時(shí)在計(jì)算機(jī)上看到的情況類似。每個(gè)流都有各種計(jì)數(shù)器，用于跟蹤流數(shù)據(jù)包/字節(jié)和各種其他屬性，如流計(jì)時(shí)器（第一個(gè)和最后一個(gè)流數(shù)據(jù)包的時(shí)間）、統(tǒng)計(jì)信息（重傳、數(shù)據(jù)包無序等）和安全屬性（例如流風(fēng)險(xiǎn)）。

流量是如何存儲(chǔ)在內(nèi)存中的？

網(wǎng)絡(luò)流保存在一個(gè)名為流緩存的數(shù)據(jù)結(jié)構(gòu)中（通常使用哈希表實(shí)現(xiàn)），該數(shù)據(jù)結(jié)構(gòu)不斷地提供傳入的數(shù)據(jù)包。流高速緩存在存儲(chǔ)器中存儲(chǔ)活動(dòng)流（即，當(dāng)接收到屬于流的分組時(shí)仍然活動(dòng)的那些流）。下面您可以看到ntopng如何顯示實(shí)時(shí)流緩存及其5元組密鑰。

網(wǎng)絡(luò)流何時(shí)開始？

一旦觀察到第一個(gè)流分組，網(wǎng)絡(luò)流就開始。在啟動(dòng)時(shí)，流緩存是空的，并且隨著數(shù)據(jù)包的接收而被填滿。對(duì)每個(gè)傳入的數(shù)據(jù)包進(jìn)行解碼，并計(jì)算流密鑰。在流緩存中搜索這樣的密鑰：如果沒有找到，則向流緩存中添加新的條目，否則更新具有這樣的密鑰的現(xiàn)有條目，即更新流數(shù)據(jù)包/字節(jié)和計(jì)時(shí)器的計(jì)數(shù)器。因此，本質(zhì)上，當(dāng)觀察到第一個(gè)流分組時(shí)，流就開始了。

網(wǎng)絡(luò)流何時(shí)結(jié)束？

每個(gè)流都有兩個(gè)老化計(jì)時(shí)器：空閑計(jì)時(shí)器（它跟蹤自接收到最后一個(gè)流數(shù)據(jù)包以來已經(jīng)過去了多少時(shí)間）和持續(xù)時(shí)間計(jì)時(shí)器（它記錄流持續(xù)的時(shí)間）。當(dāng)這兩個(gè)老化定時(shí)器中的一個(gè)到期時(shí)，即當(dāng)流空閑太長(zhǎng)（例如，有一段時(shí)間沒有接收到分組）或當(dāng)流在流高速緩存中存儲(chǔ)太長(zhǎng)時(shí)，流結(jié)束。在nProbe和PF_RING FT中，當(dāng)流過期時(shí)，它將從流緩存中刪除并發(fā)送到收集器。相反，在ntopng中，從流緩存中刪除流只是為了空閑，因?yàn)槌志昧鞑粫?huì)從緩存中刪除。原因是像nProbe這樣的流量探測(cè)器需要定期向收集器（例如ntopng）報(bào)告有關(guān)監(jiān)控流量的信息，因此流量會(huì)被“剪切”并發(fā)送到收集器。相反，在ntopng中，不需要通知收集器，因此只要在首選項(xiàng)中配置了必要的內(nèi)容，流就會(huì)留在內(nèi)存中。

流的關(guān)鍵點(diǎn)和方向

如果流是在接收到第一個(gè)流數(shù)據(jù)包時(shí)創(chuàng)建的，那么我們可以將流客戶端視為真正的網(wǎng)絡(luò)客戶端。例如，從主機(jī)1.2.3.4上的客戶端到主機(jī)5.6.7.8的SSH，這種通信的流程將是1.2.3.4:X<->5.6.7.8:22（我們假設(shè)SSH在端口22上運(yùn)行）?？雌饋硎菍?duì)的吧？但有時(shí)你會(huì)看到，在流緩存中，這樣的流被報(bào)告為5.6.7.8:22<->1.2.3.4:X。為什么？這可能是由于各種原因造成的：

• 應(yīng)用程序（例如ntopng）在流開始后啟動(dòng)，ntopng觀察到的第一個(gè)數(shù)據(jù)包是5.6.7.8:22->1.2.3.4:X，而不是1.2.3.4:X->5.6.7.8:22。
• 流使用正確的密鑰存儲(chǔ)在緩存中，但有一段時(shí)間（例如2分鐘）沒有交換數(shù)據(jù)包，因此應(yīng)用程序已將流聲明為過期，并將其從流緩存中刪除。然后，如果突然觀察到一個(gè)新的數(shù)據(jù)包，則該數(shù)據(jù)包可能會(huì)被發(fā)送到錯(cuò)誤的方向（例如5.6.7.8:22->1.2.3.4:X），因?yàn)檫@可能是服務(wù)器的保存數(shù)據(jù)包。在這種情況下，流以相反的方向（9，因此是錯(cuò)誤的）放置在高速緩存中。

可以配置ntopng（通過首選項(xiàng)）和nProbe（使用帶有-t和-d的命令行）流超時(shí)，因此這些問題得到了緩解（盡管沒有完全解決）。然而，僅僅調(diào)整超時(shí)是不夠的，特別是對(duì)于UDP流，因?yàn)榕cTCP相反，沒有TCP標(biāo)志可以用來猜測(cè)真實(shí)的流方向。因此，ntopng實(shí)現(xiàn)了一些啟發(fā)式來交換流向，但這種啟發(fā)式不能太激進(jìn)，因?yàn)槲覀兛赡軙?huì)報(bào)告無效信息。

我們希望這篇文章能讓大家明白基于流量的網(wǎng)絡(luò)流量分析是如何工作的，以及為什么有時(shí)會(huì)觀察到一些“意外”行為，不是因?yàn)槁┒?，而是因?yàn)檫@些測(cè)量的性質(zhì)。