互聯(lián)網(wǎng)業(yè)務(wù)流量監(jiān)測技術(shù)的應(yīng)用和設(shè)計(jì)

NetFlow記錄的流包含了豐富的信息，非常適合于網(wǎng)絡(luò)性能分析。NetFlow不需要其他硬件流量設(shè)備的支持，開啟和關(guān)閉都非常方便，因此在國外已有很多運(yùn)營商用它來收集流量，服務(wù)于網(wǎng)絡(luò)規(guī)劃、設(shè)計(jì)和優(yōu)化等領(lǐng)域。但開啟NetFlow需要消耗一定的路由器資源（CPU和內(nèi)存）。

根據(jù)NetFlow的特點(diǎn)，該技術(shù)非常適用于大型網(wǎng)絡(luò)。NetFlow采集實(shí)施成本較低、安裝方便，而且不受速率的限制，是目前運(yùn)營商流量監(jiān)測的首選技術(shù)。

采集到的NetFlow數(shù)據(jù)，結(jié)合邊界網(wǎng)關(guān)協(xié)議（BGP）路由信息，可以更加精確地分析路由信息和互聯(lián)流量的自治域（AS）屬性。

2.2　流量采集對業(yè)務(wù)網(wǎng)絡(luò)的影響評估

2.2.1　帶寬占用

采用NetFlow方案不要求處理從某個(gè)接口接受到的每個(gè)數(shù)據(jù)包，用來對被監(jiān)控路由器進(jìn)行流量分析的數(shù)據(jù)來自采集到的NetFlow數(shù)據(jù)，從路由器送出的非采樣NetFlow數(shù)據(jù)不到流經(jīng)該路由器數(shù)據(jù)量的1%，使用采樣NetFlow時(shí)數(shù)據(jù)更為大大減少。根據(jù)計(jì)算，在采樣率為1000：1時(shí)，對10Gbit/s的流量進(jìn)行NetFlow分析，只產(chǎn)生1.3Mbit/s的流量。因此，NetFlow產(chǎn)生的這部分流量對于骨干網(wǎng)的帶寬占用很少。

2.2.2　路由器性能消耗

利用NetFlow技術(shù)實(shí)現(xiàn)流量監(jiān)測需要路由器開啟NetFlow協(xié)議以配合采集數(shù)據(jù)，因此會(huì)對路由器的CPU造成一定的負(fù)擔(dān)。Cisco公司和Juniper公司等路由器廠家都針對這些問題作了詳細(xì)的研究。不同的產(chǎn)品系列和NetFlow協(xié)議是否經(jīng)過采樣等，對CPU的影響程度也不同。

根據(jù)Cisco公司的“NetFlow Performance Analysis”白皮書，在非采樣方式下，路由器開啟NetFlow后，其CPU使用狀況如下：

a）如果有10 000條同時(shí)在線的Flow，則路由器的CPU使用率平均增加7.14%；

b）如果有45 000條同時(shí)在線的Flow，則路由器的CPU使用率平均增加19.16%；

c）如果有65 000條同時(shí)在線的Flow，則路由器的CPU使用率平均增加22.98%。

這些數(shù)據(jù)是基于不同的產(chǎn)品系列進(jìn)行測試的平均值。

在采樣方式下開啟NetFlow對路由器的CPU影響會(huì)更小。根據(jù)Cisco公司的資料顯示，12000系列的路由器在非采樣方式下需要增加23.5%的CPU使用率來處理65 000條Flow，而在采用100:1的采樣率時(shí)CPU使用率僅增加3%。在不同的采樣率下，CPU的負(fù)擔(dān)增加程度也不同。

路由器上不同類型的線卡對NetFlow的支持情況也有所不同。仍以Cisco公司路由器為例，Engine 3和Engine 4+的線卡是采用專門的硬件來處理NetFlow數(shù)據(jù)，開啟NetFlow對路由器性能影響較小；而通常認(rèn)為Engine 2的線卡開啟NetFlow對路由器性能的影響相對較大。

2.3　NetFlow采樣率的設(shè)定

在采樣方式下，路由器按照一定的采樣率采集NetFlow數(shù)據(jù)，流量分析系統(tǒng)接收NetFlow數(shù)據(jù)對網(wǎng)絡(luò)的流量進(jìn)行計(jì)算和分析，因此路由器的采樣率在很大程度上決定了分析結(jié)果的準(zhǔn)確性。如果路由器設(shè)定的采樣率過高（如1000:1或更高），流量分析的誤差將加大，尤其對小Flow或混雜在大流量中的部分關(guān)鍵的小Flow的分析，更容易產(chǎn)生比較大的誤差。

在路由器上開啟NetFlow會(huì)消耗一些設(shè)備資源，特別是需要占用一些CPU和Memory等重要資源，而且采樣率越低，對資源的占用越大。如果設(shè)置過低的NetFlow采樣率會(huì)對路由器的性能帶來較大的影響。因此，應(yīng)根據(jù)路由器上需要打開的NetFlow功能板卡的主要類型，并結(jié)合設(shè)備上開通的電路的流量情況靈活地設(shè)置路由器的NetFlow采樣率，包括100:1、500:1、1 000:1和3 000:1等。

2.4　流量采集點(diǎn)的設(shè)置

為了實(shí)現(xiàn)對所監(jiān)測網(wǎng)內(nèi)的所有流量進(jìn)行分析，首先需要合理地設(shè)置流量采集點(diǎn)。采集點(diǎn)的設(shè)置非常關(guān)鍵，直接影響到系統(tǒng)能否準(zhǔn)確地對流量進(jìn)行全面分析。下面主要針對運(yùn)營商網(wǎng)絡(luò)優(yōu)化應(yīng)用提出采集點(diǎn)設(shè)置建議方案。

由于主要是實(shí)現(xiàn)對運(yùn)營商網(wǎng)絡(luò)的優(yōu)化，所以不一定需要對網(wǎng)絡(luò)中傳送的所有流量數(shù)據(jù)進(jìn)行100%的監(jiān)測。為減少對網(wǎng)絡(luò)設(shè)備的資源占用，降低對系統(tǒng)的容量要求，可以選用數(shù)據(jù)包抽樣的NetFlow數(shù)據(jù)采集方式，對網(wǎng)絡(luò)中的所有流量進(jìn)行統(tǒng)計(jì)。

通常情況下，運(yùn)營商網(wǎng)絡(luò)結(jié)構(gòu)包括核心層和邊緣層兩個(gè)層次，網(wǎng)絡(luò)流量通過邊緣層的路由器匯接進(jìn)入核心層，由核心層的路由器進(jìn)行轉(zhuǎn)接。而NetFlow技術(shù)只能對端口的流入流量進(jìn)行分析，因此，流量采集點(diǎn)的設(shè)置主要有兩種方案可供選擇：

a）方案一：采集點(diǎn)設(shè)置在網(wǎng)絡(luò)的核心層，核心層路由器之間的互聯(lián)端口不需要開啟NetFlow，核心節(jié)點(diǎn)路由器對外的互聯(lián)端口開啟NetFlow流入流量采集。

該方案的優(yōu)點(diǎn)是被采集的路由器數(shù)量少，因此管理比較簡單，配置工作量比較??；缺點(diǎn)是采集端口集中在核心層路由器上，增加了核心層路由器的負(fù)擔(dān)，對業(yè)務(wù)網(wǎng)絡(luò)的影響較大。

b）方案二：采集點(diǎn)設(shè)置在網(wǎng)絡(luò)的邊緣層，邊緣層路由器對外的互聯(lián)端口開啟NetFlow流入流量采集，對從其他AS進(jìn)入到網(wǎng)內(nèi)的流量進(jìn)行分析。

該方案的優(yōu)點(diǎn)是采集端口分散在邊緣層的多臺(tái)路由器上，相應(yīng)地減少了單臺(tái)路由器上的采集數(shù)據(jù)量和因流量采集而增加的負(fù)擔(dān)，降低了開啟NetFlow對業(yè)務(wù)網(wǎng)絡(luò)的影響；缺點(diǎn)是被采集的路由器數(shù)量較多，管理的復(fù)雜程度和配置工作量都相應(yīng)加大，而且這種方案需要將采集的NetFlow數(shù)據(jù)從邊緣層的路由器傳送到集中設(shè)置的采集機(jī)，會(huì)在網(wǎng)內(nèi)增加一定的流量而占用網(wǎng)絡(luò)帶寬。

在實(shí)際應(yīng)用中，流量采集點(diǎn)的設(shè)置應(yīng)根據(jù)網(wǎng)絡(luò)的具體情況和管理要求來選擇合適的方案。{{分頁}}

圖3為運(yùn)營商網(wǎng)絡(luò)優(yōu)化時(shí)的流量采集點(diǎn)設(shè)置示意圖。

 

                      

                                圖3　運(yùn)營商網(wǎng)絡(luò)優(yōu)化流量采集點(diǎn)設(shè)置示意圖

2.5　系統(tǒng)組織方案

流量分析系統(tǒng)由采集機(jī)和分析服務(wù)器組成。被采集的路由器將NetFlow數(shù)據(jù)包發(fā)往NetFlow流量采集機(jī)，采集機(jī)將采集到的NetFlow數(shù)據(jù)送到分析服務(wù)器進(jìn)行分析。被采集的路由器分布在全網(wǎng)各個(gè)節(jié)點(diǎn)，當(dāng)系統(tǒng)規(guī)模較大時(shí)，需要配置多臺(tái)采集機(jī)和分析服務(wù)器。采集機(jī)和分析服務(wù)器的部署有以下兩種方案。

a）方案一：將采集機(jī)分別部署在各個(gè)核心節(jié)點(diǎn)，每個(gè)核心節(jié)點(diǎn)的采集機(jī)負(fù)責(zé)采集連接至該核心節(jié)點(diǎn)的路由器；分析服務(wù)器集中部署在網(wǎng)管中心。該方案采集機(jī)通過以太網(wǎng)接口接入核心路由器或與核心路由器連接的局域網(wǎng)交換機(jī)，實(shí)現(xiàn)與被采集路由器的互通。利用用戶數(shù)據(jù)報(bào)協(xié)議（UDP）從被采集路由器上的端口采集NetFlow數(shù)據(jù)，再通過IP網(wǎng)絡(luò)傳送到分析服務(wù)器，由分析服務(wù)器進(jìn)行數(shù)據(jù)匯總和分析處理，如圖4所示。

 

                       

                                   圖4　流量分析系統(tǒng)組織方案一示意圖

該方案的優(yōu)點(diǎn)是，在至分析服務(wù)器的IP網(wǎng)絡(luò)連接出現(xiàn)突發(fā)故障時(shí)，可以充分利用采集機(jī)的存儲(chǔ)能力，暫存NetFlow數(shù)據(jù)，待網(wǎng)絡(luò)連接恢復(fù)時(shí)，再向分析服務(wù)器傳送；這種分布式的部署方案還可以避免單點(diǎn)出現(xiàn)故障時(shí)導(dǎo)致全網(wǎng)流量無法采集，而且采集機(jī)還可以進(jìn)行一些預(yù)處理工作，減輕分析服務(wù)器的壓力。缺點(diǎn)是每個(gè)核心節(jié)點(diǎn)都需要配備一套采集機(jī)，設(shè)備的綜合利用率不夠高，管理和維護(hù)不夠集中。

b）方案二：采集機(jī)和分析服務(wù)器集中部署，由多臺(tái)采集機(jī)共同負(fù)責(zé)采集全網(wǎng)內(nèi)的路由器。該方案采集機(jī)通過以太網(wǎng)接口接入網(wǎng)管中心，實(shí)現(xiàn)與全網(wǎng)內(nèi)被采集路由器的互通，采集機(jī)利用UDP通過IP網(wǎng)絡(luò)從各節(jié)點(diǎn)被采集路由器上的端口采集NetFlow數(shù)據(jù)，再通過局域網(wǎng)傳送到分析服務(wù)器，由分析服務(wù)器進(jìn)行數(shù)據(jù)匯總和分析處理，如圖5所示。            

                                     圖5　流量分析系統(tǒng)組織方案二示意圖

該方案的優(yōu)點(diǎn)是，流量分析系統(tǒng)設(shè)備集中部署，便于統(tǒng)一管理和統(tǒng)一維護(hù)，也提高了設(shè)備的利用率；缺點(diǎn)是如果IP網(wǎng)絡(luò)不穩(wěn)定或發(fā)生故障時(shí)，路由器的NetFlow數(shù)據(jù)將不能傳送到網(wǎng)管中心，處理不當(dāng)可能造成NetFlow數(shù)據(jù)的丟失。

實(shí)際部署時(shí)應(yīng)根據(jù)具體的要求來選擇合適的系統(tǒng)組織方案。

2.6　系統(tǒng)處理能力估算模型的分析

2.6.1　計(jì)算數(shù)據(jù)的取定

首先取定以下計(jì)算數(shù)據(jù)：

a）一個(gè)NetFlow V5輸出數(shù)據(jù)包的包長為1 500 Byte；

b）一個(gè)NetFlow V5輸出數(shù)據(jù)包中包括的Flow的數(shù)量為30；

c）網(wǎng)絡(luò)流量中數(shù)據(jù)包的平均包長為384 Byte；

d）采樣率：500:1

其中，NetFlow V5輸出數(shù)據(jù)包的包長及其包括的Flow的數(shù)量是確定的，而網(wǎng)絡(luò)流量中數(shù)據(jù)包的平均包長、采樣率則需要根據(jù)具體的網(wǎng)絡(luò)狀況進(jìn)行取定。

2.6.2　系統(tǒng)處理能力

流量分析系統(tǒng)實(shí)現(xiàn)對NetFlow數(shù)據(jù)的采集和分析處理，本文采用“每秒處理Flow數(shù)”來衡量系統(tǒng)的處理能力。

在估算系統(tǒng)處理能力時(shí)，首先要計(jì)算系統(tǒng)需要分析的流量大?。℅bit/s），然后根據(jù)前面已經(jīng)取定的計(jì)算數(shù)據(jù)，系統(tǒng)每秒需要進(jìn)行處理的Flow數(shù)量為：（系統(tǒng)需要分析的流量大小