非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)研究
加入技術(shù)交流群
1．3 網(wǎng)絡(luò)數(shù)據(jù)包個數(shù)多
為提高發(fā)包效率，使發(fā)包延遲時間盡可能小，將數(shù)據(jù)包在采集后快速的發(fā)送出去，ARCA公司的采集器規(guī)定每個數(shù)據(jù)包的大小在設(shè)計上不允許超過1 500 B。同時，現(xiàn)在的測試參數(shù)都是高采樣率，在這樣的測試系統(tǒng)條件下，一個網(wǎng)絡(luò)數(shù)據(jù)包可記錄的參數(shù)量非常有限，必然會產(chǎn)生惟一標示的單個網(wǎng)絡(luò)數(shù)據(jù)包的個數(shù)激增。
1．4 網(wǎng)絡(luò)數(shù)據(jù)包非結(jié)構(gòu)化
網(wǎng)絡(luò)數(shù)據(jù)包具有典型的非結(jié)構(gòu)化。在采集器端，按照測試系統(tǒng)的配置采集參數(shù)，并形成網(wǎng)絡(luò)數(shù)據(jù)包。對于交換機而言，單個網(wǎng)絡(luò)數(shù)據(jù)包的到來和發(fā)送沒有完整的規(guī)則。在記錄器上記錄的原始網(wǎng)絡(luò)數(shù)據(jù)包數(shù)據(jù)，在數(shù)據(jù)包的排列順序上是無序的，數(shù)據(jù)包的周期是不確定的。不能準確預測到下一個網(wǎng)絡(luò)數(shù)據(jù)包到來的順序和時間。
2 網(wǎng)絡(luò)數(shù)據(jù)處理方法
針對以上網(wǎng)絡(luò)數(shù)據(jù)包的特點：最新的網(wǎng)絡(luò)數(shù)據(jù)包格式和記錄格式，海量的原始數(shù)據(jù)，數(shù)目龐大的測試參數(shù)，典型的非結(jié)構(gòu)化，以及上千萬、上億的單個網(wǎng)絡(luò)數(shù)據(jù)包。根據(jù)飛行試驗的特點，必須在盡可能短的時間內(nèi)給出飛行試驗的數(shù)據(jù)分析結(jié)果，以便試飛工程師安排接下來的飛行試驗。
2．1 內(nèi)存映射文件
內(nèi)存映射文件，是由一個文件到一塊內(nèi)存的映射。WIN32提供了允許應用程序把文件映射到一個進程的函數(shù)(CreateFileMapping)。使用內(nèi)存映射文件處理存儲于磁盤上的文件時，將不必再對文件執(zhí)行I／O操作，使得內(nèi)存映射文件在處理大數(shù)據(jù)量的文件時能起到相當重要的作用。在處理飛行試驗海量網(wǎng)絡(luò)數(shù)據(jù)時，需不斷地提取數(shù)據(jù)的，進行判斷、跳過等文件操作。如果按照以往的文件指針模式去提取網(wǎng)絡(luò)數(shù)據(jù)，在數(shù)據(jù)處理效率上有可能不能滿足飛行試驗海量網(wǎng)絡(luò)數(shù)據(jù)處理的需求。針對快速讀取海量原始網(wǎng)絡(luò)數(shù)據(jù)，內(nèi)存映射文件模式提供了解決方法。
2．2 時間矩陣同步分析算法
針對飛行試驗原始網(wǎng)絡(luò)數(shù)據(jù)，每個單獨的網(wǎng)絡(luò)數(shù)據(jù)包總是有時間標識的。這些時間標識在整個原始文件中又是無序存放的。飛行試驗的科目所需要的數(shù)據(jù)往往存在于多個網(wǎng)絡(luò)數(shù)據(jù)包中，這些網(wǎng)絡(luò)數(shù)據(jù)包中的數(shù)據(jù)往往不會是同一時刻采集的，也就是說網(wǎng)絡(luò)數(shù)據(jù)包的時間標識不會是同時刻的。針對網(wǎng)絡(luò)數(shù)據(jù)包的這些特性，為快速進行網(wǎng)絡(luò)數(shù)據(jù)包的時統(tǒng)分析，設(shè)計了時間矩陣同步分析算法。
如圖2網(wǎng)絡(luò)數(shù)據(jù)包時間順序所示，原始網(wǎng)絡(luò)數(shù)據(jù)包的時間在順序上是無序的。本文引用地址：http://m.butianyuan.cn/article/194778.htm
評論