非結構化海量網絡數(shù)據(jù)處理技術研究

摘要：為實現(xiàn)網絡化測試系統(tǒng)下非結構化海量網絡數(shù)據(jù)的快速分析處理，在關鍵的算法和系統(tǒng)化集成處理方面提出解決方法。采用內存映射文件方式快速讀取海量數(shù)據(jù)，并設計了時間矩陣算法，用以快速進行同步分析處理；應用分布式中間件方式實現(xiàn)海量數(shù)據(jù)的并發(fā)處理和數(shù)據(jù)分發(fā)，對飛行試驗采集的網絡數(shù)據(jù)進行了分析處理，使用這些算法的數(shù)據(jù)處理軟件，可以使處理效率滿足飛行試驗海量網絡數(shù)據(jù)處理的需求。這些都為新一代機載采集系統(tǒng)應用于飛行試驗提供了技術保障。
關鍵詞：IENA；XNET／INET；PCAP；飛行試驗

飛行試驗數(shù)據(jù)處理是飛行試驗工程中非常重要的一個環(huán)節(jié)，是對各類試飛數(shù)據(jù)信息進行細致、充分和全面的分析與處理，數(shù)據(jù)處理結果是飛行試驗鑒定結論的核心依據(jù)。隨著計算機網絡技術在飛行試驗測試領域的深入應用，網絡化測試技術逐漸成為飛行試驗測試技術發(fā)展的另一個核心。同時隨著現(xiàn)代飛機設計技術的發(fā)展，飛機系統(tǒng)越來越復雜，飛行試驗科目、測試參數(shù)、測試數(shù)據(jù)種類以及測試數(shù)據(jù)總量越來越多。對飛行試驗數(shù)據(jù)處理從質量、速度以及數(shù)據(jù)安全性、可靠性等方面提出了更高的要求。機載網絡化測試系統(tǒng)架構技術應用于最新的飛機測試系統(tǒng)上，該系統(tǒng)采集記錄的網絡數(shù)據(jù)記錄了飛機一個飛行試驗起落的各類測試數(shù)據(jù)信息，新一代飛機測試參數(shù)總量激增，數(shù)據(jù)總量達到上百個GB。為縮短單架次飛行試驗周期，如何高效快捷地對這些非結構化的海量網絡數(shù)據(jù)包進行同步分析處理，方便科研人員的應用，就成為必須解決的實際問題。

1 網絡化機載測試系統(tǒng)飛行試驗數(shù)據(jù)的特點
在網絡化機載測試系統(tǒng)Kam4000中，網絡數(shù)據(jù)包從采集器通過二級交換機到記錄器。第一級交換機可以有多個，二級交換機作為系統(tǒng)的時鐘接入點、遙測數(shù)據(jù)和記錄器的接入點、系統(tǒng)配置文件的加載點，結構如圖1所示。網絡數(shù)據(jù)包被記錄器完整的記錄下來，在此需要分析的是記錄器記錄的完整的網絡數(shù)據(jù)。該網絡數(shù)據(jù)是有一個個網絡數(shù)據(jù)包組成，每個網絡數(shù)據(jù)包的格式根據(jù)采集器的不同可以是不同的。

1．1 與Kam500采集系統(tǒng)的差別
現(xiàn)在大量應用于飛行試驗的Kam500機載測試系統(tǒng)，采集記錄的飛行試驗數(shù)據(jù)格式為標準的PCM數(shù)據(jù)。PCM數(shù)據(jù)由重復出現(xiàn)的長幀組成，每個長幀的長度是固定的，每個長幀包含若干個短幀。網絡化機載測試系統(tǒng)Kam4000中，采集記錄的飛行試驗數(shù)據(jù)為網絡數(shù)據(jù)包格式。每個網絡數(shù)據(jù)包的大小都可以不同，并且每個網絡數(shù)據(jù)包中的參數(shù)個數(shù)也可以不同。
1．2 海量網絡數(shù)據(jù)包的格式
網絡化測試系統(tǒng)采用ARCA公司的最新采集器，采集記錄的數(shù)據(jù)格式根據(jù)采集器的不同可以是IENA，或XNET／INET網絡數(shù)據(jù)包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結構。而采用BCU140(XNET Ethernet Controller)支持XNET／INET的同時，也支持IEN-A。在網絡化測試系統(tǒng)中IENA和XNET／INET網絡數(shù)據(jù)包以EthernetⅡ協(xié)議廣播。根據(jù)記錄器的不同，記錄的網絡數(shù)據(jù)包結構可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式：
文件頭 數(shù)據(jù)包頭 數(shù)據(jù)包 數(shù)據(jù)包頭 數(shù)據(jù)包 …
IRIG106-10基本格式：
文件頭 特殊字頭 數(shù)據(jù)包 特殊字頭 數(shù)據(jù)包 …
根據(jù)飛行試驗的測試特性，參照以往的模擬量在飛行實驗中記錄數(shù)據(jù)的大小，如果參數(shù)量為5 000個，一定的飛行時間內記錄的飛行試驗數(shù)據(jù)為12 GB左右。隨著飛機系統(tǒng)的復雜性的增加，應用于飛行實驗的網絡化測試系統(tǒng)需測試的飛行試驗參數(shù)也越來越多，單架次的飛行試驗記錄的模擬量數(shù)據(jù)將是現(xiàn)在的4倍、5倍甚至更多。