非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)研究

假設(shè)PerCyc為6，則在1 s內(nèi)，平均提取6個時間點。以第二個時間點10為例，從圖中可以看到，某個實際的網(wǎng)絡(luò)數(shù)據(jù)包時間在10附近有08 s，09 s，12 s三點，那么在提取該網(wǎng)絡(luò)數(shù)據(jù)包的時候，比較后選擇09 s點數(shù)值為同步分析的結(jié)果數(shù)值。以此類推，對需要提取的網(wǎng)絡(luò)數(shù)據(jù)包在10 s點的數(shù)值都可以比較逼近獲得。
2．3 分布式應(yīng)用中間件網(wǎng)絡(luò)數(shù)據(jù)處理
以中間件形式(Active控件等)將網(wǎng)絡(luò)數(shù)據(jù)包接口軟件發(fā)布在分布式網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)中。該系統(tǒng)在數(shù)據(jù)管理、海量數(shù)據(jù)并發(fā)處理和數(shù)據(jù)分發(fā)等方面滿足海量飛行試驗數(shù)據(jù)處理需求，通過基于Web的飛行試驗數(shù)據(jù)處理子系統(tǒng)實現(xiàn)對所需數(shù)據(jù)信息的訪問。如圖4所示。
(1)客戶端ActiveX根據(jù)調(diào)度服務(wù)器列表中的IP及端口號循環(huán)嘗試建立Socket通信，發(fā)出計算請求；
(2)客戶端ActiveX與調(diào)度服務(wù)器建立連接后，調(diào)度服務(wù)器經(jīng)過負載均衡計算，返回給客戶端ActiveX一個計算服務(wù)器的IP及端口號；
(3)客戶端ActiveX與計算服務(wù)器建立Socket連接；
(4)客戶端ActiveX發(fā)出執(zhí)行計算命令；
(5)計算服務(wù)器接收到計算命令后，啟動確定的分布式中間件執(zhí)行分布式計算任務(wù)，并將狀態(tài)信息輸出到控制臺，計算服務(wù)器中的狀態(tài)監(jiān)控程序用管道技術(shù)將分布式中間件的輸出作為自己的輸入，并通過Socket方式返回給客戶端ActiveX；
(6)客戶端ActiveX接收任務(wù)執(zhí)行的狀態(tài)信息，顯示給用戶；
(7)當分布式中間件執(zhí)行完畢，計算服務(wù)器中的狀態(tài)監(jiān)控程序?qū)⒆詈蟮慕Y(jié)果文件通過Socket傳給客戶端ActiveX；
(8)客戶端ActiveX控件將文件保存至客戶端，分布式計算結(jié)束。

3 結(jié)語
本文由面及點地對網(wǎng)絡(luò)化測試系統(tǒng)中采集記錄的網(wǎng)絡(luò)數(shù)據(jù)進行了深層次的理解和多視角的剖析。同時為實現(xiàn)對非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)進行快速分析處理，對數(shù)據(jù)處理算法和數(shù)據(jù)處理軟件集成進行了研究，從接口軟件關(guān)鍵算法設(shè)計到數(shù)據(jù)系統(tǒng)集成提出了解決方法。并且這些方法已經(jīng)在飛行試驗海量網(wǎng)絡(luò)數(shù)據(jù)處理軟件的設(shè)計過程中應(yīng)用，通過對飛行試驗中采集的網(wǎng)絡(luò)數(shù)據(jù)進行分析處理，使用這些算法的飛行試驗海量網(wǎng)絡(luò)數(shù)據(jù)處理軟件的處理效率滿足飛行試驗海量網(wǎng)絡(luò)數(shù)據(jù)處理需求，解決了在飛行試驗中的非結(jié)構(gòu)海量網(wǎng)絡(luò)數(shù)據(jù)快速分析處理問題，為新一代機載網(wǎng)絡(luò)化測試系統(tǒng)應(yīng)用于飛行試驗提供了技術(shù)保障。國外許多航空公司已經(jīng)在飛行試驗中應(yīng)用網(wǎng)絡(luò)化測試系統(tǒng)，對非結(jié)構(gòu)海量網(wǎng)絡(luò)數(shù)據(jù)分析處理技術(shù)也在進行研究。