基于網(wǎng)絡(luò)設(shè)備的網(wǎng)頁過濾的設(shè)計(jì)

在網(wǎng)頁過濾技術(shù)中，URL 過濾是普遍采用的過濾方式，因?yàn)槠湓O(shè)計(jì)實(shí)現(xiàn)非常簡(jiǎn)單，速度快、效率高；但是互聯(lián)網(wǎng)是動(dòng)態(tài)的，每天有數(shù)以萬計(jì)的新的網(wǎng)頁出現(xiàn)，URL 名單的更新速度往往跟不上；如果單純的采用URL 過濾，會(huì)造成過濾的遺漏

　　內(nèi)容過濾能夠?qū)崿F(xiàn)實(shí)時(shí)的網(wǎng)頁內(nèi)容防護(hù)，過濾比較準(zhǔn)確，但是因?yàn)閮?nèi)容過濾過程比較復(fù)雜，處理量如果過大，會(huì)造成用戶上網(wǎng)的明顯延遲。

　　設(shè)計(jì)的方法是基于網(wǎng)絡(luò)層的網(wǎng)頁過濾方法，在網(wǎng)絡(luò)設(shè)備上實(shí)現(xiàn)對(duì)網(wǎng)頁的過濾。采用URL 過濾與內(nèi)容過濾相結(jié)合的方式，取安全與性能的折中。

　　1 網(wǎng)頁過濾總體框架

　　一臺(tái)主機(jī)要訪問Web 服務(wù)器，首先與Web 服務(wù)器進(jìn)行三次握手，建立TCP 連接；然后向Web 服務(wù)器發(fā)送請(qǐng)求報(bào)文，其中包含用戶訪問的URL，Web 服務(wù)器在收到請(qǐng)求報(bào)文后，會(huì)發(fā)送應(yīng)答報(bào)文給客戶主機(jī)，因此過濾流程框架可按如下設(shè)計(jì)：

　?、僭?a class="contentlabel" href="http://m.butianyuan.cn/news/listbylabel/label/網(wǎng)絡(luò)設(shè)備">網(wǎng)絡(luò)設(shè)備中*用戶的數(shù)據(jù)包，檢測(cè)到HTTP 請(qǐng)求報(bào)文[3]，則分析該報(bào)文中嵌入的網(wǎng)頁地址信息（即URL），提取出URL 信息，對(duì)其進(jìn)行在黑白名單中進(jìn)行匹配分析，根據(jù)匹配結(jié)果給予是否通過；②內(nèi)容過濾采用“第一次放過”的策略，即第一次對(duì)未知URL 的返回報(bào)文僅做內(nèi)容檢查。收集服務(wù)器返回的HTTP響應(yīng)報(bào)文，提取出應(yīng)用層信息，組成完整的HTML 文檔，進(jìn)行內(nèi)容過濾，根據(jù)判定結(jié)果進(jìn)行相應(yīng)的操作，整體過濾步驟如圖1 所示。

圖1 過濾模型

　　2 URL 過濾

　　2.1 相關(guān)定義

　　白（黑）名單：在該名單中的URL，必定是合（非）法的地址信息；未在該名單中的網(wǎng)址的合法性未知。

　　2.2 黑白名單機(jī)制的設(shè)計(jì)

　　URL 過濾框架的設(shè)計(jì)是基于兩個(gè)事實(shí)：

　?、僖蛱鼐W(wǎng)統(tǒng)計(jì)表明，超過80%的用戶經(jīng)常訪問的是20%的網(wǎng)頁內(nèi)容；②大多數(shù)用戶在多數(shù)時(shí)間內(nèi)訪問的是合法信息的網(wǎng)頁。

　　基于上述事實(shí)一，設(shè)計(jì)白名單時(shí)，僅存放經(jīng)常訪問的合法網(wǎng)站地址信息。這樣設(shè)計(jì)可以保證在進(jìn)行URL 匹配時(shí)，能夠快速高效地判斷該網(wǎng)頁地址是否在高頻白名單中。對(duì)于一段時(shí)間內(nèi)訪問頻率不高的網(wǎng)頁，采用老化機(jī)制將其從名單中移除。

　　基于上述事實(shí)二，設(shè)計(jì)將URL 白名單放在黑名單之前，若采用黑名單在前的方式，將會(huì)浪費(fèi)大量時(shí)間去查找黑名單，而在大多數(shù)時(shí)間內(nèi)，這些查找是不必要的。

　　2.3 URL 過濾

　　URL 過濾過程有：

　?、贆z測(cè)通過網(wǎng)絡(luò)設(shè)備的報(bào)文，發(fā)現(xiàn)是HTTP 的GET 方法請(qǐng)求報(bào)文，提取其中攜帶的URL 信息，若與高頻名單中的條目匹配，表示該URL 為合法，給予通過，并將該條目的統(tǒng)計(jì)計(jì)數(shù)加1；②若在白名單中沒有匹配，則繼續(xù)和黑名單中的條目進(jìn)行匹配。如果匹配成功，則斷開該TCP 鏈接，并且該匹配條目的統(tǒng)計(jì)計(jì)數(shù)加1；③若匹配失敗，則進(jìn)行內(nèi)容，根據(jù)內(nèi)容過濾的結(jié)果將URL添加到相應(yīng)名單中。

　　2.4 黑白名單老化機(jī)制

　　黑白名單老化機(jī)制步驟如下：

　?、儆?jì)算名單中URL 條目訪問次數(shù)的平均值M，計(jì)算公式如公式1：

　　其中n 為表中的URL 條目數(shù)，mi為第i 個(gè)條目的統(tǒng)計(jì)計(jì)數(shù)值；②將老化閾值設(shè)為該平均值；③遍歷所有的URL 條目，檢查每個(gè)URL 條目的統(tǒng)計(jì)計(jì)數(shù)，若高于老化閾值，則將其保留在名單中，并且將統(tǒng)計(jì)計(jì)數(shù)值0，如果低于老化閾值，則將其剔除。