嵌入式分布系統(tǒng)中網(wǎng)絡(luò)設(shè)備的時(shí)間同步

引言

　　隨著我國(guó)航天事業(yè)的飛速發(fā)展，將逐步構(gòu)建多群、多任務(wù)、多功能相對(duì)獨(dú)立的測(cè)控計(jì)算機(jī)結(jié)構(gòu)體系。由于實(shí)現(xiàn)功能的不同，系統(tǒng)的組織結(jié)構(gòu)與操作系統(tǒng)也千差萬(wàn)別，對(duì)時(shí)間精度的要求很不相同。整個(gè)系統(tǒng)必須在統(tǒng)一的時(shí)間尺度下進(jìn)行工作，因此各節(jié)點(diǎn)之間時(shí)間的統(tǒng)一具有必要性；另一方面，當(dāng)今世界寬帶網(wǎng)絡(luò)飛速發(fā)展，各種支持網(wǎng)絡(luò)系統(tǒng)也越來(lái)越多，各個(gè)網(wǎng)絡(luò)系統(tǒng)之間互聯(lián)也需要高精度、通用的時(shí)間同步。在這種狀況下，如何探索和研制簡(jiǎn)便、可靠、準(zhǔn)確和通用的網(wǎng)絡(luò)授時(shí)系統(tǒng)就成為迫切需要解決的問(wèn)題。

　　要實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備時(shí)間同步，主要完成兩方面的工作內(nèi)容：第一，通過(guò)某種授時(shí)方式獲取精確時(shí)間；第二，將精確時(shí)間同步到網(wǎng)絡(luò)中的每一臺(tái)設(shè)備，這也是網(wǎng)絡(luò)時(shí)間同步系統(tǒng)的設(shè)計(jì)難點(diǎn)。

　　本文將要介紹的是一種基于嵌入式實(shí)時(shí)操作系統(tǒng)VxWorks的NTP網(wǎng)絡(luò)授時(shí)服務(wù)器，其內(nèi)核響應(yīng)速度快，可以方便地支持實(shí)時(shí)處理，克服了以往開(kāi)發(fā)網(wǎng)絡(luò)授時(shí)服務(wù)器的弊端。本文介紹了NTP服務(wù)器的原理、系統(tǒng)總體任務(wù)及其通信機(jī)制設(shè)計(jì)，并針對(duì)NTP協(xié)議運(yùn)行在VxWorks下的一些問(wèn)題進(jìn)行了相應(yīng)的改進(jìn)，同時(shí)通過(guò)性能測(cè)試分析表明本系統(tǒng)的有效性。

1　NTP工作原理

1.1　NTP協(xié)議

　　NTP協(xié)議是通過(guò)網(wǎng)絡(luò)的通信來(lái)實(shí)現(xiàn)計(jì)算機(jī)時(shí)鐘的同步，而數(shù)據(jù)本身在網(wǎng)絡(luò)上的傳輸也是需要時(shí)間的。因此，要獲得準(zhǔn)確的當(dāng)前時(shí)間，就必須考慮網(wǎng)絡(luò)延遲造成的影響。實(shí)際上，可通過(guò)計(jì)算報(bào)文的來(lái)回程時(shí)間來(lái)估計(jì)網(wǎng)絡(luò)延遲。網(wǎng)絡(luò)時(shí)間同步的最主要問(wèn)題是，如何獲得當(dāng)前的準(zhǔn)確時(shí)間。NTP通過(guò)一系列同步算法選擇精確時(shí)間，規(guī)避網(wǎng)絡(luò)延遲，保證網(wǎng)絡(luò)時(shí)間同步的安全性。

　　NTP 協(xié)議支持3種對(duì)時(shí)工作方式。

① 主從模式(Server/Client mode)：用戶向一個(gè)或幾個(gè)服務(wù)器提出服務(wù)請(qǐng)求，根據(jù)所交換的信息計(jì)算兩地時(shí)間偏差和網(wǎng)絡(luò)延遲，從中選擇認(rèn)為最準(zhǔn)確的時(shí)間偏差并調(diào)整本地的時(shí)鐘。

② 廣播模式(Multicast/Broadcast mode)：此種模式適用于高速的局域網(wǎng)中。局域網(wǎng)中的一個(gè)或多個(gè)服務(wù)器以固定的時(shí)間周期向某個(gè)多播地址廣播自己的時(shí)標(biāo)，客戶端不計(jì)算時(shí)間偏差和網(wǎng)絡(luò)延遲，直接用接收到的時(shí)標(biāo)修正自己的時(shí)鐘，忽略各種誤差。

③ 對(duì)稱模式(Symmetric mode)：兩個(gè)以上的時(shí)間服務(wù)器互為主從進(jìn)行時(shí)間消息的通信，相互校正對(duì)方的時(shí)間以維持整個(gè)同步子網(wǎng)的時(shí)間一致性。

　　根據(jù)本系統(tǒng)的特點(diǎn)，最終確定選用主從模式。因?yàn)橄到y(tǒng)中各個(gè)子系統(tǒng)的結(jié)構(gòu)和功能是完全相同的，所以只需要先實(shí)現(xiàn)一個(gè)子節(jié)點(diǎn)的服務(wù)，就可以以相同的方法實(shí)現(xiàn)所有子節(jié)點(diǎn)的時(shí)鐘同步。

1.2　NTP原理與實(shí)現(xiàn)

　　本系統(tǒng)的NTP協(xié)議的對(duì)時(shí)工作是在主從工作方式下實(shí)現(xiàn)。NTP算法首先就要根據(jù)服務(wù)器和客戶端的往返報(bào)文來(lái)確定兩地時(shí)鐘的差值和報(bào)文在網(wǎng)絡(luò)中傳輸?shù)难舆t。這里定義，客戶端和時(shí)間服務(wù)器之間的時(shí)間偏差（offset）用希臘字母θ表示，對(duì)時(shí)過(guò)程中的網(wǎng)絡(luò)路徑延遲（delay）用希臘字母δ表示。

　　假設(shè)子節(jié)點(diǎn)A要向服務(wù)器方B請(qǐng)求時(shí)間服務(wù)。A首先要生成一個(gè)標(biāo)準(zhǔn)的NTP查詢信息包，通過(guò)網(wǎng)絡(luò)發(fā)送到B。B收到查詢信息包后，根據(jù)自己的本地時(shí)間，生成一個(gè)標(biāo)準(zhǔn)的NTP時(shí)間信息包，通過(guò)網(wǎng)絡(luò)發(fā)回給A。分布式系統(tǒng)中的NTP實(shí)現(xiàn)原理圖如圖1所示。

圖1　分布式系統(tǒng)中NTP實(shí)現(xiàn)原理圖

　　其中，T1為子節(jié)點(diǎn)A發(fā)送查詢請(qǐng)求時(shí)間，T2為服務(wù)器B收到查詢請(qǐng)求時(shí)間，T3為服務(wù)器B回復(fù)時(shí)間信息包時(shí)間，T4為子節(jié)點(diǎn)A接收到的時(shí)間信息包時(shí)間，T1、T2、T3和T4以客戶方的時(shí)間系統(tǒng)為參照，δ1為請(qǐng)求信息在網(wǎng)上傳播所消耗的時(shí)間，δ2為回復(fù)信息在網(wǎng)上傳播所消耗的時(shí)間。

　　其過(guò)程如下：

① 客戶端首先向時(shí)間服務(wù)器發(fā)送一個(gè)NTP 數(shù)據(jù)包，同時(shí)在數(shù)據(jù)包上打上客戶端本機(jī)的發(fā)送時(shí)間戳T1；
② 服務(wù)器接收到客戶NTP 數(shù)據(jù)包后，同時(shí)在數(shù)據(jù)包上打上服務(wù)器本機(jī)的接收時(shí)間戳T2；
③ 服務(wù)器向客戶返回NTP 數(shù)據(jù)包后，同時(shí)在數(shù)據(jù)包上打上服務(wù)器本機(jī)的發(fā)送時(shí)間戳T3；
④ 客戶端接收到服務(wù)器返回的NTP 數(shù)據(jù)包，同時(shí)在數(shù)據(jù)包上打上客戶端接收時(shí)間戳T4。

　　當(dāng)完成了整個(gè)過(guò)程之后，客戶端就擁有了4個(gè)時(shí)間T1~T4，并通過(guò)他們算出A與B時(shí)間上的差值，用以參考并調(diào)整客戶方時(shí)鐘。

　　這里設(shè)定服務(wù)器的時(shí)鐘是準(zhǔn)確的，服務(wù)器和客戶端時(shí)鐘的時(shí)間偏差是θ，從客戶端發(fā)送報(bào)文到服務(wù)器端的路徑延遲是δ1，從服務(wù)器到客戶端的路徑延遲是δ2，路徑延遲總和是δ. 那么可以列出3個(gè)方程式：


　　假設(shè)從客戶端到服務(wù)器的路徑延遲和從服務(wù)器到客戶端的路徑延遲相等，即δ1=δ2=δ/2 ，以上3個(gè)方程式變?yōu)椋?br />

　　可以求出，服務(wù)器和客戶端時(shí)鐘的時(shí)間偏差θ=[(T2-T1)+(T3-T4)]/2，客戶端與服務(wù)器總的網(wǎng)絡(luò)路徑延遲δ=(T4-T1)-(T3-T2)。

圖2　NTP時(shí)間偏差與網(wǎng)絡(luò)延時(shí)

　　服務(wù)器和客戶端之間的時(shí)間差異可以從圖2中看出。

　　在知道了如何用NTP 算法計(jì)算精確的時(shí)間偏差值后，需要使用時(shí)間偏差值來(lái)調(diào)整本地時(shí)鐘的時(shí)間，才算完成了NTP 時(shí)間同步的全部工作。

2　分布式系統(tǒng)整體架構(gòu)及實(shí)現(xiàn)

2.1　分布式系統(tǒng)架構(gòu)

　　目前課題的整個(gè)系統(tǒng)是由5塊相同的嵌入式開(kāi)發(fā)板組成，硬件平臺(tái)是PowerPC MPC8548ERM，移植的操作系統(tǒng)為VxWorks 5.5，開(kāi)發(fā)板之間的連接通信目前實(shí)現(xiàn)了3種方式，即以太網(wǎng)、串口和Rapid IO方式，本方案時(shí)間同步協(xié)議的實(shí)現(xiàn)是基于以太網(wǎng)通信介質(zhì)的。其中一塊開(kāi)發(fā)板作為時(shí)間服務(wù)器，并通過(guò)串口和上位機(jī)相連接，以實(shí)現(xiàn)通過(guò)上位機(jī)來(lái)控制整個(gè)分布式系統(tǒng)。NTP網(wǎng)絡(luò)分布式系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3　NTP網(wǎng)絡(luò)分布式系統(tǒng)結(jié)構(gòu)

　　本課題目前基于UDP協(xié)議實(shí)現(xiàn)分布式系統(tǒng)中NTP協(xié)議的時(shí)間同步。

2.2　NTP設(shè)計(jì)實(shí)現(xiàn)

　　由于整個(gè)系統(tǒng)是獨(dú)立的分布式系統(tǒng)，整個(gè)系統(tǒng)對(duì)絕對(duì)時(shí)間的要求不高，只需要各子系統(tǒng)之間的相對(duì)時(shí)間達(dá)到一致即可。所以首先需要確立一個(gè)子系統(tǒng)作為服務(wù)器端，此端受上位機(jī)系統(tǒng)的控制。系統(tǒng)運(yùn)行時(shí)，通過(guò)上位機(jī)向此服務(wù)器端發(fā)送預(yù)設(shè)的時(shí)鐘值，此時(shí)鐘源就作為整個(gè)分布式系統(tǒng)的參考時(shí)鐘源。 而其他子系統(tǒng)作為客戶端，可以在合適的時(shí)候向服務(wù)器申請(qǐng)時(shí)間校準(zhǔn)服務(wù)。

　　NTP服務(wù)器上的時(shí)間戳為從1900年1月1日0時(shí)0分至今的秒數(shù)(UTC時(shí)間)。而子節(jié)點(diǎn)獲取的時(shí)間戳為1970年1月1日0時(shí)0分至今的秒數(shù)(程序中的time(NULL)返回的是UTC時(shí)間)。所以，要對(duì)子節(jié)點(diǎn)的時(shí)間戳與服務(wù)器時(shí)間戳計(jì)算時(shí)，需在子節(jié)點(diǎn)的時(shí)間戳基礎(chǔ)上加上1900~1970年的秒數(shù)：3 600 s×24×(365×70+17)。

　　在程序?qū)崿F(xiàn)中，每隔固定的一段時(shí)間子節(jié)點(diǎn)就需要進(jìn)行時(shí)鐘校對(duì)。校對(duì)時(shí)，子節(jié)點(diǎn)首先需要調(diào)用系統(tǒng)底層提供的本地時(shí)間查詢函數(shù)，得到當(dāng)前系統(tǒng)準(zhǔn)確時(shí)間，然后將此時(shí)鐘數(shù)據(jù)打包成專用的NTP數(shù)據(jù)格式，形成時(shí)間查詢包，再通過(guò)已經(jīng)搭建好的如圖3所示的分布式網(wǎng)絡(luò)環(huán)境，將時(shí)間查詢包發(fā)送到服務(wù)器端。

　　時(shí)鐘服務(wù)器端在接收到客戶端發(fā)送來(lái)的時(shí)間查詢包的時(shí)候，將調(diào)用本地時(shí)鐘查詢函數(shù)來(lái)記錄此時(shí)間請(qǐng)求數(shù)據(jù)包到達(dá)的精確時(shí)間，然后根據(jù)NTP 協(xié)議的實(shí)現(xiàn)原理，再次調(diào)用系統(tǒng)時(shí)間來(lái)形成用以回饋給客戶端的時(shí)間信息包，并同時(shí)將時(shí)間信息包發(fā)回客戶端。當(dāng)客戶端收到此時(shí)間信息包后，即可根據(jù)NTP的時(shí)間計(jì)算和校準(zhǔn)公式來(lái)計(jì)算網(wǎng)絡(luò)延時(shí)和與服務(wù)器的時(shí)間差值，并在規(guī)定的時(shí)間范圍內(nèi)實(shí)現(xiàn)自身的時(shí)鐘同步。此即一次完整的時(shí)間校準(zhǔn)過(guò)程。程序設(shè)計(jì)流程如圖4所示。

圖4　NTP程序設(shè)計(jì)流程

　　在子系統(tǒng)軟件對(duì)服務(wù)器返回的時(shí)間信息包進(jìn)行分析的過(guò)程中，還要進(jìn)行網(wǎng)絡(luò)時(shí)延的估計(jì)。這一部分的設(shè)計(jì)對(duì)于提高時(shí)間同步的精度至關(guān)重要，因此在軟件設(shè)計(jì)前需要對(duì)網(wǎng)絡(luò)狀態(tài)和時(shí)延數(shù)據(jù)進(jìn)行大量的統(tǒng)計(jì)分析，以確定較好的時(shí)延補(bǔ)償方法。

3　性能評(píng)估

　　由系統(tǒng)測(cè)試獲得，服務(wù)器和客戶端兩端的運(yùn)行時(shí)的時(shí)鐘數(shù)據(jù)有：T1=1970010100:00:00:583， 轉(zhuǎn)化后為0 s+583 ms；T2=2011082216:17:21:368， 轉(zhuǎn)化后為1 314 029 841 s+368 ms；T3=2011082216:17:23:568， 轉(zhuǎn)化后為1 314 029 843 s+568 ms；T4=1970010100:00:02:799， 轉(zhuǎn)化后為2 s 799 ms。

　　為了計(jì)算和時(shí)間校對(duì)的方便，程序會(huì)將時(shí)鐘數(shù)值單位轉(zhuǎn)換成s和ms。
　　根據(jù)公式可以計(jì)算出:
① 時(shí)鐘的時(shí)間偏差θ=[(T2-T1)+(T3-T4)]/2=1 314 029 840.776 s。
② 客戶端與服務(wù)器平均網(wǎng)絡(luò)路徑延遲δ=[(T4-T1)-(T3-T2)]/2=8 ms。

　　在請(qǐng)求時(shí)間同步的客戶端計(jì)算出時(shí)間偏差值和網(wǎng)絡(luò)路徑延時(shí)后，會(huì)根據(jù)設(shè)置的閾值進(jìn)行參考比對(duì)。如果計(jì)算所得值在閾值范圍內(nèi)，則進(jìn)行本地時(shí)鐘的調(diào)整；如果所得值超出了這個(gè)閾值范圍，則認(rèn)為這個(gè)時(shí)間信息有誤或者沒(méi)有必要進(jìn)行本地時(shí)鐘值的調(diào)整，即不進(jìn)行時(shí)鐘調(diào)整。

　　有關(guān)資料中對(duì)10 000次校時(shí)請(qǐng)求的往返網(wǎng)絡(luò)時(shí)延進(jìn)行統(tǒng)計(jì)，90％以上的網(wǎng)絡(luò)時(shí)延不到1 ms，引起的網(wǎng)絡(luò)延時(shí)誤差小于±1 ms。在實(shí)際的測(cè)量過(guò)程中，系統(tǒng)時(shí)間的測(cè)量誤差一般為±10 ms。因此，測(cè)量誤差為影響結(jié)果的主要因素。另一方面，對(duì)于偶然出現(xiàn)的網(wǎng)絡(luò)時(shí)延較大的情況，應(yīng)該在程序中設(shè)置網(wǎng)絡(luò)時(shí)延箝位值δ0，即當(dāng)δ>δ0時(shí)丟棄該時(shí)間信息包，重新發(fā)送校時(shí)請(qǐng)求，從而起到保證校時(shí)精度的作用。

　　對(duì)10 000次校時(shí)請(qǐng)求計(jì)算出的時(shí)差值進(jìn)行統(tǒng)計(jì)后得出，相對(duì)于其均值，時(shí)差值大約分布在±50 ms區(qū)間范圍內(nèi)，形成一條單一斜率的曲線。通常，為了避免由于校時(shí)間隔較小形成校時(shí)頻繁，應(yīng)根據(jù)時(shí)差走勢(shì)圖在程序中設(shè)置時(shí)差箝位值θ0，即當(dāng)θ θ0時(shí)，不對(duì)本地時(shí)鐘進(jìn)行更新，直接退出。

　　由實(shí)際的測(cè)試數(shù)據(jù)可以看出本設(shè)計(jì)方案能符合應(yīng)用需求。

4總結(jié)

　　本文研究和討論了NTP服務(wù)器的任務(wù)設(shè)計(jì)方案和服務(wù)器實(shí)現(xiàn)的關(guān)鍵算法。系統(tǒng)選用WindRiver公司開(kāi)發(fā)的嵌入式實(shí)時(shí)操作系統(tǒng)VxWorks以及高性能處理器PowerPc MPC8548ERM，穩(wěn)定性有了明顯的提高，保證了服務(wù)器系統(tǒng)能夠長(zhǎng)時(shí)間持續(xù)工作。網(wǎng)絡(luò)時(shí)間服務(wù)系統(tǒng)的構(gòu)建并不復(fù)雜，但要保證達(dá)到較高的授時(shí)精度，不僅需要對(duì)網(wǎng)絡(luò)時(shí)延估計(jì)進(jìn)行深入的分析和研究，而且建立時(shí)間服務(wù)器網(wǎng)絡(luò)授時(shí)體系也是非常必要的。多個(gè)時(shí)間服務(wù)器在不同的區(qū)域的合理分布，能有效保證廣域網(wǎng)的授時(shí)精度。