分布式數(shù)據(jù)采集系統(tǒng)中的時(shí)鐘同步

分布式數(shù)據(jù)采集系統(tǒng)中的時(shí)鐘同步

在高速數(shù)據(jù)傳輸?shù)姆植际綌?shù)據(jù)采集系統(tǒng)中，各個(gè)組成單元間的時(shí)鐘同步是保證系統(tǒng)正常工作的關(guān)鍵。由于系統(tǒng)工作于局域網(wǎng)，于是借鑒了IEEE1588時(shí)鐘同步協(xié)議的原理，設(shè)計(jì)出簡(jiǎn)易、高效的時(shí)鐘同步方案，并在基于局域網(wǎng)的分布式數(shù)據(jù)采集系統(tǒng)中實(shí)現(xiàn)微秒級(jí)的精確同步。鑒于方案的高可行性和高效性，可將其推廣到其他分布式局域網(wǎng)系統(tǒng)中。

關(guān)鍵詞? 分布式數(shù)據(jù)采集系統(tǒng)? 時(shí)鐘同步? IEEE1588? FPGA

引言

　　隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，各種分布式的網(wǎng)絡(luò)和局域網(wǎng)都得到了廣泛的應(yīng)用[1]。分布式數(shù)據(jù)采集系統(tǒng)廣泛應(yīng)用于船舶、飛機(jī)等采集數(shù)據(jù)多、實(shí)時(shí)性要求較高的地方。同步采集是這類分布式數(shù)據(jù)采集系統(tǒng)的一個(gè)重要要求，數(shù)據(jù)采集的實(shí)時(shí)性、準(zhǔn)確性和系統(tǒng)的高效性都要求系統(tǒng)能進(jìn)行實(shí)時(shí)數(shù)據(jù)通信。因此，分布式數(shù)據(jù)采集系統(tǒng)中的一個(gè)關(guān)鍵技術(shù)就是實(shí)現(xiàn)數(shù)據(jù)的同步傳輸。

　　由于產(chǎn)生時(shí)鐘的晶振具有頻率漂移的特性，故對(duì)于具有多個(gè)采集終端的分布式系統(tǒng)，如果僅僅在系統(tǒng)啟動(dòng)時(shí)進(jìn)行一次同步，數(shù)據(jù)的同步傳輸將會(huì)隨著系統(tǒng)運(yùn)行時(shí)間的增長(zhǎng)而失步。因此時(shí)鐘的同步就是保證數(shù)據(jù)同步傳輸?shù)年P(guān)鍵所在。2002年提出的IEEE1588標(biāo)準(zhǔn)旨在解決網(wǎng)絡(luò)的時(shí)鐘同步問題。它制定了將分散在測(cè)量和控制系統(tǒng)內(nèi)的分離節(jié)點(diǎn)上獨(dú)立運(yùn)行的時(shí)鐘，同步到一個(gè)高精度和高準(zhǔn)確度時(shí)鐘上的協(xié)議。

　　由于分布式數(shù)據(jù)采集系統(tǒng)工作于局域網(wǎng)的環(huán)境中，于是借鑒IEEE1588標(biāo)準(zhǔn)中的思想，設(shè)計(jì)出一種針對(duì)基于局域網(wǎng)的分布式系統(tǒng)的時(shí)鐘同步的機(jī)制，成功地在分布式數(shù)據(jù)采集系統(tǒng)中實(shí)現(xiàn)了μs級(jí)的同步。

1? 時(shí)鐘同步原理及實(shí)現(xiàn)

　　時(shí)鐘同步原理借鑒了IEEE1588協(xié)議中的同步原理。IEEE1588 定義了一個(gè)在工業(yè)自動(dòng)化系統(tǒng)中的精確同步時(shí)鐘協(xié)議(PTP 協(xié)議)，該協(xié)議與網(wǎng)絡(luò)交流、本地計(jì)算和分配對(duì)象有關(guān)。IEEE1588 時(shí)鐘協(xié)議規(guī)定，在進(jìn)行時(shí)鐘同步時(shí),先由主設(shè)備通過多播形式發(fā)出時(shí)鐘同步報(bào)文,所有與主設(shè)備在同一個(gè)域中的設(shè)備都將收到該同步報(bào)文。從設(shè)備收到同步報(bào)文后,根據(jù)同步報(bào)文中的時(shí)間戳和主時(shí)鐘到從時(shí)鐘的線路延時(shí)計(jì)算出與主時(shí)鐘的偏差,對(duì)本地的時(shí)鐘進(jìn)行調(diào)整[2]。

　　系統(tǒng)由各個(gè)單元的系統(tǒng)控制板（簡(jiǎn)稱“系統(tǒng)板”）來完成同步的工作。同步模型與IEEE1588時(shí)鐘協(xié)議一致，采用主從結(jié)構(gòu)。主從單元采用相同頻率的晶振，此時(shí)時(shí)鐘同步的關(guān)鍵就是解決時(shí)鐘相位對(duì)準(zhǔn)問題和時(shí)鐘漂移的問題。

　　系統(tǒng)中采用的時(shí)間同步算法，是借鑒IEEE1588的同步原理，主要是采用約定固定周期同步的算法。和IEEE1588同步算法一樣，同步過程分為兩個(gè)階段: 延遲測(cè)量階段和偏移測(cè)量階段。下面以一主一從模式為例介紹其原理。

1.1? 延遲測(cè)量

　　延遲測(cè)量階段用來測(cè)量網(wǎng)絡(luò)傳輸造成的延遲時(shí)間[3]。定義一個(gè)延遲請(qǐng)求信息包(Delay Request Packet) ,簡(jiǎn)稱“Delay_Req”。延遲測(cè)量示意圖如圖1所示。

圖1? 延遲測(cè)量示意圖

　　為了簡(jiǎn)化程序，采用固定的周期測(cè)量網(wǎng)絡(luò)延遲，一般系統(tǒng)每工作一個(gè)小時(shí)進(jìn)行一次測(cè)量。從屬時(shí)鐘TSd 時(shí)刻發(fā)出延遲請(qǐng)求信息包Delay_Req ,主時(shí)鐘收到Delay_ Req 后再立刻返回一個(gè)延時(shí)響應(yīng)包delay_back發(fā)送給從屬時(shí)鐘,因此從屬時(shí)鐘就可以非常準(zhǔn)確地計(jì)算出網(wǎng)絡(luò)延時(shí):

　　TM2 →TS2∶Delay1 = TS2-Offset-TM2 TS3 →TM3∶Delay2 = TM3-(TS3 - Offset)

　　其中的Offset為從時(shí)鐘與主時(shí)鐘之間的時(shí)間偏差。

　　因?yàn)榫W(wǎng)絡(luò)延遲時(shí)間是對(duì)稱相等的,所以:

　　Delay =（Delay1 + Delay2）/2=（（TS2-TM2）+（TM3-TS3））/2

　　需要說明的是,在這個(gè)測(cè)量過程中,假設(shè)傳輸介質(zhì)是對(duì)稱均勻的，且線路是對(duì)稱的[4]。

1.2? 時(shí)鐘修正

　　時(shí)鐘修正用來修正主時(shí)鐘和從屬時(shí)鐘的時(shí)間差。在這個(gè)時(shí)間修正過程中,IEEE1588中主時(shí)鐘周期性地發(fā)出一個(gè)確定的同步信息包(Sync) (一般為每2秒1次) ,它包含一個(gè)時(shí)間印章(time stamp) ,精確地描述了數(shù)據(jù)包的發(fā)出時(shí)刻[3]。本案采用的簡(jiǎn)單同步模式，主要就是約定了同步修正包的發(fā)出時(shí)刻，整秒時(shí)刻，系統(tǒng)會(huì)在整秒時(shí)刻不做其他工作，這樣就可以省掉IEEE1588中用于發(fā)送同步包預(yù)計(jì)發(fā)包時(shí)間的同步跟隨包。

　　假設(shè)同步前主時(shí)鐘的時(shí)間為發(fā)出時(shí)鐘Tm1=2 000 s,而從屬時(shí)鐘的接收時(shí)間為Ts1=2 001 s。如果主從時(shí)鐘是同步的，則同步的接收時(shí)鐘是：Tm1+Delay=2 000+0.5=2 000.5。只需將時(shí)鐘調(diào)整為2 000.5，即Ts′＝Tm1+Delay。

　　簡(jiǎn)易時(shí)鐘同步的關(guān)鍵就在此。同步包內(nèi)可包含主端發(fā)出的時(shí)刻。從端收到后，即可與測(cè)得的Delay相加為自己的該時(shí)刻時(shí)鐘。

　　這里要說明的是:

　?、? 上式中的Delay 就是主時(shí)鐘與從屬時(shí)鐘之間的傳輸延遲時(shí)間,從上面的延遲測(cè)量階段得到。
　?、? 如果收到的同步包信息出錯(cuò)，從單元可以根據(jù)自己的時(shí)刻，依據(jù)臨近取整原則推知主端發(fā)出的整秒時(shí)刻時(shí)間，與接收包進(jìn)行對(duì)比。因?yàn)闀r(shí)間偏移一般都在μs級(jí)，如果誤差太大，則舍棄該包。

1.3? 同步實(shí)現(xiàn)

　　如圖2所示,從端發(fā)出延遲統(tǒng)計(jì)包，主端反饋后，從端求得Delay。在每個(gè)整秒左右時(shí)刻收到同步包后，進(jìn)行時(shí)鐘修正，即從屬時(shí)鐘與主時(shí)鐘實(shí)現(xiàn)了精確同步[5]。

2? 分布式數(shù)據(jù)采集系統(tǒng)簡(jiǎn)介

　　分布式數(shù)據(jù)采集系統(tǒng)屬于局域網(wǎng)構(gòu)架，單元間通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交互,由集線器和微采集系統(tǒng)組成，每個(gè)微采集器成為一個(gè)獨(dú)立“單元”?？梢灾С忠恢鞫鄰牡姆植际侥Ｐ停涸O(shè)置其中一個(gè)微采集系統(tǒng)作為主單元，其他的作為從單元。分布數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)框圖如圖3所示。

　　各個(gè)單元的設(shè)計(jì)完全相同，均由一個(gè)系統(tǒng)控制板和多個(gè)功能板構(gòu)成。系統(tǒng)控制板是采集器的核心，它控制著單元內(nèi)的各個(gè)功能卡的配置和單元內(nèi)的數(shù)據(jù)傳輸，同時(shí)保持與外部通信。功能板用以實(shí)現(xiàn)A/D、FIFO處理等功能，用于數(shù)據(jù)采集和傳送。各個(gè)單元中的所有板卡皆采用獨(dú)立時(shí)鐘。

　　此分布式采集系統(tǒng)中各個(gè)單元構(gòu)成一個(gè)星形網(wǎng)。系統(tǒng)控制板成為星形網(wǎng)絡(luò)中的節(jié)點(diǎn)，節(jié)點(diǎn)間用網(wǎng)線相連。系統(tǒng)符合協(xié)議IEEE802.3、CSMA/CD標(biāo)準(zhǔn)，可以與標(biāo)準(zhǔn)的以太網(wǎng)完美兼容。

3? 基于FPGA的實(shí)現(xiàn)

3.1? 分布式系統(tǒng)中各個(gè)單元的體系結(jié)構(gòu)

　　由于FPGA開發(fā)靈活，精度上能達(dá)到系統(tǒng)要求，開發(fā)周期短，且成本低。系統(tǒng)中各個(gè)系統(tǒng)控制板采用FPGA技術(shù)，即采用微控制器及其對(duì)應(yīng)的外設(shè)接口和相應(yīng)的軟件來實(shí)現(xiàn)[6]。利用Nios II處理體系，將系統(tǒng)劃分為各個(gè)功能模塊，并考慮到系統(tǒng)所需的資源和生成代碼的大小。設(shè)計(jì)的系統(tǒng)由以下幾部分組成：Altera的Cyclone系列芯片，包括嵌入Nios II軟核、系統(tǒng)定時(shí)器、同步時(shí)鐘定時(shí)器、DM9000A以及Avalon總線等設(shè)計(jì)。

　　網(wǎng)絡(luò)接口芯片DM9000A實(shí)現(xiàn)以太網(wǎng)媒體介質(zhì)訪問層(MAC)和物理層(PHY)的功能。系統(tǒng)采用無鏈接的UDP通信，且采用多個(gè)定時(shí)器，用于時(shí)鐘同步和工作周期的制定。

圖2? 同步過程

圖3? 分布數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)框圖

3.2? 具體軟件設(shè)計(jì)流程

　　同步定時(shí)器每秒鐘產(chǎn)生一次中斷。作為同步時(shí)鐘，另一個(gè)定時(shí)器將一個(gè)同步周期劃分為幾個(gè)等時(shí)段，為工作周期。主從單元通過網(wǎng)絡(luò)互相交換數(shù)據(jù)，在每一個(gè)系統(tǒng)周期內(nèi)將各自的數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)中。為了預(yù)防發(fā)送時(shí)刻點(diǎn)的沖突，在配置信息中注明每個(gè)周期該單元的發(fā)送時(shí)刻。

　　系統(tǒng)有以下幾種狀態(tài):初始狀態(tài)、預(yù)同步狀態(tài)、實(shí)時(shí)工作狀態(tài)。

　?、? 初始狀態(tài)：分布式系統(tǒng)上電后,主從單元進(jìn)入初始狀態(tài)對(duì)各項(xiàng)參數(shù)進(jìn)行初始化，注冊(cè)timer中斷和網(wǎng)絡(luò)中斷等。初始化后進(jìn)入預(yù)同步狀態(tài)。
　?、? 預(yù)同步狀態(tài)：主要是每小時(shí)進(jìn)行一次網(wǎng)絡(luò)延時(shí)的測(cè)量，然后從端會(huì)將自己與主端的一次傳輸時(shí)延保存起來。
　　③? 實(shí)時(shí)工作狀態(tài)：預(yù)同步完畢后各單元進(jìn)入實(shí)時(shí)工作狀態(tài)。一小時(shí)后又再次進(jìn)入預(yù)同步狀態(tài)。實(shí)時(shí)工作狀態(tài)將處理多個(gè)線程。

（1） ?同步線程

　　①? 主單元，將同步timer的周期置為1 s的同步約定周期，即每1 s產(chǎn)生1次中斷。主單元會(huì)在每秒到來時(shí)刻（中斷），發(fā)出同步包（syns）。
　?、? 從端在接收到同步包后，調(diào)整定時(shí)器時(shí)鐘為同步包內(nèi)時(shí)刻與時(shí)延之和。

（2） ?數(shù)據(jù)傳輸

　　線程系統(tǒng)在避開同步階段的時(shí)刻進(jìn)行實(shí)時(shí)數(shù)據(jù)的傳輸，主要是根據(jù)系統(tǒng)對(duì)各個(gè)工作周期的劃定。

（3） ?數(shù)據(jù)采集和處理線程

　　由系統(tǒng)中各單元的各自任務(wù)來決定，不占用網(wǎng)絡(luò)。對(duì)傳感器采集數(shù)據(jù)進(jìn)行處理，同時(shí)也處理網(wǎng)絡(luò)傳送來的數(shù)據(jù)。

4? 同步測(cè)試

　　在系統(tǒng)的實(shí)時(shí)工作狀態(tài)下，驗(yàn)證其同步效果。由于同步定時(shí)器產(chǎn)生的脈沖為一個(gè)系統(tǒng)時(shí)鐘寬度（32 MHz）,不便于觀察。為了便于演示，主從端都在定時(shí)器產(chǎn)生的同步時(shí)鐘上升沿到達(dá)時(shí)將同步信號(hào)置1,主單元在發(fā)送完同步包后將同步信號(hào)置0；從單元?jiǎng)t在收到同步包后將同步信號(hào)置0。這樣得到的信號(hào)與定時(shí)器產(chǎn)生的同步時(shí)鐘是同頻的，只是放寬了脈沖寬度。同步效果如圖4所示。

圖4? 同步效果

　　圖4（a)中，每個(gè)柵格為500 ms；圖4（b）將其放大1 000倍，每柵格為500 μs。每幅圖中，上面的1通道為主單元同步信號(hào)，下面的2通道為從單元同步信號(hào)。由圖4(a)可見，同步時(shí)鐘周期為1 024 ms。

　　由于從單元是在收到同步包后，將信號(hào)置0，必定滯后于主單元發(fā)送同步包時(shí)刻（主端將同步信號(hào)置0時(shí)刻）,從圖4(b)中可見，從單元脈沖寬度比主單元寬，因此只需比對(duì)同步信號(hào)的上升沿。圖4（b）是將圖像保持時(shí)間置為無限，信號(hào)上升沿處陰影表示運(yùn)行時(shí)間以來的偏移情況。測(cè)試時(shí)間為24 h(小時(shí))，測(cè)量陰影的長(zhǎng)度Δx＝20 μs（上升沿偏移），即為同步效果最大的同步偏差可以控制在20 μs以內(nèi)。

5? 結(jié)論

　　由于系統(tǒng)工作于局域網(wǎng)，借鑒IEEE1588協(xié)議思想，提出并實(shí)現(xiàn)了簡(jiǎn)易時(shí)鐘同步的設(shè)想；占用資源少，精度高，可行性高。驗(yàn)證是在實(shí)時(shí)工作狀態(tài)下測(cè)試的，并將同步偏差控制在20 μs，滿足時(shí)鐘同步的要求；同時(shí)，以FPGA技術(shù)為載體，軟件開發(fā)平臺(tái)為Nios II，易于系統(tǒng)移植和功能擴(kuò)展。鑒于方案的高效和高可行性，可以進(jìn)一步推廣到其他分布式局域網(wǎng)的應(yīng)用系統(tǒng)中。