一文詳細(xì)了解實(shí)時(shí)反射內(nèi)存網(wǎng)絡(luò)

實(shí)時(shí)反射內(nèi)存網(wǎng)絡(luò)是一種為使多個(gè)獨(dú)立的計(jì)算機(jī)進(jìn)行數(shù)據(jù)共享而特別設(shè)計(jì)的共享內(nèi)存系統(tǒng)。實(shí)時(shí)反射內(nèi)存網(wǎng)絡(luò)在系統(tǒng)中的每個(gè)節(jié)點(diǎn)放置一個(gè)共享內(nèi)存的獨(dú)立的拷貝。每個(gè)節(jié)點(diǎn)都有寫(xiě)入數(shù)據(jù)訪(fǎng)問(wèn)和讀取本地內(nèi)存的權(quán)限。當(dāng)數(shù)據(jù)寫(xiě)入本地內(nèi)存，FPGA 捕獲并發(fā)送數(shù)據(jù)到實(shí)時(shí)反射內(nèi)存中網(wǎng)絡(luò)下數(shù)據(jù)寫(xiě)入本地內(nèi)存并送到下一節(jié)點(diǎn)，數(shù)據(jù)寫(xiě)入本地內(nèi)存并送到下一節(jié)點(diǎn)，直到數(shù)據(jù)回到源發(fā)送的節(jié)點(diǎn)才將網(wǎng)絡(luò)中的數(shù)據(jù)移除。

由于這種特別的硬件和一系列的節(jié)點(diǎn)，在極短的時(shí)間內(nèi)，網(wǎng)絡(luò)中所有的節(jié)點(diǎn)都被更新，在同樣的地址有同樣的數(shù)據(jù)。本地處理器可以隨時(shí)訪(fǎng)問(wèn)內(nèi)存中的數(shù)據(jù)，而不需要以隨時(shí)訪(fǎng)問(wèn)內(nèi)存中的數(shù)據(jù)，而不需要通過(guò)網(wǎng)絡(luò)進(jìn)行訪(fǎng)問(wèn)。由此，每個(gè)計(jì)算機(jī)都有新的的內(nèi)存數(shù)據(jù)拷貝。在 4節(jié)點(diǎn)的實(shí)例中，僅需要 2.1us，所有的計(jì)算機(jī)都會(huì)收到寫(xiě)入實(shí)時(shí)反射內(nèi)存的數(shù)據(jù)。實(shí)時(shí)反射內(nèi)存卡（節(jié)點(diǎn)）由本地內(nèi)存，PCI(或 PCIE,VME)接口，和提供計(jì)算機(jī)訪(fǎng)問(wèn)和實(shí)時(shí)網(wǎng)絡(luò)內(nèi)存網(wǎng)絡(luò)更新的仲裁邏輯組成。實(shí)時(shí)反射內(nèi)存卡可以與計(jì)算機(jī)總線(xiàn)連接，安裝在VME,PCI/PCI-X,CPCI,PCIE 和其它標(biāo)準(zhǔn)系統(tǒng)中。這可以使大多部工作站和單板計(jì)算機(jī)通過(guò)實(shí)時(shí)網(wǎng)絡(luò)內(nèi)存連接而不用考慮與背板接口的互通性。其它串行網(wǎng)絡(luò)連接計(jì)算機(jī)和 PLC 進(jìn)行連接的地方，但它不是所有應(yīng)用的解決方案。實(shí)時(shí)反射內(nèi)存在實(shí)時(shí)是主要考慮因素的的系統(tǒng)中起到很大的作用。在需要低潛伏期，高速通迅的系統(tǒng)中，實(shí)時(shí)反射內(nèi)存提供超高性能硬件和易用性。使用類(lèi)似實(shí)時(shí)反射內(nèi)存的低軟件開(kāi)銷(xiāo)，高速，硬件驅(qū)動(dòng)網(wǎng)絡(luò)在整個(gè)網(wǎng)絡(luò)和獨(dú)立的網(wǎng)絡(luò)節(jié)點(diǎn)有低的潛伏期，短潛伏時(shí)間性能對(duì)建立一個(gè)仿真的實(shí)時(shí)系統(tǒng)是十分重要的。

PCI5565 PCI-5565 PMC5565 VMIC5565 反射內(nèi)存 反射內(nèi)存卡 GE反射內(nèi)存

反射內(nèi)存網(wǎng)中的每個(gè)反射內(nèi)存節(jié)點(diǎn)（任何5565反射內(nèi)存卡）以菊花鏈的形式用光纖線(xiàn)互聯(lián)。第一塊卡的發(fā)送必須連接到第二塊卡的接收端，第二塊卡的發(fā)送端連接到第三塊卡的接收端，以此類(lèi)推，直到再連接到第一塊卡的接收端完成一個(gè)完整的環(huán)形連接。也可以將所有節(jié)點(diǎn)連接到一個(gè)或多個(gè)ACC-5595反射內(nèi)存HUB，每個(gè)節(jié)點(diǎn)的接收和發(fā)送都必須連接，如果沒(méi)有檢測(cè)到光信號(hào)或失去同步反射內(nèi)存卡RFM-5565將不會(huì)發(fā)送數(shù)據(jù)包（例如光纖線(xiàn)已損壞）。反射內(nèi)存網(wǎng)中每個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)必須一，節(jié)點(diǎn)號(hào)通過(guò)板上的撥碼開(kāi)關(guān)S2進(jìn)行設(shè)置，任何兩個(gè)節(jié)點(diǎn)不能有設(shè)置成同一個(gè)節(jié)點(diǎn)號(hào)，每個(gè)板卡的節(jié)點(diǎn)號(hào)可以在通過(guò)NODEID進(jìn)行讀取顯示，節(jié)點(diǎn)號(hào)的順序并不重要。

主系統(tǒng)對(duì)反射內(nèi)存卡的板載SDRAM的寫(xiě)操作后，反射內(nèi)內(nèi)卡的硬件檢測(cè)電路將自動(dòng)發(fā)起一個(gè)整個(gè)反射內(nèi)存網(wǎng)的數(shù)據(jù)傳輸動(dòng)作。這個(gè)寫(xiě)操作可以是一個(gè)簡(jiǎn)單的PIO寫(xiě)或是一個(gè)DMA周期。當(dāng)產(chǎn)生一個(gè)對(duì)SDRAM的寫(xiě)操作時(shí)，RFM-5565反射內(nèi)存卡自動(dòng)將數(shù)據(jù)和其它相關(guān)的信息寫(xiě)入到發(fā)送緩沖器中（其它相關(guān)信息包括節(jié)點(diǎn)號(hào)，數(shù)據(jù)地址等信息），在發(fā)送緩沖器中，發(fā)送電路檢測(cè)數(shù)據(jù)，并且將數(shù)據(jù)變成一個(gè)4到64字節(jié)長(zhǎng)度可變的數(shù)據(jù)包。通過(guò)光纖接口發(fā)送到下一個(gè)板卡的接收端口。接收電路檢查數(shù)據(jù)包是否有錯(cuò)誤，當(dāng)無(wú)錯(cuò)誤發(fā)生時(shí)數(shù)據(jù)被接收。接收電路解開(kāi)數(shù)據(jù)包并且將數(shù)據(jù)存儲(chǔ)到板載的接收緩沖器。在接收緩沖器中，另一個(gè)電路將數(shù)據(jù)寫(xiě)入到本地的SDRAM的和源節(jié)點(diǎn)相同的地址中。同時(shí)，該電路將數(shù)據(jù)同時(shí)發(fā)送到發(fā)送FIFO中，重復(fù)這個(gè)處理過(guò)程直到這個(gè)數(shù)據(jù)返回到源節(jié)點(diǎn)的接收端，在源節(jié)點(diǎn)中，接收電路檢測(cè)到數(shù)據(jù)包的NODEID和源節(jié)點(diǎn)的NODEID相同，因此將數(shù)據(jù)包從網(wǎng)絡(luò)中移除，這樣所有的節(jié)點(diǎn)數(shù)據(jù)都被更新了。所以計(jì)算機(jī)將數(shù)據(jù)寫(xiě)入其本地網(wǎng)絡(luò)內(nèi)存卡后的，極短時(shí)間內(nèi)，網(wǎng)上所有計(jì)算機(jī)都可以訪(fǎng)問(wèn)這個(gè)新數(shù)據(jù)。網(wǎng)絡(luò)內(nèi)存卡使用簡(jiǎn)單的讀寫(xiě)方式，網(wǎng)絡(luò)內(nèi)存網(wǎng)上的數(shù)據(jù)傳輸是純硬件操作，不需要考慮網(wǎng)絡(luò)的通信協(xié)議，軟件上只需要幾行代碼就可完成對(duì)網(wǎng)絡(luò)內(nèi)存卡的讀、寫(xiě)操作，因此它與以太網(wǎng)等其他傳統(tǒng)網(wǎng)絡(luò)相比具有更低的數(shù)據(jù)傳輸延遲、更快的傳輸速度，更簡(jiǎn)單靈活的使用操作，可以滿(mǎn)足實(shí)時(shí)系統(tǒng)快速反應(yīng)周期的要求，而采用其他網(wǎng)絡(luò)就很難滿(mǎn)足這種要求。

反射內(nèi)存是一種通過(guò)局域網(wǎng)在互連的計(jì)算機(jī)間提供高效的數(shù)據(jù)傳輸?shù)募夹g(shù)，強(qiáng)實(shí)時(shí)網(wǎng)絡(luò)設(shè)計(jì)人員已經(jīng)越來(lái)越多地采用這種技術(shù)。反射內(nèi)存實(shí)時(shí)局域網(wǎng)的概念十分簡(jiǎn)單，就是設(shè)計(jì)一種網(wǎng)絡(luò)內(nèi)存板，在分布系統(tǒng)中實(shí)現(xiàn)內(nèi)存至內(nèi)存的通信，并且沒(méi)有軟件開(kāi)銷(xiāo)。每臺(tái)計(jì)算機(jī)上插一塊反射內(nèi)存卡，卡上帶有雙口內(nèi)存，各層軟件既可以讀也可以寫(xiě)這些內(nèi)存，當(dāng)數(shù)據(jù)被寫(xiě)入一臺(tái)機(jī)器的反射內(nèi)存卡的內(nèi)存中后，反射內(nèi)存卡自動(dòng)地通過(guò)光纖傳輸?shù)狡渌B在網(wǎng)絡(luò)上的反射內(nèi)存卡的內(nèi)存里，通常，只需幾百納秒的時(shí)間延遲，所有的反射內(nèi)存卡上的內(nèi)存將寫(xiě)入同樣的內(nèi)容。而各成員在訪(fǎng)問(wèn)數(shù)據(jù)時(shí)，只要訪(fǎng)問(wèn)本地的反射內(nèi)存卡中的內(nèi)存即可

實(shí)時(shí)網(wǎng)絡(luò)需求

為提升計(jì)算能力，人們自然地想到研發(fā)性能更強(qiáng)的計(jì)算機(jī)，如天河系列等超級(jí)計(jì)算機(jī)應(yīng)運(yùn)而生，但超級(jí)計(jì)算機(jī)研制周期長(zhǎng)、成本大、應(yīng)用領(lǐng)域受限。為此，提出了集群系統(tǒng)概念，計(jì)算機(jī)集群系統(tǒng)是通過(guò)網(wǎng)絡(luò)將PC機(jī)或工作站連接起來(lái)組成高性能計(jì)算系統(tǒng)。集群系統(tǒng)將一個(gè)任務(wù)并行在多臺(tái)計(jì)算機(jī)上執(zhí)行，組成一個(gè)實(shí)時(shí)系統(tǒng)。

在實(shí)時(shí)系統(tǒng)中，系統(tǒng)終結(jié)果的正確性不僅依賴(lài)于每一步計(jì)算得到的邏輯結(jié)果，而且依賴(lài)于得到結(jié)果的時(shí)刻，任務(wù)的完成時(shí)間是實(shí)時(shí)系統(tǒng)的決定性特征。根據(jù)實(shí)時(shí)性能的要求程度，實(shí)時(shí)系統(tǒng)可認(rèn)為兩類(lèi)，即軟實(shí)時(shí)和硬實(shí)時(shí)系統(tǒng)。對(duì)于軟實(shí)時(shí)系統(tǒng)，要求事件相應(yīng)是實(shí)時(shí)的，但并不是嚴(yán)格強(qiáng)制的。但是，對(duì)于硬實(shí)時(shí)系統(tǒng)來(lái)講，每個(gè)任務(wù)都有一個(gè)處理截止事件，任務(wù)必須在規(guī)定的時(shí)間內(nèi)完成，否則會(huì)影響全局任務(wù)的完成，給系統(tǒng)帶來(lái)不希望的破壞或者造成不可恢復(fù)的災(zāi)難性后果。目前許多實(shí)時(shí)系統(tǒng)都采用硬實(shí)時(shí)系統(tǒng)，因?yàn)榫哂懈鼜?qiáng)的實(shí)時(shí)性能。實(shí)時(shí)系統(tǒng)的應(yīng)用需要實(shí)時(shí)互聯(lián)，構(gòu)建實(shí)時(shí)網(wǎng)絡(luò)，完成數(shù)據(jù)在網(wǎng)絡(luò)節(jié)點(diǎn)間的實(shí)時(shí)傳輸。

實(shí)時(shí)網(wǎng)絡(luò)必須具備高速、可靠、可預(yù)測(cè)三個(gè)特點(diǎn)，重要的是通信的可預(yù)測(cè)性，可預(yù)測(cè)性是指實(shí)時(shí)網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)之間數(shù)據(jù)傳輸?shù)臅r(shí)間是確定的。隨著實(shí)時(shí)網(wǎng)絡(luò)應(yīng)用領(lǐng)域的不斷擴(kuò)展，目前已不僅僅局限于計(jì)算機(jī)集群系統(tǒng)的互聯(lián)，而是廣泛地應(yīng)用在各種具有實(shí)時(shí)需求的互聯(lián)系統(tǒng)中，如半實(shí)物仿真、高速數(shù)據(jù)獲取等。

實(shí)時(shí)網(wǎng)絡(luò)發(fā)展過(guò)程中，出現(xiàn)過(guò)兩種設(shè)計(jì)思路：基于單一總線(xiàn)的多CPU共享全局內(nèi)存和基于網(wǎng)絡(luò)的分布式內(nèi)存：

相比基于單一總線(xiàn)的多CPU共享全局內(nèi)存系統(tǒng)，在基于網(wǎng)絡(luò)的分布式內(nèi)存體系中每個(gè)節(jié)點(diǎn)只訪(fǎng)問(wèn)自己的本地內(nèi)存，不存在內(nèi)存占有沖突，由于這種方式能夠避免大量的總線(xiàn)仲裁控制時(shí)間而成為實(shí)時(shí)網(wǎng)絡(luò)的主要設(shè)計(jì)方式。

實(shí)時(shí)網(wǎng)絡(luò)要保證高速、可靠、可預(yù)測(cè)這三大指標(biāo)，但千兆以太網(wǎng)、光纖通道（Fiber Channel，F(xiàn)C）協(xié)議等，在可預(yù)測(cè)性上很差，首先是因?yàn)橥ㄟ^(guò)設(shè)備驅(qū)動(dòng)和軟件網(wǎng)絡(luò)協(xié)議的工作模式增加了額外的不確定開(kāi)銷(xiāo)，其次是同樣存在共享沖突和碰撞的問(wèn)題（如千兆以太網(wǎng)GBE中采用CSMA/CD載波監(jiān)聽(tīng)多路訪(fǎng)問(wèn)/沖突檢測(cè)機(jī)制、FC協(xié)議采用令牌環(huán)仲裁等）進(jìn)一步增加了傳輸時(shí)間的不確定性。光纖反射內(nèi)存網(wǎng)很好的解決了上述問(wèn)題。

反射內(nèi)存網(wǎng)是基于網(wǎng)絡(luò)的分布式內(nèi)存硬實(shí)時(shí)網(wǎng)絡(luò)的一種設(shè)計(jì)思想，特點(diǎn)：1）反射內(nèi)存網(wǎng)硬件實(shí)現(xiàn)分布式RAM之間數(shù)據(jù)的傳輸、共享，整個(gè)過(guò)程具有很低的實(shí)現(xiàn)延遲；2）反射內(nèi)存網(wǎng)依靠硬件實(shí)現(xiàn)、不需要復(fù)雜的網(wǎng)絡(luò)協(xié)議控制，能夠在相同的傳輸帶寬下達(dá)到更高的有效速率；3）反射內(nèi)存網(wǎng)對(duì)數(shù)據(jù)的各種處理是通過(guò)硬件電路實(shí)現(xiàn)，在固定的時(shí)鐘頻率下周期工作，沒(méi)有不確定的時(shí)間開(kāi)銷(xiāo)，確保數(shù)據(jù)處理的可預(yù)測(cè)性。

反射內(nèi)存卡節(jié)點(diǎn)延時(shí)測(cè)試方法：

反射內(nèi)存卡數(shù)據(jù)傳輸過(guò)程全部由硬件完成，在windows這種非實(shí)時(shí)操作系統(tǒng)下和實(shí)時(shí)vxworks操作系統(tǒng)下由軟件測(cè)試這種節(jié)點(diǎn)延時(shí)都是不可取的。

反射內(nèi)存卡、，首先它是一個(gè)PCI設(shè)備，提供給用戶(hù)128MB的讀寫(xiě)空間。當(dāng)一節(jié)點(diǎn)有寫(xiě)入操作時(shí)，自動(dòng)通過(guò)光纖鏈路將數(shù)據(jù)同步到所有節(jié)點(diǎn)。這一系列傳輸寫(xiě)入操作由硬件完成。兩個(gè)節(jié)點(diǎn)間更新的延時(shí)為100ns級(jí)。

Sdram時(shí)鐘：66MHZ

FIFO時(shí)鐘：106MHZ

下面提供兩種方式來(lái)說(shuō)明或測(cè)試節(jié)點(diǎn)傳輸延時(shí)：

A：理論計(jì)算方式

Sdram時(shí)鐘：66MHZ

FIFO時(shí)鐘：106MHZ

在系統(tǒng)無(wú)數(shù)據(jù)傳輸過(guò)程是由PCI總線(xiàn)通過(guò)橋片PCI9656將數(shù)據(jù)寫(xiě)入到SDRAM中，在寫(xiě)SDRAM的同時(shí)數(shù)據(jù)，地址和控制數(shù)據(jù)打包發(fā)送至發(fā)送FIFO，這個(gè)過(guò)程是同時(shí)進(jìn)行的，SERDES在接收到FIFO數(shù)據(jù)的中斷后，立即將FIFO的數(shù)據(jù)讀取至SERDES完成并串轉(zhuǎn)換并發(fā)送至光纖收發(fā)器，F(xiàn)IFO的讀取時(shí)間約只需要4個(gè)周期。在較短距離時(shí)，光纖傳輸?shù)臅r(shí)間約為零，不予考慮。在接收端SERDES將光纖收發(fā)器數(shù)據(jù)進(jìn)行并串轉(zhuǎn)換。送至接收FIFO，接收FIFO中斷本地SDRAM控制器，將數(shù)據(jù)寫(xiě)入SDRAM，完成本次數(shù)據(jù)的更新過(guò)程。SDRAM時(shí)鐘周期時(shí)間為15NS左右，F(xiàn)IFO時(shí)鐘周期為9.4NS，

由此可以計(jì)算出理論時(shí)間 15*21+9.4*10≈405ns。

B：硬件觸發(fā)方式

由于光纖收發(fā)器數(shù)據(jù)傳輸?shù)目焖偬匦?，由軟件?lái)來(lái)測(cè)試時(shí)間誤差較大，本方法對(duì)兩個(gè)節(jié)點(diǎn)上的數(shù)據(jù)信號(hào)進(jìn)行采集并測(cè)量延時(shí)。測(cè)試探頭分別測(cè)試節(jié)點(diǎn)A的SDRAM和節(jié)點(diǎn)B的SDRAM信號(hào)，發(fā)送特征數(shù)據(jù)，并在B節(jié)點(diǎn)等待觸發(fā)信號(hào)。由示波器看到信號(hào)延時(shí)。觸發(fā)后在節(jié)點(diǎn)B用軟件觀(guān)察數(shù)據(jù)是否更新到節(jié)點(diǎn)B，改變特征數(shù)據(jù)及觸發(fā)條件，可重復(fù)數(shù)次測(cè)特征數(shù)據(jù)與SDRAM控制信號(hào)?？梢杂涗浹訒r(shí)約得出延時(shí)大小。

2.網(wǎng)絡(luò)內(nèi)存卡帶寬測(cè)試：

網(wǎng)絡(luò)內(nèi)存卡帶寬測(cè)試可采用本公司提供的軟件進(jìn)行測(cè)試或采用RFM2G下的命令行工具測(cè)試不同數(shù)據(jù)大小包的傳輸速度。

審核編輯：湯梓紅