基于PCIe總線的多路復(fù)用DMA高速傳輸系統(tǒng)的設(shè)計(jì)

摘要：文章針對雙處理器設(shè)備問的數(shù)據(jù)通信提出了基于PCIe非透明橋的高速傳輸系統(tǒng)的設(shè)計(jì)方法。該方法應(yīng)用于視頻轉(zhuǎn)碼設(shè)備，實(shí)驗(yàn)結(jié)果表明當(dāng)轉(zhuǎn)碼設(shè)備作為外設(shè)與PC主機(jī)進(jìn)行通信時(shí)，采用多路虛擬DMA方法的數(shù)據(jù)傳輸總帶寬可以穩(wěn)定的達(dá)到1100MB/s，為實(shí)現(xiàn)多路實(shí)時(shí)轉(zhuǎn)碼提供了前提保證。文中還重點(diǎn)介紹了虛擬DMA通道的實(shí)現(xiàn)、雙系統(tǒng)問通信模型的設(shè)計(jì)及傳輸系統(tǒng)性能優(yōu)化分析。

關(guān)鍵詞：PCIe總線 DMA傳輸 非透明橋 虛擬通道

0 引言

兩個(gè)處理器系統(tǒng)的數(shù)據(jù)通信方式可以采用網(wǎng)絡(luò)通信方式或者總線連接通信方式等。網(wǎng)絡(luò)通信的帶寬約為1Gbps～4Gbps即 128MB/s～512MB/s，在不同的工作條件下，網(wǎng)絡(luò)帶寬不同，網(wǎng)絡(luò)信號(hào)存在不穩(wěn)定性，這使得系統(tǒng)問建立的通信系統(tǒng)存在影響傳輸速率的不可控因素。 PCI Express作為目前使用最流行的總線，廣泛用于主機(jī)與外部設(shè)備間通信，16bit總線寬度的PCI Express2.0速率達(dá)到16GB/s(雙工)，遠(yuǎn)遠(yuǎn)超過了網(wǎng)絡(luò)通信速率且不需要配置網(wǎng)絡(luò)環(huán)境。

本文設(shè)計(jì)的傳輸系統(tǒng)應(yīng)至少提供8路傳輸通道供轉(zhuǎn)碼設(shè)備與主機(jī)進(jìn)行通信，然而在以PCIe接口芯片設(shè)計(jì)傳輸系統(tǒng)時(shí)，芯片中有限的DMA通道(一般為4路)難以滿足轉(zhuǎn)碼設(shè)備多路實(shí)時(shí)轉(zhuǎn)碼的傳輸要求。因此，如何實(shí)現(xiàn)多路虛擬DMA通道、傳輸速率滿足要求且保證各通道傳輸速率均衡是軟件設(shè)計(jì)的重點(diǎn)。在此之上，文中將進(jìn)一步探討如何降低傳輸系統(tǒng)對處理器系統(tǒng)CPU資源的占用率。

1 系統(tǒng)模型設(shè)計(jì)及系統(tǒng)通信機(jī)制

1.1 系統(tǒng)模型設(shè)計(jì)

數(shù)據(jù)傳輸系統(tǒng)軟件模型可分為3個(gè)層次，包括設(shè)備驅(qū)動(dòng)層、系統(tǒng)應(yīng)用層和用戶接口層。系統(tǒng)結(jié)構(gòu)如圖1所示。

薛巨峰，副教授/碩士，主研領(lǐng)域：自動(dòng)化控制技術(shù)和加工工程自動(dòng)化技術(shù)。黃愛娟，碩士生，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。

由圖1可知傳輸系統(tǒng)由設(shè)備驅(qū)動(dòng)模塊、DMA管理模塊、系統(tǒng)通信模塊、客戶端通信模塊和客戶端API組成。

設(shè)備驅(qū)動(dòng)程序用于在處理器系統(tǒng)中識(shí)別PCIe接口芯片設(shè)備;DMA管理模塊(只在主機(jī)端存在)用于管理和分配處理器系統(tǒng)需要進(jìn)行數(shù)據(jù)傳輸時(shí)對DMA通道的使用請求并完成數(shù)據(jù)傳輸功能;系統(tǒng)通信模塊用于處理器系統(tǒng)間的消息傳遞;客戶端通信模塊負(fù)責(zé)響應(yīng)客戶端與傳輸系統(tǒng)的鏈接請求和數(shù)據(jù)傳輸請求;客戶端 API(Client Register)是提供給用戶進(jìn)行鏈接和傳輸請求的函數(shù)接口。

1.2 系統(tǒng)通信機(jī)制

在主從機(jī)端分別運(yùn)行傳輸系統(tǒng)應(yīng)用程序(Plx_Server)完成傳輸系統(tǒng)的建立，Plx_Server等待客戶端調(diào)用Client Register進(jìn)行鏈接請求。當(dāng)主從機(jī)端的Plx_Server都有可配對的客戶端鏈接請求，則為可配對客戶端建立1路虛擬DMA傳輸通道?？蛻舳耸褂肞lx_Server為其分配的傳輸句柄(Client Socket)即可實(shí)現(xiàn)數(shù)據(jù)收發(fā)和斷開傳輸鏈接。

2 系統(tǒng)硬件設(shè)計(jì)

開發(fā)PCIe接口可以采用FPGA設(shè)計(jì)PCIe接口，但由于PCIe總線規(guī)范較復(fù)雜，這種開發(fā)方法難度很大;而采用專用PCIe接口芯片，可以免除繁瑣的時(shí)序分析，縮短開發(fā)周期，降低開發(fā)成本。本系統(tǒng)選擇后者，PCIe接口芯片選擇為PLX公司開發(fā)的PEX8619接口芯片。

PCIe橋連接方式有2種：透明橋(Transparent Bridge)和非透明橋(Non-Transparent Bridge)。總系統(tǒng)中存在兩個(gè)獨(dú)立的處理器，此時(shí)使用透明橋方式不利于整個(gè)系統(tǒng)的配置與管理，可能出現(xiàn)PCIe總線地址的映射沖突，此外不能使用PCIe透明橋連接兩個(gè)PCIe Agent設(shè)備，如x86處理器。采用非透明橋可有效的解決這些問題，提高PCIe傳輸系統(tǒng)的可移植性。非透明橋不是PCIe總線定義的標(biāo)準(zhǔn)橋片，但是這類橋片在連接兩個(gè)處理器系統(tǒng)中得到了廣泛的應(yīng)用。

PEX8619支持NT橋功能，芯片在智能配置器模式下的軟件模型如圖2所示。

在圖2中有兩個(gè)用于設(shè)備識(shí)別的配置空間寄存器(CSR)，離內(nèi)部虛擬PCIe總線較近的稱之為虛擬接口(Virtual Interface)，離得較遠(yuǎn)的稱之為鏈路接口(Link Interface)。

在智能配置器模式中，NT橋鏈路端口連接的是從機(jī)的地址域，從機(jī)系統(tǒng)只管理NT橋鏈路接口Type 0功能(NT設(shè)備功能)。NT橋虛擬端口連接的是主機(jī)的地址域，主機(jī)管理所有NT橋虛擬接口Type 0功能和Type 1功能(DMA引擎功能)?？缬騻鬏斒峭ㄟ^地址轉(zhuǎn)換機(jī)制的路由來完成的。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 設(shè)備驅(qū)動(dòng)程序

主從機(jī)端分別安裝PLX公司提供的PLX_SDK_v7_11_Final設(shè)備驅(qū)動(dòng)程序，從機(jī)端識(shí)別出NT橋的NT設(shè)備，主機(jī)端識(shí)別出NT橋的NT設(shè)備和DMA引擎。

3.2 系統(tǒng)應(yīng)用程序

PCIe傳輸系統(tǒng)Plx_Server與客戶端API(Client_Register)是一對多的關(guān)系，傳輸系統(tǒng)最多允許128對客戶端進(jìn)行鏈接和數(shù)據(jù)傳輸，傳輸系統(tǒng)的函數(shù)關(guān)聯(lián)圖如圖3所示。

3.2.1 系統(tǒng)初始化

系統(tǒng)初始化主要是對PCIe設(shè)備進(jìn)行初始化配置 和地址映射等工作。調(diào)用系統(tǒng)庫函數(shù)PlxPci_Device Find找到NT設(shè)備和DMA設(shè)備(只在主機(jī)端有)，并獲得設(shè)備描述符。使用PlxPci_PciBarMap函數(shù)將NTBar0、DMA Bar0(只在主機(jī)端有)和NT Bar2～NT Bar5映射到用戶虛地址空間。使用PlxPci_PhysicalMap函數(shù)申請128個(gè)大小為4MB的物理內(nèi)存并將其映射到用戶虛地址空間作為DMA數(shù)據(jù)緩沖區(qū)使用。這些寄存器的作用如表1所示。

3.2.2 DMA管理模塊

使用規(guī)定傳輸系統(tǒng)最多允許建立128對傳輸通道，而PEX8619芯片上只有4個(gè)DMA通道。面對128路虛擬傳輸通道和4路DMA物理通道的不匹配，系統(tǒng)中使用分時(shí)復(fù)用DMA通道的方法解決這一矛盾。

首先，分時(shí)復(fù)用要解決共享內(nèi)存資源的分配，DMA數(shù)據(jù)緩沖區(qū)大小為128x4MB。為達(dá)到資源利用最大化及公平性，每一次虛擬傳輸通道的建立與斷開都要為現(xiàn)存的每一路傳輸通道重新計(jì)算和分配DMA數(shù)據(jù)緩沖區(qū)。每一路傳輸通道可用于接收或發(fā)送數(shù)據(jù)的緩沖區(qū)大小計(jì)算公式為：128×4/channel total×1/2，其中channel_total為總通道數(shù)。