使用BCM56500實(shí)現(xiàn)板級高性能交換型路由器

應(yīng)用MPC8245CPU和BCM56500交換芯片實(shí)現(xiàn)基于PCI總線的板級高端口密度三層交換機(jī)，給出了路由協(xié)議和其他協(xié)議棧，并給出了交換性能指標(biāo)

隨著用戶需求和網(wǎng)絡(luò)技術(shù)的發(fā)展，高速率高端口密度的多層IP路由交換功能的應(yīng)用已經(jīng)越來越廣泛了。由于實(shí)現(xiàn)三層以上路由功能的判據(jù)較為復(fù)雜，傳統(tǒng)的路由器采用軟件實(shí)現(xiàn)路由功能，由高性能的CPU同時實(shí)現(xiàn)控制平臺和數(shù)據(jù)通道。

自從三層交換的概念提出以來，主要的技術(shù)可以分為兩類：路由型交換機(jī)和交換型路由器。路由型交換機(jī)通過各種技術(shù)來發(fā)現(xiàn)、建立和緩存路由捷徑來實(shí)現(xiàn)路由加速功能。一般情況下路由型交換機(jī)不實(shí)現(xiàn)大型動態(tài)路由協(xié)議，主要應(yīng)用在基于ATM的多協(xié)議交換技術(shù)中。交換型路由器可以用來實(shí)現(xiàn)類似OSPF、EIGRP等的動態(tài)路由協(xié)議，采用RISC CPU加ASIC專用交換芯片分離控制平臺和數(shù)據(jù)通道。由于數(shù)據(jù)通道單獨(dú)由ASIC實(shí)現(xiàn)，可以達(dá)到端口線速。本文介紹了一個使用Freescale公司的MPC8245高性能RISC CPU和Broadcom公司的BCM56500高速交換芯片，來實(shí)現(xiàn)應(yīng)用在網(wǎng)絡(luò)接入系統(tǒng)中的24個千兆端口的三層交換的解決方案。由于本數(shù)據(jù)交換板是用于寬帶接入系統(tǒng)，測試結(jié)果表明該設(shè)計(jì)方案的高性能、高端口密度和硬件實(shí)現(xiàn)的穩(wěn)定性能夠充分滿足系統(tǒng)的需求。

MPC8245和BCM56500簡介

MPC8245是基于MPC603e核的高性能低功耗的32位嵌入式RISC處理器，帶有DUART接口、雙通道DMA控制器和標(biāo)準(zhǔn)I²C控制器等通用模塊。MPC8245支持PCI總線2.2標(biāo)準(zhǔn)，可以同時工作在PCI主設(shè)備和從設(shè)備狀態(tài)。

BCM56500是多層交換芯片，集成了24個千兆位以太網(wǎng)端口，同時支持IPv4和IPv6協(xié)議，支持硬件處理的二層交換，三層路由以及二到七層數(shù)據(jù)包的分類和過濾功能，芯片內(nèi)部集成2MB數(shù)據(jù)包緩沖內(nèi)存。BCM56500支持PCI總線2.2標(biāo)準(zhǔn)，系統(tǒng)設(shè)計(jì)中通常使用RISC CPU通過PCI總線對BCM56500進(jìn)行初始化、配置管理和實(shí)現(xiàn)三層交換功能。BCM56500的結(jié)構(gòu)框圖如圖1所示。

由圖1可以看出，BCM56500芯片由以下一些主要功能模塊組成。

(1)千兆接口控制器(GPIC)：用于提供千兆接口與交換邏輯之間的接口。

(2)CPU管理接口(CMIC)：主要提供CPU與BCM56500設(shè)備不同功能塊之間的接口，同時也用于諸如MIIM、I²C和指示燈的處理等功能。該模塊通過PCI總線接口與CPU相連，可使CPU訪問和控制BCM56500。

(3)地址解析邏輯(ARL)：該邏輯功能模塊可在數(shù)據(jù)包的基礎(chǔ)上確定該數(shù)據(jù)包的轉(zhuǎn)發(fā)策略。它利用二層表(L2_TABLE)、二層組播表(L2_MCTABLE)、三層表(L3_TABLE)、三層最長前綴匹配表(DEF_IP_HI和DEF_IP_LO)、三層接口表(L3_INTF)、IP組播表(L3_IPMC)、VLAN表(VLAN)以及生成樹表(VLAN_STAG)來決定如何轉(zhuǎn)發(fā)數(shù)據(jù)包。

(4)公共緩沖池(CBP)：公共緩沖池實(shí)際上是2MB共享的包緩沖區(qū)，由8192個單元組成，每個單元256字節(jié)。設(shè)備里的每個數(shù)據(jù)包消耗一至多個單元。

(5)內(nèi)存管理單元(MMU)：BCM56500有一個單獨(dú)的內(nèi)存管理單元，每個內(nèi)存管理單元與設(shè)備的功能塊(GPIC)等相關(guān)聯(lián)。內(nèi)存管理單元負(fù)責(zé)數(shù)據(jù)包的緩沖和調(diào)度，它首先接收數(shù)據(jù)包，然后再將數(shù)據(jù)包緩沖，并在發(fā)送時加以調(diào)度，同時它還管理交換單元的流控特性，概括來說，就是緩沖邏輯、調(diào)度邏輯、流控邏輯。緩沖邏輯從CP-BUS接收包并存放在公共緩沖池，同樣也從公共緩沖池獲取包并將它們發(fā)送到CP-BUS。包的發(fā)送順序由調(diào)度邏輯根據(jù)包的優(yōu)先級別確定。流控邏輯包括Head-of-Line(HOL)阻塞預(yù)防和Backpressure兩種方式。

這些功能模塊之間可通過CP-Bus和S-Channel這兩條內(nèi)部總線聯(lián)系起來。其中CP-Bus用于芯片內(nèi)數(shù)據(jù)包的高速傳輸，它支持所有端口的同時線速轉(zhuǎn)發(fā)。而S-Channel Bus則有兩個作用，第一是用于內(nèi)存管理單元到其他功能塊的流控；第二是通過CPU管理接口由CPU控制訪問內(nèi)部寄存器和表，以及通過過濾器選送特殊數(shù)據(jù)包到CPU并由CPU發(fā)送特定數(shù)據(jù)包到端口以實(shí)現(xiàn)三層功能。

板級高端口密度LAN Switch硬件設(shè)計(jì)

圖2  交換板硬件結(jié)構(gòu)圖

圖2是LAN Switch交換板的硬件結(jié)構(gòu)，其硬件電路由CPU控制單元(子卡)、交換單元、物理層芯片單元、RJ45/光接口單元、CPU連接器單元、時鐘單元、電源單元組成。

在設(shè)計(jì)中采用了一片BCM56500實(shí)現(xiàn)24個千兆數(shù)據(jù)端口，采用一片BCM5464物理層芯片和一片BCM5461 物理層芯片來提供不同類型的數(shù)據(jù)端口。使用BCM5464接出4個千兆電接口(SGMII接口)接入前面板，使用BCM5461接出1路千兆電接口(SGMII接口)作為板內(nèi)使用。使用BCM56500的SERDES接口接出2路千兆光接口接入前面板，另外使用1路SERDES接口也作為板內(nèi)使用，其余16路千兆端口使用SERDES接口接入系統(tǒng)背板，供系統(tǒng)其他板卡上聯(lián)作為星型數(shù)據(jù)總線。BCM5464是BroadCom公司的4端口千兆物理層芯片，BCM5461是BroadCom公司的單端口千兆物理層芯片。

在硬件設(shè)計(jì)中，交換單元選用了BCM56500，通過PCI接口與CPU控制單元相連，以實(shí)現(xiàn)對交換芯片的配置管理和快速通信。設(shè)計(jì)中的實(shí)際連接如圖3所示。其中由于系統(tǒng)中只有1個PCI從設(shè)備，設(shè)備號采用PCI_AD[31]線上的信號來選中，因此實(shí)際連線中CPU的IDSEL直接連接PCI_AD[31]即可。在PCI驅(qū)動軟件中，要保證使用硬件相應(yīng)的設(shè)備號進(jìn)行選中和配置。

圖3  系統(tǒng)PCI連接圖

LAN Switch的軟件啟動和硬件初始化過程

LAN Switch采用WindRiver公司VxWorks操作系統(tǒng)。在CPU最小系統(tǒng)(CPU＋SDRAM＋Flash＋串口)完成啟動后，需要通過PCI總線對LAN Switch交換部分進(jìn)行初始化，主要步驟如下。

(1)由于BCM56500工作在little endian模式，而MPC8245工作在big endian模式，因此需要對頭模式進(jìn)行設(shè)置(可以使用字節(jié)位移指令或者對CONFIG_ADDR和CONFIG_DATA在訪問前進(jìn)行字節(jié)交換)；

(2)根據(jù)硬件連接選擇PCI設(shè)備的設(shè)備號，配置交換芯片BCM56500的PCI基地址和窗口大小；

(3)通過PCI總線使用交換芯片BCM56500的CPU管理接口確定交換芯片的型號，然后根據(jù)不同的芯片類型進(jìn)行初始化和DMA通道的配置；

(4)掛接交換芯片的驅(qū)動程序和各種API，完成LAN switch的初始化過程。

其中第三、第四步驟需要Broadcom公司的軟件開發(fā)支持包(SDK)支持，直接從程序中調(diào)用Boradcom的初始化程序，可以保證正常完成初始化和加載驅(qū)動程序。

以下對PCI驅(qū)動的設(shè)計(jì)配置和SDK做進(jìn)一步的說明。

前面已經(jīng)說明了對于BCM56500的IDSEL信號已經(jīng)確定，設(shè)計(jì)中使用VxWorks的標(biāo)準(zhǔn)PCI驅(qū)動程序，對于BCM56500的PCI掛接例程如下。

(1)在bootROM中用sysHwInit()調(diào)用sysPciAutoConfig()，對PCI_SYSTEM結(jié)構(gòu)進(jìn)行實(shí)例化；

(2)同樣在sysHwInit()中，使用pciConfigOutLong()對BCM56500的基地址和窗口大小進(jìn)行配置，然后使用pciConfigOutByte()掛接BCM56500的中斷至CPU的外部中斷向量表；

(3)至此，PCI配置完成。通過BCM56500的S_Channel可以配置BCM56500中的各個寄存器和表項(xiàng)。S_Channel的消息傳遞有特殊的格式和規(guī)范，一般通過Broadcom公司提供的軟件開發(fā)支持包(SDK)中自帶的標(biāo)準(zhǔn)函數(shù)來進(jìn)行配置。

本設(shè)計(jì)使用Broadcom公司5.2.3版的SDK。SDK的設(shè)計(jì)嚴(yán)格分層，自下而上分成操作系統(tǒng)(RTOS)、操作系統(tǒng)適配層(SAL)、芯片系統(tǒng)層(SOC)、分發(fā)層(Dispatch)和BCM的應(yīng)用接口層(API層)。由于SDK支持Broadcom公司的幾乎所有交換芯片，因此在使用SDK的時候，在使用API之前需要進(jìn)行芯片查詢，按照搜索到的芯片掛接相對應(yīng)的API。整個的芯片查詢和掛接API的過程，使用SDK實(shí)現(xiàn)相當(dāng)方便。初始化SDK的API的過程如下。

(1)SDK軟件初始化：diag_shell()，sysconf_int()；

(2)在本地的PCI總線上查詢Broadcom設(shè)備：sysconf_prob()；

(3)根據(jù)查詢到的設(shè)備進(jìn)行相對應(yīng)的驅(qū)動程序掛接：sysconf_attached()；

(4)應(yīng)用正確的驅(qū)動程序?qū)粨Q芯片進(jìn)行初始化：system_init()；

(5)芯片基本的初始化后，進(jìn)入正常的工作狀態(tài)，此時可以進(jìn)行應(yīng)用程序的初始化了：bcm_init()，應(yīng)用程序和協(xié)議棧入口。

交換性能測試結(jié)果和三層功能實(shí)現(xiàn)

設(shè)計(jì)定型后的LAN Switch經(jīng)過SmartBits測試，每個端口都可以達(dá)到線速轉(zhuǎn)發(fā)，穩(wěn)定性測試表明可以達(dá)到48小時千兆線速無丟幀性能。所得的結(jié)果如圖4所示。

圖4  千兆光接口48小時性能測試結(jié)果

由于這個設(shè)計(jì)方案使用CPU＋ASIC方案，三層的IP路由轉(zhuǎn)發(fā)功能由交換芯片的三層轉(zhuǎn)發(fā)表(L3_Table)實(shí)現(xiàn)線速轉(zhuǎn)發(fā)。其他的三層協(xié)議棧功能應(yīng)用交換芯片中過濾器實(shí)現(xiàn)。在本設(shè)計(jì)中，根據(jù)需求完成了OSPF、RIP-2、DHCP、DHCP relay、IGMP、IGMP relay等常用IP協(xié)議棧，實(shí)現(xiàn)了基于PCI總線的板級高端口密度三層交換機(jī)的設(shè)計(jì)要求。