HyperLink編程和性能考量

作者：時間：2014-01-14 來源：網(wǎng)絡(luò)

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

摘要

HyperLink 為兩個KeyStone 架構(gòu)DSP 之間提供了一種高速，低延遲，引腳數(shù)量少的通信接口。HyperLink 的用戶手冊已經(jīng)詳細(xì)的對其進(jìn)行了描述。本文主要是為HyperLink 的編程提供了一些額外的補(bǔ)充信息。

同時本文還討論了HyperLink 的性能，提供了在各種操作條件下的性能測試數(shù)據(jù)。對影響HyperLink 性能的一些參數(shù)進(jìn)行了討論。

文章的最后附上對應(yīng)本文的應(yīng)用代碼。

1、HyperLink 介紹

HyperLink 為兩片DSP 之間提供一種高速、低延遲，引腳數(shù)少的通信連接接口。

HyperLink 的設(shè)計(jì)速度最高速率支持12.5Gbps，目前在大部分的KeyStone DSPs 上, 由于受限于SerDes 和板級布線，速度接近為10Gbps 。HyperLink 是TI 專有的外設(shè)接口。相對于用于高速Serdes 接口的傳統(tǒng)的8b10b 編碼方式，HyperLink 減少了編碼冗余，編碼方式等效于8b9b。單片DSP 為HyperLink 提供4 個SerDes 通道，所以10Gbps 的HyperLink 理論吞吐率為10*4*(8/9)= 35.5Gbps= 4.44GB/s.

HyperLink 使用了PCIE 類似的內(nèi)存映射機(jī)制，但它為多核DSP 提供了一些更靈活的特性。本文將會使用幾個范例來詳細(xì)解釋這一點(diǎn)。

本文還討論了HyperLink 的性能，提供了在各種操作條件下的性能測試數(shù)據(jù)。對影響HyperLink 性能的一些因素進(jìn)行了討論。

2、HyperLink 配置

本節(jié)提供了一些配置HyperLink 模塊的補(bǔ)充信息。

2.1 Serdes 配置

Serdes 必須配置成期望的鏈接速度。圖1 表示了輸入?yún)⒖紩r鐘和輸出時鐘之間的關(guān)系。

輸入?yún)⒖紩r鐘建議限制在156.25MHz ~312.5MHz 范圍內(nèi)。Serdes PLL 的倍頻系數(shù)必須合理配置生成的內(nèi)部時鐘(internal clock)限制在1.5625GHz ~ 3.125GHz 范圍內(nèi)。

最后的鏈接速度由內(nèi)部時鐘(internal clock)驅(qū)動，通過link rate 配置來得到。

2.2 HyperLink 存儲映射配置

HyperLink 的存儲映射非常的靈活。HyperLink 的用戶手冊對此作了詳細(xì)的描述。本節(jié)將用兩個例子來詳細(xì)的解釋它。圖2 是第一個例子。

圖2 通過HyperLink 窗口映射到遠(yuǎn)端不同類型的存儲空間

在這個例子里面，DSP1 的存儲空間映射到了DSP0 的存儲空間窗口0x40000000~0x50000000DSP0 可以訪問DSP1 的所有內(nèi)存空間，包括LL2，SL2，DDR，就像訪問自己的本地的存儲空間一樣。在DSP0 上，所有的Master 都可以通過以0x40000000 起始的Outbound 窗口地址來訪問DSP1 的存儲空間，但是不同master 事實(shí)上可能訪問到DSP1 上不同的存儲空間。原因是HyperLink 發(fā)送側(cè)傳輸數(shù)據(jù)時，會將PrivID 一起傳輸。接受側(cè)通過PrivID 值，可以建立不同的地址映射表

對DSP0 與DSP1 的內(nèi)存映射關(guān)系總結(jié)在下表(表1)。

通過上表的配置，可知

當(dāng)DSP0 的core 0/1 訪問0x40800000，它事實(shí)上訪問了DSP1 上的LL2 地址空間。

當(dāng)DSP0 的core0 訪問0x4D000000，它事實(shí)上訪問了DSP1 上DDR 的地址空間0x8C000000

當(dāng)DSP0 的core1 訪問0x4D000000 ，它事實(shí)上訪問了DSP1 上DDR 的地址空間0x8F000000 與本文檔對應(yīng)的范例工程將HyperLink 配置成上述的內(nèi)存映射關(guān)系。下面是關(guān)鍵部分的配置代碼。

對于一些簡單的應(yīng)用，可能只是想訪問遠(yuǎn)程DSP 的DDR 空間,那么下面的例子用于這種情況。存儲映射關(guān)系如下圖所示。

圖3 通過HyperLink 窗口只映射到遠(yuǎn)端的DDR 空間

這是最簡單的例子,但是卻可以訪問遠(yuǎn)端DSP 的大塊存儲空間。DSP0 上的每個master(core 或者其他外設(shè)) 都可以可以訪問DSP1 上256MB DDR 空間。下表描述了core0 和core1 的對remote DSP DDR 存儲映射。

3、HyperLink 性能考慮

本節(jié)將讓設(shè)計(jì)者對HyperLink 訪問遠(yuǎn)程存儲空間的性能評估有基本的認(rèn)識。同時提供了在不同的操作條件下獲得的性能測試數(shù)據(jù)。大部分測試是在最理想的測試條件進(jìn)行，以評估可以獲得的最大吞吐量。

本文所描述的絕大部分性能數(shù)據(jù)是在C6670EVM 上獲得。C6670 EVM 上DDR 配置成64bit 位寬1333M，HyperLink 速率配置成10Gbit。

一些影響HyperLink 訪問性能的因素在本節(jié)中將會被討論到。

3.1 通過HyperLink 實(shí)現(xiàn)存儲拷貝的性能

下表(表3)描述了使用HyperLink 在LL2 與遠(yuǎn)程大塊線性存儲空間進(jìn)行數(shù)據(jù)傳送測試獲得的傳輸帶寬。傳輸塊的大小為64KB。帶寬的計(jì)算是通過計(jì)算傳輸總的字節(jié)數(shù)除以傳輸所用的時間獲得。

上述數(shù)據(jù)展示了cache 能夠極大的改善DSP 內(nèi)核通過HyperLink 讀取數(shù)據(jù)的性能。

但是L2 cache 卻遏制了通過HyperLink 寫數(shù)據(jù)的性能，這是因?yàn)長2 是write-allocate cache。對于使能L2cache 后的寫操作，它總是會先從將要寫入的存儲區(qū)讀取128 字節(jié)的數(shù)據(jù)到L2cache ，然后在L2 cache 中修改數(shù)據(jù)，最后在cache 沖突的時候回寫回到原先的存儲區(qū)，或者人為的回寫回原存儲區(qū)。

上述EDMA 吞吐率數(shù)據(jù)是通過TC0 (傳輸控制器0)和CC0(通道控制器0)上測試得到，其他TCs的數(shù)據(jù)會比TC0 稍低。整個傳輸?shù)钠款i是在HyperLink，不是在EDMA 傳輸控制器上。

上述測試結(jié)果表明通過HyperLink 進(jìn)行寫操作的性能會比通過HyperLink 進(jìn)行讀操作的性能要好。

遠(yuǎn)程DSP 存儲空間類型不會對帶寬造成明顯的影響。訪問遠(yuǎn)程DSP 的SL2 會比LL2 快一些。

目前，通過HyperLink 來訪問遠(yuǎn)程DSP 存儲空間(相對其他接口)是具有最高的帶寬性能的，但是訪問遠(yuǎn)程存儲空間比訪問本地存儲空間還是要慢。下表對比了訪問本地LL2 和DDR 與遠(yuǎn)程DDR 的吞吐性能。

大體來說，對本地存儲空間的寫入吞吐率是對遠(yuǎn)程空間進(jìn)行寫入操作的吞吐率的3 倍。對遠(yuǎn)程空間的讀性能會更差些。我們應(yīng)該盡量避免遠(yuǎn)程讀取數(shù)據(jù)。

3.2 DSP core 通過HyperLink 進(jìn)行遠(yuǎn)程訪問的延遲

DSP 核通過HyperLink 訪問遠(yuǎn)程空間的性能高度依賴于cache。當(dāng)DSP 內(nèi)核通過HyperLink 來訪問遠(yuǎn)程存儲空間的時候，一個TR(傳輸請求)可能會被生成并傳送給XMC(這取決于數(shù)據(jù)是否可以進(jìn)入cache 和被預(yù)取)。TR 將會是下面中的一種。

. 一個單一的元素- 如果存儲空間不能被cache 和預(yù)存取。

. 一個L1 cache line – 如果存儲空間可以進(jìn)入cache ，但是L2 cache 沒有被使能。

. 一個L2 cache line -如果存儲空間可以進(jìn)入cache，同時L2 cache 被使能.

. 如果存儲空間可以被預(yù)存取, 預(yù)存取將會被使能為一個預(yù)存取的buffer slot.

如果L1/L2cache 或者預(yù)存取命中，Hyperlink 端口不會有數(shù)據(jù)傳輸

遠(yuǎn)程空間數(shù)據(jù)可以被本地L1 cache/L2 cache 緩存，或者都沒有被cache。如果對應(yīng)存儲空間的MAR(Memory Attribute Register) 寄存器上的PC(Permit copy)位沒有被置位，那么對應(yīng)存儲區(qū)的數(shù)據(jù)將不會進(jìn)入cache。

如果MAR 寄存器上PC 位被置位，同時L2 的cache 空間是0(L2 被全部配置成SRAM)，那么外部存儲空間的數(shù)據(jù)可以進(jìn)入L1cache。

如果MAR 寄存器上PC 位被置位，L2 的Cache 空間大于0.那么外部存儲空間的數(shù)據(jù)就可以進(jìn)入L1cache 和L2cache。

讀取遠(yuǎn)程存儲空間數(shù)據(jù)也可以使用XMC 中的prefetch buffer。該特性可以在MAR 寄存器PFX(PreFetchable eXternally)被置位后使能。

地址步進(jìn)長度也會影響Cache 和Prefetch buffer 的使用效果。連續(xù)空間的訪問可以最充分的利用cache 和prefetch buffer，從而達(dá)到更好的性能。

以64bytes 距離或者更大間隔進(jìn)行步進(jìn)訪問將會導(dǎo)致每次L1 cache 命中失敗(miss)，這是因?yàn)長1 cache line 的大小是64byte。

以128bytes 距離或者更大間隔進(jìn)行步進(jìn)訪問將會導(dǎo)致每次L2 cache 命中失敗(miss)。

如果cache miss 發(fā)生，那么DSP 核就會被stall(等待數(shù)據(jù))。Stall 的時間長度等于傳輸延遲、傳輸間隔，數(shù)據(jù)返回時間，cache 請求延遲的總和。

下面的章節(jié)描述DSP 內(nèi)核通過HyperLink 訪問存儲區(qū)的延遲。測試偽代碼如下列所示。

下圖(圖4)為1GHz C6670EVM 上配置DDR 64bit 1333M 測試獲得的結(jié)果。通過HyperLink 實(shí)現(xiàn)512 次LDDW(load double word) 或者STDW( store double word)操作的性能測試。圖4 繪制了各種測試條件下的性能。LDB/STB 和LDW/STW 和LDDW/STDW 的指令周期數(shù)相同。雖然cache 和prefetch buffer 可以被獨(dú)立配置，但是測試的時候使用的配置是：如果cache 被使能，那么prefetch 也被使能，如果cache 沒有被使能，那么prefetch 也沒有被使能。

Non-cachable 寫是post 操作。所以它只會stall DSP core 很短的一段時間。

但是read 是non-post 的，所以DSP 內(nèi)核會等待數(shù)據(jù)的到來，所以它會stall DSP 內(nèi)核相對長一點(diǎn)時間。

當(dāng)cache 被使能后，DSP core 訪問remote 空間的吞吐性能高度依賴于cache。

地址的步進(jìn)間隔也會影響到cache 的使用。連續(xù)的地址訪問可以充分的利用cache。但是地址的步進(jìn)間隔超過case line 的大小(L1 case line =64Byte,L2 Case line =128Byte)將會導(dǎo)致每次cache 都無法命中，從而制約了性能。所以，對連續(xù)地址空間的數(shù)據(jù)訪問(像大塊數(shù)據(jù)拷貝)，cache 需要被使能，在其他情況下cache 應(yīng)當(dāng)不要使能。

通過上面的圖可以發(fā)現(xiàn)通過HyperLink 訪問DDR，SL2，LL2 在性能上并沒有明顯的差異。所以，正常情況下，通過HyperLink 來共享DDR 是一個很好的選擇，因?yàn)镈DR 容量大，而且成本低。

3.3 HyperLink 傳輸使用DMA 方式的開銷(overhead)

初始延遲被定義為EMDA 事件觸發(fā)到真實(shí)數(shù)據(jù)之間的傳輸開始之間的延遲。因?yàn)槌跏佳舆t很難被測量。所以我們就測試傳輸?shù)拈_銷，它被定義為傳輸最小單元數(shù)據(jù)的延遲。延遲的大小取決于源和目標(biāo)端的類型。下表描述了使用EDMA 在1GHz TCI6618EVM 不同端口間傳輸一個字(word)時，從EDMA 觸發(fā)(寫ESR)到EDMA 傳輸結(jié)束(讀IPR=1)的平均指令數(shù)目。

表6 中，讀Hyperlink 的延遲是853 個指令周期，寫Hyperlink 的延遲是322 指令周期，因?yàn)閷懯莗ost 操作，而讀是non-post 操作。所以從HyperLink 端口讀取數(shù)據(jù)的延遲要高于寫入數(shù)據(jù)到HyperLink。

對于小批量數(shù)據(jù)傳送，傳輸開銷(overhead)是很大的顧慮，尤其是系統(tǒng)中隊(duì)列DMA 阻塞的時候。單一元素的傳送性能較差，延遲會占用大部分時間。所以，對于小批量數(shù)據(jù)傳送，必須對使用EMDA 方式還是DSP 核方式來訪問數(shù)據(jù)進(jìn)行權(quán)衡。使用內(nèi)核來訪問單個隨機(jī)數(shù)據(jù)的延遲會比DMA 方式延遲小很多。本文3.2 節(jié)已經(jīng)做了詳細(xì)的描述。

3.4 HyperLink 中斷延遲

一個DSP 可以通過HyperLink 來觸發(fā)另外一個DSP 的中斷。通過HyperLink 傳遞中斷的延遲通過下列的偽代碼獲得測量。

測試是在Loopback 模式下測試。

1GHz C6670 的測試結(jié)果是大概710 個DSP core cycles。

4、范例工程

本文的范例代碼在C6670EVM 上通過測試。EVM 板子上有兩個C6670 DSP，他們通過HyperLink 互聯(lián)。

在這個例子中，DSP1 存儲空間通過HyperLink 被映射到了DSP0 上。DSP0 通過HyperLink 窗口訪問DSP1 的存儲空間就像訪問自己的本地空間一樣。這個工程范例也支持loopback 模式。在loopback 模式下，DSP0 事實(shí)上是通過自己的HyperLink 窗口訪問了自己的本地地址空間。

本例也演示了通過HyperLink 來實(shí)現(xiàn)中斷傳遞。

工程代碼的目錄結(jié)構(gòu)如下圖所示。