在FPGA中實現圖像格式轉換的參考設計
首先由同步視頻輸入MegaCore 功能來處理SDI 視頻數據。該功能將同步視頻格式數據( 例如, BT656 或者DVI) 轉換為流控制Avalon 流(Avalon-ST) 視頻協議,實現與數據通路后面其他視頻處理功能的鏈接。
采用高質量視頻處理數據通路來處理第一個視頻通道。對每一輸入視頻圖像( 這個例子中是NTSC) 場的前三行進行剪輯,輸出720x240 圖像。剪輯后的視頻數據在從YcbCr 顏色空間轉換為RGB 之前,經過色度上采樣,轉換為YCbCr 4:4:4 格式。色度上采樣功能使用具有固定Lanczos-2 系數的4 抽頭濾波器。顏色空間轉換器也采用了取整( 向上半數取整) 算法,輸出8 位位寬數據。
然后,將視頻傳送至去隔行功能模塊。由于運動自適應算法要求輸入顏色通道具有相同的采樣率,因此,在進行去隔行處理之前,先進行色度上采樣。( 今后的去隔行IP 將支持4:2:2 模式的視頻處理功能)。去隔行器經過配置后,能夠同時接收逐行和隔行視頻。當輸入視頻是隔行格式時,運動自適應算法產生逐行格式的視頻流。當輸入視頻是逐行格式時,去隔行器直接輸出數據,不對其進行處理。當進行運動自適應去隔行處理時,數據在外部存儲器中進行緩沖,完成基本幀速率轉換處理。
然后,通過參數賦值縮放器功能( 具有12 個橫向和12 個縱向抽頭) 的多相算法對逐行視頻流進行縮放。
采用Avalon 存儲器映射(Avalon-MM) 從機控制接口對縮放器進行配置,支持縮放器輸出分辨率運行時規(guī)范要求。此外,當縮放比率變化時, Nios? II 處理器上運行的軟件計算并重新裝入合適的系數,從而提高了圖像質量。最后,在將視頻流與背景測試碼型以及第二個視頻流混合之前,幀緩沖功能在外部存儲器中緩沖視頻數據。兩路視頻流輸入到合成器進行縮放和同步,需要對突發(fā)數據流進行平滑處理。
第二個通道處理質量稍差,這樣可以提高視頻格式轉換的資源利用率。主要有兩種方法來處理兩路不同格式的視頻流:
■ 使用簡單的最近鄰居縮放算法對第二個視頻流進行縮放,需要較少的片內存儲器和乘法器資源。
■ 使用場合并去隔行算法對第二個視頻流進行去隔行處理,需要較少的邏輯資源和外部存儲器帶寬。
3 定制您的圖像格式轉換設計
Altera 視頻工作臺從根本上支持用戶定制設計。工作臺支持三級定制,非常靈活,如圖4 所示。在FPGA 領域,這種定制功能是前所未有的,采用ASSP 進行設計是無法實現的。
圖4. Altera 視頻工作臺支持不同層面的定制功能
采用Altera 視頻工作臺開發(fā)設計時,可以使用兩種創(chuàng)新技術實時進行更新:
■ 數據包格式流接口——設計用于在功能模塊之間同時傳送視頻和控制數據包。
■ 算法功能模塊配置——可以配置為存儲器映射組件,通過寫入相應的控制寄存器,實時更新功能。
Avalon-ST 視頻協議是Altera 新的低開銷流協議,提供面向數據包的方法來發(fā)送視頻和控制數據??刂茢祿糜诎l(fā)送動態(tài)參數,該參數描述流視頻幀格式。這些參數應用于將要到達的下一視頻數據包,或者在編譯時設定,用在復位后接收到的第一個視頻數據包上。( 表2 列出了控制數據包是怎樣提供下一幀信息的)。數據到達時,視頻數據流中的嵌入式控制數據包支持采用新數據對視頻處理流水線進行重新配置。
表2. 控制數據包支持對視頻流格式的動態(tài)更新
除了通過流接口實現運行時更新, Altera 開發(fā)的大部分視頻功能模塊都具有運行時更新功能。這表明,這些模塊使用存儲器映射從機接口,支持對狀態(tài)機和片內處理器的更新。每個從機接口支持對一組控制寄存器的訪問。例如,可以使用片內處理器,在運行時更新這些控制寄存器。在新一幀的開始,更新后的控制數據被裝入到IP 功能模塊中。這樣,您可以在系統(tǒng)運行時更新圖像大小和縮放系數,改變縮放比。圖5 顯示了Altera 視頻工作臺多相縮放引擎是怎樣實現運行時控制的。
圖5. 更新縮放功能
為進一步定制設計,您可以針對MegaCore 功能來修改參數。Altera 開發(fā)的所有視頻功能都是可以進行參數賦值的。如圖6 所示,利用去隔行器功能,您不但可以選擇去隔行算法,還可以選擇默認場、直通模式、外部存儲器緩沖幀數量、輸出幀速率和運動控制補償等算法。
圖6. 參數賦值硬件功能模塊
Avalon-ST 和Avalon-MM 接口標準的開放即插即用規(guī)范意味著您可以先進行圖像格式轉換設計,然后,采用定制模塊來替換Altera 模塊。很多設計人員都有適合自己應用的定制算法。為實現定制算法的簡單集成,Altera 提供支持Avalon-ST 接口打包器的HDL 模板。打包器包括以下模塊:
■ VIP 控制數據包解碼器——從數據流中解碼VIP 控制數據包,將解碼后的數據( 寬度、高度、隔行信息)作為單獨的信號發(fā)送給算法功能模塊。
■ VIP 控制數據包編碼器——根據接收到的寬度、高度和隔行信息對VIP 控制數據包編碼,將其插入到數據流中。
■ VIP 流控制打包器——圍繞用戶算法進行打包處理,實現 Avalon-ST 與簡單讀寫接口的流控制轉換。
■ 用戶算法內核——HDL 模板在用戶算法模塊中提供了簡單的設計實例。您可以采用自己的算法替代這一模塊。
圖7 所示為HDL 模板的高級結構視圖。
圖7. Avalon 流HDL 模板
Algolith 作為Altera IP 合作伙伴,是視頻IP 領域的專業(yè)公司,采用了HDL 模板來評估其內核。Algolith 開始時采用Altera 參考設計進行圖像格式轉換,然后使用自己的專用運動自適應去隔行器替代Altera 去隔行器,并提供給用戶,在硬件中進行評估。同樣, Algolith 使用Altera 視頻設計工作臺開發(fā)了參考設計,幫助用戶評估他們的噪聲抑制IP。
4 結論
Altera 視頻工作臺為廣播基礎實施系統(tǒng)實現圖像格式轉換提供所有必須的關鍵功能。采用Altera 視頻設計工作臺和圖像格式轉換參考設計, FPGA 設計人員現在可以使用以前只有廣播ASSP 才能提供的功能,而且還具有靈活性和硬件定制等優(yōu)勢。
評論