基于GIO/FVID的DSP視頻處理驅(qū)動(dòng)程序

引言

隨著時(shí)代的發(fā)展，dsp技術(shù)在遠(yuǎn)程監(jiān)控、可視電話、工業(yè)檢測(cè)等視頻處理領(lǐng)域得到了廣泛的應(yīng)用，對(duì)于不同的視頻處理系統(tǒng)，會(huì)使用不同的視頻設(shè)備，所以有必要為視頻設(shè)備設(shè)計(jì)驅(qū)動(dòng)程序，為高層應(yīng)用程序提供統(tǒng)一的接口來(lái)操作底層硬件。只要是遵行此驅(qū)動(dòng)程序接口標(biāo)準(zhǔn)開發(fā)的高層應(yīng)用程序，都可以在具有相同接口的不同硬件平臺(tái)上運(yùn)行，具有很好的通用性和可移植性，同時(shí)高層應(yīng)用程序設(shè)計(jì)人員只要會(huì)使用設(shè)備驅(qū)動(dòng)程序提供的api接口，就不必了解底層硬件的具體實(shí)現(xiàn)，可以大大地提高整體視頻系統(tǒng)的開發(fā)效率。

對(duì)于視頻設(shè)備，ti公司提出了對(duì)應(yīng)的視頻設(shè)備驅(qū)動(dòng)程序模型，但這些模型主要是針對(duì)6000系列高端dsp，甚至是dm64x這樣的視頻處理專用dsp設(shè)計(jì)的，而tms320f2812（簡(jiǎn)稱f2812）dsp這樣的低端處理器，內(nèi)部存儲(chǔ)空間較小，且沒(méi)有dm64x那樣專用的視頻接口，本文針對(duì)這類問(wèn)題，提出了對(duì)ti視頻驅(qū)動(dòng)模型進(jìn)行簡(jiǎn)化和改造的方法，使視頻設(shè)備驅(qū)動(dòng)程序占用盡量少的系統(tǒng)資源，來(lái)完成對(duì)視頻硬件設(shè)備的操作，這種視頻驅(qū)動(dòng)模型的裁減方法，對(duì)于使用低端處理器的視頻處理系統(tǒng)具有可借鑒性。

1 基于dsp/bios的外設(shè)驅(qū)動(dòng)開發(fā)模型

ti公司為開發(fā)dsp的外設(shè)驅(qū)動(dòng)程序，推出了dsp/bios device drive kit[1]，定義了標(biāo)準(zhǔn)的設(shè)備驅(qū)動(dòng)模型，并提供了一系列的api接口，如圖1所示，外設(shè)驅(qū)動(dòng)程序分為兩層：

①類驅(qū)動(dòng)（class driver），類驅(qū)動(dòng)程序用來(lái)為應(yīng)用程序提供接口，這部分程序與設(shè)備無(wú)關(guān)，主要功能包括維護(hù)設(shè)備數(shù)據(jù)緩沖區(qū)，向上提供api接口供應(yīng)用層程序調(diào)用，并協(xié)調(diào)應(yīng)用程序?qū)ν庠O(shè)操作的同步和阻塞，向下提供適配層與迷你驅(qū)動(dòng)層相連，實(shí)現(xiàn)api接口函數(shù)到迷你驅(qū)動(dòng)程序的映射，類驅(qū)動(dòng)程序與硬件無(wú)關(guān)，只要外設(shè)驅(qū)動(dòng)模型選定了，類驅(qū)動(dòng)程序就定下來(lái)了，不需要作多少修改。

②迷你驅(qū)動(dòng)（mini driver），迷你驅(qū)動(dòng)程序與設(shè)備相關(guān)，所以設(shè)計(jì)迷你驅(qū)動(dòng)程序是外設(shè)驅(qū)動(dòng)開發(fā)中的重點(diǎn)，迷你驅(qū)動(dòng)程序與類驅(qū)動(dòng)層的接口格式是統(tǒng)一的，但迷你驅(qū)動(dòng)程序?qū)Φ讓佑布牟僮魇歉鶕?jù)硬件平臺(tái)的不同而變化的，迷你驅(qū)動(dòng)接收類驅(qū)動(dòng)層發(fā)出的iom_packet命令包，決定對(duì)底層硬件進(jìn)行什么樣的操作。

外設(shè)驅(qū)動(dòng)程序模型又可以分為以下3類[2]：

1）pip/pio模型。基于數(shù)據(jù)管道的i/o模型，每個(gè)管道都在維護(hù)自己的一個(gè)緩沖區(qū)。當(dāng)數(shù)據(jù)寫入緩沖區(qū)，或從緩沖區(qū)取出數(shù)據(jù)時(shí)，便會(huì)激發(fā)notifyreader和notifywriter函數(shù)實(shí)現(xiàn)數(shù)據(jù)的同步。

2）sio/dio模型，基于數(shù)據(jù)的i/o模型，一個(gè)數(shù)據(jù)流是單向的，要么是輸入，要么是輸出，而且sio/dio模型使用異步方式來(lái)操作i/o，對(duì)于數(shù)據(jù)的讀寫、處理可以同時(shí)進(jìn)行[3]。

3）gio模型，通用的i/o模型，靈活性很強(qiáng)，且沒(méi)有適配層、直接操作迷你驅(qū)動(dòng)程序，主要用來(lái)設(shè)計(jì)新型的設(shè)備驅(qū)動(dòng)模型。

2 視頻處理系統(tǒng)硬件平臺(tái)

硬件平臺(tái)如圖2所示，系統(tǒng)以ti公司的f2812 dsp作為中心處理器，以模擬攝像機(jī)進(jìn)行視頻信號(hào)采集，再使用saa7111視頻解碼芯片將其轉(zhuǎn)換為bt601格式的數(shù)字視頻信號(hào)，dsp將數(shù)字視頻信號(hào)處理后，再寫入輸出幀緩存al422中，并控制視頻編碼芯片adv7177，將其轉(zhuǎn)換為模擬電視信號(hào)輸出。整個(gè)系統(tǒng)以1片cpld——ispmach lc4128來(lái)協(xié)調(diào)各個(gè)芯片之間的時(shí)序關(guān)系。

3 視頻設(shè)備驅(qū)動(dòng)程序開發(fā)

3.1 設(shè)備驅(qū)動(dòng)程序模型的選擇

如上文介紹，常用的驅(qū)動(dòng)程序模型包括3類：pio、sio和gio。比較這3種模型可以知道：pio支持更底層的通信，適合設(shè)計(jì)比較簡(jiǎn)單的外設(shè)驅(qū)動(dòng)程序，例如在ti公司的6x11dsk板上實(shí)現(xiàn)的音頻采集和回放，一般都是基于pio模型的[4]，而sio模型具有很好的緩沖器分配回收機(jī)制，比較適合描述視頻設(shè)備，但是sio的很多功能在本系統(tǒng)中使用不到，而且gio模型設(shè)計(jì)的目的解決針對(duì)特殊硬件的新型設(shè)備，所以最終考慮使用gio的設(shè)備驅(qū)動(dòng)模型。

ti公司最初設(shè)計(jì)的gio模型[3]其實(shí)是有缺陷的，主要在數(shù)據(jù)緩沖區(qū)管理的問(wèn)題上，應(yīng)用程序在取得緩沖區(qū)進(jìn)行數(shù)據(jù)處理之后，卻無(wú)法將緩沖區(qū)返回設(shè)備驅(qū)動(dòng)程序，于是ti公司在推出dm642這一款主要用于視頻處理的dsp芯片的同時(shí)，對(duì)gio模型進(jìn)行了改進(jìn)，提出了專門針對(duì)視頻設(shè)備的fvid模型[5]，fvid模型是建立在gio模型之上的，以fvid_alloc、fvid_exchange、fvid_free函數(shù)對(duì)gio模型中的gio_submit函數(shù)進(jìn)行封裝，解決了gio模型中驅(qū)動(dòng)程序不能回收緩沖區(qū)的問(wèn)題。

此外，fvid模型還專門設(shè)計(jì)了fvid_frame結(jié)構(gòu)，此結(jié)構(gòu)中包含了常用的視頻信號(hào)的信息，如行數(shù)、列數(shù)、yuv結(jié)構(gòu)、場(chǎng)頻等，很適合描述視頻數(shù)據(jù)幀，但fvid主要是針對(duì)dm64x系統(tǒng)設(shè)計(jì)的，dm64x的很多功能在f2812 dsp上都不具備。所以本設(shè)計(jì)針對(duì)f2812 dsp射頻處理系統(tǒng)，對(duì)fvid模型進(jìn)行了一定的簡(jiǎn)化，保留類驅(qū)動(dòng)程序，而重寫了迷你驅(qū)動(dòng)層程序。

3.2 視頻處理程序運(yùn)行流程

在設(shè)計(jì)完成的視頻驅(qū)動(dòng)程序基礎(chǔ)上，開發(fā)一個(gè)典型的視頻處理應(yīng)用程序，其運(yùn)行流程如圖3所示，首先使用fvid_create函數(shù)建立gio_capture和gio_play兩個(gè)視頻通道，再以gio_capture通道的fvid_control函數(shù)發(fā)出cmd_start，采集到1幀視頻數(shù)據(jù)，應(yīng)用程序以gio_capture通道的fvid_alloc函數(shù)向驅(qū)動(dòng)程序申請(qǐng)采集到的數(shù)據(jù)幀，進(jìn)行處理后再以fvid_exchange函數(shù)將修改后的數(shù)據(jù)幀返回驅(qū)動(dòng)程序，最后再調(diào)用gio_play通道的fvid_control函數(shù)發(fā)出cmd_display命令將數(shù)據(jù)幀輸出，由圖3可以看到，應(yīng)用程序調(diào)用的這些fvid_xxx接口函數(shù)會(huì)自動(dòng)由類驅(qū)動(dòng)程序?qū)訉酉蛳掠成?，到達(dá)迷你驅(qū)動(dòng)層程序，而迷你層程序可以直接操縱底層硬件設(shè)備，來(lái)完成整個(gè)視頻的采集、處理和顯示的過(guò)程。

3.3 迷你驅(qū)動(dòng)程序的設(shè)計(jì)

迷你層驅(qū)動(dòng)程序是整個(gè)設(shè)計(jì)的重點(diǎn)所在，下面詳細(xì)介紹其實(shí)現(xiàn)方法，迷你層驅(qū)動(dòng)程序主要由表1所列的幾個(gè)函數(shù)組成。

對(duì)各個(gè)函數(shù)的具體實(shí)現(xiàn)如下：

1）mdbindev函數(shù)。在應(yīng)用程序建立設(shè)備接口（如fvid_create函數(shù)）時(shí)被調(diào)用，完成對(duì)外部設(shè)備的初始化，而與其對(duì)應(yīng)的是mdubinddev函數(shù)，使用mdubinddev函數(shù)會(huì)使設(shè)備處于無(wú)效狀態(tài)，不能再使用。

2）mdcreatechan函數(shù)，使用此函數(shù)為應(yīng)用程序和驅(qū)動(dòng)程序建立通信通道，同時(shí)為每個(gè)通道申請(qǐng)緩沖區(qū)，在ti公司發(fā)布的fvid模型中，為每個(gè)通道都分配了3個(gè)緩沖區(qū)，輪流與外部設(shè)備交換數(shù)據(jù)，每個(gè)緩沖區(qū)對(duì)應(yīng)1幀視頻數(shù)據(jù)，這樣的設(shè)計(jì)在dm642這樣可以外擴(kuò)大容量sdram的系統(tǒng)中是完全可行的，但是對(duì)于本系統(tǒng)，f2812 dsp外部只擴(kuò)展了512k×16位的sram，既要做視頻輸入的幀緩存，又要存放一部分程序，這樣存儲(chǔ)空間就不夠了，所以本設(shè)計(jì)中進(jìn)行了簡(jiǎn)化，對(duì)視頻輸入設(shè)備采用兩緩沖區(qū)輪轉(zhuǎn)的機(jī)制，如圖4（a）所示，而對(duì)于視頻輸出設(shè)備，以al422 fifo作為硬件幀緩存，而不在sram中再為其分配緩沖區(qū)，與mdcreatechan對(duì)應(yīng)的是mddeletechan函數(shù)，用于刪除設(shè)備通道，釋放緩沖區(qū)資源。

3）mdsubmitchan函數(shù)。負(fù)責(zé)管理緩沖區(qū)，分別接受應(yīng)用程序發(fā)出的fvid_alloc、fvid_exchange、fvid_free三個(gè)命令并進(jìn)行處理，其中fvid_alloc命令對(duì)應(yīng)圖4中（a）到（b）的過(guò)程，應(yīng)用程序從兩個(gè)緩沖區(qū)中取出最新的一幀視頻數(shù)據(jù)，對(duì)其中的數(shù)據(jù)做處理，而只剩下一個(gè)緩沖區(qū)用來(lái)接收外部設(shè)備輸入的數(shù)據(jù)，fvid_exchange對(duì)應(yīng)圖4中（b）到（c）的過(guò)程，應(yīng)用程序處理完1幀數(shù)據(jù)，將這1幀數(shù)據(jù)返回驅(qū)動(dòng)程序，準(zhǔn)備用來(lái)顯示，同時(shí)再讀入新的1幀數(shù)據(jù)進(jìn)行處理，fvid_free對(duì)應(yīng)圖4中（c）到（a）的過(guò)程，應(yīng)用程序?qū)⑻幚硗甑臄?shù)據(jù)幀返回驅(qū)動(dòng)程序，而不再向驅(qū)動(dòng)程序申請(qǐng)新的數(shù)據(jù)幀。以上3個(gè)命令是針對(duì)視頻輸入接口gio_capture而言的，而對(duì)于輸出設(shè)備接口gio_play，在sram中沒(méi)有分配緩沖區(qū)，所以其mdsubmitchan函數(shù)內(nèi)部設(shè)為空函數(shù)。

4）mdcontrolchan函數(shù)，用來(lái)操作外部視頻設(shè)備，完成對(duì)視頻數(shù)據(jù)的采集和輸出，對(duì)于gio_capture和gio_play這兩個(gè)設(shè)備接口的mdcontrolchan函數(shù)接受的命令是不同的；

視頻輸入gio_capture接口的mdcontrolchan函數(shù)只接受cmd_start命令，完成1幀視頻數(shù)據(jù)的采集，而視頻輸出gio_play接口的mdcontrolchan函數(shù)只接受cmd_display命令，完成視頻信號(hào)的輸出。

3.4 視頻驅(qū)動(dòng)模型裁剪的一般方法

ti公司設(shè)計(jì)的gio/fvid視頻設(shè)備驅(qū)動(dòng)原型相對(duì)復(fù)雜，且占用較多的系統(tǒng)資源，要使其可以應(yīng)用于更通用的低端處理器系統(tǒng)，就必須進(jìn)行改造和裁減，在改造中要注意以下幾個(gè)方面：

1）阻塞的i/o操作，ti公司的6000系列的dsp具有edma功能，傳輸數(shù)據(jù)不需要cpu的干預(yù)，而dm64x還具有專用的射頻接口，傳輸數(shù)據(jù)不會(huì)占用外部擴(kuò)展總線，所以視頻數(shù)據(jù)的處理和輸入輸出是可以并行的，而低端處理器是不具備這樣功能的，視頻設(shè)備一般都是通過(guò)外部擴(kuò)展總線連接的，所以對(duì)視頻設(shè)備的操作必須設(shè)計(jì)為阻塞型的i/o操作，視頻數(shù)據(jù)輸入/輸出的過(guò)程是由cpu來(lái)完成的，且要保證對(duì)視頻設(shè)備的操作不會(huì)被其他操作中斷。

2）對(duì)視頻數(shù)據(jù)緩沖區(qū)的管理，gio/fvid視頻設(shè)備驅(qū)動(dòng)原型中使用的3緩沖區(qū)模型，雖然功能很完善，卻占用了太多的存儲(chǔ)空間，所以對(duì)于實(shí)際的視頻處理系統(tǒng)就要進(jìn)行調(diào)整，該為兩緩沖區(qū)甚至是單緩沖區(qū)模型，對(duì)象具有獨(dú)立硬件緩存的輸出設(shè)備，可以考慮不再為其分配動(dòng)態(tài)緩沖區(qū)。

3）對(duì)視頻設(shè)備的操作，mdcontrolchan函數(shù)主要用來(lái)操作外部視頻設(shè)備，只要保留對(duì)實(shí)際系統(tǒng)有用的操作就足夠了，而gio/fvid視頻設(shè)備驅(qū)動(dòng)原型中定義的很多操作都可以省略。

4 小結(jié)

本文介紹了基于dsp/bios的外設(shè)驅(qū)動(dòng)程序模型，并針對(duì)基于f2812 dsp的視頻處理系統(tǒng)這一具體的硬件平臺(tái)，重點(diǎn)介紹了開發(fā)gio/fvid設(shè)備驅(qū)動(dòng)的流程和針對(duì)低端處理器系統(tǒng)的視頻驅(qū)動(dòng)模型裁減方法，本視頻驅(qū)動(dòng)程序?yàn)殚_發(fā)各種視頻處理應(yīng)用程序（如jpeg圖像）壓縮、mpeg視頻壓縮、視頻監(jiān)控程序等）提供了有力的支持，本文介紹的設(shè)備驅(qū)動(dòng)程序的開發(fā)方法，對(duì)于同類視頻處理系統(tǒng)，特別是對(duì)于使用ti2000系列dsp這樣系統(tǒng)資源比較有限的視頻處理系統(tǒng)，具有很好的可借鑒性。