Linux系統(tǒng)下USB攝像頭驅(qū)動開發(fā)

1 Linux系統(tǒng)中的USB攝像頭驅(qū)動程序

USB設備驅(qū)動程序完全符合通用設備驅(qū)動的準則，不同的是內(nèi)核提供了一些特別的API函數(shù)，方便驅(qū)動注冊、銷毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內(nèi)核還提供了對于hotplug的支持。

1．1 USB攝像頭驅(qū)動的一般編寫方法

攝像頭屬于視頻類設備。在目前的Linux核心中，視頻部分的標準是Video for Linux(簡稱V4L)。這個標準其實定義了一套接口，內(nèi)核、驅(qū)動、應用程序以這個接口為標準進行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內(nèi)容，USB攝像頭也屬于它支持的范疇。

因此，USB攝像頭的驅(qū)動應當與內(nèi)核提供的視頻驅(qū)動掛鉤。即首先在驅(qū)動中聲明一個video_device結(jié)構(gòu)，并為其指定文件操作函數(shù)指針數(shù)組．fops，向系統(tǒng)注冊。在應用程序發(fā)出文件操作的相關(guān)命令時，核心根據(jù)這些指針調(diào)用相應函數(shù)，并將該結(jié)構(gòu)作為參數(shù)傳遞給它們。這樣，就完成了驅(qū)動和核心之間的通信。例如：

static struct video_device vdev_template＝{……}；

／／聲明video_device，指出掛接驅(qū)動

static struct file_operations ov511_fops＝{……}；

／／聲明本驅(qū)動的文件操作函數(shù)指針

struct video_device*vdev＝video_devdata(file)；

／／從文件指針中提取出video_device結(jié)構(gòu)

在video_device結(jié)構(gòu)中，有一個私有指針priv，可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中，保存著本驅(qū)動、本設備的相關(guān)初始化信息。這塊內(nèi)存的申請、初始化、指針指向等工作都是在USB驅(qū)動的枚舉函數(shù).probe中完成。這樣，在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后，因為內(nèi)核不銷毀保留內(nèi)存，所以驅(qū)動仍然保留著自己的信息。這點與Windows系統(tǒng)中WDM驅(qū)動有異曲同工之處。當然，在驅(qū)動卸載函數(shù)中，應當將申請的各塊內(nèi)存全部釋放。

1．2 使用雙URB輪流通信

眾所周知，USBl．1總線標準定義了控制、中斷、批量、等時等四種管道。對于時間性極強但是準確度要求不高的視頻捕捉應用來說，攝像頭應當使用等時傳輸方式。為了盡可能快地得到圖像數(shù)據(jù)，應當在URB中指定USB_ISO_ASAP標志。

urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發(fā)出本URB

Linux系統(tǒng)中任何USB傳輸都通過URB實現(xiàn)。為提高速度，可以考慮擴大URB的緩沖，這樣可以降低每個USB事務中握手信息所占比例，提高有效數(shù)據(jù)的傳輸速度。但是受限于總線帶寬和具體的USB設備芯片，單純擴大URB的緩沖不能無限制地解決問題。具體分析一下USB傳輸在操作系統(tǒng)中的實現(xiàn)：每次傳輸都要包括URB的建立、發(fā)出、回收、數(shù)據(jù)整理等階段，這些時間不產(chǎn)生有效數(shù)據(jù)。因此可以建立兩個URB，在等待一個URB被回收時，也就是圖像正在被傳感器采集時，處理、初始化另一個URB，并在回收后立刻將其發(fā)出。兩個URB交替使用，大大減少了額外時間。工作流程如圖1所示。

這個過程是在URB的完成例程中實現(xiàn)的，有兩點需要注意：首先處理再次初始化的代碼時間不能長，否則會造成完成例程的重人，如果確實來不及，可以在完成例程中設定標志，例如“數(shù)據(jù)采集好”旗語，由應用程序使用阻塞ioctl()來查詢該旗語并做處理；其次由于CPU可能會在完成例程中停留較長時間，系統(tǒng)負擔較大，可以在．open函數(shù)中初始化兩個URB并將其發(fā)出，有限度地減輕系統(tǒng)負擔。

1．3 使用雙幀緩沖提高效率

Linux系統(tǒng)中，文件操作通常是由read、write等系統(tǒng)調(diào)用來完成。這些系統(tǒng)調(diào)用在驅(qū)動中的解決方法就是用copy_to_user()、copy_from_user()等函數(shù)在核態(tài)、戶態(tài)內(nèi)存空間中互相拷貝。但是對于大批量的圖像數(shù)據(jù)，采用拷貝的方法顯然會增加時間開銷，因此用內(nèi)存映射的方法解決。首先使用vmalloc()申請足夠大的核態(tài)內(nèi)存，將其作為圖像數(shù)據(jù)緩沖空間，兩個URB帶回的圖像數(shù)據(jù)在這里暫存；然后使用remap_page_range()函數(shù)將其逐頁映射到用戶空間中。戶態(tài)的圖像處理程序使用mmap()函數(shù)，直接讀寫核態(tài)圖像緩沖內(nèi)存，大大減少額外開銷。

圖2

圖像數(shù)據(jù)的處理可能要花費比較長的時間，不同的算法對于數(shù)據(jù)保留時間的要求也不一樣。因此可以申請兩幀圖像緩沖，在處理一幀圖像的同時，將兩個URB帶回的數(shù)據(jù)全部填充到另一幀緩沖中，這樣可以免去時間沖突上的麻煩。

值得注意的是：這種方法要求時刻持有當前幀的序號、每一幀的起始地址等信息，不能將兩幀圖像混淆。這些信息可以保存在保留內(nèi)存中，當前幀的數(shù)據(jù)整理、序號改變在URB完成例程中實現(xiàn)。

2 V4L標準的改進

V4L標準目前已經(jīng)發(fā)展到第二版V4L2，其基本思路與V4L相同。

2．1 標準分析

根據(jù)V4L標準，戶態(tài)程序在需要一幀圖像時，CPU的走向如圖2。CPU按照123456的順序完成一個循環(huán)。在這里，有一個細節(jié)被忽略：在完成例程中，也就是圖2中步驟6，該URB被立刻發(fā)出，但是由于這時用戶程序正在阻塞等待，沒辦法再次提出獲得圖像的申請，因此在判斷有無新請求時，判斷的結(jié)果必然是當前無請求，導致下一個URB帶回的數(shù)據(jù)被驅(qū)動丟棄；由于核態(tài)、戶態(tài)的切換需要一定的時間，加上戶態(tài)多進程同步等開銷，等到應用程序能夠再次發(fā)出獲得一副圖像的申請時，已經(jīng)有不止一個URB帶回的數(shù)據(jù)被丟棄掉，這些URB包含的數(shù)據(jù)正好是新一幀圖像的開始部分。因此驅(qū)動必須等到再下一幀圖像才能保存數(shù)據(jù)、緩沖。這樣憑白損失了一幀圖像，幀速最少下降一半。

2．2 改進思路：不間斷采集

為了解決這個問題，可以改進V4L標準作，使其增加新的功能：通過新的參數(shù)，讓ioetl()函數(shù)通知驅(qū)動不間斷采集、緩沖圖像數(shù)據(jù)，輪流保存在兩幀緩沖區(qū)中，并在一幀圖像采集好后，設定“圖像采集好”旗語。戶態(tài)程序只需要發(fā)出一次“獲得圖像”請求，就可以通過阻塞等待該旗語，不斷獲得圖像。在采集結(jié)束后，再次通過新的參數(shù)，讓驅(qū)動停止緩沖即可。CPU工作流程圖如圖3。

圖3

注意到圖2、圖3，兩種“判斷有無新請求”的不同，即可發(fā)現(xiàn)新方法假定一直有請求，因此不丟棄每個URB帶回的數(shù)據(jù)，輪流保存在兩個幀緩沖內(nèi)。

V4L已經(jīng)作為約定俗成的標準被內(nèi)核支持，因此如果使用全新的參數(shù)，工作量將相當巨大，并且不能和現(xiàn)有的應用程序兼容?？紤]到現(xiàn)有的圖像采集應用程序使用VIDIOCMCAPTURE作為參數(shù)，并提供幀序號，要求驅(qū)動將圖像保存到指定序號的幀緩沖內(nèi)。由于驅(qū)動通常僅僅提供幾幀緩沖，因此該序號不會大于某個數(shù)字，如10。因此可以繼續(xù)使用VIDIOCMCAPTURE參數(shù)，搭配較大的序號來表示新增的功能，例如用10000和10001來分別表示開始和停止緩沖圖像數(shù)據(jù)的要求。驅(qū)動在收到VIDIOCMCAPTURE要求后，檢查這個序號。如果小于10000，則按照正常的方法處理，否則按照改進方法。這種思路可以有效解決兼容性問題。

2．3 實驗結(jié)果

在賽揚366、USBl．1接口的計算機平臺上，采用上述不間斷采集改進V4L標準，配合雙URB、雙幀緩沖等方法后，幀速提高兩倍有余，有效數(shù)據(jù)傳輸速度達960KB／s，接近等時傳輸方式下USB總線的帶寬極限。