嵌入式Linux的圖像采集與顯示

1 系統(tǒng)平臺(tái)的硬件結(jié)構(gòu)

本文使用的系統(tǒng)平臺(tái)硬件功能框圖如圖1所示，該平臺(tái)采用samsung公司的處理器s3c2410。該處理器內(nèi)部集成了arm公司arm920t處理器核的32b微控制器，資源豐富，帶獨(dú)立的16kb的指令cache和16kb數(shù)據(jù)cache，lcd控制器、ram控制器，nand閃存控制器，3路uart、4路dma、4路帶pwm的timer、并行i/o口、8路10位adc、touch screen接口，i2c接口，i2s接口、2個(gè)usb接口控制器、2路spi，主頻最高可達(dá)203mhz。在處理器豐富資源的基礎(chǔ)上，還進(jìn)行了相關(guān)的配置和擴(kuò)展，平臺(tái)配置了16mb 16b的flash和64mb 32位的sdram，通過(guò)以太網(wǎng)控制器芯片ax88796擴(kuò)展了一個(gè)網(wǎng)口，另外引出了一個(gè)host usb接口。在usb接口上外接一個(gè)帶usb口的攝像頭。另外，還配有分辨率為320×240，256色的lcd。

2 嵌入式linux簡(jiǎn)介

linux操作系統(tǒng)具有相當(dāng)多的優(yōu)點(diǎn)，他的內(nèi)核穩(wěn)定、功能強(qiáng)大、支持多種硬件平臺(tái)、源代碼完全開放，可裁減和低成本的特性非常適合于嵌入式應(yīng)用，并且linux本身直接提供完整的tcp/ip協(xié)議，可非常方便地進(jìn)行網(wǎng)絡(luò)應(yīng)用。但linux內(nèi)核本身不具備強(qiáng)實(shí)時(shí)性，且內(nèi)核體積較大，而且嵌入式系統(tǒng)的硬件資源有限，因此把linux用于嵌入式系統(tǒng)，必須對(duì)linux進(jìn)行實(shí)時(shí)化和嵌入式化，即通過(guò)配置內(nèi)核，裁減shell和嵌入式c庫(kù)對(duì)系統(tǒng)定制，使整個(gè)系統(tǒng)能夠存放到容量較小的flash中，linux的動(dòng)態(tài)模塊加載，使linux的裁減極為方便，高度模塊化的部件使添加非常容易。

整個(gè)系統(tǒng)軟件是在嵌入式linux的基礎(chǔ)上構(gòu)建的。s3c2410平臺(tái)使用的linux內(nèi)核是在linux－2.4.18內(nèi)核打上patch－2.4.18－s3c2410這個(gè)補(bǔ)丁后編譯而成。s3c2410平臺(tái)使用的文件系統(tǒng)是yaffs，文件系統(tǒng)包括應(yīng)用程序、模塊、配置文件和庫(kù)等，圖像的采集和顯示是建立在嵌入式linux內(nèi)核之上的，整個(gè)軟件系統(tǒng)如圖2所示。

通常宿主機(jī)和目標(biāo)板上的處理器不同，宿主機(jī)通常為intel處理器，而目標(biāo)板如圖1所示為samsung s3c2410，所以程序需要使用針對(duì)處理器特點(diǎn)的編譯器才能生成在相應(yīng)平臺(tái)上可運(yùn)行的代碼，gnu編譯器提供這樣的功能，在編譯時(shí)，可以選擇開發(fā)所需的宿主機(jī)和目標(biāo)機(jī)，從而建立開發(fā)環(huán)境。在進(jìn)行嵌入式開發(fā)前的第一步工作就是把一臺(tái)pc機(jī)作為宿主機(jī)開發(fā)機(jī)，并在其上安裝指定操作系統(tǒng)。對(duì)于嵌入式linux，宿主機(jī)pc上應(yīng)安裝linux系統(tǒng)。之后，在宿主機(jī)上建立交叉編譯調(diào)試的開發(fā)環(huán)境，開發(fā)環(huán)境的具體建立這里不細(xì)談。本文采用移植性很強(qiáng)的c語(yǔ)言在宿主機(jī)上編寫視頻采集程序，再利用交叉編譯調(diào)試工具編譯鏈接生成可執(zhí)行代碼，最后向目標(biāo)平臺(tái)移植。

3 基于video4linux的圖像采集

video4linux是linux中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動(dòng)，他為針對(duì)視頻設(shè)備的應(yīng)用程序編程提供一系列接口函數(shù)，在linux下，視頻采集設(shè)備的正常使用依賴于對(duì)video4 linux標(biāo)準(zhǔn)的支持。如果使用video4linux，在編譯內(nèi)核時(shí)，一定要選中multimedia devices下的video for linux選項(xiàng)，本文針對(duì)的設(shè)備文件是/dev/video，使用的器件是基于ov511的usb攝像頭。在運(yùn)行程序前，一定要先加載usb及ov511設(shè)備驅(qū)動(dòng)模塊，同時(shí)加載video4linux模塊，分別使用命令：modprobe usbcore，modprobe usbohci，modprobe videodev和modprobe ov511，以確保生成設(shè)備文件/dev/video，若使用的linux操作系統(tǒng)不支持modprobe命令，也可使用insmod命令。一般來(lái)講，基于video4linux的圖像采集的程序流程如圖3所示。

以下簡(jiǎn)單介紹程序的編寫，在這里只給出關(guān)鍵部分的實(shí)現(xiàn)代碼。

首先，必須聲明包含2個(gè)頭文件：

在獲取圖像信息后，還可根據(jù)需要改變這些信息，例如對(duì)比度、亮度、調(diào)色板等，具體做法是先給video_picture中相應(yīng)變量賦新值，再利用vidiocspict ioct1函數(shù)。

第2部分，使用mmap方式的單幀圖象采集：

然后調(diào)用ioct1（grab_fd，vidiocsync，＆frame）函數(shù)，該函數(shù)成功返回則表示采集完畢，采集到的圖像數(shù)據(jù)放到以data為起始地址，長(zhǎng)度為240×320×3的內(nèi)存區(qū)域中，讀取該內(nèi)存中的數(shù)據(jù)便可得到圖像數(shù)據(jù)。

在此基礎(chǔ)上同樣可實(shí)現(xiàn)連續(xù)幀的采集，即一次采集連續(xù)多幀圖像的數(shù)據(jù)，video4linux最多支持一次采集32幀，此時(shí)首先要設(shè)置grab_buf.frame為要采集的幀數(shù)，而每一幀的數(shù)據(jù)在內(nèi)存中的位置為data＋grab_vm.offsets[frame]，其中g(shù)rab_vm為video_mbuf結(jié)構(gòu)體變量的一個(gè)聲明，利用ioct1（fd，vidiocgmbuf，＆grab_vm）便可獲得grab_vm的信息。

4 基于framebuffer的圖象顯示

當(dāng)video4linux使用mmap方式采集圖像時(shí)，他總是盡最大努力將圖像直接顯示在屏幕上，但并不一定能夠完成，因此一個(gè)完整的設(shè)備應(yīng)該具有圖像顯示的功能，一般來(lái)講，嵌入式linux下顯示一幅圖像總共有以下幾種方法：

（1）在利用video4linux采集圖像時(shí)，將采集到的圖象數(shù)據(jù)直接放到framebuffer的內(nèi)存映射區(qū)中，而video4linux也支持這種功能，利用vidiocsfbuf和vidiocgfbuf這兩個(gè)ioct1函數(shù)，可設(shè)置和獲得struct video_buffer。但該方法并不是每個(gè)圖像采集設(shè)備都支持。

（2）進(jìn)圖像數(shù)據(jù)存成各種格式（例如bmp），在各種gui軟件中，均會(huì)直接顯示不同格式的圖像的函數(shù)，如minigui中的fillboxwithbitmap函數(shù)。

（3）直接將圖像數(shù)據(jù)寫入framebuffer中。

在這里主要介紹第3種。framebuffer設(shè)備是運(yùn)行在linux控制臺(tái)上的一個(gè)優(yōu)秀的圖形接口，他幾乎支持所有的硬件，提供了統(tǒng)一的api接口，很好地實(shí)現(xiàn)了硬件無(wú)關(guān)性，他可以直接操作顯存，而且還留有提供圖形加速功能的接口，運(yùn)行時(shí)不需要root權(quán)限；framebuffer的設(shè)備節(jié)點(diǎn)是/dev/fb＊，用戶若要使用他，需要在編譯內(nèi)核時(shí)選中framebuffer，其簡(jiǎn)單的使用程序如下：

從vinfo和finfo中取得顯存起始地址、分辨率、色深等信息，然后根據(jù)這些計(jì)算出需映射顯存的大小。

由此便可直接操作大小為screensize，起始地址為fbp的內(nèi)存區(qū)域，在lcd上直接顯示圖像、圖形、文字等，例如執(zhí)行memset（fbp，0，screensize）將進(jìn)行清屏操作。

需要注意的是，對(duì)于色深為8位或8位以下的設(shè)備，在進(jìn)行繪圖操作前還需要設(shè)置合適的調(diào)色板，操作調(diào)色板要用到fb_camp結(jié)構(gòu)，執(zhí)行ioctl（fd，fbiogetcmap，＆old_cmap）將保存調(diào)色板信息，執(zhí)行ioctl（fd，fbio－putcmap，＆new_cmap）將設(shè)置新的調(diào)色板。

以下介紹如何顯示一個(gè)象素，這里假設(shè)lcd為24位色的。

由此便可逐一顯示每個(gè)象素，進(jìn)而顯示整幅圖像。

5 結(jié)語(yǔ)

由于linux的驅(qū)動(dòng)模型支持模塊堆疊技術(shù)，內(nèi)核開發(fā)者已提供了一些通用模塊，因此，雖然文中是以u(píng)sb攝像頭為例，但只要針對(duì)自己的圖像采集設(shè)備編寫基于video4 linux的驅(qū)動(dòng)程序，針對(duì)自己的lcd編寫基于framebuffer的驅(qū)動(dòng)程序，以上的程序便可成為通用的圖像采集與顯示程序。應(yīng)用本文所述方法完成圖像采集與顯示工作，再加上相關(guān)的處理并接入網(wǎng)絡(luò)，就構(gòu)成了一個(gè)智能終端設(shè)備，可用于工廠、銀行等場(chǎng)合全天候的智能監(jiān)控，圖像的網(wǎng)絡(luò)通信等，具有廣闊的是市場(chǎng)和應(yīng)用前景。