SOPC實(shí)現(xiàn)4路高清攝像頭視頻處理的方案設(shè)計(jì)，軟硬件架構(gòu)

系統(tǒng)原理和技術(shù)特點(diǎn)：

視頻圖像的拼接過程主要可分為圖像配準(zhǔn)和融合處理兩個(gè)部分。本項(xiàng)目基于SIFT（Scale invariant feature transform尺度不變特征變換）算法，提取視頻幀圖像中局部部分（邊緣部分）的特征值實(shí)現(xiàn)圖片匹配，采用加權(quán)平均方法方法對(duì)圖像進(jìn)行拼接。實(shí)現(xiàn)4路高清攝像頭視頻數(shù)據(jù)采集、SIFT算法特征提加權(quán)平均方法圖片拼接的SOC設(shè)計(jì)。由于視頻數(shù)據(jù)處理量大，視頻中幀圖像拼接要求兼顧高效性與精確性，采用可編程器件FPGA平臺(tái)，設(shè)計(jì)比較靈活，通過硬件與軟件再次分配實(shí)現(xiàn)SIFT算法的硬件，提取邊緣交匯部分的特征值精確匹配，完成視頻實(shí)時(shí)處理的項(xiàng)目設(shè)計(jì)。

SIFT算法原理

SIFT是世界上最強(qiáng)大的特征點(diǎn)檢測(cè)算法之一。特征點(diǎn)檢測(cè)確定了所有特征點(diǎn)的最終位置，決定了整個(gè)系統(tǒng)的精度和穩(wěn)定性，這方面在適合于FPGA中硬件實(shí)現(xiàn)加速。通過合理的設(shè)計(jì)，可以實(shí)現(xiàn)實(shí)時(shí)的SIFT特征提取系統(tǒng)設(shè)計(jì)。

特稱點(diǎn)檢測(cè)一直是計(jì)算機(jī)視覺中備受關(guān)注指出，2004年，哥倫比亞大學(xué)的David Lowe提出SIFT算法，較好的解決了物體遮擋、旋轉(zhuǎn)、視角變換引起的圖像變形等問題。

SIFT算法獲取圖像特征點(diǎn)的主要思想：

(1)尺度空間極值點(diǎn)的檢測(cè)：該算法的第一步是通過對(duì)原始圖像進(jìn)行高斯濾波，建立高斯金字塔，獲得高斯差分來找到那感興趣的關(guān)鍵點(diǎn)，也就是在以后的圖像匹配中可能發(fā)揮作用的特征點(diǎn)。

唯一可能的尺度空間的核心是高斯函數(shù)。因此，圖像的尺度空間定義為一個(gè)函數(shù)L（X;Y;σ），從尺度可變的高斯卷積生產(chǎn)G(X;Y;σ)，輸入圖像I(X;Y)

為有效地檢測(cè)尺度空間穩(wěn)定關(guān)鍵點(diǎn)的位置，Lowe建議通過高斯差分獲取圖像的空間尺度極值函數(shù)D(X;Y;σ)，可以通過一個(gè)乘法系數(shù)K分離出來的兩個(gè)相近的尺度進(jìn)行計(jì)算。

在尺度空間通過一個(gè)常量系數(shù)K，初始圖像與高斯函數(shù)局部卷積。如下圖左側(cè)

檢測(cè)D(X;Y;σ)局部的最大值和最小值，每個(gè)采樣點(diǎn)與其當(dāng)前圖像和9個(gè)尺度相鄰，找最小值與最大值。

(2)關(guān)鍵點(diǎn)的定位：在第(1)步中找到的點(diǎn)，需要經(jīng)過穩(wěn)定性的篩選才能成為真正的關(guān)鍵點(diǎn)。

在(1)中確定了關(guān)鍵點(diǎn)，在此步驟進(jìn)行篩選。

高斯函數(shù)中一個(gè)定義不情的峰值會(huì)有一個(gè)大的主曲率邊緣和一個(gè)小的在垂直方向。通過一個(gè)2×2的Hessian矩陣，在關(guān)鍵點(diǎn)的位置和尺度上計(jì)算主曲率H。

根據(jù)H的特征值和D的主曲率比例關(guān)系，通過計(jì)算比例不用明確計(jì)算特征值。

(3)方向指定：根據(jù)每一個(gè)關(guān)鍵點(diǎn)鄰域內(nèi)點(diǎn)的梯度方向，為關(guān)鍵點(diǎn)分配梯度方向和梯度的模。所有將來對(duì)圖像數(shù)據(jù)的操作都被轉(zhuǎn)化成為相關(guān)被分配的方向，尺度和區(qū)域，因此對(duì)這些轉(zhuǎn)換提供一個(gè)不變性。

在像素樣本L(x;y)在尺度上，梯度幅度m(x;y)和方向 (x;y)如下

其中方向直方圖覆蓋360度

通過梯度主導(dǎo)方向確定峰值，檢測(cè)直方圖中的最高峰值。不到80％的最峰值被用于創(chuàng)建一個(gè)同方向的關(guān)鍵點(diǎn)。

這樣，通過位置，尺度，方向就可以確定SIFT特征值

(4)關(guān)鍵點(diǎn)描述符：在每個(gè)關(guān)鍵點(diǎn)周圍區(qū)域被選擇的尺度上，測(cè)量局部圖像的梯度，將特征點(diǎn)以多維向齡的形式描述出來。

以特征點(diǎn)為中心取16*16的鄰域作為采樣窗口，將采樣點(diǎn)與特征點(diǎn)的相對(duì)方向通過高斯加權(quán)后歸入包含8個(gè)bin的方向直方圖，最后獲得4*4*8的128維特征描述子。

最后，匹配關(guān)鍵點(diǎn)。

環(huán)視全景視頻系統(tǒng)主要步驟：

輸入4路視頻，在初始化階段對(duì)邊緣局部位置進(jìn)行SIFT特征提取、特征點(diǎn)初匹配、特征點(diǎn)精確匹配，在實(shí)時(shí)階段通過加權(quán)平均法融合視頻，輸出合成視頻。

圖 主要步驟

主要技術(shù)特點(diǎn)

1.高分辨率寬視野

高分辨率的寬視野圖像或視頻在當(dāng)今視頻圖像信號(hào)處理領(lǐng)域越顯重要。在全景試圖的構(gòu)建、全景視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)以及虛擬現(xiàn)實(shí)技術(shù)中虛擬環(huán)境的構(gòu)建等等都極其關(guān)鍵。普通攝像頭獲取場(chǎng)景往往不能兼顧高分辨率與寬視野，通過縮放鏡頭減小拍攝視野以換取高分辨率的場(chǎng)景圖片或者犧牲分辨率獲取大場(chǎng)景。另外，有些大尺寸物體用一張照片無法拍攝下來。所以，通過視頻或者圖像拼接解決高分辨率寬視野視頻或者圖像獲取問題顯得極其迫切與必要。

2.邊緣交匯圖像特偵提取

由于系統(tǒng)要求實(shí)時(shí)性切高精度拼接，對(duì)硬件要求較大。而由于硬件架構(gòu)導(dǎo)致攝像頭相對(duì)位置的固定，視頻圖像之間交匯部分也相對(duì)比較固定，所以沒有必要對(duì)4幅圖像全部進(jìn)行特偵提取。有算法研究通過邊緣檢測(cè)后進(jìn)行特征點(diǎn)提取，證明了局部的特偵提取可以大大提高系統(tǒng)實(shí)時(shí)性能。針對(duì)本項(xiàng)目，我們只需要對(duì)邊緣交匯部分區(qū)域進(jìn)行局部的特征提取，這樣可以大大提高系統(tǒng)性能，達(dá)到加速效果。

3.SIFT特征檢測(cè)提取算法硬件實(shí)現(xiàn)

對(duì)SIFT算法進(jìn)行的深入研究，將其移植到FPGA芯片上，實(shí)現(xiàn)軟件模塊與硬件模塊功能互相補(bǔ)充，達(dá)到軟件與硬件的最大優(yōu)化，實(shí)現(xiàn)高速的圖像特征提取效果。硬件加速SIFT算法為其在機(jī)器人定位，3D目標(biāo)識(shí)別與跟蹤等嵌入式領(lǐng)域的應(yīng)用奠定了基礎(chǔ)。

在圖像匹配眾多的算法中，SIFT算法對(duì)圖像的光線亮度變化、尺度縮放以及旋轉(zhuǎn)都能保持不變，對(duì)視角變化和噪聲也保持一定程度的穩(wěn)定性。適用于在海量數(shù)據(jù)庫(kù)中進(jìn)行快速實(shí)時(shí)的匹配，極具有極其廣泛的應(yīng)用范圍與可觀的發(fā)展前景。

4.可編程器件FPGA實(shí)現(xiàn)算法硬件加速

可編程器件FPGA極具設(shè)計(jì)靈活性，非常適合于高性能低成本的視頻和圖像系統(tǒng)設(shè)計(jì)及應(yīng)用，視頻特征提取的實(shí)時(shí)性對(duì)硬件要求很高，普通計(jì)算機(jī)CPU計(jì)算能力有限難以達(dá)到要求?；贔PGA平臺(tái)，設(shè)計(jì)者可以選擇如何實(shí)現(xiàn)軟件代碼中的每個(gè)模塊，可以通過對(duì)算法實(shí)現(xiàn)的軟硬件劃分，利用FPGA中現(xiàn)有硬件資源等來加速軟件代碼中的瓶頸問題，使用FPGA硬件設(shè)計(jì)模塊來提高SIFT算法的時(shí)效性。

本項(xiàng)目算法采用抗干擾、高精確度、應(yīng)用前景廣泛但計(jì)算相對(duì)比較大的SIFT，對(duì)其進(jìn)行硬件實(shí)現(xiàn)極具研究?jī)r(jià)值。且有數(shù)據(jù)顯示，100MHz處理一幅320×240大小圖像SIFT特征點(diǎn)提取只需0.8ms。

5.SOPC(Systems On Programmable Chip)設(shè)計(jì)

本項(xiàng)目以FPGA芯片為實(shí)現(xiàn)目標(biāo)器件，實(shí)現(xiàn)多路視頻數(shù)據(jù)的采集處理，研究SIFT算法的硬件實(shí)現(xiàn)與加速，一定程度上提出有具有創(chuàng)新性的SOC體系結(jié)構(gòu)。設(shè)計(jì)具有實(shí)時(shí)多路視頻數(shù)據(jù)采集與復(fù)雜算法運(yùn)算的數(shù)據(jù)處理的片上系統(tǒng)，把算法和控制集成到當(dāng)個(gè)芯片中，為該類系統(tǒng)的產(chǎn)業(yè)化做了很好的理論與實(shí)踐基礎(chǔ)。在單系統(tǒng)芯片中實(shí)現(xiàn)大連數(shù)據(jù)采集、復(fù)雜數(shù)據(jù)處理是未來集成電路的發(fā)展趨勢(shì)。

系統(tǒng)框圖（jpg/gif格式的圖像文件）：

圖1 系統(tǒng)框圖

軟件流程介紹（允許的格式doc，pdf，vsd，rar，zip）：

本項(xiàng)目系統(tǒng)設(shè)計(jì)主要分三大模塊，分別為數(shù)據(jù)采集與基本處理、視頻幀圖像的拼接處理以及視頻顯示輸出。基于科研實(shí)驗(yàn)室項(xiàng)目經(jīng)驗(yàn)，多路高速CCD攝像頭數(shù)據(jù)采集與基本顏色生成與矯正存儲(chǔ)功能模塊以及單路標(biāo)準(zhǔn)視頻顯示模塊以基本實(shí)現(xiàn)，本項(xiàng)目可在之前項(xiàng)目設(shè)計(jì)的基礎(chǔ)上加以衍生升級(jí)應(yīng)用。在此基礎(chǔ)上，本項(xiàng)目更著重于實(shí)現(xiàn)SIFT算法的硬件實(shí)現(xiàn)與加速，實(shí)現(xiàn)實(shí)時(shí)視頻的拼接。

數(shù)據(jù)處理有兩大算法實(shí)現(xiàn)模塊，為SIFT算法硬件模塊與加權(quán)平均法圖像拼接模塊。

通過對(duì)SIFT算法的研究，在PC機(jī)上實(shí)現(xiàn)SIFT算法提取圖像特征值，用加權(quán)平均法拼接圖像。加權(quán)平均法在重疊區(qū)域的融合效果一般，會(huì)出現(xiàn)一些圖像內(nèi)容的模糊與重影，不過不是本項(xiàng)目的重點(diǎn)，多副圖像的融合可以作為后續(xù)的發(fā)展及研究。在了解SIFT算法的基礎(chǔ)上，采用HDL描述SIFT算法，實(shí)現(xiàn)硬件設(shè)計(jì)。

系統(tǒng)主要開發(fā)環(huán)境：Xilinx ISE Design Suite

擬采用的平臺(tái)：Atlys Spartan-6 FPGA開發(fā)套件

系統(tǒng)所需額外設(shè)備：4臺(tái)高速CCD攝像頭(MT9P001_MI5100_DS)

項(xiàng)目測(cè)試的標(biāo)準(zhǔn)：

本項(xiàng)目最終實(shí)現(xiàn)環(huán)視系統(tǒng)的視頻的實(shí)時(shí)采集與顯示。

實(shí)現(xiàn)四路視頻的采集，分辨率達(dá)到標(biāo)清。通過SIFT算法特征點(diǎn)檢測(cè)和平均加權(quán)法對(duì)幀圖像拼接實(shí)現(xiàn)環(huán)視圖像。4路視頻幀圖像之間銜接連貫，達(dá)到實(shí)時(shí)高效準(zhǔn)確的視頻拼接功能。