SOPC實現(xiàn)4路高清攝像頭視頻處理的方案設計，軟硬件架構

系統(tǒng)原理和技術特點：

視頻圖像的拼接過程主要可分為圖像配準和融合處理兩個部分。本項目基于SIFT（Scale invariant feature transform尺度不變特征變換）算法，提取視頻幀圖像中局部部分（邊緣部分）的特征值實現(xiàn)圖片匹配，采用加權平均方法方法對圖像進行拼接。實現(xiàn)4路高清攝像頭視頻數(shù)據(jù)采集、SIFT算法特征提加權平均方法圖片拼接的SOC設計。由于視頻數(shù)據(jù)處理量大，視頻中幀圖像拼接要求兼顧高效性與精確性，采用可編程器件FPGA平臺，設計比較靈活，通過硬件與軟件再次分配實現(xiàn)SIFT算法的硬件，提取邊緣交匯部分的特征值精確匹配，完成視頻實時處理的項目設計。

SIFT算法原理

SIFT是世界上最強大的特征點檢測算法之一。特征點檢測確定了所有特征點的最終位置，決定了整個系統(tǒng)的精度和穩(wěn)定性，這方面在適合于FPGA中硬件實現(xiàn)加速。通過合理的設計，可以實現(xiàn)實時的SIFT特征提取系統(tǒng)設計。

特稱點檢測一直是計算機視覺中備受關注指出，2004年，哥倫比亞大學的David Lowe提出SIFT算法，較好的解決了物體遮擋、旋轉(zhuǎn)、視角變換引起的圖像變形等問題。

SIFT算法獲取圖像特征點的主要思想：

(1)尺度空間極值點的檢測：該算法的第一步是通過對原始圖像進行高斯濾波，建立高斯金字塔，獲得高斯差分來找到那感興趣的關鍵點，也就是在以后的圖像匹配中可能發(fā)揮作用的特征點。

唯一可能的尺度空間的核心是高斯函數(shù)。因此，圖像的尺度空間定義為一個函數(shù)L（X;Y;σ），從尺度可變的高斯卷積生產(chǎn)G(X;Y;σ)，輸入圖像I(X;Y)

為有效地檢測尺度空間穩(wěn)定關鍵點的位置，Lowe建議通過高斯差分獲取圖像的空間尺度極值函數(shù)D(X;Y;σ)，可以通過一個乘法系數(shù)K分離出來的兩個相近的尺度進行計算。

在尺度空間通過一個常量系數(shù)K，初始圖像與高斯函數(shù)局部卷積。如下圖左側(cè)

檢測D(X;Y;σ)局部的最大值和最小值，每個采樣點與其當前圖像和9個尺度相鄰，找最小值與最大值。

(2)關鍵點的定位：在第(1)步中找到的點，需要經(jīng)過穩(wěn)定性的篩選才能成為真正的關鍵點。

在(1)中確定了關鍵點，在此步驟進行篩選。

高斯函數(shù)中一個定義不情的峰值會有一個大的主曲率邊緣和一個小的在垂直方向。通過一個2×2的Hessian矩陣，在關鍵點的位置和尺度上計算主曲率H。

根據(jù)H的特征值和D的主曲率比例關系，通過計算比例不用明確計算特征值。

(3)方向指定：根據(jù)每一個關鍵點鄰域內(nèi)點的梯度方向，為關鍵點分配梯度方向和梯度的模。所有將來對圖像數(shù)據(jù)的操作都被轉(zhuǎn)化成為相關被分配的方向，尺度和區(qū)域，因此對這些轉(zhuǎn)換提供一個不變性。

在像素樣本L(x;y)在尺度上，梯度幅度m(x;y)和方向 (x;y)如下

其中方向直方圖覆蓋360度

通過梯度主導方向確定峰值，檢測直方圖中的最高峰值。不到80％的最峰值被用于創(chuàng)建一個同方向的關鍵點。

這樣，通過位置，尺度，方向就可以確定SIFT特征值

(4)關鍵點描述符：在每個關鍵點周圍區(qū)域被選擇的尺度上，測量局部圖像的梯度，將特征點以多維向齡的形式描述出來。

以特征點為中心取16*16的鄰域作為采樣窗口，將采樣點與特征點的相對方向通過高斯加權后歸入包含8個bin的方向直方圖，最后獲得4*4*8的128維特征描述子。

最后，匹配關鍵點。

環(huán)視全景視頻系統(tǒng)主要步驟：

輸入4路視頻，在初始化階段對邊緣局部位置進行SIFT特征提取、特征點初匹配、特征點精確匹配，在實時階段通過加權平均法融合視頻，輸出合成視頻。

圖 主要步驟

主要技術特點

1.高分辨率寬視野

高分辨率的寬視野圖像或視頻在當今視頻圖像信號處理領域越顯重要。在全景試圖的構建、全景視頻監(jiān)控系統(tǒng)的實現(xiàn)以及虛擬現(xiàn)實技術中虛擬環(huán)境的構建等等都極其關鍵。普通攝像頭獲取場景往往不能兼顧高分辨率與寬視野，通過縮放鏡頭減小拍攝視野以換取高分辨率的場景圖片或者犧牲分辨率獲取大場景。另外，有些大尺寸物體用一張照片無法拍攝下來。所以，通過視頻或者圖像拼接解決高分辨率寬視野視頻或者圖像獲取問題顯得極其迫切與必要。

2.邊緣交匯圖像特偵提取

由于系統(tǒng)要求實時性切高精度拼接，對硬件要求較大。而由于硬件架構導致攝像頭相對位置的固定，視頻圖像之間交匯部分也相對比較固定，所以沒有必要對4幅圖像全部進行特偵提取。有算法研究通過邊緣檢測后進行特征點提取，證明了局部的特偵提取可以大大提高系統(tǒng)實時性能。針對本項目，我們只需要對邊緣交匯部分區(qū)域進行局部的特征提取，這樣可以大大提高系統(tǒng)性能，達到加速效果。

3.SIFT特征檢測提取算法硬件實現(xiàn)

對SIFT算法進行的深入研究，將其移植到FPGA芯片上，實現(xiàn)軟件模塊與硬件模塊功能互相補充，達到軟件與硬件的最大優(yōu)化，實現(xiàn)高速的圖像特征提取效果。硬件加速SIFT算法為其在機器人定位，3D目標識別與跟蹤等嵌入式領域的應用奠定了基礎。

在圖像匹配眾多的算法中，SIFT算法對圖像的光線亮度變化、尺度縮放以及旋轉(zhuǎn)都能保持不變，對視角變化和噪聲也保持一定程度的穩(wěn)定性。適用于在海量數(shù)據(jù)庫中進行快速實時的匹配，極具有極其廣泛的應用范圍與可觀的發(fā)展前景。

4.可編程器件FPGA實現(xiàn)算法硬件加速

可編程器件FPGA極具設計靈活性，非常適合于高性能低成本的視頻和圖像系統(tǒng)設計及應用，視頻特征提取的實時性對硬件要求很高，普通計算機CPU計算能力有限難以達到要求?；贔PGA平臺，設計者可以選擇如何實現(xiàn)軟件代碼中的每個模塊，可以通過對算法實現(xiàn)的軟硬件劃分，利用FPGA中現(xiàn)有硬件資源等來加速軟件代碼中的瓶頸問題，使用FPGA硬件設計模塊來提高SIFT算法的時效性。

本項目算法采用抗干擾、高精確度、應用前景廣泛但計算相對比較大的SIFT，對其進行硬件實現(xiàn)極具研究價值。且有數(shù)據(jù)顯示，100MHz處理一幅320×240大小圖像SIFT特征點提取只需0.8ms。

5.SOPC(Systems On Programmable Chip)設計

本項目以FPGA芯片為實現(xiàn)目標器件，實現(xiàn)多路視頻數(shù)據(jù)的采集處理，研究SIFT算法的硬件實現(xiàn)與加速，一定程度上提出有具有創(chuàng)新性的SOC體系結構。設計具有實時多路視頻數(shù)據(jù)采集與復雜算法運算的數(shù)據(jù)處理的片上系統(tǒng)，把算法和控制集成到當個芯片中，為該類系統(tǒng)的產(chǎn)業(yè)化做了很好的理論與實踐基礎。在單系統(tǒng)芯片中實現(xiàn)大連數(shù)據(jù)采集、復雜數(shù)據(jù)處理是未來集成電路的發(fā)展趨勢。

系統(tǒng)框圖（jpg/gif格式的圖像文件）：

圖1 系統(tǒng)框圖

軟件流程介紹（允許的格式doc，pdf，vsd，rar，zip）：

本項目系統(tǒng)設計主要分三大模塊，分別為數(shù)據(jù)采集與基本處理、視頻幀圖像的拼接處理以及視頻顯示輸出。基于科研實驗室項目經(jīng)驗，多路高速CCD攝像頭數(shù)據(jù)采集與基本顏色生成與矯正存儲功能模塊以及單路標準視頻顯示模塊以基本實現(xiàn)，本項目可在之前項目設計的基礎上加以衍生升級應用。在此基礎上，本項目更著重于實現(xiàn)SIFT算法的硬件實現(xiàn)與加速，實現(xiàn)實時視頻的拼接。

數(shù)據(jù)處理有兩大算法實現(xiàn)模塊，為SIFT算法硬件模塊與加權平均法圖像拼接模塊。

通過對SIFT算法的研究，在PC機上實現(xiàn)SIFT算法提取圖像特征值，用加權平均法拼接圖像。加權平均法在重疊區(qū)域的融合效果一般，會出現(xiàn)一些圖像內(nèi)容的模糊與重影，不過不是本項目的重點，多副圖像的融合可以作為后續(xù)的發(fā)展及研究。在了解SIFT算法的基礎上，采用HDL描述SIFT算法，實現(xiàn)硬件設計。

系統(tǒng)主要開發(fā)環(huán)境：Xilinx ISE Design Suite

擬采用的平臺：Atlys Spartan-6 FPGA開發(fā)套件

系統(tǒng)所需額外設備：4臺高速CCD攝像頭(MT9P001_MI5100_DS)

項目測試的標準：

本項目最終實現(xiàn)環(huán)視系統(tǒng)的視頻的實時采集與顯示。

實現(xiàn)四路視頻的采集，分辨率達到標清。通過SIFT算法特征點檢測和平均加權法對幀圖像拼接實現(xiàn)環(huán)視圖像。4路視頻幀圖像之間銜接連貫，達到實時高效準確的視頻拼接功能。