三維重建技術(shù)概述

三維重建技術(shù)通過深度數(shù)據(jù)獲取、預(yù)處理、點云配準(zhǔn)與融合、生成表面等過程，把真實場景刻畫成符合計算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。這種模型可以對如文物保護(hù)、游戲開發(fā)、建筑設(shè)計、臨床醫(yī)學(xué)等研究起到輔助的作用。

一、研究背景及意義人類通過雙眼來探索與發(fā)現(xiàn)世界。人類接收外部信息的方式中，有不到三成來自于聽覺、觸覺、嗅覺等感受器官，而超過七成、最豐富、最復(fù)雜的信息則通過視覺[1]進(jìn)行感知的。計算機(jī)視覺便是一種探索給計算機(jī)裝備眼睛（攝像頭）與大腦（算法）的技術(shù)，以使計算機(jī)能夠自主獨立的控制行為、解決問題，同時感知、理解、分析外部環(huán)境。

20世紀(jì)60年代，計算機(jī)視覺得到了最初的發(fā)展。該階段的研究重心主要體現(xiàn)在如何從二維圖像中恢復(fù)出如立方體、圓柱體等立體化的三維形狀，解釋各個物體的空間位置關(guān)系。

1982年，David Marr[2]從信息處理的角度對數(shù)學(xué)、神經(jīng)生理學(xué)、計算機(jī)圖形學(xué)等學(xué)科的研究成果進(jìn)行了歸納總結(jié)，并在此基礎(chǔ)上提出了一系列計算機(jī)視覺理論。得益于這個完整明確的理論體系，計算機(jī)視覺得到了蓬勃的發(fā)展。它的核心思想是從二維圖像恢復(fù)三維結(jié)構(gòu)。圖1-1展示的是經(jīng)典Marr視覺信息處理過程。

圖1-1 Marr視覺信息處理過程

隨著科學(xué)技術(shù)的日新月異，計算機(jī)視覺的應(yīng)用日益受到各行業(yè)的關(guān)注和重視，如設(shè)備檢測與監(jiān)視、醫(yī)學(xué)圖像處理、文物保護(hù)[3]、機(jī)器人視覺、自動導(dǎo)航、工業(yè)產(chǎn)品外觀設(shè)計與生產(chǎn)等領(lǐng)域。計算機(jī)視覺技術(shù)為人們帶來了機(jī)遇，也帶來了挑戰(zhàn)。

三維重建作為計算機(jī)視覺技術(shù)中最為最為熱門的研究方向之一，涉及到包括圖像處理、立體視覺、模式識別等多個學(xué)科體系。利用計算機(jī)建立表達(dá)現(xiàn)實客觀景物的三維模型，并以此來滿足生產(chǎn)和生活的需要。隨著工業(yè)化進(jìn)程的不斷發(fā)展，多種技術(shù)的實現(xiàn)均有賴于目標(biāo)物體三維信息的獲取。三維重建現(xiàn)已被廣泛的應(yīng)用于生活和科研工作中，特別是在醫(yī)學(xué)治療、文物保護(hù)、游戲開發(fā)、工業(yè)設(shè)計、航天航海等方面，展現(xiàn)出了極強(qiáng)的生命力和影響力。

二、 三維重建技術(shù)簡介

三維重建技術(shù)的重點在于如何獲取目標(biāo)場景或物體的深度信息。在景物深度信息已知的條件下，只需要經(jīng)過點云數(shù)據(jù)[4]的配準(zhǔn)及融合，即可實現(xiàn)景物的三維重建?；谌S重建模型的深層次應(yīng)用研究也可以隨即展開。人們按照被動式測量與主動式測量[5]對目標(biāo)物體深度信息的獲取方法進(jìn)行了分類，下面對這兩種方式進(jìn)行相應(yīng)的介紹。

1、被動式三維重建技術(shù)

被動式一般利用周圍環(huán)境如自然光的反射，使用相機(jī)獲取圖像，然后通過特定算法計算得到物體的立體空間信息。主要有以下三種方法：

1.1 紋理恢復(fù)形狀法

各種物體表面具有不同的紋理信息，這種信息由紋理元組成，根據(jù)紋理元可以確定表面方向，從而恢復(fù)出相應(yīng)的三維表面。這種方法稱為紋理恢復(fù)形狀法[6] (Shape From Texture，SFT)。

紋理法的基本理論為：作為圖像視野中不斷重復(fù)的視覺基元，紋理元覆蓋在各個位置和方向上。當(dāng)某個布滿紋理元的物體被投射在平面上時，其相應(yīng)的紋理元也會發(fā)生彎折與變化。例如****收縮變形使與圖像平面夾角越小的紋理元越長，投影變形會使離圖像平面越近的紋理元越大。通過對圖像的測量來獲取變形，進(jìn)而根據(jù)變形后的紋理元，逆向計算出深度數(shù)據(jù)。SFT對物體表面紋理信息的要求嚴(yán)苛，需要了解成像投影中紋理元的畸變信息，應(yīng)用范圍較窄，只適合紋理特性確定等某些特殊情形。所有在實際使用中較為少見。

1.2 陰影恢復(fù)形狀法

SFS[7] (Shape From Shading，從陰影恢復(fù)形狀)法也是一種較為常用的方法。考慮到圖像的陰影邊界包含了圖像的輪廓特征信息，因此能夠利用不同光照條件下的圖像的明暗程度與陰影來計算物體表面的深度信息，并以反射光照模型進(jìn)行三維重建。需要注意的是，像素點的亮度受到包括光源指標(biāo)、攝像機(jī)參數(shù)、目標(biāo)表面材質(zhì)等的制約。

陰影恢復(fù)形狀法的應(yīng)用范圍比較廣泛，可以恢復(fù)除鏡面外的各種物體的三維模型。缺點體現(xiàn)在過程多為數(shù)學(xué)計算、重建結(jié)果不夠精細(xì)，另外不能忽視的是，SFS法需要準(zhǔn)確的光源參數(shù)，包括位置與方向信息。這就導(dǎo)致其無法應(yīng)用于諸如露天場景等具有復(fù)雜光線的情形中。

1.3 立體視覺法

立體視覺法[8]（Multi-View Stereo，MVS)是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距信息、通過一幅圖像推測三維信息和利用不同視點上的兩幅或多幅圖像恢復(fù)三維信息等三種方式。通過模擬人類視覺系統(tǒng)，基于視差原理獲取圖像對應(yīng)點之間的位置偏差，恢復(fù)出三維信息。S.T.Barnard[9]等人對20世紀(jì)70年代到80年代之間出現(xiàn)的三維重建的算法和評價體系做了概述。

到了80年代中后期，出現(xiàn)了更多、更深層次的視覺原理，包括立體測量方法和深度傳感器等，極大的促進(jìn)了相關(guān)學(xué)科的發(fā)展。新興方法可以直接獲取景物的三維信息，極大的節(jié)省了物力與人力成本。U.R.Dhond[10]等人提出了基于層次處理的三目立體約束方法。二十世紀(jì)90年代末，涌現(xiàn)出諸如圖像匹配的前沿算法、遮擋處理算法等。M.Z.Brown[11]等人總結(jié)了2000年到2010年間的三維視覺發(fā)展的總體概況，包括遮擋、配準(zhǔn)和效率等的相關(guān)分析。

雙目立體視覺重建，在實際應(yīng)用情況優(yōu)于其他基于視覺的三維重建方法，也逐漸出現(xiàn)在一部分商業(yè)化產(chǎn)品上; 不足的是運(yùn)算量仍然偏大，而且在基線距離較大的情況下重建效果明顯降低 。

代表文章：AKIMOIO T Automatic creation of 3D facial models 1993

CHEN C L Visual binocular vison systems to solid model reconstruction2007

作為計算機(jī)視覺的關(guān)鍵技術(shù)之一，立體視覺法也其弊端。例如，立體視覺需要假設(shè)空間的平面是正平面，而實際情況卻與此相差甚遠(yuǎn)。除此之外，匹配還存在歧義性：對于一幅圖像上的某些特征點，另外的圖像可能存在若干個與之相似的特征點。那么如何選取最適配的匹配點，顯得較為棘手。如圖1-2所示，展示了Middlebury[16]數(shù)據(jù)集中Teddy和Cones場景的基準(zhǔn)彩色圖像、標(biāo)準(zhǔn)視差以及通過Graph Cuts[17]算法獲取的立體匹配視差估計結(jié)果。雖然視差結(jié)果體現(xiàn)出了景物的三維位置關(guān)系，但是某些像素點的視差與標(biāo)準(zhǔn)值仍有細(xì)微的差距。除此之外，對于如相機(jī)運(yùn)動參數(shù)的確定、大型場景重建需要獲取多幀圖像等問題，也極大的影響了立體視覺的深層次應(yīng)用。

圖1-2(a) 基準(zhǔn)彩色圖像

圖1-2(b) 標(biāo)準(zhǔn)視差

參考：立體匹配導(dǎo)論

2、主動式三維重建技術(shù)

主動式是指利用如激光、聲波、電磁波等光源或能量源****至目標(biāo)物體，通過接收返回的光波來獲取物體的深度信息。主動測距有莫爾條紋法、飛行時間法、結(jié)構(gòu)光法和三角測距法等四種方法。

1.莫爾條紋法

莫爾條紋在生活中比較常見，如兩層薄薄的絲綢重疊在一起，即可以看到不規(guī)則的莫爾(Morie)條紋；微風(fēng)的吹動窗紗時，條紋亦隨之運(yùn)動。莫爾條紋法[18]起源于18世紀(jì)的法國，是一項古老又現(xiàn)代的測量方法?；驹硎菍蓧K等間隔排列的直線簇或曲線簇圖案重疊起來，以非常小的角度進(jìn)行相對運(yùn)動來形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產(chǎn)生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發(fā)生垂直位移，此時產(chǎn)生的條紋相位信息體現(xiàn)了待測物體表面的深度信息，再通過逆向的解調(diào)函數(shù)，實現(xiàn)深度信息的恢復(fù)。這種方法具有精度高、實時性強(qiáng)的優(yōu)點，但是其對光照較為敏感，抗干擾能力弱。

圖1-3 雙光柵莫爾條紋法

提出：WIKTIN recovering surface shape and orientation from texture (1987)（被引用454 次）。

發(fā)展：Warren 2010 對 wiktin 方法進(jìn)行改進(jìn)使用了****投影；

Liboy 2006 給出了在紋理單元結(jié)構(gòu)發(fā)生改變的情況下的重建方法。

優(yōu)點：精度高，對光照和噪聲不敏感。

缺點：只應(yīng)用于具有規(guī)則紋理的物體。

2.飛行時間法

飛行時間法[19] (Time of Flight，ToF)指的是在光速及聲速一定的前提下，通過測量****信號與接收信號的飛行時間間隔來獲得距離的方法。這種信號可以是超聲波，也可以是紅外線等。飛行時間法相較于立體視覺法而言，具有不受基線長度限制、與紋理無關(guān)、成像速度快等特點。但是其也有一定的缺點。首先，ToF相機(jī)的分辨率非常低。例如圖1-4所示，當(dāng)今分辨率最高的PMD Camcube 2.0 相機(jī)，也僅為204×204像素；其次，ToF相機(jī)容易受到環(huán)境因素的影響，如混合像素、外界光源等，導(dǎo)致景物深度不準(zhǔn)確；最后，系統(tǒng)誤差與隨機(jī)誤差對測量結(jié)果的影響很大，需要進(jìn)行后期數(shù)據(jù)處理，主要體現(xiàn)在場景像素點的位置重合上。值得注意的是，ToF相機(jī)的售價達(dá)到了數(shù)萬美元，受眾較窄。

圖1-4 SR4000 ToF相機(jī)

3.結(jié)構(gòu)光法

結(jié)構(gòu)光法[20](Structured Light)通過向表面光滑無特征的物體****具有特征點的光線，依據(jù)光源中的立體信息輔助提取物體的深度信息。具體的過程包括兩個步驟，首先利用激光投影儀向目標(biāo)物體投射可編碼的光束，生成特征點；然后根據(jù)投射模式與投射光的幾何圖案，通過三角測量原理計算攝像機(jī)光心與特征點之間的距離，由此便可獲取生成特征點的深度信息，實現(xiàn)模型重建。這種可編碼的光束就是結(jié)構(gòu)光，包括各種特定樣式的點、線、面等圖案。結(jié)構(gòu)光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。因為實現(xiàn)簡單且精度較高，所以結(jié)構(gòu)光法的應(yīng)用非常廣泛，目前已有多家公司生產(chǎn)了以結(jié)構(gòu)光技術(shù)為基礎(chǔ)的硬件設(shè)備，如PrimeSense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產(chǎn)品[21]。圖1-5展示了利用結(jié)構(gòu)光技術(shù)采集文物三維信息的場景。

提出：Woodham 對 SFS 進(jìn)行改進(jìn)（1980 年）：photometric method for determining surface orientation from multiple images (該文章被引用了 891 次)

發(fā)展：Noakes ：非線性與噪聲減除 2003 年；

Horocitz ：梯度場合控制點 2004 年；

Tang ：可信度傳遞與馬爾科夫隨機(jī)場 2005 年；

Basri ：光源條件未知情況下的三維重建 2007 年；

Sun ：非朗伯特 2007 年；

Hernandez ：彩色光線進(jìn)行重建方法 2007 年；

Shi ：自標(biāo)定的光度立體視覺法 2010 年。

圖1-5 結(jié)構(gòu)光法原理圖

4.三角測距法

三角測距法[22]是一種非接觸式的測距方法，以三角測量原理為基礎(chǔ)。紅外設(shè)備以一定的角度向物體投射紅外線，光遇到物體后發(fā)生反射并被CCD（Charge-coupled Device，電荷耦合元件）圖像傳感器所檢測。隨著目標(biāo)物體的移動，此時獲取的反射光線也會產(chǎn)生相應(yīng)的偏移值。根據(jù)****角度、偏移距離、中心矩值和位置關(guān)系，便能計算出****到物體之間的距離。三角測距法在軍工測量、地形勘探等領(lǐng)域中應(yīng)用廣泛。

參考文獻(xiàn)

[1] Szeliski R. Computer vision: algorithms and applications[M]. Berlin: Springer, 2010.

[2] D. Marr, et al. A Computational Theory of Human Stereo Vision. Proc.R.Soc.Lond. 1979, B.204:301-328.

[3] Levoy, M. Pulli, et al. The Digital Michelangelo Project:3D Scanning of Large Statues. Proc.SIGGRAPH,2000.

[4] Anand A, Koppula H S, Joachims T, et al. Contextually guided semantic labeling and search for three-dimensional point clouds[J]. The International Journal of Robotics Research, 2013, 32(1):19-34.

[5] Mada S K, Smith M L, Smith L N, et al. Overview of passive and active vision techniques for hand-held 3D data acquisition [C]//Opto Ireland. International Society for Optics and Photonics, 2003: 16-27.

[6] D. A. Forsyth, J. Ponce, Computer Vision: A Modern Approach. Prentice Hall 2001

[7] Horn B. K. P. Shape from shading: a method for obtaining the shape of a smooth opaque object from one view. PhD thesis, Department of Electrical Engineering, MIT, Cambridge. 1970.

[8] Ikeuchi K. Determining surface orientations of specular surfaces by using the photometric stereo method [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions, 1981, (6): 661-669.

[9] S. T. Barnard, M. A. Fisehler. Computational Stereo[J].ACM Computing Surveys. 1982, Vol.14:553-572.

[10] U. R. Dhond, J. K. Aggarval. Struct from Stereo—A Review [J]. IEEE Trans. Systems, Man, and Cybemeties.1989, Vol.19: 1489-1510.

來源：http://blog.csdn.net/wangyaninglm/article/details/51558310

作者：shiter@CSDN

編輯：3D視覺開發(fā)者社區(qū)