基于3D邊界特征的視覺(jué)定位技術(shù)
最近因?yàn)橛行┲匾ぷ餍枰幚?,系列文章因此擱置,月底時(shí)間稍微充裕,我們繼續(xù)上一次的主題,聊一聊3D幾何語(yǔ)義中的邊界屬性,感興趣的同學(xué)可以回顧一下上一篇分享。
3D空間中的邊界特征線是機(jī)器視覺(jué)感知中的一種重要的特征,在形狀分析、視覺(jué)定位、網(wǎng)格簡(jiǎn)化、柵格創(chuàng)建、非照片級(jí)的渲染和表面平滑等方面具有廣泛的應(yīng)用。根據(jù)特征線是否與視點(diǎn)相關(guān)聯(lián),可以將特征線分為兩類:與視點(diǎn)相關(guān)的特征線和與視點(diǎn)無(wú)關(guān)的特征線。一般情況下,與視圖無(wú)關(guān)的特征線的計(jì)算與3D模型的拓?fù)浣Y(jié)構(gòu)有關(guān)。3D模型可以是連續(xù)的(例如參數(shù)化曲面),也可以是離散的(例如網(wǎng)格和點(diǎn)云)。與視點(diǎn)無(wú)關(guān)的特征線僅反映了3D對(duì)象的幾何屬性,而與視點(diǎn)有關(guān)的特征線則描述了表面幾何形狀和位置的屬性,即我們通常所理解的“輪廓”。
圖1 典型的3D模型的輪廓特征線
簡(jiǎn)單介紹完視覺(jué)上的邊界特征線,接下來(lái)我以一個(gè)具體問(wèn)題為例,介紹一個(gè)3D邊緣特征在視覺(jué)定位問(wèn)題上的應(yīng)用。
應(yīng)用的背景
近年來(lái),重工業(yè)領(lǐng)域已經(jīng)開始研究如何使用自動(dòng)化的移動(dòng)設(shè)備來(lái)解決生產(chǎn)力和人員安全問(wèn)題,尤其是工作在室外環(huán)境下的大型作業(yè)車輛,因此迫切需要一種基于視覺(jué)的車輛定位方法。車輛在動(dòng)態(tài)且非均勻的室外照明條件下運(yùn)行時(shí),周圍環(huán)境惡劣,盡管這個(gè)問(wèn)題可以通過(guò)使用場(chǎng)景先驗(yàn)知識(shí)調(diào)整相機(jī)曝光并改善圖像信息的質(zhì)量來(lái)解決,但完全基于2D圖像的感知有時(shí)候可能還是不太靠譜(PS:這里可以吐槽一下特斯拉)。隨著3D技術(shù)的普及,機(jī)器人車輛在戶外工業(yè)環(huán)境中運(yùn)行需要定位,而定位器可以使用環(huán)境中的3D邊界圖來(lái)估計(jì)車輛的姿態(tài)。
在上述應(yīng)用背景的前提下,一種解決策略是將利用攝像機(jī)采集的輸入邊緣與環(huán)境中預(yù)定義3D邊界映射進(jìn)行比較,從而完成定位,因此三維空間中的幾何特征輪廓就派上了用場(chǎng),為了不偏離本文的核心,只闡述涉及3D邊界的核心流程(PS:關(guān)于其他環(huán)節(jié)的實(shí)現(xiàn),感興趣的同學(xué)可以自行學(xué)習(xí))。
A.魚眼相機(jī)的標(biāo)定
在圖像測(cè)量過(guò)程以及機(jī)器視覺(jué)應(yīng)用中,為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系,必須建立相機(jī)成像的幾何模型,這些幾何模型參數(shù)就是相機(jī)參數(shù)。相機(jī)標(biāo)定實(shí)際上就是計(jì)算相機(jī)外參和內(nèi)參的過(guò)程,完成標(biāo)定后,我們便可以從2D圖像中恢復(fù)3D圖像。
·外參
·內(nèi)參
完成上述標(biāo)定過(guò)程后,采集到的實(shí)際結(jié)果如圖1所示。緊接著利用圖像處理提取出相應(yīng)目標(biāo)區(qū)域內(nèi)的2D邊界,如圖2所示。
圖1 魚眼相機(jī)視野
圖2 圖像邊界的提取
B.遮擋問(wèn)題的處理
動(dòng)態(tài)場(chǎng)景中的高效遮擋剔除可以加速渲染進(jìn)程,這項(xiàng)技術(shù)本來(lái)是游戲和實(shí)時(shí)圖形處理領(lǐng)域的一個(gè)方向。如果建筑物的可見(jiàn)部分比被遮擋的部分多,則粒子濾波器對(duì)由未知物體引起的遮擋問(wèn)題更具有魯棒性。(這一結(jié)論可以參考J.Hasselgren的論文)
因此針對(duì)可能遇到的自遮擋問(wèn)題,可以采用欠采樣深度緩沖區(qū)技術(shù)處理,該技術(shù)是一種的實(shí)時(shí)技術(shù)。通過(guò)這種方法可以將建筑物的表面渲染到深度緩沖區(qū),然后只有位于前面的邊緣會(huì)通過(guò)濾波器。但這種方法也有局限性,比如深度緩沖器的分辨率會(huì)受到限制,導(dǎo)致表面與其自身邊緣無(wú)法區(qū)分的問(wèn)題。為避免此問(wèn)題,可以將表面和邊緣之間的偏移距離設(shè)置為大于該深度處緩沖區(qū)的分辨率。
C.3D線的提取
在完成上述兩個(gè)基礎(chǔ)問(wèn)題后,為了更好的提取出建筑物的邊界,在這個(gè)環(huán)節(jié)我們采用3D Hough變換與三維點(diǎn)云鄰域信息分析相結(jié)合的方法。Hough變換是一種眾所周知的有效方法,用于找到匹配一組2D點(diǎn)的線。每條線由兩個(gè)參數(shù)ρ和θ表示,這兩個(gè)參數(shù)表示從法線的起點(diǎn)到該線的長(zhǎng)度和角度。而3D數(shù)據(jù)中邊界點(diǎn)本身就是一種局部信息的表達(dá),因此二者結(jié)合可以產(chǎn)生一定的效果。具體結(jié)果如圖3所示。(PS:關(guān)于這一部分的邊界提取,實(shí)際上涉及很多分割的知識(shí),比如在這個(gè)環(huán)節(jié)實(shí)際上需要預(yù)分割出平面,只有具有足夠數(shù)量的點(diǎn)的平面簇類才會(huì)被考慮用于線提?。?/p>
圖3 3D邊界在場(chǎng)景中的映射
D.似然估計(jì)
這一環(huán)節(jié)我們需要用到粒子濾波器(particle filter)。粒子濾波器是一種使用蒙特卡羅方法(Monte Carlo method)的遞歸濾波器,透過(guò)一組具有權(quán)重的隨機(jī)樣本(稱為粒子)來(lái)表示隨機(jī)事件的后驗(yàn)概率,從含有噪聲或不完整的觀測(cè)序列,估計(jì)出動(dòng)力系統(tǒng)的狀態(tài),粒子濾波器可以運(yùn)用在任何狀態(tài)空間的模型上。
通過(guò)與邊緣圖像和3D邊界圖進(jìn)行比較來(lái)生成每個(gè)粒子的似然度度量。根據(jù)每個(gè)粒子的姿勢(shì)將3D邊界投影到圖像平面上,因此可以進(jìn)行直接比較。
其中,Px是對(duì)齊邊緣像素?cái)?shù)a與可見(jiàn)邊緣像素總數(shù)v之間的比率,k是一個(gè)加權(quán)似然度量常數(shù)。
圖2 圖像邊界與3D映射邊界的匹配
走完上述流程,基本就完成了視圖定位的很大一部分。以上就是3D邊緣的一個(gè)應(yīng)用實(shí)例,為了更加貼合這次分享的主題,所以只給出了簡(jiǎn)化流程,實(shí)際上每個(gè)環(huán)節(jié)都值得探究,包括后續(xù)的評(píng)價(jià)環(huán)節(jié),感興趣的小伙伴可以探索一下。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。