解析TLD視覺跟蹤技術(shù)的特點和工作原理

TLD跟蹤系統(tǒng)最大的特點就在于能對鎖定的目標(biāo)進行不斷的學(xué)習(xí)，以獲取目標(biāo)最新的外觀特征，從而及時完善跟蹤，以達到最佳的狀態(tài)。也就是說，開始時只提供一幀靜止的目標(biāo)圖像，但隨著目標(biāo)的不斷運動，系統(tǒng)能持續(xù)不斷地進行探測，獲知目標(biāo)在角度、距離、景深等方面的改變，并實時識別，經(jīng)過一段時間的學(xué)習(xí)之后，目標(biāo)就再也無法躲過。

TLD技術(shù)有三部分組成，即跟蹤器、學(xué)習(xí)過程和檢測器。TLD技術(shù)采用跟蹤和檢測相結(jié)合的策略，是一種自適應(yīng)的、可靠的跟蹤技術(shù)。TLD技術(shù)中，跟蹤器和檢測器并行運行，二者所產(chǎn)生的結(jié)果都參與學(xué)習(xí)過程，學(xué)習(xí)后的模型又反作用于跟蹤器和檢測器，對其進行實時更新，從而保證了即使在目標(biāo)外觀發(fā)生變化的情況下，也能夠被持續(xù)跟蹤。

跟蹤器

TLD跟蹤器采用重疊塊跟蹤策略，單塊跟蹤使用Lucas-Kanade光流法。TLD在跟蹤前需要指定待跟蹤的目標(biāo)，由一個矩形框標(biāo)出。最終整體目標(biāo)的運動取所有局部塊移動的中值，這種局部跟蹤策略可以解決局部遮擋的問題。

學(xué)習(xí)過程

TLD的學(xué)習(xí)過程是建立在在線模型(onlinemodel)的基礎(chǔ)上。在線模型是一個大小為15×15的圖像塊的集合，這些圖像塊來自跟蹤器和檢查器所得的結(jié)果，初始的在線模型為起始跟蹤時指定的待跟蹤的目標(biāo)圖像。

在線模型是一個動態(tài)模型，它隨視頻序列增長或減小。在線模型的發(fā)展有兩個事件來驅(qū)動，分別為增長事件和修剪事件。由于在實際中，來自環(huán)境和目標(biāo)本身等多因素的影響，使目標(biāo)的外觀不斷發(fā)生變化，這使得由跟蹤器預(yù)測產(chǎn)生的目標(biāo)圖像會包含更多其它感興趣的因素。如果我們把跟蹤軌跡上所有目標(biāo)圖像看成一個特征空間，那么隨著視頻序列的推進，由跟蹤器所致的特征空間將不斷增大，這就是所說的增長事件。為了防止增長事件帶來的雜質(zhì)(其他非目標(biāo)圖像)影響跟蹤效果，采用了與之相對的修剪事件來平衡。修剪事件就是用來去除增長事件所致的雜質(zhì)。由此，兩事件的相互作用促使在線模型一直保持與當(dāng)前的跟蹤目標(biāo)相一致。

由增長事件帶來的特征空間的擴張來自于跟蹤器，即從處于跟蹤軌跡上的目標(biāo)圖像中選擇合適的樣本，并以此來更新在線模型。有三種選擇策略，具體如下。

與起始待跟蹤目標(biāo)圖像相似的圖像塊，均被加入到在線模型;

如果當(dāng)前幀的跟蹤目標(biāo)圖像與前一幀的相似，則將當(dāng)前的跟蹤結(jié)果圖像加入到在線模型;

計算跟蹤軌跡上的目標(biāo)圖像到在線模型間的距離，選擇具有特定模式的目標(biāo)圖像，即起初目標(biāo)圖像與在線模型的距離較小，隨之距離逐漸增大，而后距離又恢復(fù)成較小狀態(tài)。循環(huán)檢驗是否存在這種模式，并將該模式內(nèi)的目標(biāo)圖像加入到在線模型。

增長事件的特征選擇方式，保證了在線模型始終緊隨跟蹤目標(biāo)的最新狀態(tài)，避免因模型更新不實時所導(dǎo)致的跟蹤丟失。其中最后一種選擇策略也是TLD技術(shù)的特色之一，它體現(xiàn)了自適應(yīng)跟蹤的特性。當(dāng)跟蹤發(fā)生漂移時，跟蹤器會自動適應(yīng)背景，而不會很突然地轉(zhuǎn)移到跟蹤目標(biāo)上。

修剪事件假設(shè)每幀只有一個目標(biāo)，當(dāng)跟蹤器和檢測器都認(rèn)可目標(biāo)位置時，剩余的檢測圖像就被認(rèn)為是錯誤樣本，從在線模型中刪除。

在線模型中的樣本為TLD的學(xué)習(xí)過程提供了素材。另外，TLD在訓(xùn)練生成分類器(隨機森林)的過程中，采用了兩種約束：P約束和N約束。P約束規(guī)定與跟蹤軌跡上的目標(biāo)圖像距離近的圖像塊為正樣本;反之，為負(fù)樣本，即為N約束。PN約束降低了分類器的錯誤率，在一定的范圍內(nèi)，其錯誤率趨近于零。

檢測器

TLD技術(shù)設(shè)計了一個快速、可靠的檢測器，它為跟蹤器提供了必要的支持。當(dāng)跟蹤器所得的結(jié)果失效時，需要用檢測器的結(jié)果來補充糾正，并且對跟蹤器重新初始化。具體做法如下。

對于每幀同時運行跟蹤器、檢測器，跟蹤器預(yù)測出一個目標(biāo)位置信息，而檢測器則可能檢出多幅圖像;

決定目標(biāo)的最終位置時，優(yōu)先考慮跟蹤器所得的結(jié)果，即如果跟蹤到的圖像與最初的目標(biāo)圖像相似度大于某閾值，就接受該跟蹤結(jié)果;否則，將從檢測器的結(jié)果中，選用與最初目標(biāo)相似度最大的圖像作為跟蹤結(jié)果;

如果為第二步驟中的后者，那么此時更新跟蹤器的最初目標(biāo)模型，用現(xiàn)選用的跟蹤結(jié)果替換原有的目標(biāo)模型，同時，刪除以前模型中的樣本，以新樣本重新開始。

檢測器是由在線模型中的樣本經(jīng)訓(xùn)練學(xué)習(xí)生成的隨機森林分類器。其選取的特征為區(qū)域的邊緣方向，稱之為2bitBP特征，它具有不受光線干擾的特性。特征通過量化，共有4種可能的編碼。對于給定的區(qū)域，其特征編碼是唯一的。多尺度的特征計算可以采用積分圖像的方法。

將每一個圖形塊都用眾多的2bitBP特征來表示，并把這些特征分成同大小的不同的組，每一組代表了圖像塊外觀的不同表示。用于檢測的分類器采用隨機森林的形式。隨機森林由樹組成，而每棵樹是由一個特征組構(gòu)造而成。樹的每個特征都作為一個決策結(jié)點。

隨機森林通過增長事件和修剪事件完成在線更新和演化。開始時，每棵樹由最初目標(biāo)模板的特征組構(gòu)建，都只有一個“枝”。隨著增長事件對正樣本的選取，隨機森林也不斷加入新的“枝”;修剪事件則相反，它會去掉隨機森林中不用的“枝”。這種實時的檢測器采用掃描窗口的策略：按照位置和尺度掃描輸入幀，對每個子窗口應(yīng)用分類器判斷是否屬于目標(biāo)圖像。

TLD技術(shù)巧妙地把跟蹤器、檢測器和學(xué)習(xí)過程結(jié)合在一起，共同實現(xiàn)目標(biāo)的跟蹤。