用以使對(duì)象跟蹤框的顯示穩(wěn)定的系統(tǒng)和方法
【專利摘要】一種方法包含接收界定圖像序列的第一圖像的第一限界框的第一資料。所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。所述方法還包含接收所述圖像序列的第二圖像的對(duì)象跟蹤資料，所述對(duì)象跟蹤資料界定第二限界框。所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的感興趣區(qū)域。所述方法進(jìn)一步包含確定所述第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo)。所述方法還包含基于所述類似性度量而確定經(jīng)修改第二限界框。
【專利說(shuō)明】用以使對(duì)象跟蹤框的顯示穩(wěn)定的系統(tǒng)和方法
[0001 ] 相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張共同擁有的2013年12月21日申請(qǐng)的第61/919,754號(hào)美國(guó)臨時(shí)專利申請(qǐng)案和2014年12月11日申請(qǐng)的第14/567，119號(hào)美國(guó)非臨時(shí)專利申請(qǐng)案的優(yōu)先權(quán)，所述申請(qǐng)案的內(nèi)容明確地以全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及使對(duì)象跟蹤框的顯示穩(wěn)定。
【背景技術(shù)】
[0004]技術(shù)的進(jìn)步已經(jīng)產(chǎn)生了更小且更強(qiáng)大的計(jì)算裝置。舉例來(lái)說(shuō)，當(dāng)前存在多種便攜式個(gè)人計(jì)算裝置，包含無(wú)線計(jì)算裝置，例如便攜式無(wú)線電話、個(gè)人數(shù)字助理(PDA)和尋呼裝置，其體積小、重量輕、且易于由用戶攜帶。更具體來(lái)說(shuō)，例如蜂窩電話和因特網(wǎng)協(xié)議(IP)電話等便攜式無(wú)線電話可經(jīng)由無(wú)線網(wǎng)絡(luò)傳達(dá)語(yǔ)音和數(shù)據(jù)包。另外，許多此類無(wú)線電話包含并入其中的其它類型的裝置。舉例來(lái)說(shuō)，無(wú)線電話還可包含數(shù)字靜態(tài)相機(jī)、數(shù)碼攝像機(jī)、數(shù)字記錄器和音頻文件播放器。而且，此類無(wú)線電話可處理可執(zhí)行指令，其包含可用以接入因特網(wǎng)的軟件應(yīng)用程序，例如，網(wǎng)頁(yè)瀏覽器應(yīng)用程序。由此，這些無(wú)線電話可包含大量計(jì)算能力。
[0005]例如無(wú)線電話等電子裝置可包含相機(jī)。相機(jī)可俘獲用戶可在相機(jī)顯示器中查看的圖像序列。用戶可通過(guò)選擇相機(jī)顯示器的區(qū)域來(lái)選擇圖像中的任意對(duì)象。跟蹤算法可經(jīng)由后續(xù)圖像跟蹤對(duì)象的運(yùn)動(dòng)，且可在相機(jī)顯示器上的被跟蹤對(duì)象上顯示方框。所顯示方框可能歸因于方框在圖像之間的位置和/或大小的快速改變而顯得不穩(wěn)定。舉例來(lái)說(shuō)，用戶可能以搖晃相機(jī)的方式握持無(wú)線電話。作為另一實(shí)例，對(duì)象可能在圖像之間具有高位移量的情況下移動(dòng)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明揭示使穩(wěn)定對(duì)象跟蹤框的顯示的系統(tǒng)和方法。用戶可通過(guò)選擇顯示圖像的相機(jī)顯示器的區(qū)域(例如，正方形或矩形)而選擇所述圖像中的對(duì)象。所述相機(jī)顯示器可展示環(huán)繞所述所選對(duì)象的限界框。在俘獲所述圖像序列時(shí)，所述對(duì)象、所述相機(jī)、或兩者可能正在移動(dòng)。跟蹤器可更新所述限界框的坐標(biāo)和/或尺寸，使得所述限界框大致地經(jīng)由后續(xù)圖像跟蹤所述對(duì)象。更新所述坐標(biāo)和/或尺寸可能導(dǎo)致所述限界框呈現(xiàn)為從一個(gè)圖像「跳轉(zhuǎn)」到另一圖像。穩(wěn)定器可使所述限界框從第一圖像到后續(xù)圖像的顯示「平滑」(例如，減少抖動(dòng))。舉例來(lái)說(shuō)，所述穩(wěn)定器可接收對(duì)應(yīng)于所述第一圖像的第一限界框的第一坐標(biāo)，且可接收對(duì)應(yīng)于來(lái)自所述跟蹤器的所述后續(xù)圖像的第二限界框的經(jīng)更新坐標(biāo)(例如，第二坐標(biāo))。所述穩(wěn)定器可確定圍繞所述第二限界框的搜索區(qū)域，且可確定對(duì)應(yīng)于所述搜索區(qū)域的多個(gè)搜索限界框。所述搜索限界框中的每一者可對(duì)應(yīng)于用以替代所述第二限界框以減少抖動(dòng)的候選限界框。所述穩(wěn)定器可比較所述搜索限界框中的每一者的搜索像素與所述第一限界框的第一像素，以基于類似性度量而選擇最類似于所述第一限界框的特定搜索限界框。所述穩(wěn)定器可將所述第二限界框替代為所述所選搜索限界框，所述所選搜索限界框減少與圖像序列中的邊界框的顯示相關(guān)聯(lián)的視覺(jué)抖動(dòng)。
[0007]在一特定方面，一種方法包含接收界定圖像序列的第一圖像的第一限界框的第一數(shù)據(jù)。所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。所述方法還包含接收所述圖像序列的第二圖像的對(duì)象跟蹤數(shù)據(jù)，所述對(duì)象跟蹤數(shù)據(jù)界定第二限界框。所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的感興趣區(qū)域。所述方法進(jìn)一步包含確定所述第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo)。所述方法還包含基于所述類似性度量而確定經(jīng)修改第二限界框。
[0008]在另一特定方面中，一種設(shè)備包含存儲(chǔ)器和處理器。所述存儲(chǔ)器經(jīng)配置以存儲(chǔ)指令。所述處理器經(jīng)配置以執(zhí)行所述指令以確定第一圖像的第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo)。所述第一圖像在圖像序列中先于第二圖像。所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的感興趣區(qū)域。所述處理器還經(jīng)配置以執(zhí)行所述指令以基于所述類似性度量而確定經(jīng)修改第二限界框。
[0009]在另一特定方面中，一種計(jì)算機(jī)可讀存儲(chǔ)裝置存儲(chǔ)指令，所述指令在由處理器執(zhí)行時(shí)，致使所述處理器執(zhí)行操作，所述操作包含確定第一圖像的第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo)。所述第一圖像在圖像序列中先于第二圖像。所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的感興趣區(qū)域。所述操作還包含基于所述類似性度量而確定經(jīng)修改第二限界框。
[0010]所提供的一個(gè)特定優(yōu)點(diǎn)為使對(duì)象跟蹤框(例如，所述限界框)從一個(gè)圖像到圖像序列中的另一圖像穩(wěn)定。舉例來(lái)說(shuō)，可修改限界框的坐標(biāo)以產(chǎn)生經(jīng)修改限界框，使得所述經(jīng)修改限界框內(nèi)的像素更類似于先前圖像的先前限界框內(nèi)的像素。作為另一實(shí)例，所述限界框的經(jīng)修改大小(例如，尺寸)可對(duì)應(yīng)于多個(gè)先前圖像的中值尺寸。本發(fā)明的其它方面、優(yōu)點(diǎn)和特征將在審閱全部申請(qǐng)案之后變得顯而易見(jiàn)，所述全部申請(qǐng)案包含以下章節(jié):【附圖說(shuō)明】、【具體實(shí)施方式】和權(quán)利要求書。
【附圖說(shuō)明】
[0011]圖1為可操作以使對(duì)象跟蹤框的顯示穩(wěn)定的系統(tǒng)的特定說(shuō)明性實(shí)施例的框圖；
[0012]圖2為包含被跟蹤對(duì)象的特定說(shuō)明性圖像的圖；
[0013]圖3為包含圖2的被跟蹤對(duì)象的另一說(shuō)明性圖像的圖；
[0014]圖4為包含圖2的被跟蹤對(duì)象的另一說(shuō)明性圖像的圖；
[0015]圖5為使對(duì)象跟蹤框的顯示穩(wěn)定的方法的特定說(shuō)明性實(shí)施例的流程圖；
[0016]圖6為使對(duì)象跟蹤框的顯示穩(wěn)定的方法的另一示意性實(shí)施例的流程圖；且
[0017]圖7是可操作以根據(jù)圖1到6的系統(tǒng)和方法來(lái)使對(duì)象跟蹤框的顯示穩(wěn)定的裝置的框圖。
【具體實(shí)施方式】
[0018]參考圖1，揭示可操作以使對(duì)象跟蹤框的顯示穩(wěn)定的系統(tǒng)的特定說(shuō)明性實(shí)施例，且所述系統(tǒng)大體標(biāo)示為100。系統(tǒng)100包含耦合到相機(jī)112和跟蹤器160的穩(wěn)定器102。穩(wěn)定器102可包含存儲(chǔ)器120。在特定實(shí)施例中，系統(tǒng)100的一或多個(gè)組件可整合到移動(dòng)電話、機(jī)頂盒、音樂(lè)播放器、視頻播放器、娛樂(lè)單元、導(dǎo)航裝置、通信裝置、個(gè)人數(shù)字助理(PDA)、固定位置數(shù)據(jù)單元、計(jì)算機(jī)，或其組合中。
[0019]應(yīng)注意，在以下描述中，由圖1的系統(tǒng)100執(zhí)行的各種功能描述為由某些組件或模塊執(zhí)行。然而，組件和模塊的此劃分僅用于說(shuō)明。在一替代實(shí)施例中，由一特定組件或模塊執(zhí)行的功能可劃分于多個(gè)組件或模塊當(dāng)中。此外，在一替代實(shí)施例中，圖1的兩個(gè)或更多個(gè)組件或模塊可整合到單個(gè)組件或模塊中?？墒褂糜布?例如，現(xiàn)場(chǎng)可編程門陣列(FPGA)裝置、專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、控制器等)、軟件(例如，可由處理器執(zhí)行的指令)或其任何組合實(shí)施圖1中說(shuō)明的每一組件或模塊。
[0020]在操作期間，相機(jī)112可俘獲圖像序列104。在特定實(shí)施例中，所述圖像序列104可對(duì)應(yīng)于用戶正記錄(例如，存儲(chǔ)在存儲(chǔ)器中)的視頻流。在另一實(shí)施例中，圖像序列104可對(duì)應(yīng)于由相機(jī)顯示器(例如，對(duì)應(yīng)于取景器顯示器)在一定時(shí)間段內(nèi)顯示的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，用戶可查看圖像數(shù)據(jù)，且隨后拍攝圖像(例如，將特定圖像存儲(chǔ)在存儲(chǔ)器中)。
[0021]圖像序列104可包含第一圖像106?？山?jīng)由相機(jī)顯示器(未展示)將第一圖像106顯示給用戶150。用戶150可通過(guò)選擇第一圖像106中的感興趣區(qū)域162來(lái)選擇顯示在相機(jī)顯示器中的對(duì)象110(例如，圖1中的汽車)。感興趣區(qū)域162可包含對(duì)象110。穩(wěn)定器102可從用戶150接收第一數(shù)據(jù)122，第一數(shù)據(jù)122界定對(duì)應(yīng)于感興趣區(qū)域162的第一限界框116。舉例來(lái)說(shuō)，第一數(shù)據(jù)122可包含第一圖像106中的第一限界框116的第一坐標(biāo)(例如，水平軸(X軸)坐標(biāo)和豎直軸(y軸)坐標(biāo))。在特定實(shí)施例中，第一坐標(biāo)可對(duì)應(yīng)于第一圖像106中的第一限界框116的左上角。第一數(shù)據(jù)122還可包含第一限界框116的第一尺寸。舉例來(lái)說(shuō)，第一數(shù)據(jù)可包含第一限界框116的寬度(例如，沿著第一圖像106的X軸)和高度(例如，沿著第一圖像106的y軸)。在此實(shí)例中，第一限界框116可對(duì)應(yīng)于正方形或矩形。
[0022]圖像序列104可包含第二圖像108。所述第二圖像108還可包含(例如，描繪)包括對(duì)象110的感興趣區(qū)域162。跟蹤器160可產(chǎn)生界定對(duì)象跟蹤框(例如，第二限界框118)的對(duì)象跟蹤數(shù)據(jù)124。第二限界框118可對(duì)應(yīng)于第二圖像108中的感興趣區(qū)域162。舉例來(lái)說(shuō)，對(duì)象跟蹤數(shù)據(jù)124可包含第二圖像108中的第二限界框118的第二坐標(biāo)(例如，X軸坐標(biāo)和y軸坐標(biāo))。在特定實(shí)施例中，第二坐標(biāo)對(duì)應(yīng)于第二圖像108中的第二限界框118的左上角。對(duì)象跟蹤數(shù)據(jù)124還可包含第二限界框118的第二尺寸。舉例來(lái)說(shuō)，對(duì)象跟蹤數(shù)據(jù)124可包含第二限界框118的寬度(例如，沿著第二圖像108的X軸)和高度(例如，沿著第二圖像108的y軸)。
[0023]穩(wěn)定器102可基于第二限界框118而確定第二圖像108的搜索區(qū)域。舉例來(lái)說(shuō)，搜索區(qū)域可包含第二限界框118內(nèi)的像素和大體上接近第二限界框118的像素，如參考圖4所描述。穩(wěn)定器102可確定搜索區(qū)域內(nèi)的多個(gè)搜索限界框，如參考圖4所描述。舉例來(lái)說(shuō)，搜索限界框中的每一者的坐標(biāo)可對(duì)應(yīng)于在一或多個(gè)方向上移位的第二限界框118的第二坐標(biāo)。當(dāng)顯示第二圖像108時(shí)，搜索限界框中的每一者可對(duì)應(yīng)于用以替代第二限界框118的候選限界框，以減少抖動(dòng)。穩(wěn)定器102可搜索限界框的搜索坐標(biāo)130存儲(chǔ)于存儲(chǔ)器120中。搜索限界框中的每一者的尺寸可對(duì)應(yīng)于第一限界框116的第一尺寸。
[0024]穩(wěn)定器102可確定第一限界框116內(nèi)的第一像素與搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。舉例來(lái)說(shuō)，類似性度量可包含絕對(duì)差總和(SAD)度量。為了說(shuō)明，穩(wěn)定器102可至少部分基于對(duì)應(yīng)于第一像素的第一像素特性(例如，像素強(qiáng)度、像素顏色(例如，紅色、綠色、藍(lán)色、藍(lán)綠色、洋紅色、黃色或黑色)子分量或其組合)與對(duì)應(yīng)于候選搜索像素的第二像素特性的SAD而計(jì)算第一像素與候選搜索限界框內(nèi)的候選搜索像素的特定類似性度量。
[0025]在特定實(shí)施例中，穩(wěn)定器102可計(jì)算第一限界框116的第一像素的第一列總和向量、第一列總和差向量、第一行總和向量和/或第一行總和差向量，如關(guān)于圖2所描述。類似地，穩(wěn)定器102亦可計(jì)算候選搜索限界框的候選搜索像素的第二列總和向量、第二列總和差向量、第二行總和向量和/或第二行總和差向量。穩(wěn)定器102可將列總和向量132(例如，第一列總和向量和第二列總和向量)、列總和差向量134(例如，第一列總和差向量和第二列總和差向量)、行總和向量136 (例如，第一行總和向量和第二行總和向量)、行總和差向量138(例如，第一行總和差向量和第二行總和差向量)或其組合存儲(chǔ)在存儲(chǔ)器120中。
[0026]通過(guò)將第一列總和向量與第二列總和向量的第一SAD、第一列總和差向量與第二列總和差向量的第二 SAD、第一行總和向量與第二行總和向量的第三SAD、及/或第一行總和差向量與第二行總和差向量的第四SAD相加到一起，穩(wěn)定器102可確定第一限界框116的第一像素與候選搜索限界框的候選搜索像素的特定類似性度量。穩(wěn)定器102可將對(duì)應(yīng)于搜索限界框中的每一者的類似性度量128存儲(chǔ)到存儲(chǔ)器120中。
[0027]穩(wěn)定器102可選擇包含最類似于第一限界框116的第一像素的搜索像素的特定搜索限界框。舉例來(lái)說(shuō)，穩(wěn)定器102可響應(yīng)于確定對(duì)應(yīng)類似性度量指示與類似性度量128的第一像素最高的類似性(例如，具有最低值)而選擇特定搜索限界框。
[0028]穩(wěn)定器102可基于所選搜索限界框而確定經(jīng)修改第二限界框。舉例來(lái)說(shuō)，穩(wěn)定器102可產(chǎn)生經(jīng)修改第二限界框數(shù)據(jù)126。經(jīng)修改第二限界框數(shù)據(jù)126可指示經(jīng)修改第二限界框的經(jīng)修改坐標(biāo)。經(jīng)修改坐標(biāo)可對(duì)應(yīng)于所選搜索限界框的坐標(biāo)。在特定實(shí)施例中，經(jīng)修改坐標(biāo)可等同于第二限界框118的第二坐標(biāo)。因此，特定搜索限界框可選自多個(gè)搜索(例如，候選)限界框，這是因?yàn)樘囟ㄋ阉飨藿缈蚪?jīng)確定為最類似于第一限界框116，由此減少圖像序列104中的圖像之間的限界框放置中的視覺(jué)抖動(dòng)。
[0029]經(jīng)修改第二限界框數(shù)據(jù)126可指示經(jīng)修改第二限界框的尺寸。在特定實(shí)施例中，經(jīng)修改第二限界框的尺寸可對(duì)應(yīng)于第一限界框116的第一尺寸或第二限界框118的第二尺寸。在另一實(shí)施例中，經(jīng)修改第二限界框的尺寸可對(duì)應(yīng)于與第二圖像108之前的多個(gè)圖像對(duì)應(yīng)的中值尺寸140。穩(wěn)定器102可響應(yīng)于確定先前圖像的數(shù)目滿足閾值而將中值尺寸140用作經(jīng)修改第二限界框的尺寸。先前圖像的閾值數(shù)目可為默認(rèn)值。穩(wěn)定器102可將經(jīng)修改第二限界框數(shù)據(jù)126發(fā)送到相機(jī)顯示器。舉例來(lái)說(shuō)，相機(jī)顯示器可顯示具有經(jīng)修改第二限界框的第二圖像108。
[0030]在特定實(shí)施例中，穩(wěn)定器102可在預(yù)期接收第二圖像108之后的圖像(例如，圖像序列104的第三圖像)時(shí)存儲(chǔ)對(duì)應(yīng)于經(jīng)修改第二限界框的像素特性。當(dāng)經(jīng)修改第二限界框的經(jīng)修改尺寸對(duì)應(yīng)于所選搜索限界框的尺寸(即，第一限界框116的第一尺寸)時(shí)，經(jīng)修改第二限界框可對(duì)應(yīng)于所選搜索限界框。穩(wěn)定器102可響應(yīng)于確定經(jīng)修改第二限界框的經(jīng)修改尺寸對(duì)應(yīng)于所選搜索限界框的尺寸(或第一限界框116的第一尺寸)而存儲(chǔ)所選搜索限界框的像素特性。
[0031]在特定實(shí)施例中，經(jīng)修改第二限界框的經(jīng)修改尺寸可不同于所選搜索限界框的尺寸(或第一限界框116的第一尺寸)。舉例來(lái)說(shuō)，經(jīng)修改第二限界框的經(jīng)修改尺寸可對(duì)應(yīng)于第二限界框的第二尺寸118或?qū)?yīng)于中值尺寸140。當(dāng)經(jīng)修改第二限界框的尺寸并不對(duì)應(yīng)于所選搜索限界框的尺寸(或第一尺寸)時(shí)，穩(wěn)定器102可產(chǎn)生且存儲(chǔ)經(jīng)修改第二限界框的像素特性。舉例來(lái)說(shuō)，穩(wěn)定器102可產(chǎn)生對(duì)應(yīng)于經(jīng)修改第二限界框的列總和向量、列總和差向量、行總和向量和/或行總和差向量，如參考圖2所描述。
[0032]當(dāng)接收到圖像序列104的額外圖像時(shí)，可基于與先前一或多個(gè)限界框的類似性而選擇額外限界框。舉例來(lái)說(shuō)，穩(wěn)定器102可接收第三圖像，且可接收界定對(duì)應(yīng)于第三圖像的第三限界框的對(duì)象跟蹤數(shù)據(jù)124。穩(wěn)定器102可基于經(jīng)修改第二限界框和第三限界框而確定經(jīng)修改第三限界框。舉例來(lái)說(shuō)，穩(wěn)定器102可使用經(jīng)修改第二限界框的所存儲(chǔ)像素特性來(lái)產(chǎn)生可用以確定經(jīng)修改第三限界框的額外類似性度量。
[0033]因此，穩(wěn)定器102可從多個(gè)搜索(例如，候選)限界框中選定特定限界框，這是因?yàn)樘囟ㄏ藿缈蚪?jīng)確定為最類似于先前圖像(例如，第一圖像106)的限界框，由此減少圖像序列104中的圖像之間的限界框放置中的視覺(jué)抖動(dòng)。
[0034]參考圖2，揭示包含被跟蹤對(duì)象的說(shuō)明性圖像的圖，且所述圖像大體標(biāo)示為200。在特定實(shí)施例中，圖像200可對(duì)應(yīng)于圖1的第一圖像106或第二圖像108。圖像200包含像素的多個(gè)列(例如，列O到列5)和多個(gè)行(例如，行O到行4)。圖像200可包含第一限界框202，第一限界框202包含像素的一組列(例如，列O到列2)和一組行(例如，行O到行2)，所述像素說(shuō)明為加框像素。在特定實(shí)施例中，加框像素可對(duì)應(yīng)于第一限界框116的像素、一或多個(gè)搜索限界框的像素、或兩者。特定像素可通過(guò)其坐標(biāo)(例如，x、y坐標(biāo))加以識(shí)別。圖像200指示每一像素(x，y)的特定像素特性I。在特定實(shí)施例中，像素特性可對(duì)應(yīng)于像素強(qiáng)度。舉例來(lái)說(shuō)，1(0，O)可指示列O和行O處的像素的像素強(qiáng)度，且1(0，I)可指示列O和行I處的像素的像素強(qiáng)度。在特定實(shí)施例中，圖像200可為灰度級(jí)圖像。
[0035]可針對(duì)圖像200界定第一限界框202。處于(0，0)處的像素界定第一限界框202的左上角。第一限界框202的尺寸可包含3個(gè)像素的高度和3個(gè)像素的寬度。穩(wěn)定器102可基于左上角的坐標(biāo)和尺寸而確定第一限界框202的右下角(例如，(2，2))。在特定實(shí)施例中，第一限界框202可對(duì)應(yīng)于圖1的第一限界框116。在另一實(shí)施例中，第一限界框202可對(duì)應(yīng)于參考圖1所描述的搜索限界框中的一或多者。
[0036]穩(wěn)定器102可確定限界框的列總和向量c(x，y)。限界框的左上角的坐標(biāo)可對(duì)應(yīng)于(x，y)。舉例來(lái)說(shuō)，穩(wěn)定器102可確定第一限界框202的加框像素的第一列總和向量(c(0，0))204。在圖2中展示的實(shí)例中，I(0，0) = 1、I(1，0) = 2、I(2，0) = 3、I(3，0) = 10、I(0，1)=4、I(1，1)=5、I(2，1)=6、I(3，1) = 11、I(0，2) = 7、I(1，2)=8、I(2，2)=9、I(3，2) = 12、I(0，3)=13、I(1，3) = 14、I(2,3) = 15 且 Ι(3，3) = 16χ(0,0)204 的每一元素 Cj(0，0)可等于第一限界框202的列j的像素值的總和。因此，針對(duì)圖2中的展示的實(shí)例，Cj(0，0)204的值為:
[0037]C0(O1O) = I(0,0)+1(0,1)+1(0,2) = 12,
[0038]C1(0,0) = 1(1,0)+1(1,1)+1(1,2) = 15，且
[0039]C2(O1O) = I(2,0)+1(2,1)+1(2,2) = 18ο
[0040] 穩(wěn)定器102可確定第一限界框202的加框像素的列總和差向量cdelta(0，0)206。cdelta(0,0)206的每一元素cdeltaj(0，0)可等于Cj(0，0)_cj—1(0，0)(對(duì)于 j>0)，且可等于O(對(duì)于j = 0)。因此，針對(duì)圖2中展示的實(shí)例，cdelta(0，0)206的值為:
[0041 ] cdeltao(0,0) =0,
[0042]cdeltai(0,0) = ci(0,0)-co(0,0) = 15-12 = 3，且
[0043]cdelta2(0，0) = C2(0，0)_ci(0，0) = 18—15 = 3。
[0044]穩(wěn)定器102可確定第一限界框202的加框像素的行總和向量Γ(0，0)208<^(0,0)208的每一元素η(0，0)可等于第一限界框202的行I的像素值的總和。因此，針對(duì)圖2中展示的實(shí)例，r(0，0)208的值為:
[0045]ro(0,0) = I (0,0)+1( 1,0)+1(2,0) =6,
[0046]n(0,0) = 1(0,1)+1(1,1)+1(2,1) = 15，且
[0047]r2(0,0) = 1(0,2)+1(1,2)+1(2,2) = 24。
[0048]穩(wěn)定器102可確定第一限界框202的加框像素的第一行差向量rdelta(0，0)210。rdelta(0,0)210的每一元素rdeltai(0，0)可等于ri(0，0)_ri—1(0，0)(對(duì)于i>0)，且可等于O(對(duì)于i = 0)。因此，針對(duì)圖2中展示的實(shí)例，rdelta(0，0)210的值為:
[0049]rdeltao(0,0) =0,
[0050]rdeltai(0,0) = ri(0,0)-ro(0,0) = 15-6 = 9，和[0051 ] rdelta2(0，0) = r2(0，0)-ri(0，0) =24-15 = 9。
[0052]在特定實(shí)施例中，穩(wěn)定器102可產(chǎn)生對(duì)應(yīng)于圖像200的積分圖像。積分圖像的每一特定像素的值等于特定像素和特定像素上方和左方的像素的像素值的總和。積分圖像Int中的像素(1，7)的值可表示為1111:(1，7)。通過(guò)公式1111:(1，7) = 1(1，7)+1111:(1-1，7)+1111:(1，y-l)-1nt(x_l，y_l)確定Int(x，y)。
[0053]在圖2中展示的實(shí)例中，積分圖像的像素子集的值為:
[0054]lnt(0,0) = 1(0,0) = 1
[0055]lnt(0,1) = 1(0,1)+1(0,0)=5
[0056]lnt(0,2) = 1(0,2)+1(0,1)+1(0,0) = 12
[0057]lnt(0,3) = 1(0,3)+1(0,2)+1(0,1)+1(0,0)=25
[0058]Int(l,0) = 1(1,0)+1(0,0)=3
[0059]Int(l ,1) = 1(1,1)+1(0,1)+1(0,0)+1(1,0) = 12
[0060]Int( 1,2) = K 1,2)+1( I, I )+1(0,1 )+1(0,0)+1( 1,0)+1(0,2) =27
[0061]Int( 1,3) = K 1,3)+1( 1,2)+1( I, I )+1(0,1 )+1(0,0)+1( 1,0)+1(0,2)+1(0,3) =54
[0062]Int(2,0) = 1(2,0)+1( 1,0)+1(0,0)=6
[0063]Int(2,1) = 1(2，1)+1(2,0)+1(1,0)+1(0,0)+1(1,1)+1(0,1) =21
[0064]Int(2，2)=1(2,2)+1(2,1)+1(2,0)+1(1,0)+1(0,0)+1(1,1)+1(0,1)+1(1,2)+1(0,2)=45
[0065]Int(2,3) = I(2,3) + 1(2,2) + 1(2,1 ) + 1(2,0) + 1(1,0) + 1(0,0) + 1(I,I ) + 1(0,1) + 1(1,2)+1(0,2) + (0,3)+1(1,3)=87
[0066]Int(3,0) = 1(3,0)+1(2,0)+1( 1,0)+1(0,0) = 16
[0067]Int(3,1) = 1(3,1)+1(3,0)+1(2,1)+1(2,0)+1(1,0)+1(0,0)+1(1,1)+1(0,1)=42
[0068]Int(3,2) = 1(3,2) + 1(3,1) + 1(3,0) + 1(2,2) + 1(2,1) + 1(2,0) + 1(1,0) + 1(0,0) + 1(1,1)+1(0,1)+1(1,2)+1(0,2)=78
[0069]Int(3,3)=I(3,3)+1(3,2)+1(3,1)+1(3,0)+1(2,3)+1(2,2)+1(2,1)+1(2,0)+1(1,0)+1(0,0)+1(1,1)+1(0,1)+1(1,2)+1(0,2)+(0,3)+1(1,3)=136
[0070 ] 穩(wěn)定器102可確定來(lái)自積分圖像的c (0，0) 204和r (0，0) 208的值。舉例來(lái)說(shuō)，c (0，0)204的特定元素可對(duì)應(yīng)于積分圖像的第一元素與積分圖像的第二元素的差，其中第一元素和第二元素對(duì)應(yīng)于積分圖像的相鄰列^^為了說(shuō)明’⑶⑶…丨對(duì)應(yīng)于工的⑶^^^⑶…丨對(duì)應(yīng)于11^(1，2)-1社(0，2)，且。2(0，0)對(duì)應(yīng)于11^(2，2)-1的(1，2)0
[0071]在特定實(shí)施例中，具有左上坐標(biāo)(x，0)的限界框(例如，第一限界框202W^Cl(X，0)的值為:
[0072]以(叉，0)= 1]11:(0，高度-1)，對(duì)于叉+1 = 0，且
[0073]ci(x，0) = lnt(x+i，高度-l)-1nt(x+i_l，高度-1)，對(duì)于x+i>0，
[0074]其中高度(例如，3)對(duì)應(yīng)于限界框的行的數(shù)目。
[0075]作為另一實(shí)例，HO，0)208的特定元素可對(duì)應(yīng)于積分圖像的第一元素與積分圖像的第二元素的差，其中第一元素和第二元素對(duì)應(yīng)于積分圖像的相鄰行。為了說(shuō)明，ro(0，0)對(duì)應(yīng)于Int(2，0)，n(0，0)對(duì)應(yīng)于1的(2，1)-11^(2，0)，且^(0，0)對(duì)應(yīng)于1的(2，2)-11^(2，
Do
[0076]在特定實(shí)施例中，具有左上坐標(biāo)(0，y)的限界框(例如，第一限界框202)的^(0，7)的值為:
[0077]!■」(0，7) = 1]11:(寬度-1，0)，對(duì)于7+」=0，且
[0078]rj(0，y) = lnt(寬度-1，y+j)_Int(寬度-1，y+j_l)，對(duì)于y+j>0，
[0079]其中寬度(例如，3)對(duì)應(yīng)于限界框的列的數(shù)目。
[0080]作為另一實(shí)例，穩(wěn)定器102可使用積分圖像確定第二限界框204的行總和向量r(l，I)和列總和向量c(l，I)。舉例來(lái)說(shuō)，c(l，I)的特定元素可對(duì)應(yīng)于積分圖像的第一元素與積分圖像的第二元素的差，其中第一元素和第二元素對(duì)應(yīng)于積分圖像的相鄰列。為了說(shuō)明，CO(1，1)對(duì)應(yīng)于11^(1，3)-11^(0，3)-11^(1，0)+1的(0，0)，。1(1，1)對(duì)應(yīng)于11^(2，3)-11^(1，3)-1nt(2，0)+Int(l，0)，且 C2(l，l)對(duì)應(yīng)于 Int(3，3)-1nt(2，3)-1nt(3，0)+Int(2，0)。
[0081]在特定實(shí)施例中，具有左上坐標(biāo)(x，y)的限界框(例如，第二限界框204W^Cl(x，y)的值(其中y>0)為:
[0082]以(叉，50= 1]11:(0，7+高度-1)-1111:(0，7-1)，對(duì)于叉+1 = 0，且
[0083]ci(x,y) = Int(x+i ,y+高度-1)-1nt(x+i_l，:7+高度-1)-1]11:(叉+1 ,y-l)+Int(x+1-1，7-1)，對(duì)于叉+1>0，
[0084]其中高度(例如，3)對(duì)應(yīng)于限界框的行的數(shù)目。
[0085]作為另一實(shí)例，r(l，I)的特定元素可對(duì)應(yīng)于積分圖像的第一元素與積分圖像的第二元素的差，其中第一元素和第二元素對(duì)應(yīng)于積分圖像的相鄰行。為了說(shuō)明，ro(l，I)對(duì)應(yīng)于11^(3，1)-1社(0，1)-11^(3，0)+1社(0，0)^1(1，1)對(duì)應(yīng)于11^(3，2)-11^(0，2)-11^(3，1)+lnt(0，l)，且 r2(l，l)對(duì)應(yīng)于 Int(3，3)-1nt(0，3)-1nt(3，2)+Int(0，2)。
[0086]在特定實(shí)施例中，具有左上坐標(biāo)(x，y)的限界框(例如，第二限界框204)的n(x，y)的值(其中χ>0)為:
[0087]rj(x，y) = Int(x+寬度-1，0)-1nt(x_l，0)，對(duì)于y+j = 0，且
[0088]rj(x，y) = Int(x+寬度-1，y+j)_Int(x+寬度-1，y+j-l)-1nt(x_l，y+j)+Int(x_l，y+]_-1)，對(duì)于7+」>0，
[0089]其中寬度(例如，3)對(duì)應(yīng)于限界框的列的數(shù)目。
[0090]在特定實(shí)施例中，穩(wěn)定器102可產(chǎn)生對(duì)應(yīng)于第二圖像108的積分圖像。計(jì)算對(duì)應(yīng)于來(lái)自積分圖像的搜索限界框中的每一者的行總和向量和列總和向量可較快(例如，在恒定時(shí)間內(nèi)計(jì)算)，且可比直接從第二圖像108的像素值計(jì)算向量使用較少的處理資源。
[0091]參考圖3，揭示包含圖2的被跟蹤對(duì)象的說(shuō)明性圖像的圖，且所述圖像大體標(biāo)示為300。圖像300可對(duì)應(yīng)于圖1的第二圖像108。左上坐標(biāo)(O，I)和尺寸4 X 3(像素寬度X像素高度)界定圖像300的第二限界框118。每一像素值I2(x，y)可對(duì)應(yīng)于圖像300的對(duì)應(yīng)像素(x，y)的像素特性。下標(biāo)2指示像素特性對(duì)應(yīng)于第二圖像108。
[0092]穩(wěn)定器102可基于第二限界框118而確定搜索區(qū)域304。舉例來(lái)說(shuō)，搜索區(qū)域304可包含第二限界框118和相對(duì)于第二限界框118在一或多個(gè)方向上的額外像素。舉例來(lái)說(shuō)，穩(wěn)定器102可朝第二限界框118的右方和左方總計(jì)為第一數(shù)目(例如，I)個(gè)像素，且朝第二限界框118的頂部和底部總計(jì)為第二數(shù)目(例如，I)個(gè)像素，以產(chǎn)生搜索區(qū)域304。
[0093]參考圖4，揭示包含圖2的被跟蹤對(duì)象的說(shuō)明性圖像的圖，且所述圖像大體標(biāo)示為400。圖像400可對(duì)應(yīng)于圖1的第二圖像108?？蔀閳D像400界定搜索區(qū)域304。
[0094]穩(wěn)定器102可基于搜索區(qū)域304而在圖像400內(nèi)產(chǎn)生多個(gè)搜索限界框(例如，第一搜索限界框402、第二搜索限界框404和第三搜索限界框406)。搜索限界框中的每一者的尺寸可等于第一限界框116的尺寸。穩(wěn)定器102可產(chǎn)生具有選自第一范圍(例如，O到3)的左上像素的X坐標(biāo)和選自第二范圍(例如，O到2)的左上像素的y坐標(biāo)的搜索限界框。搜索區(qū)域304可包含具有在第一范圍外部的X坐標(biāo)或在第二范圍外部的y坐標(biāo)的像素。然而，穩(wěn)定器102可制止產(chǎn)生具有具有在第一范圍外部的X坐標(biāo)或在第二范圍外部的y坐標(biāo)、或兩者的左上像素的搜索限界框，這是因?yàn)榇祟愃阉飨藿缈虿⒉煌耆m配于圖像400內(nèi)。
[0095]穩(wěn)定器102可產(chǎn)生對(duì)應(yīng)于搜索限界框402到406中的每一者的搜索行總和向量、搜索行總和差向量、搜索列總和向量、和/或搜索列總和差向量，如參考圖1到2進(jìn)一步描述。穩(wěn)定器102可產(chǎn)生類似性度量128，且可選擇“最類似”于第一限界框116的特定搜索限界框，如參考圖1所描述。舉例來(lái)說(shuō)，穩(wěn)定器102可基于搜索限界框404的類似性度量而選擇第二搜索限界框404。因此，穩(wěn)定器102可產(chǎn)生經(jīng)修改第二限界框數(shù)據(jù)126以指示顯示給用戶150的經(jīng)修改限界框應(yīng)在位置(I，1)處具有左上像素。
[0096]在特定實(shí)施例中，經(jīng)修改第二限界框的尺寸可對(duì)應(yīng)于圖1的第一限界框116的第一尺寸、圖1的第二限界框118的第二尺寸，或圖1的中值尺寸140。經(jīng)修改第二限界框數(shù)據(jù)126可指示經(jīng)修改第二限界框的左上像素的坐標(biāo)(I，I)和尺寸。穩(wěn)定器102可將經(jīng)修改第二限界框數(shù)據(jù)126提供到相機(jī)顯示器。相機(jī)顯示器可顯示具有經(jīng)修改第二限界框的第二圖像108。經(jīng)修改第二限界框可對(duì)應(yīng)于比第二限界框118穩(wěn)定的限界框。舉例來(lái)說(shuō)，對(duì)應(yīng)于經(jīng)修改第二限界框的像素可更類似于第一限界框116的第一像素。作為另一實(shí)例，經(jīng)修改第二限界框的尺寸可更接近地對(duì)應(yīng)于多個(gè)先前圖像的尺寸。
[0097]參考圖5，展示使對(duì)象跟蹤框的顯示穩(wěn)定的方法的特定說(shuō)明性實(shí)施例的流程圖，且所述方法大體標(biāo)示為500 ο方法500可由圖1的系統(tǒng)100的一或多個(gè)組件執(zhí)行。
[0098]方法500包含在502處接收界定圖像序列的第一圖像的第一限界框的第一數(shù)據(jù)。第一限界框可對(duì)應(yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可接收第一數(shù)據(jù)122，如參考圖1所描述。第一數(shù)據(jù)122可界定圖像序列104的第一圖像106的第一限界框116。第一限界框116可對(duì)應(yīng)于包含對(duì)象110的感興趣區(qū)域162。
[0099]方法500還包含在504處接收?qǐng)D像序列的第二圖像的對(duì)象跟蹤數(shù)據(jù)。對(duì)象跟蹤數(shù)據(jù)可界定第二限界框。第二限界框可對(duì)應(yīng)于第二圖像中包含被跟蹤對(duì)象的感興趣區(qū)域。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可接收第二圖像108的對(duì)象跟蹤數(shù)據(jù)124，如參考圖1所描述。對(duì)象跟蹤數(shù)據(jù)124可界定第二限界框118。第二限界框118可對(duì)應(yīng)于包含第二圖像108中的對(duì)象110的感興趣區(qū)域162。
[0100]方法500進(jìn)一步包含在506處確定第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量。搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的第二限界框的第二坐標(biāo)。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定第一限界框116內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量，如參考圖1到2和4所描述。
[0101]方法500還包含在508處基于類似性度量而確定經(jīng)修改第二限界框。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可基于類似性度量而確定經(jīng)修改第二限界框，如參考圖1和4所描述。
[0102]方法500進(jìn)一步包含在510處確定對(duì)應(yīng)于多個(gè)圖像的中值尺寸。所述多個(gè)圖像可在圖像序列中先于第二圖像。經(jīng)修改第二限界框的第二尺寸可對(duì)應(yīng)于中值尺寸。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定中值尺寸140對(duì)應(yīng)于先于第二圖像108的多個(gè)圖像，如參考圖1所描述。經(jīng)修改第二限界框的第二尺寸可對(duì)應(yīng)于中值尺寸140，如參考圖1和4所描述。
[0103]因此，方法500包含從多個(gè)搜索(例如，候選)限界框中選擇特定限界框，這是因?yàn)樘囟ㄏ藿缈蚪?jīng)確定為最類似于先前圖像(例如，第一圖像106)的限界框，由此減少圖像序列104中的圖像之間的限界框放置中的視覺(jué)抖動(dòng)。
[0104]圖5的方法500可由現(xiàn)場(chǎng)可編程門陣列(FPGA)裝置、專用集成電路(ASIC)、處理單元(例如，中央處理單元(CPU))、數(shù)字信號(hào)處理器(DSP)、控制器、另一硬件裝置、固件裝置或其任何組合來(lái)實(shí)施。作為一實(shí)例，圖5的方法500可由執(zhí)行指令的處理器執(zhí)行，如關(guān)于圖7所描述。
[0105]參考圖6，展示使對(duì)象跟蹤框的顯示穩(wěn)定的方法的特定說(shuō)明性實(shí)施例的流程圖，且所述方法大體標(biāo)示為600。方法600可由圖1的系統(tǒng)100的一或多個(gè)組件執(zhí)行。在特定實(shí)施例中，方法600可對(duì)應(yīng)于圖5在步驟506處說(shuō)明的操作。
[0106]方法600包含在602處確定第一像素的第一列總和向量。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定第一限界框116的第一像素的第一列總和向量，如參考圖1到2所描述。第一列總和向量的特定元素可對(duì)應(yīng)于像素值的總和，像素值的總和對(duì)應(yīng)于第一限界框116的特定列。
[0107]方法600還包含在604處確定第一像素的第一列總和差向量。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定第一限界框116的第一像素的第一列差向量，如參考圖1到2所描述。第一列總和差向量的特定元素可對(duì)應(yīng)于第一列總和向量的第一元素與第一列總和向量的第二元素之間的差。第一元素和第二元素可對(duì)應(yīng)于第一限界框116的相鄰列。
[0108]方法600進(jìn)一步包含在606處確定第一像素的第一行總和向量。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定第一限界框116的第一像素的第一行總和向量，如參考圖1描述。第一行總和向量的特定元素可對(duì)應(yīng)于像素值的總和，像素值的總和對(duì)應(yīng)于第一限界框116的特定行。
[0109]方法600還包含在608處確定第一像素的第一行總和差向量。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可確定第一限界框116的第一像素的第一行差向量，如參考圖1到2所描述。第一行總和差向量的特定元素可對(duì)應(yīng)于第一行總和向量的第一元素與行總和向量的第二元素之間的差。第一元素和第二元素可對(duì)應(yīng)于第一限界框116的相鄰行。
[0110]方法600進(jìn)一步包含在610處通過(guò)相加以下各者來(lái)計(jì)算第一像素與特定搜索限界框內(nèi)的特定搜索像素的特定類似性度量:第一像素的第一列總和向量與特定搜索像素的第二列總和向量的第一絕對(duì)差總和(SAD)、第一像素的第一列總和差向量與特定搜索像素的第二列總和差向量的第二 SAD、第一像素的第一行總和向量與特定搜索像素的第二行總和向量的第三SAD、以及第一像素的第一行總和差向量與特定搜索像素的第二行總和差向量的第四SAD。舉例來(lái)說(shuō)，圖1的穩(wěn)定器102可計(jì)算第一限界框116的第一像素與特定搜索限界框內(nèi)的特定搜索像素的特定類似性度量，如參考圖1到2和4所描述。
[0111]應(yīng)注意，雖然各種實(shí)施例描述為使用列總和向量、列總和不同向量、行總和向量及行總和差向量，但此僅針對(duì)實(shí)例，且不應(yīng)視為限制性的。在替代實(shí)施例中，可基于更少、更多或不同計(jì)算和數(shù)據(jù)結(jié)構(gòu)而確定類似性。
[0112]圖6的方法600可由現(xiàn)場(chǎng)可編程門陣列(FPGA)裝置、專用集成電路(ASIC)、處理單元(例如，中央處理單元(CPU))、數(shù)字信號(hào)處理器(DSP)、控制器、另一硬件裝置、固件裝置或其任何組合來(lái)實(shí)施。作為一實(shí)例，圖6的方法600可由執(zhí)行指令的處理器執(zhí)行，如關(guān)于圖7所描述。
[0113]參考圖7，描繪裝置(例如，無(wú)線通信裝置)的特定說(shuō)明性實(shí)施例的框圖，且所述裝置大體標(biāo)示為700。裝置700包含耦合到存儲(chǔ)器732的處理器710，例如數(shù)字信號(hào)處理器(DSP)或中央處理單元(CPU)。處理器710可包含且/或執(zhí)行圖1的穩(wěn)定器102、圖1的跟蹤器160或兩者。
[0114]裝置700的一或多個(gè)組件可經(jīng)由專用硬件(例如，電路系統(tǒng))、由執(zhí)行指令以執(zhí)行一或多個(gè)任務(wù)的處理器、或其組合來(lái)實(shí)施。作為一實(shí)例，存儲(chǔ)器732或穩(wěn)定器102和/或跟蹤器160的一或多個(gè)組件可為存儲(chǔ)器裝置，例如隨機(jī)存取存儲(chǔ)器(RAM)、磁阻隨機(jī)存取存儲(chǔ)器(MRAM)、自旋力矩轉(zhuǎn)移MRAM(STT-MRAM)、閃存存儲(chǔ)器、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、寄存器、硬盤、可裝卸式磁盤或壓縮光盤只讀存儲(chǔ)器(CD-ROM)。存儲(chǔ)器裝置可包含指令，所述指令在由計(jì)算機(jī)(例如，處理器710)執(zhí)行時(shí)可致使計(jì)算機(jī)執(zhí)行圖5的方法500圖6的方法600或其組合的至少一部分。作為一實(shí)例，存儲(chǔ)器732或穩(wěn)定器102的一或多個(gè)組件可為包含指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述指令在由計(jì)算機(jī)(例如，處理器710)執(zhí)行時(shí)可致使計(jì)算機(jī)執(zhí)行圖5的方法500、圖6的方法600或其組合的至少一部分。
[0115]圖7還展示耦合到處理器710和顯示器728的顯示器控制器726。例如圖1的相機(jī)112等相機(jī)可耦合到處理器710。譯碼器/解碼器(C0DEC)734也可耦合到處理器710。揚(yáng)聲器736和麥克風(fēng)738可耦合到CODEC 734。
[0116]圖7還指示無(wú)線控制器740可耦合到處理器710和無(wú)線天線742。在特定實(shí)施例中，處理器710、顯示器控制器726、存儲(chǔ)器732、C0DEC 734和無(wú)線控制器740包含于系統(tǒng)級(jí)封裝或芯片上系統(tǒng)裝置722中。在特定實(shí)施例中，相機(jī)112、輸入裝置730和電力供應(yīng)器744耦合到芯片上系統(tǒng)裝置722。此外，在特定實(shí)施例中，如圖7中說(shuō)明，顯示器728、相機(jī)112、穩(wěn)定器102、跟蹤器160、輸入裝置730、揚(yáng)聲器736、麥克風(fēng)738、無(wú)線天線742和電力供應(yīng)器744在芯片上系統(tǒng)裝置722外部。然而，顯示器728、相機(jī)112、穩(wěn)定器102、跟蹤器160、輸入裝置730、揚(yáng)聲器736、麥克風(fēng)738、無(wú)線天線742和電力供應(yīng)器744中的每一者可耦合到芯片上系統(tǒng)裝置722的組件，例如接口或控制器。
[0117]結(jié)合所描的實(shí)施例，揭示一種系統(tǒng)，其包含用于接收第一數(shù)據(jù)的裝置。第一數(shù)據(jù)可界定圖像序列的第一圖像的第一限界框。第一限界框可對(duì)應(yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域。用于接收的裝置可包含圖7的輸入裝置730、一或多個(gè)其它裝置或經(jīng)配置以接收界定限界框的數(shù)據(jù)的電路(例如，移動(dòng)電話的觸摸屏)、或其任何組合。
[0118]所述系統(tǒng)還可包含用于產(chǎn)生對(duì)象跟蹤數(shù)據(jù)的裝置。對(duì)象跟蹤數(shù)據(jù)可對(duì)應(yīng)于圖像序列的第二圖像。對(duì)象跟蹤數(shù)據(jù)可界定第二限界框。第二限界框可對(duì)應(yīng)于第二圖像中包含被跟蹤對(duì)象的感興趣區(qū)域。用于產(chǎn)生的裝置可包含圖1和7的跟蹤器160、一或多個(gè)其它裝置或經(jīng)配置以產(chǎn)生對(duì)象跟蹤數(shù)據(jù)的電路、或其任何組合。
[0119]所述系統(tǒng)可進(jìn)一步包含用于確定類似性度量且基于類似性度量確定經(jīng)修改第二限界框的裝置?？蔀榈谝幌藿缈騼?nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素確定類似性度量。搜索限界框中的每一者的搜索坐標(biāo)可對(duì)應(yīng)于在一或多個(gè)方向上移位的第二限界框的第二坐標(biāo)。用于確定的裝置可包含圖7的處理器710、圖1和7的穩(wěn)定器102、一或多個(gè)其它裝置或經(jīng)配置以確定類似性度量和經(jīng)修改限界框的電路、或其任何組合。
[0120]所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文揭示的實(shí)施例描述的各種說(shuō)明性邏輯塊、配置、模塊、電路和算法步驟可實(shí)施為電子硬件、由處理器執(zhí)行的計(jì)算機(jī)軟件，或兩者的組合。上文已大體上就其功能性而言描述了各種說(shuō)明性組件、塊、配置、模塊、電路和步驟。此類功能性實(shí)施為硬件還是處理器可執(zhí)行指令取決于特定應(yīng)用和強(qiáng)加于整個(gè)系統(tǒng)的設(shè)計(jì)約束。所屬領(lǐng)域的技術(shù)人員可針對(duì)每一特定應(yīng)用以不同方式實(shí)施所描述功能性，但此類實(shí)施決策不應(yīng)被解釋為引起偏離本發(fā)明的范圍。
[0121 ]結(jié)合本文揭示的實(shí)施例而描述的方法或算法的步驟可直接體現(xiàn)在硬件、由處理器執(zhí)行的軟件模塊或所述兩者的組合中。軟件模塊可駐留在隨機(jī)存取存儲(chǔ)器(RAM)、閃存存儲(chǔ)器、只讀存儲(chǔ)器(R0M)、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPR0M)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、寄存器、硬盤、可移除式磁盤、壓縮光盤只讀存儲(chǔ)器(CD-R0M)或此項(xiàng)技術(shù)中已知的任何其它形式的非暫時(shí)性存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處理器，使得處理器可從存儲(chǔ)媒體讀取信息并將信息寫入到存儲(chǔ)媒體。在替代方案中，存儲(chǔ)媒體可與處理器整合。處理器和存儲(chǔ)媒體可駐留在專用集成電路(ASIC)中。ASIC可駐留在計(jì)算裝置或用戶終端中。在替代方案中，處理器和存儲(chǔ)媒體可以作為離散組件駐留在計(jì)算裝置或用戶終端中。
[0122]提供對(duì)所揭示實(shí)施例的先前描述以使得所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示的實(shí)施例。對(duì)這些實(shí)施例的各種修改對(duì)于所屬領(lǐng)域的技術(shù)人員將顯而易見(jiàn)，且可在不偏離本發(fā)明的范圍的情況下將本文中界定的原理應(yīng)用于其它實(shí)施例。因此，本發(fā)明并不既定限于本文展示的實(shí)施例，而應(yīng)符合與如由所附權(quán)利要求書界定的原理和新穎特征一致的可能最廣范圍。
【主權(quán)項(xiàng)】
1.一種方法，其包括: 接收界定圖像序列的第一圖像的第一限界框的第一數(shù)據(jù)，其中所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域； 接收所述圖像序列的第二圖像的對(duì)象跟蹤數(shù)據(jù)，所述對(duì)象跟蹤數(shù)據(jù)界定第二限界框，其中所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的所述感興趣區(qū)域； 確定所述第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量，其中所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo);以及 基于所述類似性度量而確定經(jīng)修改第二限界框。2.根據(jù)權(quán)利要求1所述的方法，其中所述第一數(shù)據(jù)包含所述第一限界框的第一坐標(biāo)和第一尺寸，且其中所述對(duì)象跟蹤數(shù)據(jù)包含所述第二限界框的所述第二坐標(biāo)和第二尺寸。3.根據(jù)權(quán)利要求2所述的方法，其中所述搜索限界框中的每一者的搜索尺寸對(duì)應(yīng)于所述第一限界框的所述第一尺寸。4.根據(jù)權(quán)利要求1所述的方法，其中所述類似性度量包含絕對(duì)差總和SAD度量。5.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 基于所述第一像素與所述搜索限界框中的特定搜索限界框內(nèi)的特定搜索像素的特定類似性度量來(lái)選擇所述特定搜索限界框， 其中所述經(jīng)修改第二限界框的經(jīng)修改第二坐標(biāo)對(duì)應(yīng)于所述特定搜索限界框的特定搜索坐標(biāo)。6.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 至少部分基于對(duì)應(yīng)于所述第一像素的第一像素特性與對(duì)應(yīng)于所述特定搜索像素的第二像素特性的絕對(duì)差總和SAD來(lái)計(jì)算所述特定類似性度量。7.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 通過(guò)相加以下各者來(lái)計(jì)算所述特定類似性度量: 所述第一像素的第一列總和向量與所述特定搜索像素的第二列總和向量的第一絕對(duì)差總和SAD， 所述第一像素的第一列總和差向量與所述特定搜索像素的第二列總和差向量的第二SAD， 所述第一像素的第一行總和向量與所述特定搜索像素的第二行總和向量的第三SAD，以及 所述第一像素的第一行總和差向量與所述特定搜索像素的第二行總和差向量的第四SAD08.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括確定所述第一像素的列總和向量，其中所述列總和向量的特定元素對(duì)應(yīng)于與所述第一限界框的特定列對(duì)應(yīng)的像素值的總和。9.根據(jù)權(quán)利要求8所述的方法，其中所述像素值中的每一者識(shí)別對(duì)應(yīng)像素的像素強(qiáng)度。10.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括確定所述第一像素的列總和差向量，其中所述列總和差向量的特定元素對(duì)應(yīng)于所述列總和向量的第一元素與所述列總和向量的第二元素之間的差，且其中所述第一元素和所述第二元素對(duì)應(yīng)于所述第一限界框的相鄰列。11.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括確定所述第一像素的行總和向量，其中所述行總和向量的特定元素對(duì)應(yīng)于與所述第一限界框的特定行對(duì)應(yīng)的像素值的總和。12.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括確定所述第一像素的行總和差向量，其中所述行總和差向量的特定元素對(duì)應(yīng)于所述行總和向量的第一元素與所述行總和向量的第二元素之間的差，且其中所述第一元素和所述第二元素對(duì)應(yīng)于所述第一限界框的相鄰行。13.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括確定對(duì)應(yīng)于多個(gè)圖像的中值尺寸，其中所述多個(gè)圖像在所述圖像序列中先于所述第二圖像，且其中所述經(jīng)修改第二限界框的第二尺寸對(duì)應(yīng)于所述中值尺寸。14.一種設(shè)備，其包括: 存儲(chǔ)器，其經(jīng)配置以存儲(chǔ)指令；以及 處理器，其經(jīng)配置以執(zhí)行所述指令以: 確定第一圖像的第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量，其中所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域，其中所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的第二限界框的第二坐標(biāo)，其中所述第一圖像在圖像序列中先于第二圖像，且其中所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的所述感興趣區(qū)域;以及 基于所述類似性度量而確定經(jīng)修改第二限界框。15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述處理器進(jìn)一步經(jīng)配置以: 基于所述第一像素與所述搜索限界框中的特定搜索限界框內(nèi)的特定搜索像素的特定類似性度量來(lái)選擇所述特定搜索限界框， 其中所述經(jīng)修改第二限界框的經(jīng)修改第二坐標(biāo)對(duì)應(yīng)于所述特定搜索限界框的特定搜索坐標(biāo)。16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述處理器進(jìn)一步經(jīng)配置以至少部分基于所述第一像素的第一像素特性與所述特定搜索像素的第二像素特性的絕對(duì)差總和SAD而計(jì)算所述特定類似性度量。17.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述處理器進(jìn)一步經(jīng)配置以至少部分基于所述第一像素的第一像素強(qiáng)度和所述特定搜索像素的第二像素強(qiáng)度而計(jì)算所述特定類似性度量。18.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述圖像序列對(duì)應(yīng)于視頻流。19.根據(jù)權(quán)利要求14所述的設(shè)備， 其中所述處理器進(jìn)一步經(jīng)配置以獲得所述第一圖像的第一數(shù)據(jù)且獲得所述第二圖像的對(duì)象跟蹤數(shù)據(jù)， 其中所述第一數(shù)據(jù)界定所述第一限界框，且 其中所述對(duì)象跟蹤數(shù)據(jù)界定所述第二限界框。20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述第一數(shù)據(jù)包含所述第一限界框的第一坐標(biāo)和第一尺寸，且其中所述對(duì)象跟蹤數(shù)據(jù)包含所述第二限界框的所述第二坐標(biāo)和第二尺寸。21.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述搜索限界框中的每一者的搜索尺寸對(duì)應(yīng)于所述第一限界框的第一尺寸。22.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述處理器進(jìn)一步經(jīng)配置以確定對(duì)應(yīng)于多個(gè)圖像的中值尺寸，其中所述多個(gè)圖像在所述圖像序列中先于所述第二圖像，且其中所述經(jīng)修改第二限界框的第二尺寸對(duì)應(yīng)于所述中值尺寸。23.—種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)裝置，所述指令在由處理器執(zhí)行時(shí)致使所述處理器執(zhí)行包括以下各項(xiàng)的操作: 確定第一圖像的第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量，其中所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域，其中所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的第二限界框的第二坐標(biāo)，其中所述第一圖像在圖像序列中先于第二圖像，且其中所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的所述感興趣區(qū)域;以及基于所述類似性度量而確定經(jīng)修改第二限界框。24.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置，其中所述操作進(jìn)一步包括確定對(duì)應(yīng)于多個(gè)圖像的中值尺寸，其中所述多個(gè)圖像在所述圖像序列中先于所述第二圖像，且其中所述經(jīng)修改第二限界框的第二尺寸對(duì)應(yīng)于所述中值尺寸。25.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置，其中所述操作進(jìn)一步包括: 接收所述第一圖像的第一數(shù)據(jù)，其中所述第一數(shù)據(jù)界定所述第一限界框；以及 接收用于所述第二圖像的對(duì)象跟蹤數(shù)據(jù)，其中所述對(duì)象跟蹤數(shù)據(jù)界定所述第二限界框。26.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)裝置，其中所述第一數(shù)據(jù)包含所述第一限界框的第一坐標(biāo)和第一尺寸，且其中所述對(duì)象跟蹤數(shù)據(jù)包含所述第二限界框的所述第二坐標(biāo)和第二尺寸。27.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置，其中所述搜索限界框中的每一者的搜索尺寸對(duì)應(yīng)于所述第一限界框的第一尺寸。28.根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)裝置，其中所述操作進(jìn)一步包括: 基于所述第一像素與所述搜索限界框中的特定搜索限界框內(nèi)的特定搜索像素的特定類似性度量來(lái)選擇所述特定搜索限界框， 其中至少部分基于所述第一像素的第一像素強(qiáng)度和所述特定搜索像素的第二像素強(qiáng)度而確定所述類似性度量，且 其中所述經(jīng)修改第二限界框的經(jīng)修改第二坐標(biāo)對(duì)應(yīng)于所述特定搜索限界框的特定搜索坐標(biāo)。29.—種設(shè)備，其包含: 用于接收界定圖像序列的第一圖像的第一限界框的第一數(shù)據(jù)的裝置，其中所述第一限界框?qū)?yīng)于包含被跟蹤對(duì)象的感興趣區(qū)域； 用于產(chǎn)生所述圖像序列的第二圖像的對(duì)象跟蹤數(shù)據(jù)的裝置，所述對(duì)象跟蹤數(shù)據(jù)界定第二限界框，其中所述第二限界框?qū)?yīng)于所述第二圖像中包含所述被跟蹤對(duì)象的所述感興趣區(qū)域；以及 用于確定以下各者的裝置: 所述第一限界框內(nèi)的第一像素與多個(gè)搜索限界框中的每一者內(nèi)的搜索像素的類似性度量，其中所述搜索限界框中的每一者的搜索坐標(biāo)對(duì)應(yīng)于在一或多個(gè)方向上移位的所述第二限界框的第二坐標(biāo)；以及 基于所述類似性度量而確定經(jīng)修改第二限界框。30.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述用于接收的裝置、所述用于產(chǎn)生的裝置和所述用于確定的裝置集成到以下各者中的至少一者中:移動(dòng)電話、機(jī)頂盒、音樂(lè)播放器、視頻播放器、娛樂(lè)單元、導(dǎo)航裝置、通信裝置、個(gè)人數(shù)字助理PDA、固定位置數(shù)據(jù)單元，或計(jì)算機(jī)。
【文檔編號(hào)】H04N5/232GK105830430SQ201480069028
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2014年12月12日
【發(fā)明人】克里斯托弗·李, 鐘辛, 高大山, 齊穎勇, 郭凱
【申請(qǐng)人】高通股份有限公司