目標(biāo)跟蹤方法和裝置的制造方法
【專利摘要】本發(fā)明提供一種目標(biāo)跟蹤方法和裝置。該方法包括：獲取被跟蹤目標(biāo)的模型，被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；獲取當(dāng)前幀視頻圖像并根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域；在跟蹤感興趣區(qū)域內(nèi)根據(jù)初級(jí)預(yù)測(cè)模型預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)；根據(jù)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)確定被跟蹤目標(biāo)所在的目標(biāo)圖像；根據(jù)第二描述方式在目標(biāo)圖像中提取被跟蹤目標(biāo)的高級(jí)特征，并判斷該高級(jí)特征與驗(yàn)證模型的匹配度是否大于等于預(yù)設(shè)的相似度閾值，以及判斷在目標(biāo)圖像上被跟蹤目標(biāo)的當(dāng)前位置是否位于運(yùn)動(dòng)限制區(qū)域內(nèi)；若是，則確定被跟蹤目標(biāo)跟蹤成功。本發(fā)明的方法提高了跟蹤的效率和魯棒性。
【專利說(shuō)明】
目標(biāo)跟3示方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及跟蹤技術(shù)，尤其涉及一種目標(biāo)跟蹤方法和裝置。
【背景技術(shù)】
[0002]視頻監(jiān)控是企事業(yè)單位、商業(yè)場(chǎng)所、公園等重點(diǎn)部門(mén)或重要場(chǎng)所進(jìn)行實(shí)時(shí)監(jiān)控的物理基礎(chǔ)，管理部門(mén)可通過(guò)視頻監(jiān)控獲得有效數(shù)據(jù)、圖像或聲音信息。隨著當(dāng)前計(jì)算機(jī)應(yīng)用的迅速發(fā)展和推廣，視頻監(jiān)控的原理也被廣泛應(yīng)用到單目標(biāo)手勢(shì)跟蹤系統(tǒng)中，通過(guò)該單目標(biāo)手勢(shì)跟蹤系統(tǒng)可以對(duì)用戶的目標(biāo)手勢(shì)進(jìn)行跟蹤識(shí)別，從而可以根據(jù)所識(shí)別到的手勢(shì)進(jìn)行相應(yīng)的控制。
[0003]但是，當(dāng)前的單目標(biāo)手勢(shì)跟蹤系統(tǒng)在跟蹤目標(biāo)手勢(shì)的過(guò)程中，在手勢(shì)發(fā)生變化時(shí)，容易因與人手表觀相類似物體的干擾出現(xiàn)跟蹤漂移或者跟蹤丟失的情況，故，當(dāng)前的單目標(biāo)跟蹤手勢(shì)跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供的目標(biāo)跟蹤方法和裝置，用以解決現(xiàn)有技術(shù)中的單目標(biāo)跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差的技術(shù)問(wèn)題。
[0005]第一方面，本發(fā)明提供一種目標(biāo)跟蹤方法，包括:
[0006]獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0007]獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)；
[0008]在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)；
[0009]根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像；
[0010]根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)；
[0011 ]若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則確定所述被跟蹤目標(biāo)跟蹤成功。
[0012]進(jìn)一步地，所述方法還包括:
[0013]在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果；
[0014]根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。
[0015]更進(jìn)一步地，所述根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型，具體包括:
[0016]若所述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標(biāo)，則根據(jù)所述其他預(yù)定義目標(biāo)重新初始化所述被跟蹤目標(biāo)的模型；
[0017]若所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤失敗，則不對(duì)所述被跟蹤目標(biāo)的模型進(jìn)行更新；
[0018]若所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤成功，則對(duì)所述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正。
[0019]更進(jìn)一步地，所述方法還包括:
[0020]將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯示。
[0021]更進(jìn)一步地，所述方法還包括:
[0022]判斷是否檢測(cè)到預(yù)設(shè)的用戶行為；
[0023]若是，則停止跟蹤。
[0024]更進(jìn)一步地，若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，所述方法還包括:
[0025]步驟A:根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域；
[0026]步驟B:根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功；
[0027]步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，停止跟蹤。
[0028]更進(jìn)一步地，所述被跟蹤目標(biāo)為手勢(shì)。
[0029]第二方面，本發(fā)明提供一種目標(biāo)跟蹤裝置，包括:
[0030]第一獲取模塊，用于獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0031 ]第二獲取模塊，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)；
[0032]預(yù)測(cè)模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)；
[0033]驗(yàn)證模塊，用于根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像，并根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)；
[0034]確定模塊，用于在所述驗(yàn)證模塊確定在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)時(shí)，確定所述被跟蹤目標(biāo)跟蹤成功。
[0035]進(jìn)一步地，所述裝置還包括:
[0036]檢測(cè)模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果；
[0037]處理模塊，用于根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。
[0038]更進(jìn)一步地，所述處理模塊，包括:
[0039]第一處理單元，用于在所述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標(biāo)時(shí)，根據(jù)所述其他預(yù)定義目標(biāo)重新初始化所述被跟蹤目標(biāo)的模型；
[0040]第二處理單元，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤失敗時(shí)，不對(duì)所述被跟蹤目標(biāo)的模型進(jìn)行更新；
[0041]第三處理單元，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤成功時(shí)，對(duì)所述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正。
[0042]更進(jìn)一步地，所述裝置還包括:
[0043]顯示模塊，用于將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯示。
[0044]更進(jìn)一步地，所述裝置還包括:
[0045]判斷模塊，用于判斷是否檢測(cè)到預(yù)設(shè)的用戶行為，并在判斷檢測(cè)到預(yù)設(shè)的用戶行為時(shí)，指示所述裝置停止跟蹤。
[0046]更進(jìn)一步地，若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則
[0047]所述第二獲取模塊，還用于根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域；
[0048]所述確定模塊，還用于根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功，并且還用于在確定跟蹤失敗時(shí)，重新指示所述第二獲取模塊繼續(xù)根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，則確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，指示所述裝置停止跟蹤。
[0049]更進(jìn)一步地，所述被跟蹤目標(biāo)為手勢(shì)。
[0050]本發(fā)明提供的目標(biāo)跟蹤方法和裝置，通過(guò)獲取初級(jí)預(yù)測(cè)模型和驗(yàn)證模型，并根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定被跟蹤目標(biāo)在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域，進(jìn)而在該跟蹤感興趣區(qū)域內(nèi)結(jié)合被跟蹤目標(biāo)最近一次被更新的狀態(tài)和初級(jí)預(yù)測(cè)模型預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)，并采用驗(yàn)證模型和運(yùn)動(dòng)限制區(qū)域?qū)λA(yù)測(cè)的被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)進(jìn)行驗(yàn)證，確定跟蹤的準(zhǔn)確性，由于初級(jí)預(yù)測(cè)模型中的第一描述方式較為簡(jiǎn)單，因此提高了跟蹤預(yù)測(cè)的效率，從而也就提高了跟蹤的效率，另外，由于驗(yàn)證模型中的第二描述方式的復(fù)雜度優(yōu)于第一描述方式，使得其在目標(biāo)圖像中對(duì)被跟蹤目標(biāo)的特征提起更加詳盡，確保了預(yù)測(cè)驗(yàn)證的有效性，進(jìn)一步提高了跟蹤結(jié)果的魯棒性。進(jìn)一步地，由于上述跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域的設(shè)定，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過(guò)程中的跟蹤漂移和錯(cuò)誤匹配。
【附圖說(shuō)明】
[0051]為了更清楚地說(shuō)明本發(fā)明實(shí)施例現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0052]圖1為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例一的流程示意圖；
[0053]圖2為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例二的流程示意圖；
[0054]圖3為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例三的流程示意圖；
[0055]圖4為本發(fā)明提供的跟蹤感興趣和運(yùn)動(dòng)限制區(qū)域示意圖；
[0056]圖5為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例四的流程示意圖；
[0057]圖6為本發(fā)明提供的反復(fù)性揮手動(dòng)作的檢測(cè)示意圖；
[0058]圖7為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例一的結(jié)構(gòu)示意圖；
[0059]圖8為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例二的結(jié)構(gòu)示意圖；
[0060]圖9為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例三的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0061 ]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明中的附圖，對(duì)本發(fā)明中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0062]本發(fā)明所涉及的目標(biāo)跟蹤方法，可以適用于不同的目標(biāo)的跟蹤，該被跟蹤目標(biāo)可以是人臉、腳、手勢(shì)等，具體的，以被跟蹤目標(biāo)為手勢(shì)為例，該目標(biāo)跟蹤方法可以集合到動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)中，通過(guò)跟蹤和識(shí)別用戶的手勢(shì)，實(shí)現(xiàn)相應(yīng)的操作控制，例如，用于家電控制(例如通過(guò)手勢(shì)控制電視機(jī)的開(kāi)關(guān)、換臺(tái)、調(diào)音，或者通過(guò)手勢(shì)控制空調(diào)溫度、風(fēng)向，或者通過(guò)手勢(shì)控制電磁爐操作選項(xiàng)、時(shí)間，等等)、鼠標(biāo)操作(即用手勢(shì)代替鼠標(biāo)操作電腦)、空中手書(shū)(對(duì)用戶空中書(shū)寫(xiě)進(jìn)行字體識(shí)別，了解用戶操作意圖)。
[0063]以被跟蹤目標(biāo)為用戶的手勢(shì)為例，下述方法實(shí)施例的執(zhí)行主體可以為目標(biāo)跟蹤裝置，該目標(biāo)跟蹤裝置可以是單獨(dú)的單目標(biāo)手勢(shì)跟蹤系統(tǒng)，還可以是集成在單目標(biāo)手勢(shì)跟蹤系統(tǒng)中的裝置。該目標(biāo)跟蹤裝置可以通過(guò)軟件、硬件或者軟硬結(jié)合的方式實(shí)現(xiàn)。
[0064]本發(fā)明提供的目標(biāo)跟蹤方法，旨在解決現(xiàn)有技術(shù)中的單目標(biāo)跟蹤系統(tǒng)，在跟蹤目標(biāo)手勢(shì)的過(guò)程中，在手勢(shì)發(fā)生變化時(shí)，容易因與人手表觀相類似物體的干擾出現(xiàn)跟蹤漂移或者跟蹤丟失的情況，即，本發(fā)明所涉及的方法可以克服當(dāng)前的單目標(biāo)跟蹤手勢(shì)跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差的技術(shù)問(wèn)題。
[0065]下面以具體地實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。下面這幾個(gè)具體的實(shí)施例可以相互結(jié)合，對(duì)于相同或相似的概念或過(guò)程可能在某些實(shí)施例中不再贅述。
[0066]圖1為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例一的流程示意圖。本實(shí)施例涉及的是根據(jù)初級(jí)預(yù)測(cè)模型對(duì)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)進(jìn)行預(yù)測(cè)，并利用驗(yàn)證模型對(duì)所預(yù)測(cè)的被跟蹤目標(biāo)的狀態(tài)進(jìn)行驗(yàn)證，確定跟蹤是否成功的具體過(guò)程。如圖1所示，該方法包括如下步驟:
[0067]SlOl:獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型;其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度。
[0068]具體的，當(dāng)單目標(biāo)跟蹤系統(tǒng)(與被跟蹤目標(biāo)為手勢(shì)為例，該單目標(biāo)跟蹤系統(tǒng)為單目標(biāo)手勢(shì)跟蹤系統(tǒng))不在執(zhí)行跟蹤任務(wù)的時(shí)候(比如剛剛啟動(dòng)或者某個(gè)跟蹤任務(wù)終止之后)，就會(huì)執(zhí)行手勢(shì)檢測(cè)，以獲取下次執(zhí)行跟蹤任務(wù)時(shí)所需要的被跟蹤目標(biāo)的模型。該被跟蹤目標(biāo)的模型是目標(biāo)跟蹤的依據(jù)，它記錄了對(duì)被跟蹤目標(biāo)屬性的刻畫(huà)，該被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；其中，初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度。無(wú)論是初級(jí)預(yù)測(cè)模型還是驗(yàn)證模型，其中所包含的信息均是對(duì)被跟蹤目標(biāo)的屬性特征的刻畫(huà)，這些屬性特征數(shù)據(jù)一方面用于跟蹤時(shí)相似度測(cè)量的標(biāo)準(zhǔn)，另一方面，用于對(duì)預(yù)測(cè)結(jié)果做驗(yàn)證時(shí)的基準(zhǔn)。上述初級(jí)預(yù)測(cè)模型用于預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)，該預(yù)測(cè)的狀態(tài)可以包括被跟蹤目標(biāo)的位置信息、被跟蹤目標(biāo)的大小(縮放尺度信息)、被跟蹤目標(biāo)的形變信息、被跟蹤目標(biāo)的方向信息等;上述驗(yàn)證模型主要用于驗(yàn)證所預(yù)測(cè)的被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)是否準(zhǔn)確。
[0069]此處列舉手勢(shì)跟蹤中常用的目標(biāo)圖像的描述方式:(a)基于幾何特征的描述，比如區(qū)域特征、輪廓、曲率、凹凸性等；(b)基于直方圖的描述，比如顏色直方圖、紋理直方圖、梯度方向直方圖；(C)基于膚色隸屬度圖像的描述；(d)基于像素/超像素對(duì)比度的描述，比如點(diǎn)對(duì)特征、、Haar/Haar-like特征等。一般情況下，用于預(yù)測(cè)驗(yàn)證的描述方式不同于用于預(yù)測(cè)的描述方式，也就是說(shuō)，上述驗(yàn)證模型中的高級(jí)特征的描述方式與初級(jí)預(yù)測(cè)模型中的低級(jí)特征的描述方式不同，可以記初級(jí)預(yù)測(cè)模型中的低級(jí)特征的第一描述方式的集合為Ωρ，驗(yàn)證模型中的高級(jí)特征的第二描述方式的集合為Ω V，Ωρ中的第一描述方式的復(fù)雜度小于Ω V中的第二描述方式的復(fù)雜度。可選的，該Ω P中的第一描述方式可以是二值mask圖像塊的描述方式、可以是二值mask直方圖的描述方式、還可以是膚色檢測(cè)得到的概率圖的描述方式、還可以是顏色直方圖的描述方式等；可選的，該Ω V中的第二描述方式可以是局部二值模式(Local Binary Pattern，簡(jiǎn)稱LBP)直方圖的描述方式、還可以是camshift的描述方式等?？傊?，Ωρ中的第一描述方式的復(fù)雜度小于Ω V中的第二描述方式的復(fù)雜度，這樣可以保證在預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)時(shí)的快速高效。
[0070]上述獲取被跟蹤目標(biāo)的模型的具體過(guò)程實(shí)際上是跟蹤初始化的過(guò)程，以被跟蹤目標(biāo)為手勢(shì)為例，該跟蹤初始化是通過(guò)手勢(shì)檢測(cè)來(lái)實(shí)現(xiàn)的，當(dāng)檢測(cè)到預(yù)設(shè)的被跟蹤目標(biāo)(即預(yù)設(shè)的手勢(shì))時(shí)，從視頻圖像中提取特征對(duì)該被跟蹤目標(biāo)的屬性進(jìn)行描述(采用第一描述方式和第二描述方式分別提取)，獲得被跟蹤目標(biāo)的模型，即獲取初始預(yù)測(cè)模型和驗(yàn)證模型，用于以后跟蹤階段匹配預(yù)測(cè)和預(yù)測(cè)驗(yàn)證的依據(jù)。
[0071]此階段的手勢(shì)檢測(cè)可以是在整幅圖像中進(jìn)行也可以是在圖像的某個(gè)局部區(qū)域中進(jìn)行，優(yōu)選的可以是在視頻圖像的特定區(qū)域做檢測(cè)來(lái)實(shí)現(xiàn)初始化，比如特定區(qū)域可以設(shè)置在視頻圖像的正中間1/4部分，設(shè)置該特定區(qū)域可以對(duì)系統(tǒng)有如下幫助:
[0072](a)符合操作的習(xí)慣，用戶操作時(shí)，一般都是先將手抬起到某個(gè)舒適的位置P，然后才開(kāi)始某個(gè)手勢(shì)，所以用戶意識(shí)中的跟蹤開(kāi)始位置是P，而不是在人手抬起過(guò)程中的某個(gè)位置。因此，設(shè)置在特定區(qū)域內(nèi)做檢測(cè)，有利于在實(shí)現(xiàn)正確的初始化，有利于后續(xù)的動(dòng)態(tài)手勢(shì)識(shí)別。
[0073](b)增強(qiáng)檢測(cè)的魯棒性，減少錯(cuò)誤檢測(cè)，即可以減小搜索的區(qū)域，從而有效抑制復(fù)雜背景、動(dòng)態(tài)背景的干擾，便利主體用戶的操作，抑制非主體用戶的干擾，抑制無(wú)意識(shí)手勢(shì)的干擾；
[0074](c)增強(qiáng)后續(xù)跟蹤的質(zhì)量，如果跟蹤初始化發(fā)生在人手抬起的過(guò)程中，由于急速運(yùn)動(dòng)造成的運(yùn)動(dòng)模糊，可能導(dǎo)致被初始化目標(biāo)模型準(zhǔn)確性下降，影響后續(xù)的跟蹤質(zhì)量，而在特定區(qū)域內(nèi)檢測(cè)，可以有效抑制這種情況。
[0075](d)減小搜索的區(qū)域，提高檢測(cè)的效率；
[0076]初始化階段可以是對(duì)某幾個(gè)預(yù)定義手勢(shì)做檢測(cè)，還可以是對(duì)某一個(gè)特定手勢(shì)做檢測(cè)，優(yōu)選的，本實(shí)施例中的跟蹤初始化階段可以對(duì)閉合手掌做檢測(cè)，這樣可以抑制檢測(cè)錯(cuò)誤，同時(shí)大幅度地提高檢測(cè)效率。
[0077]關(guān)于跟蹤初始化檢測(cè)所用的方法，可以結(jié)合運(yùn)行信息、膚色信息或者手勢(shì)的紋理信息等等，此處列舉常用的幾種快速檢測(cè)方法:
[0078](a)依據(jù)被跟蹤目標(biāo)(即預(yù)設(shè)的手勢(shì))的幾何信息進(jìn)行手勢(shì)檢測(cè)或者手勢(shì)識(shí)別，比如通過(guò)背景減除法或者膚色分割法，分割出手勢(shì)的區(qū)域，通過(guò)對(duì)分割區(qū)域的形狀分析進(jìn)行手勢(shì)識(shí)別；
[0079](b)使用被跟蹤目標(biāo)(即預(yù)設(shè)的手勢(shì))的表觀信息進(jìn)行手勢(shì)檢測(cè)或者手勢(shì)識(shí)別，比如紋理、局部亮度統(tǒng)計(jì)等，此類方法可以包括haar特征+adaboost檢測(cè)法、點(diǎn)對(duì)特征+隨機(jī)樹(shù)檢測(cè)法、LBP直方圖特征+支持向量機(jī)檢測(cè)法等等。
[0080]S102:獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)。
[0081]具體的，在單目標(biāo)跟蹤系統(tǒng)獲取了被跟蹤目標(biāo)的模型之后，可以通過(guò)攝像頭獲取當(dāng)前幀視頻圖像，并結(jié)合該被跟蹤目標(biāo)最近一次被更新的狀態(tài)確定被跟蹤目標(biāo)在當(dāng)前幀的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域。可選的，這里的被跟蹤目標(biāo)最近一次被更新的狀態(tài)可以是被跟蹤目標(biāo)在前一幀視頻圖像上的狀態(tài)，還可以是被跟蹤目標(biāo)在前幾幀視頻圖像上的狀態(tài)，例如，假設(shè)當(dāng)前幀視頻圖像對(duì)應(yīng)是t5時(shí)刻，前一幀視頻圖像對(duì)應(yīng)t4時(shí)刻，前兩幀視頻圖像對(duì)應(yīng)t4時(shí)刻，前三幀視頻圖像對(duì)應(yīng)t3時(shí)刻，則被跟蹤目標(biāo)最近一次被更新的狀態(tài)可以是在t4時(shí)刻對(duì)應(yīng)的幀的視頻圖像上的狀態(tài)，還可以是在t3時(shí)刻對(duì)應(yīng)的幀的視頻圖像上的狀態(tài)(這種情況是前一幀和前兩幀被跟蹤目標(biāo)均跟蹤失敗，被跟蹤目標(biāo)的狀態(tài)仍然是在前三幀上時(shí)的狀態(tài))。
[0082]上述的運(yùn)動(dòng)限制區(qū)域，是在被跟蹤目標(biāo)的模型被初始化的同時(shí)，根據(jù)手勢(shì)最初被檢測(cè)到時(shí)的狀態(tài)(手勢(shì)的位置信息，尺寸信息，偏斜角度等)所設(shè)置的一個(gè)限制區(qū)域，這是因?yàn)槌跏嫉氖謩?shì)位置一般都是用戶舉起手來(lái)感覺(jué)最舒服最輕松的位置，受制于身體關(guān)節(jié)之間的鏈接關(guān)系，人手在此位置附近運(yùn)動(dòng)比較輕松自如，一旦偏離過(guò)遠(yuǎn)，一則容易發(fā)生疲勞，二則手的姿態(tài)容易發(fā)生大的變化從而導(dǎo)致跟蹤失敗，該運(yùn)動(dòng)限制區(qū)域是保持不變的。
[0083]上述的跟蹤感興趣區(qū)域，是根據(jù)被跟蹤目標(biāo)運(yùn)動(dòng)的連續(xù)性特點(diǎn)，根據(jù)被跟蹤目標(biāo)在前一幀或者前幾幀時(shí)的狀態(tài)(即被跟蹤目標(biāo)最近一次被更新的狀態(tài))，估計(jì)被跟蹤目標(biāo)在當(dāng)前幀可能出現(xiàn)的區(qū)域，然后僅僅局限在該區(qū)域中尋找與被跟蹤目標(biāo)的模型的最佳匹配(即尋找被跟蹤目標(biāo))，跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)，例如，在當(dāng)前幀跟蹤感興趣區(qū)域可能位于圖像中間位置，在下一幀圖像中因?yàn)槿耸值囊苿?dòng)，在下一幀中的跟蹤感興趣區(qū)域就有可能位于下一幀圖像中的其他位置，但是，上述運(yùn)動(dòng)限制區(qū)域在當(dāng)前幀圖像和下一幀圖像中的位置是相同的。而事實(shí)上，正常情況下，被跟蹤目標(biāo)的位置都會(huì)在該跟蹤感興趣區(qū)域之內(nèi)。基于此種辦法，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過(guò)程中的跟蹤漂移和錯(cuò)誤匹配，另外，該跟蹤感興趣區(qū)域的限制，也潛在地提醒用戶手勢(shì)運(yùn)動(dòng)不宜過(guò)快，抑制快速運(yùn)動(dòng)中形成運(yùn)動(dòng)模糊從而降低跟蹤質(zhì)量的情況，有效抑制跟蹤過(guò)程中在人臉、脖子、胳膊等膚色區(qū)域的錯(cuò)誤匹配。
[0084]S103:在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)。
[0085]具體的，在單目標(biāo)跟蹤系統(tǒng)獲取了當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域之后，在跟蹤感興趣區(qū)域之內(nèi)根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)，該預(yù)測(cè)的狀態(tài)可以包括被跟蹤目標(biāo)的位置信息、被跟蹤目標(biāo)的大小(縮放尺度信息)、被跟蹤目標(biāo)的形變信息、被跟蹤目標(biāo)的方向信息等;此處列舉幾項(xiàng)比較實(shí)用的快速跟蹤預(yù)測(cè)方法:
[0086](a)用顏色直方圖表達(dá)被跟蹤目標(biāo)像素值的分布，基于該顏色直方圖計(jì)算源圖像的反向傳播圖像P，根據(jù)P進(jìn)行camshif t跟蹤；
[0087](b)根據(jù)膚色模型計(jì)算膚色隸屬度圖P，P在某點(diǎn)的像素值代表該點(diǎn)是膚色點(diǎn)的概率，根據(jù)P進(jìn)行camshift跟蹤；
[0088](c)以源圖像/分塊、LBP直方圖/分塊、梯度方向直方圖、Haar特征等作為圖像描述，結(jié)合粒子濾波的方法進(jìn)行跟蹤；
[0089](d)在圖像上選取隨機(jī)點(diǎn)，或者均勻剖分形成的網(wǎng)格點(diǎn)、或者檢測(cè)出如Harris角點(diǎn)、尺度不變特征變換(Scale-1nvariant feature transform，簡(jiǎn)稱SIFT)/加速穩(wěn)健特征(Speeded Up Robust Features，簡(jiǎn)稱SURF)特征點(diǎn)，對(duì)這些點(diǎn)基于光流法做跟蹤，對(duì)跟蹤的結(jié)果做綜合分析得到目標(biāo)的狀態(tài)。
[0090]上述跟蹤預(yù)測(cè)方法從根本上說(shuō)，都是在某區(qū)域范圍所包含的被跟蹤目標(biāo)的所有候選狀態(tài)中(被跟蹤目標(biāo)在圖像中的不同位置、不同的尺度信息，即被跟蹤目標(biāo)在當(dāng)前幀視頻圖像中有很多的可能取值)，尋找與初始預(yù)測(cè)模型匹配度最高者，或者說(shuō)通過(guò)某種方法從該區(qū)域中產(chǎn)生一系列候選狀態(tài)，并從中選取最佳匹配者S。但是這個(gè)最佳匹配者S不一定就是真實(shí)的被跟蹤目標(biāo)的狀態(tài)，因此需要對(duì)其進(jìn)行驗(yàn)證。參見(jiàn)下述S104和S105的過(guò)程。
[0091 ] S104:根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像。
[0092]S105:根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)。
[0093]具體的，在預(yù)測(cè)了被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)后，單目標(biāo)跟蹤系統(tǒng)根據(jù)上述被跟蹤目標(biāo)在當(dāng)前幀中的狀態(tài)，確定被跟蹤目標(biāo)所在的目標(biāo)圖像，該目標(biāo)圖像可以是當(dāng)前幀中的彩色圖像。由于上述預(yù)測(cè)的被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)不一定精準(zhǔn)，因此，采用驗(yàn)證模型對(duì)所預(yù)測(cè)的狀態(tài)進(jìn)行驗(yàn)證。即，根據(jù)驗(yàn)證模型中的用于驗(yàn)證的第二描述方式，從狀態(tài)S所對(duì)應(yīng)的目標(biāo)圖像中，提取被跟蹤目標(biāo)的高級(jí)特征，并與驗(yàn)證模型中的高級(jí)特征作對(duì)比，判斷在上述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與驗(yàn)證模型的匹配度是否大于預(yù)設(shè)的相似度閾值，并判斷在上述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于運(yùn)動(dòng)限制區(qū)域內(nèi)。
[0094]S106:若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則確定所述被跟蹤目標(biāo)跟蹤成功。
[0095]具體的，如果在上述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，在上述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于運(yùn)動(dòng)限制區(qū)域內(nèi)，則確定跟蹤成功，否則認(rèn)為跟蹤失敗或者無(wú)效。這里導(dǎo)致跟蹤失敗或者無(wú)效的原因可能有如下:
[0096](a)按照Ω V中所述第二描述方式在目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征，與驗(yàn)證模型的匹配度小于預(yù)設(shè)的相似度閾值，匹配失??；
[0097](b)在上述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置超出了上述運(yùn)動(dòng)限制區(qū)域。
[0098]可選的，在本發(fā)明實(shí)施例中，所對(duì)應(yīng)的初級(jí)預(yù)測(cè)模型的預(yù)測(cè)方案可以是顏色直方圖+camshift，則上述驗(yàn)證模型所采用的用于預(yù)測(cè)驗(yàn)證的第二描述方式可以包括:分塊LBP紋理直方圖以及輪廓方向梯度(Histogram of Oriented Gradients，簡(jiǎn)稱HOG)直方圖。
[0099]本發(fā)明提供的目標(biāo)跟蹤方法，通過(guò)獲取初級(jí)預(yù)測(cè)模型和驗(yàn)證模型，并根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定被跟蹤目標(biāo)在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域，進(jìn)而在該跟蹤感興趣區(qū)域內(nèi)結(jié)合被跟蹤目標(biāo)最近一次被更新的狀態(tài)和初級(jí)預(yù)測(cè)模型預(yù)測(cè)被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)，并采用驗(yàn)證模型和運(yùn)動(dòng)限制區(qū)域?qū)λA(yù)測(cè)的被跟蹤目標(biāo)在當(dāng)前幀的狀態(tài)進(jìn)行驗(yàn)證，確定跟蹤的準(zhǔn)確性，由于初級(jí)預(yù)測(cè)模型中的第一描述方式較為簡(jiǎn)單，因此提高了跟蹤預(yù)測(cè)的效率，從而也就提高了跟蹤的效率，另外，由于驗(yàn)證模型中的第二描述方式的復(fù)雜度優(yōu)于第一描述方式，使得其在目標(biāo)圖像中對(duì)被跟蹤目標(biāo)的特征提起更加詳盡，確保了預(yù)測(cè)驗(yàn)證的有效性，進(jìn)一步提高了跟蹤結(jié)果的魯棒性。進(jìn)一步地，由于上述跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域的設(shè)定，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過(guò)程中的跟蹤漂移和錯(cuò)誤匹配。
[0100]圖2為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例二的流程示意圖。本實(shí)施例涉及的是在當(dāng)前幀視頻圖像的跟蹤感興趣區(qū)域內(nèi)進(jìn)行局部檢測(cè)，以確定是否更新當(dāng)前的被跟蹤目標(biāo)的模型的具體過(guò)程。在上述實(shí)施例的基礎(chǔ)上，進(jìn)一步地，上述方法還可以包括:
[0101]S201:在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果。
[0102]具體的，以被跟蹤目標(biāo)為手勢(shì)為例，在手勢(shì)識(shí)別中，不僅需要通過(guò)跟蹤獲得運(yùn)動(dòng)的人手的軌跡，而且需要識(shí)別該過(guò)程中每一幀圖像中人手的姿態(tài)，即靜態(tài)手勢(shì)的類型。許多系統(tǒng)是通過(guò)對(duì)上述預(yù)測(cè)狀態(tài)S所對(duì)應(yīng)的目標(biāo)圖像做識(shí)別來(lái)實(shí)現(xiàn)跟蹤中的靜態(tài)手勢(shì)的識(shí)別，但是這存在如下兩方面的問(wèn)題，其一，當(dāng)跟蹤逐漸發(fā)生漂移的時(shí)候，預(yù)測(cè)狀態(tài)S所對(duì)應(yīng)的目標(biāo)圖像并不完全與真正的手勢(shì)區(qū)域吻合，比如可能是以手腕為心的人手和手勢(shì)的一部分，此時(shí)對(duì)該區(qū)域做識(shí)別，識(shí)別結(jié)果就會(huì)不準(zhǔn)確;其二，即便是在正確跟蹤的情況，僅僅對(duì)預(yù)測(cè)狀態(tài)S所對(duì)應(yīng)的目標(biāo)圖像做一次性識(shí)別，識(shí)別錯(cuò)誤的概率也是比較大的。鑒于此，本發(fā)明實(shí)施例提出在上述的跟蹤感興趣區(qū)域內(nèi)，使用多尺度滑動(dòng)窗口檢測(cè)的方案，對(duì)被跟蹤手勢(shì)(即被跟蹤目標(biāo))之外的其他預(yù)定義手勢(shì)(即其他預(yù)定義目標(biāo))進(jìn)行檢測(cè)，其中的窗口尺度會(huì)根據(jù)被跟蹤目標(biāo)在當(dāng)前幀的當(dāng)前狀態(tài)來(lái)設(shè)置。對(duì)每一類手勢(shì)檢測(cè)到的目標(biāo)窗口進(jìn)行聚類，得到若干個(gè)簇，在所有手勢(shì)對(duì)應(yīng)的窗口簇中選擇出一個(gè)置信度最高者，計(jì)算其對(duì)應(yīng)在當(dāng)前幀視頻圖像中的手勢(shì)位置和手勢(shì)類型，則檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在其他預(yù)定義手勢(shì)，且所述其他預(yù)定義手勢(shì)在當(dāng)前幀視頻圖像中的位置和手勢(shì)類型。如果任何一類都沒(méi)有檢測(cè)到目標(biāo)窗口(即在跟蹤感興趣區(qū)域內(nèi)沒(méi)有檢測(cè)到除所述被跟蹤手勢(shì)之外的其他預(yù)定義手勢(shì))，或者經(jīng)過(guò)聚類沒(méi)有符合預(yù)設(shè)要求的簇，則檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢(shì)。
[0103]S202:根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。
[0104]具體的，繼續(xù)以被跟蹤目標(biāo)為手勢(shì)為例，若上述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在其他預(yù)定義手勢(shì)，該檢測(cè)結(jié)果包含了所述其他預(yù)定義手勢(shì)在當(dāng)前幀視頻圖像中的位置和手勢(shì)類型，則認(rèn)為跟蹤中有手勢(shì)姿態(tài)的變化，即在跟蹤過(guò)程中手勢(shì)發(fā)生了形變，則單目標(biāo)跟蹤系統(tǒng)會(huì)根據(jù)所檢測(cè)到的其他預(yù)定義手勢(shì)重新初始化上述被跟蹤目標(biāo)的模型。
[0105]若上述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢(shì)，且所述被跟蹤手勢(shì)在所述當(dāng)前幀跟蹤失敗，則不對(duì)上述被跟蹤目標(biāo)的模型進(jìn)行更新，即上述對(duì)當(dāng)前幀手勢(shì)姿態(tài)的分類結(jié)果即為被跟蹤目標(biāo)的模型中所記錄的手勢(shì)姿態(tài)。
[0106]若上述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢(shì)，且所述被跟蹤手勢(shì)在所述當(dāng)前幀跟蹤成功，則對(duì)上述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正(參數(shù)修正不等于上述的重新初始化)，例如，修正被跟蹤手勢(shì)的位置、尺度等。在跟蹤驗(yàn)證成功的情況下，為了讓被跟蹤目標(biāo)的模型能夠適應(yīng)運(yùn)動(dòng)中被跟蹤目標(biāo)表觀的緩慢變化，需要對(duì)被跟蹤目標(biāo)的模型做漸進(jìn)式更新(即參數(shù)修正)，更新算法需要依據(jù)被跟蹤目標(biāo)的模型中具體所用的特征、以及預(yù)測(cè)方法和驗(yàn)證方法來(lái)定。下面列舉幾種描述方式及其相應(yīng)的可用更新方法:
[0107](a)若被跟蹤目標(biāo)的模型采用的是基于顏色直方圖+cam-shift的描述方式，則在進(jìn)行被跟蹤目標(biāo)的參數(shù)修正(漸進(jìn)式更新)時(shí)可以采用顏色直方圖更新方式H(i)=aH(i) +(l-a)Ht(i)，其中H(i)代表直方圖的第i個(gè)元素，Ht代表當(dāng)前預(yù)測(cè)狀態(tài)S所對(duì)應(yīng)的目標(biāo)圖像的顏色直方圖。
[0108](b)若被跟蹤目標(biāo)的模型采用的是基于尺寸歸一化的源圖像+粒子濾波的描述方式，目標(biāo)表觀所有圖像所張成的子空間作為模型表示;則在進(jìn)行被跟蹤目標(biāo)的參數(shù)修正(漸進(jìn)式更新)時(shí)，可以通過(guò)計(jì)算粒子與子空間的距離來(lái)計(jì)算粒子權(quán)重，每隔一定的視頻幀，積累一定的正樣本數(shù)量，可以通過(guò)增量式PCA分解來(lái)來(lái)對(duì)子空間做更新。
[0?09] (c)若被跟蹤目標(biāo)的模型采用的是基于圖像特征點(diǎn)(Harris/Aff inr Harris/SIFT/SURF等等)+粒子濾波的描述方式，使用特征點(diǎn)所構(gòu)成的碼書(shū)或者字典來(lái)進(jìn)行模型表示，使用粒子圖像的特征點(diǎn)與碼書(shū)或者字典的匹配度作為粒子的權(quán)重；則在進(jìn)行被跟蹤目標(biāo)的參數(shù)修正(漸進(jìn)式更新)時(shí)，通過(guò)新?tīng)顟B(tài)中的目標(biāo)圖像的特征對(duì)碼書(shū)/字典進(jìn)行更新。
[0110]上述使用滑動(dòng)窗口檢測(cè)結(jié)果做分類來(lái)提高分類準(zhǔn)確度，是基于這一過(guò)程中會(huì)產(chǎn)生大量包含有被跟蹤手勢(shì)的窗口，采用多次分類的置信度比單一次的置信度要高。該方法可以提高跟蹤當(dāng)中對(duì)靜態(tài)手勢(shì)分類的精度，并且解決了手勢(shì)突變，而被跟蹤目標(biāo)的模型來(lái)不及學(xué)習(xí)所導(dǎo)致的跟蹤失敗(因?yàn)橥ǔＴ谑謩?shì)從一種變?yōu)榱硪环N的時(shí)候，中間會(huì)發(fā)生漂移，已經(jīng)導(dǎo)致了跟蹤上的錯(cuò)誤)，并且不容易發(fā)生誤檢率。
[0111]本發(fā)明提供的目標(biāo)跟蹤方法，不僅提高了跟蹤預(yù)測(cè)的效率和魯棒性，并且，由于上述跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域的設(shè)定，大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過(guò)程中的跟蹤漂移和錯(cuò)誤匹配。同時(shí)，通過(guò)在當(dāng)前幀視頻圖像的跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果，并通過(guò)結(jié)合檢測(cè)結(jié)果和跟蹤結(jié)果(跟蹤失敗或者成功)，來(lái)確?？梢约皶r(shí)重新初始化被跟蹤目標(biāo)的模型，解決了因手勢(shì)突變而被跟蹤目標(biāo)的模型來(lái)不及學(xué)習(xí)所導(dǎo)致的跟蹤失敗的問(wèn)題，并且，采用多尺度滑動(dòng)窗口檢測(cè)的方法，提高了跟蹤當(dāng)中對(duì)靜態(tài)手勢(shì)識(shí)別的精度。
[0112]圖3為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例三的流程示意圖。本實(shí)施例涉及的是在上述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)時(shí)，上述單目標(biāo)跟蹤系統(tǒng)確定被跟蹤目標(biāo)是永久丟失還是短暫性丟失，以進(jìn)一步確定是否是真正的跟蹤失敗的具體過(guò)程。在上述實(shí)施例的基礎(chǔ)上，進(jìn)一步地，該方法還可以包括:
[0113]步驟A:根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域。
[0114]具體的，在上述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)時(shí)，說(shuō)明被跟蹤目標(biāo)跟蹤失敗，則單目標(biāo)跟蹤系統(tǒng)根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)(最近一次被更新的狀態(tài)可以參見(jiàn)上述實(shí)施例一的描述)，確定該被跟蹤目標(biāo)在當(dāng)前幀的下一幀的跟蹤感興趣區(qū)域。
[0115]步驟B:根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功。
[0116]具體的，當(dāng)上述系統(tǒng)確定被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域(設(shè)為A)之后，系統(tǒng)在該區(qū)域內(nèi)采用上述初級(jí)預(yù)測(cè)模型預(yù)測(cè)被跟蹤目標(biāo)在下一幀中的狀態(tài)，并確定被跟蹤目標(biāo)在下一幀中的狀態(tài)對(duì)應(yīng)的目標(biāo)圖像(設(shè)為P)，然后在該目標(biāo)圖像上提取被跟蹤目標(biāo)的高級(jí)特征，從而判斷該高級(jí)特征與上述驗(yàn)證模型的匹配度是否大于或者等于上述相似度閾值，并判斷被跟蹤目標(biāo)在目標(biāo)圖像P中的位置是否位于運(yùn)動(dòng)限制區(qū)域(運(yùn)動(dòng)限制區(qū)域的位置是不變的)內(nèi)，以確定在下一幀被跟蹤目標(biāo)是否跟蹤成功。該步驟B的具體過(guò)程可以參照上述實(shí)施例一中的S102-S106的具體描述，僅將其中的當(dāng)前幀更改為下一幀即可。
[0117]步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，停止跟蹤。
[0118]具體的，當(dāng)確定被跟蹤目標(biāo)在下一幀跟蹤失敗時(shí)，則單目標(biāo)跟蹤系統(tǒng)再次根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)確定被跟蹤目標(biāo)在當(dāng)前幀的下下一幀的跟蹤感興趣區(qū)域，然后再次根據(jù)被跟蹤目標(biāo)在下下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下下一幀所述被跟蹤目標(biāo)是否跟蹤成功，以此類推。若跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，則確定被跟蹤目標(biāo)為永久丟失狀態(tài)，停止跟蹤，若跟蹤失敗的次數(shù)還沒(méi)有預(yù)設(shè)次數(shù)就已經(jīng)跟蹤成功，則確定被跟蹤目標(biāo)為短暫丟失狀態(tài)。
[0119]例如，參見(jiàn)圖4所示的跟蹤感興趣和運(yùn)動(dòng)限制區(qū)域示意圖，M矩形框代表被跟蹤手勢(shì)區(qū)域，N矩形框所圍的為跟蹤感興趣區(qū)域，O矩形框所圍區(qū)域?yàn)楦鶕?jù)手勢(shì)的初始位置所確定的運(yùn)動(dòng)限制區(qū)域。
[0120]在圖4中的t0時(shí)刻檢測(cè)到“拳頭”手勢(shì)，tl?t7為該檢測(cè)所啟動(dòng)的跟蹤進(jìn)程中按照時(shí)間先后順序所選取的若干幀;運(yùn)動(dòng)限制區(qū)域由to時(shí)刻的手勢(shì)狀態(tài)所確定，在本次跟蹤進(jìn)程中該運(yùn)動(dòng)限制區(qū)域保持不變;跟蹤感興趣區(qū)域隨著手勢(shì)的移動(dòng)得到動(dòng)態(tài)調(diào)整，如t6和t7時(shí)刻跟蹤狀態(tài)所示，此時(shí)跟蹤的結(jié)果表明人手已經(jīng)移動(dòng)出了運(yùn)動(dòng)限制區(qū)域，此時(shí)被跟蹤手勢(shì)會(huì)被聲明為短暫丟失狀態(tài)，根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)(即被成功跟蹤的狀態(tài))來(lái)確定新的跟蹤感興趣區(qū)域，在此區(qū)域內(nèi)繼續(xù)進(jìn)行跟蹤，直到重新在運(yùn)動(dòng)限制區(qū)域內(nèi)檢測(cè)到被跟蹤手勢(shì)(即跟蹤失敗的次數(shù)還沒(méi)有預(yù)設(shè)次數(shù)就已經(jīng)跟蹤成功)，或者被跟蹤目標(biāo)的狀態(tài)由暫時(shí)性丟失轉(zhuǎn)化為永久丟失(即跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù))時(shí)停止跟蹤進(jìn)程。[0121 ]本發(fā)明提供的目標(biāo)跟蹤方法，在被跟蹤目標(biāo)丟失之后，仍然在丟失區(qū)域附近進(jìn)行數(shù)幀檢測(cè)，抑制由于目標(biāo)短暫丟失所造成的跟蹤中斷問(wèn)題，進(jìn)一步提高了跟蹤的魯棒性。
[0122]圖5為本發(fā)明提供的目標(biāo)跟蹤方法實(shí)施例四的流程示意圖。本實(shí)施例涉及的是將被跟蹤目標(biāo)在當(dāng)前幀中的跟蹤狀態(tài)和上述檢測(cè)結(jié)果進(jìn)行顯示，用戶觀測(cè)到該跟蹤狀態(tài)和檢測(cè)結(jié)果后，若發(fā)現(xiàn)跟蹤失敗或者無(wú)效，可以觸發(fā)單目標(biāo)跟蹤系統(tǒng)及時(shí)停止跟蹤進(jìn)程的具體過(guò)程。在上述實(shí)施例的基礎(chǔ)上，進(jìn)一步地，上述方法還可以包括:
[0123]S401:將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯示。
[0124]具體的，本實(shí)施例中，被跟蹤目標(biāo)為手勢(shì)。當(dāng)單目標(biāo)跟蹤系統(tǒng)確定了最終被跟蹤目標(biāo)的跟蹤結(jié)果后(無(wú)論是跟蹤成功還是失敗)，均將該被跟蹤目標(biāo)在每一幀的處理結(jié)果(檢測(cè)結(jié)果和跟蹤狀態(tài))在每一幀的視頻圖像里面做標(biāo)記，可以讓用戶觀察到系統(tǒng)當(dāng)前的處理結(jié)果，從而讓用戶直觀的看到當(dāng)前是否發(fā)生了跟蹤漂移或者跟蹤丟失的問(wèn)題，尤其是漂移到錯(cuò)誤的背景上的時(shí)候，單目標(biāo)跟蹤系統(tǒng)可能因處于跟蹤階段，從而無(wú)法啟動(dòng)新的手勢(shì)識(shí)別進(jìn)程。而這種錯(cuò)誤一旦發(fā)生，由于在線學(xué)習(xí)的原因，反而更加難以得到糾正。但是本實(shí)施例中通過(guò)將被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和檢測(cè)結(jié)果進(jìn)行顯示，用戶可以觀察到這種錯(cuò)誤，因此可以確定是否采取主動(dòng)措施終止跟蹤進(jìn)程。
[0125]本實(shí)施例中，可選的，單目標(biāo)跟蹤系統(tǒng)可以在智能電視硬件支持下的android平臺(tái)進(jìn)行測(cè)試，硬件配置可以為處理器主頻為700MHz，系統(tǒng)內(nèi)存可以為200M，通過(guò)USB借口連接的普通WEB攝像頭進(jìn)行視頻捕捉，若跟蹤進(jìn)程啟動(dòng)，被跟蹤目標(biāo)在當(dāng)前幀中的跟蹤狀態(tài)和檢測(cè)結(jié)果可以在電視的屏幕上進(jìn)行顯示。該單目標(biāo)跟蹤系統(tǒng)的設(shè)備成本低，除了作為載體的智能設(shè)備之外，只需要一個(gè)普通攝像頭，即可實(shí)現(xiàn)對(duì)人手的跟蹤，而無(wú)需額外的穿戴式設(shè)備。
[0126]S402:判斷是否檢測(cè)到預(yù)設(shè)的用戶行為。
[0127]S403:若是，則停止跟蹤。
[0128]具體的，當(dāng)用戶觀察到當(dāng)前的跟蹤進(jìn)程出現(xiàn)了跟蹤漂移或者其他跟蹤錯(cuò)誤，用戶可以向單目標(biāo)跟蹤系統(tǒng)輸入預(yù)設(shè)的用戶行為，單目標(biāo)跟蹤系統(tǒng)可以通過(guò)攝像頭獲得用戶的行為，當(dāng)判斷用戶的行為為預(yù)設(shè)的用戶行為時(shí)，則單目標(biāo)跟蹤系統(tǒng)確定當(dāng)前跟蹤進(jìn)程出現(xiàn)問(wèn)題，及時(shí)停止跟蹤。
[0129]可選的，該預(yù)設(shè)的用戶行為可以為反復(fù)性揮手操作。反復(fù)性的揮手操作指的是，以某點(diǎn)為心，在周圍區(qū)域讓手勢(shì)做上下左右反復(fù)運(yùn)動(dòng)。在跟蹤過(guò)程中，對(duì)于每一幀在運(yùn)動(dòng)限制區(qū)域內(nèi)對(duì)該行為做檢測(cè)。對(duì)此行為的檢測(cè)可以通過(guò)運(yùn)動(dòng)積分圖像來(lái)檢測(cè)揮手行為，如圖6所示，在任意連續(xù)的兩幀之間計(jì)算絕對(duì)差分圖像Dt，通過(guò)公式Mt+i = (l_a)Mt+aDt來(lái)計(jì)算t+Ι時(shí)刻的運(yùn)動(dòng)積分圖像，然后對(duì)該運(yùn)行幾分圖像進(jìn)行二值化(a代表更新率，a越大更新速度越快)，對(duì)mask圖像進(jìn)行聯(lián)通域分析，如果在運(yùn)動(dòng)限制區(qū)域內(nèi)存在大塊的mask聯(lián)通區(qū)域，則認(rèn)為異常，如果在連續(xù)數(shù)幀中有半數(shù)以上的圖像幀有異常，則認(rèn)為有“揮手”行為發(fā)生，此時(shí)應(yīng)該停止跟蹤。上述反復(fù)性揮手動(dòng)作可以通過(guò)以下方式來(lái)影響和技術(shù)錯(cuò)誤的跟蹤:(a)在被跟蹤目標(biāo)區(qū)域進(jìn)行快速揮手動(dòng)作，被跟蹤目標(biāo)因?yàn)檎趽醵l(fā)生丟失，從而導(dǎo)致跟蹤終止；(b)反復(fù)性的快速揮手操作，可能因運(yùn)動(dòng)模糊造成圖像質(zhì)量下降導(dǎo)致跟蹤失敗，從而導(dǎo)致跟蹤終止；(C)跟蹤中會(huì)在運(yùn)動(dòng)限制區(qū)域進(jìn)行揮手行為檢測(cè)，一旦檢測(cè)到該行為，就認(rèn)為是用戶在提示有跟蹤錯(cuò)誤發(fā)生，據(jù)此系統(tǒng)可以終止當(dāng)前的跟蹤。
[0130]本發(fā)明提供的目標(biāo)跟蹤方法，通過(guò)將被跟蹤目標(biāo)的跟蹤狀態(tài)和檢測(cè)結(jié)果進(jìn)行可視化，使得用戶能夠發(fā)揮主觀能動(dòng)性參與跟蹤進(jìn)程的監(jiān)督，并能主動(dòng)進(jìn)行糾錯(cuò)，從而及時(shí)結(jié)束錯(cuò)誤的跟蹤，增強(qiáng)了跟蹤的流暢性的方案。
[0131]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0132]圖7為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例一的結(jié)構(gòu)示意圖。如圖7所示，該裝置可以包括:第一獲取模塊10、第二獲取模塊11、預(yù)測(cè)模塊12、驗(yàn)證模塊13和確定模塊14。
[0133]第一獲取模塊10，用于獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0134]第二獲取模塊11，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)；
[0135]預(yù)測(cè)模塊12，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)；
[0136]驗(yàn)證模塊13，用于根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像，并根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)；
[0137]確定模塊14，用于在所述驗(yàn)證模塊13確定在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)時(shí)，確定所述被跟蹤目標(biāo)跟蹤成功。
[0138]本發(fā)明提供的目標(biāo)跟蹤裝置，可以執(zhí)行上述方法實(shí)施例，其實(shí)現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0139]進(jìn)一步地，繼續(xù)參見(jiàn)圖7，若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則所述第二獲取模塊U，還用于根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域；
[0140]所述確定模塊14，還用于根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功，并且還用于在確定跟蹤失敗時(shí)，重新指示所述第二獲取模塊11繼續(xù)根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，則確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，指示所述裝置停止跟蹤。
[0141]圖8為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例二的結(jié)構(gòu)示意圖。在上述圖7所示實(shí)施例的基礎(chǔ)上，進(jìn)一步地，如圖8所示，上述裝置還可以包括:
[0142]檢測(cè)模塊15，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果；
[0143]處理模塊16，用于根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。
[0144]進(jìn)一步地，繼續(xù)參見(jiàn)圖8，所述處理模塊16，包括:
[0145]第一處理單元161，用于在所述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標(biāo)時(shí)，根據(jù)所述其他預(yù)定義目標(biāo)重新初始化所述被跟蹤目標(biāo)的模型；
[0146]第二處理單元162，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤失敗時(shí)，不對(duì)所述被跟蹤目標(biāo)的模型進(jìn)行更新；
[0147]第三處理單元163，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤成功時(shí)，對(duì)所述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正。
[0148]本發(fā)明提供的目標(biāo)跟蹤裝置，可以執(zhí)行上述方法實(shí)施例，其實(shí)現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0149]圖9為本發(fā)明提供的目標(biāo)跟蹤裝置實(shí)施例三的結(jié)構(gòu)示意圖。在上述圖8所示實(shí)施例的基礎(chǔ)上，進(jìn)一步地，如圖9所示，上述裝置還可以包括:顯示模塊17，用于將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯示。進(jìn)一步地，還可以包括判斷模塊18，用于判斷是否檢測(cè)到預(yù)設(shè)的用戶行為，并在判斷檢測(cè)到預(yù)設(shè)的用戶行為時(shí)，指示所述裝置停止跟蹤。
[0150]進(jìn)一步地，所述被跟蹤目標(biāo)為手勢(shì)。
[0151]本發(fā)明提供的目標(biāo)跟蹤裝置，可以執(zhí)行上述方法實(shí)施例，其實(shí)現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0152]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【主權(quán)項(xiàng)】
1.一種目標(biāo)跟蹤方法，其特征在于，包括: 獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型;其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度； 獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)； 在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)； 根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像； 根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)； 若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則確定所述被跟蹤目標(biāo)跟蹤成功。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果； 根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型，具體包括: 若所述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標(biāo)，則根據(jù)所述其他預(yù)定義目標(biāo)重新初始化所述被跟蹤目標(biāo)的模型； 若所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤失敗，則不對(duì)所述被跟蹤目標(biāo)的模型進(jìn)行更新； 若所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤成功，則對(duì)所述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括: 將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯示。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括: 判斷是否檢測(cè)到預(yù)設(shè)的用戶行為； 若是，則停止跟蹤。6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，所述方法還包括: 步驟A:根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域； 步驟B:根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功； 步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，停止跟蹤。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述被跟蹤目標(biāo)為手勢(shì)。8.—種目標(biāo)跟蹤裝置，其特征在于，包括: 第一獲取模塊，用于獲取被跟蹤目標(biāo)的模型，所述被跟蹤目標(biāo)的模型包括初級(jí)預(yù)測(cè)模型和驗(yàn)證模型；其中，所述初級(jí)預(yù)測(cè)模型包括采用第一描述方式提取的所述被跟蹤目標(biāo)的低級(jí)特征，所述驗(yàn)證模型包括采用第二描述方式提取的所述被跟蹤目標(biāo)的高級(jí)特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度； 第二獲取模塊，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運(yùn)動(dòng)限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標(biāo)的移動(dòng)進(jìn)行移動(dòng)； 預(yù)測(cè)模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級(jí)預(yù)測(cè)模型預(yù)測(cè)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)； 驗(yàn)證模塊，用于根據(jù)所述被跟蹤目標(biāo)在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標(biāo)所在的目標(biāo)圖像，并根據(jù)所述第二描述方式在所述目標(biāo)圖像中提取所述被跟蹤目標(biāo)的高級(jí)特征，并判斷在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置是否位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)； 確定模塊，用于在所述驗(yàn)證模塊確定在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)時(shí)，確定所述被跟蹤目標(biāo)跟蹤成功。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括: 檢測(cè)模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測(cè)是否存在除所述被跟蹤目標(biāo)之外的其他預(yù)定義目標(biāo)，獲得檢測(cè)結(jié)果； 處理模塊，用于根據(jù)所述檢測(cè)結(jié)果確定是否重新初始化所述被跟蹤目標(biāo)的模型。10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述處理模塊，包括: 第一處理單元，用于在所述檢測(cè)結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標(biāo)時(shí)，根據(jù)所述其他預(yù)定義目標(biāo)重新初始化所述被跟蹤目標(biāo)的模型；第二處理單元，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤失敗時(shí)，不對(duì)所述被跟蹤目標(biāo)的模型進(jìn)行更新；第三處理單元，用于在所述檢測(cè)結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標(biāo)，且所述被跟蹤目標(biāo)在所述當(dāng)前幀跟蹤成功時(shí)，對(duì)所述被跟蹤目標(biāo)的模型中進(jìn)行參數(shù)修正。11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 顯示模塊，用于將所述被跟蹤目標(biāo)在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測(cè)結(jié)果進(jìn)行顯 不O12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括: 判斷模塊，用于判斷是否檢測(cè)到預(yù)設(shè)的用戶行為，并在判斷檢測(cè)到預(yù)設(shè)的用戶行為時(shí)，指示所述裝置停止跟蹤。13.根據(jù)權(quán)利要求8-12任一項(xiàng)所述的裝置，其特征在于，若所述在所述目標(biāo)圖像中提取的被跟蹤目標(biāo)的高級(jí)特征與所述驗(yàn)證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標(biāo)圖像上所述被跟蹤目標(biāo)的當(dāng)前位置沒(méi)有位于所述運(yùn)動(dòng)限制區(qū)域內(nèi)，則 所述第二獲取模塊，還用于根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域； 所述確定模塊，還用于根據(jù)所述被跟蹤目標(biāo)在下一幀的跟蹤感興趣區(qū)域、所述運(yùn)動(dòng)限制區(qū)域、所述初級(jí)預(yù)測(cè)模型和所述驗(yàn)證模型，確定在下一幀所述被跟蹤目標(biāo)是否跟蹤成功，并且還用于在確定跟蹤失敗時(shí)，重新指示所述第二獲取模塊繼續(xù)根據(jù)被跟蹤目標(biāo)最近一次被更新的狀態(tài)，確定所述被跟蹤目標(biāo)在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，則確定所述被跟蹤目標(biāo)為永久丟失狀態(tài)，指示所述裝置停止跟蹤。14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述被跟蹤目標(biāo)為手勢(shì)。
【文檔編號(hào)】G06T7/20GK105825524SQ201610137587
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2016年3月10日
【發(fā)明人】趙顏果, 沈錦祥
【申請(qǐng)人】浙江生輝照明有限公司