目標(biāo)跟蹤裝置和方法，以及照相的制造方法
【專利摘要】本發(fā)明提供了一種目標(biāo)跟蹤裝置和方法以及照相機。所述目標(biāo)跟蹤裝置用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定圖像序列中的每個后續(xù)圖像中的估計包含目標(biāo)的目標(biāo)區(qū)域。所述目標(biāo)跟蹤裝置包括：第一跟蹤部件，用于確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的；第二跟蹤部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及加權(quán)部件，用于計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
【專利說明】目標(biāo)跟蹤裝置和方法，以及照相機
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺領(lǐng)域，更具體而言，涉及一種目標(biāo)跟蹤裝置和方法以及一種照相機。
【背景技術(shù)】
[0002]目標(biāo)跟蹤是計算機視覺領(lǐng)域的一個重要課題，具有廣泛的應(yīng)用場景。通過目標(biāo)跟蹤，可以在動態(tài)或靜態(tài)圖像序列例如視頻圖像中跟蹤一個指定目標(biāo)，并輸出該目標(biāo)在圖像序列中的每幀或每個圖像中的位置。通常用例如矩形或其它形狀的目標(biāo)區(qū)域來指示目標(biāo)的位置。
[0003]在目前常見的目標(biāo)跟蹤技術(shù)中，輸出的目標(biāo)區(qū)域的大小是固定的，不隨目標(biāo)的形狀或大小的改變而改變。在少數(shù)改進的目標(biāo)跟蹤技術(shù)中，輸出的目標(biāo)區(qū)域的大小可以改變但形狀不變(即長寬比不變)。極少數(shù)改進的目標(biāo)跟蹤技術(shù)涉及形狀或大小任意改變的目標(biāo)區(qū)域。

【發(fā)明內(nèi)容】

[0004]在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。
[0005]鑒于現(xiàn)有技術(shù)的上述狀況，本發(fā)明的一個目的是提出一種目標(biāo)跟蹤裝置和方法以及一種照相機，其可以良好地跟蹤形狀或大小改變的目標(biāo)。
[0006]根據(jù)本發(fā)明的一個方面，提供了 一種目標(biāo)跟蹤裝置，用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定所述圖像序列中的每個后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域。所述目標(biāo)跟蹤裝置包括:第一跟蹤部件，用于確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的；第二跟蹤部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及加權(quán)部件，用于計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
[0007]根據(jù)本發(fā)明的另一方面，提供了一種目標(biāo)跟蹤方法，用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定所述圖像序列中的后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域。所述目標(biāo)跟蹤方法包括:確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的；基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。[0008]根據(jù)本發(fā)明的又一方面，提供了一種照相機，包括:圖像獲取部件，用于獲取圖像序列，并在所述圖像序列中的初始圖像中確定包含目標(biāo)的預(yù)定目標(biāo)區(qū)域；以及目標(biāo)跟蹤部件，用于根據(jù)所述初始圖像中的預(yù)定目標(biāo)區(qū)域確定所述圖像序列中的后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域。其中，所述目標(biāo)跟蹤部件包括:第一跟蹤部件，用于確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的；第二跟蹤部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及加權(quán)部件，用于計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
[0009]根據(jù)本發(fā)明的上述方面的目標(biāo)跟蹤裝置、方法以及照相機，通過確定每個圖像中的大小固定的第一候選目標(biāo)區(qū)域和與圖像中的目標(biāo)的形狀或大小相適應(yīng)的第二候選目標(biāo)區(qū)域，并計算二者的加權(quán)和，來得到每個圖像中的目標(biāo)區(qū)域。這樣，可以使得跟蹤得到的目標(biāo)區(qū)域的大小適應(yīng)目標(biāo)的形狀或大小的改變，并且可以避免在單獨使用與圖像中的目標(biāo)的形狀或大小相適應(yīng)的第二候選目標(biāo)區(qū)域的情況下可能造成的大的跟蹤誤差甚至目標(biāo)丟失的風(fēng)險。
【專利附圖】

【附圖說明】
[0010]本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中:
[0011]圖1示出根據(jù)本發(fā)明的一個實施例的目標(biāo)跟蹤裝置的示意性框圖；
[0012]圖2示出圖1所示的目標(biāo)跟蹤裝置的示意性工作流程圖；
[0013]圖3示出根據(jù)本發(fā)明的另一個實施例的目標(biāo)跟蹤裝置的示意性框圖；
[0014]圖4示出根據(jù)本發(fā)明的一個實施例的第一跟蹤部件的示意性工作流程圖；
[0015]圖5示出根據(jù)本發(fā)明的一個實施例的第二跟蹤部件的示意性框圖；
[0016]圖6示出圖5所示的第二跟蹤部件的示意性工作流程圖；
[0017]圖7示出根據(jù)本發(fā)明的一個實施例的加權(quán)部件的示意性框圖；
[0018]圖8示出圖7所示的加權(quán)部件的示意性工作流程圖；
[0019]圖9示出根據(jù)本發(fā)明的另一個實施例的加權(quán)部件的示意性框圖；
[0020]圖10示出根據(jù)本發(fā)明的又一個實施例的加權(quán)部件的示意性框圖；
[0021]圖11示出根據(jù)本發(fā)明的一個實施例的照相機的示意性框圖；以及
[0022]圖12示出可以實現(xiàn)本發(fā)明的實施例/示例的計算機的結(jié)構(gòu)的示例性框圖。
【具體實施方式】
[0023]下面將參照附圖來說明本發(fā)明的實施例。在本發(fā)明的一個附圖或一種實施方式中描述的元素和特征可以與一個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。[0024]圖1示出根據(jù)本發(fā)明的一個實施例的目標(biāo)跟蹤裝置的示意性框圖。其中的目標(biāo)跟蹤裝置100用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定圖像序列中的每個后續(xù)圖像中的估計包含目標(biāo)的目標(biāo)區(qū)域。如圖1所示，目標(biāo)跟蹤裝置100包括第一跟蹤部件110、第二跟蹤部件120和加權(quán)部件130。以下結(jié)合圖2來描述目標(biāo)跟蹤裝置100的示例性工作流程。
[0025]圖2示出圖1所示的目標(biāo)跟蹤裝置的示意性工作流程圖，即根據(jù)本發(fā)明的一個實施例的目標(biāo)跟蹤方法。如圖2所示，在步驟S210中，確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域。也就是說，利用第一目標(biāo)跟蹤方法來在圖像序列中跟蹤目標(biāo)，所輸出的每個后續(xù)圖像的目標(biāo)區(qū)域作為該后續(xù)圖像的第一候選目標(biāo)區(qū)域。對于每個后續(xù)圖像，第一候選目標(biāo)區(qū)域的大小是固定的。在步驟S220中，基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域。也就是說，利用第二目標(biāo)跟蹤方法來在圖像序列中跟蹤目標(biāo)，所輸出的每個后續(xù)圖像的目標(biāo)區(qū)域作為該后續(xù)圖像的第二候選目標(biāo)區(qū)域。對于每個后續(xù)圖像，第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中目標(biāo)的形狀或大小相適應(yīng)。在步驟S230中，計算每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域和第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。這里，步驟S210可以由第一跟蹤部件110執(zhí)行，步驟S220可以由第二跟蹤部件120執(zhí)行，步驟S230可以由加權(quán)部件130執(zhí)行。
[0026]應(yīng)當(dāng)理解，第一跟蹤部件110和第二跟蹤部件120可以分別使用任何已知的或者將來開發(fā)出的合適的目標(biāo)跟蹤方法來確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域和第二候選目標(biāo)區(qū)域。例如，第一跟蹤部件Iio可以利用均值平移(mean shift)算法來確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，和/或第二跟蹤部件120可以利用擬合方法或連通域分析方法來確定每個后續(xù)圖像中的第二候選目標(biāo)區(qū)域。作為示例而不是限制，以下描述第一和第二跟蹤部件分別根據(jù)圖像的置信度圖來確定第一和第二候選目標(biāo)區(qū)域的實施例。
[0027]如圖3所示，作為一種【具體實施方式】，目標(biāo)跟蹤裝置100’包括第一跟蹤部件110、第二跟蹤部件120、加權(quán)部件130和置信度生成部件140。其中，置信度生成部件140用于根據(jù)圖像序列中的每個后續(xù)圖像的`前一圖像的目標(biāo)區(qū)域生成每個后續(xù)圖像的置信度圖。每個后續(xù)圖像的置信度圖中的每個像素的值表示所述后續(xù)圖像中的位置與該像素相同的像素屬于目標(biāo)的置信度。第一跟蹤部件110在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第一候選目標(biāo)區(qū)域。第二跟蹤部件120基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，在所述后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域。加權(quán)部件130的功能與圖1中所示的相同。
[0028]應(yīng)當(dāng)理解，在本發(fā)明的實施例中可以使用后續(xù)圖像的各種特征來生成后續(xù)圖像的置信度圖。例如，可以使用后續(xù)圖像的顏色特征、紋理特征或二者的組合來生成置信度圖，而沒有限制。為了說明的目的，以下給出利用后續(xù)圖像的顏色特征來生成置信度圖的示例。
[0029]在一個示例中，每個后續(xù)圖像的置信度圖是所述后續(xù)圖像的顏色置信度圖，也就是說，使用顏色特征來生成置信度圖。其中，每個像素的值是后續(xù)圖像中的該像素位置的顏色在所述后續(xù)圖像的目標(biāo)區(qū)域中的分布概率與該顏色在所述后續(xù)圖像中的分布概率之比。這可以由以下的公式I指示:
【權(quán)利要求】
1.一種目標(biāo)跟蹤裝置，用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定所述圖像序列中的每個后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域，所述目標(biāo)跟蹤裝置包括: 第一跟蹤部件，用于確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的； 第二跟蹤部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及 加權(quán)部件，用于計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
2.根據(jù)權(quán)利要求1的目標(biāo)跟蹤裝置，還包括: 置信度圖生成部件，用于根據(jù)所述圖像序列中的每個后續(xù)圖像的前一圖像的目標(biāo)區(qū)域生成每個后續(xù)圖像的置信度圖，所述置信度圖中的每個像素的值表示所述后續(xù)圖像中的位置與該像素相同的像素屬于所述目標(biāo)的置信度， 其中，所述第一跟蹤部件在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第一候選目標(biāo)區(qū)域，并且所述第二跟蹤部件在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域。
3.根據(jù)權(quán)利要求2的目標(biāo)跟蹤裝置，其中，所述第一跟蹤部件進一步用于使用均值平移(mean shift)算法在每個后續(xù)圖`像的置信度圖中確定所述后續(xù)圖像的第一候選目標(biāo)區(qū)域， 其中，針對每個后續(xù)圖像，在均值平移算法的第一次迭代中，所述置信度圖生成部件使用所述后續(xù)圖像的前一圖像的目標(biāo)區(qū)域生成用于本次迭代的所述后續(xù)圖像的置信度圖，在均值平移算法的后續(xù)迭代中，所述置信度圖生成部件根據(jù)前一次迭代所確定的第一候選目標(biāo)區(qū)域來重新生成用于本次迭代的所述后續(xù)圖像的置信度圖。
4.根據(jù)權(quán)利要求3的目標(biāo)跟蹤裝置，其中，針對每個后續(xù)圖像，在均值平移算法的每次迭代中，所述第一跟蹤部件計算用于本次迭代的置信度圖上的位于前一次迭代所確定的第一候選目標(biāo)區(qū)域中的像素值的重心，并更新所述第一候選目標(biāo)區(qū)域的位置，以使得更新后的所述第一候選目標(biāo)區(qū)域的中心與所述重心重合。
5.根據(jù)權(quán)利要求1的目標(biāo)跟蹤裝置，其中，所述第二跟蹤部件利用擬合方法或連通域分析方法來確定每個后續(xù)圖像中的第二候選目標(biāo)區(qū)域。
6.根據(jù)權(quán)利要求3的目標(biāo)跟蹤裝置，其中，所述第二跟蹤部件包括: 目標(biāo)估計部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域從所述后續(xù)圖像的置信度圖獲得所述目標(biāo)在所述后續(xù)圖像中的估計；以及 區(qū)域確定部件，用于從所述目標(biāo)在每個后續(xù)圖像中的估計確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域， 其中，所述目標(biāo)估計部件所使用的每個后續(xù)圖像的置信度圖是所述后續(xù)圖像的用于均值平移算法的最后一次迭代的置信度圖。
7.根據(jù)權(quán)利要求2的目標(biāo)跟蹤裝置，其中，所述第二跟蹤部件包括: 目標(biāo)估計部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域從所述后續(xù)圖像的置信度圖獲得所述目標(biāo)在所述后續(xù)圖像中的估計；以及 區(qū)域確定部件，用于從所述目標(biāo)在所述后續(xù)圖像中的估計確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域， 其中，所述置信度圖生成部件根據(jù)每個后續(xù)圖像的第一候選目標(biāo)區(qū)域生成所述目標(biāo)估計部件所使用的所述后續(xù)圖像的置信度圖。
8.根據(jù)權(quán)利要求6或7的目標(biāo)跟蹤裝置，其中，所述目標(biāo)估計部件使用高斯擬合方法或連通域分析方法來從每個后續(xù)圖像的置信度圖中獲得所述目標(biāo)在所述后續(xù)圖像中的估計。
9.根據(jù)權(quán)利要求2的目標(biāo)跟蹤裝置，其中，每個后續(xù)圖像的置信度圖是所述后續(xù)圖像的顏色置信度圖，其中每個像素的值是所述后續(xù)圖像中的該像素位置的顏色在所述后續(xù)圖像的目標(biāo)區(qū)域中的分布概率與該顏色在所述后續(xù)圖像中的分布概率之比，其中以所述圖像序列中的所述后續(xù)圖像的前一圖像的目標(biāo)區(qū)域作為所述后續(xù)圖像的目標(biāo)區(qū)域。
10.根據(jù)權(quán)利要求9的目標(biāo)跟蹤裝置，其中，所述后續(xù)圖像的顏色置信度圖中每個像素的值是所述后續(xù)圖像中的該像素位置的顏色所在的顏色區(qū)間在所述后續(xù)圖像的目標(biāo)區(qū)域中的分布概率與該顏色所在的顏色區(qū)間在所述后續(xù)圖像中的分布概率之比。
11.根據(jù)權(quán)利要求9的目標(biāo)跟蹤裝置，其中，所述置信度圖生成部件進一步提取所述后續(xù)圖像中顏色的所述分布概率之比高于第一預(yù)定閾值的像素組成所述后續(xù)圖像的顏色置信度圖。
12.根據(jù)權(quán)利要求1的目標(biāo)跟蹤裝置，其中，所述加權(quán)部件包括: 顏色直方圖生成部件，用于分別生成所述初始圖像中的預(yù)定目標(biāo)區(qū)域以及每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖； 權(quán)重計算部件，用于將每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖分別與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖做比較，以確定所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重，其中與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖的差異越小，權(quán)重越大；以及 加權(quán)和計算部件，用于根據(jù)每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重計算所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的加權(quán)和。
13.根據(jù)權(quán)利要求2的目標(biāo)跟蹤裝置，其中，所述加權(quán)部件包括: 圖像背景去除部件，用于分別根據(jù)所述初始圖像和每個后續(xù)圖像的置信度圖將所述初始圖像和所述后續(xù)圖像中的置信度低于第二預(yù)定閾值的像素的值設(shè)置為零，以分別去除所述初始圖像和所述后續(xù)圖像中的背景； 顏色直方圖生成部件，用于分別生成去除了背景的所述初始圖像中的預(yù)定目標(biāo)區(qū)域以及去除了背景的每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖； 權(quán)重計算部件，用于將每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖分別與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖做比較，以確定所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重，其中與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖的差異越小，權(quán)重越大；以及 加權(quán)和計算部件，用于根據(jù)每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重計算所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的加權(quán)和， 其中，所述置信度圖生成部件還用于生成所述初始圖像的置信度圖，所述置信度圖中的每個像素的值表示所述初始圖像中的位置與該像素相同的像素屬于所述目標(biāo)的置信度。
14.根據(jù)權(quán)利要求12或13的目標(biāo)跟蹤裝置，其中，所述權(quán)重計算部件分別計算所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖的巴氏距離，并以相應(yīng)的巴氏距離作為所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重。
15.根據(jù)權(quán)利要求12或13的目標(biāo)跟蹤裝置，其中，所述加權(quán)部件還包括: 直方圖背景去除部件，用于分別從每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖中去除所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖中不存在的顏色區(qū)間，以相對于所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖去除所述第一和第二候選目標(biāo)區(qū)域的顏色直方圖中的背景顏色， 其中，所述權(quán)重計算部件將每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的去除了背景顏色的顏色直方圖分別與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖做比較，以確定所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重。
16.一種目標(biāo)跟蹤方法，用于根據(jù)圖像序列中的初始圖像中的包含目標(biāo)的預(yù)定目標(biāo)區(qū)域，確定所述圖像序列中的后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域，所述方法包括: 確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的； 基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及 計算每個后續(xù)圖像中的所述第`一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和，作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
17.根據(jù)權(quán)利要求16的目標(biāo)跟蹤方法，還包括: 根據(jù)所述圖像序列中的每個后續(xù)圖像的前一圖像的目標(biāo)區(qū)域生成每個后續(xù)圖像的置信度圖，所述置信度圖中的每個像素的值表示所述后續(xù)圖像中的位置與該像素相同的像素屬于所述目標(biāo)的置信度， 其中， 所述確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域包括:在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第一候選目標(biāo)區(qū)域；以及 所述確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域包括:在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域。
18.根據(jù)權(quán)利要求17的目標(biāo)跟蹤方法，其中，所述在每個后續(xù)圖像的置信度圖中確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域包括: 使用均值平移(mean shift)算法在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第一候選目標(biāo)區(qū)域， 其中，針對每個后續(xù)圖像，在均值平移算法的第一次迭代中，使用所述后續(xù)圖像的前一圖像的目標(biāo)區(qū)域生成用于本次迭代的所述后續(xù)圖像的置信度圖，在均值平移算法的后續(xù)迭代中，根據(jù)前一次迭代所確定的第一候選目標(biāo)區(qū)域來重新生成用于本次迭代的所述后續(xù)圖像的置信度圖。
19.根據(jù)權(quán)利要求18的目標(biāo)跟蹤方法，其中，所述在每個后續(xù)圖像的置信度圖中確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域包括: 基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域從所述后續(xù)圖像的置信度圖獲得所述目標(biāo)的估計；以及 從所述目標(biāo)在每個后續(xù)圖像中的估計確定所述后續(xù)圖像的第二候選目標(biāo)區(qū)域， 其中，獲得所述目標(biāo)的估計所使用的每個后續(xù)圖像的置信度圖是所述后續(xù)圖像的用于均值平移算法的最后一次迭代的置信度圖。
20.根據(jù)權(quán)利要求16的目標(biāo)跟蹤方法，其中，所述計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和包括: 分別生成所述初始圖像中的預(yù)定目標(biāo)區(qū)域以及每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖； 將每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的顏色直方圖分別與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖做比較，以確定所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重，其中與所述初始圖像的預(yù)定目標(biāo)區(qū)域的顏色直方圖的差異越小，權(quán)重越大；以及 根據(jù)每個后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的權(quán)重計算所述后續(xù)圖像的第一和第二候選目標(biāo)區(qū)域的加權(quán)和。
21.一種照相機，包括: 圖像獲取部件，用于獲取圖像序列，并確定所述圖像序列中的初始圖像中的包含目標(biāo)的目標(biāo)區(qū)域；以及 目標(biāo)跟蹤部件，用于根據(jù)所述初始圖像中的目標(biāo)區(qū)域確定所述圖像序列中的后續(xù)圖像中的估計包含所述目標(biāo)的目標(biāo)區(qū)域， 其中，所述目標(biāo)跟蹤部件包括: 第一跟蹤部件，用于確定每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第一候選目標(biāo)區(qū)域的大小是固定的； 第二跟蹤部件，用于基于每個后續(xù)圖像中的第一候選目標(biāo)區(qū)域確定所述后續(xù)圖像中的第二候選目標(biāo)區(qū)域，對于每個后續(xù)圖像所述第二候選目標(biāo)區(qū)域與所述后續(xù)圖像中所述目標(biāo)的形狀或大小相適應(yīng)；以及 加權(quán)部件，用于計算每個后續(xù)圖像中的所述第一候選目標(biāo)區(qū)域和所述第二候選目標(biāo)區(qū)域的加權(quán)和， 作為所述后續(xù)圖像中的目標(biāo)區(qū)域。
【文檔編號】G06T7/20GK103679743SQ201210327851
【公開日】2014年3月26日 申請日期:2012年9月6日 優(yōu)先權(quán)日:2012年9月6日
【發(fā)明者】黃華坤, 小川要 申請人:索尼公司