專利名稱：根據(jù)圖像中分段區(qū)域之間的特征匹配提取目標(biāo)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于提取目標(biāo)區(qū)域信息的方法和裝置，在對(duì)象提取目標(biāo)圖像(靜止圖像或視頻順序)中查詢?cè)撃繕?biāo)，從該目標(biāo)圖像中提取目標(biāo)，其中要提取的目標(biāo)圖像作為查詢圖像給出，以像素為單位處理對(duì)象提取目標(biāo)圖像以確定其中目標(biāo)的位置，并將查詢圖像與由一位置上的對(duì)象提取目標(biāo)圖像的分段區(qū)域構(gòu)成的圖像進(jìn)行比較，按照彩色特征、紋理特征、和空間布置中的相似性把該位置確定為目標(biāo)位置。
背景技術(shù)：
從圖像中提取目標(biāo)的方法主要分成三類，也就是，使用目標(biāo)移動(dòng)的基于移動(dòng)的提取，使用目標(biāo)區(qū)域特征的基于特征的提取，和使用視頻編輯軟件的人工操作。
基于移動(dòng)的提取的方法被分成基于圖像幀差計(jì)算的移動(dòng)區(qū)域提取、基于背景減少的提取和基于移動(dòng)分析的提取。在美國(guó)專利US5,500,904和US5,109,435中公開(kāi)的使用圖像幀差的方法中，計(jì)算連續(xù)圖像畫(huà)面中的亮度差來(lái)提取移動(dòng)，這是一種提取移動(dòng)區(qū)域的基本方法。在美國(guó)專利US5,748,775中公開(kāi)的基于背景減少的方法中，使用圖像特征參數(shù)值的暫態(tài)變化重建背景圖像，和使用重建的背景圖像和原始圖像之間的差別來(lái)提取目標(biāo)。在美國(guó)專利US5,862,508中公開(kāi)的基于移動(dòng)分析的方法中，計(jì)算移動(dòng)目標(biāo)的移動(dòng)方向和速度來(lái)提取移動(dòng)區(qū)域。該方法是一種最普遍的移動(dòng)區(qū)域提取方法，甚至當(dāng)照明條件或背景結(jié)構(gòu)變化時(shí)也能夠應(yīng)用。當(dāng)連續(xù)圖像中目標(biāo)的移動(dòng)達(dá)到適當(dāng)?shù)牧繒r(shí)，能夠應(yīng)用上述基于移動(dòng)的提取。然而，把基于移動(dòng)的提取應(yīng)用到靜態(tài)圖像、具有輕微移動(dòng)的圖像或具有過(guò)高移動(dòng)速度的圖像是困難的。
基于特征提取的方法可以分成模板匹配、基于多值閾值的分段和特征匹配。在美國(guó)專利US5,943,442中公開(kāi)的模板匹配方法中，將要提取的目標(biāo)定義為一模板圖像，和提取一其標(biāo)準(zhǔn)化相關(guān)值最大的區(qū)域作為要搜索的圖像中的目標(biāo)區(qū)域。然而，當(dāng)目標(biāo)的尺寸變化或目標(biāo)旋轉(zhuǎn)時(shí)，標(biāo)準(zhǔn)化的相關(guān)值靈敏地起作用，所以提取執(zhí)行減少。在美國(guó)專利US5,138,671中公開(kāi)的使用多值閾值提取目標(biāo)的方法中，使用多值閾值，把圖像亮度值或彩色值分布分成多個(gè)區(qū)域，并將每個(gè)區(qū)域當(dāng)成一個(gè)目標(biāo)區(qū)域。在這種方法中，不容易準(zhǔn)確地從背景中區(qū)分目標(biāo)。
在使用視頻編輯軟件的人工方法中，人工地提取目標(biāo)。根據(jù)這種方法，目標(biāo)提取的準(zhǔn)確性高，但是需要大量的時(shí)間。因此，這種方法對(duì)于編輯包括連續(xù)圖像或大量圖像的圖像數(shù)據(jù)庫(kù)來(lái)說(shuō)是不合適的。

發(fā)明內(nèi)容
為了解決上述問(wèn)題，本發(fā)明的第一目的是提供一種方法和裝置，使用不同圖像中分段區(qū)域之間的特征匹配來(lái)提取目標(biāo)。
本發(fā)明的第二目的是提供一種計(jì)算機(jī)可讀記錄媒體，在其上記錄用于在計(jì)算機(jī)中執(zhí)行上述方法的程序。
為了完成本發(fā)明的第一目的，提供一種用于從圖像中提取目標(biāo)的裝置。該裝置包括一圖像輸入單元，其用于接收查詢圖像，該圖像包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像，從該查詢圖像中提取包括在查詢圖像中的目標(biāo)；一目標(biāo)位置確定單元，用于在對(duì)象提取目標(biāo)圖像中，使用基于彩色特征匹配的像素確定目標(biāo)的位置；一圖像分段單元，用于使用包括彩色或紋理的圖像特征，把每個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域；和一目標(biāo)區(qū)域確定單元，用于在查詢圖像中的分段區(qū)域和對(duì)象提取目標(biāo)圖像中確定的目標(biāo)位置中的分段區(qū)域之間，使用彩色或紋理特征來(lái)執(zhí)行匹配，和使用作為匹配結(jié)果得到的匹配區(qū)域之間的相鄰空間中的相似性來(lái)確定最后的目標(biāo)區(qū)域。
也提供一種用于從圖像中提取目標(biāo)的方法。該方法包括以下步驟(a)接收包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像的查詢圖像，從該查詢圖像中提取包括在查詢圖像中的目標(biāo)；(b)使用基于彩色特征匹配的像素，在對(duì)象提取目標(biāo)圖像中確定目標(biāo)的位置；(c)使用包括彩色或紋理的圖像特征，把查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域；和(d)在查詢圖像中的分段區(qū)域和對(duì)象提取目標(biāo)圖像中確定的目標(biāo)位置中的分段區(qū)域之間，使用彩色或紋理特征執(zhí)行匹配，和使用作為匹配結(jié)果得到匹配區(qū)域之間的相鄰空間中的相似性來(lái)確定最后的目標(biāo)區(qū)域。
附圖的簡(jiǎn)要說(shuō)明通過(guò)參考附圖詳細(xì)描述其中一個(gè)優(yōu)選實(shí)施例，本發(fā)明的上述目的和優(yōu)點(diǎn)將變得更加明顯，其中

圖1是根據(jù)本發(fā)明一種目標(biāo)提取裝置的優(yōu)選實(shí)施例的框圖；圖2是根據(jù)本發(fā)明一種提取目標(biāo)方法的流程圖；圖3是用于解釋用在本發(fā)明的量化彩色空間和圍箱的圖；圖4是用于解釋圍繞像素(m，n)旋轉(zhuǎn)的圖；圖5A和圖5B表示原始圖像和指定標(biāo)號(hào)的分段圖像的例子；圖6表示關(guān)于圖5B所示的圖像的鄰接矩陣；圖7A-7C表示一種獲得對(duì)照矩陣方法的優(yōu)選實(shí)施例，當(dāng)查詢圖像中分段區(qū)域的數(shù)量大于對(duì)象提取目標(biāo)圖像中分段區(qū)域的數(shù)量時(shí)；圖8A-8C表示一種獲得對(duì)照矩陣方法的優(yōu)選實(shí)施例，當(dāng)查詢圖像中分段區(qū)域的數(shù)量小于對(duì)象提取目標(biāo)圖像中分段區(qū)域的數(shù)量時(shí)；圖9A和9B分別表示根據(jù)該距離矩陣的距離矩陣和對(duì)照矩陣的例子；和圖10A和10B表示從對(duì)象提取目標(biāo)圖像中提取兩個(gè)不同目標(biāo)的結(jié)果。
優(yōu)選實(shí)施例的詳細(xì)描述在下文中，將參考附圖詳細(xì)描述本發(fā)明的一個(gè)優(yōu)選實(shí)施例。
圖1是根據(jù)本發(fā)明一種目標(biāo)提取裝置的優(yōu)選實(shí)施例的框圖。該目標(biāo)提取裝置包括一圖像輸入單元110，一目標(biāo)位置確定單元120，一圖像分段單元130，和一目標(biāo)區(qū)域確定單元140。優(yōu)選情況下，目標(biāo)位置確定單元120包括一彩色直方圖計(jì)算器121、一圖像投影儀123和一候選目標(biāo)位置確定器125。該目標(biāo)區(qū)域確定單元140包括一區(qū)域匹配單元141、一鄰接矩陣計(jì)算器143、一對(duì)應(yīng)區(qū)域檢測(cè)器145和一相似計(jì)算器147。
圖2是根據(jù)本發(fā)明一種提取目標(biāo)方法的流程圖。圖1中所示的目標(biāo)提取裝置的操作將參考圖2詳細(xì)描述。
在步驟210中圖像輸入單元110接收一包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像的查詢圖像。這里，該查詢圖像是一包括要提取的目標(biāo)的圖像。該查詢圖像通過(guò)對(duì)著一藍(lán)屏給要提取的目標(biāo)照相來(lái)得到，或使用視頻編輯器從運(yùn)動(dòng)圖像中一任意包括該目標(biāo)的圖像幀背景中分離目標(biāo)得到。這里，在不同于目標(biāo)區(qū)域的背景區(qū)域中的所有像素的值處理為0(黑色)。對(duì)象提取目標(biāo)圖像是從運(yùn)動(dòng)圖像中使用一抓拍檢測(cè)技術(shù)選擇的一任意圖像或核心圖像幀。在對(duì)象提取目標(biāo)圖像是運(yùn)動(dòng)圖像中的核心圖像幀的情況下，該核心圖像幀可以包括也可以不包括要提取的目標(biāo)。該查詢圖像和對(duì)象提取目標(biāo)圖像應(yīng)該在開(kāi)始本發(fā)明的步驟前準(zhǔn)備好。
然后，在步驟221至225-3中該目標(biāo)位置確定單元120以像素為單位在查詢圖像和對(duì)象提取目標(biāo)圖像之間執(zhí)行彩色特征匹配，來(lái)確定對(duì)象提取目標(biāo)圖像中的目標(biāo)的位置。
具體而言，在步驟221中，彩色直方圖計(jì)算器121使用選擇的彩色空間和量子化水平，計(jì)算關(guān)于查詢圖像和對(duì)象提取目標(biāo)圖像的彩色直方圖值。這里，彩色直方圖值表示包括在每個(gè)圍箱中的量化彩色空間中的像素的數(shù)量。
圖3表示用于本發(fā)明的具有圍箱的量化彩色空間。在這個(gè)例子中，彩色空間表示為三維空間，其具有紅(R)、綠(G)、和藍(lán)(B)像素。在圖3中，三基軸像素中的每一種被分成從0開(kāi)始的5個(gè)區(qū)域，以至于該5個(gè)區(qū)域在值51、102、153、204和255結(jié)束來(lái)把該彩色空間量化成具有預(yù)定體積的立方體。這里，圍箱表示量化的三維彩色空間中的一個(gè)區(qū)域，例如，圖3中的被涂黑部分。
當(dāng)包括在每個(gè)圍箱中的像素量Cmi小于閾值時(shí)，對(duì)應(yīng)的圍箱中的像素被當(dāng)成噪擾，且一彩色直方圖值設(shè)為0。該閾值可以定義為thrPixe|＝SUM(Cmi)/n。這里的“i”是一圍箱號(hào)，其具有0至n-1的值，“n”是圍箱的數(shù)，和Cmi是在查詢圖像中包括在第i圍箱中的像素的數(shù)量。在這種情況下，具有在一圖像中出現(xiàn)頻率低并具有彩色值的像素作為噪音。關(guān)于定義為背景的(具有值為0的像素)區(qū)域的彩色直方圖的值處理為0，由此確定最后彩色直方圖值。在本發(fā)明的實(shí)施例中，使用RGB彩色空間和8H8H8量化。然而，本發(fā)明不局限于特定的彩色空間或量化。也可以使用其它彩色空間例如YCbCr或L*u*v。對(duì)于量化來(lái)說(shuō)，可以使用其它水平例如4H4H4或16H16H16。當(dāng)彩色空間或量化水平改變時(shí)，結(jié)果也輕微地改變。
在步驟223中，圖像投影儀123計(jì)算比例直方圖值并用一比例直方圖值代替對(duì)象提取目標(biāo)圖像中每個(gè)像素的值。這是使用彩色直方圖的圖像投影。使用下面兩種方法可以計(jì)算比例直方圖值。在第一種方法中，包括在查詢圖像的第i圍箱中的像素的數(shù)量除以查詢圖像中的所有有效像素的數(shù)量。也就是，比例直方圖值定義為R[Ci]＝[Cmi/SUM(Cmi)-effective]。這里，SUM(Cmi)-effective表示第i圍箱中的有效像素的數(shù)量。在第二種方法中，通過(guò)由查詢圖像中圍箱里像素的數(shù)量除以與對(duì)象提取目標(biāo)圖像中的查詢圖像的圍箱相對(duì)應(yīng)的圍箱中像素的數(shù)量得到一個(gè)值，在1和該值之間，更小的值被選擇作為比例直方圖值。也就是，比例直方圖值定義為R[Ci]＝min[Cmi/Cdi)，1]。這里，R[Ci]表示具有與第i圍箱相一致彩色像素的比例。像素值用與對(duì)象提取目標(biāo)圖像中每個(gè)像素的彩色值相對(duì)應(yīng)的比例直方圖值來(lái)代替，由此執(zhí)行圖像投影。
然后，在步驟225-1中，該候選目標(biāo)位置確定器125使用比例直方圖值作為像素值來(lái)確定對(duì)象提取目標(biāo)圖像中的候選目標(biāo)位置。特別地，獲得圍繞該查詢圖像中目標(biāo)區(qū)域的一最小矩形圍框。根據(jù)該圍框的尺寸來(lái)確定一具有特殊尺寸的掩蔽圖像(mask)，該掩蔽圖像針對(duì)具有比例直方圖值的對(duì)象提取目標(biāo)圖像卷積來(lái)計(jì)算關(guān)于每個(gè)像素的目標(biāo)存在可能性的尺寸。如果計(jì)算的尺寸超出一參考值，相應(yīng)像素位置確定為候選目標(biāo)位置。
這里，用來(lái)計(jì)算每個(gè)像素(xp，yp)尺寸的掩蔽圖像W可以是一圓，其由公式(1)來(lái)定義并且其半徑是WR。 WR=α(bs+(bl-bs)bsbl)]]>這里，WR是一個(gè)由圍框定義的值，bl是該圍框較長(zhǎng)邊的尺寸，bs是該圍框較短邊的尺寸，且是用于調(diào)節(jié)掩蔽圖像W尺寸的變量。每個(gè)像素目標(biāo)存在可能性的尺寸用“l(fā)oc”來(lái)表示，其定義為loc(x，y)＝w*p(x，y)。這里，p(x，y)是像素(x，y)的比例直方圖值，和“*”表示卷積。歸一化loc(x，y)，例如最大值是255。如果loc值至少是一參考值，確定像素(x，y)的位置為候選目標(biāo)位置。在公式(1)中，目標(biāo)的多數(shù)位置能夠通過(guò)調(diào)節(jié)變量來(lái)確定。換句話說(shuō)，當(dāng)要提取目標(biāo)尺寸在查詢圖像和對(duì)象提取目標(biāo)圖像之間不同時(shí)，可以考慮尺寸方面的變化。
如果在步驟255-1中確定了候選目標(biāo)位置，在步驟225-2中，用包括根據(jù)查詢圖像或整個(gè)目標(biāo)區(qū)域中一部分目標(biāo)區(qū)域的具有特定尺寸的矩形區(qū)域內(nèi)的像素和在對(duì)象提取目標(biāo)圖像中圍繞候選目標(biāo)位置的具有特定尺寸的矩形區(qū)域中像素之間的彩色距離差，來(lái)執(zhí)行模板匹配。在步驟225-3中根據(jù)平均彩色距離差至少確定一個(gè)目標(biāo)位置。特別地，當(dāng)圍繞查詢圖像中目標(biāo)區(qū)域的掩蔽圖像中像素和由候選目標(biāo)位置確定器125在對(duì)象提取目標(biāo)圖像中確定為候選目標(biāo)位置上像素內(nèi)的掩蔽圖像內(nèi)的像素之間的彩色距離差的平均值為最小時(shí)，確定該候選目標(biāo)位置為一目標(biāo)位置，如果另一平均值是第二小值時(shí)，確定一相應(yīng)的候選目標(biāo)位置為另一目標(biāo)位置。按照這樣的處理，確定至少一個(gè)目標(biāo)位置。這里，該掩蔽圖像是具有特定尺寸的矩形區(qū)域，其根據(jù)查詢圖像中圍框的尺寸來(lái)確定，例如bs作為長(zhǎng)度和寬度。查詢圖像中像素和對(duì)象查詢目標(biāo)圖像中像素之間的彩色距離差平均值A(chǔ)Dpixelcolor可以由公式(2)來(lái)定義。ADpixelcolor=1NΣi=1N(Rq-Rd)2+(Gq-Gd)2+(Bq-Bd)2----(2)]]>這里，N表示其中Rq＝Gq＝Bq＝0非真的有效像素的數(shù)量，且在上面計(jì)算式中排除了對(duì)于Rq＝Gq＝Bq＝0正確的像素。在公式(2)中，q表示查詢圖像，和d表示對(duì)象提取目標(biāo)圖像。
在步驟230中，圖像分段單元130使用包括彩色和紋理的圖像特征，把通過(guò)圖像輸入單元110接收的每一個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域。分離圖像的方法不局限于一種特定的方法，但是可以使用典型的圖像分離方法。圖5A和5B中圖解了圖像分離的一個(gè)優(yōu)選實(shí)施例。圖5A表示一原始圖像，和圖5B表示一分段圖像。參考圖5B，每個(gè)分段區(qū)域指定一個(gè)標(biāo)號(hào)。
在步驟241至249中，在對(duì)象提取目標(biāo)圖像中由目標(biāo)位置確定單元120確定為目標(biāo)位置的位置里的每個(gè)分段區(qū)域和查詢圖像的所有分段區(qū)域中，目標(biāo)區(qū)域確定單元140使用彩色或紋理特征執(zhí)行區(qū)域匹配，并使用在空間相鄰中匹配區(qū)域之間的相似性來(lái)確定最后的目標(biāo)區(qū)域。
特別地，在步驟241中，區(qū)域匹配單元141檢測(cè)對(duì)象提取目標(biāo)圖像中的與確定為目標(biāo)位置的位置中心的掩蔽圖像W交會(huì)的分段區(qū)域，和計(jì)算對(duì)象提取目標(biāo)圖像中每個(gè)檢測(cè)區(qū)域和查詢圖像的所有分段區(qū)域之間的相似性來(lái)執(zhí)行區(qū)域匹配。如果相似性小于預(yù)定的閾值，確定對(duì)象提取目標(biāo)圖像中相應(yīng)的檢測(cè)區(qū)域?yàn)槟繕?biāo)區(qū)域。如果相似性超出預(yù)定的閾值，相應(yīng)的檢測(cè)區(qū)域排除在目標(biāo)區(qū)域之外。這里，相似距離由彩色紋理空間中的距離Dct來(lái)確定，并且距離Dct可以用公式(3)來(lái)表示。Dct(x,y)=WcDc(x,y)+WtDt(x,y)Wc+Wt----(3)]]>這里，Dc(x，y)和Dt(x，y)分別表示彩色空間中兩個(gè)區(qū)域x和y之間的距離和紋理空間中兩個(gè)區(qū)域x和y之間的距離，Wc和Wt分別表示應(yīng)用到各自距離的加權(quán)系數(shù)。在下文中，將詳細(xì)描述一個(gè)計(jì)算Dc(x，y)和Dt(x，y)的例子。每個(gè)分段區(qū)域的彩色特征由亮度B、色調(diào)H和飽和度S表示，它們由公式(4)表示。 S＝1-u/(r+g+b)B=(r2+g2+b2)/3----(4)]]>這里，r、g和b表示輸入?yún)^(qū)域的平均彩色值，和u＝min(r，g，b)。BHS彩色空間中的距離可以用作彩色空間中的距離Dc(x，y)，如公式(5)中所示。
Dc(x，y)＝KB|B(x)-B(y)|+KH|H(x)-H(y)|+KS|S(x)-S(y)|…(5)這里，B(x)、H(x)和S(x)分別表示彩色空間中一點(diǎn)的亮度、色度和飽和度，和KB、KH、KS分別表示應(yīng)用到關(guān)于亮度、色度和飽和度的距離差的加權(quán)系數(shù)。
使用多尺寸和多方向紋理特征來(lái)形成紋理特征空間。每個(gè)特征可以通過(guò)加總關(guān)于每個(gè)像素的多方向局部變量v和多方向局部振蕩g來(lái)得到。圖像的亮度B用來(lái)檢測(cè)這種紋理特征。
在得到紋理特征的過(guò)程中，圍繞像素(m，n)以角度αk＝kπ/K(k＝0，…，k-1)旋轉(zhuǎn)2L長(zhǎng)度中的像素。這里，參考圖4來(lái)描述L。
圖4用于解釋圍繞像素(m，n)旋轉(zhuǎn)和L的含意。圖4中黑色部分是要計(jì)算其紋理特征的像素(m，n)。在像素(m，n)上面、下面、左邊和右邊的四個(gè)像素使用陰影來(lái)標(biāo)記。這里L(fēng)是4。在對(duì)角線上的像素表示四個(gè)像素圍繞像素(m，n)旋轉(zhuǎn)45角的情況。
“yi(-L≤i≤L)”表示在陣列中均勻分布的這些像素中一個(gè)像素的亮度B。這里，di＝y(tǒng)i+1-yi表示矩陣中相鄰像素中的亮度梯度，和wi＝ucos(iπ/(2L+1))是一個(gè)余玄加權(quán)函數(shù)。系數(shù)u被用于形成∑wi＝1。由上面因子形成的上下向加權(quán)差異可以用公式(6)表示。
如果di＞0， ，如果di＜0， 這里，在公式(6)中兩個(gè)值之間的較小值被選擇作為局部差異v，換句話說(shuō)，局部差異v定義為公式(7)。
V＝min(V+，V-) …(7)局部振蕩g是di的數(shù)量，當(dāng)其符號(hào)在該陣列長(zhǎng)度范圍內(nèi)在所得到的di間變化時(shí)，其振蕩幅度超出靈敏度的預(yù)定閾值，-L≤i≤L。每個(gè)像素的通過(guò)把像素的局部差異與像素的局部振蕩相乘能夠得到紋理特征 。為了均勻得到的紋理特征，每個(gè)紋理特征平滑到一平均值，其用于一h型窗口，并使用如公式(8)所示的變換公式，通過(guò)雙曲線正切線變換來(lái)處理每個(gè)紋理特征，由此降低高紋理特征和增加低紋理特征。ti=tanh(aΣht~k(h))----(8)]]>紋理是依賴圖像尺寸的特征。因此，使用不同頻率圖像尺寸降低1/2S，和每當(dāng)圖像的尺寸降低時(shí)，每個(gè)像素的紋理特征以上述相同的方式得到。這樣的紋理特征可以用公式(9)表示。tks=tanh(aΣht~ks(h))----(9)]]>根據(jù)公式(9)，每個(gè)像素紋理特征的數(shù)量是KS。每個(gè)區(qū)域中每個(gè)像素的KS個(gè)紋理特征用于得到不同區(qū)域中像素間的紋理距離。紋理距離由公式(10)來(lái)定義。Dt(x,y)=Σs=1swsΣk=1k|tks(x)-tks(y)|----(10)]]>這里，x和y表示紋理空間中的兩點(diǎn)， 和 分別表示x和y的紋理特征，和ws表示應(yīng)用于多尺寸紋理的加權(quán)系數(shù)。
在步驟242中，根據(jù)計(jì)算的相似距離，區(qū)域匹配單元141確定是否至少一個(gè)目標(biāo)區(qū)域存在于對(duì)象提取目標(biāo)圖像。如果確定沒(méi)有目標(biāo)區(qū)域，確定對(duì)象提取目標(biāo)圖像不包括要提取的目標(biāo)，步驟結(jié)束。相反地，如果確定存在至少一個(gè)目標(biāo)區(qū)域，確定對(duì)象提取目標(biāo)圖像包括要提取的目標(biāo)。
然后，在步驟243中，鄰接矩陣計(jì)算器143接收具有分段區(qū)域的查詢圖像和通過(guò)執(zhí)行關(guān)于分段區(qū)域的區(qū)域匹配得到的圖像，該分段區(qū)域被確定包括對(duì)象提取目標(biāo)圖像中的目標(biāo)區(qū)域和查詢圖像的分段區(qū)域，然后計(jì)算關(guān)于每個(gè)輸入圖像中分段區(qū)域的鄰接矩陣。每個(gè)分段區(qū)域指定一個(gè)標(biāo)號(hào)，并且分段區(qū)域之間的鄰接以一矩陣形式表示。當(dāng)兩個(gè)分段區(qū)域鄰接時(shí)，矩陣中相應(yīng)的元素值為1。當(dāng)兩個(gè)分段區(qū)域不鄰接時(shí)，矩陣中相應(yīng)的元素值為0。圖6中表示這種鄰接矩陣的優(yōu)選實(shí)施例。
圖6表示關(guān)于圖5B中所示圖像的鄰接矩陣。由于區(qū)域2和3鄰接，矩陣?yán)镂恢?2，3)上的元素值為1。由于區(qū)域2和4不鄰接，矩陣?yán)镂恢?2，4)上的元素值為0。如上所述，分段區(qū)域的標(biāo)號(hào)指定為矩陣中的行和列，且在一相應(yīng)的元素上，兩個(gè)區(qū)域間的相鄰用1或0表示，由此形成一鄰接矩陣。
然后，在步驟245中，使用鄰接矩陣，對(duì)應(yīng)區(qū)域檢測(cè)器145檢測(cè)對(duì)象提取目標(biāo)圖像中的區(qū)域，該區(qū)域與構(gòu)成查詢圖像鄰接矩陣的區(qū)域相對(duì)應(yīng)。具體而言，查詢圖像和對(duì)象提取目標(biāo)圖像之間的相應(yīng)區(qū)域在一比較矩陣中表示。根據(jù)查詢圖像中分段區(qū)域的數(shù)量和對(duì)象提取目標(biāo)圖像中分段區(qū)域的數(shù)量以不同的方式得到一比較矩陣是必要的。
(1)當(dāng)查詢圖像中分段區(qū)域的數(shù)量大于對(duì)象提取目標(biāo)圖像中分段區(qū)域數(shù)量時(shí)，例如，當(dāng)查詢圖像中分段區(qū)域的數(shù)量是4，而對(duì)象提取目標(biāo)圖像中分段區(qū)域數(shù)量是3，-得到查詢圖像和對(duì)象提取目標(biāo)圖像的鄰接矩陣；-根據(jù)查詢圖像中的分段區(qū)域的數(shù)量構(gòu)成一比較方陣；和-在對(duì)象提取目標(biāo)圖像的鄰接矩陣中添加標(biāo)號(hào)，但是與附加標(biāo)號(hào)相對(duì)應(yīng)的元素值設(shè)為0。
圖7A至7C表示，當(dāng)查詢圖像中分段區(qū)域的數(shù)量大于對(duì)象提取目標(biāo)圖像中分段區(qū)域數(shù)量時(shí)，獲得比較矩陣的方法的一優(yōu)選實(shí)施例。圖7A表示查詢圖像鄰接矩陣的例子。圖7B表示對(duì)象提取目標(biāo)圖像鄰接矩陣的例子。圖7C表示從圖7A和7B中所示的鄰接矩陣中得到的比較矩陣的例子。這里，圖7B和7C中的“X”是附加標(biāo)號(hào)。
(2)當(dāng)查詢圖像中分段區(qū)域的數(shù)量小于對(duì)象提取目標(biāo)圖像中分段區(qū)域數(shù)量時(shí)。
-得到查詢圖像和對(duì)象提取目標(biāo)圖像的鄰接矩陣；-根據(jù)查詢圖像中的分段區(qū)域的數(shù)量構(gòu)成一比較方陣；和-把對(duì)象提取目標(biāo)圖像中的一些標(biāo)號(hào)排除出該比較矩陣。
圖8A至8C表示，當(dāng)查詢圖像中分段區(qū)域的數(shù)量小于對(duì)象提取目標(biāo)圖像中分段區(qū)域數(shù)量時(shí)，獲得比較矩陣的方法的一優(yōu)選實(shí)施例。圖8A表示查詢圖像鄰接矩陣。圖8B表示對(duì)象提取目標(biāo)圖像鄰接矩陣。圖8C表示從圖8A和8B中所示的鄰接矩陣中得到的一比較矩陣。
在圖7A至8C中，通過(guò)匹配查詢圖像和對(duì)象提取目標(biāo)圖像之間的相同標(biāo)號(hào)構(gòu)成一比較矩陣。然而，只有當(dāng)假定具有相同標(biāo)號(hào)的區(qū)域具有相同特征(彩色和紋理特征)，由圖7A至8C中所示上述方法得到的比較矩陣才是有效的。換句話說(shuō)，在對(duì)象提取目標(biāo)圖像中搜索相應(yīng)的區(qū)域是必要的，對(duì)于查詢圖像中每一個(gè)標(biāo)號(hào)區(qū)域來(lái)說(shuō)，該區(qū)域具有最相似的屬性。只有當(dāng)使用每個(gè)相應(yīng)區(qū)域的標(biāo)號(hào)得到一比較矩陣時(shí)，查詢圖像和對(duì)象提取目標(biāo)圖像之間的區(qū)域比較才是有效的。這樣相應(yīng)的區(qū)域確定如下。
(1)得到以查詢圖像區(qū)域標(biāo)號(hào)為行和以對(duì)象提取目標(biāo)圖像區(qū)域標(biāo)號(hào)為列的矩陣，得到查詢圖像中分段區(qū)域之間的距離和對(duì)象提取目標(biāo)圖像中分段區(qū)域之間的距離，并得到一距離矩陣，該矩陣以得到的距離作為元素。這里，該距離是彩色-紋理空間中的距離DCT(x，y)。
(2)根據(jù)該距離矩陣，檢測(cè)對(duì)象提取目標(biāo)圖像中與查詢圖像區(qū)域相應(yīng)的區(qū)域，并根據(jù)檢測(cè)的相應(yīng)區(qū)域重建該比較矩陣。
圖9A和9B表示一搜索步驟的優(yōu)選實(shí)施例，用于分別在查詢圖像和對(duì)象提取目標(biāo)圖像中搜索區(qū)域，并根據(jù)搜索的相應(yīng)區(qū)域得到一比較矩陣，所述區(qū)域?qū)τ诰哂胁煌瑯?biāo)號(hào)的區(qū)域來(lái)說(shuō)，具有最相似的屬性。圖9A是一距離矩陣的優(yōu)選實(shí)施例，該矩陣表示查詢圖像中的區(qū)域和對(duì)象提取目標(biāo)圖像中區(qū)域之間的距離。圖9B是一比較矩陣的優(yōu)選實(shí)施例，該矩陣使用指定給圖9A中距離最短的區(qū)域的標(biāo)號(hào)來(lái)重建。圖9A的距離矩陣中用陰影標(biāo)記的元素表示查詢圖像中區(qū)域和對(duì)象提取目標(biāo)圖像中區(qū)域之間最短距離。在圖9A和9B中，該查詢圖像具有三個(gè)區(qū)域和對(duì)象提取目標(biāo)圖像具有四個(gè)區(qū)域?？梢钥匆?jiàn)比較矩陣中的標(biāo)號(hào)根據(jù)相應(yīng)區(qū)域來(lái)改變，所述相應(yīng)區(qū)域根據(jù)距離矩陣得到。
然后，在步驟247中，相似計(jì)算器計(jì)算空間鄰接矩陣中的相似性。通過(guò)把比較矩陣中1的數(shù)量Eu除以上三角矩陣中所有元素的數(shù)量Mu得到該相似性。當(dāng)查詢圖像中的鄰接與對(duì)象提取目標(biāo)圖像中的鄰接完全相同時(shí)，相似性值是1。相反，當(dāng)這些鄰接完全不同時(shí)，相似性值是0。換句話說(shuō)，查詢圖像與對(duì)象提取目標(biāo)圖像之間的空間鄰接中的相似性Si能夠從公式(11)中得到。Si=EuMu----(11)]]>然后，在步驟248中，確定計(jì)算的相似性是否小于閾值。如果確定該計(jì)算的相似性不小于閾值，在步驟249中確定最后的目標(biāo)區(qū)域。換句話說(shuō)，確定對(duì)象提取目標(biāo)圖像中的區(qū)域是否是要提取的目標(biāo)區(qū)域，通過(guò)使用彩色和紋理特征執(zhí)行區(qū)域匹配得到該區(qū)域。最后確定的作為目標(biāo)區(qū)域的區(qū)域確定為目標(biāo)。最后目標(biāo)區(qū)域中的像素值設(shè)定為原始圖像中的像素值，對(duì)象提取目標(biāo)圖像中的其它區(qū)域中的像素值設(shè)定為0。相反，如果確定該計(jì)算的相似性小于該閾值，確定要提取的目標(biāo)不存在于對(duì)象提取目標(biāo)圖像中，對(duì)象提取目標(biāo)圖像中所有像素值設(shè)為0。
圖10A和10B表示從對(duì)象提取目標(biāo)圖像中提取兩個(gè)不同目標(biāo)的結(jié)果。圖10A表示根據(jù)本發(fā)明從四個(gè)對(duì)象提取目標(biāo)圖像中提取女性衣服(要提取的目標(biāo))的結(jié)果。圖10B表示根據(jù)本發(fā)明從四個(gè)對(duì)象提取目標(biāo)圖像中提取男性衣服(要提取的目標(biāo))的結(jié)果。
本發(fā)明可以作為程序來(lái)實(shí)現(xiàn)，該程序可以在計(jì)算機(jī)中執(zhí)行。該程序能夠在通用數(shù)字計(jì)算機(jī)中使用一種媒體來(lái)實(shí)現(xiàn)，該媒體能夠應(yīng)用到計(jì)算機(jī)中。該媒體可以是一種磁存儲(chǔ)媒體(例如，只讀存儲(chǔ)器(ROM)、硬盤、或軟盤)、一種光可讀媒體(例如，CD-ROM、DVD)或一種載波(例如，通過(guò)互連網(wǎng)絡(luò)傳輸)。
如上所述，不同于傳統(tǒng)的基于移動(dòng)的目標(biāo)提取，不管該目標(biāo)移動(dòng)與否，本發(fā)明允許提取對(duì)象提取目標(biāo)圖像中的目標(biāo)。另外，對(duì)象提取目標(biāo)圖像不需要是移動(dòng)圖像畫(huà)面順序。與只使用一種信息例如彩色特征或紋理特征來(lái)提取目標(biāo)的方法相比較，本發(fā)明實(shí)現(xiàn)更精確的目標(biāo)提取。由于執(zhí)行自動(dòng)目標(biāo)提取來(lái)響應(yīng)查詢圖像的輸入，該查詢圖像包括一要提取的目標(biāo)和一對(duì)象提取目標(biāo)圖像，本發(fā)明節(jié)約了人工提取目標(biāo)花費(fèi)的時(shí)間。本發(fā)明能夠有效地應(yīng)用到視頻編輯器、視頻寫(xiě)作工具、基于目標(biāo)的視頻譯碼器、交互式視頻寫(xiě)作工具等等，其中需要對(duì)特殊目標(biāo)的圖像區(qū)域進(jìn)行自動(dòng)提取。
雖然已經(jīng)參考其優(yōu)選實(shí)施例專門描述和顯示了本發(fā)明，不用說(shuō)，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)可以對(duì)其在形式和細(xì)節(jié)上進(jìn)行變化。因此，上面優(yōu)選實(shí)施例僅僅考慮用在描述的目的而不是用于限定的目的。因此，本發(fā)明的實(shí)際范圍由附加的權(quán)利要求來(lái)定義。
權(quán)利要求
1.一種用于從圖像中提取目標(biāo)的裝置，包含一圖像輸入單元，用于接收一查詢圖像，該查詢圖像包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像，從該對(duì)象提取目標(biāo)圖像中提取包括在查詢圖像中的目標(biāo)；一目標(biāo)位置確定單元，用于在對(duì)象提取目標(biāo)圖像中，使用基于彩色特征匹配的像素確定目標(biāo)的位置；一圖像分段單元，用于使用包括彩色或紋理的圖像特征，把每個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域；和一目標(biāo)區(qū)域確定單元，用于在查詢圖像中的分段區(qū)域和對(duì)象提取目標(biāo)圖像中確定的目標(biāo)位置中的分段區(qū)域之間，使用彩色或紋理特征執(zhí)行匹配，并且使用在作為匹配的結(jié)果獲得的相同區(qū)域之間的空間鄰接中的相似性來(lái)確定最后的目標(biāo)區(qū)域。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述目標(biāo)位置確定單元包含一彩色直方圖計(jì)算器，用于計(jì)算關(guān)于查詢圖像和對(duì)象提取目標(biāo)圖像的彩色直方圖；一圖像投影儀，用于用比例直方圖來(lái)代替關(guān)于查詢圖像和對(duì)象提取目標(biāo)圖像的像素值；一候選目標(biāo)位置確定器，用于在具有比例直方圖的對(duì)象提取目標(biāo)圖像中確定候選目標(biāo)位置。
3.根據(jù)權(quán)利要求2所述的裝置，其特征在于，彩色直方圖計(jì)算器計(jì)算在關(guān)于每個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像的量化彩色空間中像素的數(shù)量。
4.根據(jù)權(quán)利要求2所述的裝置，其特征在于，候選目標(biāo)位置確定器執(zhí)行對(duì)于一掩蔽圖像值的卷積，所述掩蔽圖像根據(jù)最小的圍框來(lái)確定，所述圍框圍繞包括在具有比例直方圖的查詢圖像和對(duì)象提取目標(biāo)圖像中的目標(biāo)；計(jì)算像素之間的彩色距離差，這些像素的卷積結(jié)果的值不小于在對(duì)象提取目標(biāo)圖像中預(yù)定的閾值；并且根據(jù)得到的關(guān)于每個(gè)像素的彩色距離平均值、以平均值的升序把像素確定為候選目標(biāo)位置。
5.根據(jù)權(quán)利要求1所述的裝置，其特征在于，圖像分段單元使用包括彩色或紋理的圖像特征，把查詢圖像和對(duì)象提取目標(biāo)圖像分段成區(qū)域。
6.根據(jù)權(quán)利要求1所述的裝置，其特征在于，目標(biāo)區(qū)域確定單元包含一區(qū)域匹配單元，用于使用至少包括彩色或紋理的圖像特征，對(duì)于查詢圖像分段區(qū)域和與對(duì)象提取目標(biāo)圖像中的目標(biāo)位置對(duì)應(yīng)的分段區(qū)域執(zhí)行區(qū)域匹配，并根據(jù)區(qū)域匹配的結(jié)果來(lái)確定對(duì)象提取目標(biāo)圖像是否包括目標(biāo)；一鄰接矩陣計(jì)算器，用于計(jì)算關(guān)于分段查詢圖像的空間鄰接矩陣，并計(jì)算關(guān)于一圖像的空間鄰接矩陣，所述圖像從與被確定為具有目標(biāo)的分段對(duì)象提取目標(biāo)圖像相匹配的區(qū)域中得出；一對(duì)應(yīng)區(qū)域檢測(cè)器，用于使用由鄰接矩陣計(jì)算器計(jì)算的鄰接矩陣，檢測(cè)查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域；和一相似計(jì)算器，用于根據(jù)對(duì)應(yīng)區(qū)域來(lái)計(jì)算查詢圖像和對(duì)象提取目標(biāo)圖像之間的相似性，并確定最后的目標(biāo)區(qū)域。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，區(qū)域匹配單元檢測(cè)分段對(duì)象提取目標(biāo)圖像中的一分段區(qū)域，該分段區(qū)域包括處于預(yù)定目標(biāo)位置的像素和滿足根據(jù)圍繞查詢圖像中目標(biāo)的區(qū)域而確定的掩蔽圖像，計(jì)算每個(gè)檢測(cè)區(qū)域和每個(gè)查詢圖像的分段區(qū)域之間的相似性距離，并確定對(duì)象提取目標(biāo)圖像是否包括該目標(biāo)。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述鄰接矩陣計(jì)算器給查詢圖像的分段區(qū)域和對(duì)象提取目標(biāo)圖像中包括查詢圖像目標(biāo)的分段區(qū)域指定標(biāo)號(hào)，并形成鄰接矩陣，該鄰接矩陣中當(dāng)對(duì)應(yīng)的區(qū)域相鄰時(shí)每個(gè)元素具有第一值，當(dāng)它們不相鄰時(shí)具有第二值，所述鄰接矩陣分別表示在查詢圖像和對(duì)象提取目標(biāo)圖像中指定標(biāo)號(hào)的分段區(qū)域如何鄰近的信息。
9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述對(duì)應(yīng)區(qū)域檢測(cè)器根據(jù)查詢圖像中的分段區(qū)域的數(shù)量是否大于或小于對(duì)象提取目標(biāo)圖像中的分段區(qū)域的數(shù)量，使用該鄰接矩陣以不同的方式形成一比較矩陣，來(lái)表示查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域。
10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述對(duì)應(yīng)區(qū)域檢測(cè)器使用該鄰接矩陣和只使用對(duì)象提取目標(biāo)圖像中的分段區(qū)域形成一比較矩陣，來(lái)表示查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域，所述分段區(qū)域具有相對(duì)于查詢圖像中具有標(biāo)號(hào)的分段區(qū)域來(lái)說(shuō)最相似的圖像特征。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述對(duì)應(yīng)區(qū)域檢測(cè)器使用一距離矩陣來(lái)確定分段區(qū)域，所述分段區(qū)域相對(duì)于對(duì)象提取目標(biāo)圖像中查詢圖像的分段區(qū)域來(lái)說(shuō)具有最相似的圖像特征，并根據(jù)查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域來(lái)重建比較矩陣。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述距離矩陣以查詢圖像的標(biāo)號(hào)為行值，以對(duì)象提取目標(biāo)圖像的標(biāo)號(hào)為列值，且距離矩陣中的每個(gè)元素是查詢圖像中指定一個(gè)標(biāo)號(hào)的區(qū)域和對(duì)象提取目標(biāo)圖像中指定一個(gè)標(biāo)號(hào)的區(qū)域之間的距離。
13.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述相似計(jì)算器通過(guò)在比較矩陣中把上三角矩陣中具有第一值的元素?cái)?shù)量與上三角矩陣中所有元素的數(shù)量相除來(lái)計(jì)算相似性。
14.一種從圖像中提取目標(biāo)的方法，包含以下步驟(a)接收一查詢圖像，該查詢圖像包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像，從該對(duì)象提取目標(biāo)圖像中提取包括在查詢圖像中的目標(biāo)；(b)在對(duì)象提取目標(biāo)圖像中使用基于彩色特征匹配的像素來(lái)確定目標(biāo)位置；(c)使用包括彩色或紋理的圖像特征，把查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域；和(d)使用彩色或紋理特征，在查詢圖像中的分段區(qū)域和對(duì)象提取目標(biāo)圖像中確定的目標(biāo)位置中的分段區(qū)域之間執(zhí)行匹配，并且使用在作為匹配的結(jié)果得到匹配區(qū)域之間的空間相鄰中的相似性來(lái)確定最后的目標(biāo)區(qū)域。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，步驟(b)包含以下步驟；(b1)計(jì)算關(guān)于查詢圖像和對(duì)象提取目標(biāo)圖像的彩色直方圖；(b2)用比例直方圖代替關(guān)于查詢圖像和對(duì)象提取目標(biāo)圖像的彩色直方圖；和(b3)在具有比例直方圖的對(duì)象提取目標(biāo)圖像中確定候選目標(biāo)位置。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，步驟(b1)包含關(guān)于每個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像計(jì)算量化彩色空間中每個(gè)圍箱上像素的數(shù)量。
17.根據(jù)權(quán)利要求16所述的方法，其特征在于，步驟(b2)包含計(jì)算比例直方圖，方法是把關(guān)于查詢圖像的每個(gè)圍箱中的像素?cái)?shù)量與關(guān)于查詢圖像的所有圍箱中的像素?cái)?shù)量相除。
18.根據(jù)權(quán)利要求16所述的方法，其特征在于，步驟(b2)包含定義該直方圖作為關(guān)于查詢圖像的每個(gè)圍箱中的像素?cái)?shù)量與關(guān)于對(duì)象提取目標(biāo)圖像的每個(gè)圍箱中的像素?cái)?shù)量的比率。
19.根據(jù)權(quán)利要求15所述的方法，其特征在于，步驟(b3)包含；(b3-1)在根據(jù)最小圍框確定的掩蔽圖像值基礎(chǔ)上執(zhí)行卷積，所述圍框圍繞包括在具有比例直方圖的查詢圖像和對(duì)象提取目標(biāo)圖像中的目標(biāo)；(b3-2)在像素間計(jì)算彩色距離差，關(guān)于這些像素的卷積結(jié)果值不小于對(duì)象提取目標(biāo)圖像中預(yù)定閾值；和(b3-3)根據(jù)得到的關(guān)于每個(gè)像素的彩色距離差平均值，以平均值的升序，把像素確定為候選目標(biāo)位置。
20.根據(jù)權(quán)利要求19所述的方法，其特征在于，像素(xp，yp)處的掩蔽圖像是一個(gè)圓，其定義為 WR=α(bs+(bl-bs)bsbl)]]>bl表示圍框較長(zhǎng)邊的長(zhǎng)度，bs表示該圍框較短邊的長(zhǎng)度，且α表示用于調(diào)節(jié)掩蔽圖像尺寸的變量。
21.根據(jù)權(quán)利要求19所述的方法，其特征在于，所述平均彩色距離差定義為ADpixelcolor=1NΣi=1N(Rq-Rd)2+(Gq-Gd)2+(Bq-Bd)2]]>N表示圍框內(nèi)有效像素的數(shù)量，q表示該查詢圖像，和d表示對(duì)象提取目標(biāo)圖像。
22.根據(jù)權(quán)利要求14所述的方法，其特征在于，步驟(d)包含以下步驟(d1)使用包括彩色或紋理的圖像特征，關(guān)于查詢圖像的分段區(qū)域和對(duì)象提取目標(biāo)圖像中對(duì)應(yīng)目標(biāo)位置的分段區(qū)域執(zhí)行區(qū)域匹配，并根據(jù)區(qū)域匹配的結(jié)果，確定該對(duì)象提取目標(biāo)圖像是否包括目標(biāo)；(d2)計(jì)算關(guān)于分段查詢圖像的空間鄰接矩陣，并計(jì)算關(guān)于一圖像的空間鄰接矩陣，所述圖像從與被確定為具有目標(biāo)的分段對(duì)象提取目標(biāo)圖像的相匹配的區(qū)域中得出；(d3)使用步驟(d2)中計(jì)算的鄰接矩陣，檢測(cè)在查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域；和(d4)根據(jù)對(duì)應(yīng)區(qū)域在查詢圖像和對(duì)象提取目標(biāo)圖像之間計(jì)算相似性，并確定最后的目標(biāo)區(qū)域。
23.根據(jù)權(quán)利要求22所述的方法，其特征在于，步驟(d1)包含以下步驟(d1-1)在分段對(duì)象提取目標(biāo)圖像中檢測(cè)一分段區(qū)域，該分段區(qū)域包括確定的目標(biāo)位置上的像素和滿足根據(jù)圍繞查詢圖像中目標(biāo)的區(qū)域而確定的掩蔽圖像；和(d2-2)計(jì)算每個(gè)檢測(cè)區(qū)域和查詢圖像的每個(gè)分段區(qū)域之間的彩色或紋理距離差來(lái)確定對(duì)象提取目標(biāo)圖像是否包括目標(biāo)。
24.根據(jù)權(quán)利要求23所述的方法，其特征在于，定義彩色或紋理距離差為圖像特征空間中兩個(gè)區(qū)域之間的距離，該圖像特征包括彩色或紋理，兩個(gè)區(qū)域之間的距離可以從下面計(jì)算得到Dct(x,y)=WcDc(x,y)+WtDt(x,y)Wc+Wt]]>Dc(x，y)和Dt(x，y)分別表示彩色空間中兩個(gè)區(qū)域x和y之間的距離和紋理空間中兩個(gè)區(qū)域x和y之間的距離，和Wc和Wt分別表示應(yīng)用到各自距離的加權(quán)系數(shù)。
25.根據(jù)權(quán)利要求22所述的方法，其特征在于，步驟(d2)包含給查詢圖像分段區(qū)域和對(duì)象提取目標(biāo)圖像中包括查詢圖像目標(biāo)的分段區(qū)域指定標(biāo)號(hào)，并構(gòu)成鄰接矩陣，在該矩陣中，當(dāng)對(duì)應(yīng)區(qū)域鄰接時(shí)每個(gè)元素具有第一值，當(dāng)對(duì)應(yīng)區(qū)域不鄰接時(shí)每個(gè)元素具有第二值，所述鄰接矩陣分別表示在查詢圖像和對(duì)象提取目標(biāo)圖像中指定標(biāo)號(hào)分段區(qū)域如何鄰接的信息。
26.根據(jù)權(quán)利要求22所述的方法，其特征在于，步驟(d3)包含根據(jù)查詢圖像中的分段區(qū)域的數(shù)量是否大于或小于對(duì)象提取目標(biāo)圖像中分段區(qū)域的數(shù)量，使用該鄰接矩陣以不同的方式構(gòu)成一比較矩陣，來(lái)表示查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域。
27.根據(jù)權(quán)利要求22所述的方法，其特征在于，步驟(d3)包含使用該鄰接矩陣和只使用對(duì)象提取目標(biāo)圖像中的分段區(qū)域形成一比較矩陣，來(lái)表示查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域，所述分段區(qū)域具有相對(duì)于查詢圖像中具有標(biāo)號(hào)的分段區(qū)域來(lái)說(shuō)最相似的圖像特征。
28.根據(jù)權(quán)利要求22所述的方法，其特征在于，步驟(d3)包含使用一距離矩陣確定該分段區(qū)域，所述分段區(qū)域相對(duì)于對(duì)象提取目標(biāo)圖像中查詢圖像的分段區(qū)域來(lái)說(shuō)具有最相似的圖像特征，并根據(jù)查詢圖像和對(duì)象提取目標(biāo)圖像之間的對(duì)應(yīng)區(qū)域來(lái)重建比較矩陣。
29.根據(jù)權(quán)利要求28所述的方法，其特征在于，所述距離矩陣以查詢圖像的標(biāo)號(hào)為行值，以對(duì)象提取目標(biāo)圖像的標(biāo)號(hào)為列值，且距離矩陣中的每個(gè)元素是查詢圖像中指定一個(gè)標(biāo)號(hào)的區(qū)域和對(duì)象提取目標(biāo)圖像中指定一個(gè)標(biāo)號(hào)的區(qū)域之間的距離。
30.根據(jù)權(quán)利要求22所述的方法，其特征在于，當(dāng)對(duì)應(yīng)區(qū)域鄰接時(shí)，所述鄰接矩陣中每個(gè)元素具有第一值，當(dāng)它們不鄰接時(shí)具有第二值，步驟(d4)包含通過(guò)在比較矩陣中把上三角矩陣中具有第一值的元素?cái)?shù)量與上三角矩陣中所有元素的數(shù)量相除來(lái)計(jì)算相似性。
31.根據(jù)權(quán)利要求26或27所述的方法，其特征在于，在步驟(d4)中，相似性從下面計(jì)算中得出Si=EuMu]]>當(dāng)對(duì)應(yīng)區(qū)域鄰接時(shí)，該鄰接矩陣中每個(gè)元素具有第一值，當(dāng)它們不鄰接時(shí)具有第二值，Eu表示比較矩陣的上三角矩陣中具有第一值元素的數(shù)量，Mu表示上三角矩陣中所有元素?cái)?shù)量。
32.一種計(jì)算機(jī)可讀記錄媒體，在其上記錄了用于在計(jì)算機(jī)中執(zhí)行權(quán)利要求14至31中任何一個(gè)的方法的程序。
全文摘要
提供一種根據(jù)圖像中分段區(qū)域之間的特征匹配來(lái)提取目標(biāo)的方法和裝置。該裝置包括一圖像輸入單元,用于接收查詢圖像,該圖像包括一目標(biāo)和一對(duì)象提取目標(biāo)圖像,從該目標(biāo)圖像中提取包括在查詢圖像中的目標(biāo);一目標(biāo)位置確定單元,用于在對(duì)象提取目標(biāo)圖像中,使用基于彩色特征匹配的像素確定目標(biāo)位置;一圖像分段單元,用于使用圖像特征包括彩色或紋理,把每個(gè)查詢圖像和對(duì)象提取目標(biāo)圖像分段成多個(gè)區(qū)域;和一目標(biāo)區(qū)域確定單元,用于使用彩色或紋理特征,在查詢圖像中的分段區(qū)域和確定的目標(biāo)位置中的分段區(qū)域之間執(zhí)行匹配,該目標(biāo)在對(duì)象提取目標(biāo)圖像中,并使用在匹配區(qū)域之間的空間鄰接中的相似性來(lái)確定最后的目標(biāo)區(qū)域。所述匹配區(qū)域作為匹配的結(jié)果得到。因此,能夠從對(duì)象提取目標(biāo)圖像中自動(dòng)地提取一特殊目標(biāo)的圖像區(qū)域。因此,該裝置能夠應(yīng)用到視頻編輯器、視頻創(chuàng)作工具、基于目標(biāo)的視頻編碼器、交互式視頻創(chuàng)作工具等。
文檔編號(hào)G06T7/00GK1384464SQ02121838
公開(kāi)日2002年12月11日 申請(qǐng)日期2002年1月18日 優(yōu)先權(quán)日2001年1月20日
發(fā)明者樸斗植, 金昌容, 金智淵, 金相均 申請(qǐng)人:三星電子株式會(huì)社