專(zhuān)利名稱(chēng)：表示和搜索圖像中的對(duì)象的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于表示圖像中的對(duì)象的方法和裝置，尤其是用于例如在多媒體數(shù)據(jù)庫(kù)中搜索的方法和裝置。本發(fā)明還涉及用于搜索圖像中的對(duì)象的方法和裝置。
眾所周知，利用出現(xiàn)在圖像中的對(duì)象的表示，例如在圖像庫(kù)中存儲(chǔ)靜止或視頻圖像。表示用在搜索方法中使包含感興趣的對(duì)象的圖像能夠被檢索。表示可能基于對(duì)象的各種特征，包括色彩、紋理和形狀。
已知各種用于表示圖像中對(duì)象的形狀的方法。已知方法包括鏈碼法、四元樹(shù)法以及曲率標(biāo)度空間表示法。
為了在圖像搜索系統(tǒng)中進(jìn)行搜索，用戶(hù)通過(guò)向系統(tǒng)提供所找對(duì)象的草圖或圖像，或者通過(guò)選擇存儲(chǔ)在系統(tǒng)中的對(duì)象的視圖，從而輸入查詢(xún)。然后系統(tǒng)導(dǎo)出或獲取查詢(xún)對(duì)象的表示，并且把查詢(xún)表示與存儲(chǔ)在數(shù)據(jù)庫(kù)中的圖像表示通過(guò)適當(dāng)?shù)钠ヅ浞椒ㄟM(jìn)行比較。把最接近的匹配結(jié)果顯示在顯示器上。
在大多數(shù)情況下，出現(xiàn)在視頻圖像中的對(duì)象是三維實(shí)物在二維像平面上的投影。因而，出現(xiàn)在圖像中的對(duì)象的二維形狀或輪廓以及可見(jiàn)對(duì)象表面的色彩和紋理取決于諸如觀察位置、觀察角度以及攝相機(jī)和光學(xué)系統(tǒng)參數(shù)之類(lèi)的因素。因此，對(duì)象具有與不同視圖相關(guān)的諸如輪廓、形狀、色彩、紋理等不同的特征。
將本申請(qǐng)的共同待審的專(zhuān)利申請(qǐng)PCT/GB00/01662通過(guò)引用結(jié)合于此，該申請(qǐng)公開(kāi)了一種用于表示出現(xiàn)在圖像中的對(duì)象的方法和裝置，其中，導(dǎo)出對(duì)象在多個(gè)不同二維視圖中的表示并使之相關(guān)而構(gòu)成對(duì)象表示。所述表示最好是對(duì)象形狀的表示，但是也可以是例如不同視圖中的色彩或紋理的表示。
當(dāng)對(duì)靜止圖像或電影等中的對(duì)象運(yùn)用上述方法時(shí)，會(huì)有與圖像相關(guān)的若干形狀或其它描述符來(lái)表示與不同視圖相關(guān)的對(duì)象特征。但是，通常這些視圖中任何一個(gè)在原始圖像中都是可見(jiàn)的。其中一些特征可能與對(duì)象的不可見(jiàn)部分相關(guān)，而且僅用于描述對(duì)象的三維屬性。
如果無(wú)法確定對(duì)象的多個(gè)視圖中哪些可見(jiàn)、哪些不可見(jiàn)，搜索方法就不能準(zhǔn)確地找到指定視圖。例如，利用側(cè)視圖搜索描述汽車(chē)的圖像，還會(huì)找到汽車(chē)的頂視圖和正視圖。
本發(fā)明的思想在于使用可見(jiàn)性標(biāo)記，標(biāo)明哪些描述符實(shí)際上是關(guān)于這些描述符所鏈接到的圖像或電影內(nèi)的可見(jiàn)特征。
因此，本發(fā)明提供一種表示圖像中出現(xiàn)的對(duì)象的方法，所述方法包括導(dǎo)出對(duì)象的多個(gè)視圖描述符，各視圖描述符對(duì)應(yīng)于對(duì)象的不同視圖；以及指明何時(shí)視圖對(duì)應(yīng)于圖像中出現(xiàn)的對(duì)象的一個(gè)視圖。
在PCT/GB00/01662中公開(kāi)的發(fā)明中，形狀描述符與一段多媒體內(nèi)容內(nèi)出現(xiàn)的對(duì)象相關(guān)。這些描述符描述了不同視圖中對(duì)象的形狀。這些視圖可以是多媒體素材中或者可見(jiàn)的或者不可見(jiàn)的。可見(jiàn)性標(biāo)記存儲(chǔ)這種可見(jiàn)性信息。
當(dāng)?shù)玫礁鱾€(gè)視圖的可見(jiàn)性數(shù)據(jù)時(shí)，所述搜索方法能夠在需要時(shí)濾出不可見(jiàn)視圖內(nèi)的對(duì)象。
下面參照附圖描述本發(fā)明的實(shí)施例，圖中

圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)的框圖；圖2是說(shuō)明視頻序列中對(duì)象的表示的示意圖；圖3是說(shuō)明靜止圖像中對(duì)象的表示的示意圖；圖4是說(shuō)明第一搜索方法的結(jié)果的示意圖；圖5是說(shuō)明第二搜索方法的結(jié)果的示意圖。
圖1中表示根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)。所述系統(tǒng)包括控制單元2，比如用于控制系統(tǒng)操作的計(jì)算機(jī)；顯示單元4，比如監(jiān)視器，它與控制單元2相連，用于顯示包括圖像和文本的輸出；以及指示裝置6，比如鼠標(biāo)，用于向控制單元2輸入指令。所述系統(tǒng)還包括圖像數(shù)據(jù)庫(kù)8，它存儲(chǔ)多個(gè)靜止圖像的數(shù)字形式，并且以視頻序列的形式存儲(chǔ)圖像組；以及描述符數(shù)據(jù)庫(kù)10，它存儲(chǔ)關(guān)于圖像數(shù)據(jù)庫(kù)8中存儲(chǔ)的靜止圖像和視頻序列的每一個(gè)中出現(xiàn)的對(duì)象的描述符信息，下文會(huì)詳細(xì)描述。圖像數(shù)據(jù)庫(kù)8和描述符數(shù)據(jù)庫(kù)10各連接到控制單元2。
在本實(shí)施例中，系統(tǒng)的各要素在單個(gè)位置上提供，如圖像庫(kù)，其中系統(tǒng)的各部分是永久地鏈接的。
下面描述根據(jù)本發(fā)明的實(shí)施例導(dǎo)出對(duì)象的描述符的方法。首先，就具有相對(duì)簡(jiǎn)單形狀的對(duì)象(本例中為圓柱形對(duì)象)描述本方法。
在本例中，在圖像數(shù)據(jù)庫(kù)8中存儲(chǔ)的視頻序列中，圓柱形對(duì)象出現(xiàn)兩次。參照?qǐng)D2，在第一次出現(xiàn)時(shí)，對(duì)象輪廓對(duì)應(yīng)于視圖1，這是從側(cè)面看的視圖，在第二次出現(xiàn)時(shí)，對(duì)象輪廓對(duì)應(yīng)于視圖3，這是從側(cè)面上方看的透視圖。
數(shù)據(jù)庫(kù)索引器(indexer)識(shí)別出這兩個(gè)輪廓是同一對(duì)象的，并且對(duì)應(yīng)于這些輪廓的三維對(duì)象是圓柱體。對(duì)于視圖1和視圖3中的每一個(gè)，導(dǎo)出采用曲率標(biāo)度空間(CSS)表示的形狀描述符。而且，數(shù)據(jù)庫(kù)索引器選擇被認(rèn)為是代表該對(duì)象的任何附加視圖，即使它們未出現(xiàn)在所考慮的視頻序列中。在本例中，選擇視圖2作為代表，視圖2是從上方看的圓柱體的視圖。還獲取該視圖的CSS表示。
論文“通過(guò)曲率標(biāo)度空間的健壯和有效的形狀索引”(由FarzinMokhtarian，Sadegh Abbassi和Josef Kittler發(fā)表，見(jiàn)于Proc.BritishMachine Vision Conference，第53-62頁(yè)，Edinburgh，UK1996)描述了一種曲率標(biāo)度空間表示的方法，現(xiàn)將其通過(guò)引用結(jié)合于此。簡(jiǎn)言之，表示形狀的輪廓的曲線通過(guò)平滑該曲線而得到演化。在演化的多個(gè)不同階段上考慮曲線。更明確地說(shuō)，在演化的各階段上，在曲率函數(shù)中識(shí)別曲率過(guò)零點(diǎn)。通過(guò)將來(lái)自演化的所有階段的過(guò)零點(diǎn)組合，得到曲率過(guò)零點(diǎn)的曲線圖。該曲線圖的一條軸對(duì)應(yīng)于σ，它表示曲線的演化參數(shù)，另一條軸對(duì)應(yīng)于曲線弧長(zhǎng)參數(shù)u。形狀則由曲線圖中輪廓的最大值的位置來(lái)表示。
對(duì)于每個(gè)視圖，形成視圖描述符，包括適當(dāng)?shù)腃SS表示。視圖描述符可包括其他信息，諸如PCT/GB00/01662中描述的全程參數(shù)，或者相應(yīng)可見(jiàn)表面的色彩/紋理屬性。
將視圖形狀描述符組合而形成3D對(duì)象形狀描述符。此外，可見(jiàn)性標(biāo)記與對(duì)象描述符相關(guān)，指示在視頻序列中的至少一幀中給定視圖是否是可見(jiàn)的。在本實(shí)例中，可見(jiàn)性標(biāo)記構(gòu)成各視圖描述符的一部分。因此，這里，視圖1和視圖3的視圖描述符均包括可見(jiàn)性標(biāo)記“1”，指示該視圖在視頻的一幀中是可見(jiàn)的，視圖2的視圖描述符具有可見(jiàn)性標(biāo)記“0”，指示該視圖在任何幀中都不可見(jiàn)。
對(duì)于出現(xiàn)在圖像數(shù)據(jù)庫(kù)8中的圖像或圖像組中的所有感興趣的對(duì)象，以上述方式得到3D對(duì)象形狀描述符。
作為另一實(shí)例，參照?qǐng)D3，對(duì)圖片中出現(xiàn)的汽車(chē)導(dǎo)出三個(gè)視圖。對(duì)各視圖中的汽車(chē)輪廓，按照上述方式獲得包括CSS表示的相應(yīng)的視圖描述符。第一視圖對(duì)應(yīng)于圖片中的視圖，因而，相關(guān)的視圖描述符具有可見(jiàn)性標(biāo)記“1”，指明這是一個(gè)可見(jiàn)視圖。另兩個(gè)視圖的視圖描述符具有可見(jiàn)性標(biāo)記“0”，指明它們對(duì)應(yīng)于圖片中未示出的視圖。在本例中，當(dāng)從圖片中抽取輪廓時(shí)，確定可見(jiàn)性標(biāo)記。換言之，如果一個(gè)形狀是直接從圖片中抽取的，則它得到可見(jiàn)性標(biāo)記“1”，但如果該形狀是通過(guò)索引器選擇的，則它具有可見(jiàn)性標(biāo)記“0”。另外，可見(jiàn)性標(biāo)記可以在后來(lái)通過(guò)查看來(lái)手工添加。
各視圖描述符還具有參考指針，指示它出現(xiàn)在哪個(gè)圖像中或者哪個(gè)視頻序列中的哪一幀中，還指示它是圖像或幀中的哪個(gè)對(duì)象，例如，一個(gè)對(duì)象的視圖可能具有指針，指示它出現(xiàn)在視頻181的幀1000中，它是第3號(hào)對(duì)象。
描述符數(shù)據(jù)庫(kù)10存儲(chǔ)關(guān)于圖像數(shù)據(jù)庫(kù)8中存儲(chǔ)的圖像和視頻序列中的對(duì)象的3D對(duì)象形狀描述符。
在上述實(shí)施例中，對(duì)于出現(xiàn)在視頻序列中的對(duì)象，對(duì)整個(gè)序列導(dǎo)出一組視圖描述符，并且用視圖描述符來(lái)指示相關(guān)視圖是否出現(xiàn)在該序列的至少一幀中。在另一實(shí)施例中，分別處理各幀。更具體地說(shuō)，對(duì)出現(xiàn)在幀中的對(duì)象導(dǎo)出一組視圖描述符，并且可見(jiàn)性標(biāo)記指示相關(guān)視圖是否出現(xiàn)在該幀中，而不管它是否出現(xiàn)在該序列的另一幀中。在另一備選實(shí)施例中，對(duì)出現(xiàn)在視頻序列中的對(duì)象導(dǎo)出一組視圖描述符，而且對(duì)各幀導(dǎo)出并存儲(chǔ)一組相應(yīng)的可見(jiàn)性標(biāo)記。
在搜索圖像中的對(duì)象的方法中使用可見(jiàn)性標(biāo)記，如下所述。
用戶(hù)通過(guò)輸入查詢(xún)發(fā)起搜索。該查詢(xún)是利用指示裝置6在顯示單元4上畫(huà)出一個(gè)或多個(gè)形狀輪廓而輸入的。然后，控制單元2對(duì)查詢(xún)視圖導(dǎo)出CSS視圖描述符?；蛘?，用戶(hù)可在由控制單元2在顯示單元4上顯示的形狀菜單中選擇一個(gè)或多個(gè)查詢(xún)形狀而輸入查詢(xún)。在這種情況下，描述符數(shù)據(jù)庫(kù)10中可能已有視圖描述符。用戶(hù)還通過(guò)檢查一個(gè)框來(lái)指示是否搜索應(yīng)當(dāng)限制在與查詢(xún)視圖相同的視圖中。如果不這樣限定搜索，則基本上按照PCT/GB00/01662中描述的，通過(guò)確定查詢(xún)對(duì)象描述符與描述符數(shù)據(jù)庫(kù)10中存儲(chǔ)的對(duì)象描述符(下文稱(chēng)為模型對(duì)象描述符)之間的相似性，執(zhí)行搜索和匹配程序。
簡(jiǎn)言之，在比較器中，對(duì)于所考慮的模型對(duì)象描述符，將各個(gè)查詢(xún)視圖描述符與各個(gè)模型視圖描述符相比，使用匹配函數(shù)導(dǎo)出視圖相似性度量。第i個(gè)查詢(xún)視圖描述符與第j個(gè)模型視圖描述符的比較產(chǎn)生視圖相似性度量Si，j。當(dāng)有一個(gè)以上的查詢(xún)視圖時(shí)，取視圖相似性度量的中值作為對(duì)象相似性度量S。
匹配程序產(chǎn)生n個(gè)相似性度量S，其中n是描述符數(shù)據(jù)庫(kù)中的3D對(duì)象描述符的數(shù)量。然后，從指示最接近匹配的最小值開(kāi)始對(duì)n個(gè)相似性度量進(jìn)行排序。然后選擇m個(gè)最小值，其中m是用戶(hù)選擇的值或者由控制單元的設(shè)置所確定的值，而且在顯示單元4上顯示包括對(duì)象的相應(yīng)的m個(gè)圖像(其中的一些可以是視頻序列中的圖像)。
如果搜索限制在與查詢(xún)視圖相同的視圖，則在搜索過(guò)程中濾出不可見(jiàn)模型視圖。這可以通過(guò)利用匹配函數(shù)來(lái)匹配查詢(xún)視圖描述符與模型視圖描述符來(lái)完成，其中該模型視圖描述符指明相應(yīng)的視圖在圖像中是可見(jiàn)的。換言之，當(dāng)利用匹配函數(shù)計(jì)算相似性度量時(shí)，具有可見(jiàn)性標(biāo)記“0”的模型視圖描述符被省去?；蛘撸梢詫?duì)所有模型視圖描述符計(jì)算視圖相似性度量，但是從進(jìn)一步處理中省去關(guān)于可見(jiàn)性標(biāo)記為零的模型視圖描述符的結(jié)果?；蛘?，當(dāng)選擇供顯示的搜索結(jié)果時(shí)，可以考慮該可見(jiàn)性標(biāo)記。當(dāng)顯示匹配程序的結(jié)果時(shí)，在視頻序列的情況下，顯示包含匹配視圖的幀。
圖4表示PCT/GB00/01662中公開(kāi)的多視圖搜索方法如何尋找和返回同樣形狀但不是與查詢(xún)項(xiàng)相同的視圖的結(jié)果。圖5從另一方面說(shuō)明各視圖描述符內(nèi)的可見(jiàn)性標(biāo)記如何能幫助返回同樣形狀而且是與查詢(xún)項(xiàng)相同的視圖的結(jié)果。
根據(jù)本發(fā)明的系統(tǒng)可以例如設(shè)置在圖像庫(kù)中?；蛘?，數(shù)據(jù)庫(kù)可以遠(yuǎn)離系統(tǒng)的控制單元，通過(guò)臨時(shí)連接(如電話線)或網(wǎng)絡(luò)(比如因特網(wǎng))連接到控制單元?？梢岳缭谟谰么鎯?chǔ)器或便攜式數(shù)據(jù)存儲(chǔ)媒體、如CD-ROM或DVD中設(shè)置圖像和描述符數(shù)據(jù)庫(kù)。
所述系統(tǒng)的各部件、如選擇器和比較器可以軟件或硬件形式設(shè)置。盡管本發(fā)明以計(jì)算機(jī)系統(tǒng)的形式來(lái)描述，但是它可以用其它形式、如利用專(zhuān)用芯片來(lái)實(shí)現(xiàn)。
已經(jīng)給出表示對(duì)象的2D形狀的方法和計(jì)算表示兩形狀之間相似性的值的方法的特定實(shí)例，但是，可以使用任何適當(dāng)?shù)倪@類(lèi)方法。
構(gòu)成完整或準(zhǔn)完整形狀描述的對(duì)象的各種視圖可以由制片人來(lái)提供。例如，在包括汽車(chē)的電影中，制片人可以安排拍攝20個(gè)不同的汽車(chē)場(chǎng)景，用以在數(shù)據(jù)庫(kù)中為該電影編索引?；蛘撸梢栽谛蛄兄械膶?duì)象的所有不同視圖之間設(shè)置鏈接，使這些視圖能夠被找到，序列中未出現(xiàn)的任何有用視圖的形狀可以例如在包括對(duì)象的第一視圖的數(shù)據(jù)時(shí)提供。
本發(fā)明還可用于例如為驗(yàn)證目的而匹配各對(duì)象的圖像，或者用于濾波。
本發(fā)明適用于單個(gè)圖像、圖像序列中的圖像(如電影或視頻中的圖像)、或者以某種方式(如在同一網(wǎng)頁(yè)上)相聯(lián)系的圖像集。
在上述實(shí)施例中，視圖描述符是從不同視圖中的對(duì)象形狀導(dǎo)出的?？梢詮膶?duì)象的其它特征、比如或者代替形狀或者作為形狀的一部分的色彩或紋理導(dǎo)出。對(duì)象的各種特征如形狀、色彩、紋理可以單獨(dú)或結(jié)合起來(lái)構(gòu)成視圖描述符的基礎(chǔ)，并且視圖描述符可以基于不同視圖的不同特征。
權(quán)利要求
1.一種產(chǎn)生表示在一個(gè)圖像或一組圖像中出現(xiàn)的對(duì)象的數(shù)據(jù)的方法，該方法包括導(dǎo)出所述對(duì)象的多個(gè)視圖描述符，每個(gè)視圖描述符對(duì)應(yīng)于所述對(duì)象的一個(gè)不同視圖，還包括將所述視圖描述符同信息相聯(lián)系以產(chǎn)生所述數(shù)據(jù)，該信息指明相應(yīng)的視圖是否對(duì)應(yīng)于所述圖像或所述圖像組中出現(xiàn)的所述對(duì)象的一個(gè)視圖，其中，至少一個(gè)視圖描述符包括所述相應(yīng)視圖中所述對(duì)象的形狀的一個(gè)表示。
2.如權(quán)利要求1所述的方法，其特征在于所述信息是一個(gè)標(biāo)記，該標(biāo)記指明所述相應(yīng)的視圖是否出現(xiàn)在所述圖像或所述圖像組中至少一個(gè)圖像中。
3.如權(quán)利要求1所述的方法，其特征在于包括對(duì)于各個(gè)視圖描述符，為所述圖像或所述圖像組中的每個(gè)圖像指明所述相應(yīng)的視圖是否對(duì)應(yīng)于所述圖像中出現(xiàn)的所述對(duì)象的一個(gè)視圖。
4.如權(quán)利要求1所述的方法，其特征在于，所述圖像組是圖像序列。
5.如權(quán)利要求4所述的方法，其特征在于，所述圖像序列是來(lái)自一段視頻信號(hào)或電影。
6.如權(quán)利要求1所述的方法，其特征在于，所述包括所述相應(yīng)視圖中所述對(duì)象的形狀的一個(gè)表示的視圖描述符是利用曲率標(biāo)度空間表示導(dǎo)出的。
7.如權(quán)利要求1所述的方法，其特征在于，該方法是用于為搜索的目的而給圖像或圖像組編索引。
8.一種用來(lái)控制系統(tǒng)操作的控制單元，該系統(tǒng)適于產(chǎn)生表示一個(gè)圖像或圖像組中出現(xiàn)的對(duì)象的數(shù)據(jù)，其中，該控制單元導(dǎo)出所述對(duì)象的多個(gè)視圖描述符，各個(gè)視圖描述符對(duì)應(yīng)于所述對(duì)象的不同視圖，還包括將所述視圖描述符同信息相聯(lián)系以產(chǎn)生所述數(shù)據(jù)，該信息指明所述相應(yīng)的視圖是否對(duì)應(yīng)于所述圖像或所述圖像組中出現(xiàn)的所述對(duì)象的一個(gè)視圖，其中，至少一個(gè)視圖描述符包括所述相應(yīng)視圖中所述對(duì)象的形狀的一個(gè)表示。
9.一種適于產(chǎn)生表示圖像中出現(xiàn)的對(duì)象的數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括如權(quán)利要求8所述的控制單元。
10.如權(quán)利要求9所述的系統(tǒng)，該系統(tǒng)包括連接到所述控制單元的存儲(chǔ)裝置，用來(lái)存儲(chǔ)諸圖像和/或諸圖像的表示。
11.如權(quán)利要求10所述的系統(tǒng)，其中所述存儲(chǔ)裝置是圖像數(shù)據(jù)庫(kù)和/或描述符數(shù)據(jù)庫(kù)。
12.如權(quán)利要求9所述的系統(tǒng)，包括連接于所述控制單元的顯示單元，用來(lái)顯示輸出，和/或包括將指令輸入到所述控制單元的設(shè)備。
全文摘要
一種表示圖像中出現(xiàn)的對(duì)象的方法，該方法包括導(dǎo)出所述對(duì)象的多個(gè)視圖描述符，各個(gè)視圖描述符對(duì)應(yīng)于所述對(duì)象的不同視圖，并將兩個(gè)或兩個(gè)以上視圖描述符相聯(lián)系，所述方法包括為各個(gè)視圖描述符指示何時(shí)相應(yīng)的視圖對(duì)應(yīng)于圖像中出現(xiàn)的對(duì)象的視圖。
文檔編號(hào)H04N5/91GK1896993SQ200610093458
公開(kāi)日2007年1月17日 申請(qǐng)日期2001年7月6日 優(yōu)先權(quán)日2000年7月7日
發(fā)明者M·博伯, J·庫(kù)珀 申請(qǐng)人:三菱電機(jī)株式會(huì)社