視頻檢索方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于視頻檢索的方法和裝置。
【背景技術(shù)】
[0002]傳統(tǒng)視頻檢索系統(tǒng)，例如google視頻搜索、Youtube等，只依賴于用戶輸入的文字查詢條件?；谟脩糨斎氲乃阉魑淖?例如關(guān)鍵字)，傳統(tǒng)視頻檢索系統(tǒng)將通過對標(biāo)題、注解或者周圍文字(text surrounding)執(zhí)行文字匹配來搜索相關(guān)視頻材料。這種基于文字的方法存在兩個缺陷。第一個缺陷是用戶通常不愿意輸入這種文字信息，特別是不愿意輸入關(guān)于整個視頻文件的詳細(xì)描述。另外一個缺陷是輸入的注解大部分只對視頻進(jìn)行非常簡短的描述，其質(zhì)量通常不高。
[0003]對于基于初級內(nèi)容的視頻檢索已經(jīng)存在許多研宄活動，例如卡內(nèi)基梅隆大學(xué)的Informedia數(shù)字視頻圖書館項目(http://www.1nformedia.cs.emu.edu/)。該項目試圖獲得對于視頻和電影媒體的機(jī)器理解，包括搜索、檢索、可視化和匯總的各個方面。開發(fā)的基礎(chǔ)技術(shù)將語音、圖像和自然語言理解進(jìn)行結(jié)合以自動地抄寫、分割和標(biāo)記線形視頻以進(jìn)行智能搜索和圖像檢索。
[0004]基于實例的搜索方法得到了廣泛的研宄，用于在基于初級內(nèi)容的多媒體檢索中描述用戶的搜索意圖。例如，采用圖像實例或者樂曲片斷，可以從相應(yīng)的多媒體數(shù)據(jù)庫中檢索出相似圖片或者包含該樂曲片斷的整個音樂。但是，在基于初級內(nèi)容的多媒體檢索中，用戶很難描述其視頻搜索意圖。對人們而言最方便的方式是利用詞語或句子來表示。另外，在很多現(xiàn)實應(yīng)用中，很難找到實例來描述用戶的信息需求。因此，對于基于初級內(nèi)容的視頻檢索，在用戶的意圖描述與檢索系統(tǒng)的理解能力之間存在巨大的語義鴻溝(semantic gap)。用戶大部分情況下偏好輸入文字類型的查詢要求，而基于內(nèi)容的視頻檢索方法主要是基于輸入的實例查詢條件。用戶很難產(chǎn)生或者找到適當(dāng)?shù)挠糜谝曨l檢索的查詢條件實例。
[0005]為了橋接初級特征與用戶的搜索意圖之間的語義鴻溝，許多研宄通過手動輸入的注解或者通過自動內(nèi)容識別來對多媒體進(jìn)行注解。手動注解與基于文字的檢索表現(xiàn)出相同的缺點。機(jī)器自動注解過于困難，短期內(nèi)似乎很難解決。摘要關(guān)鍵字幾乎不可能與圖像內(nèi)容相關(guān)聯(lián)。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明的一個方面，提出了一種用于視頻檢索的方法。所述方法包括:提供用戶界面，所述用戶界面用于用戶輸入與被檢索視頻相關(guān)的文字查詢條件；基于所述文字查詢條件進(jìn)行基于文字的圖像搜索以提供與所述視頻相關(guān)的多個圖像；基于用戶從所述多個圖像中選擇的一個圖像進(jìn)行基于實例的視頻檢索。
[0007]根據(jù)本發(fā)明的另一個方面，提出了一種用于視頻檢索的裝置。所述裝置包括:用于提供用戶界面的裝置，所述用戶界面用于用戶輸入與被檢索視頻相關(guān)的文字查詢條件；基于所述文字查詢條件在圖像數(shù)據(jù)庫中進(jìn)行基于文字的圖像搜索以提供與所述視頻相關(guān)的多個圖像的裝置；基于用戶從所述多個圖像中選擇的一個圖像在視頻數(shù)據(jù)庫中進(jìn)行基于實例的視頻檢索的裝置。
[0008]可以理解，下述對本發(fā)明的詳細(xì)說明將介紹本發(fā)明的更多方面和優(yōu)勢。
【附圖說明】
[0009]附圖與用于解釋本發(fā)明原理的文字說明一起使本發(fā)明實施方式得到進(jìn)一步的理解，本發(fā)明不局限于所述實施方式。
[0010]其中:
[0011]圖1是根據(jù)本發(fā)明實施方式的用于視頻檢索的系統(tǒng)的示意圖；
[0012]圖2是根據(jù)本發(fā)明實施方式的用于視頻檢索的方法的流程圖；
[0013]圖3是用于用戶輸入文字查詢條件的視頻查詢條件對話框的示意圖；
[0014]圖4是Flickr中具有用于基于文字的圖像搜索的元數(shù)據(jù)的照片實例；和
[0015]圖5是根據(jù)本發(fā)明實施方式的用于視頻檢索的裝置的框圖。
【具體實施方式】
[0016]下面將結(jié)合附圖對本發(fā)明的實施方式進(jìn)行詳細(xì)說明。在下述說明中，出于簡潔之目的，對已知功能和結(jié)構(gòu)不再進(jìn)行詳細(xì)說明。
[0017]考慮到傳統(tǒng)技術(shù)的上述問題，本發(fā)明的實施方式提供了一種用于視頻檢索的方法和裝置。
[0018]根圖1是根據(jù)本發(fā)明實施方式的用于視頻檢索的系統(tǒng)的示意圖。
[0019]入圖1所示，根據(jù)本發(fā)明實施方式的視頻檢索系統(tǒng)提議首先進(jìn)行基于文字的搜索以提供與所述視頻相關(guān)的多個圖像，用戶從所述多個圖像中選擇一個圖像，基于該圖像進(jìn)行基于實例的視頻檢索以提供視頻檢索的輸出。
[0020]下面將對本發(fā)明的實施方式進(jìn)行詳細(xì)說明。
[0021]圖2是根據(jù)本發(fā)明實施方式的用于視頻檢索的方法的流程圖。
[0022]如圖2所示，根據(jù)本發(fā)明實施方式的用于視頻檢索的方法包括下述步驟:
[0023]S201:提供用戶界面，所述用戶界面用于用戶輸入與被檢索視頻相關(guān)的文字查詢條件；
[0024]S202:基于所述文字查詢條件進(jìn)行基于文字的圖像搜索以提供與所述視頻相關(guān)的多個圖像；
[0025]S203:基于用戶從所述多個圖像中選擇的一個圖像進(jìn)行基于實例的視頻檢索。
[0026]下面將對根據(jù)本發(fā)明實施方式的用于視頻檢索的方法進(jìn)行詳細(xì)說明。
[0027]根據(jù)步驟S101，向進(jìn)行視頻檢索的用戶提供用戶界面，使用戶能夠輸入與被檢索視頻相關(guān)的文字查詢條件。作為一個實施例，所述用戶界面可以是視頻查詢條件對話框，用戶利用該對話框可以輸入與視頻相關(guān)的文字查詢條件。圖3是用于用戶輸入文字查詢條件的視頻查詢條件對話框的示意圖。可以理解，還可以采用其他適當(dāng)形式的用戶界面。所述文字查詢條件是所述視頻內(nèi)容的詞語或句子形式的描述。利用文字查詢條件的原因在于，用戶在視頻檢索中表達(dá)他/她的意圖的最方便的方式就是采用文字描述，而非準(zhǔn)備圖像實例或?qū)δ繕?biāo)進(jìn)行描繪。
[0028]根據(jù)步驟S102，基于用戶輸入的所述文字查詢條件進(jìn)行基于文字的圖像搜索以提供與所述視頻相關(guān)的多個圖像?？梢栽谕獠繄D像數(shù)據(jù)庫上執(zhí)行所述基于文字的圖像搜索，所述外部圖像數(shù)據(jù)庫例如可以是圖像共享社交網(wǎng)絡(luò)和圖像搜索引擎。也可以在內(nèi)部圖像數(shù)據(jù)庫上執(zhí)行所述基于文字的圖像搜索，所述內(nèi)部圖像數(shù)據(jù)庫例如可以是用戶自己的圖像實例圖書館?？梢岳斫猓?dāng)采用外部圖像數(shù)據(jù)庫時，需要使用數(shù)據(jù)庫所要求的API (應(yīng)用程序接口)。需要指出，此方面任何合適的技術(shù)都可以用于所述基于文字的圖像搜索。
[0029]Flickr是能夠用于所述基于文字的圖像搜索的圖像共享社交網(wǎng)絡(luò)之一。當(dāng)在步驟S102中使用Flickr時，例如可以通過根據(jù)由Flickr的照片提供者加入的圖像注解的文字匹配執(zhí)行所述基于文字的圖像搜索。Flickr中的照片包含各種類型的元數(shù)據(jù)，范圍可能包括技術(shù)細(xì)節(jié)至更主觀的信息。初級方面，信息涉及照相機(jī)、快門速度、旋轉(zhuǎn)等。在高級方面，向Flickr上載照片的用戶可以加入標(biāo)題和相關(guān)描述，標(biāo)題和相關(guān)描述更可能從整體上描述該照片。圖4是Flickr中具有用于基于文字的圖像搜索的元數(shù)據(jù)的圖像實例。圖4中示出天鵝的照片，具有標(biāo)題和照片的相關(guān)描述，這些有可能是由圖像提供者加入的。在用戶輸入的文字查詢條件與照片的標(biāo)題和相關(guān)描述之間進(jìn)行文字匹配以估計該照片中的圖像是否與被檢索的視頻相關(guān)。
[0030]已知的圖像搜索引擎例如包括Google Image Searching、Yahoo Image和BingImage等。當(dāng)在步驟S102中使用Google Image Searching時，例如可以通過由GoogleImage Searching搜索的周圍文字進(jìn)行基于文字的圖像搜索。包含圖像的網(wǎng)頁中的文字是上述周圍文字的一個實例。Google Image Searching試圖找到周圍文字信息與所述用戶輸入的關(guān)鍵字檢索條件相關(guān)的圖像。
[0031]當(dāng)在內(nèi)部圖像數(shù)據(jù)庫上執(zhí)行基于文字的圖像搜索時，可以使用由所述內(nèi)部圖像數(shù)據(jù)庫的創(chuàng)建者加入的文字注解和文字標(biāo)簽。使用標(biāo)簽可以讓創(chuàng)建者利用簡單的關(guān)鍵字組合來描述其認(rèn)為與所述圖像相關(guān)的內(nèi)容。
[0032]從步驟S102的搜索結(jié)果(其可能包含多個圖像)中可以選擇一個相關(guān)圖像作為下面的視頻檢索的輸入。在此方面，因為某些圖像共享社交網(wǎng)絡(luò)和圖像搜索引擎可以根據(jù)圖像的相關(guān)性對基于文字的圖像搜索提供評級機(jī)制，有可能自動地選擇相關(guān)圖像。但是，優(yōu)選地，采用適當(dāng)?shù)挠脩艚缑鎸⒉襟ES102的搜索結(jié)果顯示給用戶，從而用戶可以瀏覽并選擇最相關(guān)的圖像，作為隨后的視頻檢索的輸入。本實施方式推薦由用戶進(jìn)行手動選擇的原因在于，與用戶相比，機(jī)器(圖像共享社交網(wǎng)絡(luò)和圖像搜