專利名稱：視頻序列結(jié)構(gòu)的自動(dòng)提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于自動(dòng)提取對(duì)應(yīng)于連續(xù)幀的視頻序列的結(jié)構(gòu)的方法。本發(fā)明還涉及一個(gè)用于索引包含所說定義方法的數(shù)據(jù)的一種方法、涉及執(zhí)行所說索引方法的一個(gè)裝置、以及其中實(shí)施所說方法的一個(gè)圖像檢索系統(tǒng)。本發(fā)明在與MPEG-7標(biāo)準(zhǔn)關(guān)聯(lián)應(yīng)用中非常有用。
背景技術(shù)：
MTEG-7標(biāo)準(zhǔn)力圖提供一種靈活和可擴(kuò)展的結(jié)構(gòu)，用于定義那些可用于描述各種類型的多媒體文件的描述的一個(gè)標(biāo)準(zhǔn)設(shè)置。與給定內(nèi)容相關(guān)的描述允許實(shí)現(xiàn)快速及有效地搜索用戶感興趣的資料。本發(fā)明更具體地涉及視頻序列的表現(xiàn)情況。
一個(gè)圖像序列是一系列順序排列的圖像(按時(shí)間排序)。在存儲(chǔ)在一個(gè)數(shù)據(jù)庫(kù)之前，對(duì)應(yīng)圖像數(shù)據(jù)流分段成基本單元(即拍攝鏡頭，一個(gè)拍攝鏡頭是在一個(gè)連續(xù)操作過程中產(chǎn)生的連續(xù)幀，并且表示時(shí)間和空間中的一個(gè)連續(xù)動(dòng)作)，被隨后標(biāo)識(shí)和索引。一個(gè)圖像索引技術(shù)在例如文獻(xiàn)″經(jīng)過目標(biāo)運(yùn)動(dòng)分析的自動(dòng)圖像索引″(J.D.Courtney，Pattem Recognition，1997，4月，第4期，卷30 pp.607-625)中描述。如在該文件中闡明的那樣，利用一個(gè)分級(jí)分割確定視頻序列的邏輯結(jié)構(gòu)，以同樣方式把文本細(xì)分為章和段落。然而在大多數(shù)情況下，時(shí)間分段似乎不是完全適當(dāng)，例如在體育(足球、網(wǎng)球比賽)的應(yīng)用中，圖像拍攝鏡頭能夠很長(zhǎng)。
本發(fā)明概要本發(fā)明的一個(gè)目的是建議一種能夠自動(dòng)創(chuàng)建一個(gè)圖像序列的描述的方法，即根據(jù)一個(gè)新的、具體的判據(jù)創(chuàng)建所說序列的一個(gè)目錄。
為此目的，本發(fā)明涉及在本說明書的開頭段落中描述的一種方法，并且該方法包括(1)一個(gè)拍攝鏡頭檢測(cè)步聚，用于檢測(cè)連續(xù)拍攝鏡頭之間的邊界，一個(gè)拍攝鏡頭是一組無編輯效果的連續(xù)幀；(2)一個(gè)分段(partitioning)步驟，用于把每一拍攝鏡頭分解成稱為小段(micro-segments)的子實(shí)體；(3)一個(gè)集群步聚，用于創(chuàng)建該已經(jīng)處理的圖像序列的一個(gè)最終分級(jí)結(jié)構(gòu)。
這種方法允許獲得已經(jīng)處理成稱為微段的子實(shí)體的圖像序列的每一拍攝鏡頭的一個(gè)分區(qū)。根據(jù)建議的判據(jù)，這些微段最好表現(xiàn)出關(guān)于已經(jīng)捕獲了原始圖像(這些圖像已經(jīng)轉(zhuǎn)換成構(gòu)成所說已處理的視頻序列的一個(gè)圖像比特?cái)?shù)據(jù)流)的攝像機(jī)的運(yùn)動(dòng)參數(shù)的高水平的均勻性。
更精確地說，每一微段的均勻性是根據(jù)一個(gè)運(yùn)動(dòng)直方圖計(jì)算的，每一條塊示出具有一個(gè)具體運(yùn)動(dòng)類型的幀的百分比。當(dāng)表示沿所有幀的攝像機(jī)運(yùn)動(dòng)參數(shù)的單一組合時(shí)，一個(gè)微段是完全均勻的，該直方圖條塊等于1或0。相反，如果該直方圖的條塊不等于1或0，則當(dāng)前的中間值指示一個(gè)微段不是完全均勻的，以便分段一個(gè)拍攝鏡頭，根據(jù)分段連接的均勻性計(jì)算兩個(gè)部分之間的距離。所說均勻性是從一個(gè)微段的直方圖和不同運(yùn)動(dòng)類型的本身推斷而來的，一個(gè)拍攝鏡頭的均勻性等于由其每一長(zhǎng)度加權(quán)的微段的均勻性，根據(jù)相對(duì)于一個(gè)預(yù)定閾值T(H)的拍攝鏡頭的均勻性的值并且假定選擇部分已經(jīng)被合并，確定是否在任何部分對(duì)之間的一個(gè)結(jié)合，當(dāng)不存在能夠合并的進(jìn)一步的相鄰微段對(duì)時(shí)，這種可能的微段之間的合并過程結(jié)束。
本發(fā)明的另一目的是建議一個(gè)圖像索引裝置，包括用于執(zhí)行這種方法的裝置以及用于把一個(gè)標(biāo)記添加到由本方法定義的分級(jí)結(jié)構(gòu)的每一單元的相關(guān)索引裝置。
本發(fā)明的另一目的是建議一個(gè)圖像檢索系統(tǒng)，包括這樣的一個(gè)圖像索引裝置和相關(guān)的用于執(zhí)行索引的裝置，使用此圖像的一個(gè)或幾個(gè)特征而根據(jù)從所說的索引操作得出的分類而執(zhí)行任何圖像的檢索。
附圖的簡(jiǎn)要描述現(xiàn)在參照附圖舉例來更詳細(xì)地描述本發(fā)明，其中

圖1示出根據(jù)本發(fā)明定義的方法的一個(gè)方框圖；圖2示出用于一個(gè)給定幀序列的mDFD曲線；圖3示出一個(gè)說明該分段均勻性的測(cè)量的直方圖的例子；圖4示出初始的超分段分區(qū)創(chuàng)建的處理；圖5示出一個(gè)二進(jìn)制樹形，例如由在所說定義方法中提供的合并子步驟的一個(gè)拍攝鏡頭的實(shí)施方案產(chǎn)生的二進(jìn)制樹形；圖6示出在一個(gè)樹形重建子步驟之后產(chǎn)生的樹形；圖7示出用于索引已經(jīng)根據(jù)本發(fā)明處理的數(shù)據(jù)的一個(gè)方法；圖8示出實(shí)施所說的索引方法的一個(gè)圖像檢索系統(tǒng)，以及借助適當(dāng)?shù)南嚓P(guān)裝置，根據(jù)從這樣一個(gè)索引操作給出的分類而實(shí)現(xiàn)圖像檢索的執(zhí)行。
本發(fā)明的詳細(xì)說明用于視頻序列的一個(gè)內(nèi)容表的目的是以一個(gè)分級(jí)方式，可能以一個(gè)文本文檔方式，定義此順序的構(gòu)造。因此該原始序列被細(xì)分為子序列，其還可以進(jìn)一步分成更短的子序列。在分段處理的結(jié)束后，要描述的最短實(shí)體將是微段。
更精確地說根據(jù)建議策略，該方法分成三個(gè)步驟，如圖1所示，它們是一個(gè)拍攝鏡頭檢測(cè)步驟11(在一個(gè)圖像序列中，一個(gè)圖像拍攝鏡頭是展現(xiàn)單一背景的一個(gè)具體序列，無編輯效果，例如定義一個(gè)陜速切換的剪切、對(duì)應(yīng)于一個(gè)滑行窗口效果的畫面消除、讓暗點(diǎn)擁入該幀的配合、表示由幀的線性組合從一個(gè)攝像機(jī)記錄漸變到另一攝像機(jī)記錄的淡入淡出等等)，把該檢測(cè)的拍攝鏡頭分區(qū)的步驟12，以及一個(gè)拍攝鏡頭集群步驟13。
第一步驟11用于把輸入圖像序列拆分成構(gòu)成用于該隨后步驟的輸入數(shù)據(jù)的拍攝鏡頭。此步驟必須允許檢測(cè)在連續(xù)拍攝鏡頭之間的切換，此步驟借助于兩個(gè)主要子步驟實(shí)現(xiàn)一個(gè)計(jì)算子步驟111，實(shí)現(xiàn)確定的一個(gè)平均移位幀間差(mDFD)曲線，以及一個(gè)分割子步驟112。
在子步驟111過程中計(jì)算的mDFD曲線的獲得既考慮亮度又考慮色度信息。對(duì)于在時(shí)間t的一幀來說具有下面定義亮度Y＝{fK(i，j，t，)}K＝Y(jié)(1)色度分量(U，V)＝{fK(i，j，t)}K＝U，V(2)DFD由下式給出DFDK(i，j；t-1，t+1)＝fK(i，j，t+1)-fK(i-dx(i，j)，j-dy(i，j)，t-1) (3)并且該mDFD由下式給出mDFD(t)=1IXIYΣKY,U,VWkΣi,jIX,IY|DFDK(i,j;t-1,t+1)|---(4)]]>其中IX，IY是圖像尺度，wk是Y、U、V成份的加權(quán)。所獲得曲線的一個(gè)例子(而且是相應(yīng)的已濾波的一個(gè)曲線)表示拍攝鏡頭s1到s10，在圖2中以已經(jīng)設(shè)置為{wY，wU，wV}＝{1，3，3}的加權(quán)示出。連續(xù)拍攝鏡頭之間的切換可以是從一幀到下一幀的突變或更復(fù)雜的情況，像淡入淡出、褪色以及消除曲線的最高峰值對(duì)應(yīng)于突然過渡(幀21100、21195、21633、21724)，而另一方面從幀21260到幀21279的振蕩對(duì)應(yīng)于淡入淡出以及在幀21100-21195中的大移動(dòng)前景目標(biāo)的出現(xiàn)，以及幀21633-21724產(chǎn)生mDFD曲線的高級(jí)別振蕩。
用于檢測(cè)圖像編輯效果和把mDFD曲線分段成拍攝鏡頭的子步驟112使用一個(gè)以分段為基礎(chǔ)的閾值，提取mDFD曲線的最高峰值(即一維曲線的另一類型)。這樣的一個(gè)技術(shù)在文獻(xiàn)″MPEG-2壓縮視頻序列中的分級(jí)場(chǎng)景改變檢測(cè)″中有描述(T.Shin等，1998IEEE關(guān)于電路以及系統(tǒng)的國(guó)際討論會(huì)，ISCAS′98，卷4，1998，三月，pp.253-256)。
分區(qū)步驟12是一個(gè)時(shí)間分段，用于把每一檢測(cè)的拍攝鏡頭拆分成稱為微段的子實(shí)體。應(yīng)用到每一檢測(cè)拍攝鏡頭的此時(shí)間分段步驟包括兩個(gè)子步驟一個(gè)超分段(oversegmentation)子步驟121，力圖把每一拍攝鏡頭分成必須顯示出完全均勻性的所謂的微段。以及一個(gè)合并子步驟122。
為了執(zhí)行第一子步驟121，有必要首先定義所謂″距離″的含義(如此定義的距離將實(shí)現(xiàn)與微段的比較)，也是實(shí)現(xiàn)評(píng)價(jià)一個(gè)微段或一個(gè)分區(qū)(＝一組微段)的品質(zhì)的一個(gè)參數(shù)。兩種情況中都使用一個(gè)運(yùn)動(dòng)直方圖，其中的每一個(gè)條塊都示出具有具體運(yùn)動(dòng)類型的幀的百分比，并且由下面關(guān)系式(5)所定義Hs[i]=NiLs----(5)]]>其中S表示涉及在拍攝鏡頭內(nèi)的微段的標(biāo)記，i表示運(yùn)動(dòng)類型(這些運(yùn)動(dòng)是所謂的左跟蹤、右跟蹤、速降、速升、俯攝、仰攝、左搖攝全景、右搖攝全景、左卷攝、右卷攝、移前、移出、固定)，Ls表示所涉及的微段s的長(zhǎng)度，而Ni表示具有運(yùn)動(dòng)類型i的微段s的幀的數(shù)量(由于不同運(yùn)動(dòng)能夠同時(shí)出現(xiàn)，所以有可能Hs[i]＞1)。
當(dāng)其表示沿著所有的幀的攝像機(jī)運(yùn)動(dòng)參數(shù)的單一組合時(shí)，一個(gè)微段被認(rèn)為是完全均勻的，或當(dāng)其表示有關(guān)這些參數(shù)的重大變化時(shí)則該微段被認(rèn)為是不均勻的。該微段的均勻性是根據(jù)其直方圖計(jì)算的(關(guān)系(5))如果一個(gè)微段是完全均勻的，則其直方圖條塊或等于0(認(rèn)為根本沒有運(yùn)動(dòng)出現(xiàn))或等于1(在整個(gè)部分上出現(xiàn)運(yùn)動(dòng))，而如果不是1或0，則該直方圖條塊可以表現(xiàn)中間值。隨后通過測(cè)量其直方圖與該理想直方圖的差異程度(即計(jì)算直方圖的條塊不同于1或0的程度)獲得該微段均勻性的測(cè)量。對(duì)應(yīng)于具有高值的條塊的距離是該條塊值和1之間的差值；相似地，，對(duì)于具有小值的條塊來說該距離是該條塊值本身。一個(gè)直方圖的例子在圖3中示出，其中該坐標(biāo)軸表明每一運(yùn)動(dòng)類型的比例(＝運(yùn)動(dòng)出現(xiàn))因?yàn)檫\(yùn)動(dòng)不在該微段的所有幀中出現(xiàn)(左搖攝全景PL和移前ZI)，所以兩個(gè)運(yùn)動(dòng)類型的引入某些誤差，而且兩個(gè)其他運(yùn)動(dòng)類型(速降BD和右卷RR)將因?yàn)橄喾吹脑蛞肽承┱`差。
由關(guān)系式(6)數(shù)學(xué)地給出一個(gè)微段的均勻性H(s)=Σie(i)----(6)]]>其中e(i)＝1-Hs[i] 如果H，[i]＝0，5e(i)＝Hs[i]如果Hs[i]＜0，5Hs[i]＝該微段s的直方圖i＝運(yùn)動(dòng)類型。
一個(gè)拍攝鏡頭S的均勻性則等于由它們每一個(gè)的長(zhǎng)度加權(quán)的微段的均勻性，如方程式(7)示出H(S)=1L(S)Σj=1j=NLjH(sj)----(7)]]>其中L(S)=ΣlNLj]]>是該拍攝鏡頭S的總長(zhǎng)度，N是所說拍攝鏡頭包括的微段的數(shù)量(注意，較小的H(S)值對(duì)應(yīng)于高級(jí)別的均勻性。兩個(gè)微段s1和s2之間的距離則是該微段連接的均勻性d(s1，s2)＝H(s1Us2) (8)現(xiàn)在可以重新開始時(shí)間分段。因此，初始的超分段子步驟121實(shí)現(xiàn)對(duì)該相關(guān)拍攝鏡頭的超分段，以便獲得一組完全均勻的微段，對(duì)應(yīng)于下面的關(guān)系(9)H(s)＝0，無論S中包括什么(9)如何獲得最初超分段分區(qū)的例子在圖4中顯示(其中坐標(biāo)表明幀號(hào)和對(duì)應(yīng)的運(yùn)動(dòng)類型)，具有指定該微段的運(yùn)動(dòng)類型，左搖攝全景(PL)、移出(ZO)和固定(FLX)，s1至s7(針對(duì)某些幀的攝像機(jī)運(yùn)動(dòng)參數(shù)可以是未知的在該例子中，該拍攝鏡頭的最后幀-微段s7不具有任何相關(guān)的參數(shù))。
合并子步驟122首先包括一個(gè)計(jì)算操作，其中使用方程式(8)計(jì)算(時(shí)間連接的)全部相鄰微段之間的距離，用于選擇最接近的微段對(duì)(用于在隨后操作過程中的可能的合并)，以及一個(gè)結(jié)合判定操作，其中確定是否該微段選擇對(duì)將被合并，假定該最小間距微段已經(jīng)被合并，(根據(jù)該方程式(7))計(jì)算該拍攝鏡頭的均勻性。執(zhí)行下面的結(jié)合判據(jù)合并，如果H(S)＝閾值T(H)不合并，如果H(S)＞閾值T(H)(此結(jié)合判據(jù)是全局判據(jù)該判定取決于產(chǎn)生分區(qū)的均勻性，而不是僅僅根據(jù)產(chǎn)生微段該的均勻性)。如果實(shí)現(xiàn)該合并，以第二子步驟該水平開始一個(gè)新迭代(執(zhí)行一個(gè)第二計(jì)算操作等等…)。當(dāng)不存在仍能被合并的相鄰微段對(duì)時(shí)，合并過程結(jié)束。
該第三步驟13是一個(gè)拍攝鏡頭集群步驟用于把連續(xù)拍攝鏡頭組合并成更連貫的實(shí)體，該第三步驟13被分成兩個(gè)子步驟一個(gè)拍攝鏡頭合并子步驟131，其中拍攝鏡頭對(duì)被分組在一起，用于創(chuàng)建一個(gè)二進(jìn)制樹，以及一個(gè)樹形結(jié)構(gòu)子步驟132，用于重建所說的二進(jìn)制樹，以便反映存在于該圖像序列中的相似性。
該拍攝鏡頭合并子步驟131被用于產(chǎn)生表示該初始的拍攝鏡頭的合并次序的一個(gè)二進(jìn)制樹左邊表示這些初始的拍攝鏡頭，頂節(jié)點(diǎn)表示整個(gè)順序，中間節(jié)點(diǎn)表示通過該幾個(gè)拍攝鏡頭的合并產(chǎn)生的序列。合并判據(jù)由拍攝鏡頭之間的距離定義，并且最接近的拍攝鏡頭被首先合并。為了計(jì)算拍攝鏡頭之間的距離，有必要定義一個(gè)拍攝鏡頭模型，提供將要被比較的特征，并且設(shè)置它們之間的鄰近鏈路(表明能夠做什么合并)。當(dāng)全部該初始拍攝鏡頭已經(jīng)合并成單一結(jié)點(diǎn)或當(dāng)所有的鏈接結(jié)點(diǎn)的耦合之間最小間距是大于一種規(guī)定的閾值時(shí)，該處理結(jié)束。
該拍攝鏡頭模型必須明顯地允許比較幾個(gè)拍攝鏡頭的內(nèi)容，以便確定何種拍攝鏡頭必須合并以及它們的合并順序如何。在靜止圖象中，亮度和色度是該圖像的主要特性，而在一個(gè)圖像序列中，由于該時(shí)間的進(jìn)展，運(yùn)動(dòng)是一個(gè)重要信息源。所以，平均圖像、亮度和色度信息的直方圖(YUV分量)以及運(yùn)動(dòng)信息將被用于模擬該拍攝鏡頭。
為了實(shí)施該拍攝鏡頭合并子步驟131，有必要執(zhí)行下面五個(gè)操作(a)得到最小間距鏈接(操作1311)；(b)檢驗(yàn)一個(gè)距離判據(jù)(操作1312)；(c)合并結(jié)點(diǎn)(操作1313)；(d)更新鏈接和距離(操作1314)；(e)檢驗(yàn)該頂部結(jié)點(diǎn)(操作1315)。
在操作1311中，針對(duì)每一對(duì)鏈接結(jié)點(diǎn)計(jì)算最小和最大距離。首先檢驗(yàn)最大距離 如果其高于最大距離閾值d(max)，放棄該鏈接，否則考慮該鏈路。一旦已經(jīng)掃描了所有的鏈接，則獲得該最小間距。
在該操作1312中，為了確定是否必須合并該最小間距鏈接的節(jié)點(diǎn)，該最小間距被與一個(gè)最小間距閾值d(min)比較如果其高于所說的閾值，則不執(zhí)行合并并且結(jié)束該處理否則指示的結(jié)點(diǎn)被合并并且繼續(xù)該處理。
在該操作1313中，由最小間距鏈接的節(jié)點(diǎn)被合并。在操作1314中，所說鏈路被更新以便考慮已經(jīng)完成的合并，并且一旦鏈接已經(jīng)更新，則指向該新模式的那些鏈路的距離將被重算。在最終操作1315中，檢驗(yàn)剩余結(jié)點(diǎn)的數(shù)量如果全部初始拍攝鏡頭已經(jīng)合并成單一結(jié)點(diǎn)，該處理結(jié)束，否則開始一新迭代。
如果全部該初始拍攝鏡頭非常類似，則該拍攝鏡頭合并子步驟131可以產(chǎn)生單一樹形；或如果初始拍攝鏡頭相當(dāng)不同，則合并子步驟131可以產(chǎn)生一個(gè)樹群。用于一個(gè)內(nèi)容表格的創(chuàng)建的二進(jìn)制樹形的例子在圖5中示出。在此樹的樹葉結(jié)點(diǎn)內(nèi)，其標(biāo)記以及在括號(hào)之間，已經(jīng)指示一些拍攝鏡頭的開始和結(jié)束幀；在其余結(jié)點(diǎn)內(nèi)，該標(biāo)記示出結(jié)合次序(在括弧之間)和在兩個(gè)同類物之間的最小和最大距離。
樹形重建子步驟132被用于把子步驟131中獲得的二進(jìn)制樹形重建成將更清楚地反映該圖像結(jié)構(gòu)的一個(gè)任意樹形。為此目的，決定消除那些已經(jīng)由合并過程產(chǎn)生但不傳輸任何相關(guān)信息的結(jié)點(diǎn)，所說的消除是根據(jù)在以該結(jié)點(diǎn)中包含的拍攝鏡頭之間的相似程度(距離)的變化為基礎(chǔ)的一判據(jù)而進(jìn)行-如果該分析結(jié)點(diǎn)是根節(jié)點(diǎn)(或該根節(jié)點(diǎn)之一，如果在合并過程之后已經(jīng)獲得各種二進(jìn)制樹)，隨后該結(jié)點(diǎn)被保存，并且將出現(xiàn)在該最終樹形中；-如果該分析結(jié)點(diǎn)被葉節(jié)點(diǎn)(即對(duì)應(yīng)于一個(gè)初始的拍攝鏡頭)，則其也必須保留在該最終樹形中；否則，如果如下狀態(tài)(10)和(11)被滿足，該結(jié)點(diǎn)將僅保持在該最終樹形中|d(min)[分析結(jié)點(diǎn)]-d(min)[親體節(jié)點(diǎn)]|＜T(H)(10)|d(max)[分析結(jié)點(diǎn)]-d(max)[親體節(jié)點(diǎn)]|＜T(H)(11)如圖6所示，從重建子步驟132產(chǎn)生的樹形更清楚地表示該圖像序列的結(jié)構(gòu) 在分層結(jié)構(gòu)(28、12、13、21)的第二層中的結(jié)點(diǎn)表示該序列的四個(gè)場(chǎng)景，而第三(或偶而在第四)層中的結(jié)點(diǎn)表示初始拍攝鏡頭。
本發(fā)明不局限于上述實(shí)施方案，從該實(shí)施方案可以在不背離本本發(fā)明的范圍的條件下推導(dǎo)出其修改或更寬廣的應(yīng)用。例如，本發(fā)明還涉及一種用于索引已經(jīng)根據(jù)先前描述的方法處理過的數(shù)據(jù)的方法。這種方法在圖7中示出，包括構(gòu)造步驟71，執(zhí)行把每一處理序列子分段成連續(xù)地拍攝鏡頭，以及把獲得拍攝鏡頭的每一個(gè)拆分成子實(shí)體(即微段)，和一個(gè)集群步驟72，創(chuàng)建該最終分級(jí)結(jié)構(gòu)。步驟71和72分別與步驟11-12和先前描述的步驟13類似，隨后是一個(gè)附加索引步驟73，用于把一個(gè)標(biāo)記的加到針對(duì)每一處理圖像序列定義的該分級(jí)結(jié)構(gòu)的每一單元。
本發(fā)明還涉及例如圖8中示出的一個(gè)圖像檢索系統(tǒng)包括一個(gè)攝像機(jī)81，用于該視頻序列的采集(能以順序圖像比特?cái)?shù)據(jù)流的形式可得)，一個(gè)圖像索引裝置82，用于執(zhí)行所說的數(shù)據(jù)索引方法(所說的裝置通過分析捕獲在所說序列中的內(nèi)容信息的不同級(jí)別、等級(jí)的分段，并且根據(jù)從所說的分段產(chǎn)生的分類進(jìn)行索引)，一個(gè)數(shù)據(jù)庫(kù)83，存儲(chǔ)從所說的分類得出的數(shù)據(jù)(這些數(shù)據(jù)有時(shí)稱為元數(shù)據(jù))，一個(gè)圖形用戶接口84，用于執(zhí)行從該數(shù)據(jù)庫(kù)請(qǐng)求的檢索，以及一個(gè)視頻監(jiān)視器85，用于顯示該檢索信息(本發(fā)明還明顯地涉及圖像索引裝置82，實(shí)現(xiàn)實(shí)施根據(jù)本發(fā)明的這種方法)。
權(quán)利要求
1.一種用于自動(dòng)提取對(duì)應(yīng)于連續(xù)幀的視頻序列的結(jié)構(gòu)的方法，包括下列步驟(1)一個(gè)拍攝鏡頭檢測(cè)步驟，用于檢測(cè)連續(xù)拍攝鏡頭之間的邊界，一個(gè)拍攝鏡頭是一組無編輯效果的連續(xù)幀；(2)一個(gè)分段(partitioning)步驟，用于把每一拍攝鏡頭分解成稱為小段(micro-segments)的子實(shí)體；(3)一個(gè)集群步驟，用于創(chuàng)建該已經(jīng)處理的圖像序列的一個(gè)最終分級(jí)結(jié)構(gòu)。
2.根據(jù)權(quán)利要求1的方法，其中所說的拍攝鏡頭檢測(cè)步驟使用根據(jù)平均移位幀間差曲線的計(jì)算以及所說曲線的最高峰值的檢測(cè)的一個(gè)相似判據(jù)。
3.根據(jù)權(quán)利要求1和2任一個(gè)的方法，其中所說的子分段步驟使用一個(gè)判據(jù)，包括有關(guān)用于產(chǎn)生該處理的圖像序列的攝像機(jī)的運(yùn)動(dòng)參數(shù)的均勻性的水平。
4.根據(jù)權(quán)利要求3的方法，其中，根據(jù)一個(gè)運(yùn)動(dòng)直方圖計(jì)算一個(gè)微段的均勻性該直方圖的每一條塊表示具有一個(gè)具體運(yùn)動(dòng)類型的幀的百分比。
5.根據(jù)權(quán)利要求4的方法，其中，如果該直方圖的條塊不等于1或0，即表現(xiàn)指示一個(gè)微段不是完全均勻的中間值，則根據(jù)分微段連接的均勻性計(jì)算兩個(gè)部分之間的距離，所說均勻性是從一個(gè)微段的直方圖和不同運(yùn)動(dòng)類型的本身推斷而來的，一個(gè)拍攝鏡頭的均勻性等于由其每一長(zhǎng)度加權(quán)的微段的均勻性，根據(jù)相對(duì)于一個(gè)預(yù)定閾值T(H)的拍攝鏡頭的均勻性的值確定在任何微段對(duì)之間是否存在一個(gè)結(jié)合，并且假定選擇的微段部分已經(jīng)被合并，以及當(dāng)不存在能夠合并的進(jìn)一步的相鄰微段對(duì)時(shí)，這種可能的微段之間的合并過程結(jié)束。
6用于索引對(duì)應(yīng)于連續(xù)幀的視頻序列形式的可用數(shù)據(jù)的一種方法，包括下列分段步驟(1)一個(gè)構(gòu)造步驟，用于把所說的序列細(xì)分成連續(xù)的拍攝鏡頭并且把所說拍攝鏡頭的每一個(gè)拆分成稱為微段的子實(shí)體；(2)一個(gè)集群步驟，用于根據(jù)所說的分段創(chuàng)建該已經(jīng)處理的圖像序列的一個(gè)最終分級(jí)結(jié)構(gòu)；(3)一個(gè)索引步驟，用于把一個(gè)標(biāo)記添加到所說分級(jí)結(jié)構(gòu)的每一單元。
7.一個(gè)圖像索引裝置，包括用于執(zhí)行根據(jù)權(quán)利要求6的方法的裝置。
8.一個(gè)圖像檢索設(shè)備，包括(1)用于執(zhí)行根據(jù)權(quán)利要求6的方法的裝置，用于以分級(jí)的方式定義對(duì)應(yīng)于連續(xù)幀的一個(gè)視頻序列的結(jié)構(gòu)，把一個(gè)索引標(biāo)記給到如此定義的該分級(jí)結(jié)構(gòu)的每一單元并且存儲(chǔ)所說的標(biāo)記；(2)使用將要檢索的所說圖像的一個(gè)或幾個(gè)特征，用于根據(jù)該存儲(chǔ)的標(biāo)記而執(zhí)行任何圖像檢索的裝置。
全文摘要
本發(fā)明涉及一種方法,利用對(duì)圖像序列的分析,力圖自動(dòng)地創(chuàng)建所說的圖像序列的一個(gè)描述,即內(nèi)容表。所說方法的主要步驟是使用攝像機(jī)運(yùn)動(dòng)參數(shù)的序列圖像拍攝鏡頭的時(shí)間分段。針對(duì)每一拍攝鏡頭的子實(shí)體,此分段使用一個(gè)相似判據(jù),包括根據(jù)該攝像機(jī)的運(yùn)動(dòng)參數(shù)的這些子實(shí)體的均勻性的水平,該攝像機(jī)用于獲取原始圖像并且產(chǎn)生構(gòu)成該處理序列的比特?cái)?shù)據(jù)流。
文檔編號(hào)H04N5/14GK1336071SQ00801244
公開日2002年2月13日 申請(qǐng)日期2000年6月30日 優(yōu)先權(quán)日1999年7月6日
發(fā)明者J·拉克－平薩克, P·薩萊姆比爾 申請(qǐng)人:皇家菲利浦電子有限公司