專利名稱：視頻序列結構的自動提取方法
技術領域：
本發(fā)明涉及一種用于自動提取對應于連續(xù)幀的視頻序列的結構的方法，包括下列步驟(1)一個拍攝鏡頭檢測步驟，用于檢測在連續(xù)拍攝鏡頭之間的邊界，該連續(xù)拍攝鏡頭是指一組連續(xù)幀而無編輯效果的拍攝鏡頭，并且根據平均的移位幀間差曲線的計算和所說曲線的最高峰值的檢測而使用一個相似性準則；(2)一個分段(partitioning)步驟，用于把每一拍攝鏡頭分解成稱為微段(micro-segments)的子實體；(3)一個集群步驟，用于創(chuàng)建該已經處理的圖像序列的一個最終分級結構。
本發(fā)明還涉及一個用于索引數(shù)據的對應方法、用于執(zhí)行所說方法的一個裝置、以及其中實施所說方法的一個圖像檢索系統(tǒng)。本發(fā)明的技術將特別適于使用在與MPEG-7標準關聯(lián)的應用程序中。
背景技術：
MPEG-7標準將被打算在今后規(guī)定那些可用于描述各種類型的多媒體信息的描述的一個標準設置。與給定內容相關的描述允許實現(xiàn)快速及有效地搜索用戶感興趣的資料。本發(fā)明更具體地涉及視頻序列的表示情況，力圖為用戶提供搜索信息的方式。針對視頻序列，文檔的內容描述表的目的是以一個分層方式定義此序列的結構，類似于針對書本所做的那樣，其中的文字被分成章和段落該原來的序列被細分為子序列，其可以進一步分成更短的子實體。
用于定義這種結構的一個方法在申請人先前提交的歐洲專利申請99402594.8(PHF99593)中有描述。根據所說的文件，該方法分成三個步驟，如

圖1所示，它們是一個拍攝鏡頭檢測步驟11(在一個圖像序列中，圖像拍攝鏡頭是一個顯示單一背景的具體序列，即一組無編輯效果的連續(xù)幀)；一個分區(qū)步驟12，用于把檢測的拍攝鏡頭分割成展現(xiàn)一致攝像運動特性的實體，以及一個拍攝鏡頭集群步驟13。
涉及該拍攝鏡頭檢測步驟，在R.Brunelli等的文獻＂視頻數(shù)據自動標引的測量＂(Journal of Visual Communication and Image Representation，1999.6月.2號pp.78-112)中已經建議了幾個方案。在提到文件描述的方法中，第一步驟11檢測在利用兩個主要子步驟連續(xù)的拍攝鏡頭之間的過渡a計算子步驟111，實現(xiàn)確定的一個平均移位幀間差(mDFD)曲線，以及一個分割子步驟112。
在子步驟111過程中計算的mDFD曲線的獲得既考慮亮度又考慮色度信息。對于在時間t的一幀來說，具有下面定義亮度Y＝{fK(i，j，t)}K＝Y(1)色度分量(U，V)＝{fK(i，j，t)}K＝U，V(2)DFD由下式給出DFDK(i，j；t-1，t+1)＝fK(i，j，t+1)-fK(i-dx(i，j)，j-dy(i，j)，t-1)(3)并且mDFD由下式給出mDFD(t)=1IXIYΣKY.U.VwkΣi,jIXIY|DFDK(i,j;t-1,t+1)|----(4)]]>其中IX，IY是圖像尺度，wk是Y、U、V成份的加權。表示拍攝鏡頭s1到s10所獲得曲線的一個例子(并且是相應的已濾波的曲線)，圖2中以已經設置為{wY，wU，wV}＝{1，3，3}的加權示出。在此實例中，曲線的最高峰值對應于從一幀到隨后一幀的突然過渡(幀21100，21195，21633，21724)，同時在另外一方面，從幀21260到幀21279的振動對應于一個淡入淡出(通過簡單的涉及淡入淡出處理的線性組合，從一個攝像機記錄到另一攝像機記錄的一個漸變)以及在產生高電平mDFD曲線的振動的幀21100-21195和21633-21724中的前景目標大移動的出現(xiàn)。
用于檢測該圖像編輯效果并且把mDFD曲線分段成若干拍攝鏡頭，子步驟112根據分割使用一個閾值，提取該mDFD曲線的最高峰值(即一維曲線的另一類型)，如T.Shin等在文獻＂MPEG-2壓縮視頻序列中的分層場景改變檢測＂(1998年IEEE電路和系統(tǒng)的國際討論會ISCAS′98，卷4，pp.253-256，1998，3月)中描述的那樣。
第二步驟12是一個時間分割步驟，用于把每一檢測的拍攝鏡頭拆分成表現(xiàn)有關攝像機運動參數(shù)的均勻性的很高水平的子實體。其包括兩個子步驟一個超分段(oversegmentation)子步驟121，力圖把每一拍攝鏡頭分成必須顯示出很高一致水平的所謂的微段，以及一個合并子步驟122。
為了執(zhí)行第一子步驟121，有必要首先定義所謂＂距離＂的含義(如此定義的距離允許微段的比較)，也是實現(xiàn)評價一個微段或一個分區(qū)(＝一組微段)的品質的一個參數(shù)。兩種情況中都使用一個運動直方圖，其中每一個條塊都示出具有具體運動類型的幀的百分比，并且由下面關系式(5)所定義Hs[i]=NiLs----(5)]]>其中S表示涉及在拍攝鏡頭內的微段的標記，i表示運動類型(這些運動是所謂的左跟蹤、右跟蹤、速降、速升、俯攝、仰攝、左搖攝全景、右搖攝全景、左卷攝、右卷射、移前、移出、固定)，Ls表示微段S的長度，而Ni表示具有運動類型i的微段s的幀的數(shù)量(由于不同運動能夠同時出現(xiàn)，所以有可能∑Hs[i]＞1)。
當沿著所有的幀表示攝像機運動參數(shù)的單一組合時，一個微段被認為是完全均勻的(即具有很高水平的均勻性)，或當其表示有關這些參數(shù)的重大變化時，則該微段被認為是不均勻的。該微段的均勻性是根據其直方圖計算的(關系(5))如果一個微段是完全均勻的，則直方圖條塊或等于0(認為根本沒有運動出現(xiàn))或等于1(在整個部分上出現(xiàn)運動)，而如果不是1或0，則條塊可以表現(xiàn)中間值。隨后通過測量其直方圖與該理想直方圖不同程度(即計算直方圖的條塊不同于1或0的程度)獲得該微段均勻性的測量。對應于具有高值的條塊的距離是該條塊值和1之間的差值；相似地，對于具有小值的條塊來說，該距離是該條塊值本身。一個直方圖的例子在圖3中示出，其中該坐標軸表明每一運動類型的比例(＝運動出現(xiàn))因為運動不在該微段的所有幀中出現(xiàn)(左搖攝全景PL和移前ZI)，所以兩個運動類型將引入某些誤差，而且兩個其他運動類型(速降BD和右卷RR)將因為相反的原因引入某些誤差。
由關系式(6)數(shù)學地給出一個微段的均勻性H(s)=Σie(i)----(6)]]>其中e(i)＝1-Hs[i]如果H，[i]＝0，5e(i)＝Hs[i]如果Hs[i]＜0，5Hs[i]＝該微段s的直方圖i＝運動類型。一個拍攝鏡頭S的均勻性則等于由它們每一個的長度加權的微段的均勻性，如方程式(7)示出H(S)=1L(S)Σj=1j=NLjH(sj)----(7)]]>其中L(S)＝ 是該拍攝鏡頭S的總長度，N是所說拍攝鏡頭包括的微段的數(shù)量(注意，較小的H(S)值對應于高級別的均勻性。兩個微段s1和s2之間的距離則是該微段連接的均勻性d(s1，s2)＝H(s1Us2) (8)因此，初始的超分段子步驟121實現(xiàn)對該相關拍攝鏡頭的超分段，以便獲得一組完全均勻的微段，對應于下面的關系(9)H(s)＝0，S無論包括什么 (9)如何獲得最初超分段分區(qū)的例子在圖4中顯示，具有運動類型，左搖攝全景(PL)、移出(ZO)和固定(FLX)，指定該微段的s1至s7(針對某些幀的攝像機運動參數(shù)可以是未知的在該例子中，該拍攝鏡頭的最后幀-段s7不具有任何相關的參數(shù))。
合并子步驟122包括一個計算操作，其中使用方程式(8)計算(時間連接的)全部相鄰微段之間的距離，用于選擇最接近的微段對(用于在隨后操作過程中的可能的合并)，隨后是一個結合判定操作，其中確定是否該微段選擇對將被合并，假定該最小間距微段已經被合并，(根據該方程式(7))計算該拍攝鏡頭的均勻性。執(zhí)行下面的結合判據合并，如果H(S)＝閾值T(H)不合并，如果H(S)＞閾值T(H)(這種結合判據是全局的該判定取決于結果分段的均勻性，而不專門取決于該結果微段的均勻性)。如果實現(xiàn)該合并，以第二子步驟該水平開始一個新迭代(執(zhí)行一個第二計算操作等等…)。當不存在仍能被合并的相鄰微段對時，合并過程結束。
第三步驟13被分成兩個子步驟一個拍攝鏡頭合并子步驟131，其中拍攝鏡頭對被分組在一起，用于創(chuàng)建一個二進制樹，以及一個樹形結構子步驟132，用于重建所說的二進制樹，以便反映存在于該圖像序列中的相似性。
該拍攝鏡頭合并子步驟131被用于產生表示該初始的拍攝鏡頭的合并次序的一個二進制樹左邊表示這些初始的拍攝鏡頭，頂節(jié)點表示整個順序，中間節(jié)點表示通過該幾個拍攝鏡頭的合并產生的序列。合并判據由拍攝鏡頭之間的距離定義，并且最接近的拍攝鏡頭被首先合并。為了計算拍攝鏡頭之間的距離，有必要定義一個拍攝鏡頭模型，提供將要被比較的特征，并且設置它們之間的鄰近鏈路(表明能夠做什么合并)。當全部該初始拍攝鏡頭已經合并成單一結點或當所有的鏈接結點的耦合之間最小間距是大于一種規(guī)定的閾值時，該處理結束。
該拍攝鏡頭模型必須明顯地允許比較幾個拍攝鏡頭的內容，以便確定何種拍攝鏡頭必須合并以及它們的合并順序如何。在靜止圖象中，亮度和色度是該圖像的主要特性，而在一個圖像序列中，由于該時間的進展，運動是一個重要信息源。所以，平均圖像、亮度和色度信息的直方圖(YUV分量)以及運動信息將被用于模擬該拍攝鏡頭。
為了實施該拍攝鏡頭合并子步驟131，有必要執(zhí)行下面操作(a)得到最小間距鏈接(操作1311)；(b)檢驗一個距離判據(操作1312)；(c)合并結點(操作1313)；(d)更新鏈接和距離(操作1314)；(e)檢驗該頂部結點(操作1315)。
在操作1311中，針對每一對鏈接結點計算最小和最大距離。首先檢驗最大距離如果其高于最大距離閾值d(max)，放棄該鏈接，否則考慮該鏈路。一旦已經掃描了所有的鏈接，則獲得該最小間距。
在該操作1312中，為了確定是否必須合并該最小間距鏈接的節(jié)點，該最小間距被與一個最小間距閾值d(min)比較如果其高于所說的閾值，則不執(zhí)行合并并且結束該處理，否則指示的結點被合并并且繼續(xù)該處理。
在該操作1313中，由最小間距鏈接的節(jié)點被合并。在操作1314中，所說鏈路被更新以便考慮已經完成的合并，并且一旦鏈接已經更新，則指向該新模式的那些鏈路的距離將被重算。在最終操作1315中，檢驗剩余結點的數(shù)量如果全部初始拍攝鏡頭已經合并成單一結點，該處理結束，否則開始一新迭代。
如果全部該初始拍攝鏡頭非常類似，則該拍攝鏡頭合并子步驟131可以產生單一樹形；或如果初始拍攝鏡頭相當不同，則合并子步驟131可以產生一個樹群。用于一個內容表格的創(chuàng)建的二進制樹形的例子在圖5中示出。在此樹的樹葉結點內，其標記以及在括號之間，已經指示一些拍攝鏡頭的開始和結束幀；在其余結點內，該標記示出結合次序(在括弧之間)和在兩個同類物之間的最小和最大距離。
樹形重建子步驟132被用于把子步驟131中獲得的二進制樹形重建成將更清楚地反映該圖像結構的一個任意樹形消除那些由合并過程產生但不傳輸任何相關信息的結點，所說的消除是根據在以該結點中包含的拍攝鏡頭之間的相似程度(距離)的變化為基礎的一判據而進行-如果該分析結點是根節(jié)點(或該根節(jié)點之一，如果在合并過程之后已經獲得各種二進制樹)，隨后該結點應該被保存和出現(xiàn)在該最終樹形中；-如果該分析結點被葉節(jié)點(即對應于一個初始的拍攝鏡頭)，則其也必須保持在該最終樹形中；-否則，如果如下狀態(tài)(10)和(11)被滿足，該結點將僅保持在該最終樹形中|d(min)[分析結點]-d(min)[父輩節(jié)點]|＜T(H)(10)|d(max)[分析結點]-d(max)[父輩節(jié)點]|＜T(H)(11)如圖6所示，從重建子步驟132產生的樹形更清楚地表示該圖像序列的結構在分層結構(28、12、13、21)的第二層中的結點表示該序列的四個場景，而第三(或偶而在第四)層中的結點表示初始拍攝鏡頭。
然而，當執(zhí)行從上述提到的文獻得知的方法時，可能注意到這類方法有時對于噪音敏感，這將造成難于檢測小對比度的峰值，當那些小對比度的峰值對應于淡出或特殊效果時。
本發(fā)明概要因此本發(fā)明的一個目的是建議用于創(chuàng)建一個圖像序列的描述的更可靠的方法，其中不再有所說的限制。
為此目的，本發(fā)明涉及例如在本說明書的介紹段落中定義的一種方法，并且其特征在于，該拍攝鏡頭檢測步驟包括一個附加分段子步驟，應用到所說的移位幀間差曲線的裝置，并且包括下面的操作(a)一個第一濾選操作，根據一個結構單元，消除其長度小于一個預定值(min)的負峰值；(b)第二濾選操作，根據一個對比度濾波器，消除具有一個低于一個預定值c的正對比度的正峰值；(c)一個標記提取操作；一個標記傳播操作。
附圖的簡要描述現(xiàn)在參照附圖舉例來更詳細地描述本發(fā)明，其中
圖1示出一個方框圖，顯示了所述歐洲專利申請中描述的定義方法；圖2示出用于一個給定幀序列的mDFD曲線；圖3示出一個說明均勻性的測量的直方圖的例子；圖4示出上述定義方法的一個子步驟；圖5示出一個二進制樹形，例如由在所說定義方法中提供的合并子步驟的一個拍攝鏡頭的實施方案產生的二進制樹形；圖6示出在所說定義方法的重建子步驟之后產生的樹形；圖7示出當實施根據本發(fā)明的技術方案時的定義方法的一個方框圖；圖8示出用于索引已經根據本發(fā)明處理的數(shù)據的一個方法；圖9示出實施所說索引方法并且執(zhí)行一個圖像檢索的圖像檢索系統(tǒng)。
本發(fā)明的詳細說明在此之前已經表明了實現(xiàn)選取該mDFD曲線的最高峰值的分割子步驟112。盡管大量的拍攝鏡頭能夠實際上利用這樣一個操作檢測，但是似乎更難于檢測小對比度的峰值。該建議的技術解決方案是依靠形態(tài)工具均勻性為基礎的所說操作的替換。根據所說的解決方案，并且如表示該定義方法的方框圖的圖7所示，當執(zhí)行根據本發(fā)明的技術方案時，四個連續(xù)的操作構成一個改進的分段子步驟70，被連續(xù)應用到mDFD曲線。子步驟70替代了先前圖1的子步驟112。
第一操作是一個簡單化操作71，在目前的情況下其執(zhí)行是利用一個暫態(tài)濾波一個與等于被檢測的該最短拍攝鏡頭的持續(xù)時間的長度(min)的一個一維結構單元接近的形態(tài)。借此操作，消除長度小于(min)幀的負峰值。操作71后面是另一簡化操作72，利用一個正對比度濾波器實現(xiàn)效果，其中消除具有比給定參數(shù)c低的正對比度的正峰值。
然后提供一個標記提取操作73。對應于一個拍攝鏡頭中心的每一標記必須覆蓋很可能屬于單一拍攝鏡頭的曲線的一個位置。因為屬于同一拍攝鏡頭的連續(xù)幀相當類似，所以圍繞那些幀的mDFD值將是小的。因此為了選取該標記，一個負對比度濾波器(具有與先前操作72中相同的參數(shù)c)被用于檢測該彎曲的每一相對極小值。一個最終操作74實現(xiàn)在該曲線上傳播該標記，直到所有的點都指定一個標記。通過在用作在先前操作73中獲得的那些初始標記的該mDFD曲線上使用例如該公知的流域算法，執(zhí)行此傳播處理。
在圖2的濾波曲線的例子中，使用(min)＝10和c＝10產生標記以及檢測的拍攝鏡頭。即使某些超分段圍繞幀21150以及21700出現(xiàn)，但是已經正確地檢測了場景剪切和淡入淡出。這樣一個超分段不是一個問題，因為在該方法的下一個步驟12和13將消除了該問題。
本發(fā)明不局限于上述實施方案，從該實施方案可以在不背離本發(fā)明的范圍的條件下推導出其修改或更寬廣的應用。例如，本發(fā)明還涉及一種用于索引已經根據先前描述的方法處理過的數(shù)據的方法。這種方法在圖8中示出，包括構造步驟81，執(zhí)行把每一處理序列子分段成連續(xù)地拍攝鏡頭，以及把獲得拍攝鏡頭的每一個拆分成子實體(即微段)，和一個集群步驟82，創(chuàng)建該最終分級結構。步驟81和82分別與先前描述的步驟11-12和步驟13類似，隨后是一個附加索引步驟83，用于把一個標記加到針對每一處理圖像序列定義的該分級結構的每一單元。
本發(fā)明還涉及例如圖9中示出的一個圖像檢索系統(tǒng)，包括一個攝像機91，用于該視頻序列的采集(能以順序圖像比特數(shù)據流的形式得到)，一個圖像索引裝置92，用于執(zhí)行所說的數(shù)據索引方法(所說的裝置通過分析捕獲在所說序列中的內容信息的不同級別、等級的分段，并且根據從所說的分段產生的分類進行索引)，一個數(shù)據庫93，存儲從所說的分類得出的數(shù)據(這些數(shù)據有時稱為元數(shù)據)，一個圖形用戶接口94，用于執(zhí)行從該數(shù)據庫請求的檢索，以及一個視頻監(jiān)視器95，用于顯示該檢索信息。本發(fā)明還涉及圖像索引裝置92，該裝置允許實施根據本發(fā)明的方法。
權利要求
1.一種用于自動提取對應于連續(xù)幀的視頻序列的結構的方法，包括下列步驟(1)一個拍攝鏡頭檢測步驟，用于檢測在連續(xù)拍攝鏡頭之間的邊界，該連續(xù)拍攝鏡頭是指一組連續(xù)幀而無編輯效果的拍攝鏡頭，并且根據平均的移位幀間差曲線的計算和所說曲線的最高峰值的檢測而使用一個相似性準則；(2)一個分段(partitioning)步驟，用于把每一拍攝鏡頭分解成稱為微段(micro-segments)的子實體；(3)一個集群步驟，用于創(chuàng)建該已經處理的圖像序列的一個最終分級結構；其中所說的檢測步驟包括一個附加分割子步驟，平均的移位幀間差曲線，并且包括下列操作(a)一個第一濾選操作，根據一個結構單元，消除其長度小于一個預定值(min)的負峰值；(b)第二濾選操作，根據一個對比度濾波器，消除具有一個低于一個預定值c的正對比度的正峰值；(c)一個標記提取操作；(d)一個標記傳播操作。
2.根據權利要求1的方法，其中所說的標記提取操作器是利用一個使用同一個預定值c的負對比度濾波器實施的。
3.根據權利要求1和2任一個的方法，其中所說的標記傳播操作是通過采用所謂的流域方法執(zhí)行的。
4.一種用于索引對應于連續(xù)幀的視頻序列形式的可用數(shù)據的方法，包括下列分段步驟(1)一個構造步驟，用于把所說的序列細分成連續(xù)地拍攝鏡頭并且把所說拍攝鏡頭的每一個拆分成稱為微段的子實體；(2)一個集群步驟，用于根據所說的分段創(chuàng)建該已經處理的圖像序列的一個最終分級結構；(3)一個索引步驟，用于把一個標記添加到所說分級結構的每一單元。
5.一個圖像索引裝置，包括用于執(zhí)行根據權利要求4的方法的裝置。
6.一個圖像檢索系統(tǒng)，包括(1)用于執(zhí)行根據權利要求4的方法的裝置，用于自動提取對應于連續(xù)幀的一個視頻序列的結構，以及標記如此定義的該分級結構的每一單元的操作，并且存儲所說的標記；(2)使用將要檢索的所說圖像的一個或幾個特征，用于根據該存儲的標記而執(zhí)行任何圖像檢索的裝置。
全文摘要
本發(fā)明涉及一種方法,利用對圖像序列的分析,力圖自動地創(chuàng)建所說的圖像序列的一個描述,即目錄。所說方法的主步驟是一個拍攝鏡頭檢測,這些拍攝鏡頭被子分段成稱為微段的子實體,以及該處理了的序列的最終分級結構的創(chuàng)建。根據本發(fā)明,該拍攝鏡頭檢測步驟計算該平均移位幀間差曲線,檢測所說的曲線的最高峰值,通過濾波消除某些負或正峰值,提取標記并且在所說曲線上傳播該標記。
文檔編號H04N5/76GK1352856SQ00801243
公開日2002年6月5日 申請日期2000年7月4日 優(yōu)先權日1999年7月6日
發(fā)明者J·拉克－平薩克, P·薩萊姆比爾 申請人:皇家菲利浦電子有限公司