專利名稱：電子裝置、內(nèi)容分類方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠?qū)⒍鄠€視頻內(nèi)容分類的電子裝置、在該電子裝置中使用 的內(nèi)容分類方法及其程序。
背景技術(shù)：
近些年來，具有大存儲容量的存儲介質(zhì)的電子裝置已經(jīng)流行，并且其已 經(jīng)變得能夠在電子裝置中存儲各種視頻內(nèi)容。此外，因特網(wǎng)的普及已經(jīng)使多 個用戶能夠在網(wǎng)站上發(fā)布圖像和視頻內(nèi)容，使得其它用戶可以為了娛樂下載 和再現(xiàn)它們。
附帶說，這些大量的視頻內(nèi)容的內(nèi)容是多種多樣的。雖然存在能夠進行 一定程度的流派(genre)分類的網(wǎng)站或同類裝置，但它們的分類是不充分的。 因此，有時候用戶在視頻內(nèi)容已經(jīng)下載之后會認識到，從大量的選擇機會中 選擇視頻內(nèi)容之后用戶已經(jīng)稱心地下載的視頻內(nèi)容是十分令人厭煩的，這種 情況可能很難說使用戶能夠欣賞有效再現(xiàn)的視頻內(nèi)容。
因此，作為一項分類視頻內(nèi)容的技術(shù)，公開號為2003 - 61027的日本專 利申請(圖5等)(下文稱為專利文獻l)公開了一種裝置，其能夠按照構(gòu)成 每個視頻內(nèi)容的圖像的顏色直方圖，或構(gòu)成每個視頻內(nèi)容的音頻的波形和頻 率特性，存儲用于分類視頻內(nèi)容的屬性表，和基于屬性表分類視頻內(nèi)容。

發(fā)明內(nèi)容
然而，在上述專利文獻1中公開的技術(shù)中，用于匹配作為按照顏色和音頻的分類目標的視頻內(nèi)容屬性的屬性表的數(shù)據(jù)量變得龐大，導致裝置的負載 增加。此外，在僅將顏色和音頻用于匹配的情況下，即使當其內(nèi)容完全不同 時，該裝置也可能將視頻內(nèi)容錯誤地分類到相同的類別。另外，即使當該裝 置按照顏色和音頻將視頻內(nèi)容分類時，其也難于有效地向用戶呈現(xiàn)包含在屬
于某一類別的相應(yīng)^L頻內(nèi)容是何種內(nèi)容。
順便地說，可能有一些用戶，在選擇和觀看視頻內(nèi)容時，其將他/她內(nèi)心 的狀態(tài)例如內(nèi)心的興奮狀態(tài)和內(nèi)心的平靜狀態(tài)用作指標。例如，在內(nèi)心興奮 狀態(tài)的用戶可能希望觀看急速的或具有速度感的一見頻內(nèi)容，而內(nèi)心平靜和放
松狀態(tài)的用戶可能希望觀看不太急速的或放松的^L頻內(nèi)容。此外，內(nèi)心抑郁 狀態(tài)的或感覺緊張的用戶可能希望觀看急速的^L頻內(nèi)容，用以激勵他們自己 和松弛緊張情緒，或者相反，用戶可能希望觀看放松的視頻內(nèi)容以放松他們 自己。因此，存在對將視頻內(nèi)容分類的技術(shù)的需求，使得用戶能夠基于他/ 她的內(nèi)心狀態(tài)選擇^L頻內(nèi)容。
根據(jù)上述情況，需要一種能夠?qū)⒋罅康囊曨l內(nèi)容適當?shù)胤诸惖牡碾娮友b 置、內(nèi)容分類方法和用于他們的程序，使得用戶能夠按照他/她的內(nèi)心狀態(tài)選 擇視頻內(nèi)容以供娛樂。
按照本發(fā)明的一個實施例，提供一種包含^r測裝置(means)和分類裝置 的電子裝置。該檢測裝置用于將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多 個幀中的各個幀相互比較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由 相機操作和視頻編輯其中之一生成的視頻特征征。該分類裝置基于檢測的視 頻特征判斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中視頻的視覺活動性級 別(activity level )，并基于判斷的活動性級別將多個視頻內(nèi)容中的每一個 視頻內(nèi)容分類。
這里，電子裝置指各種電氣用具，例如記錄/再現(xiàn)裝置，包含HDD/DVD/BD 記錄器、個人計算機(PC)、服務(wù)器裝置、電視裝置、游戲機、數(shù)字相機、數(shù) 字攝像機和蜂窩式電話。此外，視頻特征是指例如當操作相機(如搖動、傾 斜和縮放)時產(chǎn)生的視頻特征，和編輯視頻(如淡入淡出(fade)和切換(cut)) 時產(chǎn)生的視頻特征。再者，當將在視頻內(nèi)容內(nèi)部的對象(人或物)運動幅度 和速度、場景切換頻率等稱作為"活動性"時，視覺活動性級別例如指示在 視頻內(nèi)容內(nèi)部的活動性程度。此外，這里所用的術(shù)語"分類"不僅包含將視 頻內(nèi)容(離散)分布到多個組的概念，而且還包含在基于其活動性級別使他們保持相互可區(qū)分的同時分布視頻內(nèi)容的概念。
利用該結(jié)構(gòu)，能夠按照其視覺活動性級別將視頻內(nèi)容分類。因此，用戶 變得能夠利用視覺活動性級別作為指標從大量的視頻內(nèi)容中進行選擇，以觀 看與他/她的內(nèi)心狀態(tài)例如內(nèi)心的興奮狀態(tài)和內(nèi)心的平靜狀態(tài)相匹配的期望 的內(nèi)容，從而增強便利性。
在按照本發(fā)明的實施例的電子裝置中，檢測裝置或許能夠檢測多種視頻 特征，及分類裝置可以包含選擇裝置，用于從該多個種類的視頻特征中選擇
置，用于基于所選擇的視頻特征判斷多個視頻內(nèi)容中的每一個視頻內(nèi)容的活 動性級別。
相應(yīng)地，通過從多個視頻特征中選擇作為用于判斷活動性級別的基準的 視頻特征，能夠高精度地判斷活動性級別和能夠更精確地將視頻內(nèi)容分類。
在按照本發(fā)明的實施例的電子裝置中，檢測裝置可以包含學習裝置，用 于對于多種視頻特征中的每一種類視頻特征將從多個視頻內(nèi)容中的第 一視頻 內(nèi)容分類成預定數(shù)目的組，和基于包含在預定數(shù)目的組中的每一個組中所分 類的第一視頻內(nèi)容的數(shù)目的比率來學習要選擇的視頻特征。此外判斷裝置基 于所選擇的視頻特征，從多個視頻內(nèi)容中判斷除了第 一視頻內(nèi)容以外的第二 視頻內(nèi)容的活動性級別。
相應(yīng)地，通過確定第一視頻內(nèi)容是否已經(jīng)均勻分類為多個組，變得能夠 學習在判斷第二視頻內(nèi)容的活動性級別時使用的最佳視頻特征，和可以進一
步改進判斷活動性級別的精確度。要注意，數(shù)據(jù)群集(clustering)法例如 K-means法和模糊C-means法或例如為決策樹的分類方法可以用作學習裝置。
在按照本發(fā)明的實施例的電子裝置中，檢測裝置可以檢測多個種類的視 頻內(nèi)容中的每一個種類的視頻內(nèi)容作為預定的特征值，和判斷裝置生成預定 判別函數(shù)，用于利用作為學習結(jié)果所選擇的視頻特征的特征值作為變量，在 其活動性級別高的視頻內(nèi)容和其活動性級別低的視頻內(nèi)容之間判別第二視頻 內(nèi)容，并基于判別函數(shù)的值判斷活動性級別。
相應(yīng)地，通過利用所生成的判別函數(shù)實行判別分析，可以模擬方式計算 活動性級別作為判別函數(shù)值。因此，可以將將視頻內(nèi)容更具體地分類和可以 將用戶的選擇范圍加寬。
此外，在這種情況下，在按照本發(fā)明的實施例的電子裝置中，判斷裝置按照判別函數(shù)值是正值和負值中的哪一個及判別函數(shù)值的絕對值是否超過至
少一個預定閾值，將第二^L頻內(nèi)容分類到多個級別。
相應(yīng)地，無論由學習裝置分類的組數(shù)是多少，都可以將視頻內(nèi)容按階狀 分類。
按照本發(fā)明的實施例的電子裝置，還包含存儲裝置和輸出裝置。存儲裝 置，用于存儲多個視頻內(nèi)容中的每一個視頻內(nèi)容連同所判斷的其活動性級別。 輸出裝置，用于輸出一信號，該信號用于顯示輸入多個所存儲的視頻內(nèi)容中 的每一個視頻內(nèi)容的再現(xiàn)的內(nèi)容列表連同用于識別所判斷的多個視頻內(nèi)容中 的每一個視頻內(nèi)容的活動性級別的識別信息。
相應(yīng)地，用戶可以在利用指示活動性級別的識別信息作為指標的同時， 從內(nèi)容列表中選擇和再現(xiàn)期望的視頻內(nèi)容。要注意，表達"輸出用于顯示的 信號"除了電子裝置使包含在電子裝置中的顯示單元顯示內(nèi)容列表的情況以 外，概念上包含電子裝置使外部連接到電子裝置的顯示單元顯示內(nèi)容列表的 的情況。此外，在電子裝置構(gòu)成為網(wǎng)站服務(wù)器的情況下，"輸出用于顯示的信 號"的處理包含發(fā)送網(wǎng)頁的處理，使得將內(nèi)容列表顯示在客戶裝置(例如連 接到網(wǎng)站服務(wù)器的PC)上運行的瀏覽器上。此外，在電子裝置起網(wǎng)站服務(wù)器 的作用的情況下，該處理包含通過安裝在以例如在用戶側(cè)的PC的裝置上的 瀏覽器在包含在用戶裝置或連接到其上的顯示裝置上顯示內(nèi)容列表。此外， 識別信息是圖像信息、字符信息等。可以按照視頻內(nèi)容的縮略圖列表顯示內(nèi) 容列表。
在這種情況下，在按照本發(fā)明的實施例的電子裝置中，由輸出裝置輸出 的信號可以使數(shù)目對應(yīng)于活動性級別的預定符號作為識別信息顯示。
這里，預定符號是指各種形狀的符號，例如包含星形、圓形和矩形。相 應(yīng)地，變得能夠?qū)L頻內(nèi)容的活動性級別以易于理解的方式呈現(xiàn)給用戶。
此外，在這種情況下，在按照本發(fā)明的實施例的電子裝置中，由輸出裝 置輸出的信號可以使指示該活動性級別相對于要顯示的最大活動性級別的比 率的圖像作為識別信息。
這里，指示該比率的圖像例如按照條形曲線或餅形圖顯示。相應(yīng)地，可 以更具體地呈現(xiàn)視頻內(nèi)容的活動性級別。
此外，在按照本發(fā)明的實施例的電子裝置中，由輸出裝置輸出的信號可 以在按照多個視頻內(nèi)容中的每一個視頻內(nèi)容的活動性級別改變縮略像的對比度的同時，可以使表示多個視頻內(nèi)容中的每一個視頻內(nèi)容處于可再現(xiàn)狀 態(tài)的縮略像顯示作為識別信息。
在這種情況下，可以將其活動性級別高的視頻內(nèi)容的縮略像比其活 動性級別低的視頻內(nèi)容的縮略像更亮地顯示，或者將其活動性級別低的 視頻內(nèi)容的縮略像比其活動性級別高的視頻內(nèi)容的縮略像更亮地顯 示。此外可以在例如按照活動性級別使縮略像的幀部分的顏色不同的同 時來顯示活動性級別。
按照本發(fā)明的實施例的電子裝置還可以包含檢索裝置，用于檢索具有預 定活動性級別的視頻內(nèi)容。在電子裝置中由輸出裝置輸出的信號可以使具有 預定活動性級別的視頻內(nèi)容的內(nèi)容列表和其識別信息顯示作為檢索的結(jié)果。
相應(yīng)地，變得能夠利用活動性級別作為檢索條件來檢索視頻內(nèi)容。例如， 能夠使用戶選擇活動性級別，因此按照所選擇的活動性級別提取和顯示視頻 內(nèi)容。
按照本發(fā)明的另一個實施例，提供一種內(nèi)容分類方法，包含將構(gòu)成多 個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的每一個幀相互比較，和根據(jù)多 個視頻內(nèi)容中的每一個視頻內(nèi)容檢測由相機操作和視頻編輯的其中之一生成 的視頻特征；和基于檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每一個視 頻內(nèi)容中視頻的視覺活動性級別，和基于判斷的活動性級別將多個視頻內(nèi)容 中的每一個碎見頻內(nèi)容分類。
按照本發(fā)明的再一個實施例，提供一種程序，用于使電子裝置執(zhí)行如下 的步驟將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的每一個幀相 互比較，和根據(jù)多個視頻內(nèi)容中的每一個視頻內(nèi)容檢測由相機操作和視頻編 輯的其中之一生成的視頻特征；和基于檢測的視頻特征判斷包含在多個視頻 內(nèi)容中的每一個視頻內(nèi)容中視頻的視覺活動性級別，和基于判斷的活動性級 別將多個視頻內(nèi)容中的每一個視頻內(nèi)容分類。
按照本發(fā)明的再一個實施例，提供一種電子裝置，包含檢測單元和分 類單元，檢測單元將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的每 一個幀相互比較，和根據(jù)多個視頻內(nèi)容中的每一個視頻內(nèi)容檢測由相機操作 和視頻編輯的其中之一生成的視頻特征。分類單元，基于檢測的視頻特征判 斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中視頻的視覺活動性級別，和基 于判斷的活動性級別將多個視頻內(nèi)容中的每一個視頻內(nèi)容分類。如上所述，按照本發(fā)明的各實施例，可以將大量的視頻內(nèi)容適當?shù)胤诸悾?以便按照用戶的內(nèi)心的狀態(tài)可進行選4奪。
根據(jù)對如在附圖中表示的本發(fā)明的最佳實施例的如下詳細描述，使本發(fā) 明的這些和其它目的、特征和優(yōu)點將變得更明顯。


圖1是表示按照本發(fā)明的實施例的記錄/再現(xiàn)裝置的結(jié)構(gòu)的示意圖； 圖2A和2B是每個表示按照本發(fā)明的實施例的相機操作特征的示意圖； 圖3A和3B是每個表示按照本發(fā)明的實施例的視頻編輯特征的示意圖； 圖4A-4F是每個示意表示按照本發(fā)明的實施例的相機操作特征的示意
圖5是示意表示按照本發(fā)明的實施例的在縮放(zoom)中圖像的變化量的 示意圖6是示意表示按照本發(fā)明的實施例的由手動作引起的畫面抖動的示意
圖； ''''' " "'
圖8是表示按照本發(fā)明的實施例的當記錄/再現(xiàn)裝置判斷視頻特征時的 實行處理的流程圖9是表示按照本發(fā)明的實施例的運動矢量檢測處理的流程處理的流程圖11是具體表示按照本發(fā)明的實施例的按10幀間隔實行的運動矢量檢 測處理的流程圖12是具體表示按照本發(fā)明的實施例的按20幀間隔實行的運動矢量檢 測處理的流程圖13是具體表示按照本發(fā)明的實施例的按30幀間隔實行的運動矢量檢
測處理的流程圖14是表示按照本發(fā)明的實施例的塊匹配處理的流程圖15是表示按照本發(fā)明的實施例的設(shè)定參考圖像區(qū)域和檢索區(qū)域的示
意圖；圖16A-16C是表示按照本發(fā)明的實施例的在塊匹配處理中的基準塊設(shè)定 方法的示意圖17 A和17 B是表示按照本發(fā)明的實施例的塊匹配處理的狀態(tài)的示意圖18是表示按照本發(fā)明的實施例的運動矢量估算處理的流程的流程圖19是表示按照本發(fā)明的實施例的運動矢量的梯度的示意圖20表示按照本發(fā)明的實施例的仿射(affine)轉(zhuǎn)換模型；
圖21表示按照本發(fā)明的實施例的多回歸分析處理；
圖22是表示按照本發(fā)明的實施例的抖動判斷處理的示意圖23是表示按照本發(fā)明的實施例的關(guān)于其中包含一切換點的情況下淡
入淡出/切換估算值的計算結(jié)果和幀的經(jīng)過(elapse)之間關(guān)系的曲線圖； 圖24是表示按照本發(fā)明的實施例的關(guān)于其中包含淡入淡出(fade)的情
況下淡入淡出/切換估算值的計算結(jié)果和的幀的經(jīng)過之間關(guān)系的曲線圖； 圖25是表示按照本發(fā)明的實施例的視頻特征的判斷結(jié)果的表； 圖26是表示按照本發(fā)明的實施例的視頻特征檢測部分的具體結(jié)構(gòu)的圖； 圖27是表示按照本發(fā)明的實施例的由記錄/再現(xiàn)裝置實行的按照活動性
分類視頻內(nèi)容的處理流程的流程圖28A和28B是示意表示由活動性判斷部分實行的視頻內(nèi)容分類處理的
示意圖29是在內(nèi)容列表中活動性識別信息的顯示實例的示意圖； 圖30是在內(nèi)容列表中活動性識別信息的另 一個顯示實例的示意圖； 圖31是在內(nèi)容列表中活動性識別信息的再一個顯示實例的示意圖； 圖3 2是在內(nèi)容列表中活動性識別信息的又 一 個顯示實例的示意圖； 圖3 3是在內(nèi)容列表中活動性識別信息的又 一 個顯示實例的示意具體實施例方式
此后，將參照附圖描述本發(fā)明的實施例。
圖1是表示按照本發(fā)明的實施例的記錄/再現(xiàn)裝置100的結(jié)構(gòu)的示意圖。 如圖所示，記錄/再現(xiàn)裝置100包含CPU(中央處理單元)l、 RAM(隨機存 取存儲器)2、操作輸入部分3、視頻特征檢測部分4、群集處理部分20、活 動性判斷部分40、數(shù)字調(diào)諧器5 、 IEEE1394接口 6 、 Ethernet (注冊商標) 以太網(wǎng)/無線LAN (局域網(wǎng))接口 7 、 USB (通用串行總線)接口 8 、存儲卡接口 9、 HDd (硬盤驅(qū)動器)10、光盤驅(qū)動器ll、緩沖控制器13、選擇 器14、解復用器15、 AV (音頻/視頻)解碼器16、 0SD(屏幕顯示器)17、視 頻D/A (數(shù)字/模擬)轉(zhuǎn)換器18和音頻D/A (數(shù)字/模擬)轉(zhuǎn)換器19。
CPU 1當需要控制記錄/再現(xiàn)裝置100的全部功能塊時以任選方式存取 RAM2或類似裝置。RAM2用作CPU1或類似裝置的工作區(qū)域，臨時存儲OS(操 作系統(tǒng))、程序、處理數(shù)據(jù)等。
操作輸入部分3例如由按扭、開關(guān)、鍵、觸摸板或用于接收從遙控器(未 示出)發(fā)射的紅外線信號的光接收部分組成，輸入各種設(shè)定值及由由用戶操 作形成的指令并將該值和指令輸出到CPU 1。
在CPU 1的控制下，通過天線(未示出)數(shù)字調(diào)諧器5接收數(shù)字廣播中 廣播節(jié)目的廣播信號并調(diào)諧和解調(diào)特定頻道的廣播信號。廣播信號經(jīng)由選擇 器14輸出到解復用器15以1更再現(xiàn)、經(jīng)由緩沖控制器13記錄到HDD 10，或 記錄到一插入到光盤驅(qū)動器11的光盤12。
IEEE1394接口 6可連接到外部裝置例如數(shù)字才聶像才幾。例如，如同由數(shù) 字調(diào)諧器5接收的廣播節(jié)目的視頻內(nèi)容的情況那樣，由數(shù)字攝像機拍攝和記 錄的視頻內(nèi)容被再現(xiàn)或記錄到HDD IO或光盤12上。
以太網(wǎng)/無線LAN^I姿口 7例如用于利用Ethernet (注冊商標)以太網(wǎng)或無 線LAN (局域網(wǎng))輸入由PC或另一個記錄/再現(xiàn)裝置所記錄的視頻內(nèi)容。在 這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或記錄在HDD IO或光盤12上。
USB接口 8例如用于經(jīng)由USB輸入來自例如數(shù)字相機和外部存儲裝置例 如所謂的USB存儲器的視頻內(nèi)容。在這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或 記錄在HDD IO或光盤12上。
存儲卡接口 9例如連接到具有內(nèi)置的閃速存儲器的存儲器卡，并用于將 存儲器卡上記錄的視頻內(nèi)容輸入。在這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或 記錄在HDD IO或光盤12上。
HDD 10將作為廣播信號接收的或從外部裝置輸入的各種視頻內(nèi)容記錄到 內(nèi)置的硬盤上，并在將其再現(xiàn)時從硬盤讀出這些視頻內(nèi)容，以將數(shù)據(jù)輸出到 緩沖控制器13。此外，HDD IO還存儲OS、用于執(zhí)行關(guān)于視頻內(nèi)容的視頻特 征檢測處理、群集(cluster)處理和活動性(activity)判斷處理的程序及其它 各種程序、數(shù)據(jù)等，所有處理將在后面描述。應(yīng)注意，取代HDD 10，記錄/再 現(xiàn)裝置100可以將OS或各種程序和數(shù)據(jù)存儲在其它存儲介質(zhì)，例如閃速存儲器(未示出)。
光盤驅(qū)動器ll將視頻內(nèi)容等記錄在光盤12上，并在視頻內(nèi)容再現(xiàn)時讀 出視頻內(nèi)容等以將數(shù)據(jù)輸出到緩沖控制器13。光盤12例如是DVD (數(shù)字多 用盤)、BD (藍光盤)和CD (致密盤)。
緩沖控制器13控制相對于對于HDD 10或光盤12從數(shù)字調(diào)諧器5或其 它各種接口順序地提供的視頻內(nèi)容的寫入時間和數(shù)據(jù)量，斷續(xù)地將視頻內(nèi)容 寫入到例如HDD IO或光盤12。此外，緩沖控制器13控制記錄在HDD 10或 光盤12上的視頻內(nèi)容的讀出時間和數(shù)據(jù)量，并將斷續(xù)讀出的視頻內(nèi)容順序 地提供到解復用器15。
選擇器14基于來自CPU 1的控制信號選擇從數(shù)字調(diào)諧器5、各種接口、 HDD IO和光盤驅(qū)動器11的其中任何一個輸入的-見頻內(nèi)容。
解復用器15將從緩沖控制器13輸入的復合視頻內(nèi)容分離成視頻信號和 音頻信號，并將這些信號輸出到AV解碼器16。AV解碼器16將例如以MPEG (動畫專家組)-2格式或MPEG-4格式的經(jīng) 編碼的視頻信號和音頻信號解碼，并將視頻信號輸出到0SD(屏幕顯示器)17 和將音頻信號輸出到音頻D/A轉(zhuǎn)換器19。
0SD(屏幕顯示器)17生成欲在顯示器(未示出)上顯示的圖形等和將生成 的圖形等與視頻信號進行合成處理或切換處理。在此之后，OSD(屏幕顯示 器)17將處理的視頻信號輸出到視頻D/A轉(zhuǎn)換器18。視頻D/A轉(zhuǎn)換器18將受 到由0SD17進行圖形處理的視頻信號從數(shù)字信號轉(zhuǎn)換成模擬信號，以得到 NTSC (國家電視標準委員會)信號，并將轉(zhuǎn)換的信號輸出到顯示器(未示出)用 于顯示。
音頻D/A轉(zhuǎn)換器19將從AV解碼器16輸入的音頻信號從數(shù)字信號轉(zhuǎn)換 為模擬信號，并將轉(zhuǎn)換的信號輸出到揚聲器(未示出)，用于將其再現(xiàn)。
視頻特征檢測部分4根據(jù)尚未由AV解碼器16解碼的視頻信號或者已經(jīng) 由AV解碼器16解碼的視頻信號檢測視頻特征。
群集處理部分20基于視頻特征從視頻內(nèi)容(根據(jù)該視頻內(nèi)容已經(jīng)檢測 視頻特征)中將學習的視頻內(nèi)容進行分類成為預定數(shù)量的群。后面將描述群 集處理的細節(jié)。
基于學習的結(jié)果，即，群集處理的結(jié)果，活動性判別部分40判斷視頻 內(nèi)容的視覺活動性(活動性級別)。例如當將在視頻內(nèi)容內(nèi)部的對象(人或物)的運動的幅度和速度、場景切換頻率等稱之為"活動性"時，這里所用的活 動性指示在視頻內(nèi)容內(nèi)部的活動性的程度。后面將描述活動性判斷處理的細 節(jié)。
圖2A和2B及圖3A和3B是表示視頻特征的圖。
圖2A表示包含場景Sl到S6的視頻和是在從場景Sl開始沿左手方向或 右手方向動作相機(搖動(pan))的同時拍攝的。圖2B表示包含場景Sl到 S6的視頻和是在從場景Sl開始相機縮;改的同時拍攝的。在這一實施例中， 將由相機操作例如搖動、傾斜(未示出)和縮放產(chǎn)生的視頻特征稱之為相機 操作特征。
圖3A表示其中在場景S3和場景S4之間提供的切換點fa處場景從場景 S3切換到S4的狀態(tài)。圖3B表示一種狀態(tài)，其中當由場景S3到S4陸續(xù)呈現(xiàn) 時的一場景逐漸淡出，及當由場景S4到S6陸續(xù)呈現(xiàn)時的另一場景逐漸淡入。 在這一實施例中，將在編輯-見頻的同時產(chǎn)生的^L頻特征，例如包含切換和淡 入淡出的視頻效果稱之為視頻編輯特征。
視頻特征檢測部分4利用后面要描述的公用信號處理系統(tǒng)檢測這一相機 操作特征和視頻編輯特征。群集處理部分20和活動性判別部分40利用檢測
意，記錄/再現(xiàn)裝置100可以利用檢測的;f見頻特征來實行處理例如高亮場景生
成和章節(jié)生成。
圖4A-4F是每個示意表示相機操作特征的示意圖。 圖4A表示向左的搖動。在這種情況下，在視頻中的對象沿右手方向移動。 圖4B表示向右的搖動。在這種情況下，視頻中的對象沿左手方向移動。 圖4C表示向下傾斜。在這種情況下，視頻中的對象沿向上的方向運動。 圖4D表示向上傾斜。在這種情況下，視頻中的對象沿向下的方向運動。 圖4E表示縮放放大(zoom-in)。在這種情況下，視頻中的對象被放大。 圖4F表示縮放縮小(zoom-out)。在這種情況下，視頻中的對象被縮小。 圖5是示意表示在縮放中的圖像的變化量的示意圖。 為了檢測視頻內(nèi)容中的相機操作特征，需要利用塊匹配檢測視頻內(nèi)容中 的運動矢量。然而，如圖4所示，因為縮放的圖像的運動量小于搖動的圖像 或傾斜的圖像的運動量，其檢測級別也被認為是小的。因此，當如在相關(guān)技 術(shù)中那樣利用單一塊實行塊匹配時，可能不能檢測出縮放，因此，引起錯誤的檢測。因此，這一實施例利用多個塊的組合實行塊匹配。
這里，如在圖5中由箭頭指示的，在縮放中的圖像的變化是沿徑向的變 化(斜線方向)。因此，當其變化量沿X和Y方向投射時，由箭頭x和y分別 指示的變化量兩者都小于沿徑向的原有的變化量。因此，與在利用某一個塊 和沿x或y向排列的另一個塊的組合的塊匹配中相比較，在利用某一個塊和 沿徑向排列的另一個塊的組合的塊匹配中，較大地抑制了在塊匹配方面的錯 誤檢測。相應(yīng)地，在這一實施例中，視頻特征檢測部分4利用沿徑向排列的 塊的組合實行塊匹配，其具體處理后面將描述。
順便地說，最近的家用攝像機經(jīng)常裝備有所謂的抖動校正功能。然而， 抖動校正功能的校正量是有限的，其結(jié)果是由家用攝像機拍攝的視頻內(nèi)容很 可能或多或少地包含抖動的畫面。進而，實際上，本發(fā)明的發(fā)明人通過實驗 將利用家用攝像機拍攝的視頻和在攝影棚拍攝的視頻例如廣播節(jié)目相比較， 并發(fā)現(xiàn)在兩個視頻中的運動矢量的振動量相互有很大的不同。
圖6是示意表示基于實驗結(jié)果的抖動畫面的圖。如圖所示，抖動畫面是 以幀為單位由搖動和傾斜隨機引起的。因此，通過檢測在視頻內(nèi)容內(nèi)部的預 定部分中搖動和傾斜的時間序列的行動變化，即運動矢量的時間序列的行動 變化，能夠檢測由手的晃動引起的抖動。
因此，通過檢測抖動畫面的出現(xiàn)與否或其發(fā)生頻率，變得能夠?qū)凑諒V 播內(nèi)容記錄的視頻內(nèi)容與利用家用攝像機拍攝的視頻內(nèi)容相區(qū)分。假設(shè)記錄/ 再現(xiàn)裝置100其中存儲各種多媒體內(nèi)容，這樣，例如在組織視頻內(nèi)容時，將 視頻內(nèi)容如此相互區(qū)分被認為是十分有效的。因此，在這一實施例中，視頻 特征檢測部分4不僅檢測搖動、傾斜和縮放，而且還檢測由手的晃引起的抖 動作為相機操作特征，后面將描述其具體處理。
圖7是具體表示視頻特征檢測部分4的結(jié)構(gòu)的方塊圖。
如圖所示，視頻特征檢測部分4包含圖像處理部分21、 l幀間隔存儲部 分22、 IO幀間隔存儲部分23、 20幀間隔存儲部分24、 30幀間隔存儲部分 25、用于相應(yīng)存儲部分的匹配處理部分26、 28、 30、和32;還提供用于相應(yīng) 存儲部分的淡入淡出/切換處理部分27、 29、 31和33;運動矢量處理部分 34、相機特征判斷部分36和淡入淡出/切換判斷部分35。
圖像處理部分21按照包含在由AV解碼器16解碼后的CPU 1視頻內(nèi)容 中的基帶帶寬內(nèi)的幀的幀編號的次序輸入圖像數(shù)據(jù)(具體地說，亮度信號Y和色差信號Cb和Cr),并基于圖像數(shù)據(jù)實行各種類型的處理，例如設(shè)定參考 圖像區(qū)域一 一在該區(qū)域欲執(zhí)行運動矢量檢測一—和設(shè)定作為用于運動矢量檢 測的基準的位置(后面稱之為基準位置)，設(shè)定運動矢量的檢索區(qū)域和提取作 為用于塊匹配處理的基準的塊(后面稱之為基準塊)，后面將詳細描述它們的 處理。
應(yīng)注意，實行在基帶帶寬中的處理的理由在于，對于要在記錄/再現(xiàn)裝置 100中再現(xiàn)的視頻內(nèi)容，可能共存各種格式的視頻內(nèi)容，例如除了MPEG格式 數(shù)據(jù)以外，數(shù)字方式記錄的DV (數(shù)字視頻)格式數(shù)據(jù)、模擬記錄的VHS (家 用視頻系統(tǒng))格式數(shù)據(jù)和8mtn格式數(shù)據(jù)，這樣在公用信號處理系統(tǒng)中盡可能 多地實行從這些視頻內(nèi)容中的視頻特征提取處理。
1幀間隔存儲部分22、 10幀間隔存儲部分23、 20幀間隔存儲部分24 和30幀間隔存儲部分25存儲在從一已從其提取基準塊的幀(后面稱之為基 準幀)到在其之間基準幀具有的1幀。10幀、20幀和30幀的間隔的各相應(yīng) 幀的范圍內(nèi)部的多項圖像數(shù)據(jù)。當然，幀的間隔并不局限于此。
匹配處理部分26、 28、 30和32在從圖像處理部分21輸入的基準幀和 分別從幀間存儲部分22到25輸入的幀(后面稱之為檢索幀)的檢索區(qū)域之 間實行塊匹配處理，并將相應(yīng)結(jié)果輸出到運動矢量處理部分34。塊匹配處理 涉及，在檢索幀內(nèi)部移動塊(后面稱之為檢索塊)一一該塊具有與基準幀中 的基準塊相同的形狀一一的同時，檢索一位置，在該位置基準塊和檢索塊之 間的相似程度變得最大。匹配處理部分26、 28、 30和32將從基準位置到相 應(yīng)檢索位置的運動矢量量(即，運動量和沿X (水平)和Y (垂直)的移動方 向)，分別輸出到運動矢量處理部分34。此外，匹配處理部分26、 28、 30和 32將在基準塊和相應(yīng)的檢索塊之間的Y、 Cb和Cr剩余值分別輸出到淡入淡 出/切換處理部分27、 29、 31和33。后面將詳細描述上述處理。
基于從匹配處理部分26、 28、 30和32分別輸入的匹配后差分值，淡入 淡出/切換處理部分27、 29、 31和33分別生成淡入淡出/切換估算值并將該 值輸出到淡入淡出/切換判斷部分35，后面將詳細描述該處理。
要注意，淡入淡出/切換處理部分27、 29、 31和33可以單獨計算在從 圖像處理部分21輸入的基準塊和分別從幀間存儲部分22到25輸入的檢索 塊之間得到的、并使用在塊匹配處理中的差分值。
基于作為塊匹配處理結(jié)杲的和分別從匹配處理部分26、 28、 30和32輸入的運動矢量量，運動矢量處理部分34估算在一基準位置與之具有30幀或 更多如40幀的幀間隔的位置的運動矢量量，并將估算的運動矢量量輸出到相 機特征判斷部分36,后面將詳細描述該處理。
基于從運動矢量處理部分34輸入的估算的運動矢量量，通過利用后面將 描述的仿射轉(zhuǎn)換才莫型的多回歸分析(multiple regression analysis),相積^ 特征判斷部分36判斷在視頻內(nèi)容內(nèi)部的搖動、傾斜、縮放和抖動的相機操 作特征，并將判斷結(jié)果輸出到CPU 1,后面將詳細描述該處理。
基于從淡入淡出/切換處理部分27、 29、 31和33分別輸入的淡入淡出/ 切換估算值，淡入淡出/切換判斷部分35判斷在視頻內(nèi)容內(nèi)部的淡入淡出或 切換的視頻編輯特征，并將判斷結(jié)果輸出到CPU 1。
接著，將描述如此構(gòu)成的記錄/再現(xiàn)裝置100的操:作。
圖8是表示當記錄/再現(xiàn)裝置IOO檢測視頻特征時實行的處理的流程的流 程圖。
如圖所示，；現(xiàn)頻特征;險測部分4首先4丸行相應(yīng)^L頻特征的4全測標記的初 始設(shè)定(步驟41)。檢測標記分別指示已經(jīng)根據(jù)視頻內(nèi)容檢測搖動、傾斜、 縮放和抖動的相機操作特征及淡出和切換的視頻編輯特征。視頻特征檢測標 "i己分另'J由Dpan、 Dtilt、 Dzoom、 Dbure、 Dfad和Dcut K表，在^^臺i殳定中^l尋 它們的標記值設(shè)定到0。
其后，視頻特征檢測部分4通過利用圖像處理部分21、幀間 (inter-frame)存儲部分22到25、匹配處理部分26、 28、 30和32及運 動矢量處理部分34檢測在視頻內(nèi)容內(nèi)部的運動矢量(步驟42 )
現(xiàn)在將具體描述移動是矢量檢測處理。圖9是表示運動矢量檢測處理的 流程的流程圖。
順便地說，如上所述，在運動矢量檢測處理中，能夠通過在該基準幀與
準幀和相應(yīng)檢索區(qū)域之間的塊匹配處理。然而，當已經(jīng)拍攝視頻內(nèi)容的相機 快速移動時，例如太長的幀間隔可能導致在該間隔在視頻中頻繁出現(xiàn)移動， 因此惡化了檢測分辨性能和不能進行精確的運動矢量檢測。
此外，當相機慢速移動時太短的巾貞間隔使得按照該間隔檢測的運動矢量 的檢測值過分降低，因此在這種情況下也不能進行精確的運動矢量檢測。
在上述相機快速移動的情況下，與基準塊對應(yīng)的塊可能移出檢索區(qū)域之外。然而，在檢測的過程中不能判斷與基準塊對應(yīng)的塊是依然在檢索區(qū)域內(nèi) 部還是在檢索區(qū)域外部。
因此，在這一實施例中，視頻特征檢測部分4基于在該塊匹配中在4企測 點的運動量和匹配的剩余值估算檢索精度。當判斷為不精確時視頻特征檢測 部分4不使用其檢測數(shù)據(jù)并僅使用精確的檢測數(shù)據(jù)，和基于按照其它幀間隔 的匹配數(shù)據(jù)按照一更長的幀間隔估算運動矢量量。然后，3見頻特征檢測部分 4使用估算的運動矢量量作為要用于檢測視頻特征的運動矢量量。
如圖9所示，視頻特征檢測部分4首先將一指示精確條數(shù)的檢測數(shù)據(jù)的 數(shù)目的計數(shù)值m設(shè)定為0 (步驟91)。后面將詳細描述該計數(shù)值。
其后，視頻特征檢測部分4使用從圖像處理部分21輸入的基準幀和在 幀間存儲部分22到25中分別存儲的檢索幀，以由匹配處理部分26、 28、 30和32分別按照1幀間隔、10幀間隔、20幀間隔和30幀間隔、實行運動 矢量檢測處理(步驟92到95 ),后面將詳細描述該處理。
接著，基于按照相應(yīng)的幀間隔檢測的運動矢量的數(shù)據(jù)，視頻特征檢測部 分4使用運動矢量處理部分34以估算按照40幀間隔的運動矢量(步驟96 ), 并將關(guān)于估算的運動矢量的數(shù)據(jù)輸出到相機特征判斷部分36作為最終的運 動矢量lt據(jù)(步驟97)。后面將詳細描述該處理。
在此之后，視頻特征檢測部分4判斷是否已經(jīng)對于構(gòu)成單一視頻內(nèi)容的 所有的幀輸出了運動矢量數(shù)據(jù)，并重復步驟91到97的處理直到對于所有的 幀都檢測了運動矢量為止。
圖10到13是分別具體表示在圖9中，在運動矢量檢測處理中按照相應(yīng) 幀間隔的步驟92到95的處理的流程圖。首先描述在步驟92中按照1幀間隔 的運動矢量^r測處理。
如圖10所示，首先，圖像處理部分21和匹配處理部分26實行基準幀 和與基準幀具有1幀間隔的檢索幀之間的塊匹配處理(步驟921)。
現(xiàn)在詳細描述塊匹配處理。圖14是表示塊匹配處理流程的流程圖。
如圖所示，圖像處理部分21首先設(shè)定在基準幀中的參考圖像區(qū)域和檢 索區(qū)域(步驟101)。圖15是表示設(shè)定參考圖像區(qū)域和檢索區(qū)域的狀態(tài)的示 意圖。
如圖所示，匹配處理部分26設(shè)定一限定在作為原始圖像(S)的基準幀71 中運動矢量的檢索范圍的檢索區(qū)域72，和設(shè)定在檢索區(qū)域72內(nèi)的參考圖像區(qū)域73作為運動矢量的目標檢測范圍。
然后，匹配處理部分26將參考圖像區(qū)域73例如劃分為8 x 8 = 64個區(qū)域 74，并將每個區(qū)域74的中心點設(shè)定作為運動矢量目標點Pn (n-0到63)。
要注意，基準幀71的尺寸例如是720 x 480 (象素)，但不局限于此。此 外，原始圖像(S)可以是一基準幀71的收縮圖像。例如，當基準幀71具有 720 x 480 (象素)的尺寸時，將具有1/4原始圖像(S)尺寸的圖像(沿縱向和 橫向兩者的長度的一半)，即，具有尺寸為360 x 240 (象素)的圖像設(shè)定作 為原始圖像(S)，和將檢索區(qū)域72和參考圖像區(qū)域73設(shè)定在該圖像內(nèi)。相 應(yīng)地，能夠?qū)⒃谄ヅ涮幚聿糠?6、 28、 30和32上的負載降低，而不會惡化 在后來的塊匹配處理中的精確度。
回過來參照圖14，圖像處理部分21將運動矢量檢測目標點Pn的n設(shè)定 為0,并將該基準塊設(shè)定作為用于關(guān)于PO的塊匹配處理的基準(步驟102 )。 圖16是表示設(shè)定基準塊的方法的示意圖。
如圖所示，圖像處理部分21首先以基準幀71的中心作為原始點0(0， 0) 獲得檢測目標點Pn (在這種情況下為PO )的坐標(xn, yn )(步驟103)。其 后，圖像處理部分21設(shè)定一預定值an(步驟104)。該值an例如是按照如下 設(shè)定的基準幀的一側(cè)長度的1/2。例如將an的值設(shè)定為4，但不局限于此。
然后，如圖16A所示，按照一在基準幀71上設(shè)定為Fn(x)=knx(kn=yn/xn) 的函數(shù)，圖像處理部分21利用該設(shè)定值計算該函數(shù)如下的兩個坐標(步驟 105)。
Pnl (xn-an, Fn (xn-an)) Pn2 (xn+an, Fn (xn+an))
其后，圖像處理部分21設(shè)定中心在坐標點pnl的基準塊Bnl(步驟106 ), 并將基準塊Bnl劃分為s x s個小塊bnl (步驟107 )。
在此之后，圖像處理部分21設(shè)定中心在坐標點pn2的基準塊Bn2 (步驟 108 )，并將基準塊Bn2劃分為s x s個小塊bn2 (步驟109 )。
如圖16B所示，當s=4時，每個基準塊Bnl和Bn2由b0到b15的小塊組 成。此外，如圖16C所示，每個小塊bnl和bn2例如對應(yīng)于4片(piece)象素 數(shù)據(jù)的平均值。
這里，假設(shè)4片象素數(shù)據(jù)是dnl、 dn2、 dn3、 dn4,能夠?qū)⒚總€小塊bnl 和bn2看作Y、 Cb、 CR的三維矢量數(shù)據(jù)。當將其數(shù)據(jù)分量分別用下標—y、 —cb、-cr指定時，例如小塊bnl的數(shù)據(jù)分量可以分別用如下的表達式來表達。 bnl—y= (dnl_y+dn2—y+dn3_y+dn4—y)/4 bnl—cb= (dnl—cb+dn2—cb+dn3_cb+dn4_cb)/4 bnl—cr= (dnl—cr+dn2—cr+dn3_cr+dn4_cr)/4
當完成如上所述的基準塊Bnl和Bn2的設(shè)定時，由匹配處理部分26、 28、 30和32分別開始按照1幀間隔、IO幀間隔、20幀間隔、30幀間隔的塊匹配 處理。要注意，后面將對由匹配處理部分26按照1幀間隔實行的塊匹配處理 進行描述，但其處理與由匹配處理部分28、 30和32按照相應(yīng)的幀間隔分別 實行的塊匹配處理相同。
基于基準塊Bnl的小塊bnl和基準塊Bn2的小塊bn2,匹配處理部分26 實行塊匹配處理(步驟IIO)。圖17是表示實行塊匹配處理的狀態(tài)的示意圖。 圖17A表示在基準幀71中的基準塊Bnl和Bn2 (后面將兩個基準塊共同稱之 為基準塊Bn);圖17B表示在檢索幀75中的檢索塊Bml和Bm2 (后面將兩個 檢索塊共同稱之為檢索塊Bm )。
如圖所示，匹配處理部分26從基準幀71提取兩個設(shè)定的基準塊，并實 行模式匹配以檢測對應(yīng)于基準塊Bn的塊在與基準幀71具有預定的幀間隔(這 種情況下為1幀間隔)的檢索幀75中已經(jīng)移動的位置。具體地說，匹配處理 部分26在檢索幀75中的檢索區(qū)域72之內(nèi)每次將檢索塊移動一個象素的同 時，檢測位置Pm，在該位置基準塊Bn中的每個小塊bn相應(yīng)的Y、 Cb和Cr數(shù) 據(jù)分量的矢量距離變?yōu)樽钚　z索塊Bm從基準幀71的坐標點Pn到其檢測位 置Pm的運動量Vn和移動方向變?yōu)檫\動矢量MV。此外，匹配處理部分26還 計算基準塊Bn和檢索塊Bm之間的匹配后的剩余值連同運動量。
當完成關(guān)于4企測目標點Pn的運動矢量;f企測時，匹配處理部分26將n遞 增l(步驟112),和重復上述處理，直到n變?yōu)閚max或更大為止(步驟113)。 在這一實施例中，nmax為63。
通過上述處理，將基準塊Bnl和Bn2設(shè)定在從基準幀71的中心起的徑向 上。換句話說，設(shè)定基準塊Bnl和Bn2,以便分別位于從基準幀71的中心開 始的半直線上的各點的中心。通過如此設(shè)定在徑向上的各塊，如上所述，在 相機操作特征之中特別是縮放中檢測運動矢量的精確度可以極大地改進。進 而，與相關(guān)技術(shù)中利用一用于塊匹配處理的單一塊的情況相比較，通過利用 用于塊匹配處理的兩個塊的組合，不僅在檢測縮放中的運動矢量的精確度，而且在檢測沿x和y方向的運動矢量即在搖動和傾斜時的精確度都可以改進。 匹配處理部分28、 30和32以與匹配處理部分26相同的方式，通過利用 與基準幀71分別具有10幀間隔、20幀間隔和30幀間隔的檢索幀75實行運 動矢量檢測。
這里，如上所述，在這一實施例中，當判斷所檢測的運動矢量不精確時， 為了改進在檢測運動矢量時的精確度，視頻特征檢測部分4不使用其檢測數(shù) 據(jù)。后面將詳細描述該處理，同時回過來參考圖10描述步驟922和其后步驟 的處理。
如上所述，除了設(shè)定用于檢索運動矢量的檢索區(qū)域72之外，匹配處理部 分26還設(shè)定另一檢索范圍用于改進在檢測運動矢量時的精確度。這一檢索范 圍例如是從檢測目標點Pn起沿X和Y兩個方向的±8象素。具體地說，當設(shè) 定判斷標準時，以便檢測位置Pm遠離檢測目標點Pn沿+或-方向的距離不應(yīng) 當大于8象素，和匹配后的剩余值應(yīng)小于預定的閾值Eth，匹配處理部分26 不使用作為不精確的數(shù)據(jù)的該不滿足判斷標準的檢測數(shù)據(jù)。當然，檢索區(qū)域 的數(shù)字值不局限于8。
這里，將在按照1幀間隔的運動矢量檢測中沿X (水平)和Y (垂直)方 向的運動量分別設(shè)定為Vlxn和Vlyn,和剩余值設(shè)定為Eln。
如圖10所示，匹配處理部分26檢測運動量Vlxn和Vlyn及通過按照1 幀間隔的塊匹配處理檢測的剩余值Eln (步驟922 )。然后，匹配處理部分 26基于判斷標準判斷是否滿足 I Vlxn I <8， I Vlyn I <8,和
Eln〈Eth
(步驟923和924 )。當該值滿足判斷標準時，匹配處理部分26將合適的加 權(quán)系數(shù)Kl設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟925 )。 另一方面，當該值不滿足判斷標準時，匹配處理部分26將Kl設(shè)定為0 (步 驟926 )。然后，匹配處理部分26將加權(quán)系數(shù)K1和計數(shù)值m連同^r測的運動 量Vlxn和Vlyn和剩余值Eln輸出到運動矢量處理部分34。
接著，將描述在塊匹配處理之后實行的處理按照10幀間隔的運動矢量檢 測處理。這里，將按照10幀間隔的沿x (水平)和y (垂直)方向的運動量 分別設(shè)定為V10xn和V10yn,并將剩余值設(shè)定為E10n。如圖11所示，匹配處理部分28 ;險測運動量V10xn和V10yn及通過4姿照 10幀間隔的塊匹配處理檢測的剩余值E10n (步驟932 )。然后，匹配處理部 分28基于判斷標準判斷是否滿足
I V10xn I <8，
I V10yn I <8，和 E10n〈Eth
(步驟933和934 )。當該值滿足判斷標準時，匹配處理部分28將合適 的加權(quán)系數(shù)K10設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟 935 )。另一方面，當該值不滿足判斷標準時，匹配處理部分28將K10設(shè)定為 0(步驟936 )。然后，匹配處理部分28將加權(quán)系數(shù)K10和計數(shù)值m連同檢測 的運動量V10xn和V10yn和剩余值E10n輸出到運動矢量處理部分34。
接著，將描述在塊匹配處理之后實行的處理按照20幀間隔的運動矢量檢 測處理。這里，將按照20幀間隔的沿x (水平)和y (垂直)方向的運動量 分別設(shè)定為V20xn和V20yn,并將剩余值設(shè)定為E20n。
如圖12所示，匹配處理部分30才金測運動量V20xn和V20yn及通過按照 20幀間隔的塊匹配處理檢測的剩余值E20n (步驟942 )。然后，匹配處理部 分30基于判斷標準判斷是否滿足 I V20xn I <8， I V20yn | <8，和 E20n<Eth
(步驟943和944 )。當該值滿足判斷標準時，匹配處理部分30將合適的加 權(quán)系數(shù)K20設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟945 )。 另一方面，當該值不滿足判斷標準時，匹配處理部分30將K20設(shè)定為0 (步 驟946 )。然后，匹配處理部分30將加權(quán)系數(shù)K20和計數(shù)值m連同^r測的運 動量V20xn和V20yn和剩余<直E20n輸出到運動矢量處理部分34。
接著，將描述在塊匹配處理之后實行的處理按照30幀間隔的運動矢量檢 測處理。這里，將按照20幀間隔的沿x (水平)和y (垂直)方向的運動量 分別設(shè)定為V30xn和V30yn，并將剩余值設(shè)定為E30n。
如圖13所示，匹配處理部分32才全測運動量V30xn和V30yn及通過4要照 30幀間隔的塊匹配處理檢測的剩余值E30n (步驟952 )。然后，匹配處理部 分32基于判斷標準判斷是否滿足I V30xn I <8， I V30yn | <8，和 E30n〈Eth
(步驟953和954 )。當該值滿足判斷標準時，匹配處理部分32將合適的加 權(quán)系數(shù)K30設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟935 )。 另一方面，當該值不滿足判斷標準時，匹配處理部分32將K30設(shè)定為0 (步 驟956 )。然后，匹配處理部分32將加權(quán)系數(shù)K30和計數(shù)值m連同檢測的運 動量V30xn和V30yn和剩余值E30n輸出到運動矢量處理部分34。
接著將具體描述圖9中的步驟96的運動矢量估算處理，其是由運動矢量 處理部分34實行的。圖18是表示運動矢量估算處理的流程的流程圖。這里， 為了按照40幀間隔估算運動矢量，基于相應(yīng)的檢測幀間隔和運動量計算合適 的梯度(gradient )。圖19是表示該梯度的示意圖。
如圖18所示，運動矢量處理部分34首先將分別從匹配處理部分26、 28、 30和32輸入的輸入計數(shù)值m求和，以判斷該和是否等于或大于l(步驟961 )。 當該計數(shù)值之和等于或大于1 (是)時，運動矢量處理部分34計算按照相應(yīng) 幀間隔的運動矢量的梯度(步驟962 )。
現(xiàn)在將首先描述基于間隔Llt(l幀間隔)和運動量Vlxn，計算按照1幀 間隔的運動矢量的梯度Tlxn的情況。
檢測幀間隔Lit是即在基準幀71后1幀的檢索幀75的pts (當前時間戳) 時間間隔pit與基準幀71的pts時間間隔p0的比率。因此，通過利用如下 的表達式可以計算檢測幀間隔Llt。
Llt=plt/pO
這是因為，由于幀速率可能取決于視頻內(nèi)容而相互不同，當計算梯度時， 1幀間隔時間是歸一化的。
相應(yīng)地，通過利用如下的表達式可以計算關(guān)于沿X方向的運動量的梯度。 Tlxn=Vlxn/Llt
此外，通過利用如下的表達式可以計算關(guān)于沿Y方向的運動量的梯度。 Tlyn=Vlyn/Llt
類似地，描述基于間隔L10t(10幀間隔)和運動量V10xn,計算按照10 幀間隔的運動矢量的梯度T10xn的情況。
檢測幀間隔L10t是在基準幀71后10幀的檢索幀75的pts (表示時間標記)時間間隔plOt與基準幀71的pts時間間隔p0的比率。因此，通過利用 如下的表達式可以計算檢測幀間隔L101 。 L10t=plOt/pO
相應(yīng)地，通過利用如下的表達式可以計算關(guān)于沿X方向的運動量的梯度。 T10xn=V10xn/L10t
此外，通過利用如下的表達式可以計算關(guān)于沿Y方向的運動量的梯度。 T10yn=V10yn/L10t
類似地，描述基于間隔L20t(20幀間隔)和運動量V20xn，計算按照20 幀間隔的運動矢量的梯度T20xn的情況。
檢測幀間隔L20t是在基準幀71后20幀的檢索幀75的pts (表示時間標 記)時間間隔p20t與基準幀71的pts時間間隔p0的比率。因此，通過利用 如下的表達式可以計算檢測幀間隔L20t。
L20t=p20t/p0
相應(yīng)地，通過利用如下的表達式可以計算關(guān)于沿X方向的運動量的梯度。 T20xn=V20xn/L20t
此外，通過利用如下的表達式可以計算關(guān)于沿Y方向的運動量的梯度。 T20yn=V20yn/L20t
類似地，描述基于間隔L30t(30幀間隔)和運動量V20xn、計算按照30 幀間隔的運動矢量的梯度T30xn的情況。
檢測幀間隔L30t是在基準幀71后30幀的檢索幀75的pts (表示時間標 記)時間間隔p30t與基準幀71的pts時間間隔p0的比率。因此，通過利用 如下的表達式可以結(jié)束才企測幀間隔L 3 01 。
L30t=p30t/p0
相應(yīng)地，通過利用如下的表達式可以計算關(guān)于沿X方向的運動量的梯度。 T30xn=V30xn/Llt
此外，通過利用如下的表達式可以計算關(guān)于沿Y方向的運動量的梯度。 T30yn=V30yn/Llt
因此，當加權(quán)系數(shù)(K1+K10+K20+K30)大于0時，可以分別利用如下的 表達式計算沿X方向的平均梯度Tavex (n)和沿Y方向的平均梯度Tavey (n)。
Tavex (n) = (Kl x Tlxn+ K10 x T10xn+ K20 x T20xn+ K30 x T30xn)/(K1+K10+K20+K30)Tavey(n) = (Kl x Tlyn+ K10 x TlOyn十 K20 x T20yn+ K30 x T30yn)/(K1+K10+K20+K30)
另外，當(K1+K10+K20+K30) = 0時，可以利用如下表達式分別計算 Tavex (n)和Tavey (n)。
Tavex (n) = 0
Tavey (n) = 0
接著，利用所計算的平均梯度，運動矢量處理部分34合適地估算按照 40幀間隔的運動矢量(步驟963)。具體地說，運動矢量處理部分34可以將所 計算的平均梯度乘以幀間隔，因此計算如圖19所示的等效運動量。換句話說， 利用如下的表達式可以計算對于X和Y方向按照40幀間隔的估算的運動矢量 (估算的運動量)
40 x Tavex (n)
40 x Tavey (n)
要注意，在計算該梯度時，期望如圖19所示按所有的幀間隔通過原點的 直線(y-ax)。因此，相應(yīng)梯度的計算值僅僅是近似值。
運動矢量處理部分34將估算的運動矢量輸出到相機特征判斷部分36作 為在檢測目標點Pn得到的運動矢量(圖9中的步驟97 )。此外。當各計數(shù)值 m之和是0時(在步驟961為否)，運動矢量處理部分34將運動矢量設(shè)定為0 (步驟964 )并將該值輸出到相機特征判斷部分36 (圖9中的步驟97)。輸 出的運動矢量在后面要描述的多回歸分析處理中使用。
如上所述，因為設(shè)定判斷標準使得在檢測運動矢量不使用不滿足標準的 檢測數(shù)據(jù)即不精確的檢測數(shù)據(jù)，能夠改進檢測運動矢量的精確度。此外，通 過基于按照相應(yīng)幀間隔的運動矢量的檢測數(shù)據(jù)，估算按照長于其它檢測幀間 隔的幀間隔的運動矢量，可以擴展檢測數(shù)據(jù)的范圍(動態(tài)范圍)，因此，與僅 將檢測數(shù)據(jù)定標(scaling)的情況相比較，改進了數(shù)據(jù)分辨性能。
回過來參照圖8，利用相機特征判斷部分36，視頻特征檢測部分4基于 從運動矢量處理部分34輸出的運動矢量數(shù)據(jù)實行多回歸分析處理(步驟43 )， 和計算仿射系數(shù)(步驟44)?，F(xiàn)在描述在多回歸分析處理中用于計算仿射系 數(shù)的仿射轉(zhuǎn)換模型。
圖20表示仿射轉(zhuǎn)換模型。仿射轉(zhuǎn)換模型用于描述利用矩陣按照坐標轉(zhuǎn)換 處理的三維對象的平行移動、放大/縮小和旋轉(zhuǎn)。因為搖動、傾斜和縮放的相機操作特征被認為是在基準幀71內(nèi)對象的平行移動和放大/縮小，可以利用 仿射轉(zhuǎn)換模型描述相機操作特征。
這里，當在視頻內(nèi)容中幀間隔不大時，關(guān)于旋轉(zhuǎn)特征假設(shè)旋轉(zhuǎn)角e很小， 可以實行如下的近似處理。
sin 6 0 cos 6 1
因此，如圖20所示，可以將仿射轉(zhuǎn)換模型進行轉(zhuǎn)換。此外，通過利用仿 射模型基于所檢測的運動矢量計算各系數(shù)，可以檢測相機操作特征。具體地 說，對于搖動、傾斜和縮放可以分別設(shè)定預定的閾值Pth、 Tth和Zth，并可 以將之與根據(jù)檢測的運動矢量處理的各仿射系數(shù)相比較，因此檢測相應(yīng)的相 機操作特征。
圖21表示用于通過多回歸分析計算仿射系數(shù)的處理。如圖所示，利用在 基準幀71中作為在^r測目標點Pn的xy坐標(xn， yn )的解釋性變量，和在 檢索幀75中作為在運動矢量檢測位置Pm的xy坐標(xm, ym )的被說明的變 量，通過實行多回歸分析處理，相機特征判斷部分36分別計算搖動、傾斜 和縮放的系數(shù)Px、 Py和Zx(步驟44)。
回過來參照圖8,相機特征判斷部分36從計算的仿射系數(shù)中輸入搖動系 數(shù)Px(步驟45)。然后，相機特征判斷部分36判斷Px是否大于閾值Pth(步 驟46 )。當Px大于Pth (是)時，相機特征判斷部分36將搖動檢測標記Dpan 設(shè)定到1 (步驟47 ),和當其等于或小于Pth (否)時，將搖動檢測標記Dpan 設(shè)定到0 (步驟48 )。
其后，相機特征判斷部分36從計算的仿射系數(shù)中輸入傾斜系數(shù)Py(步驟 49)。然后，相機特征判斷部分36判斷Py是否大于閾值Tth (步驟50)。當 Py大于Tth (是)時，相機特征判斷部分36將傾斜檢測標記Dtilt設(shè)定到1 (步驟51)，和當其等于或小于Tth (否)時，將搖動檢測標記Dtilt設(shè)定到 0 (步驟48 )。
接著，相機特征判斷部分36從計算的仿射系數(shù)中輸入縮放系數(shù)Zx和 Zy (步驟53)。然后，相機特征判斷部分36判斷Zx或Zy是否大于閾值Zth (步驟54)。當Zx和Zy中的至少一個大于Zth (是)時，相機特征判斷部分 36將縮放檢測標記Dzoom設(shè)定到1 (步驟55 ),和當其等于或小于Zth (否) 時，將縮放檢測標記Dzoom設(shè)定到0 (步驟56 )。要注意，關(guān)于搖動、傾斜和縮放的相機操作特征，相機特征判斷部分36 可以可判別地檢測向左/向右搖動、向左傾斜/向右傾斜和縮放放大/縮放縮小 中的每一個。通過參照相應(yīng)仿射系數(shù)的正和負符號，能夠易于實現(xiàn)區(qū)分。
其后，相機特征判斷部分36實行對搖動系數(shù)Px和傾斜系數(shù)Py的時間 序列分析，以判斷由手的動作引起的抖動(步驟57)。圖22是表示抖動判斷 處理的示意圖。
如圖22所示，相機特征判斷部分36能夠基于搖動系數(shù)Px和傾斜系數(shù)
數(shù)判斷由手的動作引起的抖動，搖動系數(shù)Px和傾斜系數(shù)Py已經(jīng)根據(jù)對于在 視頻內(nèi)容中的每個預定部分(tO到tl,tl到t2，t2到t3，t3到t4)的仿射系 數(shù)而算出。將每個預定部分例如設(shè)定為約0. 5秒到5秒的時間長度。
例如，在該圖中部分tO到tl中，Px或Py交叉平均值級別的次數(shù)為12。 相機特征判斷部分36判斷該交叉的次數(shù)是否超過閾值Thcr,和在每個預定 部分中的Px或Py的方差值是否大于預定的閾值Thv(步驟58)。
這里，當用于每個預定部分的Px和Py的數(shù)據(jù)片的數(shù)目用N表示時，數(shù) 據(jù)片分別用Px (n)和Py (n)表示，和這些數(shù)據(jù)片的平均值分別用Pxave和Pyave 表示，Px和Py的方差值可以利用如下的表達式計算。
Pxvari=(l/N)/2 ((Pxave-Px (n)) x ( Pxave-Px (n))) Pyvari=(l/N)/2 ((Pyave-Py (n)) x ( Pyave-Py (n))) 當交叉的次數(shù)和方差值中的任何一個大于相應(yīng)的閾值(是)時，相機特
為1(步驟59)。當交叉的次數(shù)和方差值中的至少一個等于或小于相應(yīng)的閾值 (否)時，相機特征判斷部分36將抖動檢測標記設(shè)定為0(步驟60)。 接著，視頻特征檢測部分4實行淡入淡出和切換檢測處理。 首先，將描述由淡入淡出/切換處理部分27、 29、 31和33實行的處理。 淡入淡出/切換處理部分27、 29、 31和33分別從匹配處理部分26、 28、
30和32輸入匹配后的剩余值Eln、 E10n、 E20n、 E30n，并將基于這些剩余值
生成的淡入淡出/切換估算值輸出到淡入淡出/切換判斷部分35 (步驟61)。 這里，當每個剩余值用En(n-O到63)表示時，可以利用如下的表達式計
算淡入淡出/切換估算值H。<formula>formula see original document page 27</formula>因此，淡入淡出/切換處理部分27、 29、 31和33分別從從匹配處理部 分26、 28、 30和32輸入剩余值Eln、 E10n、 E20n、 E30n，直到n達到63為 止，即直到輸入了所有檢測目標點P0到P63的剩余值為止，并相應(yīng)地計算它 們的和。
幀的經(jīng)過之間關(guān)系的曲線圖。圖23是包含切換點的情況的曲線圖，圖24是 包含淡入淡出的情況的曲線圖。
基于在圖23和24中顯示的淡入淡出/切換估算值，淡入淡出/切換判斷 部分35實行淡入淡出/切換判斷(步驟62)。具體地說，當?shù)氲?切換估 算值的變化伴隨幀的經(jīng)過是陡峭的(在步驟63為是)時，淡入淡出/切換判 斷部分35判斷該變化為切換，并將切換檢測標記Dcut設(shè)定為1 (步驟65)。 另一方面，當?shù)氲?切換估算值的變化伴隨幀的經(jīng)過是平緩的(在步驟 64為是)時，淡入淡出/切換判斷部分35判斷該變化為淡入淡出，并將淡入 淡出檢測標記Dfade設(shè)定為1 (步驟66 )。當任何一個都未檢測到時(在步驟 64為否)，淡入淡出/切換判斷部分35將切換檢測標記Dcut和淡出檢測標記 Dfade設(shè)定為0 (步驟67 )。
具體地說，淡入淡出/切換判斷部分35分析按照1幀間隔的淡入淡出/ 切換估算值的變化，并當檢測到入圖23的曲線圖所示的峰值特性時，判斷其 峰值點為切換點。
此外，當沒有檢測到峰值特性時，如圖24所示，淡入淡出/切換判斷部 分35在預定時間t計算按照1幀間隔的淡入淡出估算值(曲線a)和按照 10幀間隔的淡入淡出估算值(曲線b)之間得到的淡入淡出差分Va、按照10 幀間隔的淡入淡出估算值(曲線b)和按照20幀間隔的淡入淡出估算值(曲 線c )之間的淡入淡出差分Vb，和按照20幀間隔的淡入淡出估算值(曲線c ) 和按照30幀間隔的淡入淡出估算值(曲線d)之間的淡入淡出差分Vc。
在如圖24所示的淡入淡出的情況下，因為視頻逐漸地變化，淡入淡出/ 切換估算值的變化量取決于它們的幀間隔而相互不同。因此，所有Va、 Vb和 Vc的值顯著地按照相互相當接近的正數(shù)值表達。另一方面，在如圖23所示 的切換的情況下，所有Va、 Vb和Vc可以是相互很大不同的負值。因此，淡 入淡出/切換判斷部分35可以通過分析Va、 Vb和Vc來檢測淡入淡出。
要注意，取代從匹配處理部分26、 28、 30和32分別輸入匹配后的剩余值，如上所述，淡入淡出/切換處理部分27、 29、 31和33可以通過利用從 圖像處理部分21輸入的基準塊Bn和并用在塊匹配處理中的、從幀間存儲部 分22到25分別輸入的檢索塊Bm，單獨地計算淡入淡出/切換估算值。具體 地說，淡入淡出/切換處理部分27、 29、 31和33對于每個檢測目標點Pn， 關(guān)于Y、 Cb和CR的每個數(shù)據(jù)片，檢測基準塊Bn和檢索塊Bm之間的差分，并 相應(yīng)地計算檢測目標點P0到P63的各差分的和作為淡入淡出/切換估算值。 通過將基準塊Bnl和Bn2的組合數(shù)據(jù)與檢索塊Bml和Bm2的組合數(shù)據(jù)相比較 計算在這種情況下的差分。然而，利用如上所述的匹配后的剩余值當然對淡 入淡出/切換處理部分27、 29、 31和33要求較小的負載。
圖25是表示由相機特征判斷部分36和淡入淡出/切換判斷部分35判斷 的相應(yīng)視頻特征的判斷結(jié)果的表。CPU 1實行控制以便例如將等同于表的數(shù) 據(jù)存儲到RAM 2或HDD 10中。
要注意，在圖7中，視頻特征檢測部分4通過將幀間存儲部分22到25 串聯(lián)構(gòu)成。然而，視頻特征檢測部分4可以通過將幀間存儲部分22到25并 聯(lián)構(gòu)成。圖26是表示在這種情況下的視頻特征檢測部分4的結(jié)構(gòu)的示意圖。 因此構(gòu)成的視頻特征檢測部分4執(zhí)行與在幀間存儲部分22到25串聯(lián)的情況 下相同的處理，并提供相同的效果。
接著，將對按照其活動性級別分類視頻內(nèi)容的處理進行描述，其中已經(jīng) 如上所述從該視頻內(nèi)容檢測視頻特征。
圖27是表示由記錄/再現(xiàn)裝置100實行的按照其活動性級別分類視頻內(nèi) 容的處理流程的流程圖。
如圖所示，群集處理部分20首先將對執(zhí)行作為學習處理的群集處理的 次數(shù)進行計數(shù)的計數(shù)值n和m初始化(步驟271)。然后，群集處理部分20從 在HDD 10中存儲的視頻內(nèi)容中選擇學習視頻內(nèi)容(步驟272 )。例如隨機選 擇全部視頻內(nèi)容中的大約20°/ 作為學習內(nèi)容，當然該比率并不局限于此。計 數(shù)值n和m用于在利用不同的學習內(nèi)容執(zhí)行學習處理的情況下，區(qū)分處理中 的計數(shù)值。當在選擇學習內(nèi)容之后首先執(zhí)行學習處理時，設(shè)定計數(shù)值n,此 后當在重新選擇學習內(nèi)容之后再次執(zhí)行學習處理時，設(shè)定計數(shù)值m。
其后，群集處理部分20選擇要作為用于群集所選擇的學習內(nèi)容的基準 的視頻特征類型(步驟273 )。視頻特征類型是指搖動、傾斜和縮放的相機操 作特征及淡入淡出和切換的視頻編輯特征。搖動、傾斜和縮放的相機操作特征指示在視頻內(nèi)容的視頻中的運動，和存在越多的相機操作特征，在視頻中 是運動越劇烈，意味著視頻內(nèi)容具有高的活動性。此外，淡入淡出和切換的 視頻編輯特征指示在視頻內(nèi)容中的場景切換，和存在越多的視頻編輯特征， 在視頻內(nèi)容中存在越多的場景切換，意味著視頻內(nèi)容具有高的活動性。因此，
記錄/再現(xiàn)裝置100通過利用視頻特征判斷視頻內(nèi)容的活動性。
接著，群集處理部分20基于所選擇的視頻特征類型群集(cluster)學習 內(nèi)容。具體地說，群集處理部分20例如基于在已由視頻特征檢測部分4計 算的的全部視頻內(nèi)容內(nèi)部的搖動系數(shù)、傾斜系數(shù)和縮放系數(shù)的相應(yīng)平均值及 淡入淡出/切換估算值(后面將稱之為視頻特征值)實行群集。例如使用 K-means (K均值)法作為群集方法。當使用K-means法時，群K的^t目例如 是3。
其后，群集處理部分20估算(evaluate)通過群集處理分類的群集(步 驟275 )并判斷該群集處理是否已經(jīng)成功(步驟276 )。例如，當〖=3時，生 成第一群集(活動的)、具有與第一群集全部不同特征的第二群集(非活動的)， 和具有第一和第二群集的中間特征的第三群集。群集處理部分20 4企測屬于 第一到第三群集中的每一個群集的視頻內(nèi)容的數(shù)目，和例如當屬于第三群集 的視頻內(nèi)容的數(shù)目相對于所有學習內(nèi)容數(shù)目的比率是預定比率(例如1/3) 或更小時，確定群集處理已經(jīng)成功。此外，當屬于第三群集的視頻內(nèi)容的數(shù) 目小于屬于第一和第二群集中的每一個群集的視頻內(nèi)容時，群集處理部分20 可以確定群集處理已經(jīng)成功。作出如上所述的確定的理由是因為，由于當屬 于第三群集和具有中間特征的視頻內(nèi)容的數(shù)目大時，通過后面將描述的判別 分析判斷活動性的結(jié)果不能有效地呈現(xiàn)給用戶，需要預先確定視頻內(nèi)容是否 能夠適當?shù)胤诸悺?br> 例如，在學習內(nèi)容的數(shù)目是100的情況下，當屬于第一到第三群集的視 頻內(nèi)容的數(shù)目分別是40、 40、和20時，確定群集處理已經(jīng)成功。當該數(shù)目 按照所述次序是20、 20和60時，確定群集處理已經(jīng)失敗。
當在步驟276確定群集處理已經(jīng)失敗(否(a))時，群集處理部分20 將計數(shù)值n遞增l(步驟277 )和確定計數(shù)值n是否已經(jīng)超過預定的閾值nth (步 驟278)。
當在步驟278確定計數(shù)值n未超過預定的閾值nth (否)時，群集處理到275的學習處理。這時，在步驟273,選擇在組合上與先前選擇的視頻特 征類型不同的視頻特征類型。例如，當在上一學習處理中選擇搖動和傾斜的 視頻特征時，在當前的學習處理中將搖動和傾斜的視頻特征類型的至少其中 之一改變?yōu)榭s放、淡入淡出和切換的視頻特征類型的至少其中之一。相應(yīng)地， 變得能夠確定哪些視頻特征應(yīng)當用于適當?shù)胤诸恀L頻內(nèi)容。
另一方面，當在步驟278確定計數(shù)值n已超過預定的闊值nth (是)時， 群集處理部分20使顯示器顯示一指示群集處理已經(jīng)失敗的告警信息(步驟 279 )，并經(jīng)由顯示器提示用戶選擇是否再次實行學習處理(步驟281)。
當用戶選擇再次實行學習處理(在步驟281中為是)時，群集處理部分20 將計數(shù)值m遞增1 (步驟282)并確定計數(shù)值m是否已經(jīng)超過預定值mth (步驟 283 )。
當在步驟283中確定計數(shù)值m未超過預定值mth (否)時，群集處理部 分20重新選擇與在上一學習處理中作為學習內(nèi)容所選擇的視頻內(nèi)容不同的 視頻內(nèi)容作為學習內(nèi)容(步驟272 )，并在后面重復步驟273到276的處理。
此外，在這種情況下，當在步驟276中確定群集處理已經(jīng)失敗(否(b)) 時，群集處理部分20將計數(shù)值遞增1 (步驟282 )并在改變視頻特征類型的 同時重復步驟273到276的處理，直到計數(shù)值m超過闊值mth為止。
當在步驟2 7 6中確定群集處理已經(jīng)失敗和計數(shù)值m已經(jīng)超過閾值mt h時， 群集處理部分20使顯示器顯示不能將學習內(nèi)容分類(步驟284 )并終止該處 理。
當在步驟276中確定群集處理已經(jīng)成功(是)時，活動性判別部分40 檢測在每個分類的群集中的特征(步驟285 )。具體地說，活動性判別部分40 參照屬于每個群集的視頻內(nèi)容的視頻特征值，以檢測在相應(yīng)群集中的為"活 動的"、"非活動的"和"中間"的特征。
然后，活動性判別部分40選擇在群集的檢測值中間屬于分別具有"活 動的"和"非活動的"特征的群集的學習內(nèi)容，并使用屬于相應(yīng)群集的學習 內(nèi)容的視頻特征值，以實行兩組判別分析(步驟286 )。因此，活動性判斷部 分活動性判別部分40計算判別函數(shù)(用于判別函數(shù)的系數(shù))(步驟287 )。
其后，活動性判別部分40選擇不同于學習內(nèi)容的視頻內(nèi)容作為判別視 頻內(nèi)容(步驟288 )并基于視頻內(nèi)容的視頻特征值利用所計算的判別函數(shù)實 行判別分析，以此計算判別視頻內(nèi)容的判別函數(shù)值f (步驟289 )。接著，活動性判別部分40確定每個計算的判別函數(shù)值f的絕對值I f I 是否大于預定閾值fa (步驟290 )。
當絕對值I f I大于預定閾值fa(是)時，活動性判別部分40接著確定f 是否大于0 (步驟291)。
當f大于0時，則活動性判別部分40將^L頻內(nèi)容分類作為活動的視頻 內(nèi)容(步驟292 )。
另一方面，當f小于0時，活動性判別部分40將視頻內(nèi)容分類作為非 活動的視頻內(nèi)容(步驟293 )。
此外，在步驟290,當絕對值I f I小于或等于預定閾值fa時，活動性 判別部分40將視頻內(nèi)容分類作為中間的視頻內(nèi)容(步驟294 )。
分類結(jié)果與相應(yīng)的視頻內(nèi)容相關(guān)聯(lián)并存儲在HDD IO等中。要注意，活動 性判別部分40后面也對于用作學習內(nèi)容的視頻內(nèi)容，通過判別處理來判斷 和分類活動性。
圖28是示意表示由活動性判別部分40實行的處理以將視頻內(nèi)容分類的 示意圖。圖28A表示關(guān)于還沒有受到分類處理的^L頻內(nèi)容的視頻特征值的數(shù) 據(jù)分布，圖28B表示對于圖28所示分布的視頻內(nèi)容利用判別分析實行分類處 理的狀態(tài)。
如圖28A所示，活動的內(nèi)容(圖中的A)和非活動的內(nèi)容(圖中的B)出 現(xiàn)在視頻內(nèi)容中。然而，在這種狀態(tài)下記錄/再現(xiàn)裝置100不能將它們相互區(qū) 分。
這也，如圖28B所示，計算上述判別函數(shù)。利用判別函數(shù)，取決于判別 函數(shù)值f的符號是正還是負，在區(qū)域A和區(qū)域B之間判別該數(shù)據(jù)分布中的視 頻內(nèi)容，活動的視頻內(nèi)容屬于區(qū)域A,非活動的視頻內(nèi)容屬于區(qū)域B。此外， 在區(qū)域A和B中間，在判別函數(shù)的附近的區(qū)域C——在區(qū)域C中判別函數(shù)值f 的絕對值I f I變得等于或小于閾值fa — —設(shè)定作為其中區(qū)域A和B的數(shù)據(jù) 頻率小的中間區(qū)域。換句話說，區(qū)域C具有區(qū)域A和B兩者的特性，并被認 為是既沒有活動的也沒有非活動的視頻特征的視頻內(nèi)容一一即具有中間視頻 特征的視頻內(nèi)容一 一所屬于的區(qū)域。
如上所述，活動性判別部分40基于判別函數(shù)限定區(qū)域A到C，使得可以 將視頻內(nèi)容分類成3個類別。
接著，描述向用戶呈現(xiàn)所分類的視頻內(nèi)容的活動性的方法。在再現(xiàn)記錄在HDD IO上的視頻內(nèi)容時，記錄/再現(xiàn)裝置IOO使顯示器顯 示視頻內(nèi)容的內(nèi)容列表，以使用戶從內(nèi)容列表中選擇用戶希望再現(xiàn)的視頻內(nèi)
再現(xiàn)裝置100中的CPU 1使用戶能按照視頻內(nèi)容的活動性選擇視頻內(nèi)容。 圖29是表示內(nèi)容列表上的活動性識別信息的顯示實例的示意圖。 如圖所示，在在窗口 301中，以矩陣方式顯示相應(yīng)^L頻內(nèi)容的縮略 像302和標題信息303作為內(nèi)容列表。此外，CPU 1使顯示器在每個視頻內(nèi) 容的縮略像302的上部顯示星形標記304,作為指示在3個活動性類型 中所判斷的活動性類型的活動性識別信息。3個星形標記304指示活動的視 頻內(nèi)容、2個星形標記304指示中間視頻內(nèi)容，1個星形標記304指示非活動 的一見頻內(nèi)容。
當希望觀看活動的視頻內(nèi)容時，用戶僅需要經(jīng)由操作輸入部分3選擇具 有作為活動性識別信息顯示的3個星形標記304的視頻內(nèi)容的縮略像 302。相反，當希望觀看非活動的視頻內(nèi)容時，用戶僅需要選擇具有所顯示的 1個星形標記304的視頻內(nèi)容的縮略像302。要注意，可以使用包含圓形 或其它幾何形狀的其它附圖標記(符號)替代星形標記304，或還可以使用 包含字符的其它圖像。
此外，當用戶希望觀看非活動(例如平靜)的視頻內(nèi)容時，與在該圖中 所示的情況相反，CPU 1可以使顯示器顯示3個星形標記304等作為用于非 活動的^L頻內(nèi)容的活動性識別信息，并顯示1個星形標記304等作為用于活 動的視頻內(nèi)容的活動性識別信息。此外，CPU 1可以允許用戶根據(jù)用戶希望 觀看活動的和非活動的視頻內(nèi)容中的哪一個，定制活動性識別信息顯示方法。
圖30是表示內(nèi)容列表的另一個顯示實例的示意圖。要注意，用相同的標 號代表與在圖29中的部分相同的部分。
如圖所示，CPU 1可以顯示活動性識別信息作為在內(nèi)容列表中的縮略圖 圖像302的對比信息。在圖中，增亮顯示活動的視頻內(nèi)容的縮略像302 (例如縮略像302a ),稍暗顯示中間的視頻內(nèi)容的縮略像302 (例如 縮略像302b )，更暗顯示非活動的視頻內(nèi)容的縮略像302 (例如縮略 像302c)。例如在0SD(屏幕顯示器)17上通過將縮略像和具有步進 對比度的灰色背景圖像重疊，可以實現(xiàn)這一顯示。
此外，當用戶希望觀看非活動時，CPU l可以實行控制，使得與更活動的視頻內(nèi)容的顯示相比更亮地顯示較少的活動的視頻內(nèi)容。此外，CPU 1可 以使用戶定制哪一個視頻內(nèi)容明亮地顯示。
此外，取代改變縮略像302的對比度，CPU 1可以通過僅改變縮略 像302的顏色，或者僅僅改變縮略像302外框的顏色來識別活動性。
在圖29和30的實例中，CPU 1使活動性識別信息按3級可區(qū)分地顯示。 然而，CPU 1還可以通過利用多于3級使活動性識別信息可區(qū)分地顯示?？?以在圖27的步驟290中由活動性判別部分40設(shè)定多個閾值fa和將視頻內(nèi) 容分類為4或更多個級來實現(xiàn)這一點。
此外，取代步進地(按離散的量)指示的內(nèi)容活動性，CPU 1可以按照 每個視頻內(nèi)容的活動性相對于活動性的最大值的比率以連續(xù)量(以模擬方式) 指示活動性?？梢栽趫D27的步驟289中由活動性判別部分40輸出原樣判別 函數(shù)值f作為指示活動性的信息來實現(xiàn)這一點。具體地說，假設(shè)為-1的判 別函數(shù)值f是最小值，f為1是最大值，CPU 1僅需要通過將每個視頻內(nèi)容的 判別函數(shù)值f轉(zhuǎn)換為它們相對于最大值1的比率，在內(nèi)容列表中顯示活動性。
圖31是表示在這種情況下在內(nèi)容列表中的活動性識別信息顯示實例的 示意圖。要注意，用相同的標號代表與在圖29和30中的部分相同的部分。
如圖所示，CPU 1按照指示活動性相對于最大值的比率的圖像(比率顯 示圖像305 )，使活動性識別信息在內(nèi)容列表中顯示。在圖中，按照條形曲線 (指示符)顯示比率顯示圖像305。然而，可以按其它形式例如餅形圖顯示 比率顯示圖像305。此外，替代對象例如圖形，CPU 1可以使該比率按照數(shù)字 值(文本信息)顯示。
如上所述，通過更具體地和以連續(xù)的量(以模擬方式)呈現(xiàn)視頻內(nèi)容的 活動性，用戶的選擇范圍可以加寬。
除了在內(nèi)容列表中顯示活動性識別信息以外，CPU 1可以使得能夠按照 其活動性檢索(提取)視頻內(nèi)容。
例如，CPU 1可以使得能夠從在圖29到31所示的內(nèi)容列表中提取具有 一定活動性的視頻內(nèi)容。
圖32是表示在這種情況下的內(nèi)容列表的顯示實例的示意圖。如圖所示， 在窗口 301的上部提供選擇框306和檢索按鈕307,使得例如通過無線電按 鈕能夠選擇或是活動的或是非活動的視頻內(nèi)容的活動性類型。當用戶利用無 線電按鈕在選擇框306內(nèi)選擇視頻內(nèi)容的類型的和按下檢索按鈕307時，視頻內(nèi)容被窄化到具有所選擇的活動性類型的視頻內(nèi)容，這些視頻內(nèi)容的縮略
像302及標題信息303顯示在窗口 301內(nèi)側(cè)。在圖中，當選擇在選擇框 306中的活動的內(nèi)容和按下檢索按鈕307時，僅顯示關(guān)于活動的視頻內(nèi)容的 信息。要注意，在圖中，顯示星形標記作為活動性識別信息。然而，可以使 用如上所述的任何種類的活動性識別信息。
此外，可以使得CPU 1能夠利用活動性和包含流派(genre)的其它提取 項的組合提取視頻內(nèi)容。例如，通過僅從流派"運動"內(nèi)部提取活動的內(nèi)容， 變得能夠從與運動相關(guān)的視頻內(nèi)容中提取包含例如足球賽場景的更多動作的 視頻內(nèi)容。
此外，當利用關(guān)鍵詞等檢索視頻內(nèi)容時，CPU 1可以使用活動性作為對 于視頻內(nèi)容的檢索條件(檢索范圍)之一。
圖33是表示在這種情況下的內(nèi)容列表的顯示實例的圖。如圖所示，窗口 301在其上部提供有選擇框306、 一用于輸入檢索關(guān)鍵詞的輸入框308和檢索 按鈕307,該選擇框306其使用戶能從活動的視頻內(nèi)容、非活動的視頻內(nèi)容 和所有的視頻內(nèi)容中間，選擇其活動性類型被設(shè)定作為用于檢索的檢索范圍 的視頻內(nèi)容。
通過用戶選擇在選擇框306中設(shè)定作為檢索范圍的視頻內(nèi)容的類型，此 后輸入在輸入框308中的關(guān)鍵詞，和按下檢索按鈕307,從選擇框306中選 擇的類型的視頻內(nèi)容中來檢索匹配關(guān)鍵詞的視頻內(nèi)容。圖33表示按照檢索范 圍選擇活動的視頻內(nèi)容和輸入關(guān)鍵詞"足球"的狀態(tài)。當在這種狀態(tài)按下檢 索按鈕307時，例如顯示包含足球比賽的視頻內(nèi)容的縮略像302a和標題 信息作為檢索結(jié)果。
應(yīng)視頻內(nèi)容的基調(diào)(modd)作為活動性識別信息，對于用戶變得能夠按照當時 他/她的內(nèi)心狀態(tài)選擇視頻內(nèi)容。
本發(fā)明并不局限于上述實施例，當然可以在不脫離本發(fā)明的構(gòu)思的情況 下進行各種各樣的改進。
在上述實施例中，已經(jīng)示范應(yīng)用本發(fā)明的記錄/再現(xiàn)裝置100。然而，本 發(fā)明可以應(yīng)用于各種電子裝置，例如電視裝置、PC、蜂窩式電話、游戲機、 數(shù)字相機和便攜式攝像機(camcoder )。
此外，本發(fā)明可以應(yīng)用于網(wǎng)站服務(wù)器，用于在因特網(wǎng)上提供視頻內(nèi)容張貼站點。在這種情況下，在其中已經(jīng)從客戶裝置例如PC上載預定數(shù)目的視頻
內(nèi)容的階段，網(wǎng)站服務(wù)器僅需要由視頻特征檢測部分4檢測視頻內(nèi)容的視頻 特征并選擇一部分視頻內(nèi)容作為學習視頻內(nèi)容，由群集處理部分20實行群 集處理(學習處理)，并由活動性判別部分40基于學習結(jié)果計算判別函數(shù)， 因此，基于判別函數(shù)判斷除了學習視頻內(nèi)容以外的視頻內(nèi)容的活動性，如在 上述實施例中那樣。在這種情況下，活動性判別部分40還可以此后通過判 別分析判斷學習內(nèi)容的活動性，或者群集處理部分20可以與上載的視頻內(nèi) 容分開準備學習內(nèi)容。
例如，在一其中上載1000個一見頻內(nèi)容的階IS:，網(wǎng)站il良務(wù)器選擇1000個 視頻內(nèi)容中的200個視頻內(nèi)容作為學習內(nèi)容，并判斷其余800個視頻內(nèi)容的 活動性。當然，數(shù)字值不局限于此。
此外，網(wǎng)站服務(wù)器僅需要創(chuàng)建一用于顯示上載的視頻內(nèi)容作為內(nèi)容列表 的網(wǎng)頁，和實行控制以便在作為客戶裝置的用戶PC上實現(xiàn)的瀏覽器上，按照 判斷的活動性(發(fā)送網(wǎng)頁)將如圖29到31分別所示的各種類型的活動性識 別信息其中之一，顯示在內(nèi)容列表的內(nèi)容列中。
期望將來進一步開發(fā)用戶發(fā)布型視頻站點和還期望視頻內(nèi)容的數(shù)目增 加。因此，按照其活動性分類視頻內(nèi)容并顯示活動性識別信息極大地有助于 用戶選擇視頻內(nèi)容。
在上述實施例中，群集處理部分20使用K-means法作為群集方法。然 而，可代之以使用其它群集方法例如模糊C-means法和ward (監(jiān)督)法。此 外，替代所謂的數(shù)據(jù)群集法，群集處理部分20可以使用其它分類方法例如 決策樹。
在上述實施例中，活動性判斷部分40利用該使用線性判別函數(shù)的判別 函數(shù)判斷視頻內(nèi)容的活動性。然而，活動性判別部分40可以使用非線性判 另ll函凄史例i口 Mahalanobis' generalized distance (Mahalanobis纟克一4b^巨 離)，或可以通過利用例如活動的、非活動的和中間的3個系數(shù)的多判別分析 來判斷視頻內(nèi)容。
此外，當以階狀(如以3、 4或5級)呈現(xiàn)活動性時，如果需要，替代實 行判別分析，活動性判別部分40可以通過實行類似于由群集處理部分20進 行的學習處理的群集分析，在改變?nèi)杭臄?shù)目K(例如在K-means法中的K) 的同時，將視頻內(nèi)容分類。在上述實施例中，記錄/再現(xiàn)裝置IOO按照其活動性將視頻內(nèi)容分類。然 而，記錄/再現(xiàn)裝置IOO可以將基于活動性的視頻內(nèi)容的分類處理和基于作為
相機操作特征檢測的抖動的視頻內(nèi)容的分類處理組合。例如記錄/再現(xiàn)裝置
內(nèi)容分類到所廣播的視頻內(nèi)容(包含所謂的IP廣播)和通過個人例如用戶利 用家用攝像機等拍攝的私人視頻內(nèi)容，因此能夠進行附加的過濾和分類，基 于視頻內(nèi)容是廣播內(nèi)容和私人內(nèi)容中的哪一個，用以顯示基于其活動性已經(jīng) 分類的相關(guān)的視頻內(nèi)容。相應(yīng)地，例如當用戶希望基于活動性從由專業(yè)的攝 像人員拍攝的高質(zhì)量的視頻內(nèi)容中選擇視頻內(nèi)容時，可以將不與用戶觀看目 的相匹配的視頻內(nèi)容從所選擇的目標中移出，以此可以減少對于用戶選擇視 頻內(nèi)容所需的時間和工作。
在上述實施例中，視頻特征檢測部分4沿徑向設(shè)定多個基準塊Bn。然而， 視頻特征檢測部分4例如可以利用單一基準塊4全測運動矢量，而不在徑向上 將多個基準塊組合。
在上述實施例中，視頻特征檢測部分4通過利用匹配后的剩余值作為淡 入淡出/切換估算值來判斷淡入淡出和切換。然而，除了利用淡入淡出/切換 估算值的判斷處理以外，視頻特征4全測部分4可以利用頻率分析實行判斷處 理。
具體地說，淡入淡出/切換處理部分27、 29、 31和33相對于從圖像處 理部分21輸入的基準幀71和分別從幀間存儲部分22到25輸入的檢索75, 通過FFT(快速傅立葉轉(zhuǎn)換)處理、邊緣檢測處理等來實行頻率分析處理，并 分別將其結(jié)果輸出到淡入淡出/切換判斷部分35。淡入淡出/切換判斷部分 35利用淡入淡出/切換估算值和頻率分析處理的結(jié)果兩者來判斷淡出和切換。 因為在淡入淡出部分中形成的圖像不清楚，考慮頻率分量，高頻分量的特征 變小。因此，這一特征可以用于判斷淡入淡出和切換。
在上述實施例中，視頻特征檢測部分4利用視頻內(nèi)容的相應(yīng)幀的基帶帶 寬的解碼信號實行視頻特征檢測處理。然而，視頻特征檢測部分4可以使用 解碼前的編碼數(shù)據(jù)替代基帶帶寬的解碼的信號。例如，當將視頻內(nèi)容以MPEG 格式或DV格式編碼時，替代Y、 Cb和Cr信號，視頻特征檢測部分4能夠從 DCT(離散余弦轉(zhuǎn)換)系數(shù)中分析DC(直流)系數(shù)，因此以類似方式選擇視頻特 征。本領(lǐng)域的技術(shù)人員會理解，迄今可以根據(jù)設(shè)計要求和其它因素進行各種 改進、組合、子組合和替換，只要它們在所提出的權(quán)利要求或其等效物的范 圍內(nèi)。
權(quán)利要求
1. 一種電子裝置，包含；檢測裝置，用于將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的各個幀相互比較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由相機操作和視頻編輯其中之一生成的視頻特征；和分類裝置，用于基于所檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中的視頻的視覺活動性級別，和基于所判斷的活動性級別將多個視頻內(nèi)容中的每一個視頻內(nèi)容分類。
2. 按照權(quán)利要求1所述的電子裝置， 其中檢測裝置能夠檢測多個種類的視頻特征，和 其中分類裝置包含選擇裝置，用于從該多個種類的視頻特征中選擇至少 一個種類的視 頻特征以設(shè)定作為用于判斷活動性級別的基準，和判斷裝置，用于基于所選擇的視頻特征判斷多個視頻內(nèi)容中的每一 個視頻內(nèi)容的活動性級別。
3. 按照權(quán)利要求2所述的電子裝置，其中選擇裝置包含學習裝置，用于對于多個種類視頻特征中的每一種類 視頻特征將從多個視頻內(nèi)容中的第一視頻內(nèi)容分類成預定數(shù)目的組，和基于 包含在預定數(shù)目的組中的每一個組中的所分類的第一視頻內(nèi)容的數(shù)目的比率 來學習要選擇的視頻特征，和其中判斷裝置基于所選擇的視頻特征，從多個視頻內(nèi)容中判斷除了第一 視頻內(nèi)容以外的第二-見頻內(nèi)容的活動性級別。
4. 按照權(quán)利要求3所述的電子裝置，其中檢測裝置檢測多個種類的視頻內(nèi)容中的每一個種類的視頻內(nèi)容作為 預定的特征值，和其中判斷裝置生成預定判別函數(shù)，用于利用作為學習結(jié)果所選擇的視頻 特征的特征值作為變量，在其活動性級別高的視頻內(nèi)容和其活動性級別低的 視頻內(nèi)容之間判別第二視頻內(nèi)容，并基于判別函數(shù)的值判斷活動性級別。
5. 按照權(quán)利要求4所述的電子裝置，其中判斷裝置按照判別函數(shù)值是正值和負值中的哪一個及判別函數(shù)值的 絕對值是否超過至少一個預定閾值，將第二視頻內(nèi)容分類到多個級別。
6. 按照權(quán)利要求l所述的電子裝置， 還包含存儲裝置，用于存儲多個視頻內(nèi)容中的每一個視頻內(nèi)容連同所判斷的其 活動性級別，和輸出裝置，用于輸出一信號，該信號用于顯示輸入多個所存儲的視頻內(nèi) 容中的每一個視頻內(nèi)容的再現(xiàn)的內(nèi)容列表連同用于識別所判斷的多個視頻內(nèi) 容中的每一個視頻內(nèi)容的活動性級別的識別信息。
7. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使與活動性級別對應(yīng)的數(shù)的預定符號作為識 別信息顯示。
8. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使指示該活動性級別相對于最大活動性級別 的比率的圖像作為識別信息顯示。
9. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使得示出多個視頻內(nèi)容中的每一個視頻內(nèi)容 處于可再現(xiàn)狀態(tài)的縮略像顯示作為識別信息，同時按照多個視頻內(nèi)容中 的每一個視頻內(nèi)容的活動性級別改變縮略像的對比度。
10. 按照權(quán)利要求6所述的電子裝置，還包含檢索裝置，用于檢索具有預定活動性級別的視頻內(nèi)容， 其中由輸出裝置輸出的信號使具有預定活動性級別的視頻內(nèi)容的內(nèi)容列 表和其識別信息作為檢索的結(jié)果顯示。
11. 一種內(nèi)容分類方法，包含將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的各個幀相互比 較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由相機操作和視頻編輯的 其中之一生成的^L頻特征；和基于所檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中 視頻的視覺活動性級別，和基于所判斷的活動性級別將多個視頻內(nèi)容中的每 一個3見頻內(nèi)容分類。
12. —種程序，用于使電子裝置執(zhí)行如下的步驟將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的各個幀相互比 較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由相機操作和視頻編輯的其中之一生成的^L頻特征；和基于所檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中 視頻的視覺活動性級別，和基于所判斷的活動性級別將多個視頻內(nèi)容中的每 一個i見頻內(nèi)容分類。
13. —種電子裝置，包含檢測單元，用于將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的 各個幀相互比較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由相機操作 和視頻編輯其中之一生成的視頻特征；和分類單元，用于基于所檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每 一個視頻內(nèi)容中的視頻的視覺活動性級別，和基于所判斷的活動性級別將多 個視頻內(nèi)容中的每一個視頻內(nèi)容分類。
全文摘要
一種電子裝置，包含檢測單元和分類單元。檢測單元將構(gòu)成多個視頻內(nèi)容中的每一個視頻內(nèi)容的多個幀中的各個幀相互比較，和從多個視頻內(nèi)容中的每一個視頻內(nèi)容中檢測由相機操作和視頻編輯其中之一生成的視頻特征。分類單元基于所檢測的視頻特征判斷包含在多個視頻內(nèi)容中的每一個視頻內(nèi)容中的視頻的視覺活動性級別，和基于所判斷的活動性級別將多個視頻內(nèi)容中的每一個視頻內(nèi)容分類。
文檔編號G06F17/30GK101414302SQ20081014993
公開日2009年4月22日 申請日期2008年10月17日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者岡本裕成, 村林升 申請人:索尼株式會社