專利名稱：視頻節(jié)目中基于多媒體內容信息的父母控制系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及用于娛樂系統(tǒng)的父母控制系統(tǒng)。更明確地說，本發(fā)明涉及的父母控制系統(tǒng)是，根據(jù)至少一種用戶提供的過濾判據(jù)類型，基于逐段地、實時而動態(tài)地過濾視頻節(jié)目的內容。也公開了以段落為基礎、實時而動態(tài)地過濾視頻節(jié)目的內容的方法。
現(xiàn)今對電視和視頻節(jié)目的等級評定是根據(jù)人們觀看到的節(jié)目內容形成的主觀評估，即，根據(jù)分級用的某種解釋標準。這種內容評估結果是一組建議，即定級。例子有電影的定級G，PG，PG-13，R，NC17，X，或者電視節(jié)目的TV-Y，TV-Y7，TV-G，TV-PG，TV-14和TV-MA。通常這種定級顯示在視頻節(jié)目的起頭，可能還包括附加的次分級，如“V”表示暴力，“AL”表示成人語言，“N”表示裸體。
這種主觀評估過程的一種局限性是它沒有為父母們提供一套綜合判據(jù)用于判定TV節(jié)目是否合適，或者提供得不充分。例如美國電影協(xié)會(MPAA)所說的電影定級為PG是指這樣的一部電影，就是父母在讓他們的孩子看之前他們應該先看，或者至少應獲得更多的信息。MPAA還說，PG電影可能含有某些褻瀆言行、某些暴力、或者/以及某種短暫的裸體--可能是某種混合，但是沒有毒品使用。這樣的敘述是非常含混不確定的，沒有為父母們提供足夠的細節(jié)讓他們作出有根據(jù)的判斷某些或全部PG級節(jié)目是否適合于他們的子女。例如對于某給定的父母群體，他們可能沒有發(fā)現(xiàn)應拒絕的與臀部相關的短暫的裸體，而這同一組父母可能強烈反對他們的子女觀看裸露的殘缺軀體、某種類型的暴力、或者聽到某特定類型的褻瀆。而另一組父母群體可能有完全不同的一套判據(jù)用來判定某PG級影片是否適于他們的子女觀看。再者，標準定級系統(tǒng)沒有涉及其他的可能會被反對的材料，如社會形勢(如同性戀的討論)，哲學(例如“支持生命”或“支持選擇”)或者宗教問題。
再者，傳統(tǒng)的定級系統(tǒng)只應用于被那些受權機構評估的視頻節(jié)目。沒有安排對家庭錄象、某些通過郵購限制發(fā)行的視頻節(jié)目等等進行定級。
當前父母控制技術考查視頻節(jié)目或者是依據(jù)總體節(jié)目定級，或者是依據(jù)節(jié)目識別與特許的或限制的材料數(shù)據(jù)庫間的匹配。例如目前生產(chǎn)中的電視包含有稱為“V-芯片”的技術，它根據(jù)用戶提供的信息，利用插入在廣播電視視頻節(jié)目里的定級信息決定節(jié)目是否適于觀看。該定級信息位于視頻節(jié)目某幀各場的垂直消隱段(VBI)的21行。應注意的是VBI的21行含有標準模擬電視廣播的劇終說明信息，甚至可能有多種語言，還有擴展數(shù)據(jù)服務(XDS)包，即，節(jié)目的定級信息是跟其他的數(shù)據(jù)儲存在一起的。VBI的21行里傳輸數(shù)據(jù)的這種機制在ANSI EIA-608說明書里有說明，VBI的21行數(shù)據(jù)說明的總結可以在Nuts & Volts 2000年1月號找到。另有說明書討論數(shù)字視頻回放和廣播的數(shù)據(jù)編碼。
授予Vogel的4,930,158號美國專利公開了一種選擇性視頻回放系統(tǒng)，其中錄象帶上的視頻節(jié)目含有植入的分類代碼。于是該代碼可以在用戶的控制下對視頻節(jié)目的回放予以限制。授予Vogel的4,930,160號美國專利公開了視頻節(jié)目的自動審查，同時也涉及儲存分類代碼的使用--單個代碼或一組代碼，不過節(jié)目或者來自錄象帶，或者是通過廣播。當探測到限制性分類代碼，替換的視頻源就自動地切入。用這種裝置和方法，以及V-芯片方案，父母被限于應用預先確定的分類，如前面所說，這樣可能會與他們特定的價值觀不相一致。
以某種方式嘗試過父母控制的替代方法，即識別某給定的視頻節(jié)目，并基于此識別確定是或否阻止或允許收看該節(jié)目。對于這種識別過去曾經(jīng)提出過幾種技術。
授予Greenberg的4,639,779號美國專利討論了一種方法，它將唯一的ID編碼進視頻節(jié)目，使該節(jié)目可以自動識別；而授予Kenyon的4,843,562號美國專利對視頻節(jié)目的識別是將節(jié)目的“指紋”圖譜存入數(shù)據(jù)庫，再利用該數(shù)據(jù)庫，通過搜尋未來節(jié)目圖譜，尋找相匹配的內容。授予Boles的5,019,899號美國專利利用對視頻信息生成的數(shù)字特征標識來嘗試并將它與數(shù)據(jù)庫相匹配。
不同的是5,485,518號美國專利，它將視頻節(jié)目識別技術與節(jié)目阻止技術相結合，通過授權父母或其他用戶阻止某人觀看不在“批準節(jié)目”數(shù)據(jù)庫里的節(jié)目。所以，如果節(jié)目不在數(shù)據(jù)庫里，或者它在數(shù)據(jù)庫里但滿足一定的阻止判據(jù)，阻止完全收看。視頻節(jié)目識別技術依賴于視頻和音頻信號處理。
應該注意的是，沒有那個現(xiàn)有的方法在父母控制系統(tǒng)里植入了允許選擇、僅對某視頻節(jié)目的不適宜部分施行自動過濾的技術，而是在一般的、非特定定級的基礎上，或者是通過節(jié)目識別，并決定該節(jié)目是否可以被觀看的基礎上，僅僅提供了對整個節(jié)目實施阻止。
所需要的是一種自動系統(tǒng)，它具有評估視頻節(jié)目的能力，根據(jù)用戶提供的判據(jù)對視頻節(jié)目進行過濾、阻止或部分掩蓋，并且是以實時或基本實時方式，即當視頻節(jié)目正在回放或播送的時候實施。而且所需要的是一種父母控制系統(tǒng)，它能學習用戶提供的判據(jù)。例如，希望此父母控制系統(tǒng)能夠利用適合不同觀看者組群的判據(jù)對視頻節(jié)目實施過濾。
在這里應該指出，所有以上提到的美國專利都通過參考而被結合于此。
根據(jù)以上所述，可以看出目前本領域需要一種克服上述不足的父母控制系統(tǒng)。本發(fā)明受到克服現(xiàn)存技術的缺點和不足的愿望的推動，從而滿足本領域的這種需求。
本發(fā)明提供一種自動系統(tǒng)，利用用戶(例如父母)通過視頻節(jié)目的多媒體內容，例如視覺、聲音和文本，提交的判據(jù)對視頻節(jié)目進行評估，然后根據(jù)這些判據(jù)，實時地對視頻節(jié)目給予過濾、阻止或部分地掩蓋。這些阻止或掩蓋可以包括簡單地跳過符合用戶指定的判據(jù)的那部分節(jié)目，或者在節(jié)目的那些不良段落的持續(xù)期以“安全”信號取代，或者是將那部分視頻或音響內容掩蓋掉，如模糊化裸體圖象或褻瀆聲音。
優(yōu)選地，基于本發(fā)明的父母控制系統(tǒng)包括一個或多個多媒體處理器，它們分析輸入的視覺、音響、以及文字內容，將分析結果與特定的用戶指定的或選定的判據(jù)進行比較。例如，對于視覺內容，人們有外表(如面孔和軀體)，行為(如開槍射擊、性活動、駕駛車輛)，身體特征(如皮膚顏色或體態(tài)身段)，暴力(如爆破、毆斗)，等等。在音響方面，人們有聲音等級(如爆破時含有大量低頻噪音的沉重聲音)，語言表達(如褻瀆語言、輕蔑誹謗、俚語黑話、詛咒謾罵、影射暗諷)，“沉重喘息”聲(如性場景中可能發(fā)生的)，等等。對于文本方面，它可以包含成人語言、話題等語義內容。應用于文本方面的原始文字信息可以有幾種方法從節(jié)目里提取。其中之一是應用于來自節(jié)目的音響信息流的語音識別技術。對于電視節(jié)目，提取原始文字信息的其他方法是利用劇終說明信息。兩種方法可以方便地用于同一父母控制系統(tǒng)，或者是互為補充，以及/或者提供冗余度。
一方面，本發(fā)明提供一種方法，它對過濾判據(jù)作出反應、以一段一段為基礎、實時地動態(tài)地過濾多媒體節(jié)目的內容，比較從多媒體節(jié)目的段落提取的音響、視頻和錄制特征、對每種適用過濾類型(如暴力，裸體，宗教等等)的每一過濾判據(jù)、對每一段落生成一數(shù)值等級，當該段落的各數(shù)值等級的組合超過某個閾，將該段落對應于過濾判據(jù)的材料處置為剔除。優(yōu)選地，相應于包含在正處理的段落里的語言的過濾判據(jù)，以及該段落里的音響部分在處理步驟里進行修改。替代的方式是，相應于包含在正處理的段落里的圖象的過濾判據(jù)，以及該段落里的視頻部分在處理步驟里或者進行修改，或者跳過。在演示性實施方案里，數(shù)值等級是一種加權的數(shù)值等級。對于這種情況，用于生成加權數(shù)值等級的每個權重因子，對于多媒體節(jié)目的各個觀看者指定一種特征，如年齡或宗教聯(lián)系。無論那種情況，每個段落里，對于每個適用的過濾類型的數(shù)值等級都是通過將各段落的內容與過濾判據(jù)相對比而生成的。
應該指出的是，在合適的情況里，即當某段落的緊鄰段落的組合數(shù)值等級的每一個都超出了閾，本方法優(yōu)選地將某段落的緊鄰段落與任何居間的段落相結合，從而產(chǎn)生結合段落。在這種情況下，處理步驟允許處置結合段落，從而剔除相應于過濾判據(jù)的材料。而且，過濾判據(jù)優(yōu)選地包括第一和第二判據(jù)，生成步驟包括對于每個段落生成對應第一和第二過濾判據(jù)的第一和第二數(shù)值等級，本方法包括了其他的步驟，即當該段落對應的第一數(shù)值等級超出了第一閾，將該段落處置為剔除相應于第一過濾判據(jù)的材料，當該段落對應的第二數(shù)值等級超出了第二閾，將該段落處置為剔除相應于第二過濾判據(jù)的材料。
另一方面，本發(fā)明提供一套父母控制系統(tǒng)，依據(jù)過濾判據(jù)從多媒體節(jié)目里過濾不良材料。優(yōu)選地，父母控制系統(tǒng)包括錄制分析模塊，從包括在多媒體節(jié)目里一系列的段落里提取第一聽覺特征及文本，還有視覺分析模塊，從包括在多媒體節(jié)目里一系列的段落里提取視頻特征，還有音響分析模塊，從包括在多媒體節(jié)目里一系列的段落里提取第二聽覺特征，還有一個分析器，它對每個段落生成一個組合數(shù)值等級，并且當組合數(shù)值等級超過了某個閾，它還生成相應的控制信號，以及一個過濾器，它根據(jù)接受到的相應信號，對多媒體節(jié)目的某個段落進行處理。此過濾器或者對相應段落的第一和第二聽覺特征之一給予修改，或者對相應段落的視頻特征進行修改，或者從父母控制系統(tǒng)的輸出過濾多媒體節(jié)目里剔除掉相應段落。優(yōu)選地，父母控制系統(tǒng)包含一個學習模塊。這時，由錄制分析模塊提取的第一聽覺特征和文本被選者之一、視覺分析模塊提取的視頻特征、音響分析模塊提取的第二聽覺特征、以及父母控制系統(tǒng)的控制者提交的用戶數(shù)據(jù)一起被學習模塊用來生成過濾判據(jù)。在示范的情況里，學習模塊包含有神經(jīng)網(wǎng)絡。父母控制系統(tǒng)可以方便地與電視機、機頂盒、或個人錄象機相結合。
本發(fā)明的這些特征及各種其他的特征和特色，參照以下的詳細說明并結合所附的示意圖是很容易了解的。附圖有

圖1是基于本發(fā)明的父母控制系統(tǒng)的高級結構圖；圖2表現(xiàn)圖1中所示基于本發(fā)明的父母控制系統(tǒng)的學習模式運行的高級結構圖；圖3表現(xiàn)圖1中所示基于本發(fā)明的父母控制系統(tǒng)的觀看模式運行的結構圖。
基于本發(fā)明的父母控制系統(tǒng)和相應的方法中，父母控制系統(tǒng)可以構建在電視機里，或者機頂盒里，或者其他類型的外圍設備里，如個人錄象機(PVR)里。該系統(tǒng)運行于兩種相關聯(lián)的運行模式。第一模式是學習模式，其中控制者(典型人選是父母或監(jiān)護人)為一組選定的觀看者(如小孩可歸入一組，十多歲的少年歸入另一組，祖父母則再歸入一組)找出不相益的影像場景和段落的類型例子，與系統(tǒng)互動從而設置系統(tǒng)。實際上控制者可以在學習模式選用一批極端例子來粗放地訓練系統(tǒng)，然后再用更慎重選擇的例子來精細地訓練系統(tǒng)。父母控制系統(tǒng)和相應方法的第二運行模式是觀看模式，這時系統(tǒng)根據(jù)它在學習模式里學得的判據(jù)(可能是發(fā)貨時系統(tǒng)帶有的，或者，一般是用戶自行配置的)，對需要的影像節(jié)目進行過濾。
圖1是一幅高級結構圖，顯示根據(jù)本發(fā)明的父母控制系統(tǒng)的優(yōu)選實施方案，它包括特征提取電路40，分析電路80和多媒體處理器90。特征提取電路40將在后面詳細討論，它從調諧器30或者多媒體存儲器20接受多媒體內容。優(yōu)選地，存儲器20最好與分析電路80和多媒體處理器90相連，這樣它們可以將多媒體存儲器20用作緩沖存儲器。圖中存儲器20的大小被夸大了，為的是表示在示范性實施方案里，存儲器20可能是個有足以存儲許多小時多媒體內容的容量的存儲器。很容易理解為什么要將大容量存儲器與父母控制系統(tǒng)相連，因為這將容許父母控制系統(tǒng)可以處理、過濾整個節(jié)目，例如標準長度電影，便于為孩子提供一場合適的電影。換句話說，當父母控制系統(tǒng)裝備了或連接了大容量存儲器，就允許控制者以多種方式過濾原始影片，從而為控制者家庭幾個不同的成員組準備適宜的、不同版本的電影。
繼續(xù)參見圖1，中央處理器10與存儲器15相連，它可以方便地包括易失性存儲器或非易失性存儲器。中央處理器10控制各個多媒體存儲器20、調諧器30、特征提取電路40、分析電路80、和多媒體處理器90。正如圖1顯示的，存儲器15可以為特征提取電路40、分析電路80、和多媒體處理器90提供記憶存儲功能。應該注意的是，特征提取電路40和分析電路80它們本身可能是、或者包含單獨的多媒體處理器，以及/或者通過多媒體處理器90的調度處理功能。存儲器15可以方便地儲存合適的軟件，用于將普通目的的設備，如裝備有磁盤驅動器和若干數(shù)字信號處理器(DSP)的個人錄象機(PVR)轉換成基于本發(fā)明的父母控制系統(tǒng)。
如以上討論的，父母控制系統(tǒng)的第一運行模式是學習模式。這時，用戶與父母控制系統(tǒng)交互作用，通過例子進行指導。例如，控制者發(fā)現(xiàn)的對某組觀看者不適宜的影像節(jié)目場景或段落，作為例子提交給父母控制系統(tǒng)。在示范的情況里，在學習模式，用戶可以用一批極端的例子粗放地訓練系統(tǒng)，然后用更慎重選擇的例子來精細地訓練系統(tǒng)。
控制者(以后簡稱為用戶)提供的這些例子將是用戶設定的過濾判據(jù)的現(xiàn)實化。由于“智能盒”運行模式，可以方便地向基于本發(fā)明的父母控制系統(tǒng)提供預編程的、表示某范圍判據(jù)的常備段落。這種常備判據(jù)可以根據(jù)地域確定(通過調查)，或者根據(jù)購買者的種族或宗教信仰，或者通過任何一種人口調查。在父母控制系統(tǒng)和相應方法的一種變體里，用戶甚至可以從因特網(wǎng)下載一些判據(jù)類型到父母控制系統(tǒng)里，或者避開用戶要求定制配置父母控制系統(tǒng)，或者為了提供更好的基礎然后再開始定制系統(tǒng)的配置。
應該指出，在學習階段，用戶可以方便地連續(xù)地向系統(tǒng)提供輸入。例如，用戶可以至少標記一個音響、視覺或文本部分是不適宜的。優(yōu)選地，用戶提供起始和終了時間，例如將這些時間標記在顯示影像的時基線上，或者在時基線上以這些辦法加以強調關鍵畫面(小略圖之類)、文本、音響回放、或它們的組合。這種輸入可以與不良類型有關。此外，用戶還能夠提供靈敏程度(不良度)，例如含有輕度不良材料的時基線段以單括號標出，而對真正不良材料以雙括號標出。
父母控制系統(tǒng)和相應方法可以包括至少兩種現(xiàn)存的但是并未配置的類型暴力和性內容。用戶可以生成他所關心的其他觀點的任何附加類型。這些附加類型可以包括那些基于宗教信仰、個人哲學、政治派別，等等。所有類型應與判據(jù)相組合來幫助父母控制系統(tǒng)和相應方法學習哪類東西是對控制者不良的，以及不良的材料應歸入哪種類型。
父母控制系統(tǒng)和相應方法的另外變體中，段落標記和過濾信息可以作為元數(shù)據(jù)預包裝與影像節(jié)目一起出現(xiàn)，可能作為VBI的21行XDS成分的一部分提供，或者通過平行數(shù)據(jù)提供。預包裝的段落標記信息可以應用于標準類型，或者可以動態(tài)地生成類型。預包裝的段落標記元數(shù)據(jù)可以是特定節(jié)目的標準，或者可以是節(jié)目提供者基于已知用戶的愛好和要求臨時特意生成的。探測不良內容的另外方法是利用模塊選項板，它是系統(tǒng)數(shù)據(jù)庫的一部分，并提示了普通的不良狀況。模塊可以是影像片段，含有開槍、親密場景、裸胸的婦女、等等。這些模塊與輸入影像相匹配。這可以是系統(tǒng)的基本部分，幫助“自舉”，即系統(tǒng)使用的初期階段。換句話說，系統(tǒng)可以有“重復定型的”不良場景，所以用戶可以用于標記和定級。
前面提到，父母控制系統(tǒng)和相應方法的第二運行模式是觀看模式，這時系統(tǒng)根據(jù)運行的學習模式期間學到的判據(jù)(可能是發(fā)貨時系統(tǒng)帶有的，或者，一般是自行配置的)，對需要的影像節(jié)目進行過濾。
圖1顯示的父母控制系統(tǒng)和相應方法在圖2中表示得更詳細，系統(tǒng)包含三個主要的模塊特征提取模塊，學習模塊，和分類模塊。特征提取和分類模塊運行于學習模式以及觀看模式，而學習模塊僅在運行的學習模式期間是激活的。然而在某些示范實施方案里，學習模塊可以通過合適的程序(內部或外部)轉換成分析器(分段和分類)模塊，下面再討論。
參見圖2，它表現(xiàn)了父母控制系統(tǒng)和相應方法的學習模式。父母控制系統(tǒng)在視頻調諧器130的輸入端口處接受影像輸入100的常規(guī)影像流，它們可以是來自DVD播放器、VCR、有線電視、人造衛(wèi)星等等，也可以是來自因特網(wǎng)上的影像流。另外的情況是父母控制系統(tǒng)與因特網(wǎng)瀏覽器或電子郵件系統(tǒng)---即客戶軟件設備---相結合，因為電子郵件通常含有指向包含不良資料網(wǎng)址的統(tǒng)一資源定位器(URL)?？蛇x方法有如果父母控制系統(tǒng)和相應方法能夠接受節(jié)目信息，例如可能是電子節(jié)目指南(EPG)，該節(jié)目信息很可能包含詳細的定級信息，調諧器130可以保存一份EPG節(jié)目的當前目錄114備用，相關廣播節(jié)目100通過廣播頻道觀看。這種信息將補足或補充任何定級信息，像V-芯片技術采用的那樣，可以通過位于VBI的21行的XDS信息獲得。
與調諧器130集成在一起的還有從用戶用于標記段落的用戶界面120來的輸入。在父母控制系統(tǒng)和相應方法里，用戶通過遙控器(未畫出)提供輸入124到用戶界面120。遙控器有容許選擇類型和觀看組別的按鈕，對影像輸入的某段落啟動拒絕、停止拒絕、凍結畫面，還有，用指針或尋跡球型輸入機制選擇用戶發(fā)現(xiàn)的不良視覺景象部分，如裸露的身體或者一把槍。應該認識到，同樣類型機制可以方便地用來提示出現(xiàn)在這些地方的不良字眼和短語即作為影像輸入一部分的劇終說明信息里，或者是錄制分析部件150里語音識別部件的文字輸出里。對于文本輸入，如字符串(？？？)，這里“？？？”相應于預定義的或用戶定義的類型，可以用來標記類型。字符串通過隨PVR顯示的屏幕上鍵盤鍵入，如通過TiVo錄象機，或者是帶有鍵盤的遙控器。
優(yōu)選地，所有標記信息，無論是對整段落、個別畫面、或者選定音響都傳送到調諧器130，在那里與影像輸入信息，和任何可選的EPG相關信息一起，通過傳輸流134送到去復用器140。
去復用器140的作用是將來自傳輸流的信息分離為恰當?shù)牟糠郑瑢谟射浿品治霾考?50、視覺分析部件160、和音響分析部件170所代表的特征提取模塊的三個多媒體部件。與多媒體部件類型相關的段落標記信息由去復用器140發(fā)送到各自的部件。本領域的一般人員都知道，去復用器140也可以包括解調器，用于將NTSC或PAL或類似廣播信號分離成各自的視覺和聽覺信息。還有這種情況，即去復用器140還可以利用畫面抓具，于是信息的全數(shù)字畫面可以發(fā)送到特征提取模塊的視覺分析部件160。然而，如果影像輸入100是數(shù)字的，去復用器140里面可能具有MPEG-2或類似的解碼器，這樣就能夠將數(shù)字視覺圖象數(shù)據(jù)直接送到視覺分析部件160，無需使用所謂的畫面抓具或類似的部件來數(shù)字化影像。
在特征提取模塊40(由錄制分析部件150、視覺分析部件160、和音響分析部件170組成)里，多媒體輸入的音響、視覺、和錄制部分被分析，根據(jù)原有的或新用戶輸入所指定的判據(jù)，學習、識別不良或敏感段落。舉例說，這些段落可以是新聞或文獻節(jié)目、動作片或者愛情片的片段。敏感條目通?？偸菄@著暴力和性，不過，像前面提到的，用戶可以引入新類型。用戶可以對某些段落標以恰當?shù)臉擞?。例如，系統(tǒng)有能力學到帶有音響效果(爆炸的特殊效果，毆打和擊中的聲音)的快動作電影畫面一般都與暴力場景相聯(lián)系。視覺里的裸體顏色和音響里的呻吟和喘息通常與性場面相聯(lián)系。文獻里有些文章在討論如何識別和區(qū)分圖象里裸露的部分身體，如D.Forsyth and M.Fleck，“Body Plans”(Proc.I EEE Conf.on Comput.Vis.and Patt.Recog.，1997)。而且用戶可以生成新的類型，例如生活方式類型，這樣用戶就可以指導父母控制系統(tǒng)學習他認為對他家庭部分或全體成員不相益的那些多媒體節(jié)目的特征。
優(yōu)選地，與用戶指明的任何段落標記信息一起，還向特征提取模塊的錄制分析部件150提供音響流和全部劇終說明信息。通過本領域熟知的語言至文字的語音識別子系統(tǒng)，將音響流轉化成文本。語音識別子系統(tǒng)的輸出可以與劇終說明信息相聯(lián)系，看兩者是否有明顯的錯誤，音響流里的任何語言元可能需要更多的分析與評估。而且，當多媒體節(jié)目里存在著第二音響節(jié)目(SAP)或雙語劇終說明時，附加的關聯(lián)可以用于解決特征提取模塊40中錄制分析部件150里的含糊不清。
來自去復用器140的數(shù)字視覺數(shù)據(jù)流被提供給特征提取模塊40的視覺分析部件160。視覺分析部件160以很寬的特征范圍評估輸入的數(shù)字視覺數(shù)據(jù)流，包括顏色、結構、物體和物體外形，物體運動、以及場景。
視頻領域的初級特征提取包括顏色(用直方圖繪制顏色范圍和流行性)、總體運動和邊緣。中級特征來自包括身體顏色和外形這些低級特征，以及來自爆炸、物體碎裂、和炮火的視覺效應。最終此部件里提取的特征被用于確定是否有敏感內容存在。例如，顏色和外形可以用來探測裸露----不同膚色(對不同種群)在特定顏色空間(如HSV色彩模型)里可以很容易探測，而這是很有意義的。
作為實施影像數(shù)據(jù)特征分析技術的其他參考材料，即視頻數(shù)據(jù)分段，更確切說是場景探測，在6,100,941，6,137,544，6,185,363 B1號美國共同轉讓專利里有詳細說明，本發(fā)明的共同發(fā)明人NevenkaDimitrova是它們的聯(lián)合發(fā)明人。視頻數(shù)據(jù)中物體探測和物體運動探測在5,854,856號美國專利里有很詳細說明，本發(fā)明的另一共同發(fā)明人Radu S.Jasinschi是它的聯(lián)合發(fā)明人。所有這些專利都通過參考而將它們完整地結合于此。此外，運動信息的描述也是MPEG-7標準的一部分。參見，例如S.Jeannin，R.Jasinschi，A.She，T.Naveen，B.Mory，and A.Tabatabai，“Motion Descriptors ForContent-Based Video Representation”，(Signal ProcessingImage Communication，vol.16，pp.59-85，2000).
特征提取模塊的音頻分析部件170從去復用器140接受音頻流，正像錄制分析部件150那樣，但是對流的處理不同。音頻方面低級特征提取包括聲級分析、LPC、音調、帶寬、能量、MFCC(嘜逆譜系數(shù)(melcepstral coefficient)----用于語音識別)，和傅立葉系數(shù)。中級特征來自低級音頻方面特征，包括爆破、擊中物體、物體碎裂、重喘息、呻吟、親吻聲，和炮火。
應該特別指出，特征提取模塊40給出的“敏感”段落(即對于系統(tǒng)是肯定案例)應由用戶標出，像早前指出的那樣，而且給予這些段落的類型標記也應由用戶給出。更明確地說，如果用戶以電影“終結者”標記某場景為“暴力”，那么系統(tǒng)將從該場景提取全部特征，并將每個輸出特征標以“暴力”送往學習模塊180。類似地，從視覺方面提取的裸體顏色物體，以及從音頻方面提取的呻吟和喘息應標以“性”。
對于任何情況，三個特征提取部件提取的全部特征，結合對當前視頻信號指定的當前判據(jù)(例如暴力、性行為等等)一起提交到學習模塊180。優(yōu)選地，學習模塊180應用標準的和熟知的學習范例，在視頻輸入場景的標記與提取的特征之間建立起恰當?shù)年P聯(lián)。聯(lián)系最相鄰近的分類，標準學習范例，例如隱蔽馬爾可夫模型(HMM)、貝葉斯網(wǎng)絡、基因算法、和神經(jīng)網(wǎng)絡都可以方便地用于父母控制系統(tǒng)和相應方法，雖然本領域的人員都能意識到其他的學習模型或它們的組合也是合用的。
分類模塊190根據(jù)學得的類型和學習模塊180的輸出，對各段落是敏感或非敏感進行歸類。應注意的是，在父母控制系統(tǒng)和相應方法里，用戶可能還希望通過用戶界面120改進系統(tǒng)的學習過程。于是對分類模塊190輸出的過濾結果進行評價，然后對某些標記給予改正或修改。所有這些都通過學習模塊反饋回路194送回到學習模塊180。
學習模塊180和分類模決190的結果都保存在父母控制系統(tǒng)中的當?shù)卮鎯ζ骼?圖1中的存儲器15)。在父母控制系統(tǒng)和相應方法里，它應該是非易失性存儲器。
圖3顯示父母控制系統(tǒng)和相應方法的觀看運行模式，它有許多功能與該系統(tǒng)在學習運行模式時是相似的。視頻輸入200代表從其他來源，如人造衛(wèi)星、電纜、DVD、VCR，向系統(tǒng)送來的影像，并且是送到調諧器230，然后與調諧器230擬送出的其他數(shù)據(jù)一道，通過傳輸流234送到去復用器240。應該認識到，多媒體節(jié)目也可以是從圖1中顯示的多媒體存儲器20輸出；多媒體存儲器20的輸出是傳輸流234攜帶的信息。由此，視頻輸入依次地被分派至特征提取模塊40的部件，即錄制引擎250、視覺引擎260、和音頻引擎270，輸入數(shù)據(jù)在其中被分析和處理，其方式基本與運行于學習模式時相同名稱部件的相同。實際上極為有利的是，調諧器230，去復用器240，錄制引擎部件250，視覺引擎部件260，和音頻引擎部件270，可以與調諧器130，去復用器140，錄制引擎部件150，視覺引擎部件160，和音頻引擎部件170有完全相同的過程和系統(tǒng)部件，唯一差別是它們以用戶提供的判據(jù)運行，而不是觀看(第二)運行模式中那樣通過這些部件傳送來的。
有些顯著的差別發(fā)生在分段和分類模塊280，它利用從錄制引擎250、視覺引擎260、和音頻引擎270這三個特征提取部件提取的特征，結合早先存儲的學得的判據(jù)，用來決定對于給定的段落是否要通知過濾模塊290是否過濾視頻節(jié)目。在示范實施方案里，運用合適的軟件控制通用分析器，可以方便地將學習模塊170轉換成分段和分類模塊280，反之亦然。
無論什么情況，優(yōu)選地，分段和分類模塊280決定敏感場景的起始和結束時間、對敏感場景分類、以及必要時，將緊相鄰的場景合并。對于后者，例如，可以通過短暫地延長來自視頻輸入200的視頻信號，或者將視頻信號緩沖一段時間來實現(xiàn)。在父母控制系統(tǒng)和相應的方法里，采用的緩沖器大得足以包容10秒的視頻信號；圖1中顯示的多媒體存儲器20是一個合適的存儲器。
關于分段，用的是截斷探測來對視頻輸入進行分段，例如前面提到的6,137,544號美國專利對此有詳細的說明。對兩個截斷間的每個段落施行如以上所說的特征提取。然而在不明朗的情況，當視覺段落長于n分鐘(例如在父母控制系統(tǒng)和相應方法里n＞2)，則系統(tǒng)檢視音頻線索，看音頻段落的間距是否比較小。選取小的一個。然后將此段落送到分類模塊。每個段落都得到一個數(shù)字，它代表該段落屬于敏感類型之一的似然性；對于多重有效過濾類型，生成多個數(shù)。應該指出，可以方便地選定多媒體存儲器20的大小，讓它足以容納許多分鐘的多媒體內容；應該意識到，當父母控制系統(tǒng)適應于可以處置數(shù)分鐘長的段落，父母控制系統(tǒng)將從實時處理與實時觀看區(qū)域移到實時處理與近實時觀看區(qū)域。
當某材料在多重類型的具體實施中被判為敏感時，應用用戶可配置的加權系統(tǒng)可以方便地對可選過濾結果進行有偏向的挑選。例如，如果用戶擬配置父母控制系統(tǒng)適合于老人觀看，如祖父母，對于他或她可以給予暴力過濾類型以更大的權重(例如，強烈的喧鬧聲和流血會喚起帶創(chuàng)傷的回憶)，而給予性內容過濾類型以較小的權重(例如祖父母以前可能已見過)。然而對十幾歲的少年，用戶可以采用完全不同的加權系統(tǒng)。當總組合數(shù)值定級超過用戶設定的閾時(包括所有加權材料的計算)，過濾模塊290被提示它需要過濾視頻信號。
然而，為簡化過濾模塊290的過程，如果分段和分類模塊280判斷相繼的段落Sn和Sn+1有很高的似然性屬于同一類型，則優(yōu)選地將它們歸并為單個輸出段落。值得注意的是，在模塊280中完成的分段過程的輸出是具有很高似然性屬于特定敏感類型的段落?，F(xiàn)在，如果相繼段落屬于不同的類型，比如，“暴力”后面接“褻瀆”，則兩段落的合并段可以加標記予以剔除。如果系統(tǒng)在段落之間探測到小的間隙，如短于一分鐘，則該間隙也被包括進擬剔除的段落里。
當過濾模塊290接受到通知要求它采取措施剔除某段落時，它將根據(jù)段落的長短和預設的配置，從用于過濾不良內容的可選方法中作出選擇。例如，模塊290可以利用前面提到的緩沖器的便利，簡單地跳過該段落。替代的辦法是可以方便地將過濾模塊290安排為用另外的視頻信號頂替該段落(例如插映Barney恐龍或環(huán)球網(wǎng)頁)。此外，假定過濾模塊290接到明確信息表示多媒體段落的某部分將被剔除，過濾模塊290可以方便地將該特定部分掩蓋或涂污掉。例如，當某段落的音頻部分含有不良的字眼或短語，但其他方面沒有問題，用戶可能希望僅僅挖去該不良的字眼或短語，而不是要引人注意到影片的某部分被剪去了這一事實。
上面提到過，父母控制系統(tǒng)裝備或連接到大的多媒體存儲器，控制者將能夠以許多方式過濾原影片，從而產(chǎn)生適合于家庭中幾個完全不同成員的版本。這是因為系統(tǒng)提供了加權或衡量不良內容的能力，控制者能夠決定在哪些條件下哪些特征集是允許的。例如，假定家里有7歲、14歲兩個孩子，控制者對相同內容對各個孩子定出不同的容許度。這時對7歲孩子將比對14歲孩子實施更多的過濾。因此，父母控制系統(tǒng)可以對同一電影生成多級別標記，于是為14歲孩子標記的不良段落將是給7歲孩子標記的子集。
值得注意的是，雖然學習階段已經(jīng)完成，而且分類階段已經(jīng)開始，父母控制系統(tǒng)仍能方便地從控制者那里收到反饋。即當父母控制系統(tǒng)對某電影進行分段和分類后，用戶被授予機會評價標記過的段落，而且對系統(tǒng)提供反饋，指出哪些段落標記或分類恰當，哪些不恰當。因而下一輪實施學習和分類過程時，系統(tǒng)將提供更好的結果。
從以上的討論可以看到，基于本發(fā)明的父母控制系統(tǒng)給用戶提供了這種能力，即根據(jù)用戶指定的判據(jù)，實時地對多媒體節(jié)目，如影視節(jié)目，實施過濾。而且通過僅僅加大聯(lián)結到父母控制系統(tǒng)其他部件的緩沖存儲器的大小，用戶就進一步獲得了近乎實時地過濾更大節(jié)目段落的能力。同樣有益的是，基于本發(fā)明的父母控制系統(tǒng)給用戶提供一種機構，通過它用戶可以編輯廠方設置的判據(jù)，以及/或者輸入附加的判據(jù)，用于阻止或過濾不良影視節(jié)目內容。
還可以看到，基于本發(fā)明的父母控制系統(tǒng)為用戶提供了一套有益系統(tǒng)，它學習用戶的偏向哪些種類的內容，或那些內容的哪部分是用戶認為不良的，以及對哪種類型的觀看者提供了哪種判據(jù)，所以該系統(tǒng)可以應用它已經(jīng)學會的去分析日后的節(jié)目。在示范性實施方案里，系統(tǒng)根據(jù)用戶的輸入連續(xù)地學習并精細地調整它的性能。
上面描述的父母控制系統(tǒng)提供的電路從影視節(jié)目里提取特征，用于協(xié)助系統(tǒng)指導學習部件以及日后的過濾操作。要注意，“特征”是一個綜合性術語，它包含、但不限于多媒體信號里視頻部分的物體及其特征、多媒體節(jié)目音響部分表現(xiàn)特定動作的聲音、多媒體節(jié)目音響部分的語言、以及/或者多媒體節(jié)目視頻部分一起送來的劇終說明里的語言。簡單地說，父母控制系統(tǒng)包括一個學習模塊和一個過濾模塊。學習模塊可以方便地以一種或幾種學習技術驅動，包括隱蔽馬爾可夫模型以及/或者神經(jīng)網(wǎng)絡，輸入包括廠方設定的判據(jù)和用戶提供的信息，并且結合來自錄制特征提取部件、視頻數(shù)據(jù)特征提取部件、音頻數(shù)據(jù)特征提取部件的特征提取數(shù)據(jù)。學習模塊形成的知識可以應用于系統(tǒng)過濾模塊，它利用那些知識，根據(jù)指定的判據(jù)動態(tài)地過濾影視節(jié)目的內容。
雖然以上對本發(fā)明的優(yōu)選實施方案作了詳細說明，應該清楚地認識到，對于相關領域人員非常明確的是，這里講解的基本獨創(chuàng)概念的許多變體以及/或者修改，仍然在本發(fā)明的精髓和領域之內，如所附的權利要求所確定的。
權利要求
1.對過濾判據(jù)作出反應、以一個段落一個段落為基礎、實時地對多媒體節(jié)目的內容進行動態(tài)過濾的方法，該方法包括從含有多媒體節(jié)目的段落提取音頻、視頻和錄制特征；對每個段落，對過濾判據(jù)生成一個數(shù)值等級；并且當該段落的各數(shù)值等級超過了某種閾，則剔除相應于過濾判據(jù)的該段落的材料。
2.如權利要求1中所述的方法，其中過濾判據(jù)相應于包括在正處理段落里的語言；并且在處理步驟里該段落的音頻部分進行了修改。
3.如權利要求1中所述的方法，其中過濾判據(jù)相應于包括在正處理段落里的圖象；并且在處理步驟里該段落的視頻部分進行了修改。
4.如權利要求1中所述的方法，其中過濾判據(jù)相應于包括在正處理段落里的圖象；并且在處理步驟里整個段落被跳過。
5.如權利要求1中所述的方法，其中數(shù)值等級是加權數(shù)值等級。
6.如權利要求6中所述的方法，其中各權重因子用于生成加權數(shù)值等級，識別多媒體節(jié)目各觀看者的某種特征。
7.如權利要求1中所述的方法，其中各段落的數(shù)值等級是將各段落的內容與過濾判據(jù)相比照生成的。
8.如權利要求1中所述的方法，還包含當某段落的緊鄰段落的各數(shù)值等級都超過了閾，將緊鄰的段落與任何居間的段落相結合，從而產(chǎn)生結合段落；并且其中處理步驟包含將結合段落處置為剔除對應于過濾判據(jù)的材料。
9.如權利要求1中所述的方法，其中過濾判據(jù)包含第一和第二過濾判據(jù)；生成步驟包括對各段落生成對應于第一和第二過濾判據(jù)的第一和第二數(shù)值等級；該方法還包含這樣的步驟當該段落的相應第一數(shù)值定級超過了第一閾，則將該段落處置為剔除對應于第一過濾判據(jù)的材料；當該段落的相應第二數(shù)值定級超過了第二閾，則將該段落處置為剔除對應于第二過濾判據(jù)的材料。
10.權利要求9中所述的方法，其中第一過濾判據(jù)與第一被動用戶相連系，第二過濾判據(jù)與第二被動用戶相連系。
11.如權利要求10中所述的方法，其中第一過濾判據(jù)包含過濾判據(jù)的第一組；第二過濾判據(jù)包含過濾判據(jù)的第二組；并且過濾判據(jù)的第一組是過濾判據(jù)的第二組的子集。
12.如權利要求1中所述的方法，還包含有提供訓練段落，其內容與過濾判據(jù)相對應；并且學習識別與過濾判據(jù)相匹配的內容，其中學習步驟由裝置實施。
13.如權利要求12中所述的方法，還包含有步驟評價在施施提取和生成步驟里生成的結果；并且針對對結果的評價，控制者向本裝置提供反饋。
14.如權利要求1中所述的方法，其中過濾判據(jù)可以從N個預先定義的過濾判據(jù)和M個用戶定義的過濾判據(jù)里任意選取，這里N和M是正整數(shù)。
15.父母控制系統(tǒng)根據(jù)過濾判據(jù)從多媒體節(jié)目里過濾不良材料，所述系統(tǒng)包括錄制分析模塊，從包含在多媒體節(jié)目里的一系列段落里提取第一聽覺特征和文本；視覺分析模塊，從包含在多媒體節(jié)目里的一系列段落里提取視頻特征；音頻分析模塊，從包含在多媒體節(jié)目里的一系列段落里提取第二聽覺特征；分析器，對各段落生成數(shù)值等級，而且當數(shù)值等級超出閾時還生成相應的控制信號；以及過濾器，它根據(jù)接收到的相應的控制信號對多媒體節(jié)目中的某個段落進行處理。
16.如權利要求15中所述的父母控制系統(tǒng)，其中過濾器對相應段落的第一和第二聽覺特征進行修改。
17.如權利要求15中所述的父母控制系統(tǒng)，其中過濾器對相應段落的視頻特征進行修改。
18.如權利要求15中所述的父母控制系統(tǒng)，其中過濾器從父母控制系統(tǒng)輸出的被過濾的多媒體節(jié)目里剔除相應的段落。
19.如權利要求15中所述的父母控制系統(tǒng)，其中數(shù)值等級是加權數(shù)值等級；分析器應用權重因子生成加權數(shù)值等級；并且權重因子相應于多媒體節(jié)目的預期觀看者的某一特征。
20.如權利要求15中所述的父母控制系統(tǒng)，其中權重因子是從多個權重因子中選出的。
21.如權利要求19中所述的父母控制系統(tǒng)，還包括學習模塊，其中錄制分析模塊選出的第一聽覺特征和文本之一、視覺分析模塊提取的視頻特征、音頻分析模塊提取的第二聽覺特征、以及父母控制系統(tǒng)的控制者提供的用戶數(shù)據(jù)，均被學習模塊用于生成過濾判據(jù)。
22.一種電視機，所述電視機結合了如權利要求16中所述的父母控制系統(tǒng)。
23.一種機頂盒，所述機頂盒結合了如權利要求15中所述的父母控制系統(tǒng)。
24.一臺客戶軟件設備，該設備結合了如權利要求15中所述的父母控制系統(tǒng)。
全文摘要
父母控制系統(tǒng)具有根據(jù)常備的或用戶指定的判據(jù)，實時地自動過濾多媒體節(jié)目內容的能力。判據(jù)用于告訴系統(tǒng)里的學習模塊哪些類型影視節(jié)目段落被認為是敏感的或應拒絕的，因而模塊對哪些是敏感、哪些是不敏感的理解可以應用到為其他影視節(jié)目提供實時過濾。多媒體節(jié)目被分解為音頻、視頻、和錄制成分，因此聲音效果、視覺成分和物體以及語言都可以進行綜合分析，并決定不良材料是否隨多媒體節(jié)目通過。用戶可以選擇任何類型的不良材料對系統(tǒng)進行訓練，不僅僅是性和暴力。
文檔編號G06F17/30GK1636388SQ02801992
公開日2005年7月6日 申請日期2002年3月15日 優(yōu)先權日2001年3月30日
發(fā)明者N·迪米特羅瓦, R·S·亞辛施 申請人:皇家菲利浦電子有限公司