專利名稱：字幕信息分析裝置和字幕信息分析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及字幕信息分析裝置和字幕信息分析方法。
背景技術(shù)：
最近視頻記錄設(shè)備(例如，如具有大容量存儲視頻記錄介質(zhì)的硬盤記錄器)的流 行，已經(jīng)使得將非常大的數(shù)量和長的持續(xù)時間的運(yùn)動圖像內(nèi)容存儲在這些視頻記錄設(shè)備的 每個中成為一般實(shí)踐。然而，大多數(shù)用戶受限于用于觀看記錄的運(yùn)動圖像內(nèi)容的時間，需要 這些視頻記錄設(shè)備允許用戶在短時間內(nèi)有效地觀看運(yùn)動圖像內(nèi)容。另一方面，在地面數(shù)字廣播的情況下，為具有聽力困難的人和老人提供服務(wù)來以 字幕的形式顯示播放的節(jié)目中的對話和評論，即，所謂的字幕廣播服務(wù)。傳輸在此情況下的 字幕，如包括在運(yùn)動圖像流中作為來自廣播組織的字幕數(shù)據(jù)。在這點(diǎn)上，例如通過使用這些 字幕數(shù)據(jù)，正進(jìn)行嘗試來執(zhí)行節(jié)目信息分析、搜索視頻記錄設(shè)備中存儲的內(nèi)容和運(yùn)動圖像 中的場景搜索。然而，這里要注意的是，在地面數(shù)字廣播上傳輸?shù)淖帜粩?shù)據(jù)包括所謂的DRCS(可 動態(tài)重新定義的字符集)，除了普通字符外，該DRCS以位圖數(shù)據(jù)表示基于電視文字廣播和 數(shù)據(jù)廣播字符編碼的標(biāo)準(zhǔn)的外部字符。DRCS是字符或符號的位圖表示，并且用于各種應(yīng)用。例如，圖IA所示的“一”(一是日本漢字?jǐn)?shù)字)和圖IB所示的“口”(表示日本漢 字中的“嘴”)可以以普通字符顯示；但是考慮屏幕上的顯示狀態(tài)，它們可以通過DRCS表示。 除了這些示例外，如“元”、“驊”、“濱”、“旺”等的字符可以通過DRCS表示。此外，不能由普 通字符集表示的那些字符(例如，如“薙”)可以通過DRCS表示。此外，除了字符表示外， DRCS還用于顯示表示當(dāng)前在運(yùn)動圖像中的場景的種類的符號。例如，在正在播放音樂的場 景中，顯示在DRCS中表示音樂正在播放的"廣’(音符)，如圖IC所示。在移動電話的情況 下的對話場景中，顯示如圖ID所示的表示移動電話的符號。此外，例如使用如圖IE所示的 麥克風(fēng)和圖IF所示的電視機(jī)的符號。因?yàn)镈RCS包含可重新定義的外部字符，所以不同于普通字符，DRCS可能逐個節(jié)目 或在傳輸廣播內(nèi)容數(shù)據(jù)的廣播組織之間不同。因此，實(shí)際上DRCS不能用于基于字幕數(shù)據(jù)的 內(nèi)容搜索和場景搜索。為了克服該問題，提出了一種運(yùn)動圖像場景類型確定裝置，其配置為通過像素匹 配確定運(yùn)動圖像流中包含的字幕數(shù)據(jù)中的外部字符的形狀和數(shù)據(jù)庫中存儲的外部字符 的形狀之間的匹配，然后基于音頻數(shù)據(jù)確定運(yùn)動圖像流的場景類型(參考日本專利公開 No. 2008-269460)。

發(fā)明內(nèi)容
然而，這里要注意的是，日本專利公開No. 2008-269460中公開的運(yùn)動圖像場景 類型確定裝置只通過像素匹配執(zhí)行外部字符的字符形狀之間的差別的確定。結(jié)果，盡管 “一”(一是日文數(shù)字)、“一”(長音符)和“_”(連字號)是不同的字符，但是這些字符的像素數(shù)目幾乎相互匹配，使得這些字符可能被確定為相同。因此，該運(yùn)動圖像場景確定裝置 不能基于包括DRCS的字幕數(shù)據(jù)執(zhí)行精確場景類型確定。此外，上述運(yùn)動圖像場景類型確定裝置通過像素匹配確定外部字符的字符形狀之 間的差異，然后基于音頻數(shù)據(jù)執(zhí)行場景類型確定，使得用于運(yùn)動圖像場景類型確定裝置的 音頻處理的部件數(shù)目增加，從而提高了該裝置的制造成本。因此，本發(fā)明處理與現(xiàn)有技術(shù)的方法和裝置相關(guān)聯(lián)的上述和其它問題，并且通過 提供一種字幕信息分析裝置和字幕信息分析方法解決了所述問題，該字幕信息分析裝置和 字幕信息分析方法配置為通過用普通字符替代字幕數(shù)據(jù)中包括的DRCS，利用高精確度分析
子眷fe息。在執(zhí)行本發(fā)明時并根據(jù)其一個模式，提供了一種字幕信息分析裝置，包括分離部 件，用于分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)；存儲部件，用于通過 將指示字符和符號的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述樣本位圖數(shù)據(jù)表示的信 息相關(guān)聯(lián)，存儲所述位模式和所述信息；評估部件，用于通過比較所述位圖數(shù)據(jù)的位模式和 所述樣本位圖數(shù)據(jù)的位模式，從所述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同的樣 本位圖數(shù)據(jù)；以及替換部件，用于用由所述評估部件評估為相同的所述樣本位圖數(shù)據(jù)表示 的信息替換所述位圖數(shù)據(jù)。在執(zhí)行本發(fā)明時并根據(jù)其一個模式，提供了一種字幕信息分析方法，包括以下步 驟分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)；通過將指示字符和符號 的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述樣本位圖數(shù)據(jù)表示的信息相關(guān)聯(lián)，存儲所述 位模式和所述信息；通過比較所述位圖數(shù)據(jù)的位模式和所述樣本位圖數(shù)據(jù)的位模式，從所 述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同的樣本位圖數(shù)據(jù)；以及用由所述評估步 驟中評估為相同的所述樣本位圖數(shù)據(jù)表示的信息替換所述位圖數(shù)據(jù)。如上所述并根據(jù)本發(fā)明的實(shí)施例，通過用使用普通字符的字符串替換DRCS，DRCS 可以作為普通字符分析，使得可以用高精確度執(zhí)行內(nèi)容搜索、場景搜索和摘要回放等。


參考附圖，本發(fā)明的其它目的和方面將從實(shí)施例的以下描述變得明顯，附圖中圖IA到IF是圖示通過使用DRCS表示的字符或符號的示例的圖；圖2是圖示實(shí)踐為本發(fā)明的一個實(shí)施例的字幕信息分析裝置的示例性配置的方 塊圖；圖3是圖示樣本數(shù)據(jù)存儲塊中存儲的位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息的示例 的圖；圖4是圖示字符串存儲塊中存儲的字符串信息的圖；圖5是指示由DRCS評估塊執(zhí)行的處理的流程圖；圖6是指示由場景檢測單元執(zhí)行的處理的流程圖；以及圖7是圖示作為場景檢測結(jié)果的縮略圖表示的示例的圖。
具體實(shí)施例方式字幕信息分析裝置的配置
參考附圖，將通過其實(shí)施例的方式進(jìn)一步詳細(xì)描述本發(fā)明。如圖2所示，字幕信息 分析裝置1具有天線10、調(diào)諧器11、解調(diào)塊12、分離塊13、運(yùn)動圖像存儲塊14、縮略圖提取 塊15、字幕分析塊16、DRCS評估塊17、樣本數(shù)據(jù)存儲塊18、字符串存儲塊19和應(yīng)用塊20。 應(yīng)用塊20具有場景檢測單元20A和場景信息存儲單元20B。天線10接收地面廣播的廣播波。將接收的廣播信號提供給調(diào)諧器11以轉(zhuǎn)換為中 頻信號。中頻信號提供給解調(diào)塊12。通過解調(diào)塊12，解調(diào)作為運(yùn)動圖像流的傳送流用于提 取。將提取的傳送流提供給分離塊13。分離塊13包括用于分離傳送流的信號分離器和用于執(zhí)行解碼的解碼器?；诿?個分組的報頭部分中寫入的分組標(biāo)識符(PID)，分離塊13將傳送流分離為視頻PES (分組化 基本流)、音頻PES、字幕PES、PSI (節(jié)目特定信息)和SI (服務(wù)信息)。例如，SI攜帶各種 信息，如節(jié)目頻道、標(biāo)題、開始日期和時間、廣播持續(xù)時間、詳細(xì)內(nèi)容、進(jìn)展情形、風(fēng)格和系列 信息。讀取SI提供EPG(電子節(jié)目指南)數(shù)據(jù)。視頻PES、音頻PES和字幕PES包括作為用 于同步再現(xiàn)的時間信息的PTS (呈現(xiàn)時間戳)。作為分離結(jié)果獲得的視頻PES、音頻PES和 字幕PES以預(yù)定方式進(jìn)行信號處理以分別轉(zhuǎn)換為視頻數(shù)據(jù)、音頻數(shù)據(jù)和字幕數(shù)據(jù)。然后，視 頻數(shù)據(jù)和音頻數(shù)據(jù)提供給運(yùn)動圖像存儲塊14以存儲在其中。字幕數(shù)據(jù)提供給字幕分析塊 16?？s略圖提取塊15從記錄到運(yùn)動圖像存儲塊14的視頻數(shù)據(jù)提取一幀，并且從提取 幀創(chuàng)建縮略圖。由縮略圖提取塊15提取的縮略圖用于將通過稍后描述的場景檢測單元20A 獲得的場景檢測結(jié)果顯示在顯示塊25上。稍后將描述該處理的細(xì)節(jié)。字幕分析塊16對從分離塊13提供的字幕數(shù)據(jù)執(zhí)行預(yù)定分析處理，以便從處理的 字幕數(shù)據(jù)生成由JIS(日本工業(yè)標(biāo)準(zhǔn))代碼格式表示的字符(以下稱為普通字符)。要注意 的是，如上所述，除了可轉(zhuǎn)換為普通字符的那些，字幕數(shù)據(jù)還可以包括DRCS。DRCS表示位圖 數(shù)據(jù)中的所謂的外部字符，如符號和特殊字符。因此，DRCS不能通過上述分析處理來處理。 字幕數(shù)據(jù)中的DRCS提供給DRCS評估塊17，作為沒有改變的DRCS。結(jié)果，由字幕分析塊16 處理的字符串、DRCS和PTS提供給DRCS評估塊17。如果從字幕分析塊I6提供的DRCS表示字符，則DRCS評估塊17評估該DRCS代表 什么字符，然后用由該DRCS表示的普通字符替換該DRCS。此外，如果經(jīng)歷判斷的DRCS表 示符號，則DRCS評估塊17評估該符號表示什么意思，然后用基于普通字符的字符串替換該 DRCS。DRCS評估塊17等效于評估塊和替換塊。為了評估字符或符號DRCS表示什么，DRCS 評估塊17執(zhí)行三種處理，即，模式匹配、上下文判斷和基于字幕中的出現(xiàn)頻率的選擇(以下 稱為出現(xiàn)頻率選擇)。這里要注意的是，這三種處理不能同時執(zhí)行；可以執(zhí)行三種處理中的 任何兩者。稍后將描述這些類型的處理的每個的細(xì)節(jié)和DRCS替換的細(xì)節(jié)。如圖3所示，樣本數(shù)據(jù)存儲塊18存儲作為要在由DRCS評估塊17執(zhí)行的處理中使 用的樣本數(shù)據(jù)(以下稱為樣本DRCS)的DRCS的位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息。要注 意的是，位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息存儲為與由該DRCS表示的普通字符組成的字 符串或由指示由該DRCS表示的符號的含義的普通字符組成的字符串相關(guān)聯(lián)。如果DRCS評 估塊17執(zhí)行模式匹配，則讀取位模式。如果DRCS評估塊17執(zhí)行上下文判斷，則讀取上下 文數(shù)據(jù)。如果DRCS評估塊17執(zhí)行出現(xiàn)頻率選擇，則讀取出現(xiàn)頻率信息。要注意的是，稍后 將描述這些位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息的細(xì)節(jié)。位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息只是說明性的，因此實(shí)際的位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息不限于此。如圖4所示，字符串存儲塊19將字幕中包含的普通字符和由DRCS評估塊17從 DRCS獲得的普通字符存儲為與每個運(yùn)動圖像的PTS相關(guān)聯(lián)。字符串存儲塊19還存儲節(jié)目 信息。DRCS通過DRCS評估塊17全部由普通字符替換，并且只有由普通字符構(gòu)成的字符串 和PTS存儲在字符串存儲塊19中，使得可以通過應(yīng)用塊20執(zhí)行各種應(yīng)用。在本發(fā)明的本實(shí)施例中，應(yīng)用塊20由用于從字幕數(shù)據(jù)檢測視頻內(nèi)容中的場景的 場景檢測單元20A和用于存儲關(guān)于由場景檢測單元20A檢測的場景的信息的場景信息存儲 單元20B配置。場景檢測單元20A通過使用字符串存儲塊19中存儲的DRCS評估塊17的 處理結(jié)果來檢測運(yùn)動圖像中的場景。稍后將描述場景檢測處理的細(xì)節(jié)。場景信息存儲單元 20B存儲關(guān)于由場景檢測單元20A檢測的場景的信息。如上所述配置的字幕信息分析裝置1的組成塊和單元的每個連接到控制塊21。控 制塊21與R0M(只讀存儲器)22、輸入塊23、通信塊24和顯示塊25連接?？刂茐K21是基于CPU(中央處理單元)的微計算機(jī)等，并且如事先存儲在ROM 22 中的程序所指定的，控制字幕信息分析裝置1的每個組成塊。輸入塊23表示各種輸入設(shè)備， 如遙控器、鍵盤等，用戶通過其輸入搜索關(guān)鍵字和指令到字幕信息分析裝置1中。通信塊24連接到因特網(wǎng)。通過通信塊24，字幕信息分析裝置1能夠下載位模式、 上下文數(shù)據(jù)和出現(xiàn)頻率信息，稍后將描述其細(xì)節(jié)。顯示塊25由基于LCD(液晶顯示器)、 CRT(陰極射線管顯示器)或有機(jī)EL(電致發(fā)光)的顯示設(shè)備及其接口配置。運(yùn)動圖像內(nèi)容 由顯示塊25顯示。此外，由場景檢測單元20A進(jìn)行的確定結(jié)果由縮略圖提取塊15提取，并 且該結(jié)果以縮略圖方式顯示在顯示塊25上。字幕信息分析裝置的操作參考圖3到5，以下描述由DRCS評估塊17執(zhí)行的模式匹配、上下文確定、出現(xiàn)頻率 選擇和DRCS替換處理操作。如圖3所示，用于在由DRCS評估塊17執(zhí)行的處理中使用的樣本DRCS的位模式、 上下文數(shù)據(jù)和出現(xiàn)頻率信息存儲在樣本數(shù)據(jù)存儲塊18中，作為與由樣本DRCS表示的字符 或指示符號的含義的字符串相關(guān)聯(lián)。在圖3中，樣本DRCS “一”(一是日本漢字?jǐn)?shù)字)與普通字符“一”(一是日本漢 字?jǐn)?shù)字)相關(guān)聯(lián)。“一”(長音符)與普通字符“一”(長音符)相關(guān)聯(lián)?！癬” (連字號)與 普通字符“_”(連字號)相關(guān)聯(lián)。如果樣本是符號，則關(guān)聯(lián)允許容易理解該符號的含義的普 通字符的字符串。如果樣本DRCS是"廠，則關(guān)聯(lián)字符串“音符標(biāo)記”。如果樣本DRCS是移動 電話標(biāo)記，則關(guān)聯(lián)字符串“談話場景”。然而，要注意的是，要相關(guān)聯(lián)的每個字符串不限于一 種類型；考慮通過稍后描述的應(yīng)用塊20的應(yīng)用，可以設(shè)置任何期望類型。例如，除了“音符 標(biāo)記”外/7”與字符串“音樂場景”、“具有背景音樂的場景”等相關(guān)聯(lián)是可行的。在移動電 話標(biāo)記的情況下，可以關(guān)聯(lián)字符串“移動電話上的談話場景”。位模式表示作為位圖數(shù)據(jù)的樣本DRCS的位模式。上下文數(shù)據(jù)表示在來自過去的 電影、電視節(jié)目等的字幕中的DRCS之前和之后使用的字符串的各種組合的數(shù)據(jù)庫。圖3說 明性示出結(jié)合“(一)般人”、“(一)般的”、“日本(一)，，、“世界(一)”等使用的字符串 與“一”(一是日本漢字?jǐn)?shù)字)相關(guān)聯(lián)并存儲。結(jié)合“一”(長音符)使用的字符串(如“=
夕(一)，，、“寸一κ (一)，，等)與“一，，(長音符)相關(guān)聯(lián)并存儲。如CD㈠ROM、DVD(-)R0M等的字符串與“-”(連字號)相關(guān)聯(lián)并存儲。如“入(口)”、“出(口)”的字符 串與“口”(日文中的嘴)相關(guān)聯(lián)并存儲。如“(/) ”、“(/) ‘鋼琴’ ”的字符串與“/”(音 符標(biāo)記)相關(guān)聯(lián)并存儲。要注意的是，上面撇號包括的“鋼琴”例如表示音樂標(biāo)題或樂器。 如“你好”等的字符串與“移動電話標(biāo)記”相關(guān)聯(lián)并存儲。出現(xiàn)頻率信息是基于過去的電影和電視節(jié)目的字幕中DRCS的出現(xiàn)頻率排列的樣 本DRCS的數(shù)據(jù)庫。在圖3中，出現(xiàn)頻率是以下順序的“口”、“一”、“一”、“_”、"廠。應(yīng)當(dāng)注意 的是，出現(xiàn)頻率信息不限于DRCS的排列的出現(xiàn)頻率；例如，出現(xiàn)頻率信息可以是出現(xiàn)頻率 自身。首先，DRCS評估塊17確定字幕數(shù)據(jù)中是否包括DRCS (步驟Si)。如果在字幕數(shù)據(jù) 中發(fā)現(xiàn)DRCS(步驟Sl中為是)，則DRCS評估塊17執(zhí)行模式匹配(步驟S2)。應(yīng)當(dāng)注意的 是，如果在字幕數(shù)據(jù)中沒有發(fā)現(xiàn)DRCS (步驟Sl中為否)，則DRCS評估塊17的處理結(jié)束。在模式匹配中，從樣本數(shù)據(jù)存儲塊18讀取樣本DRCS的位模式。在樣本DRCS和經(jīng) 歷處理的字幕數(shù)據(jù)中包括的DRCS之間進(jìn)行比較(該處理稱為模式匹配)。在模式中匹配字 幕中的DRCS的兩個或更多樣本DRCS中的樣本DRCS評估為相同DRCS。應(yīng)當(dāng)注意的是，模式 匹配不限于完全匹配；例如，如果匹配像素的數(shù)目高于像素的總數(shù)的某個比率，則可以實(shí)現(xiàn) 位模式匹配。對字幕數(shù)據(jù)中包含的所有DRCS執(zhí)行模式匹配。接著，在模式匹配后，DRCS評估塊17確定經(jīng)歷處理的字幕數(shù)據(jù)中的DRCS和樣本 數(shù)據(jù)存儲塊18中存儲的兩個或更多樣本DRCS中的一個樣本DRCS之間是否存在位模式匹 配(步驟S3)。如果不存在與一個樣本DRCS的匹配(步驟S3中為否)，則DRCS評估塊17 確定是否存在匹配兩個或更多樣本DRCS的位模式(步驟S4)。如果在步驟S4中存在與兩 個或更多樣本DRCS的位模式匹配，則DRCS評估塊17執(zhí)行上下文判斷(步驟S5。)在執(zhí)行上下文判斷時，從樣本數(shù)據(jù)存儲塊18讀取上下文數(shù)據(jù)。在上下文判斷時， 在對應(yīng)于通過步驟S3的模式匹配確定在位模式上與字幕數(shù)據(jù)中的DRCS匹配的兩個或更多 樣本DRCS的上下文數(shù)據(jù)、和字幕數(shù)據(jù)中包括的DRCS之前和之后的字符串之間進(jìn)行比較。該 比較允許通過模式匹配評估為相同的兩個或更多樣本DRCS中的、近似字幕數(shù)據(jù)中的DRCS 的樣本DRCS是相同的DRCS的評估。以下描述上下文判斷的特定示例，其中字幕數(shù)據(jù)中包括的要經(jīng)歷處理的DRCS是 “一”(一是日本漢字?jǐn)?shù)字)，其與字符串“般人”結(jié)合用作詞語“一般人”。當(dāng)對DRCS“一”( 一 是日本漢字?jǐn)?shù)字)執(zhí)行模式匹配時，除了 “一”( 一是日本漢字?jǐn)?shù)字)外，該DRCS類似于 “一”(長音符)和“_”(連字號)是可能的，因此與三個樣本DRCS相同。因此，在已經(jīng)評估 為相同的三個樣本“一”(一是日本漢字?jǐn)?shù)字)、“一”(長音符)和“_” (連字號)的上下文 數(shù)據(jù)和作為字幕數(shù)據(jù)中的DRCS的“一”(一是日本漢字?jǐn)?shù)字)的之前和之后的字符串之間 進(jìn)行比較。在該示例中，字幕數(shù)據(jù)中的“一”(一是日本漢字?jǐn)?shù)字)與字符串“般人”結(jié)合使 用，使得確定DRCS “一”(一是日本漢字?jǐn)?shù)字)匹配作為樣本DRCS的“一”(一是日本漢字 數(shù)字)的上下文數(shù)據(jù)“(一)般人”，從而評估該DRCS是日本漢字?jǐn)?shù)字的一。即使作為模式 匹配的結(jié)果獲得字幕數(shù)據(jù)中的DRCS確定為與兩個或更多樣本DRCS相同的評估結(jié)果，執(zhí)行 該處理也允許縮小評估結(jié)果以增強(qiáng)評估的精度。接下來，DRCS評估塊17確定是否作為上下文判斷的結(jié)果已經(jīng)選取一個樣本 DRCS (步驟S6)。如果沒有選取一個標(biāo)準(zhǔn)DRCS (步驟S6中為否)，即，作為上下文判斷的結(jié)
8果發(fā)現(xiàn)字幕數(shù)據(jù)中的DRCS與兩個或更多樣本DRCS相同，則DRCS評估塊17接下來執(zhí)行出 現(xiàn)頻率選擇(步驟S7)。如果通過上下文判斷評估字幕數(shù)據(jù)中的DRCS與兩個或更多樣本DRCS相同，則出 現(xiàn)頻率選擇評估這些樣本DRCS中具有最高出現(xiàn)頻率的樣本DRCS與字幕數(shù)據(jù)中的DRCS相 同。例如，利用圖3中示出的出現(xiàn)頻率信息，在三個DRCS“一”(一是日本漢字?jǐn)?shù)字)、“一”(長 音符)和“_”(連字號)中，“一”(一是日本漢字?jǐn)?shù)字)具有最高出現(xiàn)頻率。因此，出現(xiàn)頻 率選擇評估字幕數(shù)據(jù)中的“一”(一是日本漢字?jǐn)?shù)字)與具有最高出現(xiàn)頻率的“一”(一是 日本漢字?jǐn)?shù)字)相同。結(jié)果，可以總是評估字幕數(shù)據(jù)中的DRCS與一個樣本DRCS相同。接下來，在出現(xiàn)頻率選擇后，字幕數(shù)據(jù)中的DRCS用與評估為相同的樣本DRCS相關(guān) 聯(lián)的普通字符替換(步驟S8)。此外，如果只通過上述步驟S4的模式匹配評估字幕數(shù)據(jù)中 的DRCS與一個樣本DRCS相同，則在步驟S8中執(zhí)行替換。此外，如果通過步驟S5的上下文 判斷評估字幕數(shù)據(jù)中的DRCS與一個樣本DRCS相同，則也在步驟8中由普通字符替換DRCS。在步驟S8的替換處理中，如果字幕數(shù)據(jù)中的DRCS表示字符例如“一”(一是日本 漢字?jǐn)?shù)字)或“口”(日本漢字中的嘴)，則該DRCS用普通字符“一”(一是日本漢字?jǐn)?shù)字) 或“口”(日本漢字中的嘴)替換。如果經(jīng)歷判斷的DRCS是符號"《?！?則該DRCS用指示該符 號的含義的字符串“音符標(biāo)記”替換。然后，DRCS評估塊17將普通字符的字符串和具有替換的DRCS的普通字符的字符 串存儲到字符串存儲塊19中，如與指示這些字符串的顯示時間的PTS相關(guān)聯(lián)，作為通過運(yùn) 動圖像內(nèi)容的類型分類的字符串信息，如圖4所示。字幕數(shù)據(jù)中包括DRCS通過DRCS評估 塊17全部用普通字符的字符串替換，使得普通字符的字符串和PTS存儲在字符串存儲塊19 中。要注意的是，在本實(shí)施例中，位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息事先存儲在樣本 數(shù)據(jù)存儲塊18中。然而，通過將字幕信息分析裝置1連接到如因特網(wǎng)的網(wǎng)絡(luò)，通過從服務(wù) 器下載位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息，將位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息存儲在 樣本數(shù)據(jù)存儲塊18中是可行的。間或在服務(wù)器上更新位模式、上下文數(shù)據(jù)和出現(xiàn)頻率信息 可以將樣本數(shù)據(jù)存儲塊18中存儲的這些數(shù)據(jù)和信息總是保持在最近狀況。結(jié)果，如果使用 了在字幕數(shù)據(jù)中沒有找到的新DRCS，則字幕信息分析裝置1能夠迅速地處理這種情形。下面參考圖6和7描述要由應(yīng)用塊20的場景檢測單元20A執(zhí)行的場景檢測處理。 圖6所示的流程圖指示在用戶已經(jīng)在用于搜索的字幕數(shù)據(jù)中輸入字符作為搜索關(guān)鍵字后 要執(zhí)行的處理流程。由用戶輸入的關(guān)鍵字貫穿輸入塊23執(zhí)行。要注意的是，當(dāng)視頻再現(xiàn)沒 有執(zhí)行或在視頻再現(xiàn)期間的屏幕上時，用戶可以執(zhí)行關(guān)鍵字輸入操作。對于場景檢測的執(zhí)行，圖4所示的對于每條運(yùn)動圖像內(nèi)容具有相互關(guān)聯(lián)的字符串 和指示顯示該字符串的時間的PTS的字符串信息，從字符串存儲塊19提供到場景檢測單元 20A。此外，視頻數(shù)據(jù)和音頻數(shù)據(jù)從分離塊13提供到場景檢測單元20A。在開始場景檢測 時，場景檢測單元20A參考字符串信息以確定包括用戶輸入的關(guān)鍵字的字符串是否包括在 字幕數(shù)據(jù)中(步驟S21)。應(yīng)當(dāng)注意的是，可以對用戶指定的運(yùn)動圖像內(nèi)容的特定項(xiàng)目、或 字符串存儲塊19中存儲的所有字符串信息而沒有指定運(yùn)動圖像內(nèi)容的特定項(xiàng)目進(jìn)行該確 定。如果在字幕數(shù)據(jù)中沒有找到包括關(guān)鍵字的字符串(步驟S21中為否)，則場景檢測處理 結(jié)束，假設(shè)不存在其中顯示包括用戶輸入的關(guān)鍵字的字幕數(shù)據(jù)的場景。應(yīng)當(dāng)注意的是，在進(jìn)
9行該操作時，與用戶輸入的關(guān)鍵字類似或相關(guān)聯(lián)的關(guān)鍵字可以顯示在顯示塊25上，從而提 示用戶輸入新的關(guān)鍵字。如果在字幕數(shù)據(jù)中找到包括關(guān)鍵字的字符串(步驟S21中為是)，則場景檢測單 元20A參考與該關(guān)鍵字相關(guān)聯(lián)的PTS，以獲得指示顯示該字符串的時間的時間信息(步驟 S22)。然后，通過將從分離塊13提供的AV數(shù)據(jù)與指示顯示包括關(guān)鍵字的字符串的時間的 時間信息相關(guān)聯(lián)，該時間信息與此時的運(yùn)動圖像場景相關(guān)聯(lián)，關(guān)聯(lián)的信息和運(yùn)動圖像場景 輸出為場景信息(步驟S23)。輸出的場景信息記錄到場景信息存儲單元20B (步驟S24)。接下來，場景檢測處理的結(jié)果(即，顯示包括用戶輸入的關(guān)鍵字的字幕數(shù)據(jù)的場 景)與由縮略圖提取塊15提取的縮略圖相關(guān)聯(lián)，以提供給用戶，如以如圖7所示的縮略圖 方式顯示在顯示塊25上(步驟S25)。傳統(tǒng)上，字幕數(shù)據(jù)中包括的DRCS是由位圖數(shù)據(jù)表示的所謂的外部字符，使得該 DRCS不經(jīng)歷通過字幕數(shù)據(jù)的場景檢測。相反，本實(shí)施例將字幕數(shù)據(jù)中包括的所有DRCS用普 通字符替換，使得由DRCS表示的所有字符和符號可以經(jīng)歷關(guān)鍵字搜索處理。因此，與現(xiàn)有 技術(shù)相比，可以提高場景檢測的精度。此外，例如作為指示運(yùn)動圖像中的背景音樂的DRCS 的“《Γ (音符標(biāo)記)用使用指示該符號的含義的普通字符的字符串(例如“音樂場景”)替 換。結(jié)果，通過將用戶用于搜索的關(guān)鍵字設(shè)置為“音樂場景”，可以檢測播放運(yùn)動圖像中的背 景音樂的場景。因此，用普通字符替換DRCS可以加寬要檢測的檢測方法和場景，從而以更 詳細(xì)的方式執(zhí)行場景檢測處理。在本實(shí)施例中，例如場景檢測處理已經(jīng)描述為要由應(yīng)用塊20執(zhí)行的應(yīng)用。這里要 注意的是，要執(zhí)行的應(yīng)用不限于場景檢測處理。如上所述，在場景信息存儲單元20B中，為 運(yùn)動圖像內(nèi)容的每項(xiàng)存儲字幕，與顯示這些字幕的時間信息相關(guān)聯(lián)，使得可以搜索其中顯 示包括用戶輸入的關(guān)鍵字的字幕的運(yùn)動圖像內(nèi)容。然后，運(yùn)動圖像內(nèi)容搜索的結(jié)果與縮略 圖提取塊15提取的縮略圖相關(guān)聯(lián)，像要以縮略圖顯示方式為用戶在顯示塊25上顯示的場 景檢測結(jié)果。這允許用戶容易地發(fā)現(xiàn)期望的節(jié)目，從而有用地提供硬盤記錄器應(yīng)用，其中大 量節(jié)目內(nèi)容可以記錄到硬盤驅(qū)動器上。盡管已經(jīng)使用特定術(shù)語描述了本發(fā)明的優(yōu)選實(shí)施例，但是這種描述用于說明目 的，并且要理解的是可以進(jìn)行各種改變和變化而不背離權(quán)利要求的精神或范圍。例如，要由 DRCS評估塊17執(zhí)行的模式匹配、上下文判斷和出現(xiàn)頻率選擇可以不全部執(zhí)行；例如，DRCS 評估塊17可以執(zhí)行模式匹配和上下文判斷的組合或模式匹配和出現(xiàn)頻率選擇的組合。此 外，除了經(jīng)由天線10將電視廣播輸入字幕信息分析裝置1外，還可以例如經(jīng)由USB(通用串 行總線)從硬盤驅(qū)動器或存儲卡輸入包括字幕數(shù)據(jù)的運(yùn)動圖像內(nèi)容。此外，本發(fā)明的實(shí)施例不限于地面數(shù)字廣播的接收；例如將實(shí)施例應(yīng)用于 IPTV(因特網(wǎng)協(xié)議電視)服務(wù)的接收也是可行的。IPTV趨于通過使用IP(因特網(wǎng)協(xié)議)分 發(fā)數(shù)字電視廣播。此外，本發(fā)明的實(shí)施例可應(yīng)用于例如能夠存儲運(yùn)動圖像內(nèi)容的硬盤記錄器、個人 計算機(jī)和移動電話。此外，本發(fā)明的實(shí)施例可應(yīng)用于DVD(數(shù)字多功能盤)播放器和BD(藍(lán) 光盤)播放器，其能夠再現(xiàn)記錄到這些播放器的記錄介質(zhì)上的運(yùn)動圖像內(nèi)容。要注意的是， 在本發(fā)明的實(shí)施例應(yīng)用于配置為記錄和再現(xiàn)來自硬盤記錄器的廣播運(yùn)動圖像內(nèi)容的設(shè)備 時，例如可以在DRCS評估塊17執(zhí)行判斷和替換處理的同時執(zhí)行記錄處理。這允許在完成運(yùn)動圖像內(nèi)容的記錄時，通過使用字幕數(shù)據(jù)的場景檢測等。本申請包含涉及于2009年6月4日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2009-134925中公開的主題，在此通過引用并入其全部內(nèi)容。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依賴于設(shè)計需求和其他因素可以出現(xiàn)各種修改、組合、 子組合和更改，只要它們在權(quán)利要求或其等效物的范圍內(nèi)。
1權(quán)利要求
一種字幕信息分析裝置，包括分離部件，用于分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)；存儲部件，用于通過將指示字符和符號的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述樣本位圖數(shù)據(jù)表示的信息相關(guān)聯(lián)，存儲所述位模式和所述信息；評估部件，用于通過比較所述位圖數(shù)據(jù)的位模式和所述樣本位圖數(shù)據(jù)的位模式，從所述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同的樣本位圖數(shù)據(jù)；以及替換部件，用于由所述評估部件評估為相同的所述樣本位圖數(shù)據(jù)表示的信息替換所述位圖數(shù)據(jù)。
2.如權(quán)利要求1所述的字幕信息分析裝置，其中所述存儲部件還通過將在所述樣本位圖數(shù)據(jù)的字幕中之前和/或之后安排的字符的 組合與由所述樣本位圖數(shù)據(jù)表示的信息相關(guān)聯(lián)，存儲所述組合；以及如果所述位圖數(shù)據(jù)評估為基本上與多條所述樣本位圖數(shù)據(jù)相同，則所述評估部件還在 評估為基本上相同的所述多條樣本位圖數(shù)據(jù)的字幕中之前和/之后安排的字符的組合與 所述位圖數(shù)據(jù)之間進(jìn)行比較，從而從所述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同 的樣本位圖數(shù)據(jù)。
3.如權(quán)利要求1所述的字幕信息分析裝置，其中所述存儲部件還通過將字幕中所述樣本位圖數(shù)據(jù)的出現(xiàn)頻率與由所述樣本位圖數(shù)據(jù) 表示的信息相關(guān)聯(lián)，存儲所述出現(xiàn)頻率和所述由所述樣本位圖數(shù)據(jù)表示的信息；以及如果所述位圖數(shù)據(jù)評估為基本上與多條所述樣本位圖數(shù)據(jù)相同，則所述評估部件還從 評估為基本上相同的多條所述樣本位圖數(shù)據(jù)中選擇具有最高出現(xiàn)頻率的樣本位圖數(shù)據(jù)，從 而從所述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同的樣本位圖數(shù)據(jù)。
4.如權(quán)利要求1所述的字幕信息分析裝置，其中，如果所述樣本位圖數(shù)據(jù)表示字符，則 所述信息是該字符，并且如果所述位圖數(shù)據(jù)表示符號，則所述信息表示由該符號表示的字 符串。
5.如權(quán)利要求1所述的字幕信息分析裝置，還包括通信部件，用于將所述字幕信息分析裝置連接到網(wǎng)絡(luò)，通過該網(wǎng)絡(luò)以便更新所述樣本 位圖數(shù)據(jù)的位模式、字幕中之前和/或之后安排的字符的組合、字幕中的出現(xiàn)頻率和由所 述位圖數(shù)據(jù)表示的信息。
6.一種字幕信息分析方法，包括以下步驟分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)； 通過將指示字符和符號的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述樣本位圖數(shù)據(jù) 表示的信息相關(guān)聯(lián)，存儲所述位模式和所述信息；通過比較所述位圖數(shù)據(jù)的位模式和所述樣本位圖數(shù)據(jù)的位模式，從所述樣本位圖數(shù)據(jù) 中評估基本上與所述位圖數(shù)據(jù)相同的樣本位圖數(shù)據(jù)；以及用由所述評估步驟中評估為相同的所述樣本位圖數(shù)據(jù)表示的信息替換所述位圖數(shù)據(jù)。
7.一種字幕信息分析裝置，包括分離器，配置為分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)； 存儲器，配置為通過將指示字符和符號的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述 樣本位圖數(shù)據(jù)表示的信息相關(guān)聯(lián)，存儲所述位模式和所述信息；評估器，配置為通過比較所述位圖數(shù)據(jù)的位模式和所述樣本位圖數(shù)據(jù)的位模式，從所 述樣本位圖數(shù)據(jù)中評估基本上與所述位圖數(shù)據(jù)相同的樣本位圖數(shù)據(jù)；以及替換器，配置為用由所述評估器評估為相同的所述樣本位圖數(shù)據(jù)表示的信息替換所述 位圖數(shù)據(jù)。
全文摘要
在此公開了一種字幕信息分析裝置，包括分離器，配置為分離包括指示字符和符號的至少一個的位圖數(shù)據(jù)的字幕數(shù)據(jù)；存儲器，配置為通過將指示字符和符號的至少一個的樣本位圖數(shù)據(jù)的位模式和由所述樣本位圖數(shù)據(jù)表示的信息相關(guān)聯(lián)，存儲所述位模式和所述信息；評估器，配置為通過比較所述位圖數(shù)據(jù)的位模式和所述樣本位圖數(shù)據(jù)的位模式，從所述樣本位圖數(shù)據(jù)中評估基本上等于所述位圖數(shù)據(jù)的樣本位圖數(shù)據(jù)；以及替換器，配置為用由所述評估器評估為相等的所述樣本位圖數(shù)據(jù)表示的信息替換所述位圖數(shù)據(jù)。
文檔編號H04N5/262GK101909164SQ201010194178
公開日2010年12月8日 申請日期2010年5月28日 優(yōu)先權(quán)日2009年6月4日
發(fā)明者益村明人 申請人:索尼公司