專利名稱：視頻數(shù)據(jù)處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于合成或混合多個視頻數(shù)據(jù)的技術(shù)。特別地，本發(fā)明涉及視頻數(shù)據(jù)處理裝置和方法，其具有在多個視頻數(shù)據(jù)之間的時基校正方面的改進。
背景技術(shù)：
傳統(tǒng)上已知有合成多個視頻數(shù)據(jù)的技術(shù)。在許多情況下，經(jīng)過這樣同步化的第一和第二視頻數(shù)據(jù)是包括本質(zhì)上具有相同頻率的同步信號的視頻數(shù)據(jù)。此外，給出了下面的方法作為一種用于將靜止圖像，即將第二視頻數(shù)據(jù)多路復(fù)用到作為運動圖像的第一視頻數(shù)據(jù)的技術(shù)。根據(jù)該方法，在從存儲器讀取第二視頻數(shù)據(jù)之后，將該第二視頻數(shù)據(jù)(例如，OSD信號)進行多路復(fù)用(參見，日本專利申請公開出版物第2001-165018號)。在這種情況下，第二視頻數(shù)據(jù)的讀出時間被預(yù)先設(shè)定為第一視頻數(shù)據(jù)的預(yù)定時間。這里假定第一和第二視頻數(shù)據(jù)使用硬件電路進行再現(xiàn)。
在運動圖像的顯示區(qū)域內(nèi)，即，在主視頻圖像的顯示區(qū)域內(nèi)，為了得到各種各樣、豐富多彩的展現(xiàn)，希望進行以下的顯示。具體地說，就是在將第二(副)視頻圖像作為時區(qū)事件與主視頻圖像匹配的狀態(tài)下顯示主視頻圖像。例如，為獲得希望的屏幕效果，而使運動圖像(即，主視頻圖像)與第二視頻圖像匹配，以改變主視頻圖像和第二視頻圖像的透光性。此外，在主視頻圖像是運動畫面(電影)的情況下，希望與電影人物對話同步顯示譯文。
在這種情況下，應(yīng)該考慮到以下的問題。具體地說，第二視頻圖像具有的是使用軟件再現(xiàn)的視頻源，而不是像傳統(tǒng)情形一樣使用硬件處理的視頻源。如果第二視頻圖像的視頻源使用軟件進行再現(xiàn)，那么再現(xiàn)時間取決于計算機的基準(zhǔn)時鐘。因此，第二視頻圖像的幀頻不必與使用另外的硬件再現(xiàn)的主視頻圖像的幀頻相匹配。只要使用軟件再現(xiàn)的第二視頻圖像進行簡單地構(gòu)造并在運動圖像(即主視頻圖像)部分的矩形區(qū)域內(nèi)顯示，不管主視頻圖像如何改變，都不會有什么問題。
然而，還沒有披露與顯示主視頻圖像和第二視頻圖像的內(nèi)容并使它們的幀頻同步緊密相關(guān)的技術(shù)。

發(fā)明內(nèi)容
實施例的一個目的是提供一種視頻數(shù)據(jù)處理裝置和方法，當(dāng)一個視頻圖像(例如，主視頻圖像)與另一個視頻圖像(例如，第二視頻圖像)混合或合成時，其可對兩個視頻數(shù)據(jù)進行時基校正。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種視頻數(shù)據(jù)處理裝置，該裝置包括第一視頻發(fā)生器裝置，用于生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器裝置，用于生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及使用通過第一視頻發(fā)生器管理的視頻生成時間作為基準(zhǔn)時間、并通過重復(fù)使用第二視頻數(shù)據(jù)來校正偏離基準(zhǔn)時間的第二視頻發(fā)生器的視頻生成時間以獲得幀同步的裝置。
本發(fā)明的另外的目的和優(yōu)勢將在以下說明中描述，且在某種程度上將從說明書中很容易了解到，或者可通過本發(fā)明的實施了解到。本發(fā)明的目的和優(yōu)勢可以通過下文中特別指出的工具和組合而認(rèn)識和獲得。


附圖被結(jié)合到說明書中并作為說明書的一部分來說明本發(fā)明的實施例，且與以上給出的概括描述和以下給出的實施例的詳細(xì)描述一起用于解釋本發(fā)明的原理。
圖1是示出在本發(fā)明中處理的圖像平面混合的示意圖；圖2是示出根據(jù)本發(fā)明的裝置(硬件)的結(jié)構(gòu)的框圖；圖3是示出根據(jù)本發(fā)明的裝置的操作，即，圖形幀與視頻幀的混合的示意圖；圖4是示出像素數(shù)據(jù)格式的一個實例的示意圖；圖5是示出在像素級混合的原理的示意圖；圖6是示出根據(jù)本發(fā)明的裝置的操作(即，圖形幀與視頻幀的混合)，并解釋當(dāng)給定跳幀時的操作的示意圖；圖7是示出用于實現(xiàn)本發(fā)明的軟件的結(jié)構(gòu)的框圖；圖8是示出在可執(zhí)行程序中的任務(wù)優(yōu)先級的一個實例的示意圖；圖9是示出圖形再現(xiàn)程序的流程的流程圖；圖10是示出根據(jù)本發(fā)明的時基校正系統(tǒng)模型的示意圖；以及圖11是應(yīng)用本發(fā)明的信息記錄/再現(xiàn)裝置的示意圖。
具體實施例方式
以下將參考附圖描述本發(fā)明的實施例。
圖1是示出在本發(fā)明中處理的圖像平面混合的基本原理的示意圖。圖形平面11是通過中央處理器(CPU)計算并生成的圖像。視頻平面12是通過MPEG2解碼器解碼出的運動圖像中的單幅圖像。上述圖形平面11和視頻平面12彼此獨立地生成。例如，圖形平面11和視頻平面12與MPEG2解碼器的輸出幀頻周期性地同步混合。同步器14執(zhí)行上述的混合；換句話說，執(zhí)行像素級阿爾法(α)混合。
圖2是示出根據(jù)本發(fā)明的硬件的結(jié)構(gòu)的框圖。CPU 21根據(jù)載入系統(tǒng)存儲器22中的可執(zhí)行程序來控制連接到系統(tǒng)的多個裝置，并生成圖形輸出圖像。
總線橋接器23與CPU 21、系統(tǒng)存儲器22、圖形控制器24以及PCI總線25相連接，控制并傳送各個裝置和總線之間的數(shù)據(jù)交換。
系統(tǒng)存儲器22儲存有存儲在連接到IDE控制器29的硬盤驅(qū)動器(HDD)30中的可執(zhí)行程序的副本。此外，系統(tǒng)存儲器22被作為用于臨時存儲計算和數(shù)據(jù)傳輸所要求的變量的緩沖區(qū)。
圖形控制器24控制由CPU 21計算的圖像從系統(tǒng)存儲器22到圖形存儲器26的傳輸。而且，圖形控制器24根據(jù)CPU 21的指令執(zhí)行復(fù)雜的圖像處理計算。此外，圖形控制器24將圖像信息與MPEG解碼器28的輸出定時同步地輸出到視頻混合器27。因此，圖形控制器24包括同步控制部分24a。圖形控制器24還包括幀生成忽略部分24b、優(yōu)先級設(shè)定部分24c、幀頻控制部分24d，將在下面進行描述。
視頻混合器27結(jié)合(混合)來自MPEG解碼器28的NTSC信號信息和來自圖形控制器24的圖像信息。在這種情況下，視頻混合器27使用包括在來自圖像控制器24的圖像信息中的α(阿爾法)值執(zhí)行上述混合。然后，視頻混合器27將圖像信號與NTSC信號同步再現(xiàn)，然后將其輸出。視頻混合器27包括阿爾法混合部分27a。視頻混合器27還包括用于以下面描述的像素級執(zhí)行混合(合成)的像素處理部分27b。
MPEG解碼器28基于CPU 21的控制，捕獲從光驅(qū)31中讀取的數(shù)據(jù)中提取的MPEG2數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換成圖像數(shù)據(jù)。隨后，MPEG解碼器28將轉(zhuǎn)換后的圖像數(shù)據(jù)輸出到視頻混合器27。
PCM解碼器32周期性地捕獲通過CPU 21的計算從光驅(qū)31中讀取的數(shù)據(jù)中提取的音頻數(shù)據(jù)轉(zhuǎn)換的PCM數(shù)據(jù)。隨后，PCM解碼器32將捕獲的PCM數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號并輸出該信號。
IDE控制器29與光驅(qū)31和HDD 30相連接，并且在CPU 21的控制下，執(zhí)行將包含在各個驅(qū)動器中的數(shù)據(jù)讀取到存儲器的控制。
例如，光驅(qū)31是DVD驅(qū)動器。光驅(qū)31從存儲有數(shù)據(jù)的DVD光盤中讀取數(shù)據(jù)，用于生成視頻平面12和圖形平面11。
HDD 30儲存用于操作該裝置的可執(zhí)行程序。IR接收器33接收來自控制該裝置的遙控器的信號。網(wǎng)絡(luò)接口控制器(NIC)34控制用于與各種網(wǎng)絡(luò)進行連接的通信數(shù)據(jù)。
圖3是示出將圖形幀與視頻幀進行混合的操作的示意圖。即使視頻幀V1、V2、V3、…V13和圖形幀GA、GB、GC、…GI的幀頻不同，本發(fā)明也是適用的。圖3示出了視頻幀前進4幀的同時圖形幀前進3幀的情況。輸出幀與視頻幀的幀頻同步。如果輸出定時在視頻幀和圖形幀之間偏移，則將在輸出幀之前生成的圖形幀與視頻幀混合。具體地說，根據(jù)視頻幀V1和圖形幀GA之間的關(guān)系，獲得混合了這兩個幀的輸出幀(V1+GA)。在下一個輸出幀中，獲得混合了視頻幀V2與圖形幀GA的輸出幀(V2+GA)。在下一個輸出幀中，獲得混合了視頻幀V3與圖形幀GB的輸出幀(V3+GB)。在下一個輸出幀中，視頻幀V4和圖形幀GC在時基上同步；因此，獲得混合了這兩個幀的輸出幀(V4+GC)。重復(fù)進行以上描述的幀的混合(合成)。在這種情況下，圖形控制器24在視頻幀和圖形幀之間進行幀頻比較，并確定這兩個幀中哪個幀提前。相同圖形幀重復(fù)使用的次數(shù)可根據(jù)視頻幀和圖形幀的幀頻值改變。
如上所述，相同的圖形幀被多次混合(合成)至第一視頻數(shù)據(jù)的連續(xù)視頻幀，從而彌補了幀頻之間的差異。此外，如果圖形幀的生成被延遲，則將相同的圖形幀合成到連續(xù)視頻幀的次數(shù)可能增加。
如上所述，本發(fā)明的裝置具有用于生成具有任意幀頻的第一視頻數(shù)據(jù)(視頻幀)的第一視頻發(fā)生器。第一視頻發(fā)生器包括光驅(qū)31、IDE控制器29、MPEG解碼器28以及視頻混合器27。此外，本發(fā)明的裝置具有用于生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)(圖形幀)的第二視頻發(fā)生器。第二視頻發(fā)生器包括CPU 21、系統(tǒng)存儲器22、總線橋接器23、圖形存儲器26以及圖形控制器24。由第一視頻發(fā)生器管理的視頻生成時間被確定為基準(zhǔn)時間。如果第二視頻發(fā)生器的視頻生成時間出現(xiàn)了與基準(zhǔn)時間的偏移，則通過重復(fù)使用第二視頻數(shù)據(jù)對該偏移進行校正，從而實現(xiàn)幀的同步。在這種情況下，上述“偏移”是一個幀單位。然而，該“偏移”包括下面描述的第二視頻數(shù)據(jù)沒用及時生成而獲得幀混合(合成)的情況。
圖4是示出像素數(shù)據(jù)格式的一個實例的示意圖。
該像素數(shù)據(jù)格式示出了圖形幀的每個像素(像素)的數(shù)據(jù)結(jié)構(gòu)。在圖4中，R、G、B和α分別表示紅、綠、藍和混合α值。R、G、B和α都具有一個字節(jié)；因此，該數(shù)據(jù)總共包括4個字節(jié)。
圖5示出了像素級的像素混合計算的示意圖。在圖5中，G00，0～G33，100中的每一個都表示圖形幀的一個像素值，并且逗號前的數(shù)值表示在某一像素位置的RGB值，而逗號后的數(shù)值表示α值。V00～V33代表視頻幀的各個像素的RGB值。
在這種情況下，以使用圖形阿爾法比計算并混合圖形和視頻像素值的方式獲得每個輸出幀的像素值。
在圖5左上示出的圖形像素G00，0與視頻像素V00的混合中，進行(G00×0)+(V00×(1-0))的計算。在這種情況下，圖形比率為0，并且視頻比率為1。此外，在圖形像素G10，33與視頻像素V10的混合中，進行(G10×0.33)+(V10×(1-0.33))的計算。
來自視頻幀的輸出具有亮度Y、色差Cb和色差Cr信號。因此，在圖2中，視頻混合器27將從圖形幀輸出的像素值轉(zhuǎn)換成Y、Cb和Cr，并隨后將它們混合。
圖6是示出在沒有及時進行圖形幀的計算的情況下幀混合的示意圖。圖6示出了圖形幀GD的生成被延遲的情況。換句話說，根據(jù)本發(fā)明，圖形幀基于軟件進行再現(xiàn)。在再現(xiàn)的幀中，存在一個必須基于復(fù)雜的混合(合成)和操作結(jié)果而再現(xiàn)的幀。這樣的幀需要大量時間來完全生成。此外，由于下面所述的原因沒有及時生成圖形幀。該原因具體來說是，包括CPU的系統(tǒng)性能不足，或指定圖形幀的計算非常復(fù)雜。
由于上述的原因，圖形幀GD和其原本對應(yīng)的視頻幀V6的時間變得不一致。
在這種情況下，根據(jù)本發(fā)明優(yōu)先生成視頻幀。圖6示出沒有及時進行圖形幀中的幀“GD”的計算的情況。在這種情況下，視頻幀“V6”本應(yīng)與圖形幀“GD”混合，從而生成輸出幀。然而，視頻幀“V6”混合的是已經(jīng)生成的圖形幀“GC”，從而生成輸出幀。
因此，本發(fā)明的裝置具有使第一或第二視頻發(fā)生器中的任意一個優(yōu)先執(zhí)行視頻幀生成的機構(gòu)。如果在優(yōu)先生成的視頻的再現(xiàn)(reproduction，也稱再生)時間內(nèi)另一個視頻發(fā)生器沒有進行視頻生成，則該裝置具有忽略沒有及時生成的視頻幀的生成的功能。這樣，可以防止另一視頻數(shù)據(jù)的再現(xiàn)時間的延遲隨著優(yōu)先生成的視頻的再現(xiàn)時間的推進而加大。優(yōu)先進行的視頻生成可使用硬件執(zhí)行。在這種情況下，該硬件包括用于預(yù)定信號處理的半導(dǎo)體芯片和電子組件，它們結(jié)合在諸如MPEG處理和PCM處理的功能單元中。
圖7是示出用于實現(xiàn)本發(fā)明的軟件的結(jié)構(gòu)的功能框圖。視頻再現(xiàn)控制部分111是用于控制本發(fā)明的軟件的操作的模塊。控制部分111控制從文件系統(tǒng)112讀取的數(shù)據(jù)、從遙控接收器113接收的用戶操作、以及DVD再現(xiàn)控制器114和導(dǎo)航控制器115的操作。DVD再現(xiàn)控制器114控制視頻的再現(xiàn)，導(dǎo)航控制器115控制圖形幀的生成。
導(dǎo)航控制器115使用從文件系統(tǒng)112讀取的數(shù)據(jù)生成針對圖形幀的導(dǎo)航圖像。此外，導(dǎo)航控制器115通過顯示驅(qū)動器121，基于DVD再現(xiàn)控制器114的時間信息來控制圖像輸出定時(timing)。此外，DVD再現(xiàn)控制器114還對音頻解碼器122進行控制，以輸出與用戶事件一致的聲音效果。
顯示驅(qū)動器121捕獲由導(dǎo)航控制器115生成的圖形幀數(shù)據(jù)，并且控制圖形控制器123以輸出圖形幀數(shù)據(jù)。音頻解碼器122和124對由導(dǎo)航控制器115和DVD再現(xiàn)控制器114提供的音頻數(shù)據(jù)進行解碼。然后，音頻解碼器122和124將音頻數(shù)據(jù)轉(zhuǎn)換成PCM數(shù)據(jù)，并隨后將其輸出到音頻混合器125。
音頻混合器125混合(混合)從音頻解碼器輸入的PCM數(shù)據(jù)，以將PCM數(shù)據(jù)轉(zhuǎn)換成一個PCM輸出數(shù)據(jù)，并隨后將其輸出到PCM解碼驅(qū)動器126。PCM解碼驅(qū)動器126將從音頻混合器125輸入的PCM數(shù)據(jù)輸送到PCM解碼器127以控制聲音的再現(xiàn)。
DVD再現(xiàn)控制器114捕獲通過文件系統(tǒng)112讀取的DVD數(shù)據(jù)，以將DVD數(shù)據(jù)分成視頻數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)據(jù)，并隨后控制它們的再現(xiàn)。MPEG解碼驅(qū)動器130將從DVD再現(xiàn)控制器114輸入的MPEG數(shù)據(jù)提供給MPEG解碼器131。驅(qū)動器130執(zhí)行控制以在正確定時輸出MPEG數(shù)據(jù)。遙控接收器113解讀由IR驅(qū)動器141給出的遙控切換事件。然后，接收器113將事件信息作為訊息傳給視頻再現(xiàn)控制器111。IR驅(qū)動器141控制IR控制器142的中斷，而且檢測哪個遙控器的開關(guān)被按下。然后，IR接收器141將該信息發(fā)送給遙控驅(qū)動器。文件系統(tǒng)112控制HDD 30和光驅(qū)31的文件系統(tǒng)。
文件系統(tǒng)112控制ATAPI驅(qū)動器151。ATAPI驅(qū)動器151控制IDE控制器152，以從上述HDD 30和光驅(qū)31中讀取數(shù)據(jù)。
圖8是示出可執(zhí)行程序的任務(wù)優(yōu)先級的示意圖。根據(jù)本發(fā)明，為了在多任務(wù)OS上優(yōu)先執(zhí)行視頻再現(xiàn)，預(yù)先確定了如圖8所示的任務(wù)優(yōu)先級。具體來說，根據(jù)內(nèi)核服務(wù)(kernel service)211，執(zhí)行OS的基本處理，并且控制任務(wù)開關(guān)和對文件系統(tǒng)的訪問。根據(jù)視頻處理212，分析并提取視頻數(shù)據(jù)，而且控制視頻和音頻控制器。根據(jù)音頻處理213，控制音頻數(shù)據(jù)的混合和輸出。根據(jù)圖形處理214，生成導(dǎo)航圖像數(shù)據(jù)。
圖8示出的任務(wù)優(yōu)先級被預(yù)先確定，然后設(shè)定任務(wù)開關(guān)，以使如果有具有更高優(yōu)先級的處理，則優(yōu)先執(zhí)行該處理。在這種情況下，任務(wù)開關(guān)優(yōu)先分配一個任務(wù)給內(nèi)核服務(wù)和視頻處理，直到它們成為空閑狀態(tài)。然后，只有當(dāng)內(nèi)核服務(wù)和視頻處理變成等待任一事件的狀態(tài)時，任務(wù)開關(guān)將任務(wù)分配到音頻和圖形處理。
圖9是示出圖形再現(xiàn)的流程的流程圖。步驟S01是流程圖的起始點，表示圖形再現(xiàn)開始。在步驟S02中，存儲再現(xiàn)圖形的幀數(shù)的變量“n”被初始化為“0”。在步驟S03中，自動增加圖形再現(xiàn)定時計數(shù)器的值被初始化/校正為覆蓋目標(biāo)視頻的當(dāng)前再現(xiàn)時間。
在步驟S04中，獲得再現(xiàn)圖形中的第N幀的時間信息“PTn”。在步驟S05中，獲得當(dāng)前定時計數(shù)器的值“Ct”。在步驟S06中，進行下列確定；即，將第N圖形幀的再現(xiàn)時間“PTn”與獲得的定時計數(shù)器的值“Ct”相比較。
在步驟S07中，如果第N圖形幀的再現(xiàn)時間“PTn”小于獲得的定時計數(shù)器的值“Ct”；換句話說，如果視頻再現(xiàn)時間已經(jīng)超過再現(xiàn)時間，則執(zhí)行以下描述的程序。在步驟S13中，解碼并顯示第N幀數(shù)據(jù)，并隨后將基準(zhǔn)幀數(shù)“n”的值加1。
在步驟S08中，如果第N圖形幀的再現(xiàn)時間“PTn”大于獲得的定時計數(shù)器的值“Ct”；換句話說，如果當(dāng)前視頻再現(xiàn)時間已經(jīng)超過第N幀的再現(xiàn)時間，執(zhí)行以下描述的程序。獲得生成第N圖形幀所需的數(shù)據(jù)。
在步驟S09中，將在步驟S08中獲得的圖形幀數(shù)據(jù)解碼成用于屏幕顯示的圖像幀。在步驟S10中，獲得當(dāng)前定時計數(shù)器的值“Ct”。在步驟S11中，進行以下確定；即，將第N圖形幀的再現(xiàn)時間“PTn”與獲得的定時計數(shù)器的值“Ct”進行比較。
在步驟S12中，如果定時計數(shù)器的值“Ct”大于第N圖形幀的再現(xiàn)時間“PTn”；換句話說，如果當(dāng)前時間沒有達到第N圖形幀的再現(xiàn)時間，則給出一小段等待時間。
在步驟S13中，如果第N圖形幀的再現(xiàn)時間“PTn”等于或小于定時計數(shù)器的值“Ct”；換句話說，如果當(dāng)前時間達到或超過第N圖形幀的再現(xiàn)時間，那么將第N幀顯示在屏幕上。在步驟S14中，確定所有幀處理是否完成。在步驟S15中，如果所有幀處理完成，那么結(jié)束圖形再現(xiàn)程序。
圖10是示出根據(jù)本發(fā)明的時基校正系統(tǒng)模型的示意圖。多路分離器(信號分離器)301從多路復(fù)用多個數(shù)據(jù)流的一個數(shù)據(jù)流中提取各個數(shù)據(jù)流，并隨后將其提供給各個緩沖器。
視頻緩沖器302臨時存儲分離得到的數(shù)據(jù)流中的主視頻數(shù)據(jù)。音頻緩沖器303臨時存儲與所分離的數(shù)據(jù)流中的主視頻數(shù)據(jù)同步再現(xiàn)的聲音數(shù)據(jù)。其他數(shù)據(jù)流1～n緩沖器304、305、以及306臨時存儲其他數(shù)據(jù)流。其他與主視頻對話同步顯示的聲音數(shù)據(jù)和文本數(shù)據(jù)被給出作為其他數(shù)據(jù)流。
視頻解碼器312從視頻緩沖器302讀取主視頻數(shù)據(jù)流，并且將其解碼以生成圖像幀。當(dāng)時鐘1 321的時間到達每個圖像幀定義的輸出時間時，輸出解碼后的視頻數(shù)據(jù)。音頻解碼器313從音頻緩沖器303讀取聲音數(shù)據(jù)流，并且將其解碼以生成PCM數(shù)據(jù)。當(dāng)時鐘1321的時間到達每個聲音幀定義的輸出時間時，在PCM數(shù)據(jù)轉(zhuǎn)換成模擬聲音輸出之后，將PCM數(shù)據(jù)輸出。
其他數(shù)據(jù)流解碼器314～316從與它們對應(yīng)的緩沖器304～306讀取數(shù)據(jù)流，并根據(jù)通過任意方法限定的輸出格式將其解碼。當(dāng)時鐘(CLOCK)1 321的時間到達通過任意方法限定的輸出格式時，這些數(shù)據(jù)流解碼器輸出經(jīng)過解碼后的數(shù)據(jù)。
圖形緩沖器341臨時存儲諸如第二視頻圖像和計算機圖形的數(shù)據(jù)流。當(dāng)時鐘2 322的時間到達存儲了諸如數(shù)據(jù)流中的第二視頻圖像和計算機圖形的數(shù)據(jù)流的輸出定時時，圖形解碼器342輸出視頻幀并將其重寫到新的屏幕上。
時鐘1 321是用于輸出附加到主視頻圖像的聲音和其他數(shù)據(jù)的基準(zhǔn)定時器。另一方面，時鐘2 322是不同于時鐘1 321的基準(zhǔn)定時器，該時鐘2用于輸出諸如第二視頻圖像和計算機圖形的數(shù)據(jù)流。
時鐘同步器323具有使時鐘1 321和時鐘2 322之間的時間提前同步的功能。阿爾法混合343基于包含在圖形解碼器輸出中的α值，混合視頻解碼器312和圖形解碼器342的輸出，并隨后將其輸出。其他數(shù)據(jù)流包括DVD所確定的第二視頻流。
存儲在本發(fā)明的圖形緩沖器341中的第二視頻數(shù)據(jù)(圖形數(shù)據(jù))主要是通過計算機使用軟件進行再現(xiàn)的數(shù)據(jù)。
圖11是示出應(yīng)用本發(fā)明的信息記錄/再現(xiàn)裝置的示意圖。圖11示出的信息記錄/再現(xiàn)裝置400記錄并再現(xiàn)關(guān)于光盤401的信息。裝置400具有內(nèi)置硬盤驅(qū)動器；因此，它可以記錄并再現(xiàn)關(guān)于硬盤402的信息。
圖形信息通過接收器或網(wǎng)絡(luò)接口500捕獲，并被臨時記錄到光盤401或硬盤402上。在這種情況下，將該圖形信息進行代碼化或編碼。這時，在光盤401的信息再現(xiàn)過程中，對用于再現(xiàn)圖形信息以及將其合成至主視頻圖像的標(biāo)記進行檢測。在這種情況下，從光盤401的管理信息(再現(xiàn)控制信息)檢測該標(biāo)記。從光盤401或硬盤402讀取圖形信息，然后，CPU基于指定軟件運行以執(zhí)行解碼(對應(yīng)于圖10的342)。在這種情況下，使用CPU的系統(tǒng)時鐘再現(xiàn)圖形數(shù)據(jù)；因此，成為與主視頻幀異步的狀態(tài)。
在這種情況下，運行本發(fā)明的系統(tǒng)以執(zhí)行阿爾法混合。例如，根據(jù)上述系統(tǒng)(裝置)，可以在市場上得到針對外語光盤(DVD)的日本語字幕第二視頻。將該日本語字幕第二視頻信息臨時記錄并存儲在硬盤中。然后，再現(xiàn)指定的DVD。如果在DVD再現(xiàn)控制信息中描述了指示對硬盤中記錄的第二視頻信息再現(xiàn)的命令，則再現(xiàn)日本語字幕的第二視頻信息。然后，執(zhí)行針對主視頻圖像的阿爾法混.合。
即使第一和第二視頻數(shù)據(jù)的幀頻不同，也能夠以不同方式擴展目標(biāo)(即，視頻數(shù)據(jù))的混合，以使上述方法能夠在兩數(shù)據(jù)間進行匹配時基的校正。多種第二視頻圖像可以在與主視頻圖像混合的狀態(tài)下作為時區(qū)事件進行顯示。因此，能夠在主視頻圖像顯示區(qū)域中獲得各種各樣、豐富多彩的展現(xiàn)。上述多種第二視頻圖像可以預(yù)先下載，此外，也可以使用從廣播數(shù)據(jù)中捕獲的視頻圖像。
本發(fā)明不局限于上述實施例。在不脫離本發(fā)明的實質(zhì)范圍的情況下，可以更改和減少組件以在一定范圍中實施本發(fā)明。通過實施例中披露的多個部件的適當(dāng)組合能夠提供多種發(fā)明。例如，可從本發(fā)明披露的所有組件中去除一些組件。關(guān)于不同實施例的組件可以進行適當(dāng)?shù)慕M合。
以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種視頻數(shù)據(jù)處理裝置，其特征在于，包括第一視頻發(fā)生器(27、28、29、31)，用于生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器(21、22、23、24、26)，用于生成具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及同步控制器(24a)，使用由所述第一視頻發(fā)生器管理的視頻生成時間作為基準(zhǔn)時間，并通過重復(fù)使用所述第二視頻數(shù)據(jù)來校正偏離所述基準(zhǔn)時間的所述第二視頻發(fā)生器的視頻生成時間，以獲得幀同步。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括阿爾法混合部分(27a)，使用由所述第二視頻發(fā)生器生成的所述第二視頻數(shù)據(jù)，包括所述第一視頻數(shù)據(jù)和用于阿爾法混合的阿爾法值，并且在所述阿爾法值上混合所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括像素處理部分(27b)，用于在像素級混合所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器輸出使用硬件處理生成的所述第一視頻數(shù)據(jù)，以及所述第二視頻發(fā)生器輸出使用軟件處理生成的所述第二視頻數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述第二視頻發(fā)生器使用所述軟件處理將編碼的文件內(nèi)容解碼，以生成所述第二視頻數(shù)據(jù)，并將所述第二視頻數(shù)據(jù)輸出。
6.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括優(yōu)先級設(shè)定部分(24c)，由所述第一視頻發(fā)生器優(yōu)先執(zhí)行視頻生成；以及幀生成忽略部分(24b)，當(dāng)所述第二視頻發(fā)生器的視頻生成時間延遲于所述第二視頻發(fā)生器的視頻生成時間時，忽略視頻幀的生成；幀頻控制部分(24d)，用于執(zhí)行控制以使另一視頻數(shù)據(jù)的視頻生成時間不延遲于根據(jù)生成時間的提前優(yōu)先執(zhí)行的視頻成生的視頻生成時間。
7.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器是用于處理來自光盤的視頻數(shù)據(jù)的裝置。
8.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器是用于處理來自接收器的視頻數(shù)據(jù)的裝置。
9.一種視頻數(shù)據(jù)處理方法，將使用硬件處理生成的且具有任意幀頻的第一視頻數(shù)據(jù)和使用軟件處理生成的且具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)混合，其特征在于，所述方法包括將所述第一視頻數(shù)據(jù)的幀頻與所述第二視頻數(shù)據(jù)的幀頻進行比較；以及將所述第二視頻數(shù)據(jù)的相同幀多次混合到所述第一視頻數(shù)據(jù)的連續(xù)每幀，從而抵消所述幀頻之間的差異。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，當(dāng)所述第二視頻數(shù)據(jù)的幀生成被延遲時，增加將所述第二視頻數(shù)據(jù)的相同幀混合到所述第一視頻數(shù)據(jù)的連續(xù)每幀的次數(shù)，以抵消所述幀頻之間的差異。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，在像素級執(zhí)行所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的混合。
12.一種視頻數(shù)據(jù)處理裝置，其特征在于，包括第一視頻發(fā)生器裝置，用于使用硬件處理生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器裝置，用于生成具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；用于使用由所述第一視頻發(fā)生器裝置管理的視頻生成時間作為基準(zhǔn)時間，并通過重復(fù)使用所述第二視頻數(shù)據(jù)來校正偏離所述基準(zhǔn)時間的所述第二視頻發(fā)生器裝置的視頻生成時間、以獲得幀同步的裝置；以及用于當(dāng)所述第二視頻發(fā)生器裝置的視頻生成延遲于所述第一視頻發(fā)生器裝置的視頻生成時，忽略視頻幀的生成的裝置。
全文摘要
當(dāng)將一個視頻圖像(例如，第二視頻圖像)混合或合成到視頻圖像(例如，主視頻圖像)上時，在兩視頻數(shù)據(jù)間進行時基校正。一種視頻數(shù)據(jù)處理裝置，包括第一視頻發(fā)生器(27、28、29、31)，生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器(21、22、23、24、26)，生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及同步控制器(24a)，使用由第一視頻發(fā)生器管理的視頻生成時間作為基準(zhǔn)時間，并通過重復(fù)使用第二視頻數(shù)據(jù)來校正偏離基準(zhǔn)時間的第二視頻發(fā)生器的視頻生成時間，以獲得幀同步。
文檔編號G06F3/14GK1703075SQ200510069048
公開日2005年11月30日 申請日期2005年4月29日 優(yōu)先權(quán)日2004年5月26日
發(fā)明者小林丈朗 申請人:株式會社東芝