專利名稱：音頻信號和視頻信號的同步誤差校正方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻同步誤差校正裝置，更具體地說，涉及用于校正音頻信號和視頻信號之間的同步誤差的方法和裝置。
背景技術(shù)：
在通過諸如視窗媒體編碼器(Window Media Encoder)之類的編碼軟件對連續(xù)的影像(直播影像)進(jìn)行實(shí)時編碼和播送時，存在如下多種情況。第一,存在從捕獲設(shè)備(capture device)直接進(jìn)行編碼的方式,第二,存在從捕獲設(shè)備間接進(jìn)行編碼的方式。在第一種方式下，因?yàn)閬碜栽O(shè)備的校正過音頻/視頻(A/V)的誤差的數(shù)值已包 含在流數(shù)據(jù)中，所以沒有問題，但在第二種方式下，在根據(jù)每秒顯示幀數(shù)(FPS =Frame PerSecond)對音頻/視頻(A/V)的顯示時間標(biāo)志(PTS presentation Time Stamp)進(jìn)行數(shù)值計(jì)算中，存在處理過程中的誤差。例如，30FPS為每秒在畫面上輸出30個幀，但以數(shù)值進(jìn)行表示時，就成為(100000000. O納秒/30. 0)=3333333. 333333…，將其稱為幀平均時間(AvgTimePerFrame)。巾貞平均時間在確定顯不時間標(biāo)志時起重要作用，是確定應(yīng)在畫面上顯不多少影像的數(shù)值。在以計(jì)算出的幀平均時間計(jì)算每秒30幀時，經(jīng)過(3333333*30) =99999990處理，
存在10納秒的誤差。此外，當(dāng)為影像專用的捕獲設(shè)備時，根據(jù)30FPS捕獲30幀的畫面，但當(dāng)為諸如網(wǎng)絡(luò)攝像頭之類的個人捕獲設(shè)備時，即使設(shè)定為每秒捕獲30幀，也存在如下缺點(diǎn)并不是每秒捕獲30幀、而捕獲不到30幀會使上述誤差進(jìn)一步變大。亦即，存在設(shè)定的每秒顯示幀數(shù)和捕獲的幀的數(shù)量不一致的情況。在這樣的過程中，這樣的數(shù)值誤差在長時間編碼而流化(streaming)的過程中，以影像和聲音的誤差表現(xiàn)出來，可能會在服務(wù)中產(chǎn)生困難。當(dāng)在生成視頻的捕獲設(shè)備和將其編碼進(jìn)行傳輸?shù)木幋a裝置間以不同的每秒顯示幀數(shù)處理視頻內(nèi)容(包括視頻信號和音頻信號，下同)時，這樣的誤差問題就逐漸成為一個特別嚴(yán)重的問題。不僅如此，在將其他視頻內(nèi)容插入到一個視頻內(nèi)容時，各個視頻的視頻信號和音頻信號之間的同步誤差相互不同，當(dāng)在一個視頻中插入其他視頻時，會產(chǎn)生有畫面而無聲音或有聲音而無畫面的情況。在這樣的情況下，在地波播放過程中插入廣告視頻時就會有問題，但在體育轉(zhuǎn)播(sports relay)過程中插入廣告視頻時,在僅顯示影像而聽不到聲音的情況和聽得到聲音但不顯示影像而以黑屏等顯示的情況下，就會讓觀眾產(chǎn)生抗拒感
發(fā)明內(nèi)容
本發(fā)明要解決的問題是提供同步誤差校正方法和裝置，當(dāng)在中途插入視頻內(nèi)容或結(jié)合多個視頻內(nèi)容時，同步誤差校正方法和裝置校正互不相同的視頻間的音頻信號和視頻信號之間的同步誤差，就能再生出自然的視頻。此外，本發(fā)明要解決的其它課題是提供能夠一邊校正視頻信號和音頻信號之間的同步誤差一邊重新設(shè)定視頻的每秒顯示幀數(shù)的同步誤差校正方法和裝置。基于用于解決上述問題的本發(fā)明的一個實(shí)施例的同步誤差校正裝置包括源選擇單元，其從多個視頻源接收視頻內(nèi)容的輸入并進(jìn)行輸出，該視頻內(nèi)容包含視頻信號和音頻信號；誤差校正單元，其對多個視頻內(nèi)容的每個提取出事先設(shè)定于視頻信號和音頻信號之間的初始同步誤差；以及顯示時間標(biāo)志調(diào)節(jié)單元，其重新設(shè)定所述多個視頻內(nèi)容的視頻信號及音頻信號的顯示時間標(biāo)志，以使所述多個視頻內(nèi)容的視頻信號及音頻信號的顯示時間標(biāo)志與多個視頻結(jié)合后生成的結(jié)合視頻內(nèi)容的顯示時間標(biāo)志對應(yīng)，并對所述多個視頻內(nèi)容進(jìn)行結(jié)合，重新設(shè)定顯示時間標(biāo)志以保持結(jié)合后的各視頻內(nèi)容區(qū)域的所述視頻信號和音頻 信號之間的所述初始同步誤差。此外，在第一視頻內(nèi)容中插入第二視頻內(nèi)容時，所述顯示時間標(biāo)志調(diào)節(jié)單元調(diào)節(jié)顯示時間標(biāo)志以使所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容中且所述第一視頻內(nèi)容的其余部分結(jié)合到所述第二視頻內(nèi)容的末端，在結(jié)合所述第一視頻內(nèi)容的其余部分時，設(shè)定視頻信號和音頻信號的顯示時間標(biāo)志，以保持所述第一視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差。此外，基于上述的本發(fā)明的一個實(shí)施例的同步誤差校正裝置還包括每秒顯示幀數(shù)調(diào)節(jié)單元，其根據(jù)從編碼器輸入的設(shè)定信息中包含的每秒顯示幀數(shù)設(shè)定信息來調(diào)節(jié)結(jié)合過的視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。此外，所述每秒顯示幀數(shù)調(diào)節(jié)單元對按照所述每秒顯示幀數(shù)設(shè)定信息調(diào)節(jié)過每秒顯示幀數(shù)的各影像幀的時間上的位置進(jìn)行設(shè)定，在構(gòu)成調(diào)節(jié)每秒顯示幀數(shù)前的所述結(jié)合視頻內(nèi)容的視頻信號的各影像幀中，利用根據(jù)所述每秒顯示幀數(shù)設(shè)定信息設(shè)定的各影像幀的時間上的位置的正前面的影像幀來調(diào)節(jié)結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。此外，基于上述的本發(fā)明的一個實(shí)施例的同步誤差校正裝置還包括比例調(diào)節(jié)單元，其根據(jù)從編碼器輸入的設(shè)定信息中包含的畫面比例設(shè)定信息來對調(diào)節(jié)過所述每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的視頻信號的畫面比例進(jìn)行調(diào)節(jié)。此外，基于上述的本發(fā)明的一個實(shí)施例的同步誤差校正裝置還包括重新采樣單元，其根據(jù)從編碼器輸入的設(shè)定信息中包含的重新采樣設(shè)定信息來對調(diào)節(jié)過的顯示時間標(biāo)志的音頻信號進(jìn)行重新采樣。另一方面，基于用于解決上述問題的一個實(shí)施例的同步誤差校正方法，所述同步誤差校正方法在同步誤差校正裝置中進(jìn)行，該同步誤差校正裝置用于校正從多個視頻源輸入的多個視頻內(nèi)容的視頻信號和音頻信號之間的同步誤差并結(jié)合多個視頻內(nèi)容而進(jìn)行輸出，其特征在于，包括以下步驟(a)從視頻源接收第一視頻內(nèi)容；(b)從視頻源接收結(jié)合到所述第一視頻內(nèi)容的第二視頻內(nèi)容，提取出所述第二視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差，生成初始同步誤差信息；以及(C)按照所述初始同步誤差信息，將所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容以保持所述第二視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差。
此外，在將所述第二視頻內(nèi)容插入到所述第一視頻內(nèi)容中途時，在所述步驟(a)中，所述同步誤差校正裝置提取出所述第一視頻內(nèi)容的初始同步誤差，在所述步驟(c )中，所述同步誤差校正裝置將所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容中部，以保持所述第二視頻內(nèi)容的初始同步誤差，在步驟(d)中，在所述第二視頻內(nèi)容的結(jié)合完成后，將所述第一視頻內(nèi)容結(jié)合到所述第二視頻內(nèi)容的末端，以保持所述第一視頻內(nèi)容的初始同步誤差。此外，所述同步誤差校正裝置通過重新設(shè)定所述第一視頻內(nèi)容和所述第二視頻內(nèi)容的顯示時間標(biāo)志，以使所述第一視頻內(nèi)容及所述第二視頻內(nèi)容的顯示時間標(biāo)志與結(jié)合所述第一視頻內(nèi)容和所述第二視頻內(nèi)容而生成的結(jié)合視頻的顯示時間標(biāo)志對應(yīng)。此外，所述同步誤差校正裝置根據(jù)從編碼器接收到的每秒顯示幀數(shù)設(shè)定信息和重新采樣設(shè)定信息來對結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)進(jìn)行轉(zhuǎn)換，對音頻信號進(jìn)行重新采樣并輸出。
此外，所述同步誤差校正裝置根據(jù)所述每秒顯示幀數(shù)設(shè)定信息來對調(diào)節(jié)過每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的各影像幀的時間上的位置進(jìn)行設(shè)定，在構(gòu)成調(diào)節(jié)每秒顯示幀數(shù)前的所述結(jié)合視頻內(nèi)容的視頻信號的各影像幀中，利用根據(jù)所述每秒顯示幀數(shù)設(shè)定信息設(shè)定過的各影像幀的時間上的位置的正前面的影像幀來調(diào)節(jié)結(jié)合視頻內(nèi)容的視頻信號的每秒顯示巾貞數(shù)。此外，所述同步誤差校正裝置根據(jù)畫面比例設(shè)定信息來調(diào)節(jié)影像幀的比例并進(jìn)行輸出，該畫面比例設(shè)定信息是從所述編碼器接收了轉(zhuǎn)換過每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的視頻信號的畫面比例設(shè)定信息。此外，基于上述本發(fā)明的一個實(shí)施例的同步誤差校正方法由記錄介質(zhì)提供，該記錄介質(zhì)能夠用計(jì)算機(jī)讀取，并以可執(zhí)行的程序代碼記錄有權(quán)利要求9的同步誤差校正方法。本發(fā)明在結(jié)合不同的視頻內(nèi)容時，針對結(jié)合的視頻存儲設(shè)定的初始同步誤差使得視頻信號和音頻信號相互地最適宜地進(jìn)行同步，在結(jié)合多個視頻內(nèi)容時以保持已存的初始同步誤差的方式進(jìn)行結(jié)合，由此，就解決了現(xiàn)有技術(shù)中統(tǒng)一結(jié)合視頻信號和音頻信號而同步誤差發(fā)生變化、視頻信號和音頻信號不同步而顯示不自然的視頻的問題。此外，本發(fā)明是根據(jù)從編碼器輸入的每秒顯示幀數(shù)設(shè)定信息來對調(diào)節(jié)過的每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的各影像幀的時間上的位置進(jìn)行設(shè)定，在構(gòu)成調(diào)節(jié)每秒顯示幀數(shù)前的上述結(jié)合視頻內(nèi)容的視頻信號的各影像幀中，利用根據(jù)上述每秒顯示幀數(shù)設(shè)定信息設(shè)定的各影像幀的時間上的位置的正前面的影像幀，能夠簡便地調(diào)節(jié)結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。


圖I所示為將基于本發(fā)明的優(yōu)選實(shí)施例的音頻信號及視頻信號的同步誤差校正裝置與視頻源及編碼器連接的整體結(jié)構(gòu)的圖。圖2所示為基于本發(fā)明的優(yōu)選實(shí)施例的同步誤差校正裝置的詳細(xì)結(jié)構(gòu)的圖。圖3所示為根據(jù)本發(fā)明的優(yōu)選實(shí)施例說明顯示時間標(biāo)志調(diào)節(jié)單元考慮視頻信號和音頻信號之間的同步誤差信息來調(diào)節(jié)顯示時間標(biāo)志的過程圖。圖4所示為表示調(diào)節(jié)視頻影像幀的每秒顯示幀數(shù)的一個示例圖。
圖5所示為說明基于本發(fā)明的優(yōu)選實(shí)施例的音頻信號和視頻信號的同步誤差校正方法的流程圖。
具體實(shí)施例方式以下將參考

本發(fā)明的優(yōu)選實(shí)施例。圖I所示為將基于本發(fā)明的優(yōu)選實(shí)施例的音頻信號和視頻信號的同步誤差校正裝置200與視頻源100-f 100-n及編碼器300連接起來的整體結(jié)構(gòu)的圖。參照圖I，本發(fā)明的音頻信號和視頻信號的同步誤差校正裝置200(以下簡稱為“同步誤差校正裝置”)接收來自多個視頻源100-f 100-n的視頻內(nèi)容(包括基于初始同步誤差而相互同步過的視頻信號和音頻信號，下同)的輸入。
在圖I中，視頻源100-f 100-n可以是如攝像頭那樣實(shí)際生成直接視頻內(nèi)容的設(shè)備，也可以是對事先在計(jì)算機(jī)中存儲的視頻文件進(jìn)行過解碼的程序，也可以是接收數(shù)字廣播進(jìn)行解碼而輸出的解碼器等。即，本發(fā)明的視頻源100-Γ 00-η能將視頻內(nèi)容輸出到同步誤差校正裝置200即可，對其硬件結(jié)構(gòu)或軟件結(jié)構(gòu)沒有限制。此外，同步誤差校正裝置200校正結(jié)合過的音頻信號和視頻信號之間的同步誤差，重新設(shè)定視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)以與編碼器300要求的每秒顯示幀數(shù)匹配，重新采樣音頻信號輸出到編碼器300以與視頻信號的每秒顯示幀數(shù)對應(yīng)。特別是，同步誤差校正裝置200將從多個視頻源100-f 100-η輸入的視頻內(nèi)容結(jié)合為一個，輸出到編碼器300。此時，從不同的視頻源100-fl00-n輸入的視頻內(nèi)容具有不同的視頻信號和音頻信號間的同步誤差，具有不同的每秒顯示幀數(shù)，因此，同步誤差校正裝置200 —面將從不同的視頻源100-f 100-n輸入的視頻內(nèi)容相互結(jié)合起來，一面校正音頻信號和視頻信號之間的同步誤差，之后轉(zhuǎn)換視頻信號的每秒顯示幀數(shù)，重新采樣音頻信號以與視頻信號的每秒顯示幀數(shù)對應(yīng)。下面，以在體育轉(zhuǎn)播(sports relay)那樣的實(shí)時視頻中插入中間廣告視頻為例，來說明在一個視頻中插入其它視頻的情況。另一方面，編碼器300向同步誤差校正裝置200發(fā)送設(shè)定信息，該設(shè)定信息包括自身希望的每秒顯示幀數(shù)設(shè)定信息、重新采樣設(shè)定信息和畫面比例設(shè)定信息等，所述編碼器300對從同步誤差校正裝置200接收到的視頻內(nèi)容編碼并傳送到外部網(wǎng)絡(luò)或是壓縮存儲。圖2所示為基于本發(fā)明的優(yōu)選實(shí)施例的同步誤差校正裝置200的詳細(xì)結(jié)構(gòu)的圖。參照圖2，基于本發(fā)明的優(yōu)選實(shí)施例的同步誤差校正裝置200包含視頻選擇單元210、顯示時間標(biāo)志調(diào)節(jié)單元220、誤差校正單元230、每秒顯示幀數(shù)調(diào)節(jié)單元240、比例調(diào)節(jié)單元250以及重新采樣單元260。首先，視頻選擇單元210從視頻源接收視頻的輸入，該視頻源為用戶或管理員從多個視頻源100-fl00-n中選擇出的視頻源，輸出到顯示時間標(biāo)志調(diào)節(jié)單元220和誤差校正單元230。例如，在視頻選擇單元210選擇體育轉(zhuǎn)播信號的視頻源1(100-1)而輸出視頻內(nèi)容的過程中，在棒球換局或職業(yè)籃球換節(jié)時，選擇事先準(zhǔn)備好的廣告視頻源(100-2^100-n中的任意一個)輸出廣告數(shù)據(jù)，當(dāng)廣告數(shù)據(jù)結(jié)束或體育轉(zhuǎn)播重新開始時，就再次選擇視頻源I (100-1)輸出體育轉(zhuǎn)播視頻。從源選擇單元210輸出的視頻內(nèi)容被輸入到顯示時間標(biāo)志調(diào)節(jié)單元220，誤差校正單元230提取出輸入到顯示時間標(biāo)志調(diào)節(jié)單元220的視頻內(nèi)容的視頻信號和音頻信號之間的同步誤差信息并輸出到顯示時間標(biāo)志調(diào)節(jié)單元220。此時，誤差校正單元230針對各個視頻內(nèi)容分別提取出視頻信號和音頻信號之間的初始同步誤差信息，并輸出到顯示時間標(biāo)志調(diào)節(jié)單元220。顯示時間標(biāo)志調(diào)節(jié)單元220用結(jié)合多個視頻而生成的視頻的顯示時間標(biāo)志來調(diào)節(jié)在各視頻中事先定義的顯示時間標(biāo)志。此時，顯示時間標(biāo)志調(diào)節(jié)單元220既整體考慮從誤差校正單元230輸入的初始同步誤差信息又個別地調(diào)節(jié)音頻信號的顯示時間標(biāo)志和視頻信號的顯示時間標(biāo)志來調(diào)節(jié)結(jié)合過的視頻的顯示時間標(biāo)志。圖3是根據(jù)本發(fā)明的優(yōu)選實(shí)施例、說明顯示時間標(biāo)志調(diào)節(jié)單元220考慮視頻信號和音頻信號之間的初始同步誤差信息來調(diào)節(jié)顯示時間標(biāo)志的過程的圖。在圖3所示的例中說明了以視頻信號作為基準(zhǔn)來結(jié)合視頻內(nèi)容，但應(yīng)注意，同樣的方式也適用于以音頻信號作為基準(zhǔn)的情況。亦即，在圖3中，圖中標(biāo)號301和401是視頻信號、圖中標(biāo)號302和圖中標(biāo)號402是音頻信號,但應(yīng)注意，即使圖中標(biāo)號301和401是音頻信號、圖中標(biāo)號302和圖中標(biāo)號402是視頻信號的情況，也能夠以相同的方式結(jié)合視頻內(nèi)容。 參考圖3，說明誤差校正單元230和顯示時間標(biāo)志調(diào)整單元220的動作。顯示時間標(biāo)志(PTS Presentation Time Stamp)表示在各個視頻內(nèi)容中構(gòu)成視頻信號的各個影像幀在畫面上顯示多長時間，或表示音頻信號的一個單位數(shù)據(jù)應(yīng)在多長的時間進(jìn)行輸出，該顯示時間標(biāo)志以累計(jì)值表示以對應(yīng)于時間的流動。視頻信號的各個影像幀具有開始顯示時間標(biāo)志和結(jié)束顯示時間標(biāo)志值，該視頻影像幀從與開始顯示時間標(biāo)志對應(yīng)的時間到與結(jié)束顯示時間標(biāo)志對應(yīng)的時間顯示給用戶。當(dāng)舉例來概念性地進(jìn)行說明時，假定構(gòu)成從視頻源I (100-1)輸入到同步誤差校正裝置200的體育轉(zhuǎn)播視頻(內(nèi)容(A))的視頻信號的第一個幀的開始顯示時間標(biāo)志是從O開始、以I為單位增加、最后的影像幀的結(jié)束顯示時間標(biāo)志是1000，構(gòu)成從其它視頻源(100-2^100-n中的任一個)輸入到同步誤差校正裝置200的廣告視頻(內(nèi)容(B))的視頻信號的第一個幀的開始顯示時間標(biāo)志是從O開始、增加單位為I、最后的影像幀的結(jié)束顯示時間標(biāo)志是100。而且，假定為如果在從視頻源I (100-1)輸入的體育轉(zhuǎn)播視頻在作為顯示時間標(biāo)志基準(zhǔn)的500的時間點(diǎn)(時間點(diǎn)S)上半場結(jié)束、廣告視頻輸入到同步誤差校正裝置200，同步誤差校正裝置200就在S定時結(jié)合廣告視頻和體育轉(zhuǎn)播視頻而輸出到編碼器300，當(dāng)廣告視頻結(jié)束時(定時E)，同步誤差校正裝置200就再次接收體育轉(zhuǎn)播視頻的輸入、結(jié)合到廣告視頻后方并輸出到編碼器300。在這種情況下，體育轉(zhuǎn)播視頻和廣告視頻分別具有按照自身的時間標(biāo)準(zhǔn)設(shè)定的顯示時間標(biāo)志，與此相對，結(jié)合過從同步誤差校正裝置200輸出的體育轉(zhuǎn)播視頻和廣告視頻的視頻必須以一個時間為基準(zhǔn)設(shè)定顯示時間標(biāo)志。亦即，結(jié)合了體育轉(zhuǎn)播視頻和廣告視頻而輸出到編碼器300的視頻(以下稱作“結(jié)合視頻”)應(yīng)是從基準(zhǔn)時間零開始計(jì)時。然而，在體育轉(zhuǎn)播視頻的上半場結(jié)束后，結(jié)合視頻的顯示時間標(biāo)志是從500開始計(jì)數(shù),而新插入的廣告視頻的顯示時間標(biāo)志是從自己初始具有的顯示時間標(biāo)志值即O開始，所以必須改變初始值，將O改變?yōu)?00。此外，結(jié)合廣告視頻后，結(jié)合視頻的顯示時間標(biāo)志被設(shè)定為600，但從中斷到重新開始的體育轉(zhuǎn)播視頻(內(nèi)容(A))能夠從500開始(在體育轉(zhuǎn)播視頻是事先錄制、在廣告視頻的結(jié)合定時中斷、其之前不前進(jìn)的情況下)。在這種情況下，必須將設(shè)定為500的體育轉(zhuǎn)播視頻的顯示時間標(biāo)志重新設(shè)定為600。此外，在結(jié)合廣告視頻期間繼續(xù)實(shí)時傳送體育轉(zhuǎn)播視頻，但在僅在未輸入到同步誤差校正裝置200的情況下，在體育轉(zhuǎn)播視頻的定時E的顯示時間標(biāo)志在500以上，體育轉(zhuǎn)播視頻的顯示時間標(biāo)志和結(jié)合視頻的顯示時間標(biāo)志的時間設(shè)定不匹配，所以，需要轉(zhuǎn)換操作，以使體育轉(zhuǎn)播視頻的各個影像幀的顯示時間標(biāo)志與結(jié)合視頻的顯示時間標(biāo)志對應(yīng)起來。因此，顯示時間標(biāo)志調(diào)節(jié)單元220重新定義各個視頻的顯示時間標(biāo)志和結(jié)合視頻的顯示時間標(biāo)志。然而，顯示時間標(biāo)志調(diào)節(jié)單元220必須重新設(shè)定顯示時間標(biāo)志以保持各個視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差。當(dāng)再次參考圖3時，最初在內(nèi)容(A)的體育轉(zhuǎn)播視頻的視頻信號和音頻信號之間存在有A的誤差。這意味著，如果先顯示視頻信號，在作為顯示時間標(biāo)志基準(zhǔn)的A的時間經(jīng)過之后，輸出音頻信號，就輸出音頻信號和視頻信號一致的自然的視頻，如果該誤差在過程中被改變，在畫面中顯示的樣子和實(shí)際的聲音不同步，給視聽者帶來不便。首先說明結(jié)合視頻信號的過程，在后面介紹考慮同步誤差來結(jié) 合音頻信號的過程。在圖3所示的實(shí)施例中，顯示時間標(biāo)志調(diào)節(jié)單元220將在結(jié)合廣告視頻的定時即定時S、以內(nèi)容(A)的視頻信號結(jié)束的瞬間(即顯示時間標(biāo)志值與500相對應(yīng)的定時)為基準(zhǔn)，將廣告視頻的內(nèi)容(B)的初始顯示時間標(biāo)志由O重新設(shè)定為500，使內(nèi)容(A)和內(nèi)容(B)結(jié)合起來。因此，內(nèi)容(B)的最后的幀的結(jié)束顯示時間標(biāo)志被重新設(shè)定為600。此外，在廣告視頻結(jié)束、體育轉(zhuǎn)播視頻再次開始的定時即E時刻，再次輸入到同步誤差校正裝置200的內(nèi)容(A)的視頻信號的第一個影像幀的開始顯示時間標(biāo)志被重新設(shè)定為600，內(nèi)容(B)的最后的幀的結(jié)束顯示時間標(biāo)志被重新設(shè)定為1100。通過上述方式，視頻信號是簡單地重新設(shè)定顯示時間標(biāo)志而進(jìn)行結(jié)合，相對于此，針對音頻信號的顯示時間標(biāo)志是考慮了與各個視頻內(nèi)容的視頻信號的誤差而進(jìn)行重新設(shè)定的。參照圖3，內(nèi)容(A)最初在視頻信號和音頻信號之間存在A的誤差，內(nèi)容(B)最初在視頻信號和音頻信號之間存在B的誤差。這意味著，對于內(nèi)容(A)而言，輸出視頻信號，在作為顯示時間標(biāo)志時間基準(zhǔn)經(jīng)過了 A的定時輸出音頻信號，就輸出視頻信號和音頻信號一致的自然的視頻。同樣，對于內(nèi)容(B)而言，輸出視頻信號，在經(jīng)過了以顯示時間標(biāo)志為基準(zhǔn)的B的定時輸出音頻信號，就再生自然的視頻。然而，顯示時間標(biāo)志調(diào)節(jié)單元220即使是對音頻信號與視頻信號相同地在S定時，在內(nèi)容(A)的音頻信號結(jié)束的定時結(jié)合內(nèi)容(B)的音頻信號，結(jié)果，對內(nèi)容(B)，不能保持原來必須保持的同步誤差，導(dǎo)致提前了 C的時間，產(chǎn)生如下問題比必須與音頻信號一起輸出的視頻信號更早輸出。為了解決這個問題，誤差校正單元230存儲各個視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差信息(A和B)，將初始同步誤差信息輸出到顯示時間標(biāo)志調(diào)節(jié)單元220。接收了誤差信息的輸入的顯示時間標(biāo)志調(diào)節(jié)單元220在對與視頻信號的顯示時間標(biāo)志的重新設(shè)定不同的、音頻信號的顯示時間標(biāo)志進(jìn)行重新設(shè)定時，重新設(shè)定顯示時間標(biāo)志以保持與原視頻信號的初始同步誤差。在圖3的實(shí)施例中，顯示時間標(biāo)志調(diào)節(jié)單元220重新設(shè)定內(nèi)容(B)的音頻信號的顯示時間標(biāo)志，從內(nèi)容(B)的音頻信號的重新設(shè)定過的顯示時間標(biāo)志即600重新設(shè)定為加上初始同步誤差B的600+B。另一方面，即使在廣告視頻的內(nèi)容(B)結(jié)束的定時，顯示時間標(biāo)志調(diào)節(jié)單元220也不重新設(shè)定內(nèi)容(B)的音頻信號的顯示時間標(biāo)志而是考慮視頻信號和音頻信號之間的初始同步誤差來重新設(shè)定顯示時間標(biāo)志，使內(nèi)容(B)的音頻信號和重回的內(nèi)容(A)的音頻信號直接結(jié)合。如圖3所示，在內(nèi)容(A)的重回定時的定時E，在內(nèi)容(A)的視頻信號和音頻信號之間產(chǎn)生A”的同步誤差。然而，該同步誤差是反映了在生成視頻、壓縮視頻、再進(jìn)行解碼的復(fù)雜的過程中所積累的誤差，因此，顯示時間標(biāo)志調(diào)節(jié)單元220在定時E重新設(shè)定音頻信號的顯示時間標(biāo)志，使得不反映當(dāng)前的內(nèi)容(B)的視頻信號和音頻信號之間的同步誤差A(yù)”、而反映內(nèi)容(A)的初始同步誤差A(yù)。因此，在圖3所示的例中，重回的內(nèi)容(A)的音頻信號的第一幀的顯示時間標(biāo)志被重新設(shè)定為“600+A”。 另一方面，顯示時間標(biāo)志調(diào)節(jié)單元220在視頻信號和音頻信號的顯示時間標(biāo)志重新設(shè)定結(jié)束時，就實(shí)時將顯示時間標(biāo)志重新設(shè)定結(jié)束的視頻信號輸出到每秒顯示幀數(shù)調(diào)節(jié)單元240，將音頻信號輸出到重新采樣單元260。每秒顯示幀數(shù)調(diào)節(jié)單元240執(zhí)行如下功能將現(xiàn)有的設(shè)定為不同的每秒顯示幀數(shù)的視頻內(nèi)容轉(zhuǎn)換為編碼器300所要求的每秒顯示幀數(shù)。例如，在現(xiàn)有的體育轉(zhuǎn)播視頻的內(nèi)容(A)和廣告視頻的內(nèi)容(B)分別設(shè)定為30幀/秒(FPS)、編碼器300要求15幀/秒的視頻內(nèi)容的情況下，每秒顯示幀數(shù)調(diào)節(jié)單元240就調(diào)節(jié)從顯示時間標(biāo)志調(diào)節(jié)單元220輸入的視頻內(nèi)容的每秒顯示幀數(shù)，輸出到比例調(diào)節(jié)單元250。但轉(zhuǎn)換每秒顯示幀數(shù)的方式可以是多樣的，每秒顯示幀數(shù)調(diào)節(jié)單元240通過事先設(shè)定影像幀的開始顯示時間標(biāo)志和結(jié)束顯示時間標(biāo)志以適合于編碼器300所要求的每秒顯示幀數(shù)，從自顯示時間標(biāo)志調(diào)節(jié)單元220輸入的一系列影像幀中逐個選擇進(jìn)行分配，轉(zhuǎn)換幀速率。例如，在顯示調(diào)節(jié)視頻影像幀的每秒顯示幀數(shù)的一個例子的圖4中，輸出的視頻信號的開始顯示時間標(biāo)志和結(jié)束顯示時間標(biāo)志(假設(shè)與下一幀的開始顯示時間標(biāo)志相同)已經(jīng)被設(shè)定，如果從顯示時間標(biāo)志調(diào)節(jié)單元220輸入的視頻的每秒顯示幀數(shù)多于編碼器300要求的每秒顯示幀數(shù)，就將位于輸出影像幀的事先設(shè)定的開始顯示時間標(biāo)志正前面的輸入影像幀分配給輸出影像幀的該開始顯示時間標(biāo)志進(jìn)行輸出。因此，在圖4中a艮像幀將被舍棄， 影像幀被分配給輸出影像幀進(jìn)行輸出。如果編碼器300要求的每秒顯示幀數(shù)比從顯示時間標(biāo)志調(diào)節(jié)單元220輸出的視頻信號的每秒顯示幀數(shù)多，則一個輸入影像幀就重復(fù)分配給多個輸出影像幀進(jìn)行輸出，即使在這種情況下，也將位于事先設(shè)定的輸出影像幀的正前面的影像幀分配給輸出影像幀。從每秒顯示幀數(shù)調(diào)節(jié)單元240輸出的影像幀被輸入到比例調(diào)節(jié)單元250，比例調(diào)節(jié)單元250按照編碼器300要求的畫面比例，將畫面變換成4: 3、16:10、16:9等多種比例。另一方面，從顯示時間標(biāo)志調(diào)節(jié)單元220接收了音頻信號的輸入的重新采樣單元260按照編碼器300的要求，重新采樣音頻信號并輸出到編碼器300。此時，重新采樣的間隔優(yōu)選與以每秒顯示幀數(shù)調(diào)節(jié)單元240使幀速率改變的比例一致。
至此，說明了基于本發(fā)明的優(yōu)選實(shí)施例的同步誤差校正裝置200。下面，參照圖5即用于說明基于本發(fā)明的優(yōu)選實(shí)施例的音頻信號和視頻信號的同步誤差校正方法的流程圖，來說明本發(fā)明的音頻信號和視頻信號的同步誤差校正方法。但是，本發(fā)明的同步誤差校正方法與如上所述說明了同步誤差校正裝置200的功能的內(nèi)容大部分重合，所以僅簡要說明其流程。首先，同步誤差校正裝置200從編碼器300接收設(shè)定信息，從多個視頻源100-Γ100-Π中選擇輸出源視頻(結(jié)合有其他視頻內(nèi)容的視頻)的視頻源(S500)。設(shè)定信息包括結(jié)合多個視頻內(nèi)容而生成的結(jié)合視頻的每秒顯示幀數(shù)信息、重新采樣周期信息(重新采樣信息)和畫面比例信息。當(dāng)選擇視頻源100-f 100-n中的任一個時，就將視頻內(nèi)容從選擇出的視頻源輸入到同步誤差校正裝置200，同步誤差校正裝置200的誤差校正單元230提取出輸入的視頻內(nèi) 容的視頻信號和音頻信號的初始同步誤差信息(S502 )。
然后，同步誤差校正裝置200重新設(shè)定原視頻的視頻信號和音頻信號的顯示時間標(biāo)志，以與結(jié)合有多個視頻內(nèi)容后生成的視頻內(nèi)容的顯示時間標(biāo)志對應(yīng)，按照從編碼器300接收到的設(shè)定信息轉(zhuǎn)換視頻信號的每秒顯示幀數(shù)并改變比例，重新采樣音頻信號(S510)。另一方面，同步誤差校正裝置200在上述步驟S502至步驟S510進(jìn)行期間對是否選擇了與原視頻結(jié)合的新視頻內(nèi)容的視頻源進(jìn)行調(diào)查，如果沒有選擇新視頻源，就對原視頻重復(fù)進(jìn)行上述的步驟S510 (S512)。在步驟S512中，當(dāng)選擇了結(jié)合到原視頻內(nèi)容的新視頻內(nèi)容并輸入視頻內(nèi)容，同步誤差校正裝置200就提取出新視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差信息(S520)，按照初始同步誤差信息重新設(shè)定顯示時間標(biāo)志，將新視頻內(nèi)容結(jié)合到原視頻內(nèi)容(S522)。在步驟S522中，如上所述，一面保持結(jié)合的新視頻內(nèi)容的視頻信號和音頻信號之間的誤差，一面重新設(shè)定新視頻的視頻信號和音頻信號的顯示時間標(biāo)志，來將新視頻結(jié)合到原視頻。然后，按照在步驟S500從編碼器300輸入的設(shè)定信息，轉(zhuǎn)換結(jié)合的視頻的音頻信號的每秒顯示幀數(shù)，調(diào)整畫面比例，重新采樣音頻信號(S524)。另一方面，同步誤差校正裝置200調(diào)查其它的新視頻是否被結(jié)合，當(dāng)存在其它的新視頻被結(jié)合的情況時，就進(jìn)行步驟S520，當(dāng)不存在其它的新視頻被結(jié)合的情況時，就進(jìn)行步驟 S540 (S530)。在新視頻未被結(jié)合的情況下，同步誤差校正裝置200調(diào)查以前輸入的視頻是否要重回(S540)。例如，在上述例子中，在中途結(jié)合的視頻(廣告視頻)結(jié)束，調(diào)查在步驟S500輸入的原視頻(體育轉(zhuǎn)播視頻)是否被再次輸入。此外，在將第一視頻作為原視頻進(jìn)行輸入、將第二視頻結(jié)合到第一視頻之后，再將第三視頻結(jié)合到第二視頻之后、第二視頻重回的情況也與此相當(dāng)。當(dāng)以前的視頻重回(復(fù)歸)時，同步誤差校正裝置200就按照從重回的視頻內(nèi)容中提取出的初始同步誤差信息來重新設(shè)定音頻信號和視頻信號的顯示時間標(biāo)志，以保持視頻信號和音頻信號的初始同步誤差(S542 )。然后，同步誤差校正裝置200在轉(zhuǎn)換重回的視頻的視頻信號的每秒顯示幀數(shù)并調(diào)整比例，重新采樣音頻信號并輸出到編碼器300之后，進(jìn)行步驟S530 (S544)。
進(jìn)行步驟S530，在沒有新結(jié)合的視頻且沒有重回的視頻的情況下，視頻信號和音頻信號的同步誤差校正過程結(jié)束。本發(fā)明能夠具體實(shí)現(xiàn)為在能夠用計(jì)算機(jī)讀取的記錄介質(zhì)中、計(jì)算機(jī)能夠讀取的代碼。計(jì)算機(jī)能夠讀取的記錄介質(zhì)包括存儲能夠用計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的所有種類的記錄裝置。作為計(jì)算機(jī)能夠讀取的記錄介質(zhì)的例子，有R0M、RAM、CD_R0M、磁帶、軟盤和光數(shù)據(jù)存儲裝置等，也包括可以用載波(例如，通過互聯(lián)網(wǎng)傳送)的形式來具體實(shí)施的裝置。此外，計(jì)算機(jī)能夠讀取的記錄介質(zhì)能夠分布在由網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，以分散方式對計(jì)算機(jī)能夠讀取的代碼進(jìn)行存儲、執(zhí)行。
到目前為止，對本發(fā)明以其優(yōu)選實(shí)施例為中心進(jìn)行了討論。但是對于本領(lǐng)域的技術(shù)人員而言，在不脫離所附權(quán)利要求的范圍的情況下，可以作出各種改變和修改，以及使用等同方案。因此，所公開的實(shí)施例不是以限制性的觀點(diǎn)而是以說明的觀點(diǎn)來考慮的。本發(fā)明的范圍不是由上述說明而是由權(quán)利要求的范圍表示的；在與其具有相同的范圍內(nèi)的所有不同點(diǎn)應(yīng)解釋為包含在本發(fā)明內(nèi)。
權(quán)利要求
1.一種同步誤差校正裝置，其特征在于，包括 源選擇單元，所述源選擇單元從多個視頻源接收視頻內(nèi)容的輸入并進(jìn)行輸出，該視頻內(nèi)容包含視頻信號和音頻信號； 誤差校正單元，所述誤差校正單元對多個視頻內(nèi)容的每個提取出事先設(shè)定于視頻信號和音頻信號之間的初始同步誤差；以及 顯示時間標(biāo)志調(diào)節(jié)單元，所述顯示時間標(biāo)志調(diào)節(jié)單元重新設(shè)定所述多個視頻內(nèi)容的視頻信號及音頻信號的顯示時間標(biāo)志，以使所述多個視頻內(nèi)容的視頻信號及音頻信號的顯示時間標(biāo)志與多個視頻結(jié)合后生成的結(jié)合視頻內(nèi)容的顯示時間標(biāo)志對應(yīng)，并對所述多個視頻內(nèi)容進(jìn)行結(jié)合，重新設(shè)定顯示時間標(biāo)志以保持結(jié)合后的各視頻內(nèi)容區(qū)域的所述視頻信號和音頻信號之間的所述初始同步誤差。
2.根據(jù)權(quán)利要求I所述的同步誤差校正裝置，其特征在于，在將第二視頻內(nèi)容插入到第一視頻內(nèi)容中時，所述顯示時間標(biāo)志調(diào)節(jié)單元調(diào)節(jié)顯示時間標(biāo)志以使所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容中且所述第一視頻內(nèi)容的其余部分結(jié)合到所述第二視頻內(nèi)容的末端，在結(jié)合所述第一視頻內(nèi)容的其余部分時，設(shè)定視頻信號和音頻信號的顯示時間標(biāo)志，以保持所述第一視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差。
3.根據(jù)權(quán)利要求I所述的同步誤差校正裝置，其特征在于，還包括每秒顯示幀數(shù)調(diào)節(jié)單元，所述每秒顯示幀數(shù)調(diào)節(jié)單元根據(jù)從編碼器輸入的設(shè)定信息中包含的每秒顯示幀數(shù)設(shè)定信息來調(diào)節(jié)結(jié)合過的視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。
4.根據(jù)權(quán)利要求3所述的同步誤差校正裝置，其特征在于，所述每秒顯示幀數(shù)調(diào)節(jié)單元對根據(jù)所述每秒顯示幀數(shù)設(shè)定信息調(diào)節(jié)過的每秒顯示幀數(shù)的各影像幀的時間上的位置進(jìn)行設(shè)定，在構(gòu)成每秒顯示幀數(shù)調(diào)節(jié)前的所述結(jié)合視頻內(nèi)容的視頻信號的各影像幀中，利用根據(jù)所述每秒顯示幀數(shù)設(shè)定信息設(shè)定過的各影像幀的時間上的位置的正前面的影像幀來調(diào)節(jié)結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。
5.根據(jù)權(quán)利要求3所述的同步誤差校正裝置，其特征在于，還包括比例調(diào)節(jié)單元，其按照從編碼器輸入的設(shè)定信息中包含的畫面比例設(shè)定信息來對調(diào)節(jié)過的所述每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的視頻信號的畫面比例進(jìn)行調(diào)節(jié)。
6.根據(jù)權(quán)利要求I所述的同步誤差校正裝置，其特征在于，還包括重新采樣單元，其根據(jù)從編碼器輸入的設(shè)定信息中包含的重新采樣設(shè)定信息來對調(diào)節(jié)過的顯示時間標(biāo)志的音頻信號進(jìn)行重新采樣。
7.一種同步誤差校正方法，所述同步誤差校正方法在同步誤差校正裝置中進(jìn)行，該同步誤差校正裝置用于校正從多個視頻源輸入的多個視頻內(nèi)容的視頻信號和音頻信號之間的同步誤差并結(jié)合多個視頻內(nèi)容進(jìn)行輸出，所述同步誤差校正方法的特征在于，包括以下步驟 (a)從視頻源接收第一視頻內(nèi)容； (b)從視頻源接收要結(jié)合到所述第一視頻內(nèi)容的第二視頻內(nèi)容，提取出所述第二視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差，生成初始同步誤差信息；以及 (C)按照所述初始同步誤差信息，將所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容以保持所述第二視頻內(nèi)容的視頻信號和音頻信號之間的初始同步誤差。
8.根據(jù)權(quán)利要求7所述的同步誤差校正方法，其特征在于，在將所述第二視頻內(nèi)容插入到所述第一視頻內(nèi)容中時，在所述步驟(a)中，所述同步誤差校正裝置提取出所述第一視頻內(nèi)容的初始同步誤差，在所述步驟(c )中，所述同步誤差校正裝置將所述第二視頻內(nèi)容結(jié)合到所述第一視頻內(nèi)容中，以保持所述第二視頻內(nèi)容的初始同步誤差，在步驟(d)中，在所述第二視頻內(nèi)容的結(jié)合結(jié)束后，將所述第一視頻內(nèi)容結(jié)合到所述第二視頻內(nèi)容的末端，以保持所述第一視頻內(nèi)容的初始同步誤差。
9.根據(jù)權(quán)利要求7或8所述的同步誤差校正方法，其特征在于，所述同步誤差校正裝置通過重新設(shè)定所述第一視頻內(nèi)容及所述第二視頻內(nèi)容的顯示時間標(biāo)志，以使所述第一視頻內(nèi)容和所述第二視頻內(nèi)容的顯示時間標(biāo)志與結(jié)合所述第一視頻內(nèi)容和所述第二視頻內(nèi)容而生成的結(jié)合視頻的顯示時間標(biāo)志對應(yīng)。
10.根據(jù)權(quán)利要求9所述的同步誤差校正方法，其特征在于，所述同步誤差校正裝置按照從編碼器接收到的每秒顯示幀數(shù)設(shè)定信息和重新采樣設(shè)定信息來對結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)進(jìn)行轉(zhuǎn)換，對音頻信號進(jìn)行重新采樣并輸出。
11.根據(jù)權(quán)利要求10所述的同步誤差校正方法，其特征在于，所述同步誤差校正裝置按照所述每秒顯示幀數(shù)設(shè)定信息來對調(diào)節(jié)過的每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的各影像幀的時間上的位置進(jìn)行設(shè)定，在構(gòu)成調(diào)節(jié)每秒顯示幀數(shù)前的所述結(jié)合視頻內(nèi)容的視頻信號的各影像幀中，利用根據(jù)所述每秒顯示幀數(shù)設(shè)定信息設(shè)定過的各影像幀的時間上的位置的正前面的影像幀來調(diào)節(jié)結(jié)合視頻內(nèi)容的視頻信號的每秒顯示幀數(shù)。
12.根據(jù)權(quán)利要求9所述的同步誤差校正方法，其特征在于，所述同步誤差校正裝置根據(jù)畫面比例設(shè)定信息來調(diào)節(jié)影像幀的比例并進(jìn)行輸出，該畫面比例設(shè)定信息是從所述編碼器接收了轉(zhuǎn)換過每秒顯示幀數(shù)的結(jié)合視頻內(nèi)容的視頻信號的信息。
13.—種記錄介質(zhì)，所述記錄介質(zhì)能夠用計(jì)算機(jī)讀取，并以可執(zhí)行的程序代碼記錄有權(quán)利要求7或8的同步誤差校正方法。
14.一種記錄介質(zhì)，所述記錄介質(zhì)能夠用計(jì)算機(jī)讀取，并以可執(zhí)行的程序代碼記錄有權(quán)利要求9的同步誤差校正方法。
全文摘要
本發(fā)明公開了用于校正在結(jié)合多個視頻時產(chǎn)生的視頻信號和音頻信號之間的同步誤差的同步誤差校正裝置和方法。本發(fā)明的所述裝置和方法包括當(dāng)結(jié)合不同的視頻內(nèi)容時，存儲將要被結(jié)合的視頻的初始視頻信號和音頻信號之間的同步誤差；以及當(dāng)結(jié)合多個視頻內(nèi)容時，結(jié)合多個視頻內(nèi)容以保持配置為使視頻信號和音頻信號相互同步的所述初始同步誤差。本發(fā)明的所述裝置和方法使現(xiàn)有技術(shù)中統(tǒng)一結(jié)合視頻信號和音頻信號而改變誤差，因而顯示視頻信號和音頻信號不同步的不自然的視頻的缺陷能夠被克服。
文檔編號H04N5/04GK102884804SQ201080059842
公開日2013年1月16日 申請日期2010年12月27日 優(yōu)先權(quán)日2009年12月28日
發(fā)明者姜信碩 申請人:達(dá)貝U株式會社