音視頻同步方法與系統(tǒng)及編碼裝置和解碼裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施方式涉及信息處理技術(shù)領(lǐng)域，更具體地，涉及一種音視頻同步方法與系統(tǒng)以及編碼裝置和解碼裝置。
【背景技術(shù)】
[0002]多媒體技術(shù)不是各種信息媒體的簡單復(fù)合，而更是一種把文本(Text)、圖形(Graphics)、圖像(Images)、動畫(Animat1n)和聲音(Sound)等形式的信息結(jié)合在一起，并通過計算機進行綜合處理和控制，能支持完成一系列交互式操作的信息技術(shù)。
[0003]在一般帶聲音的視頻中，源音頻與源視頻會在編碼端經(jīng)過不同的編碼器進行編碼，經(jīng)過封裝器(multiplexer)把音視頻流合并到一個碼流中，然后進行傳輸。解碼端接收碼流后，使用分離器(demuxer)把音視頻流分開，然后分別進行解碼，解碼完成后再在播放端展現(xiàn)音視頻內(nèi)容。
[0004]在這個過程中，音視頻碼流的處理時序不一定有直接關(guān)系，播放端需要協(xié)調(diào)解碼音視頻的輸出才能重現(xiàn)音視頻內(nèi)容，其中音視頻必須要保持同步。
[0005]為了避免音視頻不同步，現(xiàn)有技術(shù)中主要包含以下措施:
[0006](I)在音視頻碼流中加入時間戳，讓播放端以指定的時間順序及速度播放音視頻內(nèi)容。
[0007](2)在直播編碼中，定時或人工重啟編碼端。
[0008]然而，由于音頻流與視頻流的時間戳并沒有依賴關(guān)系，所以難以驗證時間戳的正確性，從而難以保證同步的準確度，亦無法單純以時間戳驗證音視頻的同步情況。另外，重啟編碼器會導(dǎo)致斷流。

【發(fā)明內(nèi)容】

[0009]本發(fā)明實施方式提出一種音視頻同步方法，以提高同步的準確度。
[0010]本發(fā)明實施方式還提出了一種音視頻同步系統(tǒng)，以提高同步的準確度。
[0011]本發(fā)明實施方式還提出了一種音視頻編碼裝置，以提高同步的準確度。
[0012]本發(fā)明實施方式還提出了一種音視頻解碼裝置，以提高同步的準確度。
[0013]本發(fā)明實施方式的具體方案如下:
[0014]一種音視頻同步方法，該方法包括:
[0015]在編碼端接收輸入碼流，將所述輸入碼流分離為視頻信號和音頻信號，并在所述視頻信號中嵌入視頻同步信號，在所述音頻信號中嵌入音頻同步信號，再將所述視頻信號和音頻信號封裝為輸出碼流；
[0016]在解碼端從輸出碼流中解析出視頻信號和音頻信號，從視頻信號中提取出視頻同步信號，從音頻信號中提取出音頻同步信號，并當(dāng)所述音頻同步信號與視頻同步信號不同步時，向編碼端發(fā)送信號調(diào)整信息。
[0017]一種音視頻同步系統(tǒng)，包括編碼端和解碼端，其中:
[0018]編碼端，用于接收輸入碼流，將所述輸入碼流分離為視頻信號和音頻信號，并在所述視頻信號中嵌入視頻同步信號，在所述音頻信號中嵌入音頻同步信號，再將所述視頻信號和音頻信號封裝為輸出碼流；
[0019]解碼端，用于從輸出碼流中解析出視頻信號和音頻信號，從視頻信號中提取出視頻同步信號，從音頻信號中提取出音頻同步信號，并當(dāng)所述音頻同步信號與視頻同步信號不同步時，向編碼端發(fā)送信號調(diào)整信息。
[0020]一種音視頻編碼裝置，包括接收單元、分離單元、嵌入單元和輸出單元，其中:
[0021]接收單元，用于接收輸入碼流；
[0022]分離單元，用于將所述輸入碼流分離為視頻信號和音頻信號；
[0023]嵌入單元，用于在所述視頻信號中嵌入視頻同步信號，在所述音頻信號中嵌入音頻同步信號；
[0024]輸出單元，用于將所述視頻信號和音頻信號封裝為輸出碼流。
[0025]一種音視頻解碼裝置，包括解析單元、提取單元和調(diào)整單元，其中:
[0026]解析單元，用于從接收到的碼流中解析出視頻信號和音頻信號；
[0027]提取單元，用于從視頻信號中提取出視頻同步信號，從音頻信號中提取出音頻同步信號；
[0028]調(diào)整單元，用于當(dāng)所述音頻同步信號與視頻同步信號不同步時，向編碼端發(fā)送信號調(diào)整信息。
[0029]從上述技術(shù)方案可以看出，在本發(fā)明實施方式中，在編碼端接收輸入碼流，將所述輸入碼流分離為視頻信號和音頻信號，并在所述視頻信號中嵌入視頻同步信號，在所述音頻信號中嵌入音頻同步信號，再將所述視頻信號和音頻信號封裝為輸出碼流；在解碼端從輸出碼流中解析出視頻信號和音頻信號，從視頻信號中提取出視頻同步信號，從音頻信號中提取出音頻同步信號，并當(dāng)所述音頻同步信號與視頻同步信號不同步時，向編碼端發(fā)送信號調(diào)整信息。由此可見，應(yīng)用本發(fā)明實施方式之后，可以在音視頻內(nèi)容中嵌入各自的同步信息，并且可以基于對音視頻同步信息的同步性比較確定出信號調(diào)整信息，因此可以提高同步的準確度。
[0030]而且，本發(fā)明實施方式便于擴展，可以大規(guī)模使用。
【附圖說明】
[0031]圖1為根據(jù)本發(fā)明實施方式音視頻同步方法流程圖；
[0032]圖2為根據(jù)本發(fā)明實施方式視頻同步信號示意圖；
[0033]圖3為根據(jù)本發(fā)明實施方式音頻同步信號示意圖；
[0034]圖4為根據(jù)本發(fā)明實施方式音視頻同步系統(tǒng)結(jié)構(gòu)圖；
[0035]圖5為根據(jù)本發(fā)明實施方式音視頻編碼裝置結(jié)構(gòu)圖；
[0036]圖6為根據(jù)本發(fā)明實施方式音視頻解碼裝置結(jié)構(gòu)圖；
[0037]圖7為根據(jù)本發(fā)明實施方式音視頻編碼端處理示意圖；
[0038]圖8為根據(jù)本發(fā)明實施方式音視頻解碼端處理示意圖；
[0039]圖9為根據(jù)本發(fā)明實施方式音視頻同步處理示意圖。
【具體實施方式】
[0040]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。
[0041]圖1為根據(jù)本發(fā)明實施方式音視頻同步方法流程圖。
[0042]如圖1所示，該方法包括:
[0043]步驟101:在編碼端接收輸入碼流，將所述輸入碼流分離為視頻信號和音頻信號，并在所述視頻信號中嵌入視頻同步信號，在所述音頻信號中嵌入音頻同步信號，再將所述視頻信號和音頻信號封裝為輸出碼流。
[0044]在這里，在編碼端接收輸入碼流。該輸入碼流既可以來自其它音視頻采集設(shè)備，也可以是在編碼端處自行采集的輸入碼流。
[0045]輸入碼流可以為帶音頻的視頻文件，該視頻文件包括至少一個音頻信號以及視頻信號?？梢栽谝曨l信號中嵌入視頻同步信號，在音頻信號中嵌入音頻同步信號，再將所述視頻信號和音頻信號封裝為輸出碼流。
[0046]音頻同步信號與視頻同步信號在時間上同步，而且可以具有相同或相應(yīng)的內(nèi)容，從而便于判斷音頻信號與視頻信號之間的同步性。同步信息具體可以包括音視頻采集的時間、源視頻幀的時間點和音頻樣本的時間點或其他隨時間改變或不改變的信號，等等。
[0047]在一個實施方式中:
[0048]在視頻信號中嵌入視頻同步信號包括下列中的至少一個:將視頻幀序列的預(yù)定像素點的值設(shè)置為視頻同步信號；將視頻幀序列的至少兩個像素點之間的位置關(guān)系設(shè)置為視頻同步信號；將視頻幀序列的相同像素點在不同幀之間的位置關(guān)系設(shè)置為視頻同步信號，
坐坐寸寸ο
[0049]可以在視頻信號中嵌入可見或不可見的信號以作為視頻同步信號。視頻同步信號包括但不限于幀序列中指定某一個或多個像素點的值，或二個或以上像素點的關(guān)系，或相同的像素點在不同幀之間的關(guān)系。
[0050]圖2為根據(jù)本發(fā)明實施方式視頻同步信號示意圖。
[0051]在圖2中，可以使用視頻幀右上角的相素點表示信號在每幀的時間點的值。假如0.0-0.4秒的同步信號為“01200”，以每秒25幀算，同步信號每秒最高能有25個樣本，樣本的精度取決于取像素點的量與像素點的精度。
[0052]以上以視頻幀右上角的相素點為例對視頻同步信號的具體形式進行了說明。本領(lǐng)域技術(shù)人員可以意識到，這種闡述僅是示范性的，并不用于對本發(fā)明實施方式的保護范圍進行限定。
[0053]在一個實施方式中:
[0054]在音頻信號中嵌入音頻同步信號包括下列中的至少一個:在音頻信號中嵌入正弦波；在音頻信號中嵌入方波；在音頻信號中嵌入三角波；在音頻信號中中嵌入脈沖信號，等坐寸ο