專利名稱：編解碼設(shè)備及編碼/多路復(fù)用設(shè)備和解碼/多路分解設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用無線通信網(wǎng)如ISDN，因特網(wǎng)或如PHS網(wǎng)的射頻通信網(wǎng)或衛(wèi)星通信網(wǎng)來傳送編碼視頻圖象/靜止圖象的數(shù)據(jù)傳輸方法，及采用該方法的數(shù)據(jù)傳輸系統(tǒng)中的編解碼裝置。
背景技術(shù)：
由于近年來對各種信息如圖象信息的數(shù)字編碼技術(shù)及寬帶網(wǎng)技術(shù)的發(fā)展，采用這些技術(shù)的應(yīng)用已得到巨大的發(fā)展，并開發(fā)了采用通信網(wǎng)傳輸壓縮編碼圖象等的系統(tǒng)。
如視頻電話，電話會議系統(tǒng)及數(shù)字電視采用了將視頻、語音信息壓縮編碼為小數(shù)據(jù)量的技術(shù)，將壓縮視頻數(shù)據(jù)流、壓縮聲音碼流及其它數(shù)據(jù)流多路復(fù)用到一個碼流的技術(shù)，傳輸/保存它的技術(shù)。
對視頻壓縮編碼，已發(fā)展了運(yùn)動補(bǔ)償技術(shù)，離散余弦變換(DCT)，子帶編碼，分層編碼，變長編碼等技術(shù)及溶合這些技術(shù)的方法。國家標(biāo)準(zhǔn)視頻編碼方法包括ISO MPEG1，MPEG2，ITV-TH.261，H.262及H.263。國家多路復(fù)用視頻、語音/音頻信號及其它數(shù)據(jù)的壓縮碼流的標(biāo)準(zhǔn)方法包括ISO MPEG系統(tǒng)，ITU-TH.221及H.223。
如上述視頻編碼國家標(biāo)準(zhǔn)方法之一的傳統(tǒng)視頻編碼中，視頻信號被分成幀，每幀又被分為小區(qū)，這樣以GOBs，宏塊或類似的單元來編碼信號。每幀，GOB及宏塊中加入指示編碼方式等的頭信息。解碼整個GOBs或類似的時需要這些頭信息。這樣若傳輸路徑/存貯媒體引入的差錯使視頻解碼器不能解碼頭信息時，整個附加了該頭信息的幀，GOB等均不能被正確解碼。由此，視頻解碼器重構(gòu)圖象的質(zhì)量大大降低了。
用通信網(wǎng)傳輸壓縮編碼圖象數(shù)據(jù)時，接收端必須從“0”及“1”的傳送比特流中解碼數(shù)據(jù)以重構(gòu)重要信息。為此，作為指明編碼預(yù)定塊比特流的專用規(guī)則的信息，上述頭信息有很重要的作用。這樣的頭信息包括如指明當(dāng)前編碼幀的預(yù)測類型的信息(幀內(nèi)編碼，幀間編碼等)，指明幀顯示定時(時間參照)的信息，量化的步長信息等。若丟失了這些頭信息，其后傳送的信息不能被正確解碼。
假定由于某種原因比特流中有一差錯，使得將指明幀預(yù)測類型的信息從幀間編碼改為幀內(nèi)編碼。此時，即使其后的實(shí)際信息被正確傳送，由于解碼端判定信號是幀內(nèi)編碼，最終信號不能被正確解碼，因此視頻解碼器重建圖象的質(zhì)量大大降低。
現(xiàn)在將盛行使用無線通信網(wǎng)的系統(tǒng)。甚至假定所用衛(wèi)星通信的差錯率極低，并建立了使用射頻通信系統(tǒng)的系統(tǒng)。因此沒有足夠地考慮傳輸碼流結(jié)構(gòu)的抗差錯性，并沒有很好地保護(hù)重要信息如頭信息以避免傳輸路徑的差錯。
移動通信主流的一部分PHS系統(tǒng)中，差錯率約為衛(wèi)星通信的十萬倍或百萬倍。故僅根據(jù)傳統(tǒng)技術(shù)編碼的比特流的糾錯，不能完全糾錯。象PHS系的因特網(wǎng)系統(tǒng)中，它被預(yù)測為通信主流的一部分，數(shù)據(jù)中可能出現(xiàn)的差錯類型的統(tǒng)計規(guī)律還不清楚，故有時不能執(zhí)行合適的糾錯。另外，PHS與因特網(wǎng)系統(tǒng)中，可能會丟失部分碼流信息。理論上，糾錯不能處理這種情況。因此，碼流結(jié)構(gòu)本身要有抗錯性。
如上述，沒有很好地考慮傳輸碼流結(jié)構(gòu)的抗錯性。也沒有很好地對重要信息如頭信息考慮傳輸路徑差錯，特別是，其中有傳輸路徑差錯時圖象質(zhì)量大大降低。
發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一信息傳輸方法，通過給碼流結(jié)構(gòu)本身提供抗錯性，及在采用該方法的信息傳輸系統(tǒng)中提供一編/解碼裝置，即使是重要信息如頭信息中引入傳輸路徑差錯時也能高質(zhì)量地解碼圖象信號。
根據(jù)本發(fā)明，提供了一信息傳輸方法，包括使發(fā)送端在給編碼信息附加重構(gòu)信息后發(fā)送重構(gòu)頭信息或部分頭信息的內(nèi)容所需的重構(gòu)信息，使接收端校驗(yàn)錯誤頭信息或部分頭信息的錯誤，當(dāng)校驗(yàn)中發(fā)現(xiàn)錯誤時使用重構(gòu)信息作為替代來解碼編碼信息。
根據(jù)本發(fā)明，提供了一信息傳輸方法，在將重構(gòu)信息加到數(shù)據(jù)流后，傳輸重構(gòu)信息以重構(gòu)再建編碼信息所需的頭信息內(nèi)容或部分頭信息的內(nèi)容，當(dāng)接收端在頭信息或部分信息中檢測到錯誤時，用重構(gòu)信息作為替代解碼數(shù)據(jù)流。
根據(jù)該信息傳送方法，即使頭信息有錯誤，及頭信息不能用于解碼時，使用指定信息指定的信息作為替代可正確地繼續(xù)進(jìn)行解碼處理?？捎妙^信息或部分頭信息，也可用前一發(fā)送頭信息或其部分與當(dāng)前發(fā)送的重要信息之間的差異信息，或類似的作為重構(gòu)信息。
此外，根據(jù)本發(fā)明提供了一種信息傳輸系統(tǒng)，其中將信息分成兩或更多層(如圖象層，GOB層，宏塊層，塊層)，在給每層加入同步信號與頭信息之后傳送解碼所需的同步信號與頭信息，其中有一編碼裝置色括在頭信息中插入一有預(yù)定模式的指定信息的裝置，及一裝置，它能發(fā)送上一層已發(fā)送的信息或其中一部分，能發(fā)送同一層已發(fā)送的信息或其中一部分，或能發(fā)送用于重構(gòu)上一層或同一層已發(fā)送的信息內(nèi)容(圖象如人體或臉)的信息或其中一部分，且包括與編碼裝置相應(yīng)的解碼裝置。
根據(jù)本發(fā)明，提供了一信息傳輸系統(tǒng)，它在加入同步信號與信息后發(fā)送解碼所需的同步信號與頭信息，其中提供一信息傳輸系統(tǒng)編碼裝置，包括一將有預(yù)定模式的指定信息插入頭信息的插入部分，及一用于發(fā)送已發(fā)送的信息或其中一部分信息或用于重構(gòu)該信息內(nèi)容的信息或一部分的發(fā)送部分，及一與編碼裝置相應(yīng)的解碼裝置。
根據(jù)本發(fā)明，提供一信息傳輸系統(tǒng)，它在加入同步信號及頭信息之后發(fā)送同步信號及該信息，其中提供一編碼裝置，它包括一在頭信息中插入一有預(yù)定模式的指定信息的插入部分，及一發(fā)送某信息的發(fā)送部分，該信息用于將與頭信息相關(guān)部分的編碼處理從與頭信息相關(guān)部分之前的部分的編碼處理中改變過采，其中碼流本身有抗差錯性以致于即使頭信息中有錯誤也能正確解碼，且有一與編碼裝置相應(yīng)的解碼裝置。
上述裝置中，優(yōu)先采用所有層的解碼所需的信息作為重構(gòu)信息，其傳輸由指定信息指示。此外，其傳輸由指定信息指示的重構(gòu)信息和另一部分中被解碼的信息可合并入所有層的解碼均需的信息中。另外，可用未使用過的定義為頭信息而不是指定信息的位模式的一種方式作為指定信息的位模式。此外，傳輸圖象信息中，由指定信息所指定的信息優(yōu)先為指示一幀顯示定時的信息，指示幀預(yù)測類型的信息，量化步的本小信息，或指示圖象幀時間的信息，可傳送該信息。
根據(jù)本發(fā)明，編碼裝置中包括一個或多個用于接收和壓縮編碼圖象信號的圖像編碼器，及包括一多路復(fù)用每一圖像編碼器輸出的圖像碼流與其他信息碼流的多路復(fù)用器，該多路復(fù)用器還輸出包括一多路復(fù)用頭及多路復(fù)用有效負(fù)荷的多路復(fù)用碼流，其中有一信息傳輸裝置，它具有一在圖像碼流或多路復(fù)用碼流中相應(yīng)部分中插入頭信息的插入部分，及一將從多路復(fù)用頭中的信息產(chǎn)生的差錯糾正/檢測碼加到多路復(fù)用頭，并用一差錯糾正/檢測碼給與多路復(fù)用頭中與多路復(fù)用相關(guān)的其他信息一起發(fā)送的圖象碼中的頭信息提供差錯保護(hù)，并發(fā)送該頭信息和其他信息的發(fā)送部分。
該編碼裝置中為圖像碼流中的頭信息及多路復(fù)用頭提供了一采用差錯糾正/檢測碼的強(qiáng)差錯保護(hù)，在頭信息中引入差錯后能使解碼圖像的質(zhì)量大大降低。因此，即使通過一個不可靠的傳輸路徑/存貯介質(zhì)傳送一壓縮圖像，仍能得到高質(zhì)量的傳送圖像。
包括于多路復(fù)用頭中的圖像碼流的頭信息可以是指示圖像幀的時間的信息。采用該信息，即使包括于圖像碼流中頭信息的指示圖像幀的時間的信息丟失了，也能從多路復(fù)用頭解碼出圖像幀的時向信息。因此，能在合適的時間顯示/重構(gòu)解碼圖像，并檢測圖像碼流中圖像幀的正確界限。
此外，根據(jù)本發(fā)明，提供了一編碼/多路復(fù)用設(shè)備，它包括一對以編碼單元壓縮編碼輸入信號而得的多種壓縮碼串分段的分段部分，一通過在段單元分段壓縮碼串中加入填充比特來產(chǎn)生多路復(fù)用碼單元的第一多路復(fù)用部分，一通過多路復(fù)用其長度為預(yù)定長度整數(shù)倍的多路復(fù)用單元碼串來產(chǎn)生多路復(fù)用碼流的第二多路復(fù)用部分。
由于這樣的方式中，每個多路復(fù)用單元碼串是通過在段單元中加入填充比特而使其長度為預(yù)定長度整數(shù)倍，通過將每一多路復(fù)用單元碼串中的壓縮碼串的結(jié)束部分與填充比特的開始部分相比，解碼/解多路復(fù)用裝置能容易地發(fā)現(xiàn)錯誤。此外，即使有錯誤時也不會輕易地產(chǎn)生偽同步碼，能達(dá)到高的抗差錯性。
另外，本發(fā)明的編碼/多路復(fù)用裝置包括一壓縮編碼器，它對一輸入信號編碼而產(chǎn)生壓縮碼串以將該信號分成物定編碼單元，及一從分段壓縮碼串中收集同樣重要的同步碼字來產(chǎn)生多路復(fù)用碼流的多路復(fù)用部分，根據(jù)相應(yīng)的重要性在所得的多路復(fù)用碼流中插入指示編碼單元間的分界符的碼。采用該處理，能根據(jù)每一碼字各自的重要性對其提供差錯保護(hù)，因此在有傳輸路徑差錯時，改善了解碼圖象的質(zhì)量。
圖1是根據(jù)本發(fā)明實(shí)施方式1的信息傳輸系統(tǒng)使用的編碼裝置的框圖；圖2是根據(jù)本發(fā)明實(shí)施方式1的信息傳輸系統(tǒng)使用的解碼裝置的框圖；圖3A、3B示出根據(jù)本發(fā)明的實(shí)施方式1的信息傳輸系統(tǒng)中一個幀是如何被分成多層的；固4A至4C示出圖3A、3B中各層相應(yīng)的比特流；圖5A至5E示出代替圖4A至4C的比特流的格式；圖6A、圖6B示出根據(jù)本發(fā)明實(shí)施方式1的信息傳輸系統(tǒng)中一幀僅有單個層的情形；圖7是根據(jù)本發(fā)明的信息傳輸系統(tǒng)使用的另一編碼裝置的框圖；圖8是與圖7中編碼裝置相應(yīng)的解碼裝置的框圖；圖9A，9B示出了根據(jù)實(shí)施方式1的信息傳輸系統(tǒng)刷新操作之后一幀的內(nèi)部狀態(tài)及相應(yīng)比特流；圖10A，10B示出了與被根據(jù)實(shí)施方式1的信息傳輸系統(tǒng)傳送的重要信息的內(nèi)容相關(guān)的另一例子；圖11是與圖10A，10B相應(yīng)的解碼處理電路的框圖；圖12示出了實(shí)施方式1使用的指定信息為部分頭信息表的情形；圖13解釋了根據(jù)本發(fā)明實(shí)施方式2的信息傳輸系統(tǒng)使用的幀中待編碼區(qū)；圖14A至14D示出了實(shí)施方式2的圖象碼流的例子；圖15示出了圖14A至14D的圖象碼流中包括的信息的時間片；圖16是實(shí)施方式2使用的解碼裝置的框圖；圖17A至17C例示了實(shí)施方式2使用的VOP頭及視頻包頭；圖18是實(shí)施方式2使用的另一解碼裝置的框圖；圖19是根據(jù)本發(fā)明實(shí)施方式3的信息傳輸系統(tǒng)使用的圖象/語音編碼裝置的整體框圖；圖20是實(shí)施方式3使用的圖象/聲音解碼裝置的整體框圖；圖21A與21B例示了實(shí)施方式3使用的視頻碼流；圖22例示了實(shí)施方式3使用的多路復(fù)用碼流；圖23A、23B是實(shí)施方式3使用的多路復(fù)用頭的第一示例；圖24A、24B是實(shí)施方式3使用的多路復(fù)用頭的第二示例；圖25是實(shí)施方式3使用的多路復(fù)用碼流的第二示例；圖26是實(shí)施方式3使用的多路復(fù)用碼流的第三示例；圖27A，27B是本發(fā)明使用的視頻包頭的第三示例圖28A，28B是本發(fā)明使用的視頻包頭的第四示例；圖29是存貯基于本發(fā)明的信息的媒體及該媒體解碼裝置的框圖；圖30是解碼存于圖29媒體的信息的過程流圖；圖31A至31D示出了本發(fā)明的在碼流中加入比特以防止偽同步碼的情形；圖32A至32C例示了本發(fā)明的碼流所用的標(biāo)識比特；圖33是本發(fā)明使用了一切片層的比特流的示例；
圖34A至34C每一個例示了本發(fā)明實(shí)施方式4所用的視頻碼流；圖35A、35B示出了實(shí)施方式4設(shè)置同步碼及填充比特的方法；圖36是實(shí)施方式4的多路復(fù)用器的框圖；圖37例示了實(shí)施方式4中調(diào)整層的輸出；圖38A至38C每一個例示了實(shí)施方式4中多路復(fù)用層的輸出；圖39A至39C每一個是實(shí)施方式中視頻碼流在調(diào)整層怎樣被分面的第一示例；圖40A至40C每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第二示例；圖41A，41B每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第三示例；圖42A至42C每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第四示例；圖43A至43C每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第五示例；圖44A，44B每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第六示例；圖45A，45B每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第七示例；圖46A至46D每一個是實(shí)施方式4中視頻碼流在調(diào)整層怎樣被分段的第八示例；圖47例釋了實(shí)施方式中怎樣在調(diào)整層上進(jìn)行填充；圖48是實(shí)施方式4中多路復(fù)用器的第二示例框圖；圖49例示了實(shí)施方式4中結(jié)構(gòu)如圖48的多路復(fù)用器的FlexMux層上產(chǎn)生的碼流；圖50解釋了訪問單元間的邊界及實(shí)施方式4中一幀的另一再同步標(biāo)志；圖51解釋了實(shí)施方式4中怎樣根據(jù)幀中每一區(qū)的重要性來切換差錯保護(hù)；
圖52A至52C每一個例示了實(shí)施方式4中訪問單元的另一格式；圖53是圖1中編碼裝置的編碼器的電路框圖；及圖54是圖2中解碼裝置的解碼器的電路框圖。
具體實(shí)施例方式
下面將參照附圖描述本發(fā)明的實(shí)施方式。
圖1是根據(jù)本發(fā)明一實(shí)施方式的編碼裝置的結(jié)構(gòu)。照相機(jī)101輸入的圖象信號由A/D轉(zhuǎn)換器102變?yōu)閿?shù)字信號。該數(shù)字信號被送至編碼器103。該編碼器用DCT變換，量化，變長編碼，逆量化，反DCT變換，運(yùn)動補(bǔ)償?shù)葘σ曨l信號進(jìn)行高效壓縮編碼，并產(chǎn)生一編碼數(shù)據(jù)流。該編碼中，解碼所需的重要信息被插入數(shù)據(jù)流中。編碼數(shù)據(jù)流中的該重要頭信息被輸入至重要頭信息重構(gòu)電路104以暫時地保存它。編碼器103之后為一比特串重構(gòu)電路107。電路107中，決定送至傳輸路徑的最終碼流，即根據(jù)MPEG一2等的數(shù)據(jù)流。
比特串重構(gòu)電路107中，同步信號電路105決定的一同步信號被以預(yù)定比特流單元加至數(shù)據(jù)流的頭。其后指定信息插入電路106將指定信息插入比特流。比特流中插入該指定信息操作允許加入重要頭信息至比特流中。假定重要頭信息在指定之后就被插入。從重要頭信息重構(gòu)電路104中抽取重要頭信息的加入至比特流中。后面將參考圖4A至4C及5A至5E描述該比特流結(jié)構(gòu)的細(xì)節(jié)。
多路復(fù)用器108多路復(fù)用比特串重構(gòu)電路107決定的最終比特流、語音信息及字符信息等其它編碼信息，并被輸出至傳輸路徑110。注意編碼器103外的用戶可指定任一部分頭信息作為重要頭信息。
圖2是本發(fā)明解碼部分的結(jié)構(gòu)。
解多路復(fù)用器121將所發(fā)送的比特流解多路復(fù)用為圖象信息，語音信息，字符信息等。同步檢測器122對圖象信息比特流進(jìn)行同步檢測以檢測比特流解碼的開始位置。該信息被送至可開始或重新開始解碼處理的解碼器124。解碼從最上層的頭信息開始。檢錯電路125檢驗(yàn)這些解碼信號是否有錯誤。若判斷有錯誤，由于相應(yīng)部分不能使用，相應(yīng)的信息被送至重要信息電路126。解碼下一層的頭信息時，在同步檢測器122執(zhí)行了同步后，相同的比特流被送至檢驗(yàn)指定信息內(nèi)容的指定信息判定電路123。通過該操作，可檢驗(yàn)是否加入了重要頭信息。若加了該信息，則檢驗(yàn)重要頭信息的類型及加入位置。根據(jù)檢測結(jié)果，指定信息判定電路123輸出一操作指令至解碼器124。解碼器124解碼當(dāng)前層的頭信息及附加其上的重要頭信息。解碼重要頭信息的結(jié)果被送至重要信息電路126以暫時保存它。若從檢錯誤電路125收到一差錯引入確認(rèn)信號，它表明上一層的重要頭信息不能用。因此解碼器124用當(dāng)前層送來的重要頭信息代替上一層的重要頭信息，以繼續(xù)解碼其后的碼流。D/A電路127將解碼信息如圖象信息轉(zhuǎn)為模擬信號以在顯示器128上顯示。
下面描述該實(shí)施方式使用的圖象碼流結(jié)構(gòu)。
圖3A，3B示出了分成多層的幀的概念。
一幀200被分成大量切片(slice)(宏塊線(macroblock line))201，其中生一個由16(點(diǎn))×16(點(diǎn))宏塊組成(圖3A)。每個切片201為一組宏塊203(圖3B)。幀200整體上對應(yīng)于最上層。每個切片201對應(yīng)于下一層。每一宏塊203對應(yīng)于下一層的下一層。
圖4A，4B，4C例示了圖3A，3B中相應(yīng)各層的數(shù)據(jù)結(jié)構(gòu)。
圖4A為圖3A中最上層的比特流。圖4B為相應(yīng)于圖3B中切片的切片層的傳統(tǒng)比特流。圖4C為與圖3B中切片相應(yīng)的切片層的新建議比特流。
如圖4A示，幀層中的圖象碼，即一幀圖象碼從表明圖象開始位置的同步信號(圖象開始碼；PSC)開始。PSC之后為指示幀再生定時時間參考(TR)，及指示預(yù)測編碼類型如幀內(nèi)編碼或幀間編碼的類型信息(PT)。PT之后為量化步大小信息(PQ)。TR，PT，PQ這些信息是解碼或顯示整個幀所必需的。若由于有差錯等破壞了這些信息，即使以后的層建立了同步也不能正確解碼或顯示。低層信息存于“PQ”之后的“Data”。圖4B為“Data”的典型比特流。
如圖4B所示，在切片層，每一切片201的圖象碼流從表明碼開始的同步信號(SSC)開始，接著是預(yù)測類型信息(SPT)及切片號(SN)。最后設(shè)置量化步大小信息(SQ)?！癝Q”之后的“Data”是關(guān)于低于切片層的宏塊層信息。
下面參考圖4C描述實(shí)施方式1使用的切片層結(jié)構(gòu)。
如上述，圖4A中的信息為重要信息。若該信息不可用，即使低于該幀層的切片層信息未被破壞，也不能正確解碼幀。為正確解碼低于幀層的切片層上的信息，即使圖4A中信息不可用時，需要識別圖4A中與切片層相應(yīng)的頭信息內(nèi)容。因此實(shí)施方式1中，在“SPT”準(zhǔn)備了有一指示指定信息的預(yù)定比特模式的碼。出現(xiàn)該碼時，已被傳輸?shù)膱D4A中頭信息在切片層被再次傳送。此時，傳送“TR”，與“PT”(此時，“SPT’用作指定信息，因“SPT”未指出預(yù)測類型，需要“PT”)。若圖4A的幀層未出錯誤，不使用這些信息(TR與PT)。若由于差錯等幀層的信息被破壞，用圖4C中這些信息(TR與PT)作為替代可繼續(xù)解碼。
圖5A至5E為代替圖4A至4C的另一例子。
圖5A中幀層與圖4A中的一樣，但圖5B，5C中的每一切片層中插入頭信息中的指定信息不同于圖4B，4C。圖4B，4C所示的每一切片層中，指定信息在“SPT”中準(zhǔn)備。圖5B，5C中每一切片層中，插入一新比特(IS)。該比特IS為代表兩類標(biāo)識信息的一比特?！癐S”可包括2個比特以代表四類標(biāo)識信息。
當(dāng)“IS”指出下面為幀層的重要信息時，在圖5C的“IS”，之后發(fā)送“TR”。在解碼端，若由于差錯等幀層的信息被破壞，可使用切片層上的“TR”。此時，由于“SPT”僅代表預(yù)測類型，不象圖4A至4C那樣在切片層上再傳送“PT”。
圖5D為圖5B比特流的改進(jìn)。此時，切片層不發(fā)送“SPT”。根據(jù)“IS”指定重傳幀層的重要信息時，切片層需要“TR”與“PT”，如圖5E示。
圖6A，6B為一幀僅有單層及一比特流的情形。
此時，如圖6A示，幀簡單地被分為塊(宏塊)。如圖6B示，僅用一同步信號PSC來同步一幀圖象碼流。此時，“TR”與“PT”也是重要的，若它們被破壞，即使隨后的信息被正確發(fā)送也不能被解碼。此時用某種方法再傳這些重要信息的機(jī)制是有效的。特別是隨機(jī)錯誤事件中，與僅發(fā)送一次這些信息相比，信息TR與PT均被破壞的積率大大降低了。突發(fā)錯誤事件中，若在第一次發(fā)送TR與PT一定時間之后再發(fā)送它們，也能降低它們被破壞的可能。圖6B所示比特流中，“IS”，插在信息TR，PT，PQ等之后。根據(jù)該信號表示的指今，“TR”，“PT”等可被插入“IS”之后。由于以上原因，在發(fā)送重要信息之后發(fā)送指定信息IS的時間間隔優(yōu)選為等于或長于突發(fā)錯誤的統(tǒng)計持續(xù)時間。
圖7是本發(fā)明編碼部分的另一結(jié)構(gòu)例。
A/D轉(zhuǎn)換器302將照相機(jī)301輸入的圖象轉(zhuǎn)換為數(shù)字信號并將其輸出至編碼器303。編碼器303之后為比特流重構(gòu)電路307。比特流重構(gòu)電路307決定送至傳輸路徑的最終比特流。當(dāng)所用網(wǎng)絡(luò)易出錯誤時，一般以預(yù)定間隔執(zhí)行不預(yù)計的刷新操作以使傳輸差錯不被更正的積率最小化?？蓪φ麄€幀執(zhí)行這樣的刷新(此時，幀預(yù)測類型為幀內(nèi)編碼)。然而由于刷新(幀內(nèi)編碼)產(chǎn)生的信息量遠(yuǎn)大于幀間編碼產(chǎn)生的信息量，這種技術(shù)很難進(jìn)行低比特率編碼傳輸。因此優(yōu)先采用一種技術(shù)僅刷新多個連續(xù)幀中每幀的一部分，從而在多幀所需的時間內(nèi)刷新完一幀。此外，解碼端檢測到錯誤時，輸出一再傳請求從僅使錯誤的部分被再傳是重要的。
為實(shí)現(xiàn)這些操作，編碼器303在編碼時其預(yù)測類型須在幀內(nèi)與幀間編碼間切換。假定只有預(yù)定部分(此時圖3A，3B中所示的專用切片)需刷新，由于此切片的預(yù)測類型不同于以前的切片，該信息是很重要的。此外，由于刷新中量化步大小大不同于幀間編碼，該信息是很重要的。
圖7所示的編碼裝置中，編碼器303執(zhí)行刷新編碼時，編碼所需的信息被送至指定信息插入電路305。上述刷新所需的重要信息事先存于編碼處理改變信息電路306。比特流重構(gòu)電路307將同步信號電路304所確定的同步信號加入至為刷新而被編碼的切片比特流的頭。其后，指定信息插入電路305將標(biāo)識數(shù)據(jù)已被刷新的指定信息插于比特流。此時，由于能加入解碼刷新圖象數(shù)據(jù)所需的上述重要信息，所需重要信息從編碼處理改變信息電路306中被抽出以將其加至切片比特流。參考圖9A，9B將描述該比特流格式的細(xì)節(jié)。
多路復(fù)用器308將比特流重構(gòu)電路307決定的最終比特流與其它編碼信息如語音信息與字符信息多路多路復(fù)用。數(shù)據(jù)結(jié)果被送至傳輸路徑310。注意編碼處理改變信息電路306外的用戶可指定任意信息作為待加入的重要信息。
圖8例示了與圖7編碼部分相應(yīng)的解碼裝置。解多路復(fù)用器320將發(fā)送碼流解多路復(fù)用為圖象信息，語音信息，字符信息等。同步檢測器321對圖象信息比特流進(jìn)行同步檢測以檢測比特流的解碼開始位置。該信息被送至解碼器323時，開始或重新開始解碼。比特流也被送至判斷指定信息內(nèi)容的指定信息判定電路322。執(zhí)行刷新時，由于只要相應(yīng)于該指定信息，根據(jù)預(yù)測類型即幀內(nèi)或幀間編碼能改變解碼類型就夠了，根據(jù)指定信息判定電路322的輸出信號來切換解碼器323中的幀間解碼器325與幀間解碼器324的開關(guān)。幀內(nèi)解碼器324執(zhí)行刷新切片的解碼操作。根據(jù)上述重要信息如量化步大小來控制幀內(nèi)解碼。D/A電路326將解碼器323中的幀內(nèi)解碼器324或幀間解碼器325解碼出的圖象信息轉(zhuǎn)換為模擬信號并顯示于顯示器327上。
圖9A，9B為刷新幀的格式，及相應(yīng)圖象碼流的結(jié)構(gòu)。
幀351被分為多個切片。假定切片353在幀間編碼(圖9A)的切片352之后被發(fā)送。下一切片354也是幀間編碼。圖9B為此時待發(fā)送幀的比特流格式。該比特流的部分361，362，363相應(yīng)于圖9A的切片352，353，354。在切片比特流中用于刷新的“SPT2”處插入指示用幀內(nèi)編碼刷新的指定信息。隨后的信息“SQ2”表明刷新用的量化步大小。所有“Data2”均以幀內(nèi)編碼的方式被解碼。
圖10A，10B為重要信息內(nèi)容的另一例。圖10A為幀層的比特流。圖10B為切片層的比特流。
參考圖4A至4C，切片層上指定信息SPT之后為“TR”該信息表示顯示定時，但有時其比特數(shù)會很大。為防止這種不方便的情況，圖10A、10B所示中，采用了一技術(shù)對給定與已發(fā)送的相應(yīng)信息的差異進(jìn)行編碼。該技術(shù)一般用于壓縮編碼。
更詳細(xì)地，若TR為0至255，則需8比特來表示其值。然而假定能建立一條件。使得沒有相應(yīng)于三幀或更多的幀的低速范圍值。此時，由于顯示中鄰近幀不能被三幀或更多的幀相互分開，若相對時間參照能表示4個狀態(tài)就夠了(低速范圍值為0，1，2，3)就夠了。此時，“TR”僅需2比特。因此能減少比特數(shù)。此時，由于前一已被解碼的信息，此部分不能僅用“TR”來決定。
圖10B是用上述差異TR(圖10B中DTR)作重要頭信息時，切片層上待發(fā)送的比特流例子。解碼“DTR’后，通過將“DTR”加至圖10A幀層上被解碼的前一幀的比特流中TR信息上。就可計算當(dāng)前幀的TR。
圖11是針對圖10A，10B的情形執(zhí)行解碼的電路。圖11中的電路取代圖2中的解碼部分。首先，同步檢測器重22檢測解多路復(fù)用器121送來的比特流的解碼開始部分，解碼器401解碼幀層的“TR，，，“PT”等。同時解碼信息TR存于存貯器(2)404中。檢錯電路402檢測信息頭中是否有錯誤。結(jié)果送至存府器(1)403(上述處理用于圖10A的比特流)。對圖10B的切片層，首先，指定信息判定電路123決定“SPT”。然后解碼器401解碼“DTR’與“PT’。“DTR”被送至存貯器403。若從檢錯電路402送來的信息中發(fā)現(xiàn)，由于錯誤等使上一幀層的頭信息(TR)不能使用，存貯器403輸出一請求至存貯器404以將存于存貯器404的前一幀的信息TR傳送至存貯器403。存貯器403中，該信息TR與上述當(dāng)前幀的信息DTR相加以形成當(dāng)前幀的“TR”。該信息被回送至解碼器401以繼續(xù)解碼。信息TR也被送至存貯器404以待下一幀中相同處理使用。
圖12是為未用作為指定信息的其它頭信息準(zhǔn)備的比特模式。
假定優(yōu)先給“SPT”分配2比特模式。此時，有三種預(yù)測類型，I(幀內(nèi)編碼)，P(前向預(yù)測編碼)，B(雙向預(yù)測編碼)，分別分配了00，01，10比特樣值。由于未使用“11’對應(yīng)的信息，該碼用作指定信息。即若“SPT”為“11”，它不表示任何預(yù)測類型但說明其后有重要信息。注意指定信息指出的重要信息可以是頭信息(TR，PT，PQ)或其一部分。替代地，該信息可包括隨后的數(shù)據(jù)(如圖4A的“DATA”)?？筛鶕?jù)系統(tǒng)請求，網(wǎng)絡(luò)錯誤出現(xiàn)頻率，所需編碼率等改變這些信息。
如上述，根據(jù)實(shí)施方式1，若丟失了如頭信息的重要信息，根據(jù)規(guī)定指定信息的指令加入/傳送重構(gòu)重要信息的信息。因此，即使重要頭信息有錯誤，該信息不能被重建，通過使用隨后傳送的指定信息及指定信息指定的重構(gòu)信息可繼續(xù)正確解碼。
下面描述本發(fā)明的實(shí)施方式2。
根據(jù)實(shí)施方式2的編碼裝置的整體結(jié)構(gòu)大致與圖1的編碼裝置相同。實(shí)施方式2中，每幀(也為一圖象或VOP)也被編碼以便分成稱為宏塊的小區(qū)(圖13中小區(qū)用點(diǎn)線圍起來)。此外，當(dāng)編碼圖象信號的圖象碼流中有錯誤時，為允許每幀的碼流恢復(fù)同步，該幀以由多個宏塊組成的視頻包單元(圖13中以實(shí)線圍起)來編碼。
圖14A至14D為編碼裝置輸出的圖象碼流的例子。圖14A為一幀的整體圖象碼流(VOP)。在VOP頭中加入能獨(dú)立解碼的作為同步碼字的VOP開始碼(圖14A中“VSC”)，及包括關(guān)于VOP的頭信息的VOP頭(圖14A中“VOP頭”)。
VOP碼流又被分成包括宏塊的視頻包碼流(圖14A中“MB數(shù)據(jù)’)。在每一視頻包的圖象碼流頭中加入可獨(dú)立解碼被稱為再同步標(biāo)志的同步碼字(圖14A中的“RM”)，及再同步標(biāo)志之后的視頻包頭(圖14A中“視頻包頭)。然而注意由于VOP的第一視頻包中加有VOP開始碼及VOP頭，第一視頻包中不必加入再同步標(biāo)志(RM)及視頻包頭(視頻包頭)。
圖14B例示了VOP頭中的頭信息。參考圖14B，模時間基(MTB)及VOP時間增量(VTI)是VOP的時間信息。這些信息用于VOP幀的解碼及顯示時序。
下面參考圖15描述VOP的時間，模時間基(MTB)與VOP時間增量(VT1)間的關(guān)系。VOP時間增量以毫秒的精度表示VOP時間，其值為VOP時間除以1000毫秒(1秒)所得的余數(shù)。模時間基以秒為精度表示VOP的時間，若VOP的時間與前一編碼VOP的秒相同則它為“0”。若VOP的秒數(shù)不同，模時間基為差值。
如VOP時間(毫秒)為0，33，700，1000，1300，1833，2,067，則VOP時間增量分別為以1000除這些值的余數(shù)，即0，33，700，0，300，833，67。若時間除以1000且去掉小數(shù)點(diǎn)后的所有數(shù)字(圖15中0，0，0，1，1，1，或2)所得的值不同于前一VOP則取值為1。即相應(yīng)于時間＝1,1000,2067的VOP的模時間基為“1”，對余下的VOP其值為“0”。此外，可用變長碼來編碼模時間基。如模時間基為0，1，2，...，變長碼為“1”，根據(jù)模時間基可設(shè)定“01”，“001”，...。
圖14B的VOP預(yù)測方式(VPT)是指示整幀預(yù)測編碼方式(I，B或P)的信息。VOP量化參數(shù)(圖14B中“PQ”)是指示用于編碼VOP的量化步長的信息。然而，在被分成多個視頻包而對VOP編碼時，由于量化步長以視頻包的單元改變，該信息可用作指出第一視頻包的量化步長的信息。
圖14C，14D例示了作為頭信息被加至一視頻包的視頻包頭中的信息。宏塊號(圖亞4C，圖14D中“MBA”)是表示視頻包第一宏塊號的信息。視頻包量化參數(shù)(圖14C，14D.中“SQ’)是表示視頻包的量化步長的信息。頭擴(kuò)展碼(圖14C，14D中“HEC”，相應(yīng)于圖5B至5E中的“IS”)是一表示是否加入了與視頻包頭合用(多路復(fù)用)的重要信息的標(biāo)識?！癏EC”為“0’時，沒加入重要信息，如圖14C示?！癏EC”，為“1”，時，加入了重要信息，如圖14D示。圖14D情形中，為能重構(gòu)圖象幀的時間信息，表示VOP時間的模時間基(圖14D中“MTB”)與VOP時間增量(圖14D中“VTI，，)相加，并作為重要信息被不修改地加入。
圖16是解碼圖14A至14D的圖象碼流的裝置的框圖。圖16中相同的標(biāo)號表示與圖2中解碼裝置相同的部分，下面僅描述兩者的不同。除圖2中解碼裝置的結(jié)構(gòu)外，圖16中解碼裝置包括一VOP頭解碼器601，一視頻包解碼器602，一時間解碼器603及一緩沖存貯器621。
檢測到VOP開始碼后，同步檢測器重22通知解碼器124一個表示已檢測到碼的信號。對此通知作響應(yīng)，解碼器124發(fā)送一個包括一VOP頭及VOP開始碼的碼流，即第一視頻包至解碼VOP頭的VOP頭解碼601。VOP頭解碼器601解碼出VOP頭中的時間信息，VOP編碼方式信息，VOP量化參數(shù)。這些信息中，時間信息即模時間基與VOP時間增量被送至解碼時間信息的時間解碼器603。
時間解碼器603解碼送來的模時間基及VOP時間增量，并檢測是否有錯誤。時間解碼器603通過檢驗(yàn)從模時間基與VOP時間時間增量解碼出來的時間能否為一實(shí)際時間來檢驗(yàn)是否有錯誤。如編碼圖象信號為NTSC信號時，由于幀率為30Hz，時間應(yīng)為1/30秒(＝33毫秒)的整數(shù)倍。因此若解碼時間不為1/30秒的整數(shù)倍，則模時間基與VOP時間增量有傳輸路徑差錯。編碼圖象信號為PAL信號時，它檢驗(yàn)時間是否是1/25秒的整數(shù)倍。
作為檢錯的參考值，一預(yù)定值可根據(jù)圖象信號類型(PAL，NTSC，CIF或類似)被設(shè)置在編碼/解碼裝置中，或表示參考值的信息可被插入系統(tǒng)信息碼流(未示出)或部分圖象碼流中。
時間解碼器603完成了時間信息的解碼與檢錯后，若判斷有錯誤則向VOP頭解碼器601送一表示有錯誤的信號。若判斷無錯誤，則向VOP頭解碼器601送一表示解碼時間信息的信號。時間信息無錯誤時，VOP頭解碼器601將該時間信息存于緩沖存貯器621，并將該信息與其它信息一起送至解碼器124。若時間信息有錯誤，丟棄包括VOP頭的第一視頻包碼，開始解碼下一視頻包。
檢測了再同步標(biāo)志(RM)后，同步檢測器巫22向解碼器124送一表示標(biāo)志檢測的信號。對該信號作響應(yīng)，解碼器124向解碼視頻包頭的VOP頭解碼器601送一包括緊接再同步標(biāo)志的視頻包頭的碼流，即第二或隨后的視頻包。視頻包頭解碼器602解碼視頻包頭中的宏塊號(MBA)，視頻包量化參數(shù)(SQ)及頭擴(kuò)展碼(HEC)。
若頭擴(kuò)展碼(HEC)＝“1”，隨后的模時間基與VOP時間增量被送至解碼時間信息的時間解碼器603。如前一VOP頭解碼的情形，時間解碼器603解碼送來的模時間基與VOP時間增量，并檢驗(yàn)是否有錯誤。時間解碼器603完成了時間信息解碼與檢錯后，若判斷有錯誤，則向視頻包頭解碼器602發(fā)送一表示有錯誤的信號。若判斷無錯，則向視頻包頭解碼器602送一表示解碼時間信息的信號。若時間信息有錯誤，視頻包頭解碼器602丟棄包括VOP頭的視頻包碼流，并解碼下一視頻包。
若時間信息無錯誤，將時間信息與存于第一緩沖存貯器621，即從前一編碼視頻包得到的時間信息相比，以判斷當(dāng)前視頻包中的VOP。若它們一致，判定視頻包括于與包括有前一編碼視頻包相同的VOP中，并送一表示解碼器124已解碼視頻包信息的信號，隨后執(zhí)行解碼。與此相反，若解碼時間信息不同于存于緩沖存貯器621中的時間信息，它判斷待解碼的視頻包括于不同于包括有前一編碼視頻包的VOP的VOP中。此時，解碼時間信息存于緩沖存貯器621中。此外，向解碼器124送一表示前一視頻包與該視頻包間有一VOP區(qū)，且該視頻包被解碼為一新VOP的VOP劃分信號，解碼時間信息，及表示解碼視頻包頭信息的信號。接收了VOP劃分信號后，解碼器124判定前一編碼視頻包為VOP的最后一視頻包，并執(zhí)行VOP解碼結(jié)束處理。解碼器124也判定現(xiàn)在從起待解碼的視頻包是下一VOP的第一視頻包，并繼續(xù)解碼視頻包。
用此處理，即使由于錯誤丟失了VOP開始碼與VOP頭，根據(jù)視頻包的時間信息可決定VOP邊界，并得到正確的解碼時間，因此改善解碼圖象的質(zhì)量。
圖17A至17C是VOP頭與視頻包頭的第二示例，它們與圖14A至14D的不同點(diǎn)是加入了檢驗(yàn)頭中信息是否有錯誤的CRC檢驗(yàn)比特。
圖17A為VOP頭。參考圖17A，“CW1”是對VOP頭中的模時間基，VOP時間增量，VOP編碼方式，VOP量化參數(shù)進(jìn)行CRC檢驗(yàn)的校驗(yàn)比特。
圖17B，17C為視頻包頭。參考圖17B，“CW2”是對宏塊號，視頻包量化參數(shù)，及頭擴(kuò)展碼進(jìn)行CRC校驗(yàn)的校驗(yàn)比特。參考圖17C，僅有“HEC＝1”的視頻包，即加入了重要信息的視頻包中才有“CW3”，它是對重要信息即模時間基與VOP時間增量進(jìn)行CRC校的校驗(yàn)比特。
圖18是針對圖17A至17C中圖象碼流的解碼裝置。圖18中相同的標(biāo)號表示與圖16相同的部分。該裝置與圖16中的區(qū)別是加入了CRC判定電路605。下面僅描述此差異。
VOP頭解碼器601解碼VOP頭中的信息，并用CRC校驗(yàn)比特CW1對VOP頭進(jìn)行CRC校驗(yàn)。若CRC校驗(yàn)判定有錯誤，丟棄VOP頭及其中的視頻包，并開始解碼下一視頻包。
視頻包頭解碼器602解碼視頻包頭中的信息，并用CRC校驗(yàn)比特CW2對視頻色頭進(jìn)行CRC校驗(yàn)。若CRC校驗(yàn)判定有錯誤，則丟棄視頻包頭及其中的視頻包，并開始解碼下一視頻包。若判定無錯誤，且解碼頭擴(kuò)展碼“HEC”為“1”，則解碼“HEC”之后所加的重要信息(MTB，VTI)。CRC校驗(yàn)比特用于檢驗(yàn)重要信息是否有錯誤。若判定無錯誤，則如圖16中解碼裝置一樣，則將VOP頭與另一視頻包中的這些信息與時間信息時間比較，并執(zhí)行VOP分段處理等。
如上述，實(shí)施方式2中，由于幀中每一視頻包加入了表示圖象幀時間的信息，即使因錯誤丟失了VOP頭中的時間信息，也能基于視頻包頭中的重要信息解碼出正確的時間。因此解碼裝置能以正確的時間重構(gòu)并顯示圖象。
此外，由于是通過將視頻包頭中時間信息與VOP頭或另一視頻包頭中時間信息相比來判定VOP邊界，即使因錯誤丟失了VOP開始碼，也能正確解碼VOP邊界。故改善了解碼圖象的質(zhì)量。
上述例中，每一視頻包中的頭擴(kuò)展碼(HEC)表示是否包括重要信息。如“HEC”＝“1’可設(shè)置給所有視頻包以加入重要信息，或僅對某些視頻包設(shè)定HEC＝“1”。通過根據(jù)傳輸路徑的差錯來控制加入重要信息的視頻包的數(shù)目，可僅用一小部分多余頭來有效地保護(hù)重要信息。
假定解碼時間由以上模時間基(MTB)與VOP時間增量(VTI表示。此時，MTB＝0時，即使不能正確解碼時間信息，解碼時間的誤差為1秒或更少。然而若沒有正確解碼“MTB’不為“0”的VOP的“MTB’，則后面VOP的解碼時間誤差為好幾秒。故對MTB＝0的VOP，其所有視頻包均可設(shè)為HEC＝0，或僅設(shè)一小部分視頻包HEC＝1，而將MTB不為“0”的VOP中所有或大部分視頻色設(shè)為HEC＝1，由此正確解碼“MTB”。
實(shí)施方式2中，使用表示時間的信息(模時間基與VOP時間增量)來作為與視頻包頭雙多路復(fù)用的重要信息。除了這些信息，視頻包頭可與表示編碼方式的信息，表示量化參數(shù)的信息與運(yùn)動補(bǔ)償有關(guān)的信息，運(yùn)動矢量信息雙多路復(fù)用。
假定VOP編碼時以VOP為單位切換VOP預(yù)測方式(如幀內(nèi)預(yù)測VOP(I-VOP)，前向預(yù)測VOP(P-VOP)，雙向預(yù)測VOP(B-VOP)。此時，若不能正確解碼VOP預(yù)測方式信息，則不能解碼相應(yīng)VOP。當(dāng)VOP預(yù)測方式信息也在視頻包頭中被雙多路復(fù)用時，即使因錯誤丟失了VOP頭中VOP預(yù)測方式信息，也能基于視頻包頭的雙多路復(fù)用信息中的VOP預(yù)測方式信息解碼VOP。下面描述此情況。
圖27A，27B為實(shí)施方式2的視頻包頭的第三示例。整幀的圖象碼流與VOP頭(VOP)與圖14A，14B中相同。圖27A，27B分別表示了頭擴(kuò)展HEC＝“1’與HEC＝“0”的視頻包頭。這些視頻包頭與圖14A至14D所不同的是，HEC＝“1’時除表示時間的信息(圖27B中“MTB”與“VTI’)外還包括VOP預(yù)測方式信息(圖27B中“VPT”)。
圖27A，27B所示圖象碼流解碼裝置的整體結(jié)構(gòu)同圖16。然而，視頻包頭解碼器602的工作不同于圖16。此外，此裝置與圖16的不同是，VOP預(yù)測方式信息(VPT)與時間信息(模時間基及VOP時間增量)一起被存于緩沖存貯器621。下面將描述解碼器的工作，主要是關(guān)于不同點(diǎn)的工作。
檢測到VOP開始碼后，同步檢測器重22向解碼器124送一表示已檢測到該碼的信號。對該信號作響應(yīng)，解碼器124向VOP頭解碼器601送一在VOP開始碼之后包括VOP頭的碼流，以解碼VOP頭。VOP頭解碼器601解碼VOP頭中的時間信息(MTB及VTI)，VOP編碼方式信息(VPT)，及VOP量化參數(shù)(PQ)。這些消息中的模時間基(MTB)及VOP時間增量(VTI)被送至解碼時間信息的時間解碼器603。
時間解碼器603解碼送來的模時間基與VOP時間增量，并檢驗(yàn)是否有錯誤。通過檢驗(yàn)從模時間基及VOP時間增量解碼出來的時間是否是實(shí)際時間來檢驗(yàn)是否有錯誤。如編碼圖象為NTSC信號，由于幀率為30Hz，時間信息應(yīng)是1/30秒(＝33毫秒)的倍數(shù)。因此若解碼時間不是1/30秒的倍數(shù)。它判定模時間基及VOP時間增量有傳輸路徑錯誤。若編碼信號是PAL信號，通過檢測信號信息是否是1/25秒的倍數(shù)來進(jìn)行檢錯。
作為該檢錯的參考值，可根據(jù)圖象信號類型(PAL，NTSC，CIF)在編解碼裝置中設(shè)定預(yù)定值，或在系統(tǒng)信息碼流(未示出)或部分圖象碼流中插入表示參考值的信息。
當(dāng)時間解碼器603完成了時間信息解碼及檢錯后，若它判定有錯誤則向VOP頭解碼器601發(fā)送一表示出錯誤的信號。若它判斷無錯誤，向VOP頭解碼器601發(fā)送一表示時間信息的信號。時間信息無錯誤時，VOP頭解碼器601還解碼VOP預(yù)測方式信息(VPT)。若VOP預(yù)測方式信息也無錯誤，時間信息與VOP預(yù)測方式信息被存于緩沖存貯器621，并與其它信息一起被送至解碼器124。若時間信息或VOP頭中VOP預(yù)測方式信息有錯誤，丟棄包括VOP頭的視頻包的碼流，并解碼下一視頻包。
檢測到再同步標(biāo)志后，同步檢測器重22向解碼器124發(fā)送一表示已檢測到標(biāo)志的信號。對此信號作出響應(yīng)，解碼器124向解碼視頻包頭的VOP頭解碼器601發(fā)送包括后隨再同步標(biāo)志的視頻包頭的碼流。VOP頭解碼器601解碼視頻包頭中的宏塊號，視頻包量化參數(shù)，及頭擴(kuò)展碼。
若頭擴(kuò)展碼HEC＝“1”，“HEC”之后的模時間基及VOP時間增量被送至解碼時間信息的解碼器603，同前一VOP頭的解碼一樣，時間解碼器603解碼送來的模時間基及VOP時間增量，并檢驗(yàn)是否有錯誤，時間解碼器603完成了時間信息解碼及檢錯后，若它判斷有錯誤則向視頻包頭解碼器602送一表示出錯誤的信號。若判斷無錯誤，向視頻包頭解碼器602送一表示解碼時間信息的信號。若時間信息有錯誤，視頻包頭解碼器602丟棄包括該視頻包頭的視頻包碼流，并解碼下一視頻包。
若時間信息無錯誤，解碼時間信息之后的VOP預(yù)測方式信息。若VOP預(yù)測方式信息也無錯誤，將解碼時間信息與存于緩沖存貯器621中的時間信息相比以判斷包括視頻包的VOP。若它們一致，則判定該視頻包與前一視頻頻包包括于同一VOP，并向解碼器124送一表示解碼視頻頭信息的信號，由此觶雞視頻包。與此相反，若該時間信息不同于存于緩沖存貯器621中的時間信息，則判斷從現(xiàn)在起待解碼的視頻包處于與包括前一視頻包的VOP不同的VOP中。此時，將解碼時間信息及VOP預(yù)測方式信息記于緩沖存貯器621，并向解碼器124發(fā)送表示該視頻包是VOP的第一視頻包的VOP分段信號，表示解碼時間信息的信號，及表示解碼視頻包頭信息的信號。接收到VOP分段信號后，解碼器124判定前一解碼視頻包是VOP的最后包，并執(zhí)行VOP解碼結(jié)束處理。解碼器124也判定從現(xiàn)在起待解碼的視頻包是下一VOP的第一視頻包，并進(jìn)行VOP解碼開始處理，由此繼續(xù)解碼下一視頻包。
若視頻色頭中的VOP預(yù)測方式信息不同于存于緩沖存貯器621中的VOP預(yù)測方式信息，則用視頻包頭中的VOP預(yù)測方式信息解碼視頻包。采用此操作，即使不能正確解碼VOP頭中的VOP預(yù)測方式信息，也能解碼視頻包。
用該處理，即使因錯誤丟失了VOP開始碼及VOP頭，由于能從視頻包頭中的時間信息及VOP預(yù)測方式正確地識別出VOP邊界及VOP預(yù)測方式，改善解碼圖象的質(zhì)量。
假定解碼VOP頭或視頻包頭時，圖象碼流中出現(xiàn)了差錯檢驗(yàn)信息(CRC，填充比特等)，或從傳輸路徑/存貯介質(zhì)接收碼流的電路，或?qū)⒔邮盏拇a流解多路復(fù)用為圖象碼流、語音碼流等的解多路復(fù)用器能判斷碼流中是否有錯誤。此時，能用這種檢錯信息及這種電路得到的判定結(jié)果決定解碼VOP頭或視頻包頭中是否有錯誤。若通過此方式也判定這些解碼信息有錯誤，圖象解碼就不使用這些信息。替代地，丟棄包括有出錯誤信息的視頻包而不對其解碼。
圖28A，28B是實(shí)施方式2中視頻包頭的第四示例。整幀(VOP)的圖象碼流及VOP頭與圖14A，17A中的相似。圖28A，28B分別表示HEC＝“0”與HEC＝“1’的視頻包頭。這些視頻包頭不同于圖17B，17C之處是HEC＝“1’時，除表示時間的信息(圖28B中“MTB”及“VTI”，)外還有VOP預(yù)測方式(圖28B中“VPT”)。
針對圖28A，28B中圖象碼流的解碼裝置的整體結(jié)構(gòu)與圖18相同。然而視頻包頭解碼器602的工作不同于圖18中的。此外，此裝置與圖18中的不同點(diǎn)是VOP預(yù)測方式信息(VPT)與時間信息’(模時間基及VOP時間增量)一起被存于緩沖存貯器621。下面描述解碼器的工作，主要是關(guān)于不同點(diǎn)的工作。
VOP頭解碼器601解碼VOP頭中的信息，并用CRC校驗(yàn)比特CW1對VOP頭進(jìn)行CRC校驗(yàn)。若CRC校驗(yàn)判斷有錯誤，丟棄VOP頭及包括VOP頭的視頻包，并開始解碼下一視頻包。
視頻包頭解碼器602解碼視頻包中的信息，并用CRC校驗(yàn)比特CW2對視頻包頭進(jìn)行CRC校驗(yàn)。若CRC校驗(yàn)判斷有錯誤，則丟棄視頻包頭及包括視頻包頭的視頻包，并開始解碼下一視頻包。若判斷無錯誤，且解碼頭擴(kuò)展碼HEC為“1”，解碼“HEC”之后的雙多路復(fù)用重要信息(圖28B中“MTB’，“VTI’，“VPT’)。CRC校驗(yàn)比特CW3用于檢驗(yàn)雙多路復(fù)用重要信息是否有錯誤。若無錯誤，則如圖16中解碼裝置一樣，比較VOP頭與另一視頻包頭中的這些重要信息及時間信息，進(jìn)行分段處理等。
如上述，由于重要信息中有表示時間的信息，即使因錯誤丟失了VOP中的時間信息，也能從視頻包頭中的重要信息解碼出正確的時間信息。因此解碼裝置能以正確的時間重構(gòu)并顯示圖象。此外，由于將視頻包頭中的時間信息與VOP頭或另一視頻包頭中的時間信息相比來執(zhí)行VOP邊界判定，即使因錯誤丟失了VOP開始碼，也能正確解碼出VOP邊界，并改善解碼圖象的質(zhì)量。
此外，當(dāng)VOP預(yù)測方式信息也作為雙多路復(fù)用信息包括于視頻包頭時，即使因錯誤丟失了VOP頭中的VOP預(yù)測方式信息，也能基于作為雙多路復(fù)用信息包括于視步包頭中的VOP預(yù)測方式信息解碼VOP。
實(shí)施方式2中，為避免在VOP頭及視頻包頭中產(chǎn)生與同步碼(圖象開始碼，VOP開始碼，再同步標(biāo)志等)的模式，須加入叫標(biāo)志比特的比特。
圖31A至31D例示怎樣在圖14A至14D的碼流中加入標(biāo)志比特。參考圖31A至31D，VOP時間增量(VTI)之后的“標(biāo)志”是有預(yù)定比特值(如“1”)的一標(biāo)志比特。
圖32A至32C為無任何標(biāo)志比特的視頻包頭與有一標(biāo)志比特的視頻包頭的比較。假定作為同步碼的再同步標(biāo)志為模式是“00000000000000001”的17比特碼字，VOP時間增量(VT1)是值任意的10比特碼字，“MTB’是最后位為“0’的變長碼。
若不設(shè)置標(biāo)志比特，“VTI’為連續(xù)“0”，則如圖32B所示產(chǎn)生了與再同步標(biāo)志一致的比特模式。圖32B所示例中，MTB的“0”，“VT1”的“0000000000”，與隨后的比特流“000001”組成了與再同步標(biāo)志一樣的模式。
與此相反，圖32C中，通過在“VTI’之后加入標(biāo)志比特“1”，視頻包頭中連續(xù)零的最大數(shù)為11(“MTB’的最后一位“0’，“與VTI”的“0000000000”)。因此不能產(chǎn)生與再同步標(biāo)志一致的比特模式。
注意標(biāo)志比特有預(yù)定值(圖32A至32C中為“1”)。因此，解碼裝置可檢驗(yàn)標(biāo)志比特是否有預(yù)定值來判定VOP頭及視頻包頭中是否有錯誤。
標(biāo)志比特也可加至實(shí)施方式2中圖17A至17C，27A，27B，28A，28B中。
這種碼流結(jié)構(gòu)也可用于使用切片層的碼流。圖33是實(shí)施方式1中使用切片層的另一碼流。
參照圖33，參考符號SSC指切片同步碼；值為“1’的EPB被加入到碼流中的避免不是同步碼(如SSC)的部分與同步碼有相同的比特模式、MBA，表示相應(yīng)切片中第一宏塊的號的信息；SQUATNT，切片使用的量化參數(shù)；GFID，表示圖象頭中信息或其部分信息的信息。在碼流指定比特處設(shè)置同步碼SSC時，在“SSC，，之前設(shè)置填充比特SSTUF。“宏塊數(shù)據(jù)”是每一宏塊的數(shù)據(jù)。
“TR”時間信息(暫時參考)是雙多路復(fù)用重要信息?！癟RI’是指示是否加入了“TR”的1比特標(biāo)識。TRI＝1時，加入了“TR”。
下面描述本發(fā)明的實(shí)施方式3。
圖19是根據(jù)本發(fā)明實(shí)施方式3的視頻/語音編碼器的整體結(jié)構(gòu)。待壓縮編碼的視頻信號101A及語音信號102A分別輸入到視頻編碼器111A及語音編碼器112A，它們分別壓縮視頻及語音信號并輸出視頻碼流121A及語音碼流122A。由于參考(Hiroshi Yasuda，“多媒體編碼國際標(biāo)準(zhǔn)”，Maruzen(1994))等中詳細(xì)介紹了視頻編碼器及語音編碼器，省略其詳細(xì)描述。
多路復(fù)用器130A多路復(fù)用視頻碼流121A，語音碼流122A及一數(shù)據(jù)碼流。結(jié)果輸出一多路復(fù)用碼流135A。
圖20是相應(yīng)于圖19中視頻/語音編碼器的視頻/語音編碼器的整體框圖。解多路復(fù)用器180A解多路復(fù)用視頻/語音編碼器出來的多路復(fù)用碼流185A。結(jié)果輸出一視頻碼流171A，一語音碼流172A，一數(shù)據(jù)碼流173A。視頻碼流171A及語音碼流172A分別輸入至視頻解碼器161A及一語音解碼器162A以進(jìn)行解碼。結(jié)果，輸出重構(gòu)的視頻信號151A及重構(gòu)的語音信號152A。
圖21A，21B為視頻碼流直21A的兩個示例。視頻編碼器111A以圖象單元(幀，或VOP)編碼信號以產(chǎn)生視頻碼流121A。每個圖象又被分為稱作宏塊的編碼小區(qū)。
I圖象的視頻碼流從圖象開始碼(PSC)201A(也為VOP開始碼)開始，圖象開始碼表示圖象的開始位置并能被獨(dú)立解碼。
圖象開始碼201A之后是圖象頭(PH)202A(也為VOP頭)。圖象頭202A包括表示圖象臨時位置的PTR(圖象臨時參考)221A，表示整個圖象編碼方式的圖象編碼方式(PCM)222A，及圖象量化步長(PQ)223A。圖象頭202A之后是每一宏塊的編碼數(shù)據(jù)203A。
圖21B顯示的是以由多個宏塊組成的切片為單元進(jìn)行編碼的情形。
每一切片的碼流包括一表示切片開始位置并能被獨(dú)立解碼的再同步標(biāo)志(RM)210A?！癛M”之后是切片頭(SH)211A及每個宏塊的宏塊數(shù)據(jù)(MB)203A。切片頭211A包括表示切片中第一宏塊的號的SMBN(切片宏塊號)231A及量化步長(WQ)232A。
可給圖象幀中每個預(yù)定數(shù)目的比特或在預(yù)定位置處加入再同步標(biāo)志210A及切片頭211A。編碼這種切片結(jié)構(gòu)時，即使視頻碼流中有錯誤，也能用可被獨(dú)立解碼的再同步標(biāo)志210A建立再同步。由于避免了錯誤傳至切片外，有傳輸路徑差錯時改善了重構(gòu)圖象的質(zhì)量。
圖22例示了多路復(fù)用器多路復(fù)用的多路復(fù)用碼流135A。多路復(fù)用碼流135A由多個多路復(fù)用包組成，其中每個多路復(fù)用包有分別被多路復(fù)用成預(yù)定大小的視頻碼流(視頻)，語音(音頻)碼流(語音)及數(shù)據(jù)/控制信息碼流(數(shù)據(jù))。參考圖22，301A，302A，303A部分分別是多路復(fù)用包。所有多路復(fù)用包可以是長度相同(比特數(shù))的定長包，或長度不同的變長包。
每一多路復(fù)用包的頭中加入了表示多路復(fù)用包開始位置的多路復(fù)用開始碼(MSC)310A。多路復(fù)用開始碼310A之后是多路復(fù)用頭(MH)311A，312A，或313A。多路復(fù)用頭之后是以包為單元多路復(fù)用圖19中視頻碼流121A，語音碼流122A，數(shù)據(jù)碼流103A得到的多路復(fù)用有效負(fù)荷(圖22中321A，322A，或323A)。
圖23A，23B是多路復(fù)用頭(MH)311A中信息的第一示例。參考圖23A，23B，多路復(fù)用碼(MC)351A是表示視頻碼流(視頻)，語音碼流(語音)，數(shù)據(jù)碼流(數(shù)據(jù))怎樣在多路復(fù)用有效負(fù)荷321A中被多路復(fù)用的信息。若此多路復(fù)用碼信息(MC)中有傳輸路徑差錯，不能識別出碼流的多路復(fù)用方式。因此，解多路復(fù)用器180A不能正確解碼視頻碼流，語音碼流，數(shù)據(jù)碼流。故視頻解碼器161A及語音解碼器162A也不能正確解碼，導(dǎo)致重構(gòu)的視頻及語音信號的質(zhì)量下降。
為避免此情形，用一檢錯碼及糾錯碼給每一多路復(fù)用頭(MH)提供了強(qiáng)的差錯保護(hù)。參考圖32A，32B，標(biāo)號343A(CRC)指CRC檢錯比特；354A(FEC)糾錯碼校驗(yàn)比特。
實(shí)施方式3中，包括視頻碼流(視頻)的多路復(fù)用包中的多路復(fù)用頭(MH)包括視頻頭信息(VHD)352A及多路復(fù)用碼信息(MC)。圖23A，23B所示情形中，“MH1”(311A)及“MH2”(312A)為包括視頻頭信息(VHD)352A的多路復(fù)用頭。視頻頭信息(VHD)352A是表示視頻編碼中整個圖象(幀)的編碼方式等的重要信息。若此信息有錯誤，重構(gòu)閨象質(zhì)量大大降低。例如若視頻碼流格式如圖21A，21B所示，圖象頭202A或切片頭211A或其部分信息被作為視頻頭信息(VHD)352A設(shè)置在多路復(fù)用頭。
實(shí)施方式3的特征在于以這樣的方式在多路復(fù)用頭中插入了重要信息如視頻編碼中的圖象頭，并產(chǎn)生了多路復(fù)用碼(MC)，檢錯碼及糾錯碼以利用這些碼來提供強(qiáng)的差錯保護(hù)。采用此特征，與不對重要信息提供差錯保護(hù)的傳統(tǒng)視頻編碼裝置相比，改善了抗傳輸路徑差錯性。
圖24A，24B是多路復(fù)用頭(MH)的第二示例。圖24A，24B中相同標(biāo)號代表圖23，23B中第一示例的相應(yīng)部分，下面僅描述不同點(diǎn)。第二示例不同于第一示例的是除視頻頭信息(VHD)352A外，包括視頻碼流(視頻)的多路復(fù)用包有一表示視頻碼流圖象或切片邊界位置并包括于多路復(fù)用頭中的圖象指針(ALP)451A。
若不設(shè)置圖象指針(ALP)451A，在解多路復(fù)用器180A解多路復(fù)用視頻碼流后，視頻解碼器161A須根據(jù)圖象開始碼或再同步標(biāo)志檢測圖象或切片邊界。與此相反，若多路復(fù)用頭中包括圖象指針(ALP)451A，可用該指針檢測圖象或切片邊界。由于多路復(fù)用頭中的圖象指針有強(qiáng)的糾錯能力，增加了正確檢測圖象或切片邊界的可能性，并改善重構(gòu)圖象的質(zhì)量。
此外，視頻頭信息(VHD)352A可包括圖象或切片頭中所有或部分信息。
圖25示出了一情形，除相應(yīng)多路復(fù)用碼(MC1及MC2)611A及621A外，在包括視頻碼流(視頻)的多路復(fù)用包601A及601B的多路復(fù)用頭中，僅包括了作為視頻頭信息的圖象時間參考(PTR1及PTR2)612A及622A。
參考圖25，多路復(fù)用包601A的多路復(fù)用有效負(fù)荷在PTR＝1的圖象碼流尾包括有一切片(切片N)，隨后的PTR＝2的圖象的圖象開始碼(PSC)614A，PTR＝2的圖象時間參考(PTR2)，圖象編碼方式(PCM2)616A，及PTR＝2的圖象碼象的第一切片的前半部分(切片1)617A。多路復(fù)用包602A的有效負(fù)荷包括PTR＝2的圖象碼流的第一切片的后半部分(切片1)，第二切片的再同步標(biāo)志(RM)624A，切片頭(SH2)625A，及PTR＝2的圖象碼流的第二切片(切片2)626A。
多路復(fù)用包601A的多路復(fù)用頭(MH1)有在多路復(fù)用包601A中包括最后部分碼流的PTR＝1的圖象的PTR612A。使用一糾錯碼及一檢錯碼(CRC及FEC)，為PTR612A及多路復(fù)用碼MC1提供了差錯保護(hù)。故即使因錯誤不能正確解碼多路復(fù)用有效負(fù)荷的視頻碼流中的PTR(615A)，由于能正確解碼多路復(fù)用頭中的PTR(612A)，故能得到正確的PTR，以正確的時間顯示解碼圖象。
使用切片結(jié)構(gòu)的視頻編碼方法中，若在包括一切片開始碼(再同步標(biāo)志)及一切片頭的多路復(fù)用包的視頻頭信息中插入一PTR，即使因錯誤不能正確解碼圖象開始碼，也能基于PTR判定圖象邊界。假定丟失了圖象開始碼(PSC)614A或PART615A。此時，將下一多路復(fù)用包的多路復(fù)用頭中的PTR622A與前一多路復(fù)用包的多路復(fù)用頭中的PTR(如PTR612A)相比。若它們不一致，則判斷多路復(fù)用包601A中有圖象邊界。此時，能從在多路復(fù)用包602A中有再同步標(biāo)志的第一切片(圖25中RM624A的“切片2”)開始正確的編碼。
當(dāng)采用了圖象編碼方式頻繁改變的編碼方法時(如使用B圖象的編碼方法)，多路復(fù)用頭中可包括圖象編碼方式信息。
圖26是多路復(fù)用碼流的第三示例。此多路復(fù)用碼流中，每一多路復(fù)用包701A，702A及703A設(shè)有一圖象或一切片，為多路復(fù)用頭751A及752B中的圖象頭(PH1)712A及切片頭(SH2)722A，多路復(fù)用碼(MC1及MC2)711A及721A提供了差錯保護(hù)。若成對地準(zhǔn)備作為視頻碼及多路復(fù)用包的圖象或切片，由于每一多路復(fù)用包總是位于一圖象或一切片的開始位置，不需從解多路復(fù)用圖象碼流中檢測一圖象開始碼及一再同步標(biāo)志。結(jié)果減少了處理數(shù)量。此外，使用對傳輸路徑差錯有高的抵抗性的碼可減少不能正確區(qū)分圖象或切片開始位置及不能解碼圖象或切片的可能性。
實(shí)施方式3中，編解碼一圖象/切片信號。然而本發(fā)明可同樣適用于使用多個圖象/語音信號編碼裝置編碼/多路復(fù)用多個圖像/語音信號，及多個圖象/語音信號解碼器解碼/解多路復(fù)用多個圖象/語音信號的情形。此時，多路復(fù)用頭信息中的視頻頭信息可包括表示多個信號的信息。
若適當(dāng)綜合實(shí)施方式1，2，3來產(chǎn)生傳輸碼流，能使編碼信息的傳輸更可靠。實(shí)施方式3中，象實(shí)施方式2一樣，可將表示時間PTR(圖象時間參考)作為模時間基及VOP時間增量。通過使用這些信息，可象實(shí)施方式2一樣用模時間基及VOP時間增量的規(guī)則性來進(jìn)行檢驗(yàn)。
下面詳細(xì)描述存貯本發(fā)明產(chǎn)生信息的媒體。
圖29顯示了使用其中保存了從本發(fā)明的編碼裝置輸出的圖象碼流的記錄媒體810來重構(gòu)圖象信號的系統(tǒng)。包括由本發(fā)明圖象編碼裝置編碼的圖象碼流的碼流被存于記錄媒體810。解碼器裝置820從記錄媒體810中保存的碼流重構(gòu)圖象信號。圖象信息輸出裝置830輸出一重構(gòu)圖象。如個人計算機(jī)等重構(gòu)保存在能被計算機(jī)讀出信息的記錄媒體中的圖象信息時，圖象信息的比特流被從記錄媒體讀出，并用圖象重構(gòu)軟件處理該比特流。此時，如圖象信息輸出裝置830是一顯示器或類似。重構(gòu)的圖象信號要被記錄于存貯媒體(未示出)或經(jīng)一傳輸路徑被傳送至另一裝置或系統(tǒng)(未示)。
在如上結(jié)構(gòu)的系統(tǒng)中，有上述每一實(shí)施方式的格式的碼流被存于記錄媒體810。該碼流的特征在于部分VOP(一圖象或幀)頭信息被作為關(guān)于部分視頻包(或一切片，GOB等)頭的雙多路復(fù)用信息而記錄。解碼器裝置820從存于記錄媒體810中的碼流重構(gòu)一圖象信號。即解碼器裝置820經(jīng)一信號線801讀取碼流，并用圖30所示過程產(chǎn)生一重構(gòu)圖象。
下面將參考圖30描述解碼器裝置820的處理內(nèi)容。
解碼器裝置820逐次從記錄媒體810讀出圖象碼流，并首先檢測同步碼(步S11)。若檢測到同步碼是VOP開始碼(步S12中的是)，將前一解碼VOP(幀)輸出至圖象信息輸出裝置830(步S13)。解碼裝置820解碼圖象碼中VOP開始碼后的VOP頭(圖29的“VOP頭”)(步S14)。若已正確解碼VOP頭(步S15中的是)，用解碼VOP頭信息(時間信息，VOP預(yù)測方式信息等)。(步S16)代替存于解碼裝置820的緩沖存貯器中的信息。解碼裝置820然后解碼VOP頭之后的宏塊數(shù)據(jù)(圖29中的“MB數(shù)據(jù)”)，并解碼視頻包(步S17)。
若檢測到的同步信號是再同步標(biāo)志(步S18中是)，解碼器裝置820解碼再同步標(biāo)志(RM)之后的視頻包頭(宏塊號(MBA)，視頻包量化參數(shù)(SQ)，及頭擴(kuò)展碼(HEC))(步S19)。若視頻包頭中頭擴(kuò)展碼HEC＝“0”，(步S20中否)，解碼裝置820解碼視頻包(步S17)。若頭擴(kuò)展碼HEC＝“1”(步S20中是)，解碼裝置820解碼隨后的雙多路復(fù)用信息(圖29中“DUPH’)(步S21)。若能正確解碼多路復(fù)用信息(步S22中是)，將雙多路復(fù)用信息與緩沖存貯器中的信息相比(步S23)。若它們一致(步S23中否)，解碼裝置820解碼視頻包頭之后的宏塊數(shù)據(jù)(圖29中“MB數(shù)據(jù)”)并解碼視頻包(步S17)。若它們不一致(步S23中是)，解碼裝置820判定該視頻包屬于與前一解碼VOP不同的VOP，并將前一解碼VOP輸出至圖象信息輸出裝置830(步S24)。解碼器裝置820則用解碼的雙多路復(fù)用信息代表緩沖存貯器中的信息(步S25)，并解碼下一視頻包(步S17)。
當(dāng)從記錄介質(zhì)810依次讀出圖象碼流時，重復(fù)圖30中從同步碼檢測開始的上述工作系列，由此重構(gòu)視頻信號。
注意可將多路復(fù)用語音及音頻信號，數(shù)據(jù)，控制信息等的編碼碼流得到的碼流記于記錄介質(zhì)而不是在記錄介質(zhì)中不修改地記錄圖象碼流。此時，在解碼器裝置820解碼記于記錄介質(zhì)中的信息之前，解多路復(fù)用器解多路復(fù)用圖象碼流，語音/音頻碼流，數(shù)據(jù)及控制信息，然后解碼器裝置820解碼解多路復(fù)用的圖象碼流。
如圖29所示，記于記錄介質(zhì)810中的信息經(jīng)信號線801被送至解碼器裝置820。然而，該信息可經(jīng)一傳路徑如一線/射頻紅外傳輸路徑而不是信號線被傳輸。
如上述，根據(jù)本發(fā)明，由于已雙多路復(fù)用并記錄了每一記于記錄介質(zhì)的碼流中的重要信息，即使記于記錄介質(zhì)中的信息有錯誤，或記于記錄介質(zhì)上的信息經(jīng)其被送至重構(gòu)裝置的信號線或傳輸路徑有錯誤，能重建質(zhì)量稍有下降的圖象。
下面描述本發(fā)明的實(shí)施方式4。
根據(jù)此實(shí)施方式的視頻/語音編碼裝置及視頻/語音解碼裝置的整體結(jié)構(gòu)如圖19，20所示相同。然而相應(yīng)部分的工作卻不同于實(shí)施方式3。下面主要描述不同點(diǎn)。
圖34A至34C為視頻碼流121A的三個示例。視頻編碼器111A以VOP(圖象，幀及場)為單元編碼以產(chǎn)生視頻碼流121A。圖象又被分成稱作宏塊的待編碼小區(qū)。
-VOP的視頻碼流從一能被獨(dú)立解碼的同步碼一VOP開始碼(圖34A至34C中“VSC”)開始。VOP開始碼之后是VOP頭(圖34A至34C中“VH”)(也可為圖象頭)。VOP頭包括表示VOP時間的信息，VOP編碼方式信息，VOP量化步長信息等。VOP頭之后是每一宏塊的編碼數(shù)據(jù)。
圖34A是VOP被分成稱為視頻包(也可為切片及GOB)的待編碼的編碼單元的情形。每一視頻包由一或多個宏塊(圖34A中“MB數(shù)據(jù)”)組成。用跨多個宏塊的預(yù)測進(jìn)行視頻編碼時，如從鄰近宏塊的運(yùn)動矢量來預(yù)測所分析宏塊的運(yùn)動矢量，應(yīng)僅從同一視頻包內(nèi)的宏塊來預(yù)測，以阻止任一傳輸路徑差錯影響其它視頻包。
除第一視頻包外，VOP中每一視頻包的碼流從可被獨(dú)立解碼的同步碼一再同步標(biāo)志(RM)(也可為一切片開始碼及一GOB開始碼)及一視頻包頭(VPH)(也可為一切片頭及一GOB頭)開始。這些碼之后為每一宏塊的數(shù)據(jù)(MB數(shù)據(jù))。視頻包頭包括表示視頻包中每一宏塊位置的宏塊號(或一切片號或一GOB號)，視頻包量化步長等。該頭也可象實(shí)施方式2一樣包括重要信息如VOP頭信息。
圖34B是一視頻編碼的碼流的示例，其中視頻被分成2個信息，即關(guān)于預(yù)測方式及運(yùn)動矢量的信息及關(guān)于運(yùn)動補(bǔ)償自適應(yīng)預(yù)測中的殘差信號或關(guān)于對殘差信號作正交變換所得的正交變換(DCT等)系數(shù)。每一視頻包碼流中，關(guān)于蕷測方式及運(yùn)動矢量的信息(圖34B中“運(yùn)動’)被設(shè)在靠近讀出端’(圖34中視頻包頭或VOP頭之后)，關(guān)于預(yù)測殘差DCT系數(shù)的信息(圖34B中“細(xì)節(jié)”)被設(shè)在尾端。兩類信息由運(yùn)動標(biāo)志(圖34B中“MM”)分開。
圖34C例示用一將關(guān)于待編碼圖象形狀的信息與圖象一起編碼的編碼方法得到的視頻編碼碼流。參考圖34C，“形狀”是形狀信息，它被設(shè)置在每一視頻包中關(guān)于蕷測方式及運(yùn)動矢量的信息(運(yùn)動)之前(圖34C中，形狀信息位于視頻包頭或VOP頭之后)。形狀信息(形狀)及關(guān)于預(yù)測方式及運(yùn)動矢量的信息(運(yùn)動)由一形狀標(biāo)志(圖34C中“SM”)分開。
圖34A至34C的碼流中，優(yōu)選將同步碼如開始碼及再同步標(biāo)志設(shè)置在給定比特數(shù)的整數(shù)倍處的比特位置。圖35A，35B所示情形中，相應(yīng)視頻包的頭中的VOP開始碼(VSCs)及再同步標(biāo)志(RMs)被設(shè)置在N比特的整數(shù)倍處。用此法，與同步碼隨意放置相比，解碼裝置檢測同步碼時檢測的比特數(shù)降至1/N。用此法，簡化了解碼裝置的同步檢測。此外，因傳輸路徑差錯產(chǎn)生的與同步碼一致的比特模式(偽同步碼)被錯誤地作為同步碼檢測的，叫偽同步現(xiàn)象的幾率可減小至1/N。即使傳路徑有錯誤也能改善解碼圖象的質(zhì)量。
為以此方式將同步雞設(shè)置在預(yù)定位置，在每一同步碼與每一同步碼之前一信息之間插入填充比特(圖3SA中“填充比特’)。圖35B是N＝8的填充比特的碼表。這些填充比特的特征在于能反著碼流的方向被獨(dú)立解碼，解碼裝置可規(guī)定填充比特的長度，不象以前技術(shù)廣泛使用的全由“0”組成的填充比特等。田35B所示例中，填充比特的第一位是“0”，余下的全為“1”。因此，填充比特的最后一位，即以相反的順序逐個讀出同步碼之前的比特時首先出現(xiàn)的第一比特“0，，可被認(rèn)為是填充比特的第一比特。
因能以此方式說明填充比特中第一比特的位置，解碼裝置能輕易地檢測出碼流中的傳輸差錯。正確解碼了碼流時，填充比特前一數(shù)據(jù)的解碼尾位置應(yīng)與填充比特的開始位置一致。若解碼尾位置與填充比特的開始位置不一致，判斷碼流中已有傳輸路徑差錯，此碼流不能被解碼。
當(dāng)用可逆向解碼的變長碼逆向解碼碼流時，解碼裝置須說明逆向解碼的開始位置。填充比特的解碼開始位置對應(yīng)于填充比特的前一比特。以前技術(shù)中，不能說明僅由相同值的比特組成的填充比特的長度，因此解碼裝置不能檢測逆向解碼的開始位置。與此相反，圖35A，35B允許確定第一比特的位置，由此確定逆向解碼的開始位置。
考慮—包括許多“0”的碼字如—同步碼“00000000000000001”。如以前技術(shù)填充比特僅由“0，，組成，在有錯誤時產(chǎn)生一與同步碼一致的比特模式的幾率大，因此極有可能出現(xiàn)偽同步。與此相反，用圖35A，35B中的填充比特，因除第一比特是“0’外，所有填充比特為“1”，其與同步碼的漢明距大，產(chǎn)生偽同步的幾率小。
如上述，根據(jù)預(yù)定規(guī)則產(chǎn)生填充比特，故在解碼/解多路復(fù)用裝置中，將多路復(fù)用碼流中的填充比特與規(guī)則對比，若判斷填充比特不合規(guī)則，可判斷多路復(fù)用碼流中有差錯。用此法，即使多路復(fù)用碼流中有錯誤，解碼/解多路復(fù)用裝置能執(zhí)行處理以避免解多路復(fù)用/解碼信號質(zhì)量的嚴(yán)重下降從而改善解碼信號的質(zhì)量。
除VOP開始碼及再同步標(biāo)志外，可將運(yùn)動標(biāo)志(MM)及形狀標(biāo)志(SM)設(shè)在給定比特數(shù)的整數(shù)倍位置處，并象圖35B一樣在這些標(biāo)志之前設(shè)置填充比特。用此，可對形狀信息，預(yù)測方式信息，運(yùn)動矢量信息等執(zhí)行檢錯及逆向編碼。
圖36例示了多路復(fù)用器130A。圖36例中，在稱調(diào)節(jié)層1031A及多路復(fù)用層1032A兩層上執(zhí)行多路復(fù)用處理。視頻碼流121A，語音碼流122A及數(shù)據(jù)碼流103A被輸入至調(diào)節(jié)層1031A。被調(diào)節(jié)層1031A處理的輸出1041A，1042A，1043A被輸入至多路復(fù)用層1032A。多路復(fù)用層1032A輸出多路復(fù)用碼流135A。
圖37例示了調(diào)節(jié)層1031A處理視頻碼流121A得到的輸出碼流1041A。調(diào)節(jié)層1031A上的處理以將視頻碼流121A分成特定單元的AL-SDUs(也可為訪問單元)為單元進(jìn)行。調(diào)節(jié)層處理一AL-SDU得到的輸出稱為-AL-PDU。圖37示出了一AL-PDU的格式。每一Al-PDU中加入了一Al頭。AL頭可包括表示AL-PUD的號及性質(zhì)，視頻編碼/多路復(fù)用方式等的信息。AL頭之后是作為AL有效負(fù)荷的AL-SOU。AL-SOU之后可設(shè)一用于檢測AL-PDU是否有傳輸路徑錯誤的校驗(yàn)比特，如CRC校驗(yàn)比特。
調(diào)節(jié)層1031A上，以上述方式處理語音碼流122A有數(shù)據(jù)碼流103A以輸出對應(yīng)于語音碼流及數(shù)據(jù)碼流的AL-PDUs1042A及1043A。然而注意，每一AL頭中設(shè)置的信息，CRC校驗(yàn)比特的長度及有/無等可不同于相應(yīng)于視頻碼流的AL-PDU1041A。
在多路復(fù)用層1032A上多路復(fù)用調(diào)節(jié)層1031A上產(chǎn)生的AL-PDUs1041A，1042A，1043A。以MUX-PDUs為單元進(jìn)行多路復(fù)用。圖38A至38C例示了多路復(fù)用得到的MUX-PDU。MUX-PDU中加入了多路復(fù)用同步碼(多路復(fù)用標(biāo)志)及一多路復(fù)用頭(MUX頭)。多路復(fù)用頭可包括與MUX-PDU一起被多路復(fù)用的，表示調(diào)節(jié)層輸出類型的信息，多路復(fù)用方式，及MUX-PDU長度等。
圖38A是一MUX-PDU中設(shè)置了一AL-PDU的情形。
圖38B例示了一AL-PDU被分成多個MUX-PDUs(此時為2)。此時，每一多路復(fù)用頭包括表示被劃分AL-PDU部分在MUX-ODU中，在整個AL-PDU中的序號的信息，或表示被劃分的AL-PDU部分是一Al-POU中第一還是最后一部分的信息。
圖38C例示了一MUX-PDU有多個AL-PDUs。圖38C例中，相應(yīng)于視頻碼流的AL-PDU(視頻AL-PDU)及相應(yīng)于語音碼流的一AL-PDU(音頻AL-PDU)被多路復(fù)用。此時，多路復(fù)用頭可包括表示MUX-PDU中多個AL-PDUs間邊界的信息。替代的，可在AL-PDUs間邊界處設(shè)一表示邊界的標(biāo)志。
如上述，調(diào)節(jié)層上以AL-SDUs或訪問單元為單元處理碼流。圖39A至39C例示一視頻碼流如何在調(diào)節(jié)層上被劃分。
圖39A至39C每一個示出了一個VOP被設(shè)為一訪問單元的情形。圖39A至39C分別相應(yīng)于圖34A至34C中的視頻碼流。
圖40A至40C每一個示出了一視頻包被設(shè)為一訪問單元的情形。圖40A至40C分別相應(yīng)于圖34A至34C中的視頻碼流。
如圖34B，34C所示，將視頻包分成形狀信息，運(yùn)動矢量信息，及DCT系數(shù)信息來編碼它時，訪問單元也可相應(yīng)地被分段。圖41A，41B分別相應(yīng)于圖34B及34C中的視頻碼流。表示邊界的形狀標(biāo)志(SM)及運(yùn)動標(biāo)志(MM)被設(shè)在形狀信息(形狀)，關(guān)于預(yù)測方式及運(yùn)動矢量的信息(運(yùn)動)，與關(guān)于誤差信號及一DCT系數(shù)的信息(細(xì)節(jié))之間以產(chǎn)生訪問單元。
多路復(fù)用同步碼時，如上述在多路復(fù)用層的碼流中加入表示MUX-PDUs或AL-PDUs間邊界的AL邊界標(biāo)志等，可從這些碼及標(biāo)志區(qū)分相應(yīng)訪問單元的開始位置。此時，可將訪問單元頭中的同步碼從視頻碼流中移去。圖42A至42C每一是一VOP作為一訪問單元被設(shè)置的情形。此時，可移去VOP頭中的VOP開始碼，圖43A至43C每一是一視頻包作為一訪問單元被設(shè)置的情形。此時可移去每一視頻包中的VOP開始碼及再同步標(biāo)志。圖44A至44B每一例示了形狀信息(形狀)，關(guān)于預(yù)測方式及運(yùn)動矢量的信息(運(yùn)動)及關(guān)于殘差信號及DCT系數(shù)的信息(細(xì)節(jié))每個形成一訪問單元。此時，可去掉每一視頻包頭中的VOP開始碼及再同步標(biāo)志及表示“形狀”，“運(yùn)動”，“細(xì)節(jié)”間的邊界的運(yùn)動標(biāo)志(MM)及形狀標(biāo)志(SM)。
如圖45A，45B所示，一訪問單元中可有一或多個視頻包。此時，如圖45B所示，僅可去掉每一訪問單元頭中的VOP開始碼或再同步標(biāo)志。類似地，圖34B，34C的碼流中，每一訪問單元可由多個視頻包組成。
如圖34B，34C所示，將視頻包分段成“形狀”，“運(yùn)動’及“細(xì)節(jié)”來編碼它時，每一訪問單元可由多個視頻包的一組形狀數(shù)據(jù)，運(yùn)動數(shù)據(jù)或細(xì)節(jié)數(shù)據(jù)組成。圖46A至46D每一例示了對圖34B中碼流進(jìn)行這樣的處理，且每一訪問單元由一組運(yùn)動數(shù)據(jù)或細(xì)節(jié)數(shù)據(jù)組成。在每一視頻包的“運(yùn)動”之前設(shè)一VOP頭及視頻包頭。
訪問單元可由多組以VOPs或任意數(shù)日視頻包為單元的“運(yùn)動”及“細(xì)節(jié)”組成。
這種訪問單元格式中，可在視頻包的“運(yùn)動’與“細(xì)節(jié)”的邊界處設(shè)一同步碼。圖46B例示了在運(yùn)動數(shù)據(jù)間的邊界處設(shè)一同步碼(RM)。圖46C及46D每一例示了在運(yùn)動數(shù)據(jù)間的邊界及細(xì)節(jié)數(shù)據(jù)間的邊界處設(shè)立同步碼(RM)。圖46D例示了在每一訪問單元的頭中設(shè)一同步碼(VSC)?！斑\(yùn)動’及“細(xì)節(jié)’可用不同的碼。如運(yùn)動標(biāo)志用于“運(yùn)動”，再同步標(biāo)志用于“細(xì)節(jié)”。
圖34C所示視頻碼流中，每一訪問單元也可由一組形狀數(shù)據(jù)，運(yùn)動數(shù)據(jù)或細(xì)節(jié)數(shù)據(jù)構(gòu)成。
如上述，可從重要程度不同的碼流中，如“形狀”，“運(yùn)動’，及“細(xì)節(jié)”，收集重要程度相同的碼流采形成每一訪問單元，并為每一訪問單元提供不同程度的差錯保護(hù)(如使用糾錯及檢錯碼，并進(jìn)行再傳)。用此方法，可根據(jù)相應(yīng)碼流的重要程度來執(zhí)行差錯保護(hù)，以在傳輸路徑有錯誤時改善解碼圖象的質(zhì)量。一般，形狀信息(形狀)，或方式信息或運(yùn)動矢量信息(運(yùn)動)中有傳輸錯誤時，解碼圖象質(zhì)量大大降低。為避免它，可使用適于形狀及運(yùn)動的糾錯碼以提供強(qiáng)差錯保護(hù)。與此相反，若殘差信號(細(xì)節(jié))中有傳輸路徑差錯，圖象質(zhì)量下降不大。其差錯保護(hù)不用太強(qiáng)，因此能減少糾錯碼，檢錯碼等產(chǎn)生的冗余。
上述從視頻碼流去掉同步碼的情形中，多路復(fù)用器130A可去掉視頻碼流121A中的同步碼，或視頻編碼器111A提前去掉將被送至多路復(fù)用器的視頻碼流中的同步碼。
圖39A至460任一例中，每一訪問單元的長度可被設(shè)為預(yù)定長度(如字節(jié))的整數(shù)倍。如圖35A，35B所示，一視頻碼流以N比特為單元被分成視頻包或VOPs，并在每一再同步標(biāo)志或每一開始碼之前設(shè)定填充比特，若每一訪問單元包括這些填充比特，可將每一訪問單元的長度設(shè)咸預(yù)定長度(如字節(jié))的整數(shù)倍。
若未對視頻碼流執(zhí)行此處理，可在每一訪問單元的尾加入填充比特以將每一訪問單元的長度設(shè)為預(yù)定長度(如字節(jié))的整數(shù)倍?？墒褂脠D35B中所示作為填充比特。此時，可象在視頻碼流中插入填充比特一樣，使用填充比特檢測出碼流中的錯誤。此外，除視頻碼流外，語音碼流及數(shù)據(jù)流中也可加入填充比特，以將每一訪問單元的長度設(shè)為預(yù)定長度(如字節(jié))的整數(shù)倍。
多路復(fù)用層上，多路復(fù)用有效負(fù)荷包括與多路復(fù)用同步信號相同的比特模式時，解碼器錯誤地判定該模式為多路復(fù)用同步碼。結(jié)果錯誤地檢測了MUX-PDUs間的邊界。即再現(xiàn)偽同步(也可為偽真)。若視頻編碼器產(chǎn)生一視頻碼流，其中在不是每一同步碼的地方，不產(chǎn)生與視頻碼流中同步碼(如VOP開始碼或再同步標(biāo)志)一致的比特模式，可使用一視頻同步碼來檢測多路復(fù)用層中是否有偽同步。
MUX-PDU的頭被調(diào)節(jié)至一AL-PDU的頭處以形成一MUX-PDU。圖38A至38C每一示出了一格式。每一AL-SDU(訪問單元)的頭中加入了一視頻同步碼。以此，經(jīng)一多路復(fù)用頭或一AL頭，一多路復(fù)用同步碼及一視頻同步碼相互鄰接。若解碼裝置錯誤地檢測一多路復(fù)用同步碼，此裝置接著檢測鄰近該被檢測碼的多路復(fù)用頭，一AL頭，及一視頻同步碼。然而由于被檢碼是一偽同步碼，若被檢信息作為一多路復(fù)用頭，一Al頭及一視頻同步碼被解碼，則得到錯誤的信息。故解多路復(fù)用器檢驗(yàn)被解碼的多路復(fù)用頭，AL頭，及視頻同步碼是否是正確信息。若判斷它們不正確，則被檢的多路復(fù)用同步碼為一偽同步碼。
圖48是多路復(fù)用器的第二示例。此例中，多路復(fù)用器被分為兩層，即一FlexMUX層及一TransMux層。FlexMux層被分為一調(diào)節(jié)子層(AL)及一多路復(fù)用于層。TransMux層分為一保護(hù)子層及一TransMUX子層。
圖49是FlexMUX層上產(chǎn)生的碼流。標(biāo)號1061A及1062A分別指調(diào)節(jié)子層及Mux子層上產(chǎn)生的碼流。包括表示待多路復(fù)用信息類型的信息，表示時間的信息等的AL頭(頭)1064A被輸入至調(diào)節(jié)子層。此外，多路復(fù)用待多路復(fù)用的包括視頻，音頻及數(shù)據(jù)碼流的有效負(fù)荷1066A(有效負(fù)荷)以產(chǎn)生一AL-PU。Mux子層上，加入表示Al-，PDU類型及信道號的索引1068A及表示AL-PDU長度的信息(長度)1069A以產(chǎn)生一FlexMux-PDU。
FlexMux層上產(chǎn)生的FLexMux-PDU被輸入至TransMUX層。TransMUX層寸采用圖36中多路復(fù)用器的結(jié)構(gòu)，此時，保護(hù)子層相應(yīng)于圖36中的調(diào)節(jié)層1031A，transmax子層相應(yīng)于圖36中的多路復(fù)用層1032A。替代的，圖36中結(jié)構(gòu)可用于transmax子層，而不用保護(hù)子層。
注意實(shí)施方式一至三中多路復(fù)用碼流的結(jié)構(gòu)可采用多路復(fù)用其中每個有長度被通過填充比特設(shè)成預(yù)定長度整數(shù)倍的單元碼流結(jié)構(gòu)，及收集同樣重要的同步碼字以形成訪問單元的結(jié)構(gòu)。
如圖45A，45B一樣，多個視頻包被設(shè)成一訪問單元時，可以圖50的方式在一幀中安排訪問單元與再同步標(biāo)志間的邊界。參考圖50，每一空板指有一再同步標(biāo)志的宏塊(即每一視頻包的第一宏塊)，每一全灰板指每一訪問單元中每一宏塊的位置。這種圖象中，因人體圖象重于背景信息，優(yōu)選人體圖象信息有高的抗傳輸路徑差錯性。故在人體圖象部分放了許多再同步標(biāo)志以短間隔安排視頻包，從而增強(qiáng)抗錯性，這樣能使圖象從傳輸路徑差錯中快速恢復(fù)出來。與此相反，由于背景部分不太重要，背景部分中可安排較少的再同步標(biāo)志以增加其視頻包的間隔。
從左上端宏塊至右下端宏塊以光柵掃描順序編碼一幀時，已給定宏塊中的錯誤將傳至右下端的宏塊。尤其是錯誤傳至一重要區(qū)域時，圖象質(zhì)量大大降低，故重要區(qū)域開始時的一宏塊被設(shè)置成一訪問單元中的第一宏塊，以避免另一宏塊中的錯誤影響重要區(qū)域。圖50例中，作為重要區(qū)域的人體圖象左端的宏塊是一訪問單元中的第一宏塊。
若一訪問單元的差錯保護(hù)強(qiáng)度可以改變，可根據(jù)幀中區(qū)域的重要性來改變強(qiáng)度。參考圖51，淺灰(陰影)區(qū)指有強(qiáng)差錯保護(hù)的一區(qū)(高QoS)它被分配給作為重要信息的人體部分。圖52A至52C每一個例示了對應(yīng)于這種圖象的訪問單元的格式。參考圖52A至52C，淺灰(陰影)區(qū)對應(yīng)于圖51中淺灰宏塊，它具有強(qiáng)差錯保護(hù)。
一視頻包被分成“運(yùn)功”及“細(xì)節(jié)”而編碼時，如圖52A至52C所示，“運(yùn)動”設(shè)在一訪問單元的前半部分，“細(xì)節(jié)”設(shè)在其后半部分。此外，圖51中淺灰所指重要區(qū)可分別設(shè)在前半部分與后半部分替代的，“運(yùn)動’及“細(xì)節(jié)”，可設(shè)在不同的訪問單元。并給相應(yīng)訪問單元的前半部分提供較強(qiáng)的差錯保護(hù)。用這種結(jié)構(gòu)，可給重要區(qū)的碼流中比其它部分更重要的“運(yùn)動”部分提供更強(qiáng)的差錯保護(hù)。
如上述，根據(jù)本發(fā)明，通過安排再同步標(biāo)志及使用訪問單元的格式，可以較小的額外頭(冗余)實(shí)現(xiàn)高的抗差錯性。一般，使用了再同步標(biāo)志及提供強(qiáng)差保護(hù)時，額外頭增加了。然而，若分配給作為重要信息的人體等許多再同步標(biāo)志以加強(qiáng)對其的差錯保護(hù)，而給不大重要的區(qū)域如背景部分很少的同步標(biāo)志以減弱差錯保護(hù)，與再同步標(biāo)志被均勻分給整個圖象，其差錯保護(hù)也均勻的情形相比，在同樣的平均額外頭下，重要信息有高的抗差錯性。
給圖51中的重要信息如人體部分分配了許多再同步標(biāo)志時，相應(yīng)地每一視頻包的長度大大減少。因此若每一視頻包分配給一訪問單元，則基于AL頭，多路復(fù)用頭，多路復(fù)用同步碼等的額外頭大大增加。此時，如圖45A，45B所示，一訪問單元中優(yōu)選設(shè)有多個視頻包以減少額外頭。
圖51示出了圖1中編碼裝置的編碼器103的電路結(jié)構(gòu)。根據(jù)該結(jié)構(gòu)，輸入至編碼器103的圖象信息首先被送至運(yùn)動補(bǔ)償電路1036。此時，運(yùn)動補(bǔ)償電路1036在輸入圖象信息及存于幀存貯器1035中的前一幀信息之間進(jìn)行運(yùn)動補(bǔ)償，減法器1030計算補(bǔ)償后當(dāng)前幀的信息與前一幀信息的差異。反差異信息離散余弦變換電路(DCT)1031進(jìn)行DCT變換，并被量化器1022量化，結(jié)果信息被送至變長編碼器1038。
量化器1032出來的信息被解量化器(IQ)1033解量化。結(jié)果被逆離散余弦變換電路(IDCT)1034進(jìn)行DCT變換。逆離散余弦變換電路1034的輸出與運(yùn)動補(bǔ)償電路1036出來的運(yùn)動補(bǔ)償信息在加法器1037中被加在一起；加法器1037出來的信息成為當(dāng)前幀的解碼圖象信息，即本地解碼圖象。此本地解碼圖象信息被存于幀存貯器1035以用作編碼下一幀的運(yùn)動補(bǔ)償數(shù)據(jù)。
送于變長編碼器1038的量化信息被變長編碼。結(jié)果被送至重要信息指定電路1039。此重要信息指定電路1039僅從變長編碼信息中抽取外部指定的章要信息部分，并將官送至重要頭信息重構(gòu)電路104。注意所有信息被送至比特串重構(gòu)電路107，不管重要信息指定電路1039是否指定了重要信息。
圖54是圖2所示解碼裝置中解碼器124的電路結(jié)構(gòu)。根據(jù)該結(jié)構(gòu)，解多路復(fù)用器121送來的信息被暫存于接收緩沖器1241。由此，對同步檢測器122送來的解碼開始位置信息作出響應(yīng)，將隨后的頭信息送往一頭解碼器1242。解碼器1242解碼頭信息。此時，首先解碼最上層的頭信息，已解碼信息被送至檢驗(yàn)信息中是否有錯誤的檢錯電路125。根據(jù)指定信息判定電路123的指定解碼隨后層的頭信息。即指定有重要頭信息時，解碼預(yù)定位置的信息作為重要頭信息。此重要信息被送至重要信息電路126以暫存于其中。重要信息電路126檢測出最上層頭信息有錯誤時，由于重要信息電路126來的重要頭信息被送回解碼器1242，通過使用重要信息電路126來的重要頭信息，解碼器1242繼續(xù)隨后的解碼處理。
解量化器1243解量化頭信息之后的信息(實(shí)際圖象信息)。其結(jié)果被送至IDCT電路1244。IDCT電路1244計算已解量化信息的逆離散余弦變換，并解碼當(dāng)前幀與前一幀之間差異信號。加法器1245將此已解碼差異信號加至存于幀存貯器1246中的前一幀信息(用運(yùn)動矢量信息進(jìn)行運(yùn)動補(bǔ)償后的前一幀信息)。此加法結(jié)果信號就是當(dāng)前幀的重構(gòu)圖象信息。此信息被送至D/A電路127，并被存于幀存貯器1246。
上述實(shí)施方式中的編碼/解碼裝置結(jié)構(gòu)及流結(jié)構(gòu)可以互相混合，如果需要。此外，相應(yīng)的編碼/解碼工作可被基于軟件控制的過程代替。相應(yīng)的軟件程序及編碼碼流可存于存貯介質(zhì)中。
如上述，根據(jù)本發(fā)明，由于碼流結(jié)構(gòu)本身有抗差錯性，即使重要信息如頭信息有錯誤，該信息不能用于解碼，通過使用指定信息指定的新信息作為替代可正確地繼續(xù)解碼。此外，由于已用糾錯碼及檢錯碼為重要信息如視頻雞流中的圖象頭及切片頭提供了強(qiáng)的差錯保護(hù)，與未給重要信息提供足夠差錯保護(hù)的傳統(tǒng)視頻編碼裝置及傳統(tǒng)多路復(fù)用裝置相比，即使有傳輸路徑錯誤，也能解碼出一高質(zhì)量視頻信號。另外，由于通過加入填充比特產(chǎn)生了長度為預(yù)定數(shù)目整數(shù)倍的多路復(fù)用單元碼流，能輕易檢測出錯誤。還有，由對于通過收集同樣重要的碼字形成了訪問單元，可根據(jù)碼字的重要程度提供差錯保護(hù)。結(jié)果在傳輸路徑有錯時改善了解碼圖象的質(zhì)量。
權(quán)利要求
1.一種用于信息傳送系統(tǒng)的編碼設(shè)備，所述信息傳送系統(tǒng)用于傳送被分成二層或更多層、并將解碼編碼信息所需的同步信號和頭信息加至每一層的編碼信息，該編碼設(shè)備包括添加單元，用于向編碼信息添加用于重構(gòu)已從上面的層傳送的信息或部分所述信息，已在同一層內(nèi)傳送的信息或部分所述信息，或已從上面的層或在同一層內(nèi)傳送的信息的內(nèi)容或部分所述信息的內(nèi)容的信息，作為用于重構(gòu)編碼信息的重構(gòu)信息；傳送單元，用于傳送向其添加了重構(gòu)信息的編碼信息；以及插入單元，用于將表示已添加了重構(gòu)信息、并且具有給定比特模式的指定信息插入頭信息。
2.如權(quán)利要求1的編碼設(shè)備，其中編碼信息包含通過壓縮編碼視頻信號而獲得的視頻碼流，重構(gòu)信息包括表示視頻碼流的每個視頻幀的顯示時間的信息。
3.一種用于信息傳送系統(tǒng)的編碼設(shè)備，所述信息傳送系統(tǒng)用于傳送向其添加了解碼編碼信息所需的同步信號和頭信息的編碼信息，該編碼設(shè)備包括添加單元，用于向編碼信息添加允許重構(gòu)已傳送的信息或部分所述信息、信息的內(nèi)容或部分所述信息的內(nèi)容的信息，作為用于重構(gòu)編碼信息的重構(gòu)信息；傳送單元，用于傳送向其添加了重構(gòu)信息的編碼信息；以及插入單元，用于將表示已添加了重構(gòu)信息、并且具有給定比特模式的指定信息插入頭信息。
4.如權(quán)利要求3的編碼設(shè)備，其中編碼信息包含通過壓縮編碼視頻信號而獲得的視頻碼流，重構(gòu)信息包括表示視頻碼流的每個視頻幀的顯示時間的信息。
5.一種用于信息傳送系統(tǒng)的編碼設(shè)備，所述信息傳送系統(tǒng)用于傳送被分成二層或更多層、并將解碼編碼信息所需的同步信號和頭信息加至每一層的編碼信息，該編碼設(shè)備包括添加單元，用于向編碼信息添加用于重構(gòu)已從上面的層傳送的信息或部分所述信息、已在同一層內(nèi)傳送的信息或部分所述信息、已從上面的層或在同一層內(nèi)傳送的信息的內(nèi)容或部分所述信息的內(nèi)容的信息，作為用于重構(gòu)編碼信息的重構(gòu)信息，所述重構(gòu)信息包括表示視頻碼流的每個視頻幀的預(yù)測模式的信息；傳送單元，用于傳送向其添加了重構(gòu)信息的編碼信息；以及插入單元，用于將表示已添加了重構(gòu)信息、并且具有給定比特模式的指定信息插入頭信息。
6.如權(quán)利要求5的編碼設(shè)備，其中重構(gòu)信息包括表示視頻碼流的每個視頻幀的顯示時間的信息。
7.一種用于信息傳送系統(tǒng)的編碼設(shè)備，所述信息傳送系統(tǒng)用于傳送包括通過壓縮編碼視頻信號而獲得的視頻流的編碼信息，其中向所述編碼信息添加了解碼編碼信息所需的同步信號和頭信息，該編碼設(shè)備包括添加單元，用于向編碼信息添加允許重構(gòu)已傳送的信息或部分所述信息，信息的內(nèi)容或部分所述信息的內(nèi)容的信息，作為用于重構(gòu)編碼信息的重構(gòu)信息，所述重構(gòu)信息包括表示視頻碼流的每個視頻幀的預(yù)測模式的信息；傳送單元，用于傳送向其添加了重構(gòu)信息的編碼信息；以及插入單元，用于將表示已添加了重構(gòu)信息、并且具有給定比特模式的指定信息插入頭信息。
8.如權(quán)利要求7的編碼設(shè)備，其中重構(gòu)信息包括表示視頻碼流的每個視頻幀的顯示時間的信息。
全文摘要
信息傳輸方法中，比特流本身有抗差錯性使重要信息如頭信息，有錯誤時也能正確解碼。編碼裝置中比特流重構(gòu)電路(107)將同步信號加至編碼器(103)以某種比特流單元編碼所得的編碼數(shù)據(jù)流的頭，然后用指定信息插入電路(106)將指定信息插入每一比特流。每一指定信息表示重構(gòu)重要頭信息的信息的加入。通過在所得比特流中插入指定信息，可將重構(gòu)信息加至比特流。故即使頭信息有錯誤，使信息不能用于解碼，也能通過使用指定信息指定的新重構(gòu)信息作為替代繼續(xù)進(jìn)行正確解碼。
文檔編號H04N7/52GK1941904SQ20061009579
公開日2007年4月4日 申請日期1997年9月2日 優(yōu)先權(quán)日1996年9月2日
發(fā)明者渡邊敏明, 菊池義浩, 中條健, 永井剛 申請人:株式會社東芝