專利名稱：：Videostreaming的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻流傳送。
背景技術(shù)：
：過(guò)去20年間開發(fā)的視頻壓縮技術(shù)都是基于運(yùn)動(dòng)補(bǔ)償變換編碼。其基本思想是對(duì)一幀圖像(image)進(jìn)行編碼并將該圖像作為下一幀圖像的預(yù)測(cè)。從源圖片(picture)中減去預(yù)測(cè)圖像從而去除了時(shí)間冗余，于是得到了用基于塊(block)的變換編碼技術(shù)進(jìn)行編碼的預(yù)測(cè)余差(residual)。源圖片通常被劃分為16X16個(gè)稱為宏塊的區(qū)域。編碼器在一個(gè)或多個(gè)先前已編碼并存儲(chǔ)的圖片中搜索當(dāng)前宏塊的較佳匹配或預(yù)測(cè)。參考圖片中與當(dāng)前宏塊位置相同(co-located)的宏塊和用于預(yù)測(cè)當(dāng)前宏塊的像素區(qū)域之間的位移被稱為運(yùn)動(dòng)矢量。使用來(lái)自先前圖像的預(yù)測(cè)(被稱為幀間編碼技術(shù))來(lái)編碼宏塊的一種替代方案是在不參照先前已編碼圖片的情況下來(lái)編碼宏塊。這被稱為幀內(nèi)編碼技術(shù)。在早期壓縮標(biāo)準(zhǔn)中，幀內(nèi)編碼是通過(guò)去掉減法器并直接變換和量化源圖片而簡(jiǎn)單實(shí)現(xiàn)的。在后期的標(biāo)準(zhǔn)中，在變換和量化處理之前，使用當(dāng)前圖片的已編碼像素的各種空間預(yù)測(cè)形式被用于去除源宏塊中的冗余。源圖片與預(yù)測(cè)之間的差異(稱為預(yù)測(cè)誤差，或預(yù)測(cè)余差)通常采用基于塊的變換被變換到頻域，然后用標(biāo)量量化器進(jìn)行量化，并對(duì)產(chǎn)生的量化系數(shù)進(jìn)行熵編碼。為了滿足某種預(yù)定的比特率限制，例如為獲得在恒定比特率網(wǎng)絡(luò)上進(jìn)行傳輸?shù)暮愣ū忍芈?，?biāo)量量化器的范圍通常允許由量化處理引起的失真與熵編碼所產(chǎn)生的比特?cái)?shù)之間實(shí)現(xiàn)權(quán)衡。目前已經(jīng)頒布了許多視頻編解碼的國(guó)際標(biāo)準(zhǔn)，著名的有ITU的H系列標(biāo)準(zhǔn)和ISO/IECMPEG系列標(biāo)準(zhǔn)。前面已經(jīng)提到可以在不參照先前已編碼幀來(lái)進(jìn)行宏塊編碼，通常是在找不到適合于預(yù)測(cè)的先前編碼宏塊的情況下采用這種技術(shù)，另外，也可以周期性地強(qiáng)制進(jìn)行幀內(nèi)編碼，以限制傳輸誤差的傳播。也可以不參考先前已編碼的幀來(lái)編碼整個(gè)幀，即所謂的幀內(nèi)幀或I幀。自然地，要編碼的第一幀必然是這種類型；原則上，之后不必采用I幀，然而，一些編碼器包括場(chǎng)景改變檢測(cè)器，該場(chǎng)景改變檢測(cè)器只要檢測(cè)到場(chǎng)景改變就會(huì)觸發(fā)I幀的生成。Farberetal(〃RobustH.263compatiblevideotransmissionformobileaccesstovideoservers",ProceedingsoftheInternationalConferenceonImageProcessingICIP1997，IEEE,US,vol.2(26October1997)pp.73-76)提出了一種具有第一流的服務(wù)器，該第一流完全由以幀間模式(P幀)編碼的幀構(gòu)成。他們還提供了完全由I幀構(gòu)成的第二比特流(僅每N個(gè)幀進(jìn)行編碼)以用于隨機(jī)訪問(wèn)。從I幀流切換到P幀流要通過(guò)第三“S流”。通常為允許從編碼序列的開始點(diǎn)以外的某個(gè)點(diǎn)完成解碼，也有一些編碼器以一定間隔插入規(guī)則的I幀。例如，目前UK數(shù)字廣播電視每秒至少一次，通常是每秒兩次插入幀內(nèi)幀。編碼視頻常被認(rèn)為具有1秒(或0.5秒)的GOP(圖片組)，在每個(gè)GOP的開始都有“同步幀”。這就是切換到數(shù)字廣播的任何人在解碼器可以開始顯示視頻前必須等候最短的可能時(shí)間的原因。與其他圖片類型相比，幀內(nèi)幀的編碼比特代價(jià)是高的，因此在編碼效率與隨機(jī)訪問(wèn)功能之間有一個(gè)權(quán)衡。出于類似原因，一些視頻點(diǎn)播(VOD)系統(tǒng)也針對(duì)編碼電影和電視節(jié)目使用這種1秒GOP結(jié)構(gòu)以便從特技播放操作返回。幀內(nèi)幀被一輸入(import)處理拔除并被以各種比特率單獨(dú)進(jìn)行流傳送以提供諸如倒帶和快進(jìn)的特技播放模式，當(dāng)觀眾從特技播放退出時(shí)，他可以在需要的點(diǎn)直接回到視頻節(jié)目中。在帶寬受限的條件下，頻繁定期地插入幀內(nèi)幀的問(wèn)題在于為保持在比特預(yù)算范圍內(nèi)，需要相對(duì)于周圍幀以較低的視覺質(zhì)量對(duì)幀內(nèi)幀進(jìn)行編碼。所導(dǎo)致的圖片質(zhì)量劣化在足球內(nèi)容中尤其明顯。其結(jié)果是每個(gè)同步幀(每秒)產(chǎn)生一個(gè)脈沖贗像，該脈沖贗像在足球運(yùn)動(dòng)的遠(yuǎn)射上體現(xiàn)地尤為明顯。
發(fā)明內(nèi)容本發(fā)明提供了一種對(duì)視頻源材料進(jìn)行流傳送的方法，該方法包括以下步驟使用幀間編碼和幀內(nèi)編碼的組合、根據(jù)所述視頻源材料來(lái)生成第一編碼信號(hào)，其中第一信號(hào)具有夾雜了幀間編碼圖像的幀內(nèi)編碼圖像，且在預(yù)定持續(xù)時(shí)間的每個(gè)連續(xù)的第一設(shè)定時(shí)間段內(nèi)，幀內(nèi)編碼圖像被強(qiáng)制出現(xiàn)至少一次；使用幀間編碼和幀內(nèi)編碼的組合、根據(jù)所述視頻源材料來(lái)生成第二編碼信號(hào)，其中第二信號(hào)具有夾雜了幀間編碼圖像的幀內(nèi)編碼圖像，且?guī)瑑?nèi)編碼圖像全部或主要出現(xiàn)在由所述視頻源材料中的場(chǎng)景改變的識(shí)別所決定的時(shí)刻；響應(yīng)于對(duì)所述視頻源材料進(jìn)行流傳送或繼續(xù)進(jìn)行(resumption)流傳送的命令(a)從幀內(nèi)編碼圖像開始對(duì)第一編碼信號(hào)進(jìn)行流傳送；(b)在與第二編碼信號(hào)的幀內(nèi)編碼圖像一致的點(diǎn)，停止對(duì)第一編碼信號(hào)的流傳送并取而代之從幀內(nèi)編碼圖像開始對(duì)第二編碼信號(hào)進(jìn)行流傳送。本發(fā)明的其他方面在權(quán)利要求書中作了限定。現(xiàn)在將借助實(shí)例并參照附圖來(lái)描述本發(fā)明的一些實(shí)施方式，其中圖1是本發(fā)明實(shí)施方式中使用的第一形式的視頻編碼器的框圖；圖2是本發(fā)明實(shí)施方式中使用的第二形式的視頻編碼器的框圖；圖3是視頻流傳送服務(wù)器的框圖。具體實(shí)施例方式圖1示出了一種視頻編碼器。在輸入端1接收視頻信號(hào)(通常為數(shù)字形式)。減法器2形成了輸入信號(hào)與來(lái)自預(yù)測(cè)器緩沖器3的預(yù)測(cè)信號(hào)之間的差，隨后對(duì)該差進(jìn)行進(jìn)一步編碼。例如，這里執(zhí)行的編碼可以包括變換編碼4、閾值化(抑制零或最小差異的傳輸)、量化5和/或可變長(zhǎng)度編碼6。預(yù)測(cè)器存儲(chǔ)器3的輸入是預(yù)測(cè)信號(hào)與在8、9處經(jīng)過(guò)解碼的編碼差信號(hào)的和(因此編碼和解碼處理中的信息損失被包括在預(yù)測(cè)器循環(huán)中)，該和形成于加法器7處。反量化器8、反變換9、加法器7以及存儲(chǔ)器3和運(yùn)動(dòng)補(bǔ)償10構(gòu)成了本地解碼器。可以在編碼器輸出12和解碼器輸入(未示出)提供緩沖以允許在恒定比特率信道上進(jìn)行傳輸。也包括運(yùn)動(dòng)估計(jì)器13。該運(yùn)動(dòng)估計(jì)器13將圖片的正在被編碼的幀與預(yù)測(cè)器幀進(jìn)行比較對(duì)于當(dāng)前幀的每個(gè)塊(圖像被認(rèn)為劃分為快)，運(yùn)動(dòng)估計(jì)器13識(shí)別出先前幀的與該區(qū)域最接近相似的區(qū)域。所識(shí)別區(qū)域與正談及的塊之間的位置向量差被稱為運(yùn)動(dòng)矢量(因?yàn)樵陔娨晥D片所描述的場(chǎng)景中它通常代表目標(biāo)的運(yùn)動(dòng))，該運(yùn)動(dòng)矢量被應(yīng)用于運(yùn)動(dòng)補(bǔ)償單元10，運(yùn)動(dòng)補(bǔ)償單元10用于將先前幀的標(biāo)識(shí)區(qū)域移動(dòng)到當(dāng)前幀的相關(guān)塊的位置，由此產(chǎn)生較好的預(yù)測(cè)。這將導(dǎo)致減法器2所形成的差平均來(lái)講較小，并且允許在4、5處進(jìn)行編碼，以使用相比其他情形更低的比特率來(lái)編碼圖像。然而該編碼器不總是采用幀間編碼。一些標(biāo)準(zhǔn)規(guī)定，編碼器對(duì)于每個(gè)宏塊判定是否要使用運(yùn)動(dòng)補(bǔ)償幀間差編碼來(lái)對(duì)該宏塊進(jìn)行編碼，或者對(duì)該宏塊使用幀內(nèi)編碼是否在比特上更經(jīng)濟(jì)。該判定通過(guò)控制單元14來(lái)實(shí)現(xiàn)如果要使用幀內(nèi)編碼，則不再將“先前圖像”預(yù)測(cè)提供給減法器。在圖1中這由開關(guān)15示意性指示。該判定也被發(fā)送到解碼器以控制相似的開關(guān)。幀內(nèi)編碼并不是簡(jiǎn)單地編碼實(shí)際像素值，而是使用根據(jù)同一圖片中的先前已解碼像素的預(yù)測(cè)來(lái)調(diào)用幀內(nèi)差編碼。然而附圖并未對(duì)此進(jìn)行圖示。圖1的編碼器工作在第一模式，即自由模式，其中場(chǎng)景改變檢測(cè)器16識(shí)別場(chǎng)景改變并通過(guò)支配開關(guān)15的操作來(lái)作出響應(yīng)從而強(qiáng)制生成幀內(nèi)幀。圖2示出了第二模式，即固定模式的編碼器，其除了具有計(jì)時(shí)器17而非檢測(cè)器16外，與圖1的編碼器的結(jié)構(gòu)是相同的，該計(jì)時(shí)器17對(duì)開關(guān)15產(chǎn)生定期支配信號(hào)從而強(qiáng)制以1秒或0.5秒的間隔生成I幀。在I幀之間執(zhí)行最小時(shí)間的另一種替代方式為只要從先前I幀經(jīng)過(guò)了1秒(或者相關(guān)的期望時(shí)段)，便強(qiáng)制生成I幀。圖3示出了用于將視頻流傳送到客戶終端的服務(wù)器20，其中僅示出了一個(gè)客戶終端30。源視頻由具有圖1結(jié)構(gòu)的自由模式編碼器21和具有圖2結(jié)構(gòu)的固定模式編碼器21’進(jìn)行編碼，由此產(chǎn)生了兩種視頻編碼(一種具有固定GOP結(jié)構(gòu)，而另一種具有僅與視頻中的場(chǎng)景改變相關(guān)的自由GOP結(jié)構(gòu))，它們分別被存儲(chǔ)或緩沖在緩沖器12、12’中。另選的是，可采用單個(gè)編碼器(同時(shí)具有檢測(cè)器16和計(jì)時(shí)器17并且可在兩種模式之間進(jìn)行切換)依次以兩種不同模式兩次完成兩種編碼，此種情形下需要足夠大的緩沖器來(lái)容納整個(gè)序列?？蛇x擇性提供第三緩沖器12”來(lái)存儲(chǔ)同一視頻序列的一個(gè)或多個(gè)特技播放編碼版本。這些版本可以通過(guò)從緩沖器12’中選擇I幀或提供第三編碼器來(lái)產(chǎn)生?？刂茊卧?2用于接收來(lái)自客戶終端30的用于進(jìn)行視頻流傳送的命令，因此用戶可以啟動(dòng)流傳送并根據(jù)情況在編碼模式間進(jìn)行切換以實(shí)現(xiàn)充分的隨機(jī)訪問(wèn)功能。在無(wú)特技播放場(chǎng)景下，用戶可按下“播放”來(lái)觸發(fā)對(duì)于控制單元22的啟動(dòng)從來(lái)自緩沖器12的自由模式內(nèi)容開始的流傳送并直接觀看內(nèi)容。在這種情況下，用戶將僅看到自由GOP結(jié)構(gòu)視頻(即無(wú)(或非常小)抖動(dòng)或贗像，總體上對(duì)于相同質(zhì)量可能具有較低的比特率)。當(dāng)客戶終端發(fā)送特技播放命令時(shí)，取而代之會(huì)觸發(fā)來(lái)自緩沖器12”的特技播放編碼的流傳送——如命令中所指定的，快進(jìn)/倒帶模式。用戶將看到特技模式。當(dāng)客戶終端收到終止特技播放并返回到正常播放的命令時(shí)，控制單元(a)終止特技播放編碼的流傳送；(b)然后切換到來(lái)自緩沖器12’的規(guī)則GOP編碼視頻——但是只要需要用戶就將一直停留在該流中直到他到達(dá)與緩沖器12中的自由GOP視頻的下一個(gè)可用同步幀(幀內(nèi)幀)相對(duì)應(yīng)的幀為止，從而從特技模式返回后贗像僅出現(xiàn)短暫時(shí)間。(c)因此，當(dāng)?shù)竭_(dá)該點(diǎn)時(shí)，控制單元停止來(lái)自緩沖器12’的固定GOP編碼的流傳送并啟動(dòng)來(lái)自緩沖器12的流傳送。同步幀位置需要被確定并在流傳送之前對(duì)于控制單元可用。實(shí)現(xiàn)上述目的的一種方法是解析所得到的編碼比特流并在獨(dú)立的索引文件中記錄同步點(diǎn)位置。一些容器格式(例如MP4文件)也以特殊表格來(lái)存儲(chǔ)該信息。MP4文件頭具有stss(sampletablesyncsamples)頭結(jié)構(gòu)。在自由模式編碼器21中，場(chǎng)景改變檢測(cè)器將每10秒左右觸發(fā)至少一個(gè)同步幀在統(tǒng)計(jì)角度上是可能的(在經(jīng)常引證的典型場(chǎng)景持續(xù)時(shí)間為8秒或更少的電影中可能性更高)；然而如果需要的話，可以增加計(jì)數(shù)器18(圖1虛線框所示)來(lái)確保上述目標(biāo)。在識(shí)別出每個(gè)場(chǎng)景改變時(shí)將計(jì)數(shù)器復(fù)位到0。然而，如果計(jì)數(shù)超過(guò)10秒將支配開關(guān)15來(lái)生成I幀。注意圖1和2的編碼器根據(jù)需要可以由H.264編碼器來(lái)實(shí)現(xiàn)。許多商業(yè)可用編碼器都可支持合適的設(shè)置；例如，由法國(guó)AtemeBievresSA制造的編碼器，可以被設(shè)置用于固定GOP尺寸，或者用于最小和最大GOP尺寸。具有上述提到的10秒限度的自由模式操作可以通過(guò)將最大GOP尺寸設(shè)置為10來(lái)獲得。具有1秒速率的固定模式需要將固定GOP尺寸設(shè)置為1秒。正常情況下，從特技播放到自由模式的轉(zhuǎn)換是經(jīng)由固定模式視頻的短時(shí)流傳送來(lái)實(shí)現(xiàn)的。然而，如果需要，也可以是這樣的在接收到終止特技播放并返回到正常播放的命令時(shí)，首先確定自由模式編碼中的同步幀是否緊急可用，并在此情形下直接切換到它，忽略固定模式編碼的流傳送。通常情況下，調(diào)用該選項(xiàng)的標(biāo)準(zhǔn)是到下一個(gè)自由模式I幀的時(shí)間間隔是否小于等于固定模式編碼中的同步幀之間的最小時(shí)間(或可能為該數(shù)值的1.5倍)。本發(fā)明的第二實(shí)施例不涉及固定模式流的使用，而涉及在特技播放之后直接切換到自由模式流。在這種情況下，通過(guò)如下方式來(lái)處理定時(shí)中斷，在快進(jìn)播放情形下，播放跳回到最近的同步幀，或者在倒帶播放情形下，向前跳到目標(biāo)自由模式編碼中最近的同步幀。在更完善的實(shí)現(xiàn)中，從快進(jìn)退出后，允許小幅前跳。實(shí)現(xiàn)它的一種算法是，如果在特技播放流的退出點(diǎn)之后的X幀的設(shè)定時(shí)段內(nèi)的目標(biāo)流中存在同步幀，那么該同步幀被選擇，否則在退出點(diǎn)之前從最近的同步幀進(jìn)入自由模式流。X值可能不超過(guò)1秒，如果快進(jìn)幀速率是正常播放幀速率的N倍，那么χ典型地等于N或2N。權(quán)利要求一種對(duì)視頻源材料進(jìn)行流傳送的方法，該方法包括以下步驟使用幀間編碼和幀內(nèi)編碼的組合、根據(jù)所述視頻源材料來(lái)生成第一編碼信號(hào)，其中第一信號(hào)具有夾雜了幀間編碼圖片的幀內(nèi)編碼圖片，且在預(yù)定持續(xù)時(shí)間的每個(gè)連續(xù)的第一設(shè)定時(shí)間段內(nèi)，所述幀內(nèi)編碼圖片被強(qiáng)制出現(xiàn)至少一次；使用幀間編碼和幀內(nèi)編碼的組合、根據(jù)所述視頻源材料來(lái)生成第二編碼信號(hào)，其中第二信號(hào)具有夾雜了幀間編碼圖片的幀內(nèi)編碼圖片，且所述幀內(nèi)編碼圖片全部或主要出現(xiàn)在由所述視頻源材料中的場(chǎng)景改變的識(shí)別所確定的時(shí)刻；響應(yīng)于對(duì)所述視頻源材料進(jìn)行流傳送或繼續(xù)進(jìn)行流傳送的命令(a)從幀內(nèi)編碼圖片開始對(duì)第一編碼信號(hào)進(jìn)行流傳送；(b)在與所述第二編碼信號(hào)的幀內(nèi)編碼圖片一致的點(diǎn)，停止對(duì)第一編碼信號(hào)的流傳送并取而代之從該幀內(nèi)編碼圖片開始對(duì)第二編碼信號(hào)進(jìn)行流傳送。2.根據(jù)權(quán)利要求1所述的方法，其中，在第一編碼信號(hào)中，所述幀內(nèi)編碼圖片被強(qiáng)制按照第一設(shè)定時(shí)間段規(guī)則地出現(xiàn)。3.根據(jù)權(quán)利要求1或2所述的方法，其中，第一設(shè)定時(shí)段是1秒或更少。4.根據(jù)權(quán)利要求1、2或3所述的方法，其中，在第二信號(hào)中，所述幀內(nèi)編碼圖片僅出現(xiàn)在(a)由所述視頻源材料中的場(chǎng)景改變的識(shí)別所確定的時(shí)刻和(b)在從先前幀內(nèi)編碼幀開始的第二設(shè)定時(shí)間段內(nèi)未識(shí)別出場(chǎng)景改變的事件中，其中，第二設(shè)定時(shí)間段的持續(xù)時(shí)間比第一設(shè)定時(shí)間段的持續(xù)時(shí)間要長(zhǎng)。5.根據(jù)權(quán)利要求4所述的方法，其中，第二設(shè)定時(shí)段是第一設(shè)定時(shí)段的至少5倍。6.根據(jù)權(quán)利要求5所述的方法，其中，第二設(shè)定時(shí)段是第一設(shè)定時(shí)段的至少8倍。7.根據(jù)權(quán)利要求4、5或6所述的方法，其中，第二設(shè)定時(shí)段是至少5秒。8.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，該方法還包括以下步驟在接收到對(duì)所述視頻源材料進(jìn)行流傳送或繼續(xù)進(jìn)行流傳送的所述命令之前根據(jù)所述視頻源材料來(lái)生成用于特技播放的第三編碼信號(hào)；對(duì)第二編碼信號(hào)進(jìn)行流傳送；以及響應(yīng)于特技播放命令，取代第二編碼信號(hào)來(lái)對(duì)所述第三編碼信號(hào)進(jìn)行流傳送；并且在接收到對(duì)所述視頻源材料的進(jìn)行流傳送或繼續(xù)進(jìn)行流傳送的所述命令時(shí)，停止對(duì)所述第三編碼信號(hào)的流傳送。9.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其中，步驟(a)中對(duì)第一編碼信號(hào)進(jìn)行流傳送的條件是在第三設(shè)定時(shí)間段內(nèi)，第二編碼信號(hào)中沒(méi)有幀內(nèi)編碼圖片。全文摘要文檔編號(hào)H04N7/24GK101953164SQ20098010599公開日2011年1月19日申請(qǐng)日期2009年1月23日優(yōu)先權(quán)日2008年2月21日發(fā)明者M(jìn)ulroyPatrickJoseph申請(qǐng)人:BritishTelecomm