用于流式傳輸內(nèi)容的方法和裝置的制造方法
【專利說明】
【背景技術(shù)】
[0001]當(dāng)前的自適應(yīng)流式傳輸解決方案通過在互聯(lián)網(wǎng)帶寬可用時提供高的觀看質(zhì)量、并且在互聯(lián)網(wǎng)帶寬減小時(例如，由于擁塞)提供較低的觀看質(zhì)量來對盡力而為的(best-effort)互聯(lián)網(wǎng)進(jìn)行補(bǔ)償。隨著視頻分辨率和比特率增加，當(dāng)前的自適應(yīng)流式傳輸解決方案不太能夠持續(xù)地傳送高分辨率的視頻而沒有質(zhì)量波動。
【附圖說明】
[0002]通過下面結(jié)合附圖所闡述的【具體實(shí)施方式】，本公開內(nèi)容的實(shí)施例的特征和優(yōu)點(diǎn)將變得更顯而易見。提供附圖和相關(guān)聯(lián)的描述是為了說明本公開內(nèi)容的實(shí)施例，而并非為了限制所請求保護(hù)的范圍。
[0003]圖1A示出了可縮放視頻編碼(SVC)標(biāo)準(zhǔn)的層；
[0004]圖1B示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的視頻傳送系統(tǒng)的圖；
[0005]圖2示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的視頻傳送系統(tǒng)的圖；
[0006]圖3示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的視頻傳送系統(tǒng)的圖；
[0007]圖4示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的視頻傳送系統(tǒng)的圖；
[0008]圖5示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的編碼過程的流程圖；以及
[0009]圖6示出了根據(jù)本公開內(nèi)容的一種實(shí)現(xiàn)方式的解碼過程的流程圖。
【具體實(shí)施方式】
[0010]在下面的【具體實(shí)施方式】中，給出了眾多特定的細(xì)節(jié)以提供對本公開內(nèi)容的透徹理解。然而，對本領(lǐng)域普通技術(shù)人員來說將顯而易見的是，可以不需要這些特定的細(xì)節(jié)中的某些細(xì)節(jié)來實(shí)施所公開的各種實(shí)現(xiàn)方式。在其它實(shí)例中，沒有詳細(xì)地示出公知的結(jié)構(gòu)和技術(shù)，以避免不必要地混淆各種實(shí)現(xiàn)方式。
[0011]圖1A示出了諸如可縮放視頻編碼(SVC) (H.264/AVC編碼標(biāo)準(zhǔn)的擴(kuò)展)之類的分層編碼方案。雖然本公開內(nèi)容討論了 SVC標(biāo)準(zhǔn)，但本公開內(nèi)容不限于SVC，如可以使用其它的分層編碼方案。SVC是用于對包含一個或多個子集比特流或?qū)拥母哔|(zhì)量視頻比特流進(jìn)行編碼的標(biāo)準(zhǔn)。通過從較大的視頻比特流中丟棄分組來獲得新的層，從而減少了該層所需要的帶寬。該層可以表示較低的分辨率，例如較低的空間分辨率(較小的屏幕)、較低的時間分辨率(較低的幀率)、或者較低質(zhì)量的視頻信號。最低分辨率的層(或者基本層(層0))也可與AVC完全互操作。為了呈現(xiàn)某一層，解碼器需要基本層以及在該層和基本層之間的層。
[0012]如圖1A中所看到的，比特流100可以包括基本層110和增強(qiáng)層120。為了呈現(xiàn)例如增強(qiáng)層N 123，解碼器需要基本層110和增強(qiáng)層1 121、增強(qiáng)層2 122等等，直到增強(qiáng)層N123。類似地，呈現(xiàn)增強(qiáng)層N+1 124需要增強(qiáng)層N 123下至增強(qiáng)層1 121以及基本層110。隨著呈現(xiàn)更多的增強(qiáng)層120，視頻質(zhì)量更高。例如，額外的層可以增加分辨率(例如，從標(biāo)準(zhǔn)清晰度到高清晰度或者4K)、增加幀率或比特率、減小視覺膺象(artifact)、添加3D信息等等。然而，以最低質(zhì)量(例如，比特率或分辨率)來呈現(xiàn)視頻僅需要基本層110。
[0013]通過盡力而為的互聯(lián)網(wǎng)或類似網(wǎng)絡(luò)來流式傳輸基本層110和增強(qiáng)層120。當(dāng)網(wǎng)絡(luò)遇到擁塞或者帶寬以其它方式被限制時，可以丟棄增強(qiáng)層120以確保在不中斷的情況下流式傳輸基本層110。然而，當(dāng)增強(qiáng)層120不可用時，視頻質(zhì)量遭受下降。
[0014]通常，為了流式傳輸高比特率的視頻文件，將高比特率的視頻文件重新編碼成兩個不同的比特率，例如，中等比特率和低比特率。這三個文件(即，高比特率、中等比特率以及低比特率)被劃分成較短的區(qū)段，例如兩秒的片段。取決于網(wǎng)絡(luò)擁塞來流式傳輸適當(dāng)?shù)钠?。例如，在高度網(wǎng)絡(luò)擁塞期間，可以流式傳輸?shù)捅忍芈实钠巍Ｈ欢?，視頻質(zhì)量變得高度依賴于網(wǎng)絡(luò)擁塞。
[0015]圖1B示出了視頻傳送系統(tǒng)150，其中視頻傳送系統(tǒng)150利用SVC或其它分層協(xié)議流的可縮放性來緩解互聯(lián)網(wǎng)的變化莫測。視頻傳送系統(tǒng)150可以與其它的分層編碼方案相兼容，并且不限于SVC標(biāo)準(zhǔn)。從至少兩個源來傳送基本層110和增強(qiáng)層120，而不是通過互聯(lián)網(wǎng)來流式傳輸這些層。
[0016]圖1B描繪了云服務(wù)器160或在線服務(wù)器、局域網(wǎng)(LAN) 190、本地貯存器170以及媒體播放器180。媒體播放器180可以是計算機(jī)、智能電話、媒體流式傳輸設(shè)備、藍(lán)光播放器、或者具有能夠?qū)VC層或另一個分層流協(xié)議的層進(jìn)行再復(fù)用的處理器的其它設(shè)備。替代地，媒體播放器180可以是專用設(shè)備或者較大設(shè)備的組件。媒體播放器180還可以包括存儲器183、輸出接口 184以及處理器186。云服務(wù)器160可以是流式傳輸服務(wù)器或者能夠通過網(wǎng)絡(luò)連接165來將數(shù)據(jù)流式傳輸至媒體播放器180并由媒體播放器180的網(wǎng)絡(luò)接口 181進(jìn)行接收的其它計算機(jī)。可以通過互聯(lián)網(wǎng)或類似網(wǎng)絡(luò)來建立網(wǎng)絡(luò)連接165，并且網(wǎng)絡(luò)連接165可以是有線的或無線的。
[0017]LAN 190包括本地貯存器170和媒體播放器180。本地貯存器170通過本地連接175來將數(shù)據(jù)流式傳輸至媒體播放器180并由本地接口 182進(jìn)行接收。本地貯存器170可以是具有控制器172和存儲器171的網(wǎng)絡(luò)附加存儲(NAS)，其中存儲器171可以包括用于存儲數(shù)據(jù)的一個或多個驅(qū)動器，例如，硬盤驅(qū)動器(HDD)、固態(tài)驅(qū)動器(SSD)或者混合驅(qū)動器(SSHD)。本地貯存器170通過本地網(wǎng)絡(luò)175來連接到媒體播放器180。本地連接175可以是通過LAN 190的有線連接或無線連接。在其它實(shí)現(xiàn)方式中，本地貯存器170可以是通過本地連接175 (其可以是USB (通用串行總線)連接、Thunderbolt連接、或者其它總線連接)來連接到媒體播放器180的一個或多個數(shù)據(jù)存儲設(shè)備(DSD)，例如外部硬盤驅(qū)動器或閃存驅(qū)動器。在其它實(shí)現(xiàn)方式中，存儲器171可以包括可移動存儲介質(zhì)，例如能夠存儲由媒體播放器180通過本地連接175來讀取的數(shù)據(jù)的光學(xué)介質(zhì)(⑶、DVD、藍(lán)光、等等)。在這些實(shí)現(xiàn)方式中，媒體播放器180、本地連接175以及本地接口 182可以形成用于讀取存儲器171的介質(zhì)的光學(xué)驅(qū)動器或其它設(shè)備的一部分。
[0018]由于基本層110是唯一所需要的層并且還是最低的比特率，因此通?？梢酝ㄟ^盡力而為的互聯(lián)網(wǎng)或其它類似網(wǎng)絡(luò)來流式傳輸基本層110而不會擾動(stuttering)或以其它方式被中斷。增強(qiáng)層120 (視頻內(nèi)容回放不需要增強(qiáng)層)通常需要比基本層110更多的帶寬以便在沒有暫停或中斷的情況下進(jìn)行流式傳輸。當(dāng)通過擁塞的網(wǎng)絡(luò)來流式傳輸視頻內(nèi)容時，增強(qiáng)層被丟棄，并且觀看者體驗(yàn)到視頻質(zhì)量的下降。
[0019]為了減少由通常的自適應(yīng)流式傳輸解決方案導(dǎo)致的視頻質(zhì)量波動，增強(qiáng)層120與基本層110分開來進(jìn)行流式傳輸。具體而言，通過本地連接175來流式傳輸增強(qiáng)層120，其中本地連接175通常是比網(wǎng)絡(luò)連接165更可靠的和/或更不昂貴的連接。因此，增強(qiáng)層120將不會由于網(wǎng)絡(luò)連接165上的擁塞而被丟棄。換句話說，網(wǎng)絡(luò)連接165上的擁塞水平不會影響經(jīng)由本地連接175來流式傳輸增強(qiáng)層120的能力。處理器186隨后可以作為再復(fù)用器來對兩個流進(jìn)行再復(fù)用。輸出185 (其可以是經(jīng)編碼的SVC流或其它經(jīng)分層的流)可以通過輸出接口 184來輸出。在其它實(shí)現(xiàn)方式中，處理器186還可以對經(jīng)分層的流進(jìn)行解碼，使得輸出185為視頻信號。
[0020]在某些實(shí)現(xiàn)方式中，云服務(wù)器160流式傳輸基本層110以及一個或多個較低的增強(qiáng)層120，例如增強(qiáng)層1 121和/或增強(qiáng)層2 122。在其它實(shí)現(xiàn)方式中，本地貯存器170還可以包括多個本地存儲設(shè)備，以使得從一個以上的源來流式傳輸增強(qiáng)層120。
[0021]基本層110保持托管在互聯(lián)網(wǎng)服務(wù)器上，從而允許內(nèi)容制作者/提供者保持對基本層110的訪問的控制。事先將增強(qiáng)層120分配給用戶存儲設(shè)備。例如，可以從工廠將增強(qiáng)層120預(yù)加載到本地貯存器170上，或者可以在非高峰時間期間下載增強(qiáng)層120。因此，使得增強(qiáng)層120獨(dú)立于互聯(lián)網(wǎng)擁塞而可用。此外，可以對增強(qiáng)層120進(jìn)行劃分，以便將較多的層存儲在云服務(wù)器160中并且將較少的層存儲在本地貯存器170上，或者反之亦然。
[0022]圖2描繪了視頻傳送系統(tǒng)200。在托管視頻流之前，編碼器210 (例如，SVC編碼器)將視頻內(nèi)容編碼成基本層110、增強(qiáng)層1 121以及增強(qiáng)層2 122。解復(fù)用器(demux) 240對層進(jìn)行復(fù)用，將基本層110和增強(qiáng)層1 121發(fā)送給流式傳輸服務(wù)器220，并將增強(qiáng)層2 122發(fā)送給涓滴(trickle-down)服務(wù)器230。本地貯存器(例如，NAS) 270從涓滴服務(wù)器230下載增強(qiáng)層2 122。本地貯存器270可以在非高峰時間期間或者以低于可接受的流式傳輸速度的速率來從涓滴服務(wù)器230下載增強(qiáng)層2 122。
[0023]為了回放視頻內(nèi)容，流式傳輸服務(wù)器220將基本層110和增強(qiáng)層1 121流式傳輸至媒體播放器290的再復(fù)用器(remux) 250，并且本地貯存器270將增強(qiáng)層2 122流式傳輸至再復(fù)用器250。再復(fù)用器250對基本層110、增強(qiáng)層1 121以及增強(qiáng)層2 122進(jìn)行再復(fù)用，并將經(jīng)再復(fù)用的流輸出到解碼器260 (例如，SVC解碼器)。解碼器260隨后對流進(jìn)行解碼，以便在顯示器280(例如，電視機(jī)、計算機(jī)顯示器、或者移動設(shè)備屏幕)上輸出。
[0024]當(dāng)增強(qiáng)層2 122可用時，可以在顯示器280上輸出高分辨率283。如果本地貯存器279還未下載增強(qiáng)層2 122，則增強(qiáng)層2 122可能是不可用的。當(dāng)增強(qiáng)層2 122不可用時，質(zhì)量下降到中等分辨率282，但這種下降是適度的，以使得系統(tǒng)的整體運(yùn)行和性能不會受到劇烈影響。如果僅基本層110可用，則顯示器280輸出較低的分辨率281或者以其它方式輸出較低質(zhì)量的視頻。
[0025]圖3描繪了視頻監(jiān)控系統(tǒng)300。攝像頭330記錄視頻，由編碼器310 (例如，SVC編碼器)將該視頻編碼成基本層110、增強(qiáng)層1 121以及增強(qiáng)層2 122。解復(fù)用器340對流進(jìn)行解復(fù)用，并將基本層110傳送至云服務(wù)器320，并將增強(qiáng)層1 121和增強(qiáng)層2