使用質(zhì)量信息進(jìn)行媒體內(nèi)容自適應(yīng)傳輸?shù)闹谱鞣椒?br>【專利說明】使用質(zhì)量信息進(jìn)行媒體內(nèi)容自適應(yīng)傳輸
[0001]美國相關(guān)專利申請
[0002]本發(fā)明要求于2013年I月15日遞交的發(fā)明名稱為“用于平滑自適應(yīng)流媒體中片段質(zhì)量帶內(nèi)信令的系統(tǒng)和方法(System and Method for In-band Signaling of SegmentQuality for Smooth Adaptive Streaming) ” 的第 61/752，796 號美國專利申請案的在先申請優(yōu)先權(quán)，以及于2013年I月15日遞交的發(fā)明名稱為“用于質(zhì)量信息帶外信令的系統(tǒng)和方法(System and Method for Out-of-band Signaling of Quality Informat1n)，，的第61/752,831號美國專利申請案的在先申請優(yōu)先權(quán)，兩者皆以引入的方式并入本文。
【背景技術(shù)】
[0003]視頻流媒體越來越受歡迎，據(jù)估計(jì)，視頻流量超過了內(nèi)容分發(fā)網(wǎng)絡(luò)(CDNs)總流量的百分之五十。DASH (超文本傳輸協(xié)議(HTTP)動態(tài)自適應(yīng)流媒體)的目的是通過基于HTTP的內(nèi)容分發(fā)網(wǎng)絡(luò)提升服務(wù)器與客戶端之間多媒體內(nèi)容的傳輸效率。
[0004]HTTP自適應(yīng)流媒體允許流媒體客戶端在多媒體內(nèi)容的不同表示之間切換，所述多媒體內(nèi)容以多種不同的比特率進(jìn)行了編碼(壓縮)。每一個表示可被劃分為一個或多個片段，每個片段可被劃分為一個或多個子片段。無論是處于表示級別還是片段/子片段級別，每一表示的比特率信息都是通過一個包含元數(shù)據(jù)的文件提供給客戶端的，該文件被稱為媒體描述文件(MPD)?；谒霰忍芈市畔?，客戶端可以根據(jù)可用帶寬從一個表示切換到另一個表示。從一個表示到另一個表示的切換發(fā)生在片段/子片段邊界，稱為流媒體接入點(diǎn)(SAPs)。因此，所述客戶端可以在有較多的帶寬可用時從一個較高的比特率表示對片段/子片段進(jìn)行串流，在較少的帶寬可用時從較低的比特率表示對片段/子片段進(jìn)行串流。通常，比特率驅(qū)動的自適應(yīng)流媒體本性貪婪，每個客戶端會選擇并傳輸在可用的帶寬量下具有客戶端所能處理的最尚比特率的表不。
[0005]比特率能夠影響質(zhì)量水平，盡管質(zhì)量并非完全由比特率決定。當(dāng)帶寬或比特率隨著時間變化，例如，當(dāng)客戶端在高比特率表示和低比特率表示之間來回切換時，質(zhì)量會產(chǎn)生波動。此外，由于多個流媒體客戶端和應(yīng)用爭用帶寬，本性貪婪的比特率驅(qū)動的自適應(yīng)流媒體有時能夠在可用的帶寬下加大變化的程度和頻率，因此也會加大質(zhì)量波動。
[0006]表示可以被編碼成固定比特率(CBR)版本或者可變比特率(VBR)版本。在CBR下，比特率控制良好，比特率接近于固定。然而，內(nèi)容的復(fù)雜度會由于從相對靜態(tài)(不太復(fù)雜)的場景到動態(tài)(更復(fù)雜)場景的切換而發(fā)生變化。因此，除非指定的比特率很高足以包絡(luò)更為復(fù)雜的場景，否則，質(zhì)量會劇烈的波動。然而，針對不太復(fù)雜的場景，當(dāng)這些場景通過網(wǎng)絡(luò)發(fā)送時，持續(xù)地使用較高的比特率意味著帶寬的浪費(fèi)。
[0007]VBR可以不受限制，也可以是受到限制(比特率有上限最高值)。在VBR下，較高的比特率可以分配至較為復(fù)雜的場景，較低的比特率可以分配至不太復(fù)雜的場景。因此，質(zhì)量波動相對較小，但質(zhì)量仍然不能穩(wěn)定，尤其在VBR受限時。同樣地，使用較高的比特率并不一定能夠提升質(zhì)量；結(jié)果，較高比特率的使用不但不能帶來質(zhì)量上的提升反而造成了帶寬的浪費(fèi)。
[0008]綜上所述，比特率驅(qū)動的自適應(yīng)流媒體會導(dǎo)致至少以下兩個問題:質(zhì)量波動和帶寬的低效利用。

【發(fā)明內(nèi)容】

[0009]在網(wǎng)絡(luò)中，例如在無線網(wǎng)絡(luò)中，頻繁而劇烈的帶寬變化十分常見。自適應(yīng)流媒體的解決方案通常旨在當(dāng)盡可能多的帶寬被使用時去適應(yīng)網(wǎng)絡(luò)帶寬的變化。在當(dāng)今的DASH (HTTP動態(tài)自適應(yīng)流媒體)標(biāo)準(zhǔn)(例如，IS0/IEC 23009-1)中，僅基于比特率信息的表示(或片段/子片段)切換使得變化的帶寬能夠被適應(yīng)；通過匹配表示/片段/子片段的比特率和可用帶寬實(shí)現(xiàn)了這種適應(yīng)。
[0010]如上所述，匹配媒體內(nèi)容比特率和可用帶寬的適應(yīng)可導(dǎo)致流媒體內(nèi)容質(zhì)量的劇烈波動，從而給觀眾的體驗(yàn)帶來負(fù)面影響；帶寬的波動也會轉(zhuǎn)化成質(zhì)量的波動。此外，帶寬會被浪費(fèi)掉；更高的帶寬并不意味著更高的質(zhì)量，尤其是針對不是太復(fù)雜的場景，較低的比特率即可帶來滿意的質(zhì)量。
[0011]在本發(fā)明實(shí)施例中，這些問題通過向客戶端提供媒體數(shù)據(jù)的質(zhì)量指標(biāo)(例如，質(zhì)量值)得以解決。本發(fā)明實(shí)施例還介紹了如何將質(zhì)量值發(fā)送至客戶端，如何向客戶端提供質(zhì)量值，以及客戶端在自適應(yīng)流媒體中如何使用質(zhì)量值。
[0012]在本發(fā)明實(shí)施例中，不同的表示與媒體內(nèi)容實(shí)例(如電影)相關(guān)聯(lián)，一個表示可包括媒體內(nèi)容的多個部分(如多個片段或者子片段)。相應(yīng)的質(zhì)量值可以與每個部分相關(guān)聯(lián)。生成媒體內(nèi)容實(shí)例信息(例如，MPD (媒體描述文件))。所述信息包括媒體內(nèi)容實(shí)例的質(zhì)量信息。所述內(nèi)容實(shí)例信息，包括質(zhì)量信息，可以讓客戶端獲取和/或發(fā)送至客戶端。所述質(zhì)量信息指示質(zhì)量值的可用性，以及質(zhì)量值所在的位置和/或怎樣能夠檢索到這些質(zhì)量值。
[0013]在一個實(shí)施例中，所述媒體內(nèi)容實(shí)例的一個部分的質(zhì)量值包含在與該部分相關(guān)聯(lián)的容器(數(shù)據(jù)結(jié)構(gòu))中。在該類實(shí)施例中，在DASH實(shí)現(xiàn)中，所述質(zhì)量值包含在與需要的部分相關(guān)聯(lián)的“ sidx ”容器中。在該類實(shí)施例中，所述媒體內(nèi)容實(shí)例信息(如，MPD)包含的所述質(zhì)量信息包括指示所述質(zhì)量值在所述容器中可用的元素(例如，可擴(kuò)展標(biāo)記語言(XML)元素)。這種方法可稱作是“帶內(nèi)”。
[0014]在一個實(shí)施例中，所述媒體內(nèi)容實(shí)例信息(如，MPD)包含的所述質(zhì)量信息包括一個元素(例如，XML元素)，且所述媒體內(nèi)容實(shí)例的部分的質(zhì)量值為所述元素的屬性。這種方法可稱作是“帶外”。
[0015]在一個實(shí)施例中，所述媒體內(nèi)容實(shí)例的一個部分的質(zhì)量值包含在第一文件或位置中，所述第一文件或位置與包括媒體內(nèi)容的第一部分的任何文件或位置分開(不同)。在該類實(shí)施例中，所述媒體內(nèi)容實(shí)例信息(如，MPD)包含的所述質(zhì)量信息包括一個元素(例如，XML元素)，所述元素指示所述質(zhì)量值在所述第一文件中可用并且提供該文件的位置。這種方法也可稱作是“帶外”。
[0016]為了傳輸媒體內(nèi)容實(shí)例，客戶端可獲取所述媒體內(nèi)容實(shí)例信息(例如，MPD)，包括所述質(zhì)量信息。如上所述，所述客戶端通過質(zhì)量信息意識到媒體內(nèi)容實(shí)例的質(zhì)量值的存在以及質(zhì)量值所在的位置。所述客戶端可獲取所述質(zhì)量值，然后基于某個部分(例如，一個片段或子片段)的質(zhì)量值請求媒體內(nèi)容實(shí)例的該個部分。
[0017]在一個實(shí)施例中，客戶端可基于比特率選取待下載的媒體內(nèi)容實(shí)例的部分的候選集，然后將所述候選集中的一個部分替換為具有不同(比如，更低)的比特率但仍然具有良好質(zhì)量值的另一個部分。在下載所述媒體內(nèi)容時，客戶端可通過將所述候選集中的一個部分替換為同時基于比特率和質(zhì)量值選擇的一個不同部分來適應(yīng)可用寬帶的變化。
[0018]綜上所述，本發(fā)明實(shí)施例利用質(zhì)量感知的適應(yīng)增強(qiáng)了比特率驅(qū)動的適應(yīng)。質(zhì)量和比特率信息用于做出更加明智的適應(yīng)決定。這樣可以提供更加穩(wěn)定的質(zhì)量。此外，與比特率驅(qū)動的適應(yīng)相比，在流媒體傳輸中不會一直選取最高的比特率表示(片段/子片段)。例如，在使用較低的比特率片段或較高的比特率片段都可以實(shí)現(xiàn)令人滿意的質(zhì)量水平時，會選取較低的比特率片段使用。因此，可用帶寬可以被更有效地利用，也不會浪費(fèi)不必要的帶寬。
[0019]通過閱讀下面結(jié)合各附圖介紹的實(shí)施例的詳細(xì)描述，本領(lǐng)域普通技術(shù)人員可以了解到本發(fā)明實(shí)施例的目的和優(yōu)點(diǎn)。
【附圖說明】
[0020]所述附圖并入并形成本說明書的一部分，其中相同的數(shù)字表示相同的元素，示出了本發(fā)明實(shí)施例的內(nèi)容并與本說明書一起用于描述本發(fā)明的原理。
[0021]圖1為實(shí)現(xiàn)本發(fā)明實(shí)施例所基于的一個系統(tǒng)(例如，DASH系統(tǒng))的組件示例的方框圖。
[0022]圖2示出了本發(fā)明實(shí)施例提供的一種媒體內(nèi)容實(shí)例的表示。
[0023]圖3示出了本發(fā)明實(shí)施例提供的一種媒體內(nèi)容實(shí)例的表示。
[0024]圖4為本發(fā)明實(shí)施例提供的一種由計(jì)算機(jī)實(shí)現(xiàn)的包括質(zhì)量信息在內(nèi)的媒體內(nèi)容準(zhǔn)備方法的示例的流程圖。
[0025]圖5為本發(fā)明實(shí)施例提供的一種由計(jì)算機(jī)實(shí)現(xiàn)的質(zhì)量值定位、獲取和使用方法的示例的流程圖。
[0026]圖6為本發(fā)明實(shí)施例提供的一種基于質(zhì)量值選取的媒體內(nèi)容實(shí)例的部分的列表的一個示例。
[0027]圖7和圖8為本發(fā)明實(shí)施例提供的一種由計(jì)算機(jī)實(shí)現(xiàn)的質(zhì)量值獲取和使用方法的示例的流程圖。
[0028]圖9為本發(fā)明實(shí)施例提供的一種由計(jì)算機(jī)實(shí)現(xiàn)的質(zhì)量值供應(yīng)方法的示例的流程圖。
[0029]圖10為實(shí)現(xiàn)本發(fā)明實(shí)施例所基于的一個計(jì)算系統(tǒng)的示例的方框圖。
【具體實(shí)施方式】
[0030]現(xiàn)在請?jiān)敿?xì)地參考本發(fā)明的各個實(shí)施例，其示例如附圖所示。應(yīng)當(dāng)理解，盡管在本發(fā)明中結(jié)合了這些實(shí)施例來進(jìn)行說明，但本發(fā)明并不局限于所提到的這些實(shí)施例。相反，本發(fā)明的保護(hù)范圍涵蓋在所附權(quán)利要求限定的本發(fā)明的精神和范圍內(nèi)做出的任何修改和替換。此外，本發(fā)明【具體實(shí)施方式】中闡述了許多具體的細(xì)節(jié)以便徹底理解本發(fā)明。然而，應(yīng)當(dāng)理解的是本發(fā)明可以在沒有這些具體細(xì)節(jié)的情況下實(shí)行。在其他情況下，一些公知的方法、過程、組件和電路沒有進(jìn)行詳細(xì)描述，從而防止本發(fā)明一些內(nèi)容變得晦澀難懂。
[0031]該【具體實(shí)施方式】的一些部分按照程序、邏輯塊、處理、以及對計(jì)算機(jī)存儲器中的數(shù)據(jù)位的操作的其它符號表示來呈現(xiàn)。這些描述和表示是數(shù)據(jù)處理領(lǐng)域技術(shù)人員向該領(lǐng)域其他技術(shù)人員有效傳達(dá)工作實(shí)質(zhì)內(nèi)容使用的方法。在本發(fā)明中，將程序、邏輯塊、處理等設(shè)想為首尾一致的步驟或指令序列，以產(chǎn)生期望的結(jié)果。這些步驟利用了物理量的物理操控。通常，并不是完全必須的，這些量以電信號或磁信號的形式存在，可以被存儲、轉(zhuǎn)移、合并和比較，否則將在電腦系統(tǒng)中被操控。有時候這種方法被證明是行之有效的，主要出于常見用法的考慮，將這些信號作為事務(wù)、比特位、數(shù)值、元素、符號、字符、樣品、或像素等等。
[0032]然而，應(yīng)牢記的是，所有這些和類似的術(shù)語都將與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)，并且僅僅是應(yīng)用于這些物理量的便捷的標(biāo)簽。除非特別聲明，否則從下面的討論中可以明顯發(fā)現(xiàn)，在本發(fā)明中，“接收”、“識別”、“關(guān)聯(lián)”、“獲取”、“請求”、“使用”、“指示”、“檢索”、“選取”、“替換”、“監(jiān)測”、“提供”、“發(fā)布”、“評測”、“記錄”和“生成”等術(shù)語表示電腦系統(tǒng)或類似的電子計(jì)算設(shè)備或處理器(例如，圖10的系統(tǒng)1000)的行動和過程(例如，分別在圖4、5、7、8和9中的流程400、500、700、800和900)。所述電腦系統(tǒng)或類似的電子計(jì)算設(shè)備對表示為電腦系統(tǒng)存儲器、寄存器或者其他信息存儲、傳輸或顯示設(shè)備中的物理(電子)量的數(shù)據(jù)進(jìn)行操控和轉(zhuǎn)換。
[0033]所述實(shí)施例可以在計(jì)算機(jī)可執(zhí)行指令的一般上下文中