用于智能地適配視頻分組的方法和網(wǎng)絡單元的制作方法
【專利摘要】本發(fā)明提供了用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法和網(wǎng)絡單元。該方法包括：識別傳送基于可分級編碼的視頻分組的承載；基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合；在檢測到無線環(huán)境惡化的情況下，為所述承載判定執(zhí)行適配；以及從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
【專利說明】用于智能地適配視頻分組的方法和網(wǎng)絡單元
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體地涉及在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的技術(shù)。
【背景技術(shù)】
[0002]隨著對于多種視頻應用的需求的增長，針對不同應用的運動圖像的更高壓縮的增長需求帶來了行業(yè)內(nèi)的挑戰(zhàn)。對于不同的網(wǎng)絡環(huán)境而言，也需要能夠以靈活的方式使用編碼視頻表示。在該背景下，國際標準化組織ISO和國際電工委員會IEC制定了高級視頻編碼(AVC, Advanced Video Coding)技術(shù)標準,在該標準的附錄中，已經(jīng)定義了基于可分級的視頻編碼來滿足特殊需求。術(shù)語“可分級”是指移除一部分視頻比特流以使其適配于終端用戶的不同需求或喜好以及變化的終端能力或網(wǎng)絡條件。
[0003]作為H.264/AVC的擴展的可分級視頻編碼(SVC, Scalable Video Coding)通過空間可分級性(即空間解析)、質(zhì)量可分級性(即量化速率)、時間可分級性(即幀速率)或其組合，提供了不同的質(zhì)量等級。它們是分別通過dependency_id、quality_id和temporal—id來標識的。一個SVC比特流可以包括一個“基本層”和一個或多個“增強層”?！盎緦印笨梢元毩⒂谄渌霸鰪妼印倍唤獯a。如果具有比特定增強層L更低的{cbpendencyjd、quality_id和temporal_id}的基本層和所有其他增強層被成功解碼,貝U—個接收器才能夠解碼該特定增強層L。
[0004]多視角視頻編碼(MVC,Mult1-view Video Coding)是 H.264/AVC 中的另一種基于可分級的視頻編碼的標準。在MVC中，來自不同攝像機的視角被編碼成與單視角H.264/AVC后向兼容的單個比特流。MVC提供視角可分級性和空間可分級性，它們是分別用View_id和temporal_id來標識的。一個MVC比特流可以包括一個“基本視角”和一個或多個“非基本視角”?；疽暯强梢元毩⒂谄渌暯嵌唤獯a，其并不使用視角間預測。如果基本視角和參與特定非基本視角V的視角間預測的所有其他參考視角被成功地解碼，則一個接收器才能夠解碼該特定非基本視角V。
[0005]無線信道條件和環(huán)境可能隨時間和位置的變化而變化。該變化可能引入造成媒體數(shù)據(jù)遞送失真的變化的誤碼率、變化的吞吐量和變化的分組延遲。為了盡可能的提供高質(zhì)量的視頻業(yè)務，現(xiàn)有技術(shù)已考慮了根據(jù)變化的網(wǎng)絡條件，對正在遞送的媒體數(shù)據(jù)進行適配的方案。然而，現(xiàn)有技術(shù)存在明顯的缺陷。
[0006]當前由IETF (互聯(lián)網(wǎng)工程任務組)定義的系統(tǒng)級功能僅將視頻業(yè)務適配于不同的傳輸網(wǎng)絡條件或異構(gòu)接收器。這意味著適配是在源、目的或中間媒體感知網(wǎng)絡單元(MANE，Media-Aware Network Element)執(zhí)行的。MANE是例如中間盒或應用層網(wǎng)關(guān)的網(wǎng)絡單元。因為MANE不具有無線接入網(wǎng)的信息，它無法根據(jù)隨時間變化的無線環(huán)境來對遞送的媒體數(shù)據(jù)執(zhí)行適配。
[0007]盡管近期的學術(shù)研究提出由網(wǎng)關(guān)根據(jù)eNB (增強基站)的與信道吞吐量和質(zhì)量有關(guān)的報告和預測，來調(diào)整視頻服務的編解碼方案，然而網(wǎng)關(guān)只能夠在GoP(Group of Picture:圖像組)的層面上來更改視頻服務的編解碼。一方面，該調(diào)整力度只適用于較慢的信道衰落而不是快速衰落(通常一個GoP是0.5到2秒);另一方面，它產(chǎn)生了較大的上行鏈路信令開銷。圖1示意性地示出了在現(xiàn)有技術(shù)中由網(wǎng)關(guān)基于eNB的報告和預測來調(diào)整編解碼。
[0008]至于無線接入網(wǎng)絡，一方面，當前的無線接入網(wǎng)絡不能執(zhí)行針對SVC/MVC的適配；另一方面，當前在基站中由于緩沖器溢出或分組超時而產(chǎn)生的分組丟棄并沒有考慮SVC/MVC的可分級性。如果SVC的基本層或MVC的基本視角中的一個分組被丟棄，則成功接收的對應同一圖像(picture)的增強層分組或非基本視角分組對于用戶解碼該圖像而言將變得毫無用處。這種“盲目分組丟棄”的特性，從用戶體驗QoE的角度來看是不可接受的。

【發(fā)明內(nèi)容】

[0009]為了解決上述現(xiàn)有技術(shù)中的問題，根據(jù)本發(fā)明的一個方面，提出了 一種用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法，該方法包括:a)識別傳送基于可分級編碼的視頻分組的承載山)基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合；c)在檢測到無線環(huán)境惡化的情況下，為所述承載判定執(zhí)行適配；以及d)從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層(NAL, Network Abstract Layer)單元。
[0010]優(yōu)選地，步驟b)是通過以下步驟實現(xiàn)的:基于負荷報頭中包含的可分級參數(shù)來確定輸入操作點OP (Operation Point);以及基于所述輸入操作點OP和所述巾貞圖案在所述基站中生成OP表，該OP表中指明了不同的所述視頻質(zhì)量的等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元。
[0011]根據(jù)本發(fā)明的另一個方面，提出了一種用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元，包括:第一裝置，用于識別傳送基于可分級編碼的視頻分組的承載；第二裝置，用于基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合；第三裝置，用于在檢測到無線環(huán)境惡化的情況下為所述承載判定執(zhí)行適配；以及第四裝置，用于從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
【專利附圖】

【附圖說明】
[0012]通過閱讀下面結(jié)合附圖對本發(fā)明具體實施例的說明，本發(fā)明的上述及其他特征和優(yōu)點將變得更加明顯。其中:
[0013]圖1示意性地示出了現(xiàn)有技術(shù)中的調(diào)整編解碼的方案；
[0014]圖2是根據(jù)本發(fā)明方案的包括智能分組處理SPP功能的基站的框圖；
[0015]圖3示意性地說明了 SPP的功能劃分；
[0016]圖4示意性地說明了 SPP的狀態(tài)機；
[0017]圖5示意性地說明了基站可能接收到的分組格式；
[0018]圖6示意性地說明了軟適配和硬適配；
[0019]圖7是說明如何識別傳送可分級視頻業(yè)務的承載的流程圖；
[0020]圖8是說明在SVC的情況下如何將可分級的視頻業(yè)務適配于隨時間變化的無線環(huán)境的流程圖；[0021]圖9示意性地說明了 SVC的情況下的比特流分量；
[0022]圖10示出了在SVC的情況下由基站生成的操作點OP表；
[0023]圖11是說明在MVC的情況下如何將可分級的視頻業(yè)務適配于隨時間變化的無線環(huán)境的流程圖；
[0024]圖12示意性地說明了 MVC的情況下的比特流分量；
[0025]圖13是根據(jù)本發(fā)明一個實施例的用于智能地適配基于可分級編碼的視頻分組的方法的流程圖；和
[0026]圖14是根據(jù)本發(fā)明一個實施例的用于智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元的框圖。
【具體實施方式】
[0027]本發(fā)明的基本思想是在無線接入網(wǎng)中執(zhí)行SVC/MVC的適配，即將可分級的視頻業(yè)務，即SVC和MVC，適配于隨時間變化的無線環(huán)境。它不僅能夠使得SVC/MVC適配于隨時間變化的無線環(huán)境而無需上行鏈路信令開銷，還能夠為UE維持可接受的盡可能高的QoE。
[0028]如圖2所示，代表適配的新功能塊稱作智能分組處理(SPP, Smart PacketProcessing)，其位于PDCP層之上。圖3示出了 SPP的功能劃分，即“無線分組檢測(RPI，Radio Packet Inspection)，，和“優(yōu)雅速率適配(GRA, Graceful Rate Adaptation)，，。
[0029]應當指出，圖2中的“基站”可以是GSM (全球移動通信系統(tǒng))系統(tǒng)中的BTS (基站收發(fā)信機)、WCDMA (寬帶碼分多址)系統(tǒng)中的RNC (無線網(wǎng)絡控制器)或LTE (長期演進)系統(tǒng)中的eNB (增強基站)。在本發(fā)明的剩余部分中，將不區(qū)分這些網(wǎng)絡單元。
[0030]還應當指出，SVC/MVC比特流可以包括一個或多個IP分組流，即在RFC 6190和draft-1etf-payload-rtp-mvc-02 中所定義的單一會話傳輸模式(SST, Single-SessionTransmission)或多重會話傳輸模式(MST, Mult1-Session Transmission)。SST 是針對單播的而MST是針對廣播/組播的。在圖3示出的例子中，一個SVC/MVC比特流包括三個IP分組流。詳細內(nèi)容參考上述文獻，并且在這里不再贅述。
[0031]控制平面處理
[0032]控制平面處理包括兩個階段，即適配準備階段和適配操作階段。
[0033]1.適配準備階段
[0034]在該階段，基站借助于新的用戶平面功能RPI而識別建立的所有承載中的哪些承載是傳送SVC或MVC視頻業(yè)務的，這可以在成功建立一個新承載之后執(zhí)行。具體地，控制平面CP，例如RRM (無線資源管理)功能，能夠指示RPI檢測一個或多個所指示承載的業(yè)務類型。CP能夠用承載ID來向RPI指示一個或多個承載。
[0035]RPI的處理將在用戶平面部分被描述。當接收來自RPI的結(jié)果時，CP存儲該信息以供將來使用。CP可以維持關(guān)于承載與其業(yè)務類型之間的關(guān)系的映射表。具有SVC或MVC的承載是用于隨后可能進行的適配操作的候選。
[0036]2.適配操作階段
[0037]在該階段，RRM模塊指示SPP開始或停止適配操作。當接收了來自RRM的“開始適配”指令時，SPP進入“打開”狀態(tài)，這意味著它應當開始適配。SPP在接收“停止適配”之后進入“關(guān)閉”狀態(tài)，這意味著它應當停止適配操作。SPP的初始狀態(tài)是“關(guān)閉”。圖4示出了相應的狀態(tài)機。
[0038]通常，無線環(huán)境的變化對應三種觸發(fā)條件，能夠觸發(fā)從RRM到SPP的指令，包括:
[0039]I) UE的信道測量報告，即信道狀態(tài)信息(CSI，Channel Status Information)，這包括CQI (信道質(zhì)量指示)、PMI (預編碼矩陣指示)和/或RI (信道秩指示)；
[0040]2)協(xié)議層狀態(tài)，即HARQ重傳次數(shù)、PDCP層緩沖器的狀態(tài)、RLC層緩沖器的狀態(tài)；
[0041]3)基站的狀態(tài)，即可用資源的狀態(tài)。
[0042]RRM能夠應用一個或多個上述觸發(fā)條件來確定“開始適配”指令。例如:RRM能夠應用觸發(fā)條件I)和2)來檢測針對特定UE的可用帶寬減少并發(fā)送“開始適配”指令以避免rocp緩沖器中的可能的分組丟棄。在該情況下，可以實施“軟適配”。另一個例子是，當RRM檢測到僅發(fā)生了觸發(fā)條件2)(例如在rocp層已發(fā)生分組丟棄)時，為了達到具有可接受質(zhì)量的業(yè)務連續(xù)性，它能夠發(fā)送“開始適配”指令，將“盲目分組丟棄”變成“智能分組丟棄”。在該情況下，可以實施“硬適配”。軟適配和硬適配在下文中說明。上面兩種使用情形基于時變無線環(huán)境而提供了盡可能高的視頻服務質(zhì)量。
[0043]RRM也可以使用觸發(fā)條件3)來檢測基站中的全部可用資源由于過載或擁塞而大大減少。為了使得晚到來的UE能夠接入系統(tǒng)，RRM能夠確定為正進行的特定的SVC/MVC業(yè)務適當?shù)販p少已分配的帶寬，從而發(fā)送“開始適配”的指令。在該情況下，可以實施“軟適配”或“硬適配”中的任一種。這種使用情形旨在提供更加合理地共享的無線資源分配。
[0044]應當指出，不排除RRM根據(jù)其他因素確定發(fā)送指令的可能性。細節(jié)在于RRM算法的具體實現(xiàn)問題，這超出了本發(fā)明的范圍，因此不再這里進一步討論。
[0045]還應當指出，當檢測到無線環(huán)境開始好轉(zhuǎn)時RRM模塊指示SPP停止執(zhí)行降級的適配，開始執(zhí)行升級的適配，并且SPP根據(jù)無線環(huán)境恢復的程度來適當?shù)厣咭曨l質(zhì)量的等級并停止丟棄之前確定為丟棄的NAL單元。
[0046]用戶平面處理
[0047]與控制平面處理相對應，用戶平面處理也把包括兩個階段，即適配準備階段和適配操作階段。
[0048]1.適配準備階段
[0049]在該階段中，RPI接收來自CP的指令以檢測一個或多個所指示承載的業(yè)務類型。通過檢測來自核心網(wǎng)(CN，Core Network)的所接收IP分組的RTP負荷報頭，RPI能夠辨別出所指示的一個或多個承載是否是針對SVC或MVC業(yè)務的。對于SVC而言，RPI可以讀取 dependency_id、quality_id 和 temporal_id。對于 MVC 而言，RPI 可以讀取 view_id 和temporal_id。RPI將檢測結(jié)果返回給CP。
[0050]2.適配操作階段
[0051]在用戶平面中，從CN接收的可分級視頻服務的IP分組流首先被傳送至SPP。如果SPP處于“關(guān)閉”狀態(tài)，則SPP輸出所接收的IP分組流至rocp而不進行任何處理。如果SPP處于“開啟”狀態(tài)，則它順次地執(zhí)行RPI和GRA，如圖3所示。
[0052]應用RPI以獲取SVC/MVC的可分級性信息。目前，針對視頻業(yè)務有四種傳輸協(xié)議作為候選，如圖5所示。圖5示出了通過RPI接收的可能的IP分組格式。通過檢測RTP負荷報頭，RPI能夠區(qū)分屬于SVC的基本層(或MVC的基本視角)和SVC的一個或多個增強層(或MVC的非基本視角)的IP分組。[0053]RPI也能夠識別輸入操作點(輸入0P)和針對每一層的I/B/P幀圖案。SVC比特流的操作點包括為了能夠解碼特定的dependency_id、quality_id和temporal_id組合所需要的比特流分量，即具有特定{dependency_id, quality_id, temporal_id}組合的NAL單元。MVC比特流的操作點包括為了能夠解碼特定的view_id和temporal_id組合所需要的比特流分量，即具有特定{view_id, temporal_id}組合的NAL單元。此外,RPI能夠獲得視頻業(yè)務的優(yōu)先級信息，該優(yōu)先級信息指示了 NAL單元的重要性級別。利用輸入0P，優(yōu)先級信息，基站能夠推斷OP表。該OP表中指明了不同視頻質(zhì)量等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元。該OP表以不同視頻質(zhì)量等級的降級排序指示了的合理適配路徑。
[0054]對于MST模式而言，針對一個廣播/組播業(yè)務(即3GPP中的MBMS業(yè)務)可以建立不止一個承載。RPI能夠通過檢測所有有關(guān)聯(lián)承載的IP分組流來獲得可分級性信息和輸入0P。基站能夠通過OAM或顯性的信令來獲得MBMS業(yè)務和所有有關(guān)承載的映射信息。具體實現(xiàn)超出本發(fā)明范圍，因此不在這里進一步討論。
[0055]利用通過RPI和RRM獲取的上述信息，GRA執(zhí)行不同OP之間的切換，即為適配選擇合適的OP。當RRM指示進行降級適配時，GRA可以為UE選擇合適的降級的OP等級，及當前OP。GRA識別并移除其消除對QoE產(chǎn)生最小不利影響的那些分組。當SPP從“關(guān)閉”狀態(tài)進入“開啟”狀態(tài)時，它設置當前OP作為輸入0P。如果RRM選擇“軟適配”，則GRA在OP表中將當前OP降級到下一等級。如果RRM選擇“硬適配”，則GRA根據(jù)無線環(huán)境下降的程度，可以判定在OP表中將當前OP降級到非相鄰等級。在實際系統(tǒng)中，GRA可以使用CQ1、緩沖器狀態(tài)來計算UE的可用帶寬，并由此判斷系統(tǒng)可以支持的視頻速率和質(zhì)量。具體計算方法是本領(lǐng)域技術(shù)人員熟知的，并且因為超出本發(fā)明的討論范疇，在此不做贅述。在圖6中示出了“軟適配”和“硬適配”之間的差異。
[0056]對于所選的當前OP而言，這意味著輸入OP的一些比特流分量被選擇丟棄。注意，所述丟棄是指丟棄OP表中指示的視頻業(yè)務的網(wǎng)絡提取層NAL單元。在OP等級切換后，GRA可能需要為輸出IP分組涉及的RTP包重寫RTP報頭或分配新的序號的。在圖3中，IP分組流#3被選擇。在OP等級切換后，GRA將輸出IP分組流轉(zhuǎn)發(fā)至H)CP。RRM可以指示GRA重復OP等級切換直到指示SPP返回到“關(guān)閉”狀態(tài)。
[0057]應當指出，當基站檢測到無線環(huán)境開始好轉(zhuǎn)時，RRM模塊指示SPP停止執(zhí)行降級的適配，開始執(zhí)行升級的適配，并且GRA根據(jù)無線環(huán)境恢復的程度來適當?shù)厣咭曨l質(zhì)量的等級并停止丟棄之前確定為丟棄的NAL單元。出于簡化的目的，本文僅描述了針對單播UE的SST模式視頻服務的例子。對于MST模式視頻而言，除了是針對多個輸入IP分組流操作之外，步驟都是相同的。
[0058]實例1:話配準各
[0059]在該實例中，基站識別傳輸可分級視頻服務的承載。圖7示出了各步驟。
[0060]步驟1:CP建立一個新承載。
[0061]步驟2:CP指示RPI檢測新承載的業(yè)務類型，并且CP用承載ID向RPI指示承載。
[0062]步驟3:RPI在該指示的承載中發(fā)現(xiàn)從CN接收到的分組，并且RPI通過檢測分組來識別業(yè)務類型。
[0063]步驟4:在該實施例中，由于RPI讀取了分組的RTP負荷報頭中的dependency_id、quality_id 和 temporal_id, RPI 返回檢測結(jié)果{SVC}給 CP。
[0064]步驟5:CP存儲檢測結(jié)果以供將來使用。
[0065]實例2:話配操作
[0066]在該實例中，一個SVC比特流被傳送至單播UE。SVC比特流只包括一個IP分組流，其包括一個基本層和多個增強層。圖8中顯示了各步驟。
[0067]步驟1:RRM監(jiān)視變化的無線環(huán)境的觸發(fā)條件。
[0068]步驟2:由于突然降低的CQI和伴隨的HXP層緩沖區(qū)的突然升高，RRM檢測到無線環(huán)境下降。為了避免即將發(fā)生的rocp層緩沖器中的“盲目分組丟棄”，在該實例中，RRM根據(jù)CQI降低和rocp層緩沖區(qū)升高的程度而判定執(zhí)行“軟適配”。
[0069]步驟3 =RRM指示SPP從初始的“關(guān)閉”狀態(tài)進入“開啟”狀態(tài)。
[0070]步驟4:應用RPI以獲取SVC比特流的可分級性信息。在該實例中，SVC比特流包括一個基本層(具有 dependency_id=0、quality_id=0、temporal_id=0 的分組)、兩個質(zhì)量增強層(具有quality_id=2的分組)和三個時間增強層(分別具有temporal_id=l, 2，3的分組)。圖9示出了對應的比特流分量及其關(guān)系。垂直箭頭示出了改進的質(zhì)量。水平箭頭示出了不同比特流分量之間的時間預測關(guān)系。具有{dependency_id = 0，quality_id=2}和{dependency_id=0, quality_id=l}的層的預測關(guān)系與具有{dependency_id=0，quality—id=0}的層的相同，但是為了簡化而沒有在圖中示出。RPI獲得OP等級#0的輸入OP {dependency_id=0, quality_id=2, temporal_id=3}。此外，如果視頻源使用優(yōu)先級信息進行視頻編碼時，RPI還獲得視頻業(yè)務的優(yōu)先級信息，該優(yōu)先級信息至少包括包含在NAL單元報頭中的priority_id和/或idr_f lag等參數(shù),這些優(yōu)先級信息指出了 NAL單元的重要性。RPI利用輸入OP和優(yōu)先級信息推斷出如圖10所示的OP表，其中“X”是指所指示的待丟棄比特流分量。
[0071]應當指出，對于具有不同的dependency_id值的OP表而言，網(wǎng)絡可以針對不同的dependency_id值來配置相同的OP表。當基站執(zhí)行適配時,具有較高dependency_id值的OP等級以高優(yōu)先級被執(zhí)行。
[0072]步驟5:基于來自RPI和RRM的上述信息，GRA判定降級OP至相鄰OP等級#1。
[0073]步驟6:具有quality_id=2和temporal_id=3的比特流分量被選擇丟棄。優(yōu)選地，具有較小優(yōu)先級的，即較低重要性的NAL單元首先被丟棄，和/或具有較小時間標記的分組首先被丟棄。
[0074]步驟7 =RRM檢測到無線環(huán)境恢復。
[0075]步驟8: RRM指示SPP返回“關(guān)閉”狀態(tài)。
[0076]實例3:話配操作
[0077]在該實例中，一個MVC比特流被傳送到單播UE。MVC比特流只包括一個IP分組流，其包括一個基本視角和多個非基本視角。圖11中示出了各步驟。
[0078]步驟1:RRM監(jiān)視變化的無線環(huán)境的觸發(fā)條件。
[0079]步驟2:RRM檢測到可用無線資源大大減少。為了使得晚到來的UE能夠接入系統(tǒng)，RRM判定減少MVC業(yè)務的已分配資源。在該實例中，RRM基于可用無線資源減少的程度而判定執(zhí)行“硬適配”。
[0080]步驟3 =RRM指示SPP從初始“關(guān)閉”狀態(tài)進入“開啟”狀態(tài)。[0081 ] 步驟4:應用RPI以獲得MVC比特流的可分級性信息。在該實例中，MVC比特流包括一個基本視角(具有view_id=0的分組)、兩個非基本視角(分別具有view_id=l和2的分組)。圖12示出了對應的比特流分量及其關(guān)系。垂直箭頭示出了不同視角之間的預測關(guān)系，temporaljd取值相同的不同比特流分量之間存在相同的視角之間的預測關(guān)系，為了簡化而未在圖中全部示出。圖12中的水平箭頭示出了不同比特流分量之間的時間預測關(guān)系，不同的視角具有相同的時間預測關(guān)系，但是為了簡化也未在圖中全部示出。
[0082]步驟5:基于來自RPI和RRM的上述信息，GRA判定將OP降級到不具有view_id=2的OP等級。
[0083]步驟6:具有view_id=2的比特流分量被選擇丟棄。優(yōu)選地,具有較小優(yōu)先級的網(wǎng)絡提取層NAL單元首先被丟棄，和/或具有更小時間標記的分組首先被丟棄。
[0084]步驟7 =RRM檢測到無線環(huán)境恢復。
[0085]步驟8: RRM指示SPP返回“關(guān)閉”狀態(tài)。
[0086]應當指出，上述幾個實例還可以包含步驟:當檢測到無線環(huán)境開始好轉(zhuǎn)時RRM模塊指示SPP停止執(zhí)行降級的適配，開始執(zhí)行升級的適配，并且SPP根據(jù)無線環(huán)境恢復的程度來適當?shù)厣咭曨l質(zhì)量的等級并停止丟棄之前確定為丟棄的NAL單元。讀過本發(fā)明的本領(lǐng)域技術(shù)人員能夠容易地想到如何執(zhí)行所述升級適配。為簡單起見，該步驟未在相應圖中示出。
[0087]通過以上描述可知:
[0088]-在適配準備階段，基站通過發(fā)起新用戶平面功能性RPI而在所有建立的承載之中識別出傳送可分級視頻業(yè)務的承載。通過檢測RTP負荷報頭，RPI能夠辨別出承載中的IP分組流是否是針對可分級視頻業(yè)務的。然后，所指示的可分級視頻業(yè)務作為適配操作的候選。
[0089]-在適配操作階段，RRM指示SPP開始或停止適配，這包括:
[0090]a) RPI獲取SVC/MVC的可分級性信息、可選的優(yōu)先級信息以及輸入0P，并且推斷OP表；
[0091]b)如果RRM為“開始適配”選擇“軟適配”，則GRA降級當前OP至下一等級，其中每當降至下一等級時，RRM可以指示GRA重復OP等級切換直到SPP返回“關(guān)閉”狀態(tài)；
[0092]c)如果RRM為“開始適配”選擇“硬適配”，則GRA在OP表中選擇合適的OP降級等級。
[0093]應當指出，當檢測到無線環(huán)境開始好轉(zhuǎn)時RRM模塊指示SPP停止執(zhí)行降級的適配，開始執(zhí)行升級的適配，并且SPP根據(jù)無線環(huán)境恢復的程度來適當?shù)厣咭曨l質(zhì)量的等級并停止丟棄之前確定為丟棄的NAL單元。
[0094]本發(fā)明通過在無線通信系統(tǒng)的基站中將SVC和MVC的可分級性特征適配于隨時間變化的無線環(huán)境，提供了比特流適配的靈活性和差錯魯棒性并且因此為當前基站提供了更合理的共享無線資源分配。另外，本發(fā)明能夠基于瞬時無線環(huán)境向終端提供質(zhì)量盡可能高的視頻業(yè)務，而無需額外的上行信令，并且能夠維持可接受的QoE。
[0095]應當指出，本發(fā)明可以應用于GSM系統(tǒng)中的BTS、WCDMA系統(tǒng)中的RNC或LTE系統(tǒng)中的eNB等。
[0096]還應當指出，本發(fā)明適用于單播和廣播/組播業(yè)務二者。[0097]下面參照圖13來描述根據(jù)本發(fā)明一個實施例的用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法。如上文指出的，在本實施例中，所述基站例如(但不限于)是GSM系統(tǒng)中的BTS、WCDMA系統(tǒng)中的RNC或LTE系統(tǒng)中的eNB。
[0098]如圖13所示，在步驟301中，識別傳送基于可分級編碼的視頻分組的承載。在這里所述可分級編碼是符合H.264/AVC的可分級視頻編碼SVC和多視角視頻編碼MVC。具體地，在本實施例中，通過檢測所述基于可分級編碼的視頻分組中的負荷報頭來識別傳送基于SVC或MVC的視頻分組的承載以供將來使用。在這里，所述負荷報頭可以是例如(但不限于)RTP負荷報頭。
[0099]接著，在步驟302中，基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合。在這里，所述幀圖案是圖像編碼中的1、B和P幀的圖案，并且所述負荷報頭可以例如(但不限于)是RTP負荷報頭。
[0100]具體地，在本實施例中，首先，基于所述負荷報頭中包含的可分級參數(shù)來確定輸入操作點0P。在這里，對于SVC而言，所述可分級參數(shù)包括符合H.264/AVC和RFC6190的dependency_id、quality_id和temporal_id,而對于MVC而言，所述可分級參數(shù)包括符合
H.264/AVC 和 draft-1etf-payload-rtp-mvc-02 的 view_id 和 temporal_id。例如，參見圖10，所述視頻分組包括兩個質(zhì)量增強層(具有quality_id = 2的分組)和三個時間增強層(分別具有temporal_id=l，2，3的分組)，由此獲得了 OP等級#0的輸入0P。
[0101]然后，基于所述輸入操作點OP和所述幀圖案在所述基站中生成OP表，該OP表中指明了所述降低視頻質(zhì)量的等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元。例如，參見圖10，在獲得OP等級#0的輸入OP之后，能夠推斷出如圖10所示的OP表，其中“X”是指所選出的待丟棄比特流分量。OP表以不同視頻質(zhì)量等級的降級排序指示了的合理適配路徑。
[0102]優(yōu)選地，生成所述OP表還基于所述負荷報頭中所包含的優(yōu)先級信息，該優(yōu)先級信息指示了 NAL單元的重要性級別。
[0103]接著，在步驟303中，在檢測到無線環(huán)境惡化的情況下，為所述承載判定執(zhí)行適配。在這里，所述無線環(huán)境惡化例如是用戶設備的信道質(zhì)量、協(xié)議層狀態(tài)和可用資源狀態(tài)中的一個或其任意組合的惡化。
[0104]最后，在步驟304中，從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
[0105]應當指出，確定降低視頻質(zhì)量的等級包括基于所述無線環(huán)境惡化的程度而降低到相鄰等級或非相鄰等級，例如，基站基于無線環(huán)境惡化程度判定從等級#0降低到相鄰等級#1，或者從等級#0降低到非相鄰等級#2。
[0106]優(yōu)選地，具有較小優(yōu)先級，即較低重要性的NAL單元首先被丟棄。
[0107]優(yōu)選地，具有較小時間標記的視頻分組中的NAL單元首先被丟棄。
[0108]應當指出，如果無線環(huán)境持續(xù)惡化，則重復執(zhí)行步驟303和304。
[0109]優(yōu)選地，當檢測到無線環(huán)境開始好轉(zhuǎn)時停止執(zhí)行降級適配，開始執(zhí)行升級適配，并且根據(jù)無線環(huán)境恢復的程度來升高等級并停止丟棄之前確定為丟棄的NAL單元。應當指出，讀過本發(fā)明的本領(lǐng)域技術(shù)人員能夠容易地想到如何執(zhí)行所述升級適配。
[0110]還應當指出，本實施例適用于單播和廣播/組播業(yè)務二者。[0111]在本實施例中，適配基于可分級編碼的視頻分組可以遵循現(xiàn)有的和將來的任何解決方案、標準、規(guī)范等的方式，例如(但不限于)前面所述的H.264/AVC、RFC6190和draft-1etf-payload-rtp-mvc-02ο
[0112]通過以上描述可知，采用本實施例的用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法，通過在無線通信系統(tǒng)的基站中將SVC和MVC的可分級性特征適配于隨時間變化的無線環(huán)境，提供了比特流適配的靈活性和差錯魯棒性并且因此為當前基站提供了更合理的共享無線資源分配；并且能夠基于瞬時無線環(huán)境向終端提供質(zhì)量盡可能高的視頻業(yè)務，而無需額外的上行信令，并且能夠維持可接受的QoE。
[0113]在同一發(fā)明構(gòu)思下，根據(jù)本發(fā)明的另一個方面，提供了一種用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元。下面就結(jié)合附圖對其進行說明。
[0114]圖14示出了根據(jù)本發(fā)明一個實施例的用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元400。網(wǎng)絡單元400包括第一裝置401，第二裝置402和第三裝置403。第一裝置401用于識別傳送基于可分級編碼的視頻分組的承載。具體地，在本實施例中，第一裝置401通過檢測基于可分級編碼的視頻分組中的負荷報頭來識別傳送基于SVC或MVC的視頻分組的承載以供將來使用。第二裝置402用于基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合。在這里，所述幀圖案例如是圖像編碼中的1、B和P幀的圖案，并且所述負荷報頭例如是RTP負荷報頭。具體地，在本實施例中，首先，第二裝置402基于所述負荷報頭中包含的可分級參數(shù)來確定輸入操作點0P。在這里，對于SVC而言，所述可分級參數(shù)包括符合H.264/AVC和RFC6190 的 dependency_id、quality_id 和 temporal_id,而對于 MVC 而言，所述可分級參數(shù)包括符合 H.264/AVC 和 draft-1etf-payload-rtp-mvc-02 的 view_id 和 temporal_id。例如,參見圖10,所述視頻分組包括兩個質(zhì)量增強層(具有quality_id=2的分組)和三個時間增強層(分別具有temporal_id=l，2，3的分組)，由此獲得了 OP等級#0的輸入0P。然后，第二裝置402基于所述OP和所述幀圖案在所述基站中生成OP表，該OP表中指明了所述降低視頻質(zhì)量的等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元。例如，參見圖10，在獲得OP等級#0的輸入OP之后，能夠推斷出如圖10所示的OP表，其中“X”是指所選出的待丟棄比特流分量。OP表以不同視頻質(zhì)量等級的降級排序指示了的合理適配路徑。優(yōu)選地，生成所述OP表還基于所述負荷報頭中所包含的優(yōu)先級信息，該優(yōu)先級信息指示了NAL單元的重要性級別。第三裝置403用于在檢測到無線環(huán)境惡化的情況下為所述承載判定執(zhí)行適配。在這里，所述無線環(huán)境惡化例如是用戶設備的信道質(zhì)量、協(xié)議層狀態(tài)和可用資源狀態(tài)中的一個或其任意組合的惡化。第四裝置404用于從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
[0115]應當指出，確定降低視頻質(zhì)量的等級包括基于所述無線環(huán)境惡化的程度而降低到相鄰等級或非相鄰等級，例如，基站基于無線環(huán)境惡化程度判定從等級#0降低到相鄰等級#1，或者從等級#0降低到非相鄰等級#2。
[0116]優(yōu)選地，具有較小優(yōu)先級，即較低重要性的NAL單元首先被丟棄。
[0117]優(yōu)選地，具有較小時間標記的視頻分組中的NAL單元首先被丟棄。
[0118]應當指出，當檢測到所述無線環(huán)境開始好轉(zhuǎn)時停止執(zhí)行所述適配，并且根據(jù)所述無線環(huán)境恢復的程度來基于所述候選集合而升高所述等級并停止丟棄之前確定為丟棄的所述NAL單元。
[0119]應當指出，所述網(wǎng)絡單元適配基于可分級編碼的視頻分組可以遵循現(xiàn)有的和將來的任何解決方案、標準、規(guī)范等的方式，例如(但不限于)前面所述的H.264/AVC、RFC6190和draft-1etf-payload-rtp-mvc-02ο
[0120]在實施上，本實施例的網(wǎng)絡單元400以及第一裝置401、第二裝置402、第三裝置403和第四裝置404，可以以軟件、硬件或軟件和硬件組合的方式來實現(xiàn)。例如，本領(lǐng)域技術(shù)人員熟悉多種可用來實現(xiàn)這些部件的設備，諸如微處理器、微控制器、專用集成電路(ASIC)、可編程邏輯設備(PLD)和/或現(xiàn)場可編程門陣列(FPGA)等。本實施例的網(wǎng)絡單元400可以被實現(xiàn)在無線通信系統(tǒng)的基站中也可以與基站分離地實現(xiàn)，并且該網(wǎng)絡單元400的各個組成部分也可以物理地分開實現(xiàn)而操作上地相互連接。
[0121]在操作上，上述結(jié)合圖14說明的實施例的用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元400，可以實現(xiàn)前面描述的用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法。通過使用該網(wǎng)絡單元400，通過在無線通信系統(tǒng)的基站中將SVC和MVC的可分級性特征適配于隨時間變化的無線環(huán)境，提供了比特流適配的靈活性和差錯魯棒性并且因此為當前基站提供了更合理的共享無線資源分配；并且能夠基于瞬時無線環(huán)境向終端提供質(zhì)量盡可能高的視頻業(yè)務，而無需額外的上行信令，并且能夠維持可接受的QoE。
[0122]以上雖然通過一些示例性的實施例對本發(fā)明的用于在無線通信系統(tǒng)中智能地適配基于可分級編碼的視頻分組的方法和網(wǎng)絡單元進行了詳細的描述，但是以上這些實施例并不是窮舉的，本領(lǐng)域技術(shù)人員可以在本發(fā)明的精神和范圍內(nèi)實現(xiàn)各種變化和修改。因此，本發(fā)明并不限于這些實施例，本發(fā)明的范圍僅由所附權(quán)利要求為準。
【權(quán)利要求】
1.一種用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的方法，該方法包括以下步驟: a)識別傳送基于可分級編碼的視頻分組的承載； b)基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合； c)在檢測到無線環(huán)境惡化的情況下，為所述承載判定執(zhí)行適配；以及 d)從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
2.根據(jù)權(quán)利要求1所述的方法，其中，步驟b)是通過以下步驟實現(xiàn)的: -基于所述負荷報頭中包含的可分級參數(shù)來確定輸入操作點OP ;以及 -基于所述輸入操作點OP和所述幀圖案在所述基站中生成OP表，該OP表中指明了不同的所述視頻質(zhì)量的等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元。
3.根據(jù)權(quán)利要求1或2所述的方法，其中: -生成所述OP表還基于所述負荷報頭中所包含的優(yōu)先級信息，該優(yōu)先級信息指示了所述NAL單元的重要性級別；和/或 -確定降低視頻質(zhì)量的等級包括基于所述無線環(huán)境惡化的程度而降低到相鄰等級或非相鄰等級；和/或 -識別傳送基于可分級編碼的視頻分組的承載是通過檢測所述基于可分級編碼的視頻分組中的負荷報頭來實現(xiàn)的。
4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其中: -在所述無線環(huán)境持續(xù)惡化的情況下重復執(zhí)行步驟c)和d);和/或 -當檢測到所述無線環(huán)境開始好轉(zhuǎn)時停止執(zhí)行所述適配，并且根據(jù)所述無線環(huán)境恢復的程度來基于所述候選集合而升高所述等級并停止丟棄之前確定為丟棄的所述NAL單元。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其中: -所述幀圖案是圖像編碼中的1、B和P幀的圖案；和/或 -所述負荷報頭是實時傳輸協(xié)議RTP負荷報頭；和/或 -所述無線環(huán)境包括用戶設備的信道質(zhì)量、協(xié)議層狀態(tài)和可用資源狀態(tài)中的一個或者其任意組合。
6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中: -所述可分級編碼包括符合H.264/AVC的可分級視頻編碼SVC和多視角視頻編碼MVC ；和/或 -對于SVC而言，所述可分級參數(shù)包括符合H.264/AVC和RFC6190的cbpendency_id、quality_id和temporal_id,而對于MVC而言,所述可分級參數(shù)包括符合H.264/AVC和draft-1etf-payload-rtp-mvc-02 的 view_id和 temporal_icL
7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中: -具有較小優(yōu)先級的網(wǎng)絡提取層NAL單元首先被丟棄；和/或 -具有較小時間標記的視頻分組中的網(wǎng)絡提取層NAL單元首先被丟棄。
8.一種用于在無線通信系統(tǒng)的基站中智能地適配基于可分級編碼的視頻分組的網(wǎng)絡單元，包括:-第一裝置，用于識別傳送基于可分級編碼的視頻分組的承載； -第二裝置，用于基于所述可分級編碼的視頻分組中的負荷報頭和幀圖案，為所述承載確定視頻質(zhì)量的等級的候選集合； -第三裝置，用于在檢測到無線環(huán)境惡化的情況下為所述承載判定執(zhí)行適配；以及-第四裝置，用于從所述候選集合中為所述承載確定降低視頻質(zhì)量的等級以及要丟棄的視頻分組中的網(wǎng)絡提取層NAL單元。
9.根據(jù)權(quán)利要求8所述的網(wǎng)絡單元，其中，由所述第二裝置確定降低視頻質(zhì)量的等級以及要丟棄的NAL單元是通過以下過程實現(xiàn)的: -基于所述負荷報頭中包含的可分級參數(shù)來確定輸入操作點OP ;以及-基于所述輸入操作點OP和所述幀圖案在所述基站中生成OP表，該OP表中指明了所述降低視頻質(zhì)量的等級的候選集合和與每個等級對應的需要丟棄的所述NAL單元，由此從所述候選集合中確定降低視頻質(zhì)量的等級。
10.根據(jù)權(quán)利要求8或9所述的網(wǎng)絡單元，其中: -生成所述OP表還基于所述負荷報頭中所包含的優(yōu)先級信息，該優(yōu)先級信息指示了所述NAL單元的重要性級別；和/或 -確定降低視頻質(zhì)量的等級包括基于所述無線環(huán)境惡化的程度而降低到相鄰等級或非相鄰等級。
11.根據(jù)權(quán)利要求8至10中任一項所述的網(wǎng)絡單元，其中，` -所述第一裝置識別承載是通過檢測所述基于可分級編碼的視頻分組中的負荷報頭來實現(xiàn)的；和/或 -所述網(wǎng)絡單元包含于所述基站中。
12.根據(jù)權(quán)利要求8至11中任一項所述的網(wǎng)絡單元，其中，當檢測到所述無線環(huán)境開始好轉(zhuǎn)時所述網(wǎng)絡單元停止執(zhí)行所述適配，并且所述第四裝置還適于根據(jù)所述無線環(huán)境恢復的程度來基于所述候選集合而升高所述等級并停止丟棄之前確定為丟棄的所述NAL單元。
13.根據(jù)權(quán)利要求8至12中任一項所述的網(wǎng)絡單元，其中: -所述幀圖案是圖像編碼中的1、B和P幀的圖案；和/或 -所述負荷報頭是實時傳輸協(xié)議RTP負荷報頭；和/或 -所述無線環(huán)境包括用戶設備的信道質(zhì)量、協(xié)議層狀態(tài)和可用資源狀態(tài)中的一個或者其任意組合。
14.根據(jù)權(quán)利要求8至13中任一項所述的網(wǎng)絡單元，其中: -所述可分級編碼包括符合H.264/AVC的可分級視頻編碼SVC和多視角視頻編碼MVC ；和/或 -對于SVC而言，所述可分級參數(shù)包括符合H.264/AVC和RFC6190的cbpendency_id、quality_id和temporal_id,而對于MVC而言,所述可分級參數(shù)包括符合H.264/AVC和draft-1etf-payload-rtp-mvc-02 的 view_id和 temporal_icL
15.根據(jù)權(quán)利要求8至14中任一項所述的網(wǎng)絡單元，其中: -具有較小時間標記的視頻分組中的網(wǎng)絡提取層NAL單元首先被丟棄；和/或 -具有較小優(yōu)先級的網(wǎng)絡提取層NAL單元首先被丟棄。
【文檔編號】H04N21/24GK103780917SQ201210400938
【公開日】2014年5月7日 申請日期:2012年10月19日 優(yōu)先權(quán)日:2012年10月19日
【發(fā)明者】晁華, 王河, 胡中驥 申請人:上海貝爾股份有限公司