用于控制話音質(zhì)量的方法和設(shè)備的制造方法
【專利摘要】本公開(kāi)涉及用于在移動(dòng)性情形的情況下具體地通過(guò)控制端到端延時(shí)并且改進(jìn)話音質(zhì)量來(lái)控制話音質(zhì)量的方法和設(shè)備。用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法包括：接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組；在分組緩沖器中存儲(chǔ)接收到的數(shù)據(jù)分組；從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣；以及處理所述音頻采樣，其中，調(diào)度從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼基于關(guān)于所述音頻采樣的音頻質(zhì)量以及接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，以及其中，所述調(diào)度在時(shí)間上動(dòng)態(tài)地并且平滑地偏移，以避免音頻失真。
【專利說(shuō)明】
用于控制話音質(zhì)量的方法和設(shè)備
技術(shù)領(lǐng)域
[0001]本公開(kāi)涉及一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法和設(shè)備。本公開(kāi)還涉及一種用于在移動(dòng)終端中使用的媒體處理電路以及一種用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器大小的方法。具體地說(shuō)，本公開(kāi)涉及一種用于與話音增強(qiáng)、編解碼與基于采樣的抖動(dòng)緩沖管理之間的精細(xì)粒度同步和自適應(yīng)調(diào)度組合的在下行鏈路中使用基于采樣的抖動(dòng)緩沖管理和共享PCM緩沖器來(lái)使LTE上的語(yǔ)音和IP上的語(yǔ)音端到端媒體延遲最小化的方法。具體地說(shuō)，本公開(kāi)還涉及在高移動(dòng)性情形中的改進(jìn)的LTE上的語(yǔ)音、IP上的語(yǔ)音和視頻抖動(dòng)緩沖管理。
【背景技術(shù)】
[0002]分組交換網(wǎng)絡(luò)上的媒體呼叫的實(shí)現(xiàn)方式必須應(yīng)對(duì)網(wǎng)絡(luò)抖動(dòng)，S卩，傳送時(shí)間將變化，并且分組可能沒(méi)有按順序到達(dá)。為了應(yīng)對(duì)這些問(wèn)題，接收機(jī)側(cè)上的媒體引擎通常使用JBM(抖動(dòng)緩沖管理)系統(tǒng)。為了預(yù)測(cè)能夠保護(hù)不受抖動(dòng)的最優(yōu)緩沖量但不多于必要地增加端到端延時(shí)，已經(jīng)有不同的策略。實(shí)際上，所有這些實(shí)現(xiàn)方式都嘗試基于新近的但為過(guò)去的信息針對(duì)未來(lái)短期而預(yù)測(cè)網(wǎng)絡(luò)行為。
[0003]必須不斷地改進(jìn)媒體處理中(具體地說(shuō)，無(wú)線通信網(wǎng)絡(luò)中，具體地說(shuō)，IP上的語(yǔ)音(VoIP)系統(tǒng)中，具體地說(shuō)LTE上的語(yǔ)音(VoLTE)系統(tǒng)中)所采用的方法和設(shè)備?？赡芷谕倪M(jìn)媒體處理中(具體地說(shuō)，移動(dòng)接收機(jī)中)的端到端延時(shí)。
【附圖說(shuō)明】
[0004]包括附圖以提供各方面的進(jìn)一步理解，并且合并附圖而且構(gòu)成該說(shuō)明書的一部分。附圖示出各方面并且連同說(shuō)明書一起服務(wù)于解釋各方面的原理。其它方面以及各方面的很多期望優(yōu)點(diǎn)由于通過(guò)參照以下詳細(xì)描述而變得更好理解，因此將容易地領(lǐng)會(huì)它們。類似的標(biāo)號(hào)指定對(duì)應(yīng)的相似部分。
[0005]圖1是包括基站110和移動(dòng)終端120的無(wú)線通信網(wǎng)絡(luò)100的示意圖。
[0006]圖2是根據(jù)本公開(kāi)的用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法200的示意圖。
[0007]圖3是根據(jù)本公開(kāi)的音頻處理系統(tǒng)的控制部分300的示意圖。
[0008]圖4是根據(jù)本公開(kāi)的用于在音頻處理系統(tǒng)中調(diào)度的活動(dòng)400的示意圖。
[0009]圖5是根據(jù)本公開(kāi)的用于調(diào)度圖4中所描述的活動(dòng)的調(diào)度系統(tǒng)500的示意圖。
[0010]圖6是根據(jù)本公開(kāi)的用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備600的示意圖。
[0011]圖7是根據(jù)本公開(kāi)的用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器的大小的方法700的示意圖。
[0012]圖8是根據(jù)本公開(kāi)的媒體處理系統(tǒng)800的示意圖。
[0013I圖9是示出根據(jù)本公開(kāi)的抖動(dòng)緩沖管理控制實(shí)體905的活動(dòng)900的示意圖。
[0014]圖10是根據(jù)本公開(kāi)的用于在移動(dòng)終端中使用的媒體處理電路1000的示意圖。
[0015]圖11是根據(jù)本公開(kāi)的抖動(dòng)緩沖配置設(shè)備1100的示意圖。
[0016]圖12是根據(jù)本公開(kāi)的媒體幀1200的示意圖。
【具體實(shí)施方式】
[0017]在以下【具體實(shí)施方式】中，參照附圖，附圖形成其一部分并且是通過(guò)可以實(shí)踐本公開(kāi)的說(shuō)明性具體方面的方式而示出的。應(yīng)理解，可以在不脫離本公開(kāi)的范圍的情況下，可以利用其它方面，并且進(jìn)行結(jié)構(gòu)或邏輯改變。因此，并非在限制性的意義上進(jìn)行以下詳細(xì)描述，本公開(kāi)的范圍由所附權(quán)利要求限定。
[0018]在此所描述的方法和設(shè)備可以基于端到端延時(shí)以及端到端延時(shí)的控制。端到端延遲或端到端延時(shí)指代經(jīng)由網(wǎng)絡(luò)(或系統(tǒng)或設(shè)備)從源到目的地傳輸分組所花費(fèi)的時(shí)間。應(yīng)理解，結(jié)合所描述的方法進(jìn)行的注解對(duì)于被配置為執(zhí)行方法的對(duì)應(yīng)設(shè)備也可以保持成立，并且反之亦然。例如，如果描述具體方法步驟，則即使在附圖中并未明確描述或示出用于執(zhí)行所描述的方法步驟的單元，對(duì)應(yīng)設(shè)備也可以包括該單元。此外，應(yīng)理解，在此所描述的各個(gè)示例性方面的特征可以彼此組合，除非另外具體地說(shuō)明。
[0019]可以在分組交換網(wǎng)絡(luò)(具體地說(shuō)，基于IP(互聯(lián)網(wǎng)協(xié)議)的網(wǎng)絡(luò))中實(shí)現(xiàn)在此所描述的方法和設(shè)備?？梢栽谟芯€通信網(wǎng)絡(luò)和無(wú)線通信網(wǎng)絡(luò)(具體地說(shuō)，基于互聯(lián)網(wǎng)協(xié)議上的語(yǔ)音(VoIP)的通信網(wǎng)絡(luò)，具體地說(shuō)，基于長(zhǎng)期演進(jìn)上的語(yǔ)音(VoLTE)的通信網(wǎng)絡(luò))中實(shí)現(xiàn)在此所描述的方法和設(shè)備?？梢栽跓o(wú)線通信網(wǎng)絡(luò)(例如LTE、UMTS(全球移動(dòng)通信系統(tǒng))和3GPP(第3代伙伴項(xiàng)目)系統(tǒng))中實(shí)現(xiàn)在此所描述的方法和設(shè)備?？梢赃M(jìn)一步在移動(dòng)設(shè)備(或移動(dòng)站或用戶裝備(UE))或基站(NodeB'eNodeB)中實(shí)現(xiàn)以下所描述的方法和設(shè)備。所描述的設(shè)備可以包括集成電路和/或無(wú)源設(shè)備，并且可以根據(jù)各種技術(shù)而制造。例如，電路可以設(shè)計(jì)為邏輯集成電路、模擬集成電路、混合信號(hào)集成電路、光電路、存儲(chǔ)器電路和/或集成無(wú)源電路。
[0020]在此所描述的方法和設(shè)備可以被配置為發(fā)送和/或接收無(wú)線電信號(hào)。無(wú)線電信號(hào)可以是或可以包括無(wú)線電發(fā)送設(shè)備(或無(wú)線電發(fā)射機(jī)或接收機(jī))通過(guò)處于大約3Hz至大約300GHz的范圍中的射頻所輻射的射頻信號(hào)。頻率范圍可以與用于產(chǎn)生并且檢測(cè)無(wú)線電波的交變電流電信號(hào)的頻率對(duì)應(yīng)。
[0021]在此所描述的方法和設(shè)備可以用于控制抖動(dòng)緩沖管理。在幾乎所有通信鏈路的設(shè)計(jì)中，抖動(dòng)是顯著的但通常不期望的因素。在分組交換網(wǎng)絡(luò)中，抖動(dòng)是網(wǎng)絡(luò)上的分組延時(shí)的隨時(shí)間的變化性中所測(cè)量的延時(shí)的變化。抖動(dòng)緩沖器用于抵抗分組交換網(wǎng)絡(luò)中因排隊(duì)而引入的抖動(dòng)，使得可以確保通過(guò)網(wǎng)絡(luò)傳輸?shù)拿襟w(例如音頻或視頻)的連續(xù)播放。抖動(dòng)緩沖器可以抵抗的最大抖動(dòng)等于在開(kāi)始播放媒體流之前引入的緩沖延遲。抖動(dòng)緩沖管理用于控制并且管理抖動(dòng)緩沖器。
[0022]在此所描述的方法可以包括AMR(自適應(yīng)多速率)編解碼器、EVS(根據(jù)3GPP TS26.444的增強(qiáng)語(yǔ)音服務(wù))編解碼器、WSOLA(基于波形相似度的重疊相加)以及PS0LA(音調(diào)同步重疊相加)編解碼器。AMR音頻編解碼器是針對(duì)話音編碼所最優(yōu)的音頻壓縮格式。AMR話音編解碼器包括多速率窄帶話音編解碼器，其按具有開(kāi)始于7.4kbit/s的長(zhǎng)途質(zhì)量話音的范圍從大約4.75kbit/s到大約12.2kbit/s的可變比特率對(duì)窄帶信號(hào)(大約200-3400HZ)進(jìn)行編碼。AMR由3GPP采用作為標(biāo)準(zhǔn)話音編解碼器，并且現(xiàn)在廣泛用在GSM、UMTS和LTE中。其使用鏈路適配以基于鏈路狀況從八個(gè)不同的比特率之一進(jìn)行選擇。AMR還表示用于存儲(chǔ)使用AMR編解碼器的說(shuō)話音頻的文件格式。PSOLA是對(duì)于話音處理并且更具體地話音合成所使用的數(shù)字信號(hào)處理技術(shù)。PSOLA可以用于修改話音信號(hào)的音調(diào)和持續(xù)時(shí)間。PSOLA通過(guò)將話音波形劃分為小重疊分段而工作。為了改變信號(hào)的音調(diào)，分段移動(dòng)得進(jìn)一步分開(kāi)(用于降低音調(diào))或更靠近在一起(用于增加音調(diào))。為了改變信號(hào)的持續(xù)時(shí)間，于是多次重復(fù)分段(用于增加持續(xù)時(shí)間)，或消除一些分段(用于降低持續(xù)時(shí)間)。然后通過(guò)使用重疊相加技術(shù)來(lái)組合分段。
[0023]在此所描述的方法和設(shè)備可以使用POLQA話音信號(hào)分析。POLQA覆蓋模型，以通過(guò)數(shù)字話音信號(hào)分析來(lái)預(yù)測(cè)話音質(zhì)量。這些目標(biāo)測(cè)度的預(yù)測(cè)應(yīng)盡可能接近主觀偵聽(tīng)測(cè)試中所獲得的主觀質(zhì)量評(píng)分。通常，預(yù)測(cè)平均意見(jiàn)評(píng)分(MOS) WOLQA使用真實(shí)話音作為測(cè)試激勵(lì)，以用于評(píng)估電話網(wǎng)絡(luò)。
[0024]在此所描述的方法和設(shè)備可以基于RTP(實(shí)時(shí)傳送協(xié)議)分組。RTP定義用于通過(guò)IP網(wǎng)絡(luò)傳遞音頻和視頻的標(biāo)準(zhǔn)化分組格式。RTP是針對(duì)流數(shù)據(jù)的端到端實(shí)時(shí)傳送而設(shè)計(jì)的。該協(xié)議有助于抖動(dòng)補(bǔ)償和數(shù)據(jù)的亂序到達(dá)的檢測(cè)，它們?cè)贗P網(wǎng)絡(luò)上的傳輸期間都是普遍的。
[0025]在此所描述的方法和設(shè)備可以包括PCM(脈沖編碼調(diào)制)采樣和PCM緩沖器。PCM是用于以數(shù)字方式表示所采樣的模擬信號(hào)的技術(shù)。PCM是例如在計(jì)算機(jī)、壓縮盤和數(shù)字電話中使用的針對(duì)數(shù)字音頻應(yīng)用的標(biāo)準(zhǔn)格式。在PCM流中，按均勻間隔有規(guī)律地對(duì)模擬信號(hào)的幅度進(jìn)行采樣，并且將每個(gè)采樣量化為數(shù)字步長(zhǎng)的范圍內(nèi)最接近的值。
[0026]圖1是包括基站110和移動(dòng)終端120的無(wú)線通信網(wǎng)絡(luò)100的示意圖。在基站110與移動(dòng)終端或用戶設(shè)備(UE)120之間的無(wú)線通信中，發(fā)送信號(hào)102可以由基站110發(fā)送并且由UE120接收作為接收信號(hào)104ο由于抖動(dòng)對(duì)基站110與UE 120之間的傳輸路徑108的影響，接收信號(hào)104可能經(jīng)受延遲變化，S卩，發(fā)送信號(hào)102的分組106可能隨著時(shí)間經(jīng)歷延時(shí)的變化，并且一些或所有分組106可能是亂序(out-of-order)接收到的?；?10與UE 120之間的傳輸路徑108可以包括圖1中未描述的很多網(wǎng)絡(luò)部件。在接收信號(hào)104的接收與接收信號(hào)104的播放之間，在UE 120中可能出現(xiàn)其它抖動(dòng)影響。
[0027]圖2是根據(jù)本公開(kāi)的用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法200的示意圖。方法200包括:接收(201)包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組。方法200包括:在分組緩沖器中存儲(chǔ)(202)接收到的數(shù)據(jù)分組。方法200包括:從分組緩沖器獲取(203)接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣。方法200包括:處理(204)音頻采樣，其中，調(diào)度從分組緩沖器獲取(203)接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼是基于關(guān)于音頻采樣的音頻質(zhì)量以及接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，并且其中，所述調(diào)度在時(shí)間上動(dòng)態(tài)地并且平滑地偏移，以避免音頻失真。因此，方法200通過(guò)使得能夠進(jìn)行各種音頻活動(dòng)的動(dòng)態(tài)的、平滑的和自適應(yīng)的調(diào)度來(lái)控制端到端延時(shí)?？梢栽诰彌_增加或降低的頂端上動(dòng)態(tài)地調(diào)整音頻回放和編解碼器解碼觸發(fā):并且該操作將甚至在不存在抖動(dòng)的情況下也使得能夠降低端到端延時(shí)。
[0028]調(diào)度從分組緩沖器獲取(203)接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼可以基于對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放，以關(guān)于最小延時(shí)將接收到的數(shù)據(jù)分組的處理移動(dòng)到最優(yōu)位置中。對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放可以包括例如以下關(guān)于圖3所描述的幀壓縮309，以用于減少接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)。對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行時(shí)間縮放可以包括例如以下關(guān)于圖3所描述的幀擴(kuò)展317，以用于增加接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)。對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行時(shí)間縮放可以包括例如以下關(guān)于圖3所描述的關(guān)于幀壓縮和幀擴(kuò)展的空閑(idle)活動(dòng)313，以用于保持接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)。
[0029]時(shí)間縮放可以用于偏移所述調(diào)度，以便修改所述至少一個(gè)已解碼音頻幀的位置。時(shí)間縮放可以基于話音幀壓縮和話音幀擴(kuò)展之一。方法200還可以包括:基于與接收到的數(shù)據(jù)和播放數(shù)據(jù)之間的延時(shí)有關(guān)的統(tǒng)計(jì)信息(例如RTP統(tǒng)計(jì))來(lái)確定最優(yōu)調(diào)度。方法200還可以包括:基于在接收速率和/或重傳速率的基礎(chǔ)上的調(diào)制解調(diào)器統(tǒng)計(jì)來(lái)確定最優(yōu)調(diào)度。時(shí)間縮放可以基于例如以下關(guān)于圖5所描述的移除以及添加話音的音調(diào)時(shí)段之一。時(shí)間縮放可以基于例如以下關(guān)于圖5所描述的音調(diào)同步重疊和相加。數(shù)據(jù)分組可以是異步接收到的數(shù)據(jù)分組的流的一部分。方法200還可以包括:確定接收數(shù)據(jù)分組的流中的各相應(yīng)數(shù)據(jù)分組與處理各相應(yīng)數(shù)據(jù)分組的音頻采樣之間的延時(shí)的統(tǒng)計(jì)。該統(tǒng)計(jì)可以用于調(diào)度。
[0030]從分組緩沖器獲取接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼并處理音頻采樣可以基于例如以下關(guān)于圖4所描述的主時(shí)鐘?？梢酝ㄟ^(guò)調(diào)整從分組緩沖器獲取接收到的數(shù)據(jù)分組以及對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼的時(shí)鐘定時(shí)來(lái)執(zhí)行從分組緩沖器獲取(203)接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼的調(diào)度?？梢酝ㄟ^(guò)調(diào)整處理音頻采樣的時(shí)鐘定時(shí)來(lái)執(zhí)行調(diào)度。
[0031]方法200還可以包括:確定接收到的數(shù)據(jù)分組與所處理的音頻采樣之間的延時(shí)。方法200還可以包括:確定音頻采樣的音頻質(zhì)量。方法200還可以包括:調(diào)度從分組緩沖器獲取(203)接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼，使得音頻質(zhì)量大于第一閾值，并且接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)小于第二閾值。
[0032]確定音頻質(zhì)量可以基于用于通過(guò)數(shù)字話音信號(hào)分析來(lái)預(yù)測(cè)話音質(zhì)量的模型，具體地說(shuō)，基于感知主觀偵聽(tīng)質(zhì)量評(píng)估(POLQA)。本公開(kāi)中所描述的方法和設(shè)備使一般地說(shuō)，IP上的語(yǔ)音，具體地說(shuō)，LTE上的語(yǔ)音中的端到端延遲最小化。本公開(kāi)中所描述的方法和設(shè)備可以與音頻系統(tǒng)的VOIP下行鏈路(DL)處理有關(guān)。歸因于能夠進(jìn)行話音幀的時(shí)間縮放(壓縮和擴(kuò)展)、共享下行鏈路PCM緩沖器以及“下行鏈路話音增強(qiáng)、基于采樣的抖動(dòng)緩沖管理和編解碼器子系統(tǒng)”之間的精細(xì)粒度同步的基于自適應(yīng)采樣的抖動(dòng)緩沖管理，可以確保RTP分組接收與關(guān)聯(lián)PCM回放之間的最小延時(shí)。在具有或沒(méi)有網(wǎng)絡(luò)抖動(dòng)的多數(shù)網(wǎng)絡(luò)狀況中，下行鏈路延時(shí)得以最小化，而不使得話音質(zhì)量降級(jí)。
[0033]本公開(kāi)中所描述的構(gòu)思依賴于以下音頻子系統(tǒng)的自適應(yīng)同步方式的組合使用:用于能夠進(jìn)行話音幀的時(shí)間縮放(壓縮和擴(kuò)展)的基于采樣的抖動(dòng)緩沖管理(SJBM)、下行鏈路編解碼器(例如用于VoLTE的DL AMR或EVS解碼器)、下行鏈路話音增強(qiáng)子系統(tǒng)、以及DL編解碼器/SJBM與以下所描述DL話音增強(qiáng)子系統(tǒng)之間共享的共享下行鏈路PCM緩沖器。
[0034]圖3是根據(jù)本公開(kāi)的音頻處理系統(tǒng)的控制部分300的示意圖?？刂撇糠?00包括抖動(dòng)緩沖管理實(shí)體301，用于分組推送/拉取處理。抖動(dòng)緩沖管理實(shí)體301負(fù)責(zé)RTP分組推送302和RTP分組拉取304處理?？刂撇糠?00包括分組統(tǒng)計(jì)實(shí)體303，用于收集與RTP分組接收及其關(guān)聯(lián)播放之間的分組延遲有關(guān)的信息。在一個(gè)示例中，延遲測(cè)量的粒度可以優(yōu)于lms。分組統(tǒng)計(jì)實(shí)體303可以由RTP分組推送302事件觸發(fā)。
[0035]控制部分300還包括最優(yōu)延遲計(jì)算實(shí)體305，其被配置為:對(duì)于每個(gè)接收到的幀306，基于分組統(tǒng)計(jì)實(shí)體303所確定的分組統(tǒng)計(jì)來(lái)計(jì)算最優(yōu)延遲。最優(yōu)延遲計(jì)算實(shí)體305被配置為:推導(dǎo)用于應(yīng)對(duì)網(wǎng)絡(luò)抖動(dòng)的最優(yōu)緩沖量和用于降低延時(shí)的SJBM和DL編解碼器活動(dòng)的最優(yōu)調(diào)度，并且發(fā)出用于話音幀的壓縮309、擴(kuò)展317或無(wú)改變313的命令。取決于目標(biāo)準(zhǔn)則，如果超過(guò)目標(biāo)準(zhǔn)則(307(>0))，則發(fā)出用于壓縮309的命令，如果計(jì)算出的延遲小于目標(biāo)(315(〈O))，則發(fā)出用于擴(kuò)展317的命令，如果實(shí)現(xiàn)目標(biāo)準(zhǔn)則(311(>0))，則發(fā)出用于無(wú)改變313的命令。
[0036]分組統(tǒng)計(jì)實(shí)體303可以針對(duì)每個(gè)RTP分組精確地測(cè)量RTP分組接收302與所嵌入的話音凈荷的播放304之間的延遲。接著，可以由分組統(tǒng)計(jì)實(shí)體303推導(dǎo)/導(dǎo)出(derive)統(tǒng)計(jì)并動(dòng)態(tài)地進(jìn)行更新。歸因于這些統(tǒng)計(jì)，在可以在VoLTE系統(tǒng)中典型地每例如20ms (或例如40ms)發(fā)生的每一話音幀處理之前，最優(yōu)延遲計(jì)算實(shí)體305不但可以確定用于應(yīng)對(duì)網(wǎng)絡(luò)抖動(dòng)的最優(yōu)緩沖量，還可以關(guān)于最低延時(shí)確定各個(gè)音頻活動(dòng)的最優(yōu)調(diào)度。通過(guò)獲知一些音頻活動(dòng)應(yīng)偏移達(dá)多少TARGETED毫秒，可以發(fā)出話音幀時(shí)間縮放命令?？梢酝ㄟ^(guò)添加或移除一個(gè)音調(diào)時(shí)段來(lái)對(duì)話音幀進(jìn)行時(shí)間縮放，由此確保對(duì)話音幀的最小聽(tīng)覺(jué)改變，并且甚至在靜默時(shí)段不可用的情況下也能夠進(jìn)行適配(或能夠進(jìn)行更快的適配，而無(wú)需等待靜默時(shí)段)。在話音幀的時(shí)間縮放之后，可以對(duì)用于下一話音幀處理的喚醒進(jìn)行編程并對(duì)準(zhǔn)，以匹配時(shí)間縮放后的話音幀的新的長(zhǎng)度。
[0037]圖4是根據(jù)本公開(kāi)的在音頻處理系統(tǒng)中調(diào)度的活動(dòng)400的示意圖。圖4表示在VoLTE呼叫(或Vo IP呼叫)期間所調(diào)度的不同音頻活動(dòng)401、402、403。
[0038]在每一RTP分組接收410時(shí)觸發(fā)活動(dòng)1(401)。所以，其為異步活動(dòng)(即使理想地沒(méi)有網(wǎng)絡(luò)抖動(dòng)，其也應(yīng)在典型的VoLTE系統(tǒng)上每20ms或40ms發(fā)生)。當(dāng)接收到RTP分組(410)時(shí)，分組被推送或存儲(chǔ)到SJBM(基于采樣的抖動(dòng)緩沖管理)緩沖器中，除非其接收得太遲，在其預(yù)期播放時(shí)間之后。
[0039]活動(dòng)2(402)與可以在VoLTE系統(tǒng)上典型地每20ms (或40ms)發(fā)生的話音幀解碼有關(guān)。從SJBM緩沖器獲取RTP分組。AMR或EVS凈荷被解碼為PCM(脈沖編碼調(diào)制)采樣，并且可以被轉(zhuǎn)發(fā)到DL話音增強(qiáng)系統(tǒng)。在此，并非每20ms調(diào)度該活動(dòng)402，而是可以動(dòng)態(tài)地控制并適配調(diào)度。其可以小于20ms或大于20ms，這取決于活動(dòng)2(402)的處理相對(duì)于活動(dòng)3(403)偏移多少。
[0040]活動(dòng)3(403)與DL話音增強(qiáng)有關(guān)。該操作可以在特定DSP上執(zhí)行，但不限于該架構(gòu)。每例如lms，DL話音增強(qiáng)可以獲取PCM采樣，以便進(jìn)行處理。不同系統(tǒng)可以使用不同粒度(例如5ms、1ms或任何其它值)。粒度越小，針對(duì)下行鏈路延時(shí)最小化的結(jié)果可以越好。話音增強(qiáng)可以是與數(shù)字信號(hào)處理有關(guān)的活動(dòng)，以便例如針對(duì)話音信號(hào)的波形、延遲、編碼等增強(qiáng)話音信號(hào)。
[0041 ] 可以從同一主時(shí)鐘412或中斷導(dǎo)出活動(dòng)2(403)和3(403)的調(diào)度，以避免不想要的調(diào)度漂移。
[0042]在示例中，主時(shí)鐘412例如每I毫秒對(duì)每一硬件中斷(MASTER IT)進(jìn)行時(shí)鐘定時(shí)。接著，活動(dòng)2(402)可以在話音幀壓縮之后每SJBM中斷(SJBM IT)毫秒(例如每N倍MASTER IT毫秒，其中，N是可配置的整數(shù)(例如每20ms或16ms))進(jìn)行時(shí)鐘定時(shí)，并且在每一話音幀處理之后進(jìn)行更新。活動(dòng)3(403)可以每DSP中斷(DSP IT)毫秒(例如每N倍MASTERIT毫秒，其中，N是可配置的整數(shù)(例如每Ims))進(jìn)行時(shí)鐘定時(shí)，并且在呼叫期間固定。
[0043]在圖5上，活動(dòng)1(401)標(biāo)識(shí)有前綴“r”，具體地說(shuō)“rl”(對(duì)于RTP分組接收)，活動(dòng)2(402)標(biāo)識(shí)有前綴“s”，具體地說(shuō)“si”(對(duì)于SJBM)，活動(dòng)3(403)標(biāo)識(shí)有前綴“d”，具體地說(shuō)“dl”(對(duì)于DSP話音增強(qiáng))。
[0044]圖5是根據(jù)本公開(kāi)的用于調(diào)度圖4中所描述的活動(dòng)的調(diào)度系統(tǒng)500的示意圖。
[0045]在圖5中，描述用于減少延時(shí)的詳細(xì)模塊。在此所使用的特定數(shù)量與不考慮網(wǎng)絡(luò)抖動(dòng)的情況的說(shuō)明性示例對(duì)應(yīng)，并且其示出SJBM(基于采樣的抖動(dòng)緩沖管理)可以如何用于減少下行鏈路延時(shí)(甚至在不存在網(wǎng)絡(luò)抖動(dòng)的情況下)。同樣可以使用與不同網(wǎng)絡(luò)狀況對(duì)應(yīng)的其它數(shù)量。
[0046]作為說(shuō)明，考慮不存在網(wǎng)絡(luò)抖動(dòng)的情況。RTP分組502每20ms到達(dá)(圖5中的rl)，但這些RTP分組502的接收與它們的(例如，在服編解碼器511中的)對(duì)應(yīng)播放之間的延遲(不包括UE上的有效DL處理)是6ms?？梢园l(fā)出用于話音幀壓縮的命令504(圖5中的Si)。(例如VoLTE系統(tǒng)上的AMR解碼器503或EVS解碼器)從RTP緩沖器501獲取RTP分組506并且進(jìn)行解碼，并且DL解碼器503可以傳遞20ms的pcm采樣508。接著，幀可以憑借PSOLA算法505進(jìn)行壓縮(512)，移除話音幀中的一個(gè)音調(diào)時(shí)段。在此假設(shè)在4ms時(shí)檢測(cè)到音調(diào)時(shí)段，20ms話音幀可以被壓縮為16ms的PCM采樣，其被存儲(chǔ)在PCM緩沖器507中。
[0047]現(xiàn)在，并非20ms后觸發(fā)下一 AMR解碼503(或EVS解碼)，而是可以通過(guò)將SJBM中斷510設(shè)置為16ms，16ms后調(diào)度下一 AMR解碼503(或EVS解碼)。接著，該調(diào)度可以回到每20ms進(jìn)行AMR解碼503(或EVS解碼)的調(diào)度。以此方式，實(shí)現(xiàn)了活動(dòng)2(以上關(guān)于圖4所描述的sl、s2、s3、s4、s5)相對(duì)于活動(dòng)3(以上關(guān)于圖4所描述的dl、d2、d3)的偏移，這使得在該示例中能夠減少延時(shí)達(dá)4ms。在該偏移之后，可以在2ms延遲(不包括UE上的有效DL處理)而非6ms的情況下測(cè)量RTP分組?？梢酝ㄟ^(guò)僅添加或移除一個(gè)音調(diào)時(shí)段來(lái)平滑地執(zhí)行下行鏈路音頻活動(dòng)的偏移，由此確保在適配發(fā)生的幀期間的最小失真。該處理是動(dòng)態(tài)的，并且可以取決于所收集的統(tǒng)計(jì)以及所使用的策略而一再重復(fù)，以執(zhí)行DL音頻活動(dòng)調(diào)度的調(diào)整。
[0048]每DSP(數(shù)字信號(hào)處理)中斷516，DSP話音增強(qiáng)實(shí)體509可以從PCM緩沖器507得到PCM采樣514，處理這些采樣，并且將它們傳遞到Hff編解碼器511，以用于播放。替代地，PCM采樣514可以直接傳送到Hff編解碼器511，而不經(jīng)過(guò)DSP話音增強(qiáng)實(shí)體509。
[0049]在此，示出從相對(duì)低的延遲開(kāi)始的單個(gè)步驟。然而，為了處理遠(yuǎn)更大的延遲，可以執(zhí)行若干相似和連續(xù)步驟(例如在此所描述的步驟)，以使得延時(shí)最小化。為了更好理解匹配VoLTE系統(tǒng)的典型設(shè)置，在此所提供的數(shù)值是說(shuō)明性的，并且已經(jīng)是固定的，但同樣可以使用任何其它值。
[0050]SJBM通常用于壓縮/擴(kuò)展幀，以增加或減少緩沖量，從而保護(hù)免受網(wǎng)絡(luò)抖動(dòng)，但在此，我們?cè)跊](méi)有網(wǎng)絡(luò)抖動(dòng)的情況下也使用SJBM，以減少下行鏈路延時(shí)。
[0051 ] 共享下行鏈路PCM緩沖器507、精細(xì)粒度同步系統(tǒng)以及編解碼器和SJBM活動(dòng)的不同調(diào)度已經(jīng)添加在已有的SJBM的頂端，以使得能夠降低延時(shí)。該調(diào)度可以在呼叫期間動(dòng)態(tài)地適配，并且可以在每一幀處改變。
[0052]基于在VoIP呼叫期間所收集的統(tǒng)計(jì)，在每一話音幀處理之前，不僅確定用于應(yīng)對(duì)網(wǎng)絡(luò)抖動(dòng)的最優(yōu)緩沖量，還確定調(diào)度不同音頻活動(dòng)的最優(yōu)方式，使得能夠最小化下行鏈路延時(shí)。
[0053]接著，歸因于基于采樣的抖動(dòng)緩沖管理的時(shí)間縮放特征，可以執(zhí)行自適應(yīng)機(jī)制，將一些音頻活動(dòng)相對(duì)于其它音頻活動(dòng)偏移。
[0054]在不使用本公開(kāi)中所描述的基于自適應(yīng)采樣的抖動(dòng)緩沖管理的情況下，可能需要附加緩沖，導(dǎo)致附加延時(shí)。
[0055]在不使用下行鏈路話音增強(qiáng)子系統(tǒng)、基于采樣的抖動(dòng)緩沖管理與編解碼器子系統(tǒng)之間的精細(xì)粒度同步和調(diào)度的情況下，可能體驗(yàn)到更低的話音質(zhì)量和/或更高的端到端延時(shí)。在沒(méi)有音頻調(diào)度活動(dòng)的動(dòng)態(tài)適配的情況下，話音幀處理可能更慢地適配。
[0056]甚至在沒(méi)有抖動(dòng)的情況下也可以使用本公開(kāi)中所描述的SJBM(基于采樣的抖動(dòng)緩沖管理)，以減少VoIP下行鏈路延時(shí)。
[0057]根據(jù)本公開(kāi)的方法和設(shè)備可以提供改進(jìn)的性能的使用情況是例如具有或沒(méi)有網(wǎng)絡(luò)抖動(dòng)的VoIP情形。這些方法和設(shè)備也能夠處理具有或沒(méi)有靜默時(shí)段的情形，以無(wú)縫地適配并且減少延時(shí)，而不使得話音質(zhì)量降級(jí)。
[0058]根據(jù)本公開(kāi)的方法和設(shè)備適合于基于調(diào)制解調(diào)器的解決方案(其中，VoIP引擎嵌入在調(diào)制解調(diào)器中，因此典型地用于低端解決方案)以及基于應(yīng)用處理器的解決方案(其中，VoIP引擎嵌入在應(yīng)用處理器中，因此典型地用于高端解決方案)。根據(jù)本公開(kāi)的方法和設(shè)備在這兩種情況下是可用的。
[0059]本公開(kāi)中所描述的方法和設(shè)備實(shí)現(xiàn)用于在不使得話音質(zhì)量降級(jí)的情況下減少VoLTE中的總體端到端延遲的解決方案。
[0060]圖6是根據(jù)本公開(kāi)的用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備600的示意圖。
[0061]設(shè)備600包括分組緩沖器601、解碼器603、音頻處理器605和調(diào)度器607。分組緩沖器601被配置為:接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組602。解碼器603被配置為:從分組緩沖器601獲取接收到的數(shù)據(jù)分組604并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣606 ο音頻處理器605被配置為:處理音頻采樣606。調(diào)度器607被配置為:基于關(guān)于音頻采樣606的音頻質(zhì)量以及分組緩沖器601進(jìn)行的接收數(shù)據(jù)分組602與音頻處理器605進(jìn)行的處理音頻采樣606之間的延時(shí)的目標(biāo)準(zhǔn)則，對(duì)從分組緩沖器601獲取接收到的數(shù)據(jù)分組604并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。調(diào)度器607被配置為:在時(shí)間上動(dòng)態(tài)地并且平滑地偏移調(diào)度，以避免音頻失真。
[0062]設(shè)備600還可以包括音頻緩沖器(例如以上關(guān)于圖5所描述的音頻緩沖器507)，其耦合在解碼器603與音頻處理器605之間。解碼器603可以被配置為:在音頻緩沖器507中存儲(chǔ)音頻采樣606 ο音頻處理器605可以被配置為:從音頻緩沖器507獲取音頻采樣606。
[0063]調(diào)度器607可以被配置為:調(diào)整用于在音頻緩沖器507中存儲(chǔ)音頻采樣的解碼器603的存取速率、用于從音頻緩沖器507獲取音頻采樣606的音頻處理器605的存取速率以及對(duì)音頻緩沖器507的拉取請(qǐng)求的存取速率中的至少一個(gè)。
[0064]調(diào)度器607可以被配置為:基于第一時(shí)鐘來(lái)調(diào)整解碼器603的存取速率，并且基于第二時(shí)鐘來(lái)調(diào)整音頻處理器605的存取速率。第一時(shí)鐘和第二時(shí)鐘可以得自主時(shí)鐘，或者可以根據(jù)任何另外同步機(jī)制進(jìn)行同步。
[0065]調(diào)度器607可以被配置為:基于調(diào)整用于對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼的解碼器603的時(shí)間縮放，對(duì)從分組緩沖器601獲取接收到的數(shù)據(jù)分組604并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。解碼器603可以包括話音解碼器(例如AMR解碼器503或EVS(增強(qiáng)語(yǔ)音服務(wù))解碼器)和/或話音時(shí)間縮放器(例如PSOLA壓縮器505或例如以上關(guān)于圖5所描述的WSOLA壓縮器)。設(shè)備600可以執(zhí)行以上關(guān)于圖2至圖5所描述的方法。
[0066]以上關(guān)于圖1至圖6所描述的方法和設(shè)備可以基于與使得端到端延時(shí)最小化有關(guān)的構(gòu)思。可以通過(guò)以下問(wèn)題來(lái)描述該構(gòu)思:作為開(kāi)始點(diǎn)，在不存在抖動(dòng)的情境中使用基于采樣的抖動(dòng)緩沖管理實(shí)體(通常用于解決抖動(dòng)問(wèn)題)，以消除端到端延時(shí)。其為這樣的系統(tǒng)想法:能夠進(jìn)行音頻播放、SJBM&編解碼器活動(dòng)以及音頻DSP話音增強(qiáng)活動(dòng)的動(dòng)態(tài)和自適應(yīng)調(diào)度，使得端到端延時(shí)在VoIP呼叫期間保持為最小?？梢杂^察到以下事實(shí):音頻播放、SJBM拉取、編解碼器解碼和音頻DSP話音增強(qiáng)的調(diào)度是靜態(tài)的，并且典型地每20(或40ms)發(fā)生。SJBM時(shí)間縮放能力僅用于增加或減少JBM緩沖量:它們既不改變播放的速率也不改變SJBM拉取活動(dòng)的速率，也不改變編解碼器解碼活動(dòng)的速率，且不改變與音頻DSP交換數(shù)據(jù)的速率。根據(jù)本公開(kāi)的方法和設(shè)備使得能夠進(jìn)行音頻活動(dòng)的動(dòng)態(tài)調(diào)度，其中，對(duì)會(huì)在VoIP呼叫期間在任何時(shí)間點(diǎn)發(fā)生的活動(dòng)進(jìn)行平滑和自適應(yīng)定位/偏移?？梢酝ㄟ^(guò)實(shí)現(xiàn)以上關(guān)于圖1至圖6所描述的方法和設(shè)備來(lái)實(shí)現(xiàn)在VoIP呼叫期間的音頻活動(dòng)的這種動(dòng)態(tài)的、自適應(yīng)的和平滑的調(diào)度。關(guān)鍵項(xiàng)涉及:能夠測(cè)量調(diào)度的次優(yōu)程度;能夠在VoIP呼叫期間在任何時(shí)間點(diǎn)，在請(qǐng)求時(shí)偏移SJBM/編解碼器活動(dòng);能夠平滑地/靜默地偏移音頻活動(dòng)，而沒(méi)有音頻假聲。整個(gè)系統(tǒng)的粒度是重要的:SJBM/編解碼器子系統(tǒng)與DSP/話音增強(qiáng)子系統(tǒng)之間的緩沖越小，對(duì)于音頻數(shù)據(jù)交換，就能夠越好地減少端到端延時(shí)。可以通過(guò)使用具有修改的SJBM的根據(jù)本公開(kāi)的方法和設(shè)備來(lái)展示較低的端到端延時(shí)，其甚至在一點(diǎn)也不存在抖動(dòng)的情況下也提供改進(jìn)。原型化已經(jīng)完成并且已經(jīng)示出優(yōu)良性能。
[0067]圖7是根據(jù)本公開(kāi)的用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器的大小的方法700的示意圖。方法700包括:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組(701)。方法700包括:在抖動(dòng)緩沖器中存儲(chǔ)(702)解分組的至少一個(gè)已編碼媒體幀。方法700包括:從抖動(dòng)緩沖器獲取(703)至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體米樣。方法700包括:基于指不移動(dòng)終端的移動(dòng)性狀態(tài)的?目息來(lái)確定(704)抖動(dòng)模型。方法700包括:基于指示移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整(705)抖動(dòng)模型。方法700包括:基于抖動(dòng)模型來(lái)調(diào)整(7 06)抖動(dòng)緩沖器的大小。指示移動(dòng)性狀態(tài)的信息的歷史可以包括實(shí)際的和過(guò)去的移動(dòng)性狀態(tài)信息以及從該移動(dòng)性狀態(tài)信息導(dǎo)出的其它信息(例如統(tǒng)計(jì))。歷史可以存儲(chǔ)在存儲(chǔ)器中。
[0068]指示移動(dòng)終端的移動(dòng)性狀態(tài)的信息可以包括關(guān)于移動(dòng)終端的速度的信息。指示移動(dòng)終端的移動(dòng)性狀態(tài)的信息可以包括與移動(dòng)終端有關(guān)的以下信息中的一個(gè)或多個(gè):速度或速率信息、位置信息(例如室內(nèi)或室外信息)、環(huán)境信息、時(shí)間信息、速度的改變或加速度信息、關(guān)于移動(dòng)終端連接到的網(wǎng)絡(luò)的信息。調(diào)整抖動(dòng)緩沖器的大小可以基于在指示移動(dòng)終端的移動(dòng)性狀態(tài)的信息的基礎(chǔ)上所估計(jì)的網(wǎng)絡(luò)抖動(dòng)。方法700還可以包括:估計(jì)網(wǎng)絡(luò)抖動(dòng)作為可以從指示移動(dòng)終端的移動(dòng)性狀態(tài)的信息導(dǎo)出的周期函數(shù)。
[0069]該方法700的基本原理可以包括:檢測(cè)高移動(dòng)性情形，并且對(duì)專用于這些情形的抖動(dòng)進(jìn)行建模。這使得能夠進(jìn)行更好的JBM決策，從而帶來(lái)改進(jìn)的話音和/或視頻質(zhì)量。
[0070]以下示例示出在3GPP網(wǎng)絡(luò)的典型情況下的情形，但其可以轉(zhuǎn)換到通過(guò)分組交換網(wǎng)絡(luò)進(jìn)行媒體(語(yǔ)音或視頻)發(fā)送和接收的任何網(wǎng)絡(luò)。在LTE或3G HSPA系統(tǒng)的情況下，當(dāng)例如在高速路上的用戶正從一個(gè)eNodeB(或3G中的NodeB或2G術(shù)語(yǔ)中的基站)移動(dòng)到其它eNodeB時(shí)，發(fā)生以下步驟:當(dāng)靠近eNode-B時(shí)，無(wú)線電信號(hào)質(zhì)量是良好的，而當(dāng)移動(dòng)離開(kāi)時(shí)，無(wú)線電信號(hào)質(zhì)量降低，導(dǎo)致設(shè)備與eNodeB之間的LTE或3G HARQ重傳，以應(yīng)對(duì)信號(hào)質(zhì)量惡化。這些重傳導(dǎo)致網(wǎng)絡(luò)抖動(dòng)增加。接著，由于移動(dòng)得更靠近新的eNodeB，無(wú)線電質(zhì)量增加，導(dǎo)致HARQ重傳越來(lái)越少。也就是說(shuō)，從抖動(dòng)的觀點(diǎn)來(lái)看，抖動(dòng)增加，然后降低，并且該現(xiàn)象是周期性重復(fù)的。
[0071]通過(guò)將使用中的外部信息(例如速度、GPS信息和/或無(wú)線電技術(shù))提供給JBM，可以檢測(cè)這些振蕩的抖動(dòng)行為，使得將更容易預(yù)測(cè)將來(lái)短期未來(lái)中的網(wǎng)絡(luò)行為。這種機(jī)制并非與JBM機(jī)制矛盾，而是被推薦用在現(xiàn)有JBM機(jī)制的頂端，以使得能夠在高移動(dòng)性情形的情況下更快且更好地穩(wěn)定JBM行為。
[0072]例如，智能電話、平板以及甚至越來(lái)越多的低端設(shè)備可以提供這種速度和GPS信息。該情況也可以擴(kuò)大到具有或沒(méi)有GPS的車輛中的任何嵌入式系統(tǒng)。本公開(kāi)中所描述的方法因此可以適合于對(duì)于大量設(shè)備改進(jìn)高移動(dòng)性情形中的JBM行為。
[0073]根據(jù)本公開(kāi)的方法和設(shè)備將附加信息提供給JBM，使得能夠以更高效、更快并且精確的方式來(lái)處理高移動(dòng)性情形。因此，JBM變?yōu)橛星榫骋庾R(shí)的。
[0074]當(dāng)檢測(cè)到這種使用情況時(shí)，可以估算抖動(dòng)改變的幅度和周期性，以便高效地設(shè)置緩沖量。這可以限制對(duì)付可能持久地改變的抖動(dòng)所需的JBM適配的數(shù)量。
[0075]根據(jù)本公開(kāi)的方法和設(shè)備在高移動(dòng)性情形的情況下改進(jìn)VoLTE和VoIP話音質(zhì)量。根據(jù)本公開(kāi)的方法和設(shè)備也可以應(yīng)用于任何視頻JBM。因此，根據(jù)本公開(kāi)的方法和設(shè)備不限于音頻，并且同樣可以改進(jìn)視頻質(zhì)量。
[0076]根據(jù)本公開(kāi)的方法和設(shè)備可以應(yīng)用在音頻和視頻會(huì)話服務(wù)以及音頻和視頻流送服務(wù)中。
[0077]圖8是根據(jù)本公開(kāi)的媒體處理系統(tǒng)800的示意圖。所示的示圖描述可以如何將速度信息806從高層次操作系統(tǒng)801獲取到抖動(dòng)緩沖管理實(shí)體817。
[0078]媒體處理系統(tǒng)800可以包括高層次操作系統(tǒng)801、電話/VoIP應(yīng)用803、VoIP引擎807、LTE調(diào)制解調(diào)器805和播放設(shè)備809(例如外放揚(yáng)聲器或屏幕)JoIP引擎807可以耦合在LTE調(diào)制解調(diào)器805與播放設(shè)備809之間的媒體路徑中。電話/VoIP應(yīng)用803可以耦合在高層次操作系統(tǒng)801與VoIP引擎807之間的管理路徑中。高層次操作系統(tǒng)801可以包括位置服務(wù)GPS提供器811，用于將移動(dòng)性信息(例如移動(dòng)設(shè)備的GPS信息)提供給電話/VoIP應(yīng)用803中所實(shí)現(xiàn)的位置偵聽(tīng)器813。更新速度線程815可以實(shí)現(xiàn)于電話/VoIP應(yīng)用803中，以從位置偵聽(tīng)器813查詢(804)移動(dòng)性信息。
[0079]VoIP引擎807可以包括:RTP解分組器，用于對(duì)從LTE調(diào)制解調(diào)器805接收到的RTP分組進(jìn)行解分組;抖動(dòng)緩沖器823，用于存儲(chǔ)解分組的RTP分組；以及解碼器821，用于將從抖動(dòng)緩沖器823獲取的分組解碼為播放設(shè)備809可以播放的媒體采樣808(例如音頻或視頻)。VoIP引擎807還可以包括抖動(dòng)緩沖管理實(shí)體817，用于控制抖動(dòng)緩沖器823的大小。抖動(dòng)緩沖管理實(shí)體817可以從電話/VoIP應(yīng)用803的更新速度線程815接收移動(dòng)性信息806，并且可以基于在此所描述的該移動(dòng)性信息來(lái)調(diào)整抖動(dòng)緩沖器823的大小。
[0080]一旦JBM 817檢測(cè)到高移動(dòng)性使用情況，振蕩抖動(dòng)(包括抖動(dòng)增加的增加周期以及抖動(dòng)減少的周期)的概率就非常高。可以檢查這種假設(shè)，并且如果確認(rèn)，則用于導(dǎo)出可以使得能夠進(jìn)行改進(jìn)的話音質(zhì)量的、用于JBM817的更適當(dāng)?shù)脑O(shè)置。
[0081]圖8是具有基于分組的抖動(dòng)的設(shè)置的代表，但該設(shè)置的一般化可以包括解碼器821之后的任何抖動(dòng)。以下關(guān)于圖9描述JBM 817用于處理高移動(dòng)性情形的不同模塊。
[0082]在圖8中，啟用高層次OS框架801(包括可以用于提供移動(dòng)設(shè)備的GPS數(shù)據(jù)的位置服務(wù)GPS提供器811)與VoIP引擎807之間的連接。來(lái)自位置服務(wù)GPS提供器811的信息(即移動(dòng)設(shè)備的GPS數(shù)據(jù)或移動(dòng)性數(shù)據(jù))對(duì)于VoIP引擎807是可用的。
[0083]為了針對(duì)更好的話音質(zhì)量而改進(jìn)JBM設(shè)置和行為，可以例如通過(guò)執(zhí)行VoIP驅(qū)動(dòng)測(cè)試來(lái)收集來(lái)自現(xiàn)場(chǎng)的信息，以使用速度信息進(jìn)行優(yōu)化。
[0084]圖9是示出根據(jù)本公開(kāi)的抖動(dòng)緩沖管理控制實(shí)體905的活動(dòng)900的示意圖。在第一模塊“1”901中，獲取外部信息。在第二模塊“2”902中，估算分組抖動(dòng)統(tǒng)計(jì)。在第三模塊“3”903中，估計(jì)網(wǎng)絡(luò)抖動(dòng)作為周期函數(shù)。在第四模塊“4” 904中，執(zhí)行抖動(dòng)緩沖管理(JBM)緩沖。在第五模塊“5”中，JBM控制實(shí)體905從第四模塊“4” 904JBM緩沖接收信息，并且更新第二模塊902的分組抖動(dòng)統(tǒng)計(jì)?？梢匀缫韵滤枋龅哪菢訄?zhí)行這五個(gè)塊或活動(dòng)。
[0085]在模塊1(901)中，外部部件將使得能夠檢測(cè)高移動(dòng)性使用情況的信息提供給可以與以上關(guān)于圖8所描述的JBM實(shí)體817對(duì)應(yīng)的JBM實(shí)體(表示為JBM控制實(shí)體905)。
[0086]在模塊2(902)中，收集分組延遲統(tǒng)計(jì)，以估計(jì)抖動(dòng)模型。在靜態(tài)和步行情形中，可以使用(幾秒的)相對(duì)小的滑動(dòng)窗口或一階濾波器來(lái)估計(jì)當(dāng)前抖動(dòng)。當(dāng)應(yīng)對(duì)抖動(dòng)改變時(shí)，使用較大的滑動(dòng)窗口可能導(dǎo)致附加延時(shí)。在這些低移動(dòng)性情形的情況下，通常不會(huì)體驗(yàn)到明顯的周期性抖動(dòng)現(xiàn)象。
[0087]當(dāng)進(jìn)入高移動(dòng)性情形時(shí)，可以使用較大的滑動(dòng)窗口，使得能夠收集足夠的統(tǒng)計(jì)以描述周期性抖動(dòng)現(xiàn)象。取決于速度演進(jìn)，也可以調(diào)整滑動(dòng)窗口的深度。
[0088]在模塊3(903)中，可以導(dǎo)出與該振蕩抖動(dòng)行為對(duì)應(yīng)的模型。作為時(shí)間的函數(shù)的網(wǎng)絡(luò)抖動(dòng)可以被近似為由其幅度和周期表征的周期函數(shù)。用于循環(huán)抖動(dòng)變化近似的簡(jiǎn)單模型是幅度和周期。例如，該模型可以容易地?cái)U(kuò)展以對(duì)子現(xiàn)象或子循環(huán)進(jìn)行建模。
[0089]在模塊3(903)處所估計(jì)的兩個(gè)最重要的參數(shù)可以是抖動(dòng)幅度和抖動(dòng)周期。抖動(dòng)幅度是具有最高傳送時(shí)間的分組與具有最低傳送時(shí)間的分組之間的差，其中，傳送時(shí)間可以典型地取決于用于使得傳輸成功的重傳的數(shù)量。抖動(dòng)周期是抖動(dòng)的兩個(gè)峰值之間逝去的時(shí)間。這使得能夠調(diào)整用于收集統(tǒng)計(jì)的滑動(dòng)窗口的深度。
[0090]抖動(dòng)幅度還可以用在模塊4(904)處。抖動(dòng)周期可以用于進(jìn)一步細(xì)化在模塊2(902)處的處理。如果所收集的統(tǒng)計(jì)不匹配任何循環(huán)抖動(dòng)函數(shù)，則可以進(jìn)一步使用默認(rèn)的JBM設(shè)置。
[0091]圖9中所描述的機(jī)制可以提供現(xiàn)有系統(tǒng)的改進(jìn)，例如，以用于當(dāng)且僅當(dāng)檢測(cè)到循環(huán)抖動(dòng)圖案時(shí)觸發(fā)特定處理。
[0092]在模塊4(904)中，基于模塊3(903)中導(dǎo)出的該網(wǎng)絡(luò)抖動(dòng)模型，可以推導(dǎo)UE抖動(dòng)緩沖量，以使得能夠例如以需要最小JBM適配量的方式來(lái)一次全部處理所有循環(huán)變化，S卩，避免JBM緩沖以及緩沖量的反復(fù)增加和減少，這使得能夠應(yīng)對(duì)最大容忍丟失。在一個(gè)示例中，AMR編解碼器可以容忍最大百分之一丟失，而沒(méi)有對(duì)話音質(zhì)量的影響。其它編解碼器(例如ILBC)可以容忍高達(dá)百分之五丟失。在用于應(yīng)對(duì)抖動(dòng)的緩沖量設(shè)置在使得能夠處理例如百分之99的分組延遲的最小值處的情況下，沒(méi)有因緩沖導(dǎo)致的額外延時(shí)可以用在達(dá)到該目標(biāo)真正需要的操作的頂端上。
[0093]在模塊5(905)中，只要高移動(dòng)性情形持續(xù)，就可以執(zhí)行估算并調(diào)整循環(huán)網(wǎng)絡(luò)抖動(dòng)的模型。否則，當(dāng)離開(kāi)高移動(dòng)性情形時(shí)，可以恢復(fù)用于抖動(dòng)監(jiān)控的默認(rèn)設(shè)置?？梢允褂眠m合于對(duì)網(wǎng)絡(luò)抖動(dòng)進(jìn)行快速反應(yīng)的更小的統(tǒng)計(jì)滑動(dòng)窗口。以此方式，可以導(dǎo)出在這些高度不穩(wěn)定的抖動(dòng)情形中可以非常穩(wěn)定的JBM設(shè)置。
[0094]可以避免在高移動(dòng)性使用情況下典型的與每一 JBM適配關(guān)聯(lián)的JBM覆蓋問(wèn)題和延時(shí)問(wèn)題?？梢源_保更好的話音質(zhì)量。較低延時(shí)可以帶來(lái)呼叫中的各用戶之間的改進(jìn)的交互性。較低的JBM適配量可以帶來(lái)分組丟失的減少和/或與JBM適配關(guān)聯(lián)的話音幀壓縮和擴(kuò)展的減少。
[0095]圖10是根據(jù)本公開(kāi)的在移動(dòng)終端中使用的媒體處理電路1000的示意圖。
[0096]媒體處理電路1000包括解分組器1001、抖動(dòng)緩沖器1003、解碼器1005以及抖動(dòng)緩沖管理器(又稱為抖動(dòng)緩沖管理實(shí)體1007)。解分組器1001被配置為:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀1002進(jìn)行解分組。抖動(dòng)緩沖器1003被配置為:存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀1004。解碼器1005被配置為:從抖動(dòng)緩沖器1003獲取所述至少一個(gè)已編碼媒體幀1006，并且將所述至少一個(gè)已編碼媒體幀1006解碼為媒體采樣1008。抖動(dòng)緩沖管理實(shí)體1007被配置為:基于指示移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)確定抖動(dòng)模型，基于指示移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整抖動(dòng)模型，并且基于的抖動(dòng)模型來(lái)調(diào)整抖動(dòng)緩沖器1003的大小，例如以上關(guān)于圖8和圖9所描述的。
[0097]抖動(dòng)緩沖管理實(shí)體1007可以包括對(duì)位置服務(wù)提供實(shí)體的接口，用于接收指示例如以上關(guān)于圖8所描述的移動(dòng)終端的移動(dòng)性狀態(tài)的信息1010。抖動(dòng)緩沖管理實(shí)體1007可以被配置為:至少基于與移動(dòng)終端有關(guān)的例如以上關(guān)于圖8所描述的以下信息中的至少一個(gè)來(lái)調(diào)整抖動(dòng)緩沖器1003的大小:速度或速率信息、位置信息、環(huán)境信息、時(shí)間信息、速度的改變或加速度信息。
[0098]媒體處理電路1000可以實(shí)現(xiàn)以上關(guān)于圖7至圖9所描述的方法700和技術(shù)。可以基于與在VoIP或IP上的多媒體高移動(dòng)性使用情況的情形中改進(jìn)的質(zhì)量(話音或視頻)有關(guān)的構(gòu)思而描述關(guān)于圖7至圖12所描述的方法和設(shè)備。該構(gòu)思包括以下問(wèn)題:第一問(wèn)題可以是檢測(cè)移動(dòng)終端處于移動(dòng)性使用情況下?？梢詰{借例如GPS或任何其它定位系統(tǒng)來(lái)完成該操作。第二問(wèn)題與在可以檢測(cè)到高移動(dòng)性情形的情況下如何推導(dǎo)用于抖動(dòng)管理的有用模型有關(guān)。該模型將在移動(dòng)性使用情況的情形中使得能夠改進(jìn)話音質(zhì)量。關(guān)鍵問(wèn)題可以涉及:檢測(cè)移動(dòng)性使用情況;構(gòu)建將使得能夠進(jìn)行更好的抖動(dòng)預(yù)測(cè)的、專用于移動(dòng)性使用情況的抖動(dòng)模型;對(duì)于抖動(dòng)管理使用該模型，使得其在移動(dòng)性使用情況期間能夠得到改進(jìn)的話音質(zhì)量;在高移動(dòng)性使用情況期間動(dòng)態(tài)地更新抖動(dòng)模型;使用完整框架或系統(tǒng)描述來(lái)處理移動(dòng)性使用情況并且改進(jìn)針對(duì)IP上的語(yǔ)音或視頻通信的話音質(zhì)量。接著，可以將不同技術(shù)應(yīng)用于從調(diào)制解調(diào)器獲取信息，以改進(jìn)抖動(dòng)模型的精度，并且例如通過(guò)預(yù)測(cè)在(短期)未來(lái)中的抖動(dòng)行為，使得能夠進(jìn)行更好的預(yù)期和預(yù)測(cè)。
[0099]圖11是根據(jù)本公開(kāi)的抖動(dòng)緩沖配置設(shè)備1100的示意圖。抖動(dòng)緩沖配置設(shè)備1100可以與以上關(guān)于圖10所描述的抖動(dòng)緩沖管理器1007對(duì)應(yīng)。抖動(dòng)緩沖配置設(shè)備1100包括抖動(dòng)適配控制單元1105(控制部分)、抖動(dòng)適配單元1107(執(zhí)行抖動(dòng)適配控制單元所采取的決策的執(zhí)行部分)、移動(dòng)性和環(huán)境監(jiān)視器1103、抖動(dòng)緩沖器配置數(shù)據(jù)庫(kù)1101、蜂窩協(xié)議棧1109、WLANl 111、定位系統(tǒng)1113 (例如GPS、GL0NASS等)、加速計(jì)或陀螺儀1115以及其它單元(圖11中未描述)。
[0100]移動(dòng)性和環(huán)境監(jiān)視器1103可以從各個(gè)子模塊(例如從蜂窩協(xié)議棧1109、WLAN1111、定位系統(tǒng)1113、加速計(jì)或陀螺儀1115以及其它單元)接收信息。移動(dòng)性和環(huán)境監(jiān)視器1103可以基于來(lái)自不同模塊1109、1111、1113、1115(蜂窩協(xié)議棧、WLAN、GNSS、加速計(jì)等)的信息來(lái)確定環(huán)境和移動(dòng)性描述符。環(huán)境和移動(dòng)性描述符可以確定位置、移動(dòng)性類型(行人、車輛、列車、飛機(jī)等)、環(huán)境類型(室內(nèi)、室外城市、室外非城市等)、無(wú)線電配置類型(蜂窩技術(shù)、無(wú)線電運(yùn)營(yíng)商類型等)。
[0101]環(huán)境和移動(dòng)性描述符可以被提供給抖動(dòng)適配控制單元1105。JBM適配控制單元1105可以對(duì)特定環(huán)境/移動(dòng)性中的JBM大小和適配的數(shù)量進(jìn)行一些統(tǒng)計(jì)。接著，其可以確定用于該類型的環(huán)境的最優(yōu)配置并存儲(chǔ)它。一旦同一環(huán)境和移動(dòng)性描述符被給到抖動(dòng)適配單元1107，接著就可以應(yīng)用最優(yōu)配置。只要不存在環(huán)境/移動(dòng)性改變，就可以不執(zhí)行適配。這樣可以避免在抖動(dòng)的情況下的多次適配，并且因此減少對(duì)語(yǔ)音質(zhì)量的影響。
[0102]以下，描述抖動(dòng)緩沖管理器1007的示例，其可以與關(guān)于圖11所描述的抖動(dòng)緩沖配置設(shè)備1100對(duì)應(yīng)。抖動(dòng)緩沖管理器1007可以使用蜂窩信息來(lái)預(yù)期JBM適配。CPS(蜂窩協(xié)議棧)部件1109可以提供例如以下項(xiàng)的信息:切換速率/切換類型、切換中斷時(shí)間、針對(duì)測(cè)量的觸發(fā)(潛在地產(chǎn)生切換)等。切換與網(wǎng)絡(luò)控制對(duì)應(yīng)，所以網(wǎng)絡(luò)可以觸發(fā)或可以不觸發(fā)切換。將需要定義正確配置，以避免如果不觸發(fā)切換則太頻繁地進(jìn)行JBM適配。CPS部件1109可以進(jìn)一步提供關(guān)于對(duì)接收速率/網(wǎng)絡(luò)重傳的統(tǒng)計(jì)的信息，即，按時(shí)、lreTx(第一傳輸重復(fù))、2reTX(第二傳輸重復(fù))接收到多少數(shù)據(jù)。
[0103]基于該信息，JBM適配控制單元1105可以確定是否需要適配，并且如果需要，則需要何種適配。例如，在HO(切換)的情況下，數(shù)據(jù)的突發(fā)可能出現(xiàn)在切換完成之后，但這可能不必然影響統(tǒng)計(jì)，因?yàn)槠錇闇?zhǔn)時(shí)事件。
[0104]典型地，在觸發(fā)硬HO之前，網(wǎng)絡(luò)等待與特定事件關(guān)聯(lián)的UE測(cè)量報(bào)告(MR)。在網(wǎng)絡(luò)處理該MR之后，通常將存在中斷時(shí)間，之后是在中斷時(shí)間期間網(wǎng)絡(luò)無(wú)法傳遞的分組的突發(fā)式傳遞(如果無(wú)線電運(yùn)營(yíng)商被配置在確認(rèn)模式下)。通過(guò)同樣通知JBM，JBM可以以更快的方式預(yù)期并設(shè)置將有助于更平滑地在HO期間以及之后處理音頻播放的配置。切換請(qǐng)求的周期性可以有助于確定抖動(dòng)的周期性，這對(duì)于JBM是非常有用的信息?；趨f(xié)議棧配置，可以預(yù)先獲知將與VoLTE網(wǎng)絡(luò)上體驗(yàn)到的典型抖動(dòng)有關(guān)的與例如HARQ重傳有關(guān)的最大延遲。
[0105]以下，描述抖動(dòng)緩沖管理器1007的另一示例，其可以與關(guān)于圖11所描述的抖動(dòng)緩沖配置設(shè)備1100對(duì)應(yīng)。抖動(dòng)緩沖管理器1007可以基于無(wú)線電鏈路抖動(dòng)和核心網(wǎng)絡(luò)抖動(dòng)而應(yīng)用低級(jí)/高級(jí)適配。對(duì)于抖動(dòng)的貢獻(xiàn)可以劃分為與無(wú)線電鏈路有關(guān)的抖動(dòng)和與核心網(wǎng)絡(luò)有關(guān)的抖動(dòng)。
[0106]UE可以基于HARQ統(tǒng)計(jì)來(lái)良好地估計(jì)無(wú)線電鏈路對(duì)全局抖動(dòng)的貢獻(xiàn)。UE可以確定用于DL(下行鏈路)數(shù)據(jù)的HARQ ACK/NACK的數(shù)量。在示例性配置中，在兩次傳輸之間有平均8ms。接著，抖動(dòng)緩沖適配單元1105可以基于在RTP時(shí)間戳的基礎(chǔ)上的抖動(dòng)統(tǒng)計(jì)以及在無(wú)線電鏈路的基礎(chǔ)上的抖動(dòng)來(lái)控制抖動(dòng)緩沖器大小和播放時(shí)間(或用于播放的音頻DSP)。該解決方案的優(yōu)點(diǎn)如下:對(duì)于基于無(wú)線電等級(jí)統(tǒng)計(jì)(比基于RTP的統(tǒng)計(jì)更頻繁)來(lái)改變無(wú)線電狀況的更快適配；以及由于改變無(wú)線電狀況而在沒(méi)有不必要的適配的情況下的基于核心網(wǎng)絡(luò)抖動(dòng)的抖動(dòng)緩沖器大小管理。因此，可以(例如在MAC等級(jí)每8ms而非在RTP等級(jí)每20或40ms)收集更多的統(tǒng)計(jì)。因此，可以獲得更多信息，可以獲得更多統(tǒng)計(jì)，更快地產(chǎn)生更多受訓(xùn)練的判斷?？梢垣@知確切故障，即，沒(méi)有retx (重傳)、具有I次retx、具有2次retx等的tx(傳輸)的數(shù)量。這是在無(wú)線電等級(jí)處將要發(fā)生的情況以及驅(qū)動(dòng)有助于JBM 1007采取最佳判斷的無(wú)線電抖動(dòng)的情況的十分精確的圖景。
[0107]圖12是根據(jù)本公開(kāi)的媒體幀1200的示意圖。媒體幀1200可以包括多個(gè)DRX周期，每個(gè)DRX周期具有40ms的示例性持續(xù)時(shí)間。初始播放時(shí)間1210可以包括接收時(shí)段1204，并且可選地第一重傳時(shí)段1206、第二重傳時(shí)段1208以及其它重傳時(shí)段(圖12中未描述)。
[0108]以下，描述抖動(dòng)緩沖管理器1007的另外示例。抖動(dòng)緩沖管理器1007可以與以上關(guān)于圖11所描述的抖動(dòng)緩沖配置設(shè)備1100對(duì)應(yīng)。JBM 1007可以對(duì)準(zhǔn)蜂窩RX(接收)窗口。為了加速初始配置，RX時(shí)隙1204、1206、1208的位置可以用于確定播放中斷位置。如圖12的示圖中所描述的那樣，一旦設(shè)置用于頂S呼叫的專用EPS運(yùn)營(yíng)商，就獲知“onDurat1nStart”1202和“onDurat1nTimer”值的位置。數(shù)據(jù)的接收將發(fā)生在“onDurat1nPer1d”中。在接收問(wèn)題的情況下，網(wǎng)絡(luò)可以重傳若干次，對(duì)于接收音頻幀帶來(lái)延遲。作為初始配置1210，可以然后基于“01^11瓜^0113七3代”1202的位置和內(nèi)部處理時(shí)間(即傳播1212、1^13解封裝、解碼1214)來(lái)初始化播放時(shí)間。為了處于安全側(cè)上并且直接容納網(wǎng)絡(luò)重傳，當(dāng)配置初始播放時(shí)間時(shí)，可以考慮重傳1206、1208。這樣使得能夠直接開(kāi)始于能夠以最優(yōu)方式來(lái)處理最大數(shù)量的HARQ(混合自動(dòng)重復(fù)請(qǐng)求)重傳的配置。當(dāng)假設(shè)不存在將導(dǎo)致無(wú)線電網(wǎng)絡(luò)抖動(dòng)的頂端上的核心網(wǎng)絡(luò)抖動(dòng)的核心網(wǎng)絡(luò)擁塞問(wèn)題時(shí)，僅添加JBM緩沖可以是足夠的。
[0109]根據(jù)本公開(kāi)的方法和設(shè)備提供改進(jìn)的抖動(dòng)緩沖管理，以克服與針對(duì)未來(lái)短期中的網(wǎng)絡(luò)行為在過(guò)去短期中所收集的信息之間的差異有關(guān)的問(wèn)題?？梢酝ㄟ^(guò)應(yīng)用根據(jù)本公開(kāi)的方法和設(shè)備來(lái)克服以下問(wèn)題:用于達(dá)到穩(wěn)定狀態(tài)的收斂時(shí)間(關(guān)于JBM設(shè)置，并且尤其關(guān)于JBM緩沖)、用于從穩(wěn)定狀態(tài)退出并且應(yīng)對(duì)新的變化的延時(shí)(作為新的網(wǎng)絡(luò)情形和行為的結(jié)果)、以及在時(shí)段性現(xiàn)象的情況下在沒(méi)有收斂到正確和穩(wěn)定狀態(tài)的情況下的振蕩行為。
[0110]根據(jù)本公開(kāi)的方法和設(shè)備提供用于處理以下網(wǎng)絡(luò)抖動(dòng)時(shí)段性地并且有規(guī)律地增加并且減少的情況的機(jī)制。JBM將以某種延時(shí)來(lái)跟隨該行為，帶來(lái)次優(yōu)過(guò)程，并且可能絕不收斂到穩(wěn)定狀態(tài)。在JBM嘗試非?？焖俚匾宰钚⊙訒r(shí)來(lái)跟隨網(wǎng)絡(luò)變化的情況下，這樣可能帶來(lái)使用多于所需的緩沖或時(shí)段性音頻失真。通過(guò)基于移動(dòng)性信息而調(diào)整抖動(dòng)緩沖器大小，根據(jù)本公開(kāi)的方法和設(shè)備可以將JBM驅(qū)動(dòng)到穩(wěn)定狀態(tài)。
[0111]根據(jù)本公開(kāi)的方法和設(shè)備提供用于通過(guò)附加信息和增加的精度來(lái)預(yù)測(cè)對(duì)于現(xiàn)有JBM實(shí)現(xiàn)方式難以處理的一些情形的機(jī)制。具體地說(shuō)，在與振蕩行為對(duì)應(yīng)的網(wǎng)絡(luò)抖動(dòng)的情況下，在此所描述的方法和設(shè)備提供改進(jìn)的JBM性能。JBM性能對(duì)于車輛、列車、公共汽車等中的IP上的所有媒體(音頻和視頻)并且對(duì)于VoLTE用途在高移動(dòng)性情形中得以改進(jìn)，帶來(lái)使用中的設(shè)備的有規(guī)律并且快速的移動(dòng)(例如，比移動(dòng)行人更快)。
[0112]本公開(kāi)可以還支持計(jì)算機(jī)程序產(chǎn)品，其包括計(jì)算機(jī)可執(zhí)行代碼或計(jì)算機(jī)可執(zhí)行指令，其當(dāng)執(zhí)行時(shí)使得至少一個(gè)計(jì)算機(jī)執(zhí)行并且計(jì)算在此所描述的步驟(具體地說(shuō)，如以上關(guān)于圖2和圖7所描述的方法200和700以及以上關(guān)于圖1至圖10所描述的技術(shù))。該計(jì)算機(jī)程序產(chǎn)品可以包括可讀存儲(chǔ)介質(zhì)，其在其上存儲(chǔ)程序代碼，以用于由計(jì)算機(jī)使用。程序代碼可以執(zhí)行如以上關(guān)于圖2所描述的方法200或如以上關(guān)于圖7所描述的方法700。
[0113]示例
[0114]以下示例涉及其它實(shí)施例。示例I是一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法，所述方法包括:接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組;在分組緩沖器中存儲(chǔ)接收到的數(shù)據(jù)分組;從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣；以及處理所述音頻采樣，其中，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于針對(duì)所述音頻采樣的音頻質(zhì)量以及接收數(shù)據(jù)分組與處理音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，并且其中，所述調(diào)度在時(shí)間上動(dòng)態(tài)地并且平滑地偏移，以避免音頻失真。
[0115]在示例2中，示例I的主題內(nèi)容可以可選地包括:對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放，以便將接收到的數(shù)據(jù)分組的處理移動(dòng)到關(guān)于最小延時(shí)的最優(yōu)位置中。
[0116]在示例3中，示例2的主題內(nèi)容可以可選地包括:對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放包括以下操作中的至少一個(gè):幀壓縮，用于減少接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí);幀擴(kuò)展，用于增加接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)；以及關(guān)于幀壓縮和幀擴(kuò)展的空閑活動(dòng)，用于保持接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)。
[0117]在示例4中，示例2至3中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述時(shí)間縮放用于偏移所述調(diào)度，以便修改所述至少一個(gè)已解碼音頻幀的位置。
[0118]在示例5中，示例2至4中任一項(xiàng)的主題內(nèi)容可以可選地包括:時(shí)間縮放基于話音幀壓縮和話音幀擴(kuò)展之一。
[0119]在示例6中，示例I至5中任一項(xiàng)的主題內(nèi)容可以可選地包括:基于以下信息中的至少一個(gè)來(lái)確定最優(yōu)調(diào)度:關(guān)于接收到的數(shù)據(jù)與所播放的數(shù)據(jù)之間的延時(shí)的統(tǒng)計(jì)，基于接收速率和重傳速率中的至少一個(gè)的調(diào)制解調(diào)器統(tǒng)計(jì)。
[0120]在示例7中，示例I至6中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述數(shù)據(jù)分組是異步接收到的數(shù)據(jù)分組的流的一部分。
[0121]在示例8中，示例7的主題內(nèi)容可以可選地包括:確定接收所述數(shù)據(jù)分組的流中的相應(yīng)數(shù)據(jù)分組與處理所述相應(yīng)數(shù)據(jù)分組的音頻采樣之間的延時(shí)的統(tǒng)計(jì)；以及使用所述統(tǒng)計(jì)進(jìn)行所述調(diào)度。
[0122]在示例9中，示例I至8中任一項(xiàng)的主題內(nèi)容可以可選地包括:從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼以及處理所述音頻采樣基于主時(shí)鐘。
[0123]在示例10中，示例I至9中任一項(xiàng)的主題內(nèi)容可以可選地包括:通過(guò)調(diào)整以下項(xiàng)中的至少一個(gè)來(lái)執(zhí)行對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度:對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行的時(shí)鐘定時(shí)；以及對(duì)處理所述音頻采樣進(jìn)行的時(shí)鐘定時(shí)。
[0124]在示例11中，示例I至10中任一項(xiàng)的主題內(nèi)容可以可選地包括:確定接收到的數(shù)據(jù)分組與所處理的音頻采樣之間的延時(shí);確定所述音頻采樣的音頻質(zhì)量；以及對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度，使得所述音頻質(zhì)量大于第一閾值，并且接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)小于第二閾值。
[0125]在示例12中，示例11的主題內(nèi)容可以可選地包括:處理所述音頻采樣包括:基于以下項(xiàng)中的至少一個(gè)來(lái)初始化所述音頻采樣的播放時(shí)間:指示所述音頻幀的開(kāi)始的位置，所述音頻幀的重傳的數(shù)量，內(nèi)部處理時(shí)間，包括所述音頻幀的數(shù)據(jù)分組的重傳。
[0126]示例13是一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備，所述設(shè)備包括:分組緩沖器，被配置為:接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組;解碼器，被配置為:從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣;音頻處理器，被配置為:處理所述音頻采樣；以及調(diào)度器，被配置為:基于針對(duì)所述音頻采樣的音頻質(zhì)量以及所述分組緩沖器進(jìn)行的接收所述數(shù)據(jù)分組與所述音頻處理器進(jìn)行的處理所述音頻采樣之間的延時(shí)的的目標(biāo)準(zhǔn)則，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度，其中，所述調(diào)度器(607)被配置為:在時(shí)間上動(dòng)態(tài)地并且平滑地偏移所述調(diào)度，以避免音頻失真。
[0127]在示例14中，示例13的主題內(nèi)容可以可選地包括:音頻緩沖器，耦合在所述解碼器與所述音頻處理器之間，其中，所述解碼器被配置為:將在所述音頻緩沖器中存儲(chǔ)所述音頻采樣，所述音頻處理器被配置為:從所述音頻緩沖器獲取所述音頻采樣。
[0128]在示例15中，示例14的主題內(nèi)容可以可選地包括:所述調(diào)度器被配置為:調(diào)整用于在音頻緩沖器中存儲(chǔ)音頻采樣的所述解碼器的存取速率、用于從音頻緩沖器獲取音頻采樣的所述音頻處理器的存取速率以及對(duì)音頻緩沖器的拉取請(qǐng)求的存取速率中的至少一個(gè)。
[0129]在示例16中，示例15的主題內(nèi)容可以可選地包括:所述調(diào)度器被配置為:基于第一時(shí)鐘來(lái)調(diào)整所述解碼器的存取速率，并且基于第二時(shí)鐘來(lái)調(diào)整所述音頻處理器的存取速率，其中，所述第一時(shí)鐘和所述第二時(shí)鐘是從主時(shí)鐘或任何另外同步機(jī)制導(dǎo)出的。
[0130]在示例17中，示例13至16中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述調(diào)度器被配置為:基于調(diào)整用于對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼的所述解碼器的時(shí)間縮放，來(lái)對(duì)從分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。
[0131]在示例18中，示例13至17中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述解碼器包括話音解碼器和話音時(shí)間縮放器中的至少一個(gè)。
[0132]示例19是一種用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器的大小的方法，所述方法包括:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組;在抖動(dòng)緩沖器中存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀;從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣;基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)確定抖動(dòng)模型;基于指示所述移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整所述抖動(dòng)模型；以及基于所述抖動(dòng)模型來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。
[0133]在示例20中，示例19的主題內(nèi)容可以可選地包括:指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息包括與所述移動(dòng)終端有關(guān)的以下信息中的至少一個(gè):速度或速率信息、位置信息、環(huán)境信息、時(shí)間信息、速度的改變或加速度信息。
[0134]在示例21中，示例19至20中任一項(xiàng)的主題內(nèi)容可以可選地包括:基于在指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息的基礎(chǔ)上所估計(jì)的網(wǎng)絡(luò)抖動(dòng)，來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。
[0135]在示例22中，示例21的主題內(nèi)容可以可選地包括:估計(jì)所述網(wǎng)絡(luò)抖動(dòng)作為從指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息導(dǎo)出的周期函數(shù)。
[0136]示例23是一種在移動(dòng)終端中使用的媒體處理電路，所述媒體處理電路包括:解分組器，被配置為對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組;抖動(dòng)緩沖器，被配置為:存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀;解碼器，被配置為:從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣；以及抖動(dòng)緩沖管理實(shí)體，被配置為:基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)確定抖動(dòng)模型，基于指示移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整所述抖動(dòng)模型，并且基于所述抖動(dòng)模型來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。
[0137]在示例24中，示例23的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體包括對(duì)位置服務(wù)提供實(shí)體的接口，用于接收指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息。
[0138]在示例25中，示例23至24中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體被配置為:基于與所述移動(dòng)終端有關(guān)的以下信息中的至少一個(gè)來(lái)調(diào)整所述抖動(dòng)緩沖器的大小:速度或速率信息、位置信息、環(huán)境信息、時(shí)間信息、速度的改變或加速度信息。
[0139]示例26是一種計(jì)算機(jī)可讀介質(zhì)，在其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)使所述計(jì)算機(jī)執(zhí)行示例I至12之一所述的方法或示例19至22之一所述的方法。
[0140]示例27是一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備，所述設(shè)備包括:接收裝置，用于接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組;存儲(chǔ)裝置，用于在分組緩沖器中存儲(chǔ)接收到的數(shù)據(jù)分組;獲取裝置，用于從所述分組緩沖器獲取接收到的數(shù)據(jù)分組;解碼裝置，用于將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣；以及處理裝置，用于處理所述音頻采樣，其中，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于針對(duì)所述音頻采樣的音頻質(zhì)量以及接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則。
[0141]在示例28中，示例27的主題內(nèi)容可以可選地包括:調(diào)度裝置，用于基于對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行時(shí)間縮放，來(lái)對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。
[0142]在示例29中，示例28的主題內(nèi)容可以可選地包括:所述調(diào)度裝置被配置為:基于對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行重新編碼，來(lái)對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行時(shí)間縮放。
[0143]示例30是一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的系統(tǒng)，所述系統(tǒng)包括:分組緩沖器，被配置為:接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組;解碼器，被配置為:從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣;音頻處理器，被配置為:處理所述音頻采樣；以及調(diào)度器，被配置為:基于針對(duì)所述音頻采樣的音頻質(zhì)量以及所述分組緩沖器進(jìn)行的接收所述數(shù)據(jù)分組與所述音頻處理器進(jìn)行的處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。
[0144]在示例31中，示例30的主題內(nèi)容可以可選地包括:音頻緩沖器，耦合在所述解碼器與所述音頻處理器之間，其中，所述解碼器被配置為:在所述音頻緩沖器中存儲(chǔ)所述音頻采樣，所述音頻處理器被配置為:從所述音頻緩沖器獲取所述音頻采樣。
[0145]在示例32中，示例30的主題內(nèi)容可以可選地包括:所述系統(tǒng)是片上系統(tǒng)。
[0146]示例33是一種用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器的大小的設(shè)備，所述設(shè)備包括:用于對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組的裝置；用于在抖動(dòng)緩沖器中存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀的裝置；用于從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣的裝置;用于基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)調(diào)整所述抖動(dòng)緩沖器的大小的
目.ο
[0147]在示例34中，示例33的主題內(nèi)容可以可選地包括:指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息包括關(guān)于所述移動(dòng)終端的速度的信息。
[0148]示例35是一種在移動(dòng)終端中使用的媒體處理系統(tǒng)，所述媒體處理系統(tǒng)包括:解分組器，被配置為:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組;抖動(dòng)緩沖器，被配置為:存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀;解碼器，被配置為:從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣；以及抖動(dòng)緩沖管理實(shí)體，被配置為:基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。
[0149]在示例36中，示例35的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體包括對(duì)位置服務(wù)提供實(shí)體的接口，用于接收指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息。
[0150]在示例37中，示例36的主題內(nèi)容可以可選地包括:所述系統(tǒng)是片上系統(tǒng)。
[0151]在示例38中，示例23至25中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體耦合到移動(dòng)性監(jiān)視器，以用于接收關(guān)于以下項(xiàng)中的至少一個(gè)的信息:位置、移動(dòng)性類型、環(huán)境類型、無(wú)線電配置類型。
[0152]在示例39中，示例23至25中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體耦合到蜂窩協(xié)議棧，以用于接收關(guān)于以下項(xiàng)中的至少一個(gè)的信息:切換速率、切換類型、切換中斷時(shí)間、用于測(cè)量的觸發(fā)、關(guān)于接收速率的統(tǒng)計(jì)、關(guān)于網(wǎng)絡(luò)重傳的統(tǒng)計(jì)。
[0153]在示例40中，示例23至25中任一項(xiàng)的主題內(nèi)容可以可選地包括:所述抖動(dòng)緩沖管理實(shí)體被配置為:基于接收到的關(guān)于與無(wú)線電鏈路有關(guān)的抖動(dòng)以及與核心網(wǎng)絡(luò)有關(guān)的抖動(dòng)中的至少一個(gè)的信息來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。
[0154]此外，雖然可能已經(jīng)關(guān)于僅若干實(shí)現(xiàn)方式之一公開(kāi)了本公開(kāi)的特定特征或方面，但對(duì)于任何給定的或特定的應(yīng)用可以期望并且有利的是，該特征或方面可以與其它實(shí)現(xiàn)方式的一個(gè)或多個(gè)其它特征或方面組合。此外，在術(shù)語(yǔ)“包括”、“具有”、“帶有”或它們的其它變形用在【具體實(shí)施方式】或權(quán)利要求中的程度上，這些術(shù)語(yǔ)意圖通過(guò)與術(shù)語(yǔ)“囊括”相似的方式是包含性的。此外，應(yīng)理解，可以在分立式電路、部分集成電路或完整集成電路或編程裝置中實(shí)現(xiàn)本公開(kāi)的各方面。此外，術(shù)語(yǔ)“示例性”、“例如”和“比如”僅表示為示例，而非最佳或最優(yōu)。
[0155]雖然已經(jīng)在此說(shuō)明并且描述了具體方面，但本領(lǐng)域技術(shù)人員應(yīng)理解，在不脫離本公開(kāi)的范圍的情況下，對(duì)于所示出并且描述的具體方面可以替換各種替選和/或等同實(shí)現(xiàn)方式。本發(fā)明意圖覆蓋在此所討論的具體方面的任何改動(dòng)和變形。
【主權(quán)項(xiàng)】
1.一種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的方法，所述方法包括: 接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組； 在分組緩沖器中存儲(chǔ)接收到的數(shù)據(jù)分組； 從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣；以及 處理所述音頻采樣， 其中，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于針對(duì)所述音頻采樣的音頻質(zhì)量以及接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，以及 其中，所述調(diào)度在時(shí)間上動(dòng)態(tài)地并且平滑地偏移，以避免音頻失真。2.如權(quán)利要求1所述的方法， 其中，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放，以便將對(duì)接收到的數(shù)據(jù)分組的處理移動(dòng)到關(guān)于最小延時(shí)的最優(yōu)位置中。3.如權(quán)利要求2所述的方法， 其中，對(duì)所述至少一個(gè)已解碼音頻幀進(jìn)行時(shí)間縮放包括以下操作中的至少一個(gè): 幀壓縮，用于減少接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)， 幀擴(kuò)展，用于增加接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)，以及關(guān)于幀壓縮和幀擴(kuò)展的空閑活動(dòng)，用于保持接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)。4.如權(quán)利要求2或3所述的方法， 其中，所述時(shí)間縮放用于偏移所述調(diào)度，以便修改所述至少一個(gè)已解碼音頻幀的位置。5.如權(quán)利要求2或3所述的方法， 其中，時(shí)間縮放基于話音幀壓縮和話音幀擴(kuò)展之一。6.如權(quán)利要求1或2所述的方法，包括: 基于以下信息中的至少一個(gè)來(lái)確定最優(yōu)調(diào)度: 關(guān)于接收到的數(shù)據(jù)與所播放的數(shù)據(jù)之間的延時(shí)的統(tǒng)計(jì)， 基于接收速率和重傳速率中的至少一個(gè)的調(diào)制解調(diào)器統(tǒng)計(jì)。7.如權(quán)利要求1或2所述的方法， 其中，所述數(shù)據(jù)分組是異步接收到的數(shù)據(jù)分組的流的一部分。8.如權(quán)利要求7所述的方法，還包括: 確定接收所述數(shù)據(jù)分組的流中的各相應(yīng)數(shù)據(jù)分組與處理所述各相應(yīng)數(shù)據(jù)分組的音頻采樣之間的延時(shí)的統(tǒng)計(jì)；以及使用所述統(tǒng)計(jì)進(jìn)行所述調(diào)度。9.如權(quán)利要求1或2所述的方法， 其中，從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行解碼以及處理所述音頻采樣基于主時(shí)鐘。10.如權(quán)利要求1或2所述的方法， 其中，通過(guò)調(diào)整以下項(xiàng)中的至少一個(gè)來(lái)執(zhí)行對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度: 對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行的時(shí)鐘定時(shí)；以及 對(duì)處理所述音頻采樣進(jìn)行的時(shí)鐘定時(shí)。11.如權(quán)利要求1或2所述的方法，還包括: 確定接收到的數(shù)據(jù)分組與所處理的音頻采樣之間的延時(shí)； 確定所述音頻采樣的音頻質(zhì)量；以及 對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度，使得所述音頻質(zhì)量大于第一閾值，并且接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)小于第二閾值。12.如權(quán)利要求1或2所述的方法， 其中，處理所述音頻采樣包括:基于以下項(xiàng)中的至少一個(gè)來(lái)初始化所述音頻采樣的播放時(shí)間: 指示所述音頻幀的開(kāi)始的位置， 所述音頻幀的重傳的數(shù)量， 包括所述音頻幀的數(shù)據(jù)分組的重傳， 內(nèi)部處理時(shí)間。13.—種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備，所述設(shè)備包括: 分組緩沖器，被配置為:接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組； 解碼器，被配置為:從所述分組緩沖器獲取接收到的數(shù)據(jù)分組，并且將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣； 音頻處理器，被配置為:處理所述音頻采樣；以及 調(diào)度器，被配置為:基于針對(duì)所述音頻采樣的音頻質(zhì)量以及所述分組緩沖器進(jìn)行的接收所述數(shù)據(jù)分組與所述音頻處理器進(jìn)行的處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度，其中，所述調(diào)度器被配置為:在時(shí)間上動(dòng)態(tài)地并且平滑地偏移所述調(diào)度，以避免音頻失真。14.如權(quán)利要求13所述的設(shè)備，還包括: 音頻緩沖器，耦合在所述解碼器與所述音頻處理器之間，其中，所述解碼器被配置為:在所述音頻緩沖器中存儲(chǔ)所述音頻采樣，所述音頻處理器被配置為:從所述音頻緩沖器獲取所述音頻采樣。15.—種用于調(diào)整移動(dòng)終端的媒體處理電路中的抖動(dòng)緩沖器的大小的方法，所述方法包括: 對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組； 在抖動(dòng)緩沖器中存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀； 從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣； 基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)確定抖動(dòng)模型； 基于指示所述移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整所述抖動(dòng)模型；以及 基于所述抖動(dòng)模型來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。16.如權(quán)利要求15所述的方法， 其中，指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息包括與所述移動(dòng)終端有關(guān)的以下信息中的至少一個(gè): 速度或速率信息， 位置信息， 環(huán)境信息， 時(shí)間信息， 速度的改變或加速度信息。17.如權(quán)利要求15或16所述的方法，還包括: 基于在指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息的基礎(chǔ)上所估計(jì)的網(wǎng)絡(luò)抖動(dòng)，來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。18.如權(quán)利要求17所述的方法，還包括: 將所述網(wǎng)絡(luò)抖動(dòng)估計(jì)為從指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息導(dǎo)出的周期函數(shù)。19.一種在移動(dòng)終端中使用的媒體處理電路，所述媒體處理電路包括: 解分組器，被配置為:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組； 抖動(dòng)緩沖器，被配置為:存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀； 解碼器，被配置為:從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣；以及 抖動(dòng)緩沖管理實(shí)體，被配置為:基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)確定抖動(dòng)模型，基于指示移動(dòng)性狀態(tài)的信息的歷史來(lái)調(diào)整所述抖動(dòng)模型，并且基于所述抖動(dòng)模型來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。20.如權(quán)利要求19所述的媒體處理電路， 其中，所述抖動(dòng)緩沖管理實(shí)體包括對(duì)位置服務(wù)提供實(shí)體的接口，用于接收指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息。21.—種計(jì)算機(jī)可讀介質(zhì)，在其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)使所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1至12之一或權(quán)利要求15至18之一所述的方法。22.—種用于控制接收音頻幀與處理音頻幀之間的端到端延時(shí)的設(shè)備，所述設(shè)備包括: 接收裝置，用于接收包括至少一個(gè)已編碼音頻幀的數(shù)據(jù)分組； 存儲(chǔ)裝置，用于在分組緩沖器中存儲(chǔ)接收到的數(shù)據(jù)分組； 獲取裝置，用于從所述分組緩沖器獲取接收到的數(shù)據(jù)分組； 解碼裝置，用于將所述至少一個(gè)已編碼音頻幀解碼為音頻采樣；以及 處理裝置，用于處理所述音頻采樣， 其中，對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀的調(diào)度基于針對(duì)所述音頻采樣的音頻質(zhì)量以及接收所述數(shù)據(jù)分組與處理所述音頻采樣之間的延時(shí)的目標(biāo)準(zhǔn)則。23.如權(quán)利要求22所述的設(shè)備，包括: 調(diào)度裝置，用于基于對(duì)所述至少一個(gè)已編碼音頻幀進(jìn)行時(shí)間縮放，來(lái)對(duì)從所述分組緩沖器獲取接收到的數(shù)據(jù)分組并且解碼所述至少一個(gè)已編碼音頻幀進(jìn)行調(diào)度。24.一種在移動(dòng)終端中使用的媒體處理系統(tǒng)，所述媒體處理系統(tǒng)包括: 解分組器，被配置為:對(duì)來(lái)自接收到的無(wú)線電信號(hào)的至少一個(gè)已編碼媒體幀進(jìn)行解分組； 抖動(dòng)緩沖器，被配置為:存儲(chǔ)解分組的至少一個(gè)已編碼媒體幀； 解碼器，被配置為:從所述抖動(dòng)緩沖器獲取所述至少一個(gè)已編碼媒體幀，并且將所述至少一個(gè)已編碼媒體幀解碼為媒體采樣；以及 抖動(dòng)緩沖管理實(shí)體，被配置為:基于指示所述移動(dòng)終端的移動(dòng)性狀態(tài)的信息來(lái)調(diào)整所述抖動(dòng)緩沖器的大小。25.如權(quán)利要求24所述的系統(tǒng)， 其中，所述抖動(dòng)緩沖管理實(shí)體耦合到移動(dòng)性監(jiān)視器，以用于接收關(guān)于以下項(xiàng)中的至少一個(gè)的信息:位置、移動(dòng)性類型、環(huán)境類型、無(wú)線電配置類型。
【文檔編號(hào)】H04L7/00GK106027480SQ201610101583
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年2月24日
【發(fā)明人】P·溫格特納, E·塞爾, C·博格昂特, J·帕龍
【申請(qǐng)人】英特爾公司