用于利用能量指數(shù)來進行多媒體流的自適應(yīng)廣播的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的主題設(shè)及一種允許通過利用終端所消耗的能量的至少一個標準來在服 務(wù)器和一個或多個終端之間進行多媒體流的自適應(yīng)廣播(對待下載的表示的選擇）的方法 和系統(tǒng)。例如，對于自給度(self-sufficiency)受限的移動終端，其尤其適于當(dāng)用戶希望通 過互聯(lián)網(wǎng)來查看視頻廣播時。
【背景技術(shù)】
[0002] 通常，經(jīng)由由服務(wù)提供者管理的服務(wù)器來分發(fā)數(shù)據(jù)內(nèi)容。因此，為了接收特定內(nèi) 容，用戶會向存儲該內(nèi)容的服務(wù)器發(fā)送請求。通常，用戶會在移動電話、平板或任何其他等 同裝置上接收運些數(shù)據(jù)。高比特率訪問（例如4G網(wǎng)絡(luò)）的普遍化W及肥VC高效視頻編碼壓縮 標準的出現(xiàn)將帶來比當(dāng)前存在的更顯著的在線視頻使用。因此，移動終端的自給度問題是 重要問題。目前，降耗技術(shù)已知用于部分地減輕該問題。運些技術(shù)通過集成電路制造商來實 現(xiàn)。它們依靠對移動終端的處理器的使用進行動態(tài)監(jiān)測，并且根據(jù)結(jié)果的函數(shù)來調(diào)節(jié)工作 頻率和供電電壓，因此運將調(diào)整所消耗的功率。遺憾地是，運些裝置的反應(yīng)性不足，應(yīng)當(dāng)提 高其反應(yīng)性。正在進行改善終端的行為的工作，使得處理器頻率/供給電壓對的調(diào)節(jié)更加動 態(tài)，并且依賴于待被解碼的圖像的復(fù)雜度，因此，使得能夠?qū)λ枘芰窟M行管理。但是，毫無 疑問其具有與待被解碼的流的性質(zhì)相關(guān)的限制。
[0003] 無論采用何種標準，流的自適應(yīng)廣播或"自適應(yīng)流式傳輸"的當(dāng)前解決方案均采取 僅基于分辨率/比特率對來對待下載的音頻/視頻媒體的片段或區(qū)塊進行選擇的策略。因 此，如果網(wǎng)絡(luò)環(huán)境較好，那么終端能夠?qū)Ω叻直媛屎透弑忍芈实钠芜M行選擇和解碼，從而 導(dǎo)致高解碼復(fù)雜度。
[0004] "綠色MPEG"工作小組提出了引入對待下載視頻片段進行選擇的第S標準，即能量 消耗。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提出一種依靠指數(shù)的使用的方法，該指數(shù)相對而言表達了對關(guān) 于給定信息內(nèi)容的最耗能流的流或表示進行解碼所需的能量，其W獨立于用于對片段進行 編碼的編碼器、獨立于終端的處理器、且獨立于互補指數(shù)的方式執(zhí)行，使得能夠推斷質(zhì)量可 接受的視覺和聲音回放的所需能量。
[0006] 另一個目的在于給出第二指數(shù)，其對應(yīng)于在時刻t處對流或表示的片段相對于在 時刻t-1處相對同一流或表示的在先片段進行解碼所需的能量，運能夠在某些使用情況下 使能量管理最優(yōu)化。
[0007] 在說明書中，在MPEG術(shù)語中較普遍使用的縮寫語PSR^ower Saving Ratio:節(jié)電 率)或D0R(Decoding化eration Ratio:解碼操作比）指明同一個能量節(jié)省率。
[000引雖然根據(jù)本發(fā)明的方法W優(yōu)選的方式關(guān)于電池供電終端而使用，但是其也可W用 于關(guān)于電源供電裝置的方式。
[0009] 本發(fā)明設(shè)及在接收終端和服務(wù)提供者的服務(wù)器之間進行下載期間，根據(jù)能量標準 而對來自服務(wù)提供者的多媒體數(shù)據(jù)流或表示數(shù)據(jù)流Fi進行自適應(yīng)廣播的方法，其特征在于 包括至少W下步驟：
[0010] 對于服務(wù)提供者：
[0011] ?通過針對多媒體片段的表示Fi中的每個計算對表示Fi進行解碼所消耗的能量Ei (t)的值、與最耗能表示相關(guān)的最大能量值EMax(t)、W及對應(yīng)的比率值
-來針對N個 表示確定至少一個第一能量指數(shù)，將運些值存儲至將至少一個比率值
與表示Fi相關(guān) 聯(lián)的文件中，
[0012] 對于接收終端：
[0013] ?測量在表示Fi的回放過程中終端所用能量消耗，并且如果備在所希望的持續(xù)時 間內(nèi)終端的能量儲基于表示Fi而不足W回放多媒體數(shù)據(jù)流的內(nèi)容，則基于能量指數(shù)選擇另 一個表不Fj或者改變表不的質(zhì)量。
[0014] 根據(jù)實現(xiàn)的變型，該方法確定與在給定時刻的針對給定表示Fi的比率值
相 對應(yīng)的第二指數(shù)，并且該第二指數(shù)值用于分析表示的演變并預(yù)測/適應(yīng)能量節(jié)省需要。
[0015] 該方法也可W包括W下步驟：
[0016] 對于服務(wù)提供者：
[0017] ?將值
存儲于用于說明可用表示的性質(zhì)和存儲地址的清單文件 中，或者存儲于由將表示Fi與第一指數(shù)
和第二指數(shù)
相關(guān)聯(lián)的清單文件所指 向的數(shù)據(jù)字段中，
[001引對于接收終端：
[0019] ?測量在表示Fi的回放過程中終端所用能量消耗，分析由
提供的所述表示 Fi的演變，并且如果在所希望的持續(xù)時間內(nèi)終端的能量儲備基于表示Fi而不足W回放多媒 體數(shù)據(jù)流的內(nèi)容，則選擇另一個表示Fj。
[0020] 根據(jù)實現(xiàn)的變型，該方法進一步確定與多媒體片段相對應(yīng)的像素的亮度值和/或 色彩值的直方圖的基本特性。那么該方法包括W下步驟：
[0021] 對于服務(wù)提供者：
[0022] ?將與多媒體片段相對應(yīng)的像素的亮度值和/或色彩值的直方圖的基本特性存儲 于用于說明可用表示的性質(zhì)和存儲地址的清單文件中，或者存儲于由清單文件所指向的數(shù) 據(jù)字段中，
[0023] 對于接收終端：
[0024] ?測量在表示Fi的回放過程中終端所用能量消耗，并且
[0025] ?通過最優(yōu)化W下組合來實現(xiàn)能量節(jié)省策略：
[0026] ?對具有比表示Fi的能量消耗比率低的能量消耗比例
的表示門的自動或手 動選擇，W及
[0027] .使用與多媒體片段相對應(yīng)的像素的亮度值和/或色彩值的直方圖的所述基本特 性，在終端上對表示Fi或具有較低能量消耗的表示門進行回放的模式。
[0028] 根據(jù)在接收終端中能量節(jié)省策略的變形實施例，該方法包括例如W下步驟：
[0029] ?測量在表示Fi的回放過程中終端所用能量消耗，并且
[0030] ?將用于對隨后片段進行解碼和顯示的能量的減少與能量減少方面的需求進行 比較，或者將用于對隨后片段進行解碼和顯示的能量的增加與終端能夠支持的能量方面的 增加進行比較，
[0031] ?在W下策略中選擇用于選擇表示和用于引導(dǎo)顯示W(wǎng)使得能夠在所希望的持續(xù) 時間內(nèi)W最優(yōu)質(zhì)量回放多媒體內(nèi)容的策略：
[0032] .選擇質(zhì)量較低但消耗較少的表示門和/或在表示的回放時增加亮度的色飽和 度，
[0033] ?選擇質(zhì)量較高但消耗較多的表示門和/或在表示的回放時降低亮度的色飽和 度，
[0034] ?保持待解碼的相同的表示Fi和該表示的回放的相同模式。
[0035] 根據(jù)一個實施例，使用能量節(jié)省指示符
和/或指示符
來控制待下載的表示Fi的選擇，并預(yù)測所需能量。
[0036] 例如，實時計算的比率值
并且相應(yīng)地更新清單文件和/或由清單 文件所指向的數(shù)據(jù)字段。
[0037] 通過該方法進行處理的數(shù)據(jù)為視頻數(shù)據(jù)。例如，將多媒體數(shù)據(jù)流編碼為單層或若 干互相關(guān)聯(lián)的層。
[0038] 表示的能量的值基于對表示中的每個的解碼復(fù)雜度的估計，并且該方法使用視頻 片段的圖像的像素的亮度值和/或色彩值的直方圖的所述基本特性來估計針對可接受質(zhì)量 的視覺和聲音回放的終端屏幕的消耗，而無論是在LC的夜晶技術(shù)的情況下的背光類型，還是 在OLED(化ganic Li曲t-Emitting Diode:有機發(fā)光二極管)發(fā)光技術(shù)的情況下的集成至各 色彩像素中的發(fā)光類型，該基本特性的類型基于亮度值和/或色彩值的每個類中的統(tǒng)計數(shù) 量。
[0039] 本發(fā)明還設(shè)及一種在接收終端和服務(wù)器之間進行下載期間，根據(jù)供終端支配的能 量而對來自服務(wù)提供者的多媒體表示或數(shù)據(jù)流的選擇進行管理的系統(tǒng)，其特征在于，服務(wù) 提供者包括如下模塊，其適于執(zhí)行前述方法的步驟，尤其適于計算與對表示Fi進行解碼的 所需能量相對于產(chǎn)生最大能量消耗的表示的比率相對應(yīng)的至少一個能量指數(shù)。
[0040] 系統(tǒng)可W包括適于提取與多媒體片段相對應(yīng)的像素的亮度值和/或色彩值的直方 圖的基本特性的模塊，用于存儲多媒體數(shù)據(jù)的服務(wù)器，W及接收終端，該接收終端包括用于 對計算流Fi進行解碼和回放的所耗能量的模塊、W及多媒體讀取器，該多媒體讀取器適于 根據(jù)所測量的能量值和施加至該讀取器的能量節(jié)省約束、與服務(wù)器通信的方式來選擇表示 Fio
[0041] 能量指數(shù)計算模塊也適于確定與回放給定表示Fi所需的時刻t時的能量和前一時 亥Ij(t-l)時的能量相對應(yīng)的值
[0042] 根據(jù)變形實施例，該系統(tǒng)包括存儲在服務(wù)器上清單文件，其用于說明可用表示的 性質(zhì)和存儲地址或者由清單文件所指向的數(shù)據(jù)字段的性質(zhì)和存儲地址，該清單文件包括針 對N個流Fi的所述能量指數(shù)
和/或指數(shù)
[0043] 例如，接收終端為包括屏幕的移動終端，并且該表示為視頻流，服務(wù)提供者的模塊 適于對該視頻流的解碼復(fù)雜度進行估計，并且其包括適于提供使得能夠針對質(zhì)量可接受的 視覺和聲音回放對用戶終端的屏幕的消耗進行估計的數(shù)據(jù)的模塊。
[0044] 系統(tǒng)可W包括適于提取視頻片段的像素的亮度值和/或色彩值的直方圖的基本特 性的模塊，清單文件包括針對N個流Fi的所述能量指數(shù)
W及直方圖H(分量X)的所述 基本特性或指向包括運些元數(shù)據(jù)的數(shù)據(jù)字段的指針。H(分量