一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體業(yè)務(wù)的處理,特別是指一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器。
【背景技術(shù)】
[0002]多媒體服務(wù)(如流電視、視頻會議服務(wù)等)的增長是寬帶技術(shù)和標(biāo)準(zhǔn)革新的重要驅(qū)動因素。而目前通過移動設(shè)備來觀看數(shù)字視頻內(nèi)容的用戶也在快速增長。針對上述的需求,越來越多的用于移動服務(wù)的視頻應(yīng)用也應(yīng)運(yùn)而生,如Yuku以及Sohu等。
[0003]上述的趨勢給需要以有限的帶寬來發(fā)送媒體數(shù)據(jù)的內(nèi)容服務(wù)運(yùn)營商帶來了很多的困難。盡快帶寬一直在穩(wěn)定增長,但數(shù)據(jù)通信對于帶寬的需求的增長更快。這種增長來自于越來越多的連接到Internet的服務(wù)以及每個用戶越來越多的對媒體內(nèi)容的需求。根據(jù)思科的視覺網(wǎng)絡(luò)索引在2015年的報道,全球移動數(shù)據(jù)通信在2014年增長了 69%,而在所有的移動數(shù)據(jù)通信中,視頻數(shù)據(jù)在2012年就超過了 50%的比重?;谏鲜銮闆r,提高移動通信系統(tǒng)的多媒體服務(wù)能力以及為用戶提供高體驗質(zhì)量的服務(wù)變得越來越重要。
[0004]對于流媒體而言,一個非常重要的問題是用戶的網(wǎng)絡(luò)條件和重放條件是頻繁變化的,而自適應(yīng)流方案的出現(xiàn)就解決了上述問題。多碼流視頻編碼服務(wù)器可以將一路視頻圖像編碼成多個碼率碼流進(jìn)行輸出的服務(wù)器。例如可以將一個原始分辨率為全高清的視頻圖像(分辨率為1920*1080)編碼輸出為高清HD碼流(分辨率為1280*720)和Dl碼流(分辨率為720*576)等各種不同分辨率(碼率)的碼流進(jìn)行輸出。而客戶端可以依據(jù)其網(wǎng)絡(luò)條件向視頻編碼服務(wù)器請求合適的碼流,以保證高端用戶和低端用戶同樣流暢的用戶體驗。
[0005]類似如微軟公司的平滑流方案,蘋果公司的HTTP自適應(yīng)流方案和Adobe的動態(tài)FLASH流方案都在市場取得了極大的成功。
[0006]目前的自適應(yīng)比特率解決方案中,用戶側(cè)的顯示設(shè)備需要調(diào)整輸入流來適應(yīng)分辨率并以全分辨率顯示圖像。典型的放大算法(如Bicubic或Lanczos)會引入視覺誤差(如鋸齒、環(huán)狀偽影)等,更重要的是,傳統(tǒng)的放大算法都是基于接收到的碼流進(jìn)行處理,忽略了原始多媒體圖像數(shù)據(jù)。
[0007]因此,現(xiàn)有的自適應(yīng)媒體業(yè)務(wù)的處理手段存在著用戶體驗不好的缺陷。
【發(fā)明內(nèi)容】
[0008]本發(fā)明實施例的目的在于提供一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器,提高用戶體驗。
[0009]為了實現(xiàn)上述目的,本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理方法,用于編碼端,其中,包括:
[0010]第一獲取步驟,獲取第一數(shù)據(jù)流,所述第一數(shù)據(jù)流中包括對第一圖像序列進(jìn)行編碼得到的第一圖像編碼數(shù)據(jù),使得接收方能夠依據(jù)所述第一圖像編碼數(shù)據(jù)得到第一圖像序列;
[0011]第二獲取步驟,獲取至少一個第二數(shù)據(jù)流,不同的第二數(shù)據(jù)流具有不同的圖像質(zhì)量,每一個所述第二數(shù)據(jù)流包括對第二圖像序列進(jìn)行編碼得到的第二圖像編碼數(shù)據(jù)和與所述第二圖像編碼數(shù)據(jù)對應(yīng)的目標(biāo)優(yōu)化參數(shù),使得接收方能夠解碼所述第二圖像編碼數(shù)據(jù)得到所述第二圖像序列,并利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理,得到第三圖像序列;所述目標(biāo)優(yōu)化參數(shù)依據(jù)所述第一圖像序列和第二圖像序列得到,所述第一圖像序列、第二圖像序列和第三圖像序列記載了相同的內(nèi)容,每一個所述第二圖像序列的圖像質(zhì)量低于所述第一圖像序列的圖像質(zhì)量和所述第三圖像序列的圖像質(zhì)量;
[0012]第一選擇步驟,依據(jù)接收方條件,從第一數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流,所述第一數(shù)據(jù)流集合中至少包括所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流;
[0013]第一發(fā)送步驟,發(fā)送選擇的數(shù)據(jù)流到所述接收方。
[0014]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中,使得111(1^,in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù);所述LR為所述第二圖像序列,所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0015]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述第二獲取步驟具體包括:
[0016]降質(zhì)處理步驟,對所述第一圖像序列進(jìn)行降質(zhì)處理,得到所述至少一個第二圖像序列;
[0017]編碼步驟,對每一個所述第二圖像序列進(jìn)行編碼,得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù);
[0018]第一參數(shù)確定步驟,依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化參數(shù);
[0019]合并步驟,合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù),得到所述至少一個第二數(shù)據(jù)流。
[0020]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述第二獲取步驟具體包括:
[0021]降質(zhì)處理步驟,對所述第一圖像序列進(jìn)行降質(zhì)處理,得到所述至少一個第二圖像序列;
[0022]編碼步驟,對每一個所述第二圖像序列進(jìn)行編碼,得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù);
[0023]第二參數(shù)確定步驟,確定所述第一圖像序列的圖像類型和每一個第二圖像序列各自對應(yīng)的降質(zhì)級別;
[0024]第三參數(shù)確定步驟,依據(jù)預(yù)先保存的降質(zhì)級別、圖像類型和目標(biāo)優(yōu)化參數(shù)的對應(yīng)關(guān)系,確定每一個第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù);
[0025]合并步驟,合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù),得到所述至少一個第二數(shù)據(jù)流。
[0026]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述第二獲取步驟具體包括:
[0027]降質(zhì)處理步驟,對所述第一圖像序列進(jìn)行降質(zhì)處理,得到所述至少一個第二圖像序列;
[0028]編碼步驟,對每一個所述第二圖像序列進(jìn)行編碼,得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù);
[0029]第一判斷步驟,判斷所述自適應(yīng)媒體業(yè)務(wù)的業(yè)務(wù)類型;
[0030]第四參數(shù)確定步驟,當(dāng)所述自適應(yīng)媒體業(yè)務(wù)的業(yè)務(wù)類型為實時業(yè)務(wù)時,依據(jù)預(yù)先保存的降質(zhì)級別、圖像類型和目標(biāo)優(yōu)化參數(shù)的對應(yīng)關(guān)系,獲取每一個第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù),否則依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化參數(shù);
[0031]合并步驟,合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù),得到所述至少一個第二數(shù)據(jù)流。
[0032]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0033]壓縮步驟,壓縮每一個所述第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù);
[0034]所述合并步驟中,合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的壓縮后的目標(biāo)優(yōu)化參數(shù)。
[0035]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述第二數(shù)據(jù)流包括元數(shù)據(jù)部分和附件支持Attachment Support部分,所述目標(biāo)優(yōu)化參數(shù)存儲于所述元數(shù)據(jù)部分或附件支持Attachment Support 部分。
[0036]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0037]第三獲取步驟,獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流,每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù),而不包括所述目標(biāo)優(yōu)化參數(shù);
[0038]第一分支選擇步驟,當(dāng)所述目標(biāo)優(yōu)化參數(shù)的數(shù)據(jù)量大于預(yù)定門限時,進(jìn)入所述第一選擇步驟,否則進(jìn)入第二選擇步驟;
[0039]所述第二選擇步驟具體為:從第二數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流;所述第二數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流組成;
[0040]所述第一數(shù)據(jù)流集合由所述第一數(shù)據(jù)流、所述至少一個第二數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成。
[0041]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0042]第三獲取步驟,獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流,每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù),而不包括所述目標(biāo)優(yōu)化參數(shù);
[0043]所述第一數(shù)據(jù)流集合還包括所述至少一個第三數(shù)據(jù)流。
[0044]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0045]第三獲取步驟,獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流,每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù),而不包括所述目標(biāo)優(yōu)化參數(shù);
[0046]第二分支選擇步驟,當(dāng)接收方能夠解析并利用所述目標(biāo)優(yōu)化參數(shù)進(jìn)行質(zhì)量提升處理時,進(jìn)入所述第一選擇步驟,否則進(jìn)入第三選擇步驟;
[0047]所述第三選擇步驟具體為:從第三數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流;所述第三數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成;
[0048]所述第一數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流組成。
[0049]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0050]第二判斷步驟,在獲取至少一個第二數(shù)據(jù)流之前判斷是否需要更新所述目標(biāo)優(yōu)化參數(shù),獲取一判斷結(jié)果,在判斷結(jié)果指示需要更新所述目標(biāo)優(yōu)化參數(shù),進(jìn)入所述第二獲取步驟,否則進(jìn)入替換步驟;
[0051]所述替換步驟,獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流,并從第三數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流,進(jìn)入所述第一發(fā)送步驟;每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù),而不包括所述目標(biāo)優(yōu)化參數(shù);所述第三數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成。
[0052]為了實現(xiàn)上述目的,本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理方法,用于解碼端,其中,包括:
[0053]接收步驟,接收發(fā)送方依據(jù)接收方條件選擇的第二數(shù)據(jù)流;所述第二數(shù)據(jù)流中包括用于傳輸?shù)诙D像編碼數(shù)據(jù)的第一部分和用于傳輸目標(biāo)優(yōu)化參數(shù)的第二部分;
[0054]解析步驟,解析所述第二數(shù)據(jù)流,獲取所述第一部分?jǐn)y帶的第二圖像編碼數(shù)據(jù)和第二部分?jǐn)y帶的目標(biāo)優(yōu)化參數(shù);
[0055]解碼步驟,對所述第二圖像編碼數(shù)據(jù)進(jìn)行解碼,得到第二圖像序列;所述第二圖像序列的圖像質(zhì)量低于原始的第一圖像序列的圖像質(zhì)量;
[0056]質(zhì)量提升步驟,利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理,得到圖像質(zhì)量優(yōu)于第二圖像序列的圖像質(zhì)量的第三圖像序列。
[0057]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0058]第二發(fā)送步驟,向所述發(fā)送方發(fā)送所述接收方條件。
[0059]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中,使得111(1^,in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù);所述LR為所述第二圖像序列,所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0060]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0061]第三發(fā)送步驟,發(fā)送指示接收方能夠解析并利用所述目標(biāo)優(yōu)化參數(shù)進(jìn)行質(zhì)量提升處理的指示消息到發(fā)送方,使得發(fā)送方能夠生成所述第二數(shù)據(jù)流,并從包括所述第二數(shù)據(jù)流的集合中進(jìn)行自適應(yīng)選擇。
[0062]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,還包括:
[0063]保存步驟,保存解析出的目標(biāo)優(yōu)化參數(shù);
[0064]提取步驟,在接收到新的目標(biāo)優(yōu)化參數(shù)之前,提取保存的目標(biāo)優(yōu)化參數(shù)用于所述質(zhì)量提升步驟。
[0065]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法,其中,所述第二部分?jǐn)y帶的目標(biāo)優(yōu)化參數(shù)為壓縮后的目標(biāo)優(yōu)化參數(shù),所述解析步驟中通過解壓縮獲取所述目標(biāo)優(yōu)化參數(shù)。
[0066]為了實現(xiàn)上述目的,本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理裝置,用于編碼端,包括:
[0067]第一獲取模塊,用于獲取第一數(shù)據(jù)流,所述第一數(shù)據(jù)流中包括對第一圖像序列進(jìn)行編碼得到的第一圖像編碼數(shù)據(jù),使得接收方能夠依據(jù)所述第一圖像編碼數(shù)據(jù)得到第一圖像序列;
[0068]第二獲取模塊,用于獲取至少一個第二數(shù)據(jù)流,不同的第二數(shù)據(jù)流具有不同的圖像質(zhì)量,每一個所述第二數(shù)據(jù)流包括對第二圖像序列進(jìn)行編碼得到的第二圖像編碼數(shù)據(jù)和與所述第二圖像編碼數(shù)據(jù)對應(yīng)的目標(biāo)優(yōu)化參數(shù),使得接收方能夠解碼所述第二圖像編碼數(shù)據(jù)得到所述第二圖像序列,并利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理,得到第三圖像序列;所述目標(biāo)優(yōu)化參數(shù)依據(jù)所述第一圖像序列和第二圖像序列得到,所述第一圖像序列、第二圖像序列和第三圖像序列記載了相同的內(nèi)容,每一個所述第二圖像序列的圖像質(zhì)量低于所述第一圖像序列的圖像質(zhì)量和所述第三圖像序列的圖像質(zhì)量;
[0069]第一選擇模塊,用于依據(jù)接收方條件,從第一數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流,所述第一數(shù)據(jù)流集合中至少包括所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流;
[0070]第一發(fā)送模塊,用于發(fā)送選擇的數(shù)據(jù)流到所述接收方。
[0071]上述的自適應(yīng)媒體業(yè)務(wù)的處理裝置,其中,所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中,使得111(1^,in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù);所述LR為所述第二圖像序列,所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0072]上述的自適應(yīng)媒體業(yè)務(wù)的處理裝置,其中,所述第二獲取模塊具體包括:
[0073]降質(zhì)處理模塊,用于對所述第一圖像序列進(jìn)行降質(zhì)處理,得到所述至少一個第二圖像序列;
[0074]編碼模塊,用于對每一個所述第二圖像序列進(jìn)行編碼,得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù);
[0075]第一參數(shù)確定模塊,用于依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化