一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體業(yè)務(wù)的處理，特別是指一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器。
【背景技術(shù)】
[0002]多媒體服務(wù)(如流電視、視頻會議服務(wù)等)的增長是寬帶技術(shù)和標(biāo)準(zhǔn)革新的重要驅(qū)動因素。而目前通過移動設(shè)備來觀看數(shù)字視頻內(nèi)容的用戶也在快速增長。針對上述的需求，越來越多的用于移動服務(wù)的視頻應(yīng)用也應(yīng)運(yùn)而生，如Yuku以及Sohu等。
[0003]上述的趨勢給需要以有限的帶寬來發(fā)送媒體數(shù)據(jù)的內(nèi)容服務(wù)運(yùn)營商帶來了很多的困難。盡快帶寬一直在穩(wěn)定增長，但數(shù)據(jù)通信對于帶寬的需求的增長更快。這種增長來自于越來越多的連接到Internet的服務(wù)以及每個用戶越來越多的對媒體內(nèi)容的需求。根據(jù)思科的視覺網(wǎng)絡(luò)索引在2015年的報道，全球移動數(shù)據(jù)通信在2014年增長了 69%，而在所有的移動數(shù)據(jù)通信中，視頻數(shù)據(jù)在2012年就超過了 50%的比重?；谏鲜銮闆r，提高移動通信系統(tǒng)的多媒體服務(wù)能力以及為用戶提供高體驗質(zhì)量的服務(wù)變得越來越重要。
[0004]對于流媒體而言，一個非常重要的問題是用戶的網(wǎng)絡(luò)條件和重放條件是頻繁變化的，而自適應(yīng)流方案的出現(xiàn)就解決了上述問題。多碼流視頻編碼服務(wù)器可以將一路視頻圖像編碼成多個碼率碼流進(jìn)行輸出的服務(wù)器。例如可以將一個原始分辨率為全高清的視頻圖像(分辨率為1920*1080)編碼輸出為高清HD碼流(分辨率為1280*720)和Dl碼流(分辨率為720*576)等各種不同分辨率(碼率)的碼流進(jìn)行輸出。而客戶端可以依據(jù)其網(wǎng)絡(luò)條件向視頻編碼服務(wù)器請求合適的碼流，以保證高端用戶和低端用戶同樣流暢的用戶體驗。
[0005]類似如微軟公司的平滑流方案，蘋果公司的HTTP自適應(yīng)流方案和Adobe的動態(tài)FLASH流方案都在市場取得了極大的成功。
[0006]目前的自適應(yīng)比特率解決方案中，用戶側(cè)的顯示設(shè)備需要調(diào)整輸入流來適應(yīng)分辨率并以全分辨率顯示圖像。典型的放大算法(如Bicubic或Lanczos)會引入視覺誤差(如鋸齒、環(huán)狀偽影)等，更重要的是，傳統(tǒng)的放大算法都是基于接收到的碼流進(jìn)行處理，忽略了原始多媒體圖像數(shù)據(jù)。
[0007]因此，現(xiàn)有的自適應(yīng)媒體業(yè)務(wù)的處理手段存在著用戶體驗不好的缺陷。

【發(fā)明內(nèi)容】

[0008]本發(fā)明實施例的目的在于提供一種自適應(yīng)媒體業(yè)務(wù)的處理方法、裝置、編碼器及解碼器，提高用戶體驗。
[0009]為了實現(xiàn)上述目的，本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理方法，用于編碼端，其中，包括:
[0010]第一獲取步驟，獲取第一數(shù)據(jù)流，所述第一數(shù)據(jù)流中包括對第一圖像序列進(jìn)行編碼得到的第一圖像編碼數(shù)據(jù)，使得接收方能夠依據(jù)所述第一圖像編碼數(shù)據(jù)得到第一圖像序列；
[0011]第二獲取步驟，獲取至少一個第二數(shù)據(jù)流，不同的第二數(shù)據(jù)流具有不同的圖像質(zhì)量，每一個所述第二數(shù)據(jù)流包括對第二圖像序列進(jìn)行編碼得到的第二圖像編碼數(shù)據(jù)和與所述第二圖像編碼數(shù)據(jù)對應(yīng)的目標(biāo)優(yōu)化參數(shù)，使得接收方能夠解碼所述第二圖像編碼數(shù)據(jù)得到所述第二圖像序列，并利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理，得到第三圖像序列；所述目標(biāo)優(yōu)化參數(shù)依據(jù)所述第一圖像序列和第二圖像序列得到，所述第一圖像序列、第二圖像序列和第三圖像序列記載了相同的內(nèi)容，每一個所述第二圖像序列的圖像質(zhì)量低于所述第一圖像序列的圖像質(zhì)量和所述第三圖像序列的圖像質(zhì)量；
[0012]第一選擇步驟，依據(jù)接收方條件，從第一數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流，所述第一數(shù)據(jù)流集合中至少包括所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流；
[0013]第一發(fā)送步驟，發(fā)送選擇的數(shù)據(jù)流到所述接收方。
[0014]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中，使得111(1^，in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù)；所述LR為所述第二圖像序列，所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0015]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述第二獲取步驟具體包括:
[0016]降質(zhì)處理步驟，對所述第一圖像序列進(jìn)行降質(zhì)處理，得到所述至少一個第二圖像序列；
[0017]編碼步驟，對每一個所述第二圖像序列進(jìn)行編碼，得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù)；
[0018]第一參數(shù)確定步驟，依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化參數(shù)；
[0019]合并步驟，合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù)，得到所述至少一個第二數(shù)據(jù)流。
[0020]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述第二獲取步驟具體包括:
[0021]降質(zhì)處理步驟，對所述第一圖像序列進(jìn)行降質(zhì)處理，得到所述至少一個第二圖像序列；
[0022]編碼步驟，對每一個所述第二圖像序列進(jìn)行編碼，得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù)；
[0023]第二參數(shù)確定步驟，確定所述第一圖像序列的圖像類型和每一個第二圖像序列各自對應(yīng)的降質(zhì)級別；
[0024]第三參數(shù)確定步驟，依據(jù)預(yù)先保存的降質(zhì)級別、圖像類型和目標(biāo)優(yōu)化參數(shù)的對應(yīng)關(guān)系，確定每一個第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù)；
[0025]合并步驟，合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù)，得到所述至少一個第二數(shù)據(jù)流。
[0026]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述第二獲取步驟具體包括:
[0027]降質(zhì)處理步驟，對所述第一圖像序列進(jìn)行降質(zhì)處理，得到所述至少一個第二圖像序列；
[0028]編碼步驟，對每一個所述第二圖像序列進(jìn)行編碼，得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù)；
[0029]第一判斷步驟，判斷所述自適應(yīng)媒體業(yè)務(wù)的業(yè)務(wù)類型；
[0030]第四參數(shù)確定步驟，當(dāng)所述自適應(yīng)媒體業(yè)務(wù)的業(yè)務(wù)類型為實時業(yè)務(wù)時，依據(jù)預(yù)先保存的降質(zhì)級別、圖像類型和目標(biāo)優(yōu)化參數(shù)的對應(yīng)關(guān)系，獲取每一個第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù)，否則依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化參數(shù)；
[0031]合并步驟，合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的目標(biāo)優(yōu)化參數(shù)，得到所述至少一個第二數(shù)據(jù)流。
[0032]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0033]壓縮步驟，壓縮每一個所述第二圖像序列各自對應(yīng)的目標(biāo)優(yōu)化參數(shù)；
[0034]所述合并步驟中，合并每一個第二圖像編碼數(shù)據(jù)和對應(yīng)的壓縮后的目標(biāo)優(yōu)化參數(shù)。
[0035]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述第二數(shù)據(jù)流包括元數(shù)據(jù)部分和附件支持Attachment Support部分，所述目標(biāo)優(yōu)化參數(shù)存儲于所述元數(shù)據(jù)部分或附件支持Attachment Support 部分。
[0036]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0037]第三獲取步驟，獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流，每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù)，而不包括所述目標(biāo)優(yōu)化參數(shù)；
[0038]第一分支選擇步驟，當(dāng)所述目標(biāo)優(yōu)化參數(shù)的數(shù)據(jù)量大于預(yù)定門限時，進(jìn)入所述第一選擇步驟，否則進(jìn)入第二選擇步驟；
[0039]所述第二選擇步驟具體為:從第二數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流；所述第二數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流組成；
[0040]所述第一數(shù)據(jù)流集合由所述第一數(shù)據(jù)流、所述至少一個第二數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成。
[0041]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0042]第三獲取步驟，獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流，每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù)，而不包括所述目標(biāo)優(yōu)化參數(shù)；
[0043]所述第一數(shù)據(jù)流集合還包括所述至少一個第三數(shù)據(jù)流。
[0044]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0045]第三獲取步驟，獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流，每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù)，而不包括所述目標(biāo)優(yōu)化參數(shù)；
[0046]第二分支選擇步驟，當(dāng)接收方能夠解析并利用所述目標(biāo)優(yōu)化參數(shù)進(jìn)行質(zhì)量提升處理時，進(jìn)入所述第一選擇步驟，否則進(jìn)入第三選擇步驟；
[0047]所述第三選擇步驟具體為:從第三數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流；所述第三數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成；
[0048]所述第一數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流組成。
[0049]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0050]第二判斷步驟，在獲取至少一個第二數(shù)據(jù)流之前判斷是否需要更新所述目標(biāo)優(yōu)化參數(shù)，獲取一判斷結(jié)果，在判斷結(jié)果指示需要更新所述目標(biāo)優(yōu)化參數(shù)，進(jìn)入所述第二獲取步驟，否則進(jìn)入替換步驟；
[0051]所述替換步驟，獲取與至少一個第二數(shù)據(jù)流對應(yīng)的至少一個第三數(shù)據(jù)流，并從第三數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流，進(jìn)入所述第一發(fā)送步驟；每一個第三數(shù)據(jù)流包括對應(yīng)的第二圖像編碼數(shù)據(jù)，而不包括所述目標(biāo)優(yōu)化參數(shù)；所述第三數(shù)據(jù)流集合由所述第一數(shù)據(jù)流和所述至少一個第三數(shù)據(jù)流組成。
[0052]為了實現(xiàn)上述目的，本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理方法，用于解碼端，其中，包括:
[0053]接收步驟，接收發(fā)送方依據(jù)接收方條件選擇的第二數(shù)據(jù)流；所述第二數(shù)據(jù)流中包括用于傳輸?shù)诙D像編碼數(shù)據(jù)的第一部分和用于傳輸目標(biāo)優(yōu)化參數(shù)的第二部分；
[0054]解析步驟，解析所述第二數(shù)據(jù)流，獲取所述第一部分?jǐn)y帶的第二圖像編碼數(shù)據(jù)和第二部分?jǐn)y帶的目標(biāo)優(yōu)化參數(shù)；
[0055]解碼步驟，對所述第二圖像編碼數(shù)據(jù)進(jìn)行解碼，得到第二圖像序列；所述第二圖像序列的圖像質(zhì)量低于原始的第一圖像序列的圖像質(zhì)量；
[0056]質(zhì)量提升步驟，利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理，得到圖像質(zhì)量優(yōu)于第二圖像序列的圖像質(zhì)量的第三圖像序列。
[0057]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0058]第二發(fā)送步驟，向所述發(fā)送方發(fā)送所述接收方條件。
[0059]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中，使得111(1^，in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù)；所述LR為所述第二圖像序列，所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0060]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0061]第三發(fā)送步驟，發(fā)送指示接收方能夠解析并利用所述目標(biāo)優(yōu)化參數(shù)進(jìn)行質(zhì)量提升處理的指示消息到發(fā)送方，使得發(fā)送方能夠生成所述第二數(shù)據(jù)流，并從包括所述第二數(shù)據(jù)流的集合中進(jìn)行自適應(yīng)選擇。
[0062]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，還包括:
[0063]保存步驟，保存解析出的目標(biāo)優(yōu)化參數(shù)；
[0064]提取步驟，在接收到新的目標(biāo)優(yōu)化參數(shù)之前，提取保存的目標(biāo)優(yōu)化參數(shù)用于所述質(zhì)量提升步驟。
[0065]上述的自適應(yīng)媒體業(yè)務(wù)的處理方法，其中，所述第二部分?jǐn)y帶的目標(biāo)優(yōu)化參數(shù)為壓縮后的目標(biāo)優(yōu)化參數(shù)，所述解析步驟中通過解壓縮獲取所述目標(biāo)優(yōu)化參數(shù)。
[0066]為了實現(xiàn)上述目的，本發(fā)明實施例公開了一種自適應(yīng)媒體業(yè)務(wù)的處理裝置，用于編碼端，包括:
[0067]第一獲取模塊，用于獲取第一數(shù)據(jù)流，所述第一數(shù)據(jù)流中包括對第一圖像序列進(jìn)行編碼得到的第一圖像編碼數(shù)據(jù)，使得接收方能夠依據(jù)所述第一圖像編碼數(shù)據(jù)得到第一圖像序列；
[0068]第二獲取模塊，用于獲取至少一個第二數(shù)據(jù)流，不同的第二數(shù)據(jù)流具有不同的圖像質(zhì)量，每一個所述第二數(shù)據(jù)流包括對第二圖像序列進(jìn)行編碼得到的第二圖像編碼數(shù)據(jù)和與所述第二圖像編碼數(shù)據(jù)對應(yīng)的目標(biāo)優(yōu)化參數(shù)，使得接收方能夠解碼所述第二圖像編碼數(shù)據(jù)得到所述第二圖像序列，并利用所述目標(biāo)優(yōu)化參數(shù)對所述第二圖像序列進(jìn)行質(zhì)量提升處理，得到第三圖像序列；所述目標(biāo)優(yōu)化參數(shù)依據(jù)所述第一圖像序列和第二圖像序列得到，所述第一圖像序列、第二圖像序列和第三圖像序列記載了相同的內(nèi)容，每一個所述第二圖像序列的圖像質(zhì)量低于所述第一圖像序列的圖像質(zhì)量和所述第三圖像序列的圖像質(zhì)量；
[0069]第一選擇模塊，用于依據(jù)接收方條件，從第一數(shù)據(jù)流集合中選擇一個數(shù)據(jù)流，所述第一數(shù)據(jù)流集合中至少包括所述第一數(shù)據(jù)流和所述至少一個第二數(shù)據(jù)流；
[0070]第一發(fā)送模塊，用于發(fā)送選擇的數(shù)據(jù)流到所述接收方。
[0071]上述的自適應(yīng)媒體業(yè)務(wù)的處理裝置，其中，所述目標(biāo)優(yōu)化參數(shù)為至少兩個可用優(yōu)化參數(shù)111_口3以1]1中，使得111(1^，in_param)與第一圖像序列具有最大相似度的優(yōu)化參數(shù)；所述LR為所述第二圖像序列，所述MLM (LR, in_param)為利用所述可用優(yōu)化參數(shù)in_param對所述LR進(jìn)行質(zhì)量提升處理得到的圖像序列。
[0072]上述的自適應(yīng)媒體業(yè)務(wù)的處理裝置，其中，所述第二獲取模塊具體包括:
[0073]降質(zhì)處理模塊，用于對所述第一圖像序列進(jìn)行降質(zhì)處理，得到所述至少一個第二圖像序列；
[0074]編碼模塊，用于對每一個所述第二圖像序列進(jìn)行編碼，得到各自對應(yīng)的所述第二圖像編碼數(shù)據(jù)；
[0075]第一參數(shù)確定模塊，用于依據(jù)每一個所述第二圖像序列計算各自對應(yīng)的目標(biāo)優(yōu)化