用于解碼可變質(zhì)量視頻位流的方法和設(shè)備的制造方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求在2013年3月30日提交的序列號為61/853153的美國臨時(shí)申請的優(yōu)先 權(quán)，該美國臨時(shí)申請的整體內(nèi)容通過引用被全部包含于此。
技術(shù)領(lǐng)域
[0003] 本公開設(shè)及解碼視頻位流，并且特別地，設(shè)及對解碼后的質(zhì)量各異的視頻位流的 質(zhì)量的改進(jìn)。
【背景技術(shù)】
[0004] 視頻可使用不同的技術(shù)來編碼。然后，可使用通信通道將編碼后的視頻傳輸至接 收裝置，并且編碼后的視頻可被解碼和顯示。編碼和解碼過程可提供如下要素之間的權(quán)衡： 編碼復(fù)雜度、解碼復(fù)雜度、解碼后的視頻的質(zhì)量、編碼后的視頻的大小、用于編碼的存儲器 需求和用于解碼的存儲器需求。例如，相同的視頻可被編碼為產(chǎn)生具有相同視覺質(zhì)量的兩 個(gè)不同大小的編碼后的視頻文件，其中較小的視頻的編碼和/或解碼更復(fù)雜。
[0005] 當(dāng)例如通過網(wǎng)絡(luò)流式傳輸視頻時(shí)，視頻可被編碼為獨(dú)立的視頻剪輯或片段，每個(gè) 視頻剪輯或片段可被獨(dú)立地解碼并且連接到一起形成單個(gè)視頻。每個(gè)片段可W多次編碼， W產(chǎn)生片段的不同質(zhì)量的版本?？苫谄毡榈木W(wǎng)絡(luò)狀況來選擇用于傳輸?shù)暮线m的片段質(zhì) 量。例如，如果存在足夠的可用網(wǎng)絡(luò)帶寬，則可W傳輸高質(zhì)量的片段。隨著網(wǎng)絡(luò)帶寬的減小， 也許不再可能在不緩沖的情況下W高質(zhì)量播放視頻，并且因?yàn)檫\(yùn)樣，可較低的質(zhì)量傳 輸下一片段。
[0006] 期望具有一種附加的、可選的和/或改進(jìn)的解碼器，其能夠潛在地改進(jìn)具有時(shí)變質(zhì) 量的視頻的解碼后視頻質(zhì)量。
【附圖說明】
[0007] 根據(jù)下文的描述和附圖，本公開的特征、方面和優(yōu)點(diǎn)將變得更好理解，其中：
[0008] 圖1示出其中可W解碼視頻的環(huán)境的概覽；
[0009] 圖2示出視頻的組成部分；
[0010] 圖3示出視頻片段的傳輸；
[0011] 圖4示出視頻片段的解碼；
[0012] 圖5示出解碼視頻片段的方法；
[0013] 圖6示出將較高質(zhì)量的視頻帖和較低質(zhì)量的視頻帖的部分組合到一起；
[0014] 圖7示出解碼視頻片段的另一方法；
[0015] 圖8示出解碼視頻片段的另一方法的部分；
[0016] 圖9示出圖8的方法的另一部分；W及
[0017] 圖10示出在內(nèi)部編碼后，Thopt和SF的PSNR的值之間的關(guān)系；
[001引圖11示出化opt和MECost的值之間的關(guān)系；
[0019]圖12示出使用不同的解碼后的SF的QP值時(shí)，ThMSD的值和由所計(jì)算的MV指引的解碼 后的GF與SF之間的絕對差的和的平均值(AvgSAD)之間的關(guān)系圖；W及 [0020]圖13是用于解碼視頻的設(shè)備。
【具體實(shí)施方式】
[0021 ]根據(jù)本公開，提供一種解碼可變質(zhì)量視頻位流的方法，包括:解碼所述視頻位流的 具有第一視頻質(zhì)量的當(dāng)前片段的當(dāng)前帖;將解碼后的當(dāng)前帖和視頻位流的時(shí)間上在先的片 段的解碼后的先前帖組合成增強(qiáng)的當(dāng)前帖，所述視頻位流的時(shí)間上在先的片段具有高于所 述第一視頻質(zhì)量的第二視頻質(zhì)量；W及使用增強(qiáng)的當(dāng)前帖解碼視頻位流的當(dāng)前片段的剩余 帖。
[0022] 在一個(gè)實(shí)施例中，組合解碼后的當(dāng)前帖和解碼后的先前帖包括:將解碼后的當(dāng)前 帖分割為多個(gè)不重疊的片；W及對于每個(gè)片:計(jì)算在該片的至少部分和解碼后的先前帖的 對應(yīng)部分之間的差；W及當(dāng)該差小于闊值時(shí)，將解碼后的先前帖的對應(yīng)部分復(fù)制到所述當(dāng) 前帖。
[0023] 在一個(gè)實(shí)施例中，組合解碼后的當(dāng)前帖和解碼后的先前帖包括:在先前帖和當(dāng)前 帖之間識別高運(yùn)動區(qū)域和低運(yùn)動區(qū)域;根據(jù)第一組合處理，將解碼后的先前帖的至少第一 部分復(fù)制到解碼后的當(dāng)前帖的低運(yùn)動區(qū)域的至少相同位置的部分；W及根據(jù)第二組合處 理，將解碼后的先前帖的至少第二部分復(fù)制到解碼后的當(dāng)前帖的高運(yùn)動區(qū)域的至少對應(yīng)的 部分。
[0024] 在一個(gè)實(shí)施例中，識別高運(yùn)動區(qū)域和低運(yùn)動區(qū)域包括:使用運(yùn)動估計(jì)確定在解碼 后的先前帖和解碼后的當(dāng)前帖之間的運(yùn)動向量;將解碼后的當(dāng)前帖分割為多個(gè)不重疊的 片；W及基于片的運(yùn)動向量，將多個(gè)片中的每一個(gè)標(biāo)記為低運(yùn)動片或高運(yùn)動片。
[0025] 在一個(gè)實(shí)施例中，標(biāo)記多個(gè)片中的每一個(gè)包括對于每個(gè)片：將相應(yīng)片的運(yùn)動向量 一起取平均W提供片運(yùn)動向量;如果該片運(yùn)動向量小于運(yùn)動向量闊值，則將該片標(biāo)記為低 運(yùn)動片；W及如果片運(yùn)動向量大于或等于所述運(yùn)動向量闊值，則將該片標(biāo)記為高運(yùn)動片。 [00%]在一個(gè)實(shí)施例中，第一組合處理包括:確定在解碼后的先前帖的至少第一部分和 當(dāng)前帖的低運(yùn)動區(qū)域的至少相同位置的部分之間的差；當(dāng)該差低于闊值時(shí)，將解碼后的先 前帖的至少第一部分復(fù)制到解碼后的當(dāng)前帖的低運(yùn)動區(qū)域的至少相同位置的部分。
[0027] 在一個(gè)實(shí)施例中，方法還包括:將解碼后的當(dāng)前帖的低運(yùn)動區(qū)域分割為多個(gè)不重 疊的像素片；W及對于每個(gè)像素片:確定在該像素片和在解碼后的先前帖中的相同位置的 像素片之間的差；W及當(dāng)所確定的差低于闊值時(shí)，將來自解碼后的先前帖的相同位置的像 素片復(fù)制到解碼后的當(dāng)前帖的該像素片。
[0028] 在一個(gè)實(shí)施例中，使用下列之一確定差:均方差;平方差的和。
[0029] 在一個(gè)實(shí)施例中，第二組合處理包括:確定在解碼后的先前帖的至少第二對應(yīng)部 分和當(dāng)前帖的高運(yùn)動區(qū)域的至少對應(yīng)部分之間的差；當(dāng)所述差低于闊值時(shí)，將解碼后的先 前帖的至少第一對應(yīng)部分復(fù)制到解碼后的當(dāng)前帖的低運(yùn)動區(qū)域的至少部分。
[0030] 在一個(gè)實(shí)施例中，第二組合處理還包括:將當(dāng)前帖的高運(yùn)動區(qū)域分割為多個(gè)片；W 及對于每個(gè)片：確定具有針對當(dāng)前片的匹配運(yùn)動向量的相鄰片的數(shù)量(Nmatch);當(dāng)Nmatch大于 闊值時(shí)，對于所述當(dāng)前片的每個(gè)像素 P:確定由當(dāng)前片的運(yùn)動向量指引的在解碼后的先前帖 中的對應(yīng)像素 p' ； W及如果Ιρ-ρ?小于闊值，則將像素 p/復(fù)制到P。
[0031] 在一個(gè)實(shí)施例中，第二組合處理還包括:將當(dāng)前帖的高運(yùn)動區(qū)域分割為多個(gè)片；W 及對于每個(gè)片：確定具有針對當(dāng)前片的匹配運(yùn)動向量的相鄰片的數(shù)量(Nmatch);當(dāng)Nmatch 大于闊值時(shí)，確定由當(dāng)前片的運(yùn)動向量指引的在解碼后的先前帖中的對應(yīng)像素片P'；W及 如果P和P'之間的均方差(MSD)小于闊值，則將像素片P'復(fù)制到當(dāng)前片P。
[0032] 在一個(gè)實(shí)施例中，分割使用基于視頻的片尺寸。
[0033] 在一個(gè)實(shí)施例中，方法還包括通過如下方式確定片尺寸:從開始片尺寸減小片尺 寸并且確定片尺寸的運(yùn)動向量的方差，直到所述方差大于闊值。
[0034] 在一個(gè)實(shí)施例中，組合解碼后的當(dāng)前帖和解碼后的先前帖包括將解碼后的先前帖 的至少部分復(fù)制到解碼后的當(dāng)前帖。
[0035] 在一個(gè)實(shí)施例中，被復(fù)制到解碼后的當(dāng)前帖的解碼后的先前帖的至少部分在復(fù)制 到所述解碼后的當(dāng)前帖之前被處理W調(diào)整至少一個(gè)圖像特征。
[0036] 在一個(gè)實(shí)施例中，組合解碼后的當(dāng)前帖和解碼后的先前帖包括:組合解碼后的當(dāng) 前帖、解碼后的先前帖和視頻位流的時(shí)間上在先的片段的至少一個(gè)其他的解碼后的帖。
[0037] 在一個(gè)實(shí)施例中，方法還包括:解碼視頻位流的當(dāng)前片段的另外的帖；W及，組合 解碼后的另外的帖和來自時(shí)間上在先的片段的至少一個(gè)解碼后的帖，W提供增強(qiáng)的另外的 帖。
[0038] 在一個(gè)實(shí)施例中，與解碼后的當(dāng)前帖組合的解碼后的先前帖在視覺上類似于該解 碼后的當(dāng)前帖。
[0039] 在一個(gè)實(shí)施例中，方法還包括:基于與解碼后的當(dāng)前帖的相似性，從時(shí)間上在先的 片段的多個(gè)帖中確定至少一個(gè)帖，W用作解碼后的先前帖。
[0040] 在一個(gè)實(shí)施例中，方法還包括:在解碼視頻位流的當(dāng)前片段的當(dāng)前帖之前，解碼所 述視頻位流的緊鄰的先前片段。
[0041] 在一個(gè)實(shí)施例中，可變質(zhì)量視頻位流包括多個(gè)時(shí)間視頻片段，該時(shí)間視頻片段包 括當(dāng)前片段和時(shí)間上在先的片段，每個(gè)片段具有相應(yīng)的視頻質(zhì)量。
[0042] 在一個(gè)實(shí)施例中，每個(gè)視頻片段包括能夠被獨(dú)立解碼的至少一個(gè)內(nèi)編碼視頻帖和 基于視頻片段的至少一個(gè)其他視頻帖解碼的至少一個(gè)內(nèi)編碼視頻帖。
[0043] 根據(jù)本公開，還提供一種用于解碼視頻的設(shè)備，包括：用于執(zhí)行指令的處理器；W 及用于存儲指令的存儲器，當(dāng)由處理器執(zhí)行時(shí)該指令將設(shè)備配置為執(zhí)行解碼可變質(zhì)量視頻 位流的方法。
[0044] 根據(jù)本公開，還提供一種存儲可執(zhí)行指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令 用于將設(shè)備配置為執(zhí)行解碼可變質(zhì)量視頻位流的方法。
[0045] 描述了一種解碼器，在解碼隨后的較低質(zhì)量獨(dú)立編碼的片段時(shí)，其使用來自已接 收和解碼的高視覺質(zhì)量獨(dú)立編碼的片段的信息。解碼器可W改進(jìn)體驗(yàn)質(zhì)量(QoE)，而不會帶 來顯著延遲或編碼器和解碼器兩者的存儲和計(jì)算復(fù)雜度的額外開銷，或者編碼效率的損 失。
[0046] 圖1示出了其中視頻可被解碼的環(huán)境100的概覽。視頻內(nèi)容可被記錄或生成，并且 接著被編碼W用于分發(fā)至各種裝置W進(jìn)行消費(fèi)。例如，電視機(jī)102可連接至電纜或衛(wèi)星機(jī)頂 盒(STBH04,該電纜或衛(wèi)星機(jī)頂盒(STBH04接收來自衛(wèi)星106或有線電視網(wǎng)絡(luò)108的視頻內(nèi) 容。STB 104接收編碼后的視頻內(nèi)容，將其解碼并且提供給電視機(jī)W顯示。另外地或可選地， 電視機(jī)102本身可包括解碼器，該解碼器能夠接收編碼后的視頻內(nèi)容并且將其解碼W顯示。 視頻內(nèi)容還可W被顯示在其他裝置上，諸如平板計(jì)算機(jī)110或便攜式計(jì)算機(jī)。平板計(jì)算機(jī) 110可用于局域網(wǎng)絡(luò)112中，W訪問諸如所存儲的視頻的本地視頻內(nèi)容114。局域網(wǎng)絡(luò)112可 禪合至其他網(wǎng)絡(luò)108,該網(wǎng)絡(luò)108允許該平板計(jì)算機(jī)訪問