用于確定圖像組中的可修改單元集合的方法和設備的制造方法
【技術(shù)領(lǐng)域】
[0001]以下公開了一種用于在視頻水印領(lǐng)域中確定可修改單元集合的方法。具體來說，公開了一種用于確定表示音頻視頻內(nèi)容的編碼比特流圖像組中的可修改單元集合的方法，其中該方法包括確定熱力圖。還公開了對應的設備。
【背景技術(shù)】
[0002]這部分旨在向讀者介紹現(xiàn)有技術(shù)的方面，這些現(xiàn)有技術(shù)可能涉及以下描述和/或要求保護的本發(fā)明原理的各個方面。相信該討論有助于向讀者提供背景信息，以使得更好地理解本發(fā)明原理的各個方面。因此，應當理解，這些陳述要從這個角度來理解，并且不被當作現(xiàn)有技術(shù)。
[0003]不誠信追蹤是使用以特定唯一標識符加了水印的內(nèi)容為客戶端提供服務。如果此后在未授權(quán)分發(fā)網(wǎng)絡上發(fā)現(xiàn)盜版，則能夠識別出具有不當行為的客戶。
[0004]在已知的對內(nèi)容加水印的方法中，一種方案包括直接修改壓縮格式中的比特流，而不做任何類型的解壓縮。這時，關(guān)鍵性的挑戰(zhàn)在于，要保證所引入的改變不會在解碼階段對視頻質(zhì)量造成明顯損傷。高級熵編碼范式的引入(例如上下文適配和算術(shù)編碼)使得這種比特流修改更具挑戰(zhàn)。如果不特別小心，特別是在進行有關(guān)的空間和時間傳播時，對比特流的單一修改可能導致災難性惡化。當用于預測的幀被加以水印時，所引入的改變可能通過解碼處理在時間上傳播，從而因所引入水印的失控性傳播而對水印的不可感知性造成損害。
[0005]時間傳播(也稱為時移(temporal drift))源自時間預測這一視頻編解碼中的常用機制。其可能影響大量幀中的大量像素:(i)在一個給定幀中，若干個像素可以在它們的預測中使用相同的參考像素，以及(ii)不同幀的像素也可以使用相同的參考像素。此外，時間預測中所涉及的子像素內(nèi)插還放大了修改的效果。
[0006]對比特流進行分析以標識在嵌入階段可插入水印的集合(位置、值)也稱為水印預處理。
[0007]第一種水印預處理方案對于對非參考幀進行水印編碼(如，大多數(shù)編解碼中的非參考B幀)的比特流視頻水印處理系統(tǒng)來說可用，由此避免了構(gòu)建所引入改變的任何時間傳播。然而，依然對參考幀很感興趣。事實上，能夠?qū)⒖紟右运】稍黾忧度肼?，從而增加水印的魯棒性。此外，若干個分發(fā)網(wǎng)絡處理僅使用參考幀來在解碼和呈現(xiàn)幀的順序之間進行對齊的流，這隱含著更為靈活的流傳輸性能。因此，針對比特流水印系統(tǒng)，對這些參考幀加以水印很感興趣，當然，在時間傳播處理方面也提出了挑戰(zhàn)。
[0008]針對參考幀，例如用于預測其他幀的幀(I幀、參考B幀或P幀)，US20130188712公開的第二方案在于計算壓縮影響值，針對每個宏塊(macroblock)，指示該宏塊通過幀內(nèi)或幀間預測對其他宏塊的像素值有多大影響。然而，在實踐中構(gòu)建這些壓縮影響值具有相當大的挑戰(zhàn)，并且具有高計算強度。事實上，其要求追蹤一個塊在多個時間幀上的影響。然后，選擇低影響值的宏塊用于水印處理。也就是說，US20130188712沒有公開任何一種阻止不同改變的時間傳播的重疊(這可能導致不可控視覺偽影)的機制。
[0009]FR2949283A1中公開了該方案的一種變型。在視頻流的視頻圖像中，包括未用作對視頻流的后續(xù)及先前圖像進行解碼的參考的宏塊在內(nèi)的圖像被標識為飛躍式(on-the-fly)。然后，用對期望標識信息(即，水印)進行編碼的替換(alternate)宏塊來替代這種非參考宏塊。然而，F(xiàn)R2949283A1沒有明確公開如何對未用作參考的宏塊進行標識，因而沒有解決計算壓縮影響值這一難題。
[0010]因而，需要一種用于確定對由預測引起的水印的時間和空間傳播進行管理的候選水印的計算高效方法。例如，可考慮其空間傳播不包含被另一幀用于預測的任何宏塊的水印(位置、值)。這是比選擇一個理想水印更為嚴格的選擇，也就是，選擇空間-時間傳播圖不相交但可高效計算的候選水印集合。

【發(fā)明內(nèi)容】

[0011]本發(fā)明原理通過提出一種用于確定表示音頻視頻內(nèi)容的編碼比特流中的可修改單元集合的方法，克服了現(xiàn)有技術(shù)的至少一個缺點，其中該方法包括確定表示每個像素用作參考的熱力圖。
[0012]事實上，本發(fā)明原理的主要構(gòu)思在于，沒有任何時間傳播或者具有受控時間傳播地對參考幀中的區(qū)域加水印，包括第一步驟:分析比特流以找出適合于加水印的所有位置以及針對每個可水印幀的相關(guān)聯(lián)的替換值和特性(空間傳播，以及某種魯棒性和保真標準)；并且針對每個參考幀，構(gòu)建表示每個像素的作為參考的使用的圖，即，涉及其他幀的某些預測的像素，也稱為參考熱力圖或熱力圖。然后在第二步驟中，選擇正確位置的集合，作為符合魯棒性和保真標準并且其空間傳播圖被限制在對應參考熱力圖所給定的參考幀的非參考區(qū)域內(nèi)的那些位置的集合。
[0013]為此，公開了一種用于確定表示音頻視頻內(nèi)容的編碼比特流圖像組中的可修改單元集合的方法。本領(lǐng)域技術(shù)人員將注意到，可修改單元不對應于句法單元而是對應于比特流中對內(nèi)容進行編碼的段。事實上，利用CABAC熵編碼，句法單元被編碼在非整數(shù)個比特上。因此，與可修改單元相關(guān)聯(lián)的比特流的段可能對編碼單個句法單元或者甚至編碼多個句法單元有貢獻，但很少完整地對單個句法元素進行編碼。換句話說，可修改單元包括在比特流的給定位置處的定長替換值(例如，2字節(jié)長的二進制字)。該方法包括，確定候選可修改單元集合，其中候選可修改單元包括位置、編碼比特流在該位置處的段的修改值以及與修改值相關(guān)聯(lián)的空間傳播圖；確定熱力圖，所述熱力圖包括:針對參考幀的每個像素的表示像素在對編碼比特流進行解碼期間的時間預測使用的信息；根據(jù)熱力圖和可修改單元的空間傳播圖，從編碼比特流的候選可修改單元中獲得可修改單元。
[0014]根據(jù)一個變型，表示像素的時間預測使用的信息是指示像素是否用于所述時間預測的二進制值。在另一個變型中，表示像素的時間預測使用的信息包括像素用于時間預測的次數(shù)。在再一個變型中，表示像素的時間預測使用的信息包括與像素使用參考幀進行預測相關(guān)聯(lián)的預測權(quán)重的和。每一個變型都有利地適配為與對水印的時間傳播的管理有關(guān)的變型，下文將描述。
[0015]有利地，針對存在候選可修改單元的參考幀確定熱力圖。在一個有利實施例中，這些參考幀被限制為P幀和B參考幀。
[0016]根據(jù)特定實施例，確定熱力圖包括:針對圖像組的每個已解碼幀，初始化表示像素的時間預測使用的信息，例如初始化為O ;解碼所述幀；以及針對所述已解碼幀的每個已解碼宏塊，在與解碼宏塊所指的參考幀相關(guān)聯(lián)的熱力圖中，更新表示像素的時間預測使用的
?目息O
[0017]根據(jù)另一個特定實施例，獲得可修改單元包括:針對反序掃描的圖像組的每一幀，選擇空間傳播圖與幀的時間熱力圖不重疊的候選可修改單元；以及針對與所選擇的候選可修改單元的修改值相關(guān)聯(lián)空間傳播圖的宏塊用作參考的所有像素，更新表示像素的時間預測使用的所述信息。有利地，用于獲得可修改單元的該第二步驟以相反的解碼順序?qū)崿F(xiàn)。針對每一幀，該步驟選擇同時滿足魯棒性和保真標準且傳播到參考幀的非參考區(qū)域(如對應參考熱力圖所給出的)的候選可修改單元的集合；然后根據(jù)用于預測所選擇單元的宏塊的像素，更新先前的參考熱力圖。
[0018]根據(jù)第一變型，選擇候選可修改單元包括:當空間傳播圖中至少一個像素的熱力圖中的值不等于O時，丟棄候選可修改單元。有利地，該變型僅保留沒有引入任何時間傳播的水印。根據(jù)第二變型，選擇候選可修改單元包括:針對每個候選可修改單元，根據(jù)熱力圖確定第一依賴值，所述第一依賴值包括候選可修改單元的空間傳播圖中用于預測的像素的數(shù)目；以及丟棄具有比第一閾值大的第一依賴值的所有候選可修改單元。有利地，該變型保留了有可能引入有限時間預測的單元，因為僅空間傳播圖中的數(shù)目受到控制的像素被其他幀用于預測。根據(jù)第三變型，選擇候選可修改單元包括:針對每個候選可修改單元，確定第二依賴值，所述第二依賴值包括:針對候選可修改單元的空間傳播圖中的像素，表示像素的時間預測使用的所述信息的和；以及丟棄具有比第二閾值大的第二依賴值的所有候選可修改單元。有利地，該變型挑出形成受控時間傳播的單元。例如，該變型保證水印對其他幀中更多像素的影響不超過指定值。
[0019]公開了一種用于確定表示音頻視頻內(nèi)容的編碼比特流的可修改單元集合的設備。該設備包括至少一個處理器，所述處理器被配置為:確定候選可修改單元集合，其中所述候選可修改單元包括編碼比特流中的位置、修改值以及與修改值相關(guān)聯(lián)的空間傳播圖；確定熱力圖，所述熱力圖包括:針對幀的每個像素的表示所述像素在對編碼比特流進行解碼期間的時間預測使用的信息；以及，根據(jù)熱力圖和可修改單元的空間傳播圖，從編碼比特流的候選可修改單