用于對數(shù)字圖像序列進(jìn)行編碼的方法
【專利摘要】本發(fā)明涉及一種用于對數(shù)字圖像序列（S）進(jìn)行編碼的方法，每個圖像具有相同的圖像格式且包括具有所分配的像素值的多個像素，其中，第一和第二圖像（I1、I2）之間的運(yùn)動參數(shù)（MP）是確定的，其中，基于所述運(yùn)動參數(shù)（MP），執(zhí)行運(yùn)動補(bǔ)償（MC）以便對圖像序列（S）進(jìn)行編碼，其中，所述運(yùn)動參數(shù)（MP）被包括在已編碼的圖像序列（CS）中。第一圖像（I1）與第二圖像（I2）之間的運(yùn)動參數(shù)（MP）包括具有用于圖像格式中的多個圖像位置的標(biāo)量值的標(biāo)量場（p），其中，標(biāo)量場（p）被確定為使得從標(biāo)量場（p）導(dǎo)出的梯度矢量（MV）對應(yīng)于用于運(yùn)動補(bǔ)償（MC）的運(yùn)動矢量。
【專利說明】用于對數(shù)字圖像序列進(jìn)行編碼的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于對數(shù)字圖像序列進(jìn)行編碼的方法以及用于解碼的對應(yīng)方法。此外，本發(fā)明涉及一種編碼設(shè)備和解碼設(shè)備以及一種用于對圖像序列進(jìn)行編碼和解碼的系統(tǒng)。
【背景技術(shù)】
[0002]為了圖像的快速且有效的傳輸和存儲，使用壓縮算法以便利用圖像中的空間、時間和概率冗余性。在視頻編碼中，已知基于區(qū)塊的運(yùn)動補(bǔ)償技術(shù)，其設(shè)法在使用在時間方向上的基于區(qū)塊的過渡運(yùn)動預(yù)測和補(bǔ)償時減少空間變化。為此，確定圖像序列中的當(dāng)前圖像中包括若干個像素的預(yù)定義區(qū)塊相對于前一圖像的運(yùn)動，使強(qiáng)度差范數(shù)最小化。將此運(yùn)行信息用于預(yù)測，只須傳輸包含少得多的變化的殘余誤差以便在解碼器處獲得無損重構(gòu)?；趨^(qū)塊的方法具有在已解碼圖像中的區(qū)塊邊界處產(chǎn)生區(qū)塊偽像的缺點(diǎn)。在現(xiàn)有技術(shù)中描述了基于區(qū)塊的運(yùn)動補(bǔ)償?shù)娜舾筛倪M(jìn)，例如自適應(yīng)區(qū)塊尺寸、幀內(nèi)編碼的自適應(yīng)選擇、來自多個在前和后續(xù)圖像的加權(quán)預(yù)測、環(huán)路內(nèi)濾波，等等。
[0003]除基于區(qū)塊的運(yùn)動補(bǔ)償之外，還存在用于基于像素的運(yùn)動補(bǔ)償?shù)姆椒?。通過此運(yùn)動補(bǔ)償，能夠使用基于像素的運(yùn)動矢量場來描述任意運(yùn)動。這些方法具有缺點(diǎn)，即由于大量的運(yùn)動矢量，所以必須將很多側(cè)面信息傳輸至解碼器。為了減少此側(cè)面信息，文獻(xiàn)[I]描述了稠密運(yùn)動矢量場的稀疏表示，其中，僅僅相對于其預(yù)測能力的顯著運(yùn)動矢量被編碼。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種用于以高編碼效率對數(shù)字圖像序列進(jìn)行編碼(即以高壓縮率提供良好的已解碼圖像質(zhì)量)的方法。
[0005]根據(jù)獨(dú)立權(quán)利要求來解決此目的。在從屬權(quán)利要求中限定了優(yōu)選實(shí)施例。
[0006]本發(fā)明的方法被用于對數(shù)字圖像序列進(jìn)行編碼，其中，每個圖像具有相同的圖像格式且包括具有所分配的像素值的多個像素。由于相同的圖像格式，圖像格式中的每個像素對應(yīng)于每個圖像中的預(yù)定像素。根據(jù)本發(fā)明的方法，確定第一和第二圖像之間的運(yùn)動參數(shù)，其中，基于所述運(yùn)動參數(shù)，執(zhí)行運(yùn)動補(bǔ)償以便對圖像序列進(jìn)行編碼，其中，所述運(yùn)動參數(shù)被包括在已編碼圖像序列中。術(shù)語“圖像”將被廣泛地解釋且可以指的是任意的像素陣列，例如像素的二維或三維或更高維度陣列。
[0007]根據(jù)本發(fā)明的方法的特征在于新種類的運(yùn)動參數(shù)。即，第一圖像與第二圖像之間的運(yùn)動參數(shù)包括標(biāo)量場而不是運(yùn)動矢量，其中，所述標(biāo)量場具有用于該圖像格式中的多個圖像位置的標(biāo)量值。那些圖像位置不需要對應(yīng)于像素位置。在下述優(yōu)選實(shí)施例中，標(biāo)量場包括在多個圖像位置處已知的標(biāo)量值，這些圖像位置的數(shù)目低于圖像格式中的像素的數(shù)目。根據(jù)本發(fā)明的標(biāo)量場被確定為使得從標(biāo)量場導(dǎo)出的梯度矢量對應(yīng)于用于運(yùn)動補(bǔ)償?shù)倪\(yùn)動矢量，即梯度矢量與運(yùn)動矢量相同，或者能夠通過將梯度矢量與因數(shù)相乘來確定運(yùn)動矢量。由圖像內(nèi)的標(biāo)量場的眾所周知的梯度來表示梯度矢量。由于標(biāo)量場的定義，該梯度矢量對應(yīng)于如在現(xiàn)有技術(shù)編碼技術(shù)中所定義的運(yùn)動矢量。
[0008]本發(fā)明的編碼方法具有的優(yōu)點(diǎn)在于，代替運(yùn)動矢量，在已編碼圖像序列中包括標(biāo)量場，因此減少了側(cè)面信息并導(dǎo)致更高的編碼效率。此外，由于本發(fā)明的方法并不基于圖像區(qū)塊，所以消除了成塊偽像。這在向已編碼位流中的信息，例如向在預(yù)測編碼中所計算的預(yù)測誤差，應(yīng)用去相關(guān)方法的情況下導(dǎo)致更好的壓縮。
[0009]本發(fā)明基于的實(shí)現(xiàn)在于，能夠基于標(biāo)量場來表示某些圖像序列中的運(yùn)動矢量。優(yōu)選地通過搜索標(biāo)量場來確定此場，該標(biāo)量場使第二圖像的像素值與第一運(yùn)動補(bǔ)償圖像的像素值之間的殘余誤差最小化，其中，基于從標(biāo)量場導(dǎo)出的梯度矢量來確定第一運(yùn)動補(bǔ)償圖像。S卩，基于使殘余誤差最小化的優(yōu)化問題的解來確定標(biāo)量場。然而，在實(shí)際實(shí)現(xiàn)中，不一定找到絕對最小值。根據(jù)編碼努力，還能夠?qū)⒋巫罴呀庥糜跇?biāo)量場。盡管如此，還是通過搜索使殘余誤差最小化的標(biāo)量場來找到此解。
[0010]在優(yōu)選實(shí)施例中，由第二和第一圖像之間的絕對像素值差的和來表示殘余誤差，其中，每個絕對像素值差對應(yīng)于第二圖像中的第二像素位置處的像素值與第一圖像中的第一像素位置處的像素值之間的絕對差，所述第一像素位置對應(yīng)于由所述第二像素位置處的標(biāo)量場的采樣版本的梯度矢量所補(bǔ)償?shù)牡诙袼匚恢谩Ｐg(shù)語“絕對差”將被廣泛地解釋且還可以例如包括平方差。在特定優(yōu)選實(shí)施例中，標(biāo)量場包括用于小于圖像格式中的像素數(shù)目的圖像位置的標(biāo)量值，其中，通過對標(biāo)量場的上采樣版本進(jìn)行內(nèi)插來確定標(biāo)量場的采樣版本。在本實(shí)施例中，由于包括減少數(shù)目的標(biāo)量值的標(biāo)量場的使用而減少了要傳輸以用于解碼的側(cè)面信息。在上述實(shí)施例的優(yōu)選變體中，由窗口化正弦函數(shù)，特別是Lanczos濾波器，來對標(biāo)量場的上采樣版本進(jìn)行內(nèi)插。也可以使用其他內(nèi)插技術(shù),例如樣條內(nèi)插。
[0011]為了確定在本發(fā)明中使用的標(biāo)量場，能夠使用用于非線性最小二乘問題的眾所周知的解算器，例如(迭代)高斯_牛頓(Gauss-Newton)算法和/或Levenberg-Marquardt算法。在本發(fā)明的另一實(shí)施例中，使運(yùn)動參數(shù)(即標(biāo)量場)經(jīng)受變換和/或數(shù)據(jù)壓縮，特別是DCTCDCT =離散余弦變換)和/或Karhunen-Loeve變換和/或預(yù)測編碼和/或熵編碼。由于本實(shí)施例，增強(qiáng)了編碼效率。
[0012]在本發(fā)明的方法中執(zhí)行的運(yùn)動補(bǔ)償能夠用于眾所周知的編碼技術(shù)。特別地，能夠針對預(yù)測編碼執(zhí)行運(yùn)動補(bǔ)償，其中，確定由導(dǎo)出的梯度矢量所補(bǔ)償?shù)牡诙D像與第一圖像之間的殘余誤差，并且優(yōu)選地使其經(jīng)受數(shù)據(jù)壓縮，特別是空間預(yù)測編碼和/或全圖像變換，如小波分解和/或熵編碼。盡管如此，還能夠?qū)⑦\(yùn)動補(bǔ)償與運(yùn)動補(bǔ)償時間濾波相組合。
[0013]在優(yōu)選實(shí)施例中，由本發(fā)明所編碼的圖像序列指的是時間上相繼的圖像。盡管如此，本發(fā)明還可適用于空間上相繼的圖像的序列。
[0014]在特別優(yōu)選的實(shí)施例中，該圖像序列基于醫(yī)學(xué)數(shù)據(jù)，即已經(jīng)由醫(yī)學(xué)成像設(shè)備，特別是由CT設(shè)備(CT =計算機(jī)斷層成像)和/或MRT設(shè)備(MRT =磁共振斷層成像)所生成的數(shù)據(jù)。在本實(shí)施例中，圖像序列優(yōu)選地是人或動物組織中，特別是包括人或動物器官(例如心臟)的組織中的切片的時間或空間序列。
[0015]除上述方法之外，本發(fā)明還包括一種用于對數(shù)字圖像序列進(jìn)行編碼的設(shè)備，每個圖像具有相同的圖像格式且包括具有所分配的像素值的多個像素。該設(shè)備包括用于確定第一和第二圖像之間的運(yùn)動參數(shù)的裝置，所述運(yùn)動參數(shù)被用在用于為了對圖像序列進(jìn)行編碼而執(zhí)行的運(yùn)動補(bǔ)償?shù)难b置中，其中，所述運(yùn)動參數(shù)被包括在已編碼圖像序列中。在此設(shè)備中，用于確定運(yùn)動參數(shù)的裝置包括用于確定具有用于圖像格式中的多個圖像位置的標(biāo)量值的標(biāo)量場的裝置，其中，所述標(biāo)量場被確定為使得從標(biāo)量場導(dǎo)出的梯度矢量對應(yīng)于用于運(yùn)動補(bǔ)償?shù)倪\(yùn)動矢量。該設(shè)備優(yōu)選地被布置用于執(zhí)行根據(jù)本發(fā)明的方法的優(yōu)選實(shí)施例中的一個或多個。
[0016]本發(fā)明還涉及一種用于對由本發(fā)明的編碼方法或此編碼方法的一個或多個優(yōu)選實(shí)施例所編碼的數(shù)字圖像序列進(jìn)行解碼的方法。在此解碼方法中，提取用于已編碼圖像序列中的對應(yīng)的第一和第二圖像的一個或多個標(biāo)量場，并且從每個提取的標(biāo)量場導(dǎo)出梯度矢量，其中，基于導(dǎo)出的梯度矢量來執(zhí)行運(yùn)動補(bǔ)償，從而導(dǎo)致已解碼圖像序列。
[0017]本發(fā)明還涉及一種用于對由本發(fā)明的編碼方法或根據(jù)本發(fā)明的編碼方法的一個或多個優(yōu)選實(shí)施例所編碼的數(shù)字圖像序列進(jìn)行解碼的設(shè)備。該設(shè)備包括用于提取用于已編碼圖像序列中的對應(yīng)的第一和第二圖像的一個或多個標(biāo)量場的裝置，用于從每個提取的標(biāo)量場導(dǎo)出梯度矢量的裝置，以及用于基于導(dǎo)出的梯度矢量來執(zhí)行運(yùn)動補(bǔ)償、導(dǎo)致已解碼圖像序列的裝置。
[0018]本發(fā)明還包括一種用于對圖像序列進(jìn)行編碼和解碼的系統(tǒng)，包括上述編碼設(shè)備和上述解碼設(shè)備。
【專利附圖】

【附圖說明】
[0019]現(xiàn)在將相對于附圖來詳細(xì)地描述本發(fā)明的實(shí)施例，在所述附圖中:
圖1示出了圖示出根據(jù)本發(fā)明的實(shí)施例的編碼方法的框圖；
圖2示出了圖示出根據(jù)本發(fā)明的實(shí)施例的解碼方法的框圖；
圖3示出了圖示出與現(xiàn)有技術(shù)方法相比較的根據(jù)本發(fā)明的實(shí)施例的編碼的質(zhì)量；以及 圖4是圖示出基于本發(fā)明的實(shí)施例的用于編碼和解碼的系統(tǒng)的框圖。
【具體實(shí)施方式】
[0020]下面，將相對于由CT設(shè)備所獲取的醫(yī)學(xué)圖像序列來描述本發(fā)明的實(shí)施例，其中，每個圖像是所謂的切片，表示人類組織中的一定體積的多個體素。該圖像序列是時間序列，使得相繼的圖像涉及人類組織中的相同位置，但是在不同的時間點(diǎn)被獲取。因此，圖像涉及像素的時間上接連的二維陣列。然而，本發(fā)明還可適用于像素的三維陣列和/或從人類組織獲取的空間上接連的切片的序列。
[0021]每個切片中的體素表示隨時間而移動的人類器官的組織強(qiáng)度，其中，由體素的各自像素值來表示該組織強(qiáng)度。在本發(fā)明的一個實(shí)施例中，基于本發(fā)明對示出用于人類心臟的生理肌肉組織的可形變運(yùn)動的心臟CT數(shù)據(jù)的時間序列進(jìn)行編碼。原則上，本發(fā)明對任意種類的數(shù)據(jù)是可適用的，其中圖像序列包括可形變運(yùn)動。與現(xiàn)有技術(shù)相反，本發(fā)明并不基于使用示出區(qū)塊從前一圖像中的哪個位置移位的運(yùn)動矢量的基于區(qū)塊的運(yùn)動補(bǔ)償。而是，定義一組參數(shù)來表示兩個時間上接連的圖像之間的組織形變。然后對這些參數(shù)進(jìn)行優(yōu)化以導(dǎo)致低能量預(yù)測誤差圖像。
[0022]為此，使用標(biāo)量場以便導(dǎo)出用于接連的切片之間的運(yùn)動補(bǔ)償?shù)某砻苓\(yùn)動矢量場。稠密運(yùn)動矢量場V(X) = (Vjs)A (x)f針對每個體素示出該序列的時間上接連的(第二)圖像的圖像函數(shù)S2(X)中的位置
【權(quán)利要求】
1.一種用于對數(shù)字圖像序列(S)進(jìn)行編碼的方法，每個圖像具有相同圖像格式且包括具有所分配的像素值的多個像素，其中，第一和第二圖像(I1、12)之間的運(yùn)動參數(shù)(MP)是確定的，其中，基于所述運(yùn)動參數(shù)(MP)，執(zhí)行運(yùn)動補(bǔ)償(MC)以便對所述圖像序列(S)進(jìn)行編碼，其中，所述運(yùn)動參數(shù)(MP )被包括在已編碼的圖像序列(CS )中， 其特征在于， 第一圖像(Il)與第二圖像(12)之間的運(yùn)動參數(shù)(MP)包括具有用于圖像格式中的多個圖像位置的標(biāo)量值的標(biāo)量場(#)，其中，所述標(biāo)量場(i?)被確定為使得從所述標(biāo)量場(J))導(dǎo)出的梯度矢量(MV)對應(yīng)于用于所述運(yùn)動補(bǔ)償(MC)的運(yùn)動矢量。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過搜索將第二圖像(12)的像素值與第一運(yùn)動補(bǔ)償圖像的像素值之間的殘余誤差最小化的標(biāo)量場(#)來確定所述標(biāo)量場(多)，其中，基于從所述標(biāo)量場φ導(dǎo)出的梯度矢量(MV)來確定所述第一運(yùn)動補(bǔ)償圖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，由所述第二和第一圖像(12、11)之間的絕對像素值差的和來表示所述殘余誤差，其中，每個絕對像素值差對應(yīng)于所述第二圖像(12)中的第二像素位置處的像素值與所述第一圖像(II)中的第一像素位置處的像素值之間的絕對差，所述第一像素位置對應(yīng)于由所述第二像素位置處的標(biāo)量場(^)的采樣版本的梯度矢量(MV)所補(bǔ)償?shù)牡诙袼匚恢谩?br> 4.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，所述標(biāo)量場(多)包括用于小于圖像格式中的像素的數(shù)目 的圖像位置的標(biāo)量值，其中，通過對所述標(biāo)量場ψ的上采樣版本進(jìn)行內(nèi)插來確定所述標(biāo)量場(/))的采樣版本。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，由窗口化正弦函數(shù)，特別是由Lanczos濾波器，來對上采樣版本進(jìn)行內(nèi)插。
6.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，由用于非線性最小二乘法問題的解算器，特別是由高斯-牛頓算法和/或Levenberg-Marquardt算法來確定所述標(biāo)量場(#)。
7.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，所述運(yùn)動參數(shù)(MP)經(jīng)受變換和/或數(shù)據(jù)壓縮，特別是離散余弦變換和/或Karhunen-Loeve變換和/或預(yù)測編碼和/或熵編碼。
8.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，為預(yù)測編碼而執(zhí)行所述運(yùn)動補(bǔ)償(MC)，其中，確定由從所述標(biāo)量場(^)導(dǎo)出的所述梯度矢量(MV)所補(bǔ)償?shù)乃龅诙D像(12)與第一圖像(Il)之間的殘余誤差(RE)，并優(yōu)選地使其經(jīng)受數(shù)據(jù)壓縮，特別是空間預(yù)測編碼和/或全圖像變換和/或熵編碼。
9.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，為運(yùn)動補(bǔ)償時間濾波而執(zhí)行所述運(yùn)動補(bǔ)償(MC)。
10.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，所述圖像序列(S)涉及時間上相繼的圖像或空間上相繼的圖像。
11.根據(jù)前述權(quán)利要求中的一項所述的方法，其特征在于，所述圖像序列(S)是已經(jīng)由醫(yī)學(xué)成像設(shè)備，特別是由CT設(shè)備和/或MRT設(shè)備所生成的。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述圖像序列(S)是人類或動物組織中，特別是包括人類或動物器官的組織中的切片的時間或空間序列。
13.一種用于對數(shù)字圖像序列(S)進(jìn)行編碼的設(shè)備，每個圖像具有相同圖像格式且包括具有所分配的像素值的多個像素，所述設(shè)備包括用于確定第一和第二圖像(I1、12)之間的運(yùn)動參數(shù)(MP)的裝置(M1)，所述運(yùn)動參數(shù)(MP)在裝置(M2)中被用于為了對所述圖像序列(S)進(jìn)行編碼而執(zhí)行的運(yùn)動補(bǔ)償(MC)，其中，所述運(yùn)動參數(shù)(MP)被包括在已編碼的圖像序列(CS)中， 其特征在于， 所述用于確定運(yùn)動參數(shù)(MP)的裝置(Ml)包括用于確定具有用于圖像格式中的多個圖像位置的標(biāo)量值的標(biāo)量場(/』)的裝置(M3)，其中，所述標(biāo)量場ψ被確定為使得從所述標(biāo)量場(^)導(dǎo)出的梯度矢量(MV)對應(yīng)于用于所述運(yùn)動補(bǔ)償(MC)的運(yùn)動矢量。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于，所述設(shè)備(COD)被布置用于執(zhí)行根據(jù)權(quán)利要求2至12中的一項所述的方法。
15.一種用于對由根據(jù)權(quán)利要求1至12中的一項的方法所編碼的數(shù)字圖像序列(CS)進(jìn)行解碼的方法， 其特征在于， 提取用于已編碼的圖像序列(CS)中的對應(yīng)的第一和第二圖像(I1、12)的一個或多個標(biāo)量場(#1)，并從每個提取的標(biāo)量場(J))導(dǎo)出梯度矢量(MV)，其中，基于導(dǎo)出的梯度矢量(MV)來執(zhí)行運(yùn)動補(bǔ)償(MC)，導(dǎo)致已解碼的圖像序列(S )。
16.一種用于對由根據(jù)權(quán)利要求1至12中的一項所述的方法所編碼的數(shù)字圖像序列進(jìn)行解碼的設(shè)備， 其特征在于， 所述設(shè)備包括用于提取用于已編碼的圖像序列(CS)中的對應(yīng)的第一和第二圖像(I1、12)的一個或多個標(biāo)量場(P)的裝置(M4)，用于從每個提取的標(biāo)量場(P)導(dǎo)出梯度矢量(MV)的裝置(M5)，和用于基于導(dǎo)出的梯度矢量(MV)來執(zhí)行運(yùn)動補(bǔ)償、導(dǎo)致已解碼的圖像序列(S)的裝置(MC)。
17.—種包括根據(jù)權(quán)利 要求13或14所述的設(shè)備和根據(jù)權(quán)利要求16所述的設(shè)備的用于對圖像序列(S)進(jìn)行編碼和解碼的系統(tǒng)。
【文檔編號】H04N19/51GK103688544SQ201280036836
【公開日】2014年3月26日 申請日期:2012年7月11日 優(yōu)先權(quán)日:2011年7月25日
【發(fā)明者】A.魏因利希, P.阿蒙, A.胡特, A.考普 申請人:西門子公司