處理圖像的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及領(lǐng)域圖像處理領(lǐng)域，并且更具體地，涉及處理圖像的方法和裝置。
【背景技術(shù)】
[0002] 視頻編碼，例如H. 264/AVC、H. 265/HEVC、AVS等視頻編碼標(biāo)準(zhǔn)，通常采用混合 編碼框架，主要包括預(yù)測(cè)（prediction)、變換（transform)、量化（quantization)、；)：商編 碼（entropycoding)等環(huán)節(jié)。視頻解碼是將碼流轉(zhuǎn)換為視頻圖像的過(guò)程，它包括熵解碼 (entropydecoding)、預(yù)測(cè)、反量化（dequantization)、反變換（inversetransform)等幾 個(gè)主要環(huán)節(jié)。首先，將碼流通過(guò)熵解碼處理解析出編碼模式信息和量化后的變換系數(shù)。然 后，一方面由編碼模式信息和已經(jīng)解碼的重建像素得出預(yù)測(cè)像素；另一方面將量化后的變 換系數(shù)通過(guò)反量化得到重建的變換系數(shù)，再對(duì)重建的變換系數(shù)進(jìn)行反變換，得到重建的殘 差信息。之后，將重建的殘差信息和預(yù)測(cè)像素相加，得到重建像素，從而恢復(fù)出視頻圖像。
[0003] 對(duì)于有損編碼，重建像素（reconstructedpixel)與原始像素（originalpixel) 可能是不相同的，兩者之間的數(shù)值差異稱為失真（distortion)。一般來(lái)說(shuō)，失真由量化引 起，量化參數(shù)（Quantizationparameter,QP)越大則失真越強(qiáng)，圖像變得模糊，總得來(lái)說(shuō)像 素質(zhì)量越差。
[0004] 基于知識(shí)庫(kù)的編碼是H. 264/AVC、H. 265/HEVC的一種擴(kuò)展。解碼端包含一個(gè)知識(shí) 庫(kù)，其中存儲(chǔ)了一些圖像（image)或/和圖像區(qū)域（imageregion)，稱之為圖樣（patch) 〇 知識(shí)庫(kù)中的圖像或圖樣可以來(lái)自當(dāng)前解碼視頻中已經(jīng)解碼的重建圖像，例如從已解碼的重 建圖像中提取一些代表性的圖像加入知識(shí)庫(kù)；知識(shí)庫(kù)中的圖像或圖樣也可以來(lái)自當(dāng)前解碼 視頻的重建圖像之外，例如由解碼其它視頻得到的重建圖像或圖樣，又例如解碼系統(tǒng)預(yù)先 存儲(chǔ)的包含多個(gè)圖像或圖樣，這些預(yù)先存儲(chǔ)的圖像或圖樣可以是沒(méi)有經(jīng)過(guò)編碼壓縮的原始 圖像。解碼當(dāng)前視頻時(shí)，可以利用知識(shí)庫(kù)中的像素信息。例如，解碼時(shí)利用到的預(yù)測(cè)像素信 息可以來(lái)自于知識(shí)庫(kù)中的像素信息。
[0005] 預(yù)測(cè)環(huán)節(jié)利用已編碼區(qū)域的重建像素產(chǎn)生當(dāng)前編碼塊對(duì)應(yīng)的原始像素的預(yù)測(cè)像 素（predictedpixel)。預(yù)測(cè)方式主要包括幀內(nèi)預(yù)測(cè)（intraprediction)和幀間預(yù)測(cè) (interprediction)兩大類。其中，幀內(nèi)編碼中的模版匹配（templatematching)和幀間 編碼中的解碼端運(yùn)動(dòng)矢量導(dǎo)出（decodersidemotionvectorderivation)技術(shù)需要利 用當(dāng)前解碼預(yù)測(cè)塊周圍的重建圖像模版區(qū)域（template)，在當(dāng)前幀中已重建區(qū)域或其它已 重建幀中搜索與當(dāng)前解碼塊模版區(qū)域差異最小的一個(gè)或多個(gè)最近鄰（nearestneighbor) 圖像，稱為匹配圖像。對(duì)于這兩類技術(shù)，怎樣評(píng)價(jià)模版區(qū)域圖像和匹配過(guò)程中的某個(gè)候選 模版區(qū)域圖像的圖像差異值（difference)或者在值域空間的距離（distance)是一個(gè)關(guān) 鍵問(wèn)題，直接決定了最終的搜索結(jié)果。傳統(tǒng)的兩個(gè)圖像之間的圖像差異值計(jì)算方法例如兩 圖像像素域的平方誤差和（SumofSquaredErrors,SSE)、絕對(duì)誤差和（SumofAbsolute Difference,SAD)、均方誤差（MeanSquaredError,MSE)、平均絕對(duì)差（MeanAbsolute Difference,MAD)，又例如兩圖像經(jīng)過(guò)Hadamard變換后的變換系數(shù)域的平均絕對(duì)差（Sumof AbsoluteTransformedDifference，SATD)。圖像差異值的計(jì)算問(wèn)題也在其它圖像搜索和 圖像融合處理中也起到了關(guān)鍵作用。傳統(tǒng)的圖像差異值計(jì)算方法會(huì)將高質(zhì)量圖像相對(duì)于低 質(zhì)量圖像的信號(hào)質(zhì)量提升錯(cuò)誤地認(rèn)為是兩個(gè)圖像之間的差異，利用兩個(gè)圖像像素域的平方 誤差和等傳統(tǒng)差異計(jì)算方法得到的差異較小的圖像很可能在視覺(jué)上并不相似，導(dǎo)致后續(xù)的 圖像處理結(jié)果不準(zhǔn)確。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例提供了一種處理圖像的方法和裝置，以提高圖像處理的準(zhǔn)確性。
[0007] 第一方面，提供一種處理圖像的方法，包括：對(duì)第一圖像進(jìn)行變換，得到第一變換 系數(shù)集；對(duì)第二圖像進(jìn)行所述變換，或者對(duì)第一圖像和第二圖像的差值圖像進(jìn)行所述變換， 得到第二變換系數(shù)集；根據(jù)所述第一變換系數(shù)集中的變換系數(shù)的幅度，從所述第一變換系 數(shù)集中選取第一組變換系數(shù)，其中，所述第一組變換系數(shù)中的變換系數(shù)的幅度滿足預(yù)設(shè)的 閾值條件；根據(jù)所述第一組變換系數(shù)和所述第二變換系數(shù)集，確定第一圖像和第二圖像之 間的圖像差異值；根據(jù)所述圖像差異值，對(duì)所述第一圖像和所述第二圖像進(jìn)行處理。
[0008] 結(jié)合第一方面，在第一方面的一種實(shí)現(xiàn)方式中，所述第二變換系數(shù)集是對(duì)所述第 二圖像進(jìn)行所述變換得到的變換系數(shù)集，所述根據(jù)所述第一組變換系數(shù)和所述第二變換系 數(shù)集，確定第一圖像和第二圖像之間的圖像差異值，包括：根據(jù)所述第一變換系數(shù)集與所述 第二變換系數(shù)集中變換系數(shù)的一一對(duì)應(yīng)關(guān)系，從所述第二變換系數(shù)集中選取與所述第一組 變換系數(shù)對(duì)應(yīng)的第二組變換系數(shù)；根據(jù)所述第一組變換系數(shù)和所述第二組變換系數(shù)，確定 所述圖像差異值。
[0009] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述第一組變換系數(shù)和所述第二組變換系數(shù)，確定所述圖像差異值，包括：確定所述 第一組變換系數(shù)和所述第二組變換系數(shù)中各對(duì)應(yīng)變換系數(shù)的差值；將所述各對(duì)應(yīng)變換系數(shù) 的差值之和確定為所述圖像差異值。
[0010] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述第一組變換系數(shù)和所述第二組變換系數(shù)均按照相同方式劃分為N個(gè)子組，所述根據(jù)所述 第一組變換系數(shù)和所述第二組變換系數(shù)，確定所述圖像差異值，包括：確定N個(gè)目標(biāo)值，其 中，所述N個(gè)目標(biāo)值中的第i目標(biāo)值為所述第一組變換系數(shù)中的第i子組與所述第二組變 換系數(shù)中的第i子組中各對(duì)應(yīng)變換系數(shù)的差值之和；根據(jù)所述N個(gè)子組的加權(quán)系數(shù)，對(duì)所述 N個(gè)目標(biāo)值進(jìn)行加權(quán)求和，得到所述圖像差異值。
[0011] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述第一組變換系數(shù)和所述第二組變換系數(shù)，確定所述圖像差異值，包括：確定第一 目標(biāo)值，其中，所述第一目標(biāo)值為所述第一組變換系數(shù)與所述第二組變換系數(shù)中各對(duì)應(yīng)變 換系數(shù)的差值之和；確定第二目標(biāo)值，其中，所述第二目標(biāo)值為所述第一變換系數(shù)集中除所 述第一組變換系數(shù)外的剩余變換系數(shù)與所述第二變換系數(shù)集中除所述第二組變換系數(shù)外 的剩余變換系數(shù)中各對(duì)應(yīng)變換系數(shù)的差值之和；根據(jù)所述第一目標(biāo)值和所述第二目標(biāo)值的 加權(quán)系數(shù)，對(duì)所述第一目標(biāo)值和所述第二目標(biāo)值進(jìn)行加權(quán)求和，得到所述圖像差異值。
[0012] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述第二變換系數(shù)集是對(duì)所述第一圖像和所述第二圖像的差值圖像進(jìn)行所述變換得到的變 換系數(shù)集，所述根據(jù)所述第一組變換系數(shù)和所述第二變換系數(shù)集，確定第一圖像和第二圖 像之間的圖像差異值，包括：根據(jù)所述第一變換系數(shù)集與所述第二變換系數(shù)集中變換系數(shù) 的一一對(duì)應(yīng)關(guān)系，從所述第二變換系數(shù)集中選取與所述第一組變換系數(shù)對(duì)應(yīng)的第二組變換 系數(shù)；根據(jù)所述第二組變換系數(shù)，確定所述圖像差異值。
[0013] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述第二組變換系數(shù)，確定所述圖像