專利名稱：視覺優(yōu)化量化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像/視頻處理的領(lǐng)域。更具體地講，本發(fā)明涉及用于更好的視覺質(zhì)量的視頻編碼中的優(yōu)化量化。
背景技術(shù)：
在數(shù)據(jù)壓縮(尤其是數(shù)字圖像的數(shù)字信息的壓縮)的領(lǐng)域中已進(jìn)行大量研究。數(shù)字圖像包括迅速增長(zhǎng)的由科學(xué)、商業(yè)、工業(yè)和政府存儲(chǔ)并傳送的數(shù)字信息的部分。數(shù)字圖像傳輸在非常先進(jìn)的電視系統(tǒng)(諸如，使用數(shù)字信息的高清晰度電視)中很重要。因?yàn)樾枰鄬?duì)較大數(shù)量的數(shù)字比特來代表數(shù)字圖像，所以在數(shù)字圖像的創(chuàng)建、傳輸和重新創(chuàng)建所涉及的計(jì)算機(jī)通信網(wǎng)絡(luò)的基礎(chǔ)設(shè)施上施加了很大負(fù)擔(dān)。由于這個(gè)原因，需要通過減少圖像自身的冗余和不可見圖像成分來把數(shù)字圖像壓縮為更少數(shù)量的比特。在與數(shù)字圖像壓縮有關(guān)的許多當(dāng)前和未來的國(guó)際標(biāo)準(zhǔn)中采用離散余弦變換，這些標(biāo)準(zhǔn)通常稱為JPEG和MPEG，它們分別是聯(lián)合圖像專家組和運(yùn)動(dòng)圖像專家組的首字母縮略詞。在像素塊經(jīng)受離散余弦變換(DCT)之后，通過閾值化和量化操作對(duì)所獲得的變換系數(shù)進(jìn)行壓縮。閾值化包括把其大小小于閾值的所有系數(shù)設(shè)置為等于零，而量化包括按照步長(zhǎng)大小縮放系數(shù)并四舍五入到最近的整數(shù)。通常，由量化矩陣中的條目確定每個(gè)DCT系數(shù)的量化。正是這個(gè)矩陣主要負(fù)責(zé)感知的圖像質(zhì)量和圖像的傳輸?shù)谋忍芈?。感知的圖像質(zhì)量很重要，因?yàn)槿祟愐曈X系統(tǒng)能夠容忍圖像的一定量的劣化而不會(huì)注意到可察覺的誤差。因此，某些圖像能夠以低比特率被傳輸，而其它圖像不能容忍任何劣化并且應(yīng)該以更高的比特率被傳輸以便保持它們的信息內(nèi)容。

發(fā)明內(nèi)容
在本文描述了視覺優(yōu)化量化。具體地講，視覺優(yōu)化量化用于任意的基于塊的變換，諸如依賴于模式的方向變換(MDDT)。壓縮方法包括下面的處理:進(jìn)行MDDT基函數(shù)的離散余弦變換，獲得頻率權(quán)重，并針對(duì)每個(gè)頻率分量計(jì)算對(duì)比靈敏度函數(shù)。通過誤差合并計(jì)算畸變的總體效應(yīng)，并且量化矩陣與該總體效應(yīng)成反比。在一個(gè)方面，一種執(zhí)行優(yōu)化量化的方法，所述優(yōu)化量化被編程到裝置的存儲(chǔ)器中，該方法包括:進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重；針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)；使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。在一些實(shí)施例中，所述任意塊變換是依賴于模式的方向變換。所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。使用閾值計(jì)算對(duì)比靈敏度函數(shù)。從包括下面各項(xiàng)的組選擇所述裝置:個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、計(jì)算機(jī)工作站、服務(wù)器、大型計(jì)算機(jī)、手持式計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩/移動(dòng)電話、智能家電、游戲控制臺(tái)、數(shù)字照相機(jī)、數(shù)字?jǐn)z錄機(jī)、照相機(jī)電話、iPhone、iPod 、視頻播放器、DVD記錄器/播放器、藍(lán)光 '記錄器/播放器、電視和家庭娛樂系統(tǒng)。在另一方面，一種用于執(zhí)行優(yōu)化量化的系統(tǒng)，所述優(yōu)化量化被編程到裝置的存儲(chǔ)器中，該系統(tǒng)包括:離散余弦變換模塊，用于進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重；對(duì)比靈敏度函數(shù)模塊，用于針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)；誤差合并模塊，用于使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及量化矩陣模塊，用于使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。在一些實(shí)施例中，所述任意塊變換是依賴于模式的方向變換。所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。使用閾值計(jì)算對(duì)比靈敏度函數(shù)。從包括下面各項(xiàng)的組選擇所述裝置:個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、計(jì)算機(jī)工作站、服務(wù)器、大型計(jì)算機(jī)、手持式計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩/移動(dòng)電話、智能家電、游戲控制臺(tái)、數(shù)字照相機(jī)、數(shù)字?jǐn)z錄機(jī)、照相機(jī)電話、iPhone、iPod 、視頻播放器、DVD記錄器/播放器、藍(lán)光,⑧記錄器/播放器、電視和家庭娛樂系統(tǒng)。在另一方面，一種照相機(jī)裝置，包括:圖像獲取部件，用于獲取圖像；處理部件，用于通過下述步驟處理圖像:進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重；針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)；使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣；和存儲(chǔ)器，用于存儲(chǔ)經(jīng)過處理的圖像。在一些實(shí)施例中，所述任意塊變換是依賴于模式的方向變換。所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。使用閾值計(jì)算對(duì)比靈敏度函數(shù)。在另一方面，一種編碼器，包括:幀內(nèi)編碼模塊，用于僅使用來自圖像的信息對(duì)該圖像編碼；幀間編碼模塊，用于使用來自以前重建的圖像的信息對(duì)圖像編碼；和在幀內(nèi)編碼或幀間編碼中，如果采用的塊變換不同于離散余弦變換，則應(yīng)用視覺優(yōu)化量化，包括用于下述步驟的量化部件:進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重；針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)；使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。在一些實(shí)施例中，所述任意塊變換是依賴于模式的方向變換。所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。使用閾值計(jì)算對(duì)比靈敏度函數(shù)。


圖1表示對(duì)數(shù)靈敏度與周期/度的曲線圖。圖2表示根據(jù)一些實(shí)施例的視覺優(yōu)化量化的方法的流程圖。圖3表示根據(jù)一些實(shí)施例的構(gòu)造為實(shí)現(xiàn)視覺優(yōu)化量化的示例性計(jì)算裝置的方框圖。圖4表示根據(jù)一些實(shí)施例的視頻編碼層的方框圖。
具體實(shí)施例方式對(duì)于下一代視頻編碼標(biāo)準(zhǔn)，除了 DCT之外還使用其它變換。對(duì)于這些下一代視頻編碼標(biāo)準(zhǔn)，存在另外的信息，這些另外的信息使DCT變?yōu)椴皇亲罴炎儞Q。例如，在高級(jí)視頻編碼(AVC)中，對(duì)于幀內(nèi)編碼，存在除了 DCT系數(shù)之外定義的8個(gè)預(yù)測(cè)方向。利用這種方向信息，DCT變換不是用于預(yù)測(cè)殘差的最好的變換。例如，一種更好的變換是依賴于模式的方向變換(MDDT)。對(duì)于每個(gè)方向，定義行變換和列變換?；贙arhunen Loeve變換(KLT)訓(xùn)練它們中的每一個(gè)。使用DCT實(shí)現(xiàn)的行變換和列變換也稱為2D DCT0在MDDT中，基于不同的塊大小和方向定義行變換和列變換。對(duì)于任意基函數(shù)/變換，能夠確定視覺優(yōu)化量化。最小可覺差(JustNoticeable Difference, JND)JND是在人眼可察覺到修改之前能夠?qū)D像或圖像的一部分進(jìn)行多少修改?；贘ND確定量化矩陣。JND模型包含下面的分量:亮度掩蔽、對(duì)比靈敏度函數(shù)(CSF)和誤差合并。關(guān)于亮度掩蔽，如果圖像較亮，則與較暗的圖像相比在可察覺到修改之前該圖像能夠被更多地修改。因此，JND對(duì)于較亮圖像而言較大并且對(duì)于較暗圖像而言較小。CSF是人眼對(duì)單一頻率分量的靈敏度。常規(guī)DCT/DWT量化基于此。通常，與高頻分量相比，人們對(duì)低頻分量更敏感。因此，JND在高頻分量較大并且在低頻分量較小。誤差合并是在多個(gè)頻帶/分量中的畸變的聯(lián)合效應(yīng)。與CSF不同，誤差合并考慮多個(gè)分量的組合而非單一分量。CSF 示例性ID CSF是對(duì)數(shù)-拋物線函數(shù):
權(quán)利要求
1.一種執(zhí)行優(yōu)化量化的方法，所述優(yōu)化量化被編程到裝置的存儲(chǔ)器中，該方法包括: a.進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重； b.針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)； c.使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及 d.使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。
2.如權(quán)利要求1所述的方法，其中所述任意塊變換是依賴于模式的方向變換。
3.如權(quán)利要求1所述的方法，其中所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。
4.如權(quán)利要求1所述的方法，其中所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。
5.如權(quán)利要求1所述的方法，其中所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。
6.如權(quán)利要求1所述的方法，其中使用閾值計(jì)算對(duì)比靈敏度函數(shù)。
7.如權(quán)利要求1所述的方法，其中從包括下面各項(xiàng)的組選擇所述裝置:個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、計(jì)算機(jī)工作站、服務(wù)器、大型計(jì)算機(jī)、手持式計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩/移動(dòng)電話、智能家電、游戲控制臺(tái)、數(shù)字照相機(jī)、數(shù)字?jǐn)z錄機(jī)、照相機(jī)電話、iPhone、iPod 、視頻播放器、DVD記錄器/播放器、藍(lán)光㊣記錄器/播放器、電視和家庭娛樂系統(tǒng)。
8.一種用于執(zhí)行優(yōu)化量化的系統(tǒng)，所述優(yōu)化量化被編程到裝置的存儲(chǔ)器中，該系統(tǒng)包 括: a.離散余弦變換模塊，用于進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重； b.對(duì)比靈敏度函數(shù)模塊，用于針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)； c.誤差合并模塊，用于使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及 d.量化矩陣模塊，用于使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。
9.如權(quán)利要求8所述的系統(tǒng)，其中所述任意塊變換是依賴于模式的方向變換。
10.如權(quán)利要求8所述的系統(tǒng)，其中所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。
11.如權(quán)利要求8所述的系統(tǒng)，其中所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。
12.如權(quán)利要求8所述的系統(tǒng)，其中所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。
13.如權(quán)利要求8所述的系統(tǒng)，其中使用閾值計(jì)算對(duì)比靈敏度函數(shù)。
14.如權(quán)利要求8所述的系統(tǒng)，其中從包括下面各項(xiàng)的組選擇所述裝置:個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、計(jì)算機(jī)工作站、服務(wù)器、大型計(jì)算機(jī)、手持式計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩/移動(dòng)電話、智能家電、游戲控制臺(tái)、數(shù)字照相機(jī)、數(shù)字?jǐn)z錄機(jī)、照相機(jī)電話、iPhone、iPod 、視頻播放器、DVD記錄器/播放器、藍(lán)光, 記錄器/播放器、電視和家庭娛樂系統(tǒng)。
15.一種照相機(jī)裝置，包括: a.圖像獲取部件，用于獲取圖像； b.處理部件，用于通過下述步驟處理圖像: · 1.進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重； .針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)； ii1.使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及 iv.使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣；和 c.存儲(chǔ)器，用于存儲(chǔ)經(jīng)過處理的圖像。
16.如權(quán)利要求15所述的照相機(jī)裝置，其中所述任意塊變換是依賴于模式的方向變換。
17.如權(quán)利要求15所述的照相機(jī)裝置，其中所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。
18.如權(quán)利要求15所述的照相機(jī)裝置，其中所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。
19.如權(quán)利要求15所述的照相機(jī)裝置，其中所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。
20.如權(quán)利要求15所述的照相機(jī)裝置，其中使用閾值計(jì)算對(duì)比靈敏度函數(shù)。
21.—種編碼器，包括: a.幀內(nèi)編碼模塊，用于僅使用來自圖像的信息對(duì)該圖像編碼； b.幀間編碼模塊，用于使用來自以前重建的圖像的信息對(duì)圖像編碼；和 c.在幀內(nèi)編碼或幀間編碼中，如果采用的塊變換不同于離散余弦變換，則應(yīng)用視覺優(yōu)化量化，包括用于下述步驟的量化部件: 1.進(jìn)行任意塊變換的基函數(shù)的離散余弦變換以確定頻率分量的頻率權(quán)重； i1.針對(duì)每個(gè)頻率分量計(jì)算各自的對(duì)比靈敏度函數(shù)； ii1.使用誤差合并計(jì)算頻率分量的畸變的總體效應(yīng)；以及 iv.使用誤差合并的總體效應(yīng)產(chǎn)生量化矩陣。
22.如權(quán)利要求21所述的編碼器，其中所述任意塊變換是依賴于模式的方向變換。
23.如權(quán)利要求21所述的編碼器，其中所述量化矩陣在圖像的壓縮期間被應(yīng)用于圖像。
24.如權(quán)利要求21所述的編碼器，其中所述對(duì)比靈敏度函數(shù)包括一維對(duì)比靈敏度函數(shù)。
25.如權(quán)利要求21所述的編碼器，其中所述對(duì)比靈敏度函數(shù)包括二維對(duì)比靈敏度函數(shù)。
26.如權(quán)利要求21所述的編碼器，其中使用閾值計(jì)算對(duì)比靈敏度函數(shù)。
全文摘要
在本文描述了視覺優(yōu)化量化。具體地講，視覺優(yōu)化量化用于任意的基于塊的變換，諸如模式相關(guān)方向變換(MDDT)。壓縮方法包括下面的處理進(jìn)行MDDT基函數(shù)的離散余弦變換，獲得頻率權(quán)重，并針對(duì)每個(gè)頻率分量計(jì)算對(duì)比靈敏度函數(shù)。通過誤差合并計(jì)算畸變的總體效應(yīng)，并且量化矩陣與該總體效應(yīng)成反比。
文檔編號(hào)G06K9/00GK103154970SQ201280003141
公開日2013年6月12日 申請(qǐng)日期2012年1月19日 優(yōu)先權(quán)日2011年2月28日
發(fā)明者劉煒, M·格哈拉維-艾爾克哈薩里, E·瑪阿尼 申請(qǐng)人:索尼公司