專利名稱：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理裝置和方法，具體而言涉及在高比特深度圖像的比特深度變換中使能高比特深度圖像的無(wú)損表示的圖像處理裝置和方法。
背景技術(shù)：
對(duì)于高比特深度圖像的編碼表示，已經(jīng)報(bào)告了大量的研究結(jié)果(例如，參見M. ffinken, D. Marpe, et al., " Bit-depth Scalable Video Coding " , Proc. IEEEInternational Conference on Image Processing" , pp. 1-5 to 1-7,2007,以及 Ito,Bandoh,Takamura,Kamikura,Yashima," A Study of Coding Method for High Bit DepthImage Using Bit Depth Transform" , The 2009IEICE General Conference, S-5,2009)。在M. ffinken等人的文章中，例如提出了一種兩階段編碼方法，該方法通過(guò)色調(diào)映射創(chuàng)建低比特深度圖像，然后利用另一編碼器對(duì)其解碼圖像與原始圖像之間的差異進(jìn)行編碼。 另外，在Ito等人的文章中，例如，研究了一種取代色調(diào)映射應(yīng)用羅依麥斯(Lloyd-Max)量化來(lái)在有損壓縮時(shí)實(shí)現(xiàn)比特率降低的方法。

發(fā)明內(nèi)容
然而，在上述方法中，解碼圖像與原始圖像之間的差異的比特?cái)?shù)目較大，這導(dǎo)致無(wú)法實(shí)現(xiàn)原始圖像的無(wú)損表示。鑒于上述情況，希望在高比特深度圖像的比特深度變換中實(shí)現(xiàn)高比特深度圖像的無(wú)損表不。根據(jù)本公開的實(shí)施例，提供了一種將比特深度為N的圖像變換成比特深度為M的高位層和剩余的低位層的圖像處理裝置，包括直方圖生成單元，該直方圖生成單元生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖；表格生成單元，該表格生成單元生成列出由直方圖生成單元生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格；重排序單元，該重排序單元利用由表格生成單元生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序；更新單元，該更新單元更新由表格生成單元生成的表格和經(jīng)重排序單元重排序的直方圖；以及索引圖像生成單元，該索引圖像生成單元利用經(jīng)更新單元更新的表格和直方圖生成比特深度為N的索引圖像。更新單元可通過(guò)對(duì)表格和直方圖中的值的排列進(jìn)行重排序以最小化當(dāng)具有N-M比特的低位層圖像被切除時(shí)的誤差，來(lái)更新表格和直方圖。圖像處理裝置還可包括劃分單元，該劃分單元將比特深度為N的圖像劃分成多個(gè)塊。直方圖生成單元可對(duì)由劃分單元?jiǎng)澐殖龅拿總€(gè)塊獨(dú)立地生成直方圖，表格生成單元可利用由直方圖生成單元生成的每個(gè)塊的直方圖，為每個(gè)塊獨(dú)立地生成表格，重排序單元可利用由表格生成單元生成的每個(gè)塊的表格，對(duì)每個(gè)塊的直方圖重排序，更新單元可更新每個(gè)塊的表格和經(jīng)重排序單元重排序的每個(gè)塊的直方圖，并且索引圖像生成單元可利用經(jīng)更新單元更新的每個(gè)塊的表格和每個(gè)塊的直方圖，為每個(gè)塊獨(dú)立地生成索引圖像。圖像處理裝置還可包括控制單元，該控制單元選擇比特深度變換的方法；以及羅依麥斯量化單元，該羅依麥斯量化單元按照羅依麥斯方法執(zhí)行量化?？刂茊卧蓮挠芍狈綀D生成單元生成的直方圖中檢測(cè)出現(xiàn)頻率等于或大于I的像素的數(shù)目X，并且當(dāng)滿足X >(2M-1)并且(N-M)彡P(guān)時(shí)，控制羅依麥斯量化單元按照羅依麥斯方法執(zhí)行比特深度變換，而在其他情況下控制表格生成單元、重排序單元、更新單元和索引圖像生成單元生成索引圖像。變量P的值可為2。根據(jù)本公開的另一實(shí)施例，提供了一種將比特深度為N的圖像變換成比特深度為M的高位層和剩余的低位層的圖像處理裝置的圖像處理方法，包括由直方圖生成單元生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖；由表格生成單元生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格；由重排序單元利用所生 成的表格對(duì)直方圖中的值的排列進(jìn)行重排序；由更新單元更新所生成的表格和經(jīng)重排序的直方圖；以及由索引圖像生成單元利用經(jīng)更新的表格和經(jīng)更新的直方圖生成比特深度為N的索引圖像。根據(jù)本公開的另一實(shí)施例，提供了一種圖像處理裝置，包括重建圖像生成單元，該重建圖像生成單元利用通過(guò)生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖、生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格、利用所生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序、更新所生成的表格和經(jīng)重排序的直方圖并且利用經(jīng)更新的表格和經(jīng)更新的直方圖而生成的比特深度為N的索引圖像、以及經(jīng)更新的表格，來(lái)重建比特深度為N的圖像；以及高位層圖像生成單元，該高位層圖像生成單元把比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像，并且利用比特深度為M的索引圖像和經(jīng)更新的表格來(lái)重建比特深度為N的圖像。重建圖像生成單元可利用每個(gè)塊的比特深度為N的索引圖像和每個(gè)塊的經(jīng)更新的表格來(lái)重建比特深度為N的塊圖像。高位層圖像生成單元可利用每個(gè)塊的比特深度為M的索引圖像和每個(gè)塊的經(jīng)更新的表格來(lái)重建比特深度為N的塊圖像。高位層圖像生成單元可從直方圖中檢測(cè)出現(xiàn)頻率等于或大于I的像素的數(shù)目X，并且當(dāng)滿足(2M-1)時(shí)，把比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像。根據(jù)本公開的另一實(shí)施例，提供了一種圖像處理裝置的圖像處理方法，包括由重建圖像生成單元利用通過(guò)生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖、生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格、利用所生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序、更新所生成的表格和經(jīng)重排序的直方圖并且利用經(jīng)更新的表格和經(jīng)更新的直方圖而生成的比特深度為N的索引圖像、以及經(jīng)更新的表格，來(lái)重建比特深度為N的圖像；以及由高位層圖像生成單元把比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像并且利用比特深度為M的索引圖像和經(jīng)更新的表格來(lái)重建比特深度為N的圖像。根據(jù)本公開的實(shí)施例，生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖，生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格，利用所生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序，更新所生成的表格和經(jīng)重排序的直方圖，并且利用經(jīng)更新的表格和經(jīng)更新的直方圖生成比特深度為N的索引圖像。根據(jù)本公開的另一實(shí)施例，利用通過(guò)生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖、生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格、利用所生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序、更新所生成的表格和經(jīng)重排序的直方圖并且利用經(jīng)更新的表格和經(jīng)更新的直方圖而生成的比特深度為N的索引圖像、以及經(jīng)更新的表格，來(lái)重建比特深度為N的圖像，并且把比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像，并且利用比特深度為M的索引圖像和經(jīng)更新的表格來(lái)重建比特深度為N的圖像。根據(jù)上述本公開的實(shí)施例，可以處理圖像。尤其，在高比特深度圖像的比特深度變 換中可以實(shí)現(xiàn)高比特深度圖像的無(wú)損表示。


圖I是示出比特深度變換裝置的典型配置示例的框圖；圖2是示出12比特圖像的整體直方圖的示例的示圖；圖3是示出12比特圖像的直方圖的部分放大的示例的示圖；圖4是用于說(shuō)明比特深度變換處理的流程的示例的流程圖；圖5是示出高比特深度圖像的像素值的示例的示圖；圖6是示出直方圖分布的示例的示圖；圖7是示出初始表格的示例的示圖；圖8是示出經(jīng)整理的直方圖的示例的示圖；圖9是示出H(k)的更新的示例的示圖；圖10是示出T(k)的更新的示例的示圖；圖11是用于說(shuō)明直方圖中H(k) = O的放置的靈活性的示圖；
圖12是用于說(shuō)明直方圖中H(k) = O的放置的靈活性的示圖；圖13是用于說(shuō)明獲得索引圖像的不例的不圖；圖14是用于說(shuō)明獲得索引圖像的不例的不圖；圖15是示出比特深度逆變換裝置的典型配置示例的框圖；圖16是用于說(shuō)明比特深度逆變換處理的流程的示例的流程圖；圖17是示出比特深度變換裝置的另一配置示例的框圖；圖18是用于說(shuō)明比特深度變換處理的流程的另一示例的流程圖；圖19是示出比特深度逆變換裝置的另一配置示例的框圖；圖20是用于說(shuō)明比特深度逆變換處理的流程的另一示例的流程圖；圖21是示出輸入圖像的示例的視圖；圖22是示出比特深度變換處理結(jié)果的示例的示圖；圖23是示出比特深度變換處理結(jié)果的另一示例的示圖；圖24是示出高位比特圖像的PSNR和重建的圖像的PSNR的示例的示圖；圖25是示出用于醫(yī)學(xué)圖像的表格的信息量的示例的示圖26是示出用于照片圖像的表格的信息量的示例的示圖；圖27是示出圖像處理裝置的典型配置示例的框圖；并且圖28是示出個(gè)人計(jì)算機(jī)的配置示例的框圖。
具體實(shí)施例方式以下，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說(shuō)明書和附圖中，用相同的標(biāo)號(hào)來(lái)指示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。以下描述用于實(shí)現(xiàn)本技術(shù)的模式(以下稱為“實(shí)施例”)。注意，說(shuō)明遵循下面給出的順序。
I.第一實(shí)施例(比特深度變換裝置)2.第二實(shí)施例(比特深度逆變換裝置)3.第三實(shí)施例(比特深度變換裝置)4.第四實(shí)施例(比特深度逆變換裝置)5.第五實(shí)施例(測(cè)試?yán)?6.第六實(shí)施例(圖像處理裝置)7.第七實(shí)施例(個(gè)人計(jì)算機(jī))〈I.第一實(shí)施例>[比特深度變換裝置]圖I是示出比特深度變換裝置的典型配置示例的框圖。圖I中所示的比特深度變換裝置是接收具有高比特深度的圖像(高比特深度圖像)作為輸入圖像并且生成能夠以無(wú)損方式(沒有損失地)表示該高比特深度圖像的索引圖像的圖像處理裝置。具體而言，比特深度變換裝置100實(shí)現(xiàn)兩層圖像表示，該兩層圖像表示將N比特HDR(高動(dòng)態(tài)范圍)圖像分成M比特(N>=N)的高位比特部分和低位差異信息。此方法的必要條件是具有以下特征。(A)以兩層表示圖像，并且即使當(dāng)僅利用第一層重建圖像時(shí)也實(shí)現(xiàn)高PSNR(B)當(dāng)獲得全部?jī)蓪拥男畔r(shí)，實(shí)現(xiàn)允許恢復(fù)原始HDR圖像的無(wú)損表示為了滿足以上兩個(gè)條件，比特深度變換裝置100注意了圖像的直方圖的偏移和圖像的稀疏性。圖像的直方圖一般在頻率上有偏移，而不是使用全部2N種亮度值。圖2示出了為具有12的比特深度的圖像生成的直方圖的示例。圖2是示出整體直方圖的示圖。圖3是圖2的部分放大。雖然當(dāng)參考圖2時(shí)看起來(lái)使用了所有亮度值，但如圖3所示實(shí)際上有未使用的亮度值。換言之，大多數(shù)圖像一般具有稀疏直方圖。考慮到這一點(diǎn)，比特深度變換裝置100利用圖像的偏移和稀疏性再次對(duì)整個(gè)圖像執(zhí)行映射。此處理是在條件(B)的約束內(nèi)執(zhí)行的，從而使得當(dāng)?shù)臀粚颖磺谐龝r(shí)誤差較小(條件(A))。應(yīng)當(dāng)注意，雖然在以下描述中，為了便于說(shuō)明，九比特以上的比特深度是高比特深度，但本技術(shù)不受比特深度量的限制。如圖I中所示，比特深度變換裝置100包括直方圖生成單元101、初始表格生成單元102、直方圖整理單元103、映射生成單元104以及索引圖像生成單元105。
[比特深度變換處理的流程]通過(guò)參考圖4的流程圖描述比特深度變換處理的流程的示例來(lái)描述比特深度變換裝置100的每個(gè)元件所執(zhí)行的處理。另外，也適當(dāng)?shù)貐⒖紙D5至14。首先，在具有等于N的比特深度的輸入圖像P (x，y)輸入時(shí)(圖I中的箭頭121)，直方圖生成單元101在步驟SlOl中生成(提取)輸入圖像P(x，y)中實(shí)際出現(xiàn)的像素值的直方圖Ih (η)。例如，當(dāng)輸入圖像P(x，y)的二維圖像具有如圖5中所示的值時(shí)，直方圖Ih(η)的分布如圖6中所示。在此示例的情況下，像素值0、2、8和13的出現(xiàn)頻率是零。一般地，高比特深度圖像具有像素值的多樣性較小的特征，即直方圖的分布在許多情況下是稀疏的。從而，在高比特深度圖像中，經(jīng)常有大量出現(xiàn)頻率為零的像素值。在步驟S102中，直方圖生成單元101獲得在步驟SlOl中生成的直方圖Ih(η)中出 現(xiàn)頻率不是零的像素值(以下也稱為“非零系數(shù)”)的數(shù)目UtX以下也稱為“非零數(shù)目”;在圖6的示例中Utl = 12)。另外，在步驟S103中，直方圖生成單元101獲得非零系數(shù)的位置nk(以下也稱為“非零位置”)(滿足Ih (η)古O的η的位置)。在獲得直方圖Ih (η)、非零數(shù)目Utl和非零位置nk之后，直方圖生成單元101將它們作為一集合(直方圖信息)提供給初始表格生成單元102和直方圖整理單元103(圖I中的箭頭122)。在步驟S104中，初始表格生成單元102利用從直方圖生成單元101提供來(lái)的直方圖信息生成初始表格T (k)。圖7示出了初始表格T (k)的示例。如圖7中所示,在初始表格T(k)中，從左起按順序排列了 Utl個(gè)非零系數(shù)，并且在此之后排列了零系數(shù)(出現(xiàn)頻率為零的像素值)。在此示例中，為了方便起見，第Utl位置處的值nk被連續(xù)顯示。就表明隨后的系數(shù)是零系數(shù)而言，這也是方便的。注意，初始表格T(k)可被表述為以下式子(I)。
權(quán)利要求
1.一種將比特深度為N的圖像變換成比特深度為M的高位層和剩余的低位層的圖像處理裝置，包括 直方圖生成單元，該直方圖生成單元生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖； 表格生成單元，該表格生成單元生成列出由所述直方圖生成單元生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格； 重排序單元，該重排序單元利用由所述表格生成單元生成的表格對(duì)所述直方圖中的值的排列進(jìn)行重排序； 更新單元，該更新單元更新由所述表格生成單元生成的表格和經(jīng)所述重排序單元重排序的直方圖；以及 索引圖像生成單元，該索引圖像生成單元利用經(jīng)所述更新單元更新的表格和直方圖生成比特深度為N的索引圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述更新單元通過(guò)對(duì)所述表格和所述直方圖中的值的排列進(jìn)行重排序以最小化當(dāng)具有N-M比特的低位層圖像被切除時(shí)的誤差，來(lái)更新所述表格和所述直方圖。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 劃分單元，該劃分單元將所述比特深度為N的圖像劃分成多個(gè)塊，其由 所述直方圖生成單元對(duì)由所述劃分單元?jiǎng)澐殖龅拿總€(gè)塊獨(dú)立地生成直方圖， 所述表格生成單元利用由所述直方圖生成單元生成的每個(gè)塊的直方圖，為每個(gè)塊獨(dú)立地生成表格， 所述重排序單元利用由所述表格生成單元生成的每個(gè)塊的表格，對(duì)每個(gè)塊的直方圖重排序， 所述更新單元更新每個(gè)塊的表格和經(jīng)所述重排序單元重排序的每個(gè)塊的直方圖，并且所述索引圖像生成單元利用經(jīng)所述更新單元更新的每個(gè)塊的表格和每個(gè)塊的直方圖，為每個(gè)塊獨(dú)立地生成索引圖像。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 控制單元，該控制單元選擇比特深度變換的方法；以及羅依麥斯量化單元，該羅依麥斯量化單元按照羅依麥斯方法執(zhí)行量化，其中所述控制單元從由所述直方圖生成單元生成的直方圖中檢測(cè)出現(xiàn)頻率等于或大于I的像素的數(shù)目X，并且當(dāng)滿足X > (/-1)并且(N-M)彡P(guān)時(shí)，控制所述羅依麥斯量化單元按照羅依麥斯方法執(zhí)行比特深度變換，并且在其他情況下控制所述表格生成單元、所述重排序單元、所述更新單元和所述索引圖像生成單元生成所述索引圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中變量P的值是2。
6.一種將比特深度為N的圖像變換成比特深度為M的高位層和剩余的低位層的圖像處理裝置的圖像處理方法，包括 由直方圖生成單元生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖； 由表格生成單元生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格； 由重排序單元利用所生成的表格對(duì)所述直方圖中的值的排列進(jìn)行重排序； 由更新單元更新所生成的表格和經(jīng)重排序的直方圖；以及由索引圖像生成單元利用經(jīng)更新的表格和經(jīng)更新的直方圖生成比特深度為N的索引圖像。
7.一種圖像處理裝置，包括 重建圖像生成單元，該重建圖像生成單元利用通過(guò)生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖、生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格、利用所生成的表格對(duì)所述直方圖中的值的排列進(jìn)行重排序、更新所生成的表格和經(jīng)重排序的直方圖并且利用經(jīng)更新的表格和經(jīng)更新的直方圖而生成的比特深度為N的索引圖像、以及所述經(jīng)更新的表格，來(lái)重建所述比特深度為N的圖像；以及 高位層圖像生成單元，該高位層圖像生成單元把所述比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像，并且利用所述比特深度為M的索引圖像和所述經(jīng)更新的表格來(lái)重建所述比特深度為N的圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述重建圖像生成單元利用每個(gè)塊的比特深度為N的索引圖像和每個(gè)塊的經(jīng)更新的表格來(lái)重建比特深度為N的塊圖像。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中 所述高位層圖像生成單元利用每個(gè)塊的比特深度為M的索引圖像和每個(gè)塊的經(jīng)更新的表格來(lái)重建比特深度為N的塊圖像。
10.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中 所述高位層圖像生成單元從所述直方圖中檢測(cè)出現(xiàn)頻率等于或大于I的像素的數(shù)目X，并且當(dāng)滿足(2M-1)時(shí)，把所述比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像。
11.一種圖像處理裝置的圖像處理方法，包括 由重建圖像生成單元利用通過(guò)生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖、生成列出所生成的直方圖中出現(xiàn)頻率等于或大于I的像素值的表格、利用所生成的表格對(duì)所述直方圖中的值的排列進(jìn)行重排序、更新所生成的表格和經(jīng)重排序的直方圖并且利用經(jīng)更新的表格和經(jīng)更新的直方圖而生成的比特深度為N的索引圖像、以及所述經(jīng)更新的表格，來(lái)重建所述比特深度為N的圖像；以及 由高位層圖像生成單元把所述比特深度為N的索引圖像分離成比特深度為M的高位層索引圖像和具有N-M比特的低位層索引圖像并且利用所述比特深度為M的索引圖像和所述經(jīng)更新的表格來(lái)重建所述比特深度為N的圖像。
全文摘要
本發(fā)明提供了圖像處理裝置和方法。提供了一種將比特深度為N的圖像變換成比特深度為M的高位層和剩余的低位層的圖像處理裝置，包括直方圖單元，生成指示比特深度為N的圖像的每個(gè)像素值的出現(xiàn)頻率的直方圖；表格單元，生成列出由直方圖單元生成的直方圖中出現(xiàn)頻率等于或大于1的像素值的表格；重排序單元，利用由表格單元生成的表格對(duì)直方圖中的值的排列進(jìn)行重排序；更新單元，更新由表格單元生成的表格和經(jīng)重排序單元重排序的直方圖；以及索引圖像單元，利用經(jīng)更新的表格和經(jīng)更新的直方圖生成比特深度為N的索引圖像。
文檔編號(hào)H04N7/26GK102819834SQ20121007582
公開日2012年12月12日 申請(qǐng)日期2012年3月19日 優(yōu)先權(quán)日2011年3月24日
發(fā)明者福原隆浩, 貴家仁志 申請(qǐng)人:索尼公司, 公立大學(xué)法人首都大學(xué)東京