專利名稱：圖像處理裝置及使用該圖像處理裝置的電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種如下的圖像處理裝置，S卩，通過對(duì)在使曝光量發(fā)生變化的同時(shí)所拍攝到的多張圖像進(jìn)行合成，從而生成過度曝光或曝光不足較少的、具有寬大的動(dòng)態(tài)范圍的圖像的圖像處理裝置。而且，本發(fā)明涉及對(duì)使用這種圖像處理裝置而生成的圖像進(jìn)行記錄的行駛記錄儀或攝像機(jī)等電子設(shè)備等。
背景技術(shù)：
例如，由于行駛記錄儀被用于，在發(fā)生了汽車事故時(shí)，對(duì)哪輛汽車的駕駛員存在過失等進(jìn)行證明的用途，因此需要記錄清晰的圖像。但是，在通過行駛記錄儀而在白天對(duì)隧道的出口附近進(jìn)行拍攝的情況下，如果曝光量較小，則隧道外的明亮的被拍攝物體將被清晰地拍攝，但隧道中的較暗的被拍攝物體將以亮度不足的方式而被拍攝(曝光不足)。另一方面，如果曝光量較大，則隧道中的較暗的被拍攝物體將被清晰地拍攝，但隧道外的明亮的被拍攝物體將以亮度飽和的方式而被拍攝(過度曝光)。因此，考慮到在行駛記錄儀中，使用高動(dòng)態(tài)范圍(也被稱為HDR:high dynamicrange、或者寬動(dòng)態(tài)范圍(WDR:wide dynamic range))合成。高動(dòng)態(tài)范圍合成是指如下的方法，即，通過在使曝光量變化的同時(shí)對(duì)多張圖像進(jìn)行拍攝，并對(duì)這些圖像進(jìn)行合成，從而生成過度曝光或曝光不足較少的、具有寬大的動(dòng)態(tài)范圍的圖像(HDR圖像)的方法(例如，參照專利文獻(xiàn)I及專利文獻(xiàn)2)。根據(jù)高動(dòng)態(tài)范圍合成，從而能夠在汽車行駛于隧道的出口附近的情況或逆光的情況下，獲得過度曝光或曝光不足較少的圖像。在現(xiàn)有技術(shù)中，通過將圖像數(shù)據(jù)臨時(shí)存儲(chǔ)于幀存儲(chǔ)器中，并在HDR圖像處理電路中對(duì)從幀存儲(chǔ)器中被讀取出的圖像數(shù)據(jù)進(jìn)行合成，從而生成HDR圖像，其中，所述圖像數(shù)據(jù)表示通過利用攝像元件而使曝光時(shí)間變化的同時(shí)進(jìn)行拍攝從而獲得的多張圖像。因此，存儲(chǔ)于幀存儲(chǔ)器中的圖像數(shù)據(jù)的量、以及、在HDR圖像處理電路與幀存儲(chǔ)器之間被傳送的圖像數(shù)據(jù)的傳送頻帶(位傳輸速率 )，對(duì)應(yīng)于曝光時(shí)間不同的圖像的張數(shù)而變大。作為關(guān)聯(lián)技術(shù)，在專利文獻(xiàn)3中公開了一種如下的物理信息獲取方法，該物理信息獲取方法能夠在具有動(dòng)態(tài)范圍擴(kuò)大處理功能的攝像裝置中，實(shí)現(xiàn)與通常時(shí)同等的幀速率和低消耗電力。該物理信息獲取方法在固體攝像元件中的、由在整個(gè)攝像范圍內(nèi)于垂直列方向上連續(xù)的多個(gè)行(水平列)構(gòu)成的區(qū)域內(nèi)，將垂直列方向分割成多個(gè)(例如三個(gè))區(qū)域，并將其中的一部分區(qū)域(例如區(qū)域B)作為有助于動(dòng)態(tài)范圍擴(kuò)大處理的有效區(qū)域而處理，并使用該區(qū)域B而在曝光時(shí)間不同的條件下，以與從整體的檢測(cè)區(qū)域中獲取處理對(duì)象信號(hào)時(shí)的處理速度相同的處理速度，獲得多個(gè)圖像信號(hào)。但是，根據(jù)專利文獻(xiàn)3，僅從固體攝像元件中的一部分檢測(cè)區(qū)域中獲取圖像信號(hào)。根據(jù)這種情況，為了實(shí)現(xiàn)HDR圖像的進(jìn)一步的動(dòng)態(tài)范圍擴(kuò)大、高分辨率化、或者高幀率化，而使在HDR圖像處理電路與幀存儲(chǔ)器之間被傳送的圖像數(shù)據(jù)的量或位傳輸速率達(dá)到瓶頸的可能性較大。如果為了解決這個(gè)問題，而增大幀存儲(chǔ)器的存儲(chǔ)容量、或者增高傳送時(shí)鐘信號(hào)的頻率、或者擴(kuò)大幀存儲(chǔ)器的總線的寬度，則會(huì)導(dǎo)致成本的增加等，由此難以實(shí)現(xiàn)上述改善項(xiàng)目。此外，在欲將HDR圖像處理電路與后序系統(tǒng)一起組裝進(jìn)系統(tǒng)級(jí)芯片(SOC)中的情況下，當(dāng)對(duì)HDR合成用的幀存儲(chǔ)器和后序系統(tǒng)的存儲(chǔ)器一體化時(shí)，也將產(chǎn)生關(guān)于存儲(chǔ)器容量或內(nèi)部總線頻帶的課題或制約。專利文獻(xiàn)1:日本特開2009-213032號(hào)公報(bào)(第0006-0012段落)專利文獻(xiàn)2:日本特開2007-329896號(hào)公報(bào)(第0004-0009段落)專利文獻(xiàn)3:日本特開2006-14117號(hào)公報(bào)(摘要)

發(fā)明內(nèi)容
根據(jù)本發(fā)明的幾個(gè)觀點(diǎn)，在實(shí)施HDR合成的圖像處理裝置中，能夠削減在存儲(chǔ)器與HDR圖像處理電路之間被傳送的圖像數(shù)據(jù)的量，并降低圖像數(shù)據(jù)的位傳輸速率，其中，所述存儲(chǔ)器對(duì)表示在使曝光量變化的同時(shí)所拍攝到的多張圖像的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)。本發(fā)明的一個(gè)觀點(diǎn)所涉及的圖像處理裝置具備:圖像數(shù)據(jù)獲取部，其獲取多個(gè)種類的圖像數(shù)據(jù)，多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像；壓縮電路，其在以按照多個(gè)顏色成分中的每一個(gè)的方式，而對(duì)通過圖像數(shù)據(jù)獲取部而獲取的至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置重新排列之后，再對(duì)該圖像數(shù)據(jù)進(jìn)行壓縮；存儲(chǔ)器，其對(duì)包含通過圖像數(shù)據(jù)獲取部而獲取、且通過壓縮電路而被壓縮的至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)，以針對(duì)各個(gè)種類的圖像數(shù)據(jù)而至少存儲(chǔ)與一幀相對(duì)應(yīng)的量的方式進(jìn)行存儲(chǔ)；展開電路，其對(duì)在從存儲(chǔ)器中所讀取的多個(gè)種類的圖像數(shù)據(jù)內(nèi)、被實(shí)施了壓縮的圖像數(shù)據(jù)進(jìn)行展開，并對(duì)所展開的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原；插補(bǔ)電路，其通過使用周圍像素的數(shù)據(jù)值，來對(duì)包含至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)中的各個(gè)像素實(shí)施插補(bǔ)運(yùn)算，從而輸出針對(duì)于各個(gè)像素而包含多個(gè)顏色成分的圖像數(shù)據(jù)，所述至少一個(gè)種類的圖像數(shù)據(jù)為，從存儲(chǔ)器中被讀取出、且通過展開電路而被展開及復(fù)原的圖像數(shù)據(jù)；動(dòng)態(tài)范圍擴(kuò)張電路，其通過對(duì)由插補(bǔ)電路輸出 的多個(gè)種類的圖像數(shù)據(jù)進(jìn)行合成，從而生成表示動(dòng)態(tài)范圍被擴(kuò)張了的一個(gè)彩色圖像的合成圖像數(shù)據(jù)。在此，也可以采用如下方式，S卩，通過圖像數(shù)據(jù)獲取部而獲取的圖像數(shù)據(jù)中的第奇數(shù)個(gè)行包含表示第一顏色成分的像素、和表示第二顏色成分的像素，該圖像數(shù)據(jù)中的第偶數(shù)個(gè)行包含表示第二顏色成分的像素、和表示第三顏色成分的像素，壓縮電路將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的多個(gè)行中所包含的像素的配置重新排列為，表示第一顏色成分的像素的列、表示第二顏色成分的像素的列、和表示第三顏色成分的像素的列。尤其是，也可以采用如下方式，S卩，壓縮電路將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的兩個(gè)行中所包含的像素的配置重新排列為，表示第一顏色成分的像素的一個(gè)列、表示第二顏色成分的像素的兩個(gè)列、和表示第三顏色成分的像素的一個(gè)列。在上文中，也可以采用如下方式，即，壓縮電路根據(jù)表示濾色器的信息的設(shè)定信號(hào)，而以按照多個(gè)顏色成分中的每一個(gè)的方式，將至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置重新排列，所述濾色器在生成由通過圖像數(shù)據(jù)獲取部而獲取的圖像數(shù)據(jù)所表示的圖像時(shí)被使用。本發(fā)明的一個(gè)觀點(diǎn)所涉及的電子設(shè)備具備:攝像部，其通過以不同的曝光量來對(duì)拍攝對(duì)象進(jìn)行拍攝，從而生成多個(gè)種類的圖像數(shù)據(jù)，所述多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像；本發(fā)明的任意一個(gè)觀點(diǎn)所涉及的圖像處理裝置，其被供給通過攝像部而生成的多個(gè)種類的圖像數(shù)據(jù)。根據(jù)本發(fā)明的一個(gè)觀點(diǎn)，通過在以按照多個(gè)顏色成分中的每一個(gè)的方式，而將由圖像數(shù)據(jù)獲取部獲取的至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置重新排列之后，再對(duì)該圖像數(shù)據(jù)進(jìn)行壓縮，并將被實(shí)施了壓縮的圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器中，從而能夠削減在HDR圖像處理電路與存儲(chǔ)器之間被傳送的圖像數(shù)據(jù)的量，并降低圖像數(shù)據(jù)的位傳輸速率。


圖1為表示使用了第一實(shí)施方式所涉及的圖像處理裝置的電子設(shè)備的框圖。圖2為用于對(duì)二維圖像傳感器的動(dòng)作進(jìn)行說明的圖。圖3為表示圖1所示的攝像部中的濾色器的配置示例的圖。圖4為表示圖1所示的壓縮電路及展開電路的結(jié)構(gòu)示例的框圖。圖5為用于對(duì)像素的配置的重新排列的第一示例進(jìn)行說明的圖。圖6為用于對(duì)像素的配置的重新排列的第二示例進(jìn)行說明的圖。圖7為表示圖1所示的動(dòng)態(tài)范圍擴(kuò)張電路的結(jié)構(gòu)示例的框圖。圖8為表示在曝光時(shí)間不同的圖像中構(gòu)成橙色的顏色成分的圖。圖9為用于對(duì)圖像合成處理的第一示例進(jìn)行說明的圖。
`
圖10為表示合成圖像數(shù)據(jù)中的原來的圖像數(shù)據(jù)的混合比例的示例的圖。圖11為表示由行駛記錄儀拍攝到的圖像的示例的圖。圖12為表示使用了第二實(shí)施方式所涉及的圖像處理裝置的電子設(shè)備的框圖。
具體實(shí)施例方式以下，參照附圖，對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說明。另外，對(duì)相同的結(jié)構(gòu)要素標(biāo)記相同的參照符號(hào)，并省略重復(fù)的說明。圖1為表示使用了本發(fā)明的第一實(shí)施方式所涉及的圖像處理裝置的電子設(shè)備的結(jié)構(gòu)示例的框圖。根據(jù)本發(fā)明的第一實(shí)施方式，能夠?qū)崿F(xiàn)對(duì)通過圖像處理裝置而生成的HDR圖像進(jìn)行記錄的行駛記錄儀或攝像機(jī)等電子設(shè)備。如圖1所示，該電子設(shè)備包括攝像部10、HDR圖像處理電路20、幀存儲(chǔ)器30和動(dòng)態(tài)圖像處理電路40。在此，至少HDR圖像處理電路20和幀存儲(chǔ)器30構(gòu)成了圖像處理裝置。此外，HDR圖像處理電路20、幀存儲(chǔ)器30和動(dòng)態(tài)圖像處理電路40既可以通過一個(gè)半導(dǎo)體集成電路(IC)而構(gòu)成，也可以分別通過單獨(dú)的半導(dǎo)體集成電路而構(gòu)成。攝像部10包括使用了 CO) (Charge Coupled Device:電荷稱合裝置)等攝像元件的二維圖像傳感器，并以不同的曝光量而對(duì)拍攝對(duì)象(被拍攝物體)進(jìn)行拍攝。由此，攝像部10生成多個(gè)種類的圖像數(shù)據(jù)，所述多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像。在下文中，對(duì)如下情況進(jìn)行說明，S卩，通過在二維圖像傳感器中使用(XD，并以不同的曝光時(shí)間Tl、T2、T3來對(duì)拍攝對(duì)象進(jìn)行拍攝，從而生成圖像數(shù)據(jù)A、B、C的情況。由圖像數(shù)據(jù)A表示的圖像的曝光時(shí)間Tl、由圖像數(shù)據(jù)B表示的圖像的曝光時(shí)間T2、和由圖像數(shù)據(jù)C表示的圖像的曝光時(shí)間Τ3滿足Tl <Τ2<Τ3的關(guān)系，例如，設(shè)定為Tl: Τ2: Τ3 = 2:
3: 6。在此，將獲得中間的曝光量的曝光時(shí)間Τ2設(shè)定為標(biāo)準(zhǔn)曝光時(shí)間，將以標(biāo)準(zhǔn)曝光時(shí)間拍攝到的拍攝對(duì)象的圖像設(shè)定為標(biāo)準(zhǔn)圖像。另外，在通過以四種以上的曝光量對(duì)拍攝對(duì)象進(jìn)行拍攝從而獲得四個(gè)以上的圖像的情況下，只需從以最小的曝光量而拍攝到的圖像、及以最大的曝光量而拍攝到的圖像以外的圖像中，選擇一個(gè)圖像作為標(biāo)準(zhǔn)圖像即可。圖2為用于對(duì)二維圖像傳感器以不同的曝光時(shí)間對(duì)拍攝對(duì)象進(jìn)行拍攝的動(dòng)作進(jìn)行說明的圖。在包含CCDlOla在內(nèi)的二維圖像傳感器101的曝光區(qū)域內(nèi)，為了讀取積存于CXDlOla中的電荷而設(shè)置有三個(gè)讀取行L1、L2、L3。CXDlOla在圖中所示的掃描方向上被反復(fù)掃描，從而積存于CCDlOla中的電荷被讀取。從讀取行LI L3讀取出的電荷經(jīng)由未圖示的AFE (Analog Front End:模擬前端)而被輸入至A/D轉(zhuǎn)換部中，并被轉(zhuǎn)換為圖像數(shù)據(jù)。讀取行LI為，為了讀取最少的被積蓄于CCD中的電荷而被使用的讀取行。根據(jù)從讀取行LI讀取出的電荷，而生成表示曝光時(shí)間最短的圖像的圖像數(shù)據(jù)A。此外，根據(jù)從讀取行L2讀取出的電荷，而生成表示基于標(biāo)準(zhǔn)曝光時(shí)間的標(biāo)準(zhǔn)圖像的圖像數(shù)據(jù)(標(biāo)準(zhǔn)圖像數(shù)據(jù))B。另外，從讀取行LI及L2的讀取均為不伴隨有重置的非破壞讀取。讀取行L3為，為了讀取最多的被積蓄于CXD中的電荷、且對(duì)CXD進(jìn)行重置而被使用的讀取行。伴隨有重置的讀取也被稱為破壞讀取。根據(jù)從讀取行L3讀取出的電荷，而生成表示曝光時(shí)間最長(zhǎng)的圖像的圖像數(shù)據(jù)C。

在一次拍攝中，分別獨(dú)立地執(zhí)行從讀取行LI的非破壞讀取、從讀取行L2的非破壞讀取、和從讀取行L3的破壞讀取。這種讀取時(shí)刻的控制通過電子快門功能而被實(shí)現(xiàn)。但是，本發(fā)明并不限定于這種結(jié)構(gòu)，也可以采用對(duì)攝像部的光闌進(jìn)行控制從而改變曝光量的方式。但是，為了使用二維圖像傳感器來實(shí)施彩色拍攝，而需要通過濾色器來將光分解為三原色。一般情況下，通過將濾色器設(shè)定為拜耳(Bayer)型像素配置，從而實(shí)現(xiàn)了對(duì)總像素?cái)?shù)的削減，其中，所述濾色器被配置在二維圖像傳感器中所包含的多個(gè)攝像元件(像素)中。圖1所示的攝像部10的濾色器也按照拜耳型像素配置而被配置。S卩，二維圖像傳感器的第奇數(shù)個(gè)行中交替地包括:接受使第一顏色成分透過的濾色器的透射光的元件、和接受使第二顏色成分透過的濾色器的透射光的元件。此外，二維圖像傳感器的第偶數(shù)個(gè)行中交替地包括:接受使第二顏色成分透過的濾色器的透射光的元件、和接受使第三顏色成分透過的濾色器的透射光的元件。圖3為表示圖1所示的攝像部中的濾色器的配置示例的圖。在該示例中，將第一顏色成分設(shè)定為藍(lán)色(B)，將第二顏色成分設(shè)定為綠色(G)，并將第三顏色成分設(shè)定為紅色(R)。在該情況下，對(duì)于二維圖像傳感器的總像素?cái)?shù)N而言，綠色(G)的分辨率為N/2，藍(lán)色
(B)或紅色(R)的分辨率為N/4。在此，將綠色(G)的像素設(shè)置為藍(lán)色(B)或紅色(R)的像素的兩倍的原因在于，人眼的光譜靈敏度以綠色附近為峰值，并且提高綠色的分辨率會(huì)使外觀上的分辨率得到提高。由此，在通過圖1所示的攝像部10而生成的圖像數(shù)據(jù)中，第奇數(shù)個(gè)行中交替地包含表示第一顏色成分的像素、和表示第二顏色成分的像素。此外，第偶數(shù)個(gè)行中交替地包含表示第二顏色成分的像素、和表示第三顏色成分的像素。如此，通過攝像部10而生成的圖像數(shù)據(jù)針對(duì)于各個(gè)像素而包含單一的顏色成分。該圖像數(shù)據(jù)作為RAW數(shù)據(jù)(原始數(shù)據(jù))，而以行為單位被供給至HDR圖像處理電路20。HDR圖像處理電路20通過將由攝像部10供給的多個(gè)種類的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)于幀存儲(chǔ)器30中，并對(duì)從幀存儲(chǔ)器30中讀取出的多個(gè)種類的圖像數(shù)據(jù)進(jìn)行合成，從而生成合成圖像數(shù)據(jù)(HDR圖像數(shù)據(jù))，所述合成圖像數(shù)據(jù)表示動(dòng)態(tài)范圍被擴(kuò)張了的一個(gè)彩色圖像。如圖1所示，HDR圖像處理電路20包括圖像數(shù)據(jù)獲取部21、壓縮電路22、幀存儲(chǔ)器控制電路23、展開電路24、插補(bǔ)電路25、和動(dòng)態(tài)范圍擴(kuò)張電路26。圖像數(shù)據(jù)獲取部21從攝像部10獲取多個(gè)種類的圖像數(shù)據(jù)，所述多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像。例如，假設(shè)根據(jù)從攝像部10輸出的10位的RAW數(shù)據(jù)(曝光時(shí)間T1、T2、T3)，而生成每秒30幀的HDR圖像。在二維圖像傳感器為VGA尺寸(水平640像素、垂直480像素)時(shí)，為了同時(shí)實(shí)施對(duì)圖像數(shù)據(jù)的寫入及讀取，而需要640X480X10X3X30X2 + 8 =大約69Μ字節(jié)/秒的傳輸速率。實(shí)際上，由于還獲取未被利用于HDR圖像的生成的圖像數(shù)據(jù)、作為曝光前的初始值的與一幀相對(duì)應(yīng)的量的圖像數(shù)據(jù)，因此傳輸速率有時(shí)會(huì)達(dá)到大約100Μ字節(jié)/秒。在二維圖像傳感 器為全高清尺寸(水平1920像素、垂直1080像素)時(shí)，通過簡(jiǎn)單計(jì)算，需要大約467Μ字節(jié)/秒的傳輸速率，而根據(jù)實(shí)現(xiàn)方法，則需要大約630Μ字節(jié)/秒的傳輸速率。該大約467Μ字節(jié)/秒 大約630Μ字節(jié)/秒的傳輸速率為，幾乎用盡一般的32位總線寬度的SDR (單數(shù)據(jù)速率)-SDRAM、或16位總線寬度的DDR (雙倍數(shù)據(jù)速率)-SDRAM的理想的有效頻帶、或者超過該理想的有效頻帶的傳輸速率。此外，數(shù)據(jù)容量也達(dá)到大約16Μ字節(jié) 大約21Μ字節(jié)。因此，在本實(shí)施方式中，設(shè)置有壓縮電路22，在將通過圖像數(shù)據(jù)獲取部21而獲取的多個(gè)種類的圖像數(shù)據(jù)存儲(chǔ)于幀存儲(chǔ)器30中之前，所述壓縮電路22對(duì)至少一個(gè)種類的圖像數(shù)據(jù)進(jìn)行壓縮。由于圖像數(shù)據(jù)以行為單位而從攝像部10被供給至圖像數(shù)據(jù)獲取部21，因此，作為壓縮電路22中的壓縮方式，適用以一行或兩行為單位而結(jié)束的算法。其原因在于，為了以JPEG (Joint Photographic Experts Group:聯(lián)合圖像專家組)的方式對(duì)二維狀(8X8像素)的圖像數(shù)據(jù)進(jìn)行壓縮，而需要用于對(duì)幾行量的圖像數(shù)據(jù)進(jìn)行保持的緩沖存儲(chǔ)器。此外，由于攝像部10的濾色器被設(shè)定為拜耳型像素配置，因此，相鄰的像素的RAW數(shù)據(jù)是基于透過了不同顏色的濾色器的光的光量的，從而鄰接的像素中的數(shù)據(jù)值的連續(xù)性較為缺乏。因此，對(duì)于對(duì)各個(gè)像素實(shí)施插補(bǔ)運(yùn)算之前的RAW數(shù)據(jù)而言，不適用利用了鄰接的像素中的數(shù)據(jù)值的連續(xù)性的、一般的圖像壓縮算法。因此，壓縮電路22在以按照多個(gè)顏色成分中的每一個(gè)的方式，而將通過圖像數(shù)據(jù)獲取部21而獲取的多個(gè)種類的圖像數(shù)據(jù)內(nèi)的至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行重新排列之后，再對(duì)該圖像數(shù)據(jù)進(jìn)行壓縮并將其存儲(chǔ)于幀存儲(chǔ)器30中。與此相對(duì)應(yīng)，展開電路24對(duì)在從幀存儲(chǔ)器30中被讀取出的多個(gè)種類的圖像數(shù)據(jù)內(nèi)、被實(shí)施了壓縮了圖像數(shù)據(jù)進(jìn)行展開，并對(duì)被展開的圖像數(shù)據(jù)中、包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原。
圖4為表示圖1所示的壓縮電路及展開電路的結(jié)構(gòu)示例的框圖。如圖4所示,壓縮電路22包括重新排列電路220、和行壓縮電路221 223。重新排列電路220將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的多個(gè)行中所包含的像素的配置重新排列為，表示第一顏色成分的像素的列、表示第二顏色成分的像素的列、和表示第三顏色成分的像素的列。例如，重新排列電路220通過根據(jù)表示濾色器的信息的設(shè)定信號(hào)，而將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的兩個(gè)行中所包含的像素的配置重新排列為，表示綠色(G)的像素的列、表示藍(lán)色(B)的像素的列、和表示紅色(R)的像素的列，從而輸出G數(shù)據(jù)、B數(shù)據(jù)和R數(shù)據(jù)，其中，所述濾色器在生成通過圖像數(shù)據(jù)獲取部21而獲取的RAW數(shù)據(jù)時(shí)被使用。行壓縮電路221 223以行為單位而分別對(duì)從重新排列電路220輸出的G數(shù)據(jù)、B數(shù)據(jù)、R數(shù)據(jù)進(jìn)行壓縮。幀存儲(chǔ)器控制電路23將幀存儲(chǔ)器30 (圖1)控制為，對(duì)包含通過壓縮電路22而被壓縮的至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)，以針對(duì)于各個(gè)種類的圖像數(shù)據(jù)而至少存儲(chǔ)與一幀相對(duì)應(yīng)的量的方式進(jìn)行存儲(chǔ)。另外，對(duì)于未壓縮的圖像數(shù)據(jù)，壓縮電路22直接輸出通過圖像數(shù)據(jù)獲取部21而獲取的圖像數(shù)據(jù)。例如，壓縮電路22對(duì)圖像數(shù)據(jù)A、B、C進(jìn)行壓縮，所述圖像數(shù)據(jù)A、B、C分別表示以曝光時(shí)間T1、T2、T3來拍攝拍攝對(duì)象而生成的三個(gè)彩色圖像。幀存儲(chǔ)器30將被實(shí)施了壓縮的圖像數(shù)據(jù)A、B、C分別存儲(chǔ)于各自的存儲(chǔ)區(qū)域30A、30B、30C中。另一方面，例如在未對(duì)標(biāo)準(zhǔn)圖像數(shù)據(jù)B實(shí)施壓縮的情況下，幀存儲(chǔ)器30將被實(shí)施了壓縮的圖像數(shù)據(jù)A及C存儲(chǔ)于各自的存儲(chǔ)區(qū)域30A及30C中，并將未被壓縮的圖像數(shù)據(jù)B存儲(chǔ)于存儲(chǔ)區(qū)域30B中。此外，幀存儲(chǔ)器控制電路23從幀存儲(chǔ)器30中讀取多個(gè)種類的圖像數(shù)據(jù)并向展開電路24供給。展開電路24對(duì)在從幀存儲(chǔ)器30中讀取出的多個(gè)種類的圖像數(shù)據(jù)內(nèi)、被實(shí)施了壓縮的圖像數(shù)據(jù)進(jìn)行展開。而且，展開電路24通過對(duì)被實(shí)施了展開的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原，從而輸出與RAW數(shù)據(jù)相同或與RAW數(shù)據(jù)大致相等的復(fù)原數(shù)據(jù)。另外，對(duì)于未被壓縮 的圖像數(shù)據(jù)，展開電路24直接輸出從幀存儲(chǔ)器30中讀取的圖像數(shù)據(jù)。如圖4所示，展開電路24包括復(fù)原電路240、行展開電路241 243。行展開電路241 243以行為單位而分別對(duì)由幀存儲(chǔ)器控制電路23輸出的G數(shù)據(jù)、B數(shù)據(jù)、R數(shù)據(jù)進(jìn)行展開。復(fù)原電路240對(duì)通過行展開電路241 243而被實(shí)施了展開的G數(shù)據(jù)、B數(shù)據(jù)、R數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原。例如，復(fù)原電路240根據(jù)表示濾色器的信息的設(shè)定信號(hào)，而對(duì)被包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原，其中，所述濾色器在生成通過圖像數(shù)據(jù)獲取部21而獲取的RAW數(shù)據(jù)時(shí)被使用。圖5為，用于對(duì)圖像數(shù)據(jù)中被包含于多個(gè)行中的像素的配置的重新排列的、第一示例進(jìn)行說明的圖。圖5 (a)圖示了 RAW數(shù)據(jù)中被包含于第奇數(shù)個(gè)行及第偶數(shù)個(gè)行中的像素的配置，圖5 (b)圖示了重新排列后的圖像數(shù)據(jù)中的像素的配置。如圖5 (a)所示，在RAW數(shù)據(jù)中，第奇數(shù)個(gè)行中交替地包含表示藍(lán)色(B)的像素B0、B1、B2、…、Bn，和表示綠色(G)的像素G1、G3、G5、...、G (2n + I)。此外，第偶數(shù)個(gè)行中交替地包含表示綠色(G)的像素GO、G2、G4、...、G (2n)，和表示紅色(R)的像素R0、Rl、R2、…、Rn ο通過對(duì)RAW數(shù)據(jù)中被包含于第奇數(shù)個(gè)行及第偶數(shù)個(gè)行中的像素的配置進(jìn)行重新排列，從而獲得了如圖5 (b)所示的像素的配置。在重新排列后的圖像數(shù)據(jù)中，第一行包含表示綠色(G)的像素GO、Gl、G2、…、G(2n)、G (2n + 1)，第二行包含表示藍(lán)色(B)的像素B0、B1、B2、…、Bn，第三行包含表示紅色(R)的像素RO、Rl、R2、...、Rn。如此，在第一示例中，行數(shù)從兩行增加到三行，并且第一行中所包含的表示綠色(G)的像素?cái)?shù)成為,第二行或第三行中所包含的表示藍(lán)色(B)或紅色(R)的像素?cái)?shù)的兩倍。圖6為，用于對(duì)圖像數(shù)據(jù)中被包含于多個(gè)行中的像素的配置的重新排列的、第二示例進(jìn)行說明的圖。圖6 (a)圖示了 RAW數(shù)據(jù)中被包含于第奇數(shù)個(gè)行及第偶數(shù)個(gè)行中的像素的配置，圖6 (b)圖示了重新排列后的圖像數(shù)據(jù)中的像素的配置。如圖6 (a)所示，在RAW數(shù)據(jù)中，第奇數(shù)個(gè)行中交替地包含表示藍(lán)色(B)的像素B0、B1、B2、…、Bn，和表示綠色(G)的像素G1、G3、G5、...、G (2n + I)。此外，第偶數(shù)個(gè)行中交替地包含表示綠色(G)的像素GO、G2、G4、...、G (2n)，和表示紅色(R)的像素R0、Rl、R2、…、Rn ο通過對(duì)RAW數(shù)據(jù)中被包含于第奇數(shù)個(gè)行及第偶數(shù)個(gè)行中的像素的配置進(jìn)行重新排列，從而獲得了如圖6(b)所示的像素的配置。在被包含于第奇數(shù)個(gè)行中的像素的配置的重新排列中，第一行包含表示綠色(G)的像素G1、G3、G5、…、G (2n + 1)，第二行包含表示藍(lán)色(B)的像素B0、B1、B2、…、Bn。此外，在被包含于第偶數(shù)個(gè)行中的像素的配置的重新排列中，第三行包含表示綠色(G)的像素GO、G2、G4、…、G (2n)，第四行包含表示紅色(R)的像素R0、R1、R2、…、Rn。如此，在第二示例中，行數(shù)從兩行增加到四行，并且被包含于各行中的像素?cái)?shù)變得相等。如在以上所說明的那樣，通過在以按照濾色器的每種顏色的方式而對(duì)像素進(jìn)行重新排列之后，再對(duì)圖像數(shù)據(jù)進(jìn)行壓縮，從而能夠確保鄰接的像素中的數(shù)據(jù)值的連續(xù)性，其中，所述濾色器在生成圖像時(shí)被使用。因此，能夠?qū)崿F(xiàn)更高效率的數(shù)據(jù)壓縮，以及/或者降低壓縮及展開對(duì)畫質(zhì)的影響。此外，通過對(duì)幀存儲(chǔ)器控制電路23與幀存儲(chǔ)器30之間的傳送頻帶(位傳輸速率)進(jìn)行控制，從而能夠抑制成本的增大等，且實(shí)現(xiàn)HDR圖像的進(jìn)一步的動(dòng)態(tài)范圍擴(kuò)大、高分辨率化、或高幀率化。在圖4所示的行壓縮電路221 223對(duì)圖像數(shù)據(jù)的壓縮中，能夠利用在一行或兩行內(nèi)連續(xù)的多個(gè)像素的數(shù)據(jù)值的連續(xù)性。例如，作為行壓縮電路221 223中的圖像數(shù)據(jù)的壓縮方式，能夠使用日本特開2007-181051號(hào)公報(bào)中所記載的圖像編碼裝置及方法。在下文中，對(duì)其內(nèi)容進(jìn)行簡(jiǎn)單說明。該圖像編碼裝置包括:有損編碼部，其在有損模式下，以成為規(guī)定壓縮率的定長(zhǎng)碼，來表現(xiàn)編碼對(duì)象像素的像素?cái)?shù)據(jù)并對(duì)編碼對(duì)象像素的像素?cái)?shù)據(jù)進(jìn)行編碼；無損編碼部，其在無損模式下，在編碼對(duì)象像素的像素?cái)?shù)據(jù)的壓縮率成為高于規(guī)定壓縮率的壓縮率時(shí)，使相對(duì)于定長(zhǎng)碼的冗余碼冗余，并對(duì)編碼對(duì)象像素的像素?cái)?shù)據(jù)進(jìn)行編碼，而在編碼對(duì)象像素的像素?cái)?shù)據(jù)的壓縮率成為低于規(guī)定壓縮率的壓縮率時(shí)，消耗被追加于定長(zhǎng)碼中的冗余碼，并對(duì)編碼對(duì)象像素的像素?cái)?shù)據(jù)進(jìn)行編碼；冗余碼計(jì)數(shù)器，其在通過無損編碼部而實(shí)施編碼時(shí)，對(duì)冗余碼進(jìn)行累加，并對(duì)被消耗的冗余碼進(jìn)行倒數(shù)計(jì)數(shù)；編碼控制部，其在冗余碼計(jì)數(shù)器的計(jì)數(shù)值不會(huì) 成為表示低于規(guī)定壓縮率的低壓縮率的值的范圍內(nèi)，使無損編碼部的編碼動(dòng)作持續(xù)進(jìn)行。根據(jù)該圖像編碼裝置，通過在冗余碼計(jì)數(shù)器的計(jì)數(shù)值不會(huì)成為表示低于規(guī)定壓縮率的低壓縮率的值的范圍內(nèi)，使無損編碼部的編碼動(dòng)作持續(xù)進(jìn)行，從而無損模式下的編碼常時(shí)成為規(guī)定壓縮率以上的高壓縮率。此外，由于在有損模式下常時(shí)以規(guī)定壓縮率來實(shí)施編碼，因此保證了無損模式及有損模式下的總壓縮率也成為規(guī)定壓縮率以上的高壓縮率。而且，由于使無損模式優(yōu)先，因此與使有損模式優(yōu)先的情況相比，能夠提高壓縮率，而且提高了數(shù)據(jù)的再現(xiàn)性，其中，在所述有損模式下，以與規(guī)定壓縮率相等的壓縮率進(jìn)行編碼。再次參照?qǐng)D1，插補(bǔ)電路25通過使用周圍像素的數(shù)據(jù)值，來對(duì)包含至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)中的各個(gè)像素實(shí)施插補(bǔ)運(yùn)算，從而輸出針對(duì)于各個(gè)像素而包含紅色(R)、綠色(G)、藍(lán)色(B)的成分的、多個(gè)種類的RGB圖像數(shù)據(jù)，其中，所述至少一個(gè)種類的圖像數(shù)據(jù)從幀存儲(chǔ)器30中被讀取、且通過展開電路24而被展開及復(fù)原。在此，多個(gè)種類的RGB圖像數(shù)據(jù)按照時(shí)間序列而包含圖像數(shù)據(jù)A、標(biāo)準(zhǔn)圖像數(shù)據(jù)B和圖像數(shù)據(jù)C，其中，所述圖像數(shù)據(jù)A表示以最短的曝光時(shí)間Tl所拍攝到的圖像，所述標(biāo)準(zhǔn)圖像數(shù)據(jù)B表示以標(biāo)準(zhǔn)曝光時(shí)間T2所拍攝到的標(biāo)準(zhǔn)圖像，所述圖像數(shù)據(jù)C表示以最長(zhǎng)的曝光時(shí)間T3所拍攝到的圖像。動(dòng)態(tài)范圍擴(kuò)張電路26對(duì)由插補(bǔ)電路25輸出的多個(gè)種類的RGB圖像數(shù)據(jù)進(jìn)行合成，從而生成表示動(dòng)態(tài)范圍被擴(kuò)張了的一個(gè)彩色圖像的HDR圖像數(shù)據(jù)。圖7為表示圖1所示的動(dòng)態(tài)范圍擴(kuò)張電路的結(jié)構(gòu)示例的框圖。動(dòng)態(tài)范圍擴(kuò)張電路26包括:圖像切換部261、歸一化部262、圖像可靠性評(píng)價(jià)部263、圖像合成部264、和色調(diào)映射處理部265。

圖像切換部261對(duì)由插補(bǔ)電路25依次供給的圖像數(shù)據(jù)A、B、C進(jìn)行分離，并向歸一化部262及圖像可靠性評(píng)價(jià)部263供給。歸一化部262對(duì)圖像數(shù)據(jù)A、B、C進(jìn)行歸一化。與此同時(shí)，圖像可靠性評(píng)價(jià)部263對(duì)圖像數(shù)據(jù)A、B、C的可靠性進(jìn)行評(píng)價(jià)，并向圖像合成部264供給可靠性的評(píng)價(jià)結(jié)果。圖像合成部264根據(jù)由圖像可靠性評(píng)價(jià)部263供給的可靠性的評(píng)價(jià)結(jié)果，通過對(duì)被歸一化部262歸一化的圖像數(shù)據(jù)A、B、C進(jìn)行高動(dòng)態(tài)范圍合成,從而生成表示動(dòng)態(tài)范圍被擴(kuò)張了的圖像的合成圖像數(shù)據(jù)D。色調(diào)映射處理部265實(shí)施使合成圖像數(shù)據(jù)D的位數(shù)與由圖像數(shù)據(jù)獲取部21獲取的RAW數(shù)據(jù)的位數(shù)(例如，對(duì)于綠色(G)成分、藍(lán)色(B)成分、紅色(R)成分的各個(gè)成分而言，為8位)相一致的色調(diào)映射處理，其中，所述合成圖像數(shù)據(jù)D為，由圖像合成部264輸出的、表示動(dòng)態(tài)范圍被擴(kuò)張了的圖像的數(shù)據(jù)。接下來，對(duì)圖7所示的動(dòng)態(tài)范圍擴(kuò)張電路的動(dòng)作示例進(jìn)行說明。首先，對(duì)在圖7所示的歸一化部262中實(shí)施的歸一化處理的示例進(jìn)行說明。在以下的式中，“x、y”表示像素的座標(biāo)，“R”表示R成分。將被輸入至歸一化部262的、歸一化前的圖像數(shù)據(jù)A、B、C的R成分的數(shù)據(jù)值分別設(shè)定為A_T1 (x、y、R)、B_T2 (x、y、R)、C_T3 (x、
1、R)。此外，將被歸一化部262歸一化的圖像數(shù)據(jù)A、B、C的數(shù)據(jù)值分別設(shè)定為A_NT3 (x、y、R)、B_NT3 (x、y、R)、C_NT3 (x、y、R)。歸一化中的兩者的關(guān)系由下式表示。A_NT3 (x、y、R)=A_Tl (x、y、R) X (T3/T1)B_NT3 (x、y、R) = B_T2 (x、y、R) X (T3/T2)C_NT3 (x、y、R) = C_T3 (x、y、R)雖然這些式是關(guān)于圖像數(shù)據(jù)的R成分的，但是，對(duì)于G成分及B成分，這些式也同樣成立。
接下來，對(duì)由圖7所示的圖像可靠性評(píng)價(jià)部263實(shí)施的、對(duì)圖像數(shù)據(jù)的可靠性評(píng)價(jià)的第一示例進(jìn)行說明。圖8圖示了，通過以不同的曝光時(shí)間對(duì)同一拍攝對(duì)象進(jìn)行拍攝而獲得的圖像中，構(gòu)成橙色的R、G、B成分的數(shù)據(jù)值。在圖8中，橫軸區(qū)分出了 R、G、B成分，縱軸表示各個(gè)成分的數(shù)據(jù)值。此外，圖8 (A)圖示了圖像數(shù)據(jù)A的數(shù)據(jù)值，所述圖像數(shù)據(jù)A表示以最短的曝光時(shí)間Tl所拍攝到的圖像，圖8 (B)圖示了圖像數(shù)據(jù)B的數(shù)據(jù)值，所述圖像數(shù)據(jù)B表示以標(biāo)準(zhǔn)曝光時(shí)間T2所拍攝到的圖像，圖8 (C)圖示了圖像數(shù)據(jù)C的數(shù)據(jù)值，所述圖像數(shù)據(jù)C表示以最長(zhǎng)的曝光時(shí)間T3所拍攝到的圖像。圖像可靠性評(píng)價(jià)部263通過根據(jù)數(shù)據(jù)值來對(duì)圖像數(shù)據(jù)的可靠性進(jìn)行評(píng)價(jià)，從而求出作為表示可靠性的評(píng)價(jià)結(jié)果的值的可靠度。在本實(shí)施方式中，由于數(shù)據(jù)值越大，S/N比變得越高，因此對(duì)更大的數(shù)據(jù)值賦予更高的可靠度。然而，在數(shù)據(jù)值過大并達(dá)到最大值255(飽和)的情況下，無法獲得原來的圖像的準(zhǔn)確的數(shù)據(jù)值。因此，對(duì)與最大值255相比稍低的數(shù)據(jù)值(例如，224)賦予可靠度的最高值。這種可靠度的賦予通過將數(shù)據(jù)值代入預(yù)先設(shè)定的公式中，或者，基于數(shù)據(jù)值而參照LUT (Look Up Table:查閱表)，從而被實(shí)現(xiàn)。以下，例示了用于在圖像數(shù)據(jù)A_T1 U、1、R)的數(shù)據(jù)值超過了 224的情況下，對(duì)可靠度E_T1 (x、y、R)進(jìn)行計(jì)算的公式。if A_T1 (x、y、R) > 224then E_T1 (x、y、R) = (255 — A_T1 (x、y、R))/31else E_T1 (x、y、R)=A_Tl (x、y、R))/224雖然這些公式是關(guān)于圖像數(shù)據(jù)的R成分的，但是，對(duì)于G成分及B成分，這些公式也同樣成立。上式中的數(shù)字“31”為數(shù)據(jù)值的最大值255與可靠度成為最高值的數(shù)據(jù)值224之差。通過數(shù)據(jù)值的最大值255與圖像數(shù)據(jù)A_T1 (x、y、R)的數(shù)據(jù)值之差除以數(shù)據(jù)值的最大值255與數(shù)據(jù)值224之差，從而能夠在圖像數(shù)據(jù)A_T1 (x、y、R)的數(shù)據(jù)值接近飽和時(shí)，使可靠度降低。 圖像可靠性評(píng)價(jià)部263執(zhí)行以上所敘述的可靠性的評(píng)價(jià)，并向圖像合成部264輸出所計(jì)算出的可靠度。另外，計(jì)算可靠度的公式并不限定于如上所述的形式，只要是考慮到輸出特性和噪聲特性而成為數(shù)據(jù)值的可靠性的指標(biāo)的公式，則可以為任何一種形式的公式。此外，可靠性的評(píng)價(jià)并不限定于使用可靠度，也可以采用輸出對(duì)具有最高可靠性的圖像數(shù)據(jù)進(jìn)行指定的信號(hào)的方式。當(dāng)根據(jù)上式而對(duì)圖8 (A) (C)所示的數(shù)據(jù)值進(jìn)行評(píng)價(jià)時(shí)，關(guān)于R成分，圖8 (A)所示的圖像數(shù)據(jù)A的R成分Rl與圖8 (B)所示的圖像數(shù)據(jù)B的R成分R2、和圖8 (C)所示的圖像數(shù)據(jù)C的R成分R3相比，獲得較高的可靠度。此外，關(guān)于G成分，圖8 (B)所示的圖像數(shù)據(jù)B的G成分G2與圖8 (A)所示的圖像數(shù)據(jù)A的G成分G1、和圖8 (C)所示的圖像數(shù)據(jù)C的G成分G3相比，獲得較高的可靠度。而且，關(guān)于B成分，圖8 (C)所示的圖像數(shù)據(jù)C的B成分B3與圖8 (A)所示的圖像數(shù)據(jù)A的B成分B1、和圖8 (B)所示的圖像數(shù)據(jù)B的B成分B2相比，獲得較高的可靠度。接下來，對(duì)由圖7所示的圖像合成部264實(shí)施的圖像合成處理的第一示例進(jìn)行說明。圖像合成部264針對(duì)R、G、B成分的各個(gè)成分，選擇圖像數(shù)據(jù)A、B、C內(nèi)可靠度最高的圖像數(shù)據(jù)。而且，通過對(duì)所選擇的圖像數(shù)據(jù)的R、G、B成分進(jìn)行合成，從而生成表示橙色的合成圖像數(shù)據(jù)D。圖9為用于對(duì)圖像合成處理的第一示例進(jìn)行說明的圖。圖9 (A)、圖9 (B)、圖9(C)分別圖示了通過圖1所示的歸一化部262而被歸一化的圖像數(shù)據(jù)A、B、C的各個(gè)顏色成分的數(shù)據(jù)值，圖9 (D)圖示了由圖7所示的圖像合成部264合成的合成圖像數(shù)據(jù)D的各個(gè)顏色成分的數(shù)據(jù)值。圖像合成部264通過對(duì)圖9 (A)所示的圖像數(shù)據(jù)A的R成分R1、圖9 (B)所示的圖像數(shù)據(jù)B的G成分G2和圖9 (C)所示的圖像數(shù)據(jù)C的B成分B3進(jìn)行選擇并合成，從而生成圖9 (D)所示的合成圖像數(shù)據(jù)D。由于該合成圖像數(shù)據(jù)D是基于圖8 (A)所示的數(shù)據(jù)值未飽和的短時(shí)間曝光的R成分R1、圖8 (B)所示的數(shù)據(jù)值較為適當(dāng)?shù)臉?biāo)準(zhǔn)曝光的G成分G2、和圖8(C)所示的數(shù)據(jù)值被改善了的長(zhǎng)時(shí)間曝光的B成分B3而生成的，因此，與圖8(B)所示的標(biāo)準(zhǔn)曝光的圖像數(shù)據(jù)B相比較，動(dòng)態(tài)范圍被擴(kuò)張了。但是，在圖9 (D)所示的合成圖像數(shù)據(jù)D中，由于歸一化，從而使數(shù)據(jù)值的最大值超過了 255。因此，圖7所示的色調(diào)映射處理部265實(shí)施色調(diào)映射處理，所述色調(diào)映射處理使從圖像合成部264輸出的合成圖像數(shù)據(jù)D的位數(shù)，與由圖像數(shù)據(jù)獲取部21獲取的RAW數(shù)據(jù)的位數(shù)(例如，對(duì)于R、G、B成分的各個(gè)成分而言，為8位)相一致。該色調(diào)映射處理例如通過使合成圖像數(shù)據(jù)D的各個(gè)顏色成分的數(shù)據(jù)值乘以(T1/T3)而被實(shí)施。接下來，對(duì)圖像數(shù)據(jù)的可靠性評(píng)價(jià)及圖像合成處理的第二示例進(jìn)行說明。在第二示例中，圖像合成部264通過對(duì)曝光量不同的多個(gè)圖像數(shù)據(jù)A、B、C中的同一顏色成分進(jìn)行混合，從而生成合成圖像數(shù)據(jù)D。為此，圖像可靠性評(píng)價(jià)部263計(jì)算出多個(gè)圖像數(shù)據(jù)A、B、C中的各個(gè)顏色成分的混合比例(加權(quán)系數(shù))以作為可靠性評(píng)價(jià)結(jié)果，并供給至圖像合成部264。圖像合成部264根據(jù)所供給的混合比例，而對(duì)多個(gè)圖像數(shù)據(jù)A、B、C中的同一顏色成分進(jìn)行混合。這種混合的結(jié)果為，圖像數(shù)據(jù)A的R成分R1、圖像數(shù)據(jù)B的R成分R2和圖像數(shù)據(jù)C的R成分R3被混合，從而生成合成圖像數(shù)據(jù)D的R成分。同樣地，圖像數(shù)據(jù)A的G成分G1、圖像數(shù)據(jù)B的G成分G2和圖像數(shù)據(jù)C的G成分G3被混合，從而生成合成圖像數(shù)據(jù)D的G成分。此外，圖像數(shù)據(jù)A的B成分B1、圖像數(shù)據(jù)B的B成分B2和圖像數(shù)據(jù)C的B成分B3被混合，從而生成合成圖像數(shù)據(jù)D的B成分。通過所混合的R、G、B成分，從而構(gòu)成了合成圖像數(shù)據(jù)D。圖像可靠性評(píng)價(jià)部263也可以以下述方式來對(duì)多個(gè)圖像數(shù)據(jù)A、B、C中的各個(gè)顏色成分的加權(quán)系數(shù)進(jìn)行確定。在此，加權(quán)系數(shù)表示圖像數(shù)據(jù)A、B、C的混合比例，并且設(shè)定為，加權(quán)系數(shù)越大，混合比例越大。圖像數(shù)據(jù)A的R成分的加權(quán)系數(shù)W_T1 (X、γ、R)、圖像數(shù)據(jù)B的R成分的加權(quán)系數(shù)W_T2 U、y、R)、圖像數(shù)據(jù)C的R成分的加權(quán)系數(shù)W_T3 (x、y、R)，例如根據(jù)可靠度而通過下式被計(jì)算出。ff_Tl (x、y、R) = E_Tl (x、y、R)/Esumff_T2 (x、y、R) = E_T2 (x、y、R)/Esumff_T3 (x、y、R) = E_T3 (x、y、R)/Esum其中，Esum= E_T1 (x、y、R) + E_T2 (x、y、R) + E_T3 (x、y、R)。雖然這些公式為與圖像數(shù)據(jù)的R成分相關(guān)的公式，但對(duì)于G成分及B成分，這些公式也同樣成立。由圖像可靠性評(píng) 價(jià)部263計(jì)算出的加權(quán)系數(shù)被供給至圖像合成部264。圖像合成部264將這些加權(quán)系數(shù)與圖像數(shù)據(jù)A、B、C中的各自的顏色成分相乘,并針對(duì)于每個(gè)顏色成分而將乘算后的數(shù)據(jù)值相加,從而生成合成圖像數(shù)據(jù)D。D (x、y、R)=W_Tl (x、y、R) XA_NT3 (x、y、R)+ W_T2 (x、y、R) XB_NT3 (x、y、R)+ W_T3 (x、y、R) XC_NT3 (x、y、R)雖然該式為關(guān)于圖像數(shù)據(jù)的R成分的公式，但對(duì)于G成分及B成分，該式也同樣成立。圖10為表示合成圖像數(shù)據(jù)中的原來的圖像數(shù)據(jù)的混合比例的示例的圖。在該示例中，雖然合成圖像數(shù)據(jù)D的R、G、B成分分別包含了全部圖像數(shù)據(jù)A、B、C的R、G、B成分，但也可以通過將可靠性最低的圖像數(shù)據(jù)的顏色成分的加權(quán)系數(shù)設(shè)定為零，從而排除可靠性最低的圖像數(shù)據(jù)的顏色成分。根據(jù)上文敘述的動(dòng)態(tài)范圍擴(kuò)張?zhí)幚?，從而能夠以按照?qǐng)D像數(shù)據(jù)的顏色成分中的每一個(gè)的方式，對(duì)以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)圖像數(shù)據(jù)的可靠性進(jìn)行評(píng)價(jià)。此外，能夠根據(jù)所評(píng)價(jià)的可靠性，而從這些圖像數(shù)據(jù)的顏色成分中采用可靠性較高的顏色成分，并對(duì)所采用的顏色成分進(jìn)行合成，從而生成合成圖像數(shù)據(jù)。圖11為表示通過應(yīng)用了本發(fā)明的行駛記錄儀而被拍攝到的圖像的示例的圖。圖11中圖示了以三個(gè)階段來改變曝光時(shí)間并對(duì)隧道的出口附近進(jìn)行拍攝而獲得的圖像、及對(duì)這些圖像進(jìn)行合成而獲得的合成圖像。圖11 (A)圖示了短時(shí)間曝光的 圖像。在短時(shí)間曝光的情況下，雖然清晰地拍攝了隧道外的被拍攝物體，但隧道內(nèi)的被拍攝物體由于曝光不足而變得不清晰。另一方面，圖11
(C)圖示了長(zhǎng)時(shí)間曝光的圖像。在長(zhǎng)時(shí)間曝光的情況下，雖然清晰地拍攝了隧道內(nèi)的被拍攝物體，但隧道外的被拍攝物體由于過度曝光而變得不清晰。此外，圖11 (B)圖示了標(biāo)準(zhǔn)曝光的圖像。在標(biāo)準(zhǔn)曝光的情況下，在隧道中的一部分處產(chǎn)生曝光不足，并在隧道外的一部分處產(chǎn)生過度曝光。圖11 (D)圖示了對(duì)圖11 (A) (C)所示的圖像進(jìn)行合成而獲得的合成圖像。通過從圖11 (A) (C)所示的圖像中切割出亮度適當(dāng)?shù)膮^(qū)域(像素)的圖像，從而能夠獲得不存在曝光不足和過度曝光的一張(幀)圖像。再次參照?qǐng)D1,動(dòng)態(tài)圖像處理電路40通過按照MPEG (Moving Picture ExpertsGroup:動(dòng)態(tài)圖像專家組)等的動(dòng)態(tài)圖像壓縮方式，而對(duì)由HDR圖像處理電路20生成的HDR圖像數(shù)據(jù)進(jìn)行壓縮，從而生成應(yīng)當(dāng)保存的圖像數(shù)據(jù)。此外，動(dòng)態(tài)圖像處理電路40將應(yīng)當(dāng)保存的圖像數(shù)據(jù)記錄在SD卡或硬盤等記錄介質(zhì)中。SD卡為屬于閃存的、可攜帶運(yùn)輸?shù)挠涗浗橘|(zhì)?；蛘?，未圖示的圖像數(shù)據(jù)保存部也可以通過經(jīng)由網(wǎng)絡(luò)而向其他的終端發(fā)送應(yīng)當(dāng)保存的圖像數(shù)據(jù)，從而由其他的終端對(duì)圖像數(shù)據(jù)進(jìn)行記錄。接下來，對(duì)本發(fā)明的第二實(shí)施方式進(jìn)行說明。圖12為表示使用了本發(fā)明的第二實(shí)施方式所涉及的圖像處理裝置的電子設(shè)備的結(jié)構(gòu)示例的框圖。在第二實(shí)施方式中，圖1所示的第一實(shí)施方式中的HDR圖像處理電路20及動(dòng)態(tài)圖像處理電路40與主CPU50 —起被組裝進(jìn)系統(tǒng)級(jí)芯片中，并構(gòu)成了圖像處理電路60。此外，使用主存儲(chǔ)器70及主存儲(chǔ)器控制電路23a，以代替幀存儲(chǔ)器30及幀存儲(chǔ)器控制電路23。關(guān)于其他方面,與第一實(shí)施方式相同。
主CPU50對(duì)在動(dòng)態(tài)范圍擴(kuò)張電路26實(shí)施動(dòng)態(tài)范圍擴(kuò)張動(dòng)作時(shí)所使用的各種參數(shù)進(jìn)行設(shè)定，或者對(duì)動(dòng)態(tài)圖像處理電路40的動(dòng)態(tài)圖像壓縮動(dòng)作進(jìn)行控制，或者實(shí)施對(duì)為了存儲(chǔ)應(yīng)當(dāng)保存的圖像數(shù)據(jù)而使用的文件系統(tǒng)的管理。主存儲(chǔ)器70包括:存儲(chǔ)區(qū)域7(^、7( 、70(:，其分別存儲(chǔ)從壓縮電路22輸出的圖像數(shù)據(jù)A、B、C ;臨時(shí)存儲(chǔ)區(qū)域70D，其在動(dòng)態(tài)圖像處理電路40實(shí)施動(dòng)態(tài)圖像壓縮動(dòng)作時(shí)被使用；用于主CPU50的工作區(qū)域70E。主存儲(chǔ)器控制電路23a通過內(nèi)部總線I而與壓縮電路22及展開電路24相連接。主存儲(chǔ)器控制電路23a將主存儲(chǔ)器70控制為，對(duì)從壓縮電路22輸出的多個(gè)種類的圖像數(shù)據(jù)A、B、C，以針對(duì)于各個(gè)種類的圖像數(shù)據(jù)而至少存儲(chǔ)與一幀相對(duì)應(yīng)的量的方式進(jìn)行存儲(chǔ)，并且，主存儲(chǔ)器控制電路23a從主存儲(chǔ)器70中讀取圖像數(shù)據(jù)A、B、C并供給至展開電路24。此外，主存儲(chǔ)器控制電路23a通過內(nèi)部總線2而與動(dòng)態(tài)圖像處理電路40及主CPU50相連接。主存儲(chǔ)器控制電路23a將主存儲(chǔ)器70控制為，對(duì)從動(dòng)態(tài)圖像處理電路40輸出的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)，并且，主存儲(chǔ)器控制電路23a從主存儲(chǔ)器70中讀取圖像數(shù)據(jù)并供給至動(dòng)態(tài)圖像處理電路40。而且，主存儲(chǔ)器控制電路23a將主存儲(chǔ)器70控制為，對(duì)從主CPU50輸出的參數(shù)等進(jìn)行存儲(chǔ)，并且，主存儲(chǔ)器控制電路23a從主存儲(chǔ)器70中讀取參數(shù)等并供給至主CPU50。如在本實(shí)施方式中這樣，即使在使動(dòng)態(tài)范圍擴(kuò)張動(dòng)作用的幀存儲(chǔ)器與后續(xù)系統(tǒng)的存儲(chǔ)器一體化的情況下，也能夠通過利用壓縮電路22來削減圖像數(shù)據(jù)的量，從而降低對(duì)其他功能的影響，并解決關(guān)于存儲(chǔ)器容量或內(nèi)部總線頻帶的課題或制約。雖然在以上的實(shí)施方式中，對(duì)在攝像部10的濾色器中，將第一顏色成分設(shè)定為藍(lán)色(B)、將第二顏色成分設(shè)定為綠色(G)、將第三顏色成分設(shè)定為紅色(R)的情況進(jìn)行了說明，但本發(fā)明也能夠應(yīng)用于除此之外的情況中。例如，也可以將第一顏色成分設(shè)定為亮度信號(hào)(Y)，將第二顏色成分及第三顏色成分設(shè)定為色差信號(hào)(Cr、Cb)。此外，對(duì)于攝像部10的濾色器中的像素配置，也可以使各個(gè)顏色的位置或順序不同，或者在第奇數(shù)個(gè)行和第偶數(shù)個(gè)行中，使像素的水平方向位置不同。符號(hào)說明1、2…內(nèi)部總線、10…攝像部、101…二維圖像傳感器、101a...CCD、20…HDR圖像處理裝置、21...圖像數(shù)據(jù)獲取部、22…壓縮電路、220…重新排列電路、221 223…行壓縮電路、23...巾貞存儲(chǔ)器控制電路、23a…主存儲(chǔ)器控制電路、24...展開電路、240…復(fù)原電路、241 243...行展開電路、25...插補(bǔ)電路、26...動(dòng)態(tài)范圍擴(kuò)張電路、261…圖像切換部、262…歸一化部、263…圖像可靠性評(píng)價(jià)部、264…圖像合成部、265…色調(diào)映射處理部、30...幀存儲(chǔ)器、40...動(dòng)態(tài)圖像處理電路、50.. .主CPU、60…圖像處理電路、70...主存儲(chǔ)器。
權(quán)利要求
1.一種圖像處理裝置，具備: 圖像數(shù)據(jù)獲取部，其獲取多個(gè)種類的圖像數(shù)據(jù)，所述多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像； 壓縮電路，其在以按照多個(gè)顏色成分中的每一個(gè)的方式，而對(duì)通過所述圖像數(shù)據(jù)獲取部而獲取的至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行重新排列之后，再對(duì)該圖像數(shù)據(jù)進(jìn)行壓縮； 存儲(chǔ)器，其對(duì)包含通過所述圖像數(shù)據(jù)獲取部而獲取、且通過所述壓縮電路而被壓縮的至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)，以針對(duì)于各個(gè)種類的圖像數(shù)據(jù)而至少存儲(chǔ)與一幀相對(duì)應(yīng)的量的方式進(jìn)行存儲(chǔ)； 展開電路，其對(duì)從所述存儲(chǔ)器中所讀取出的多個(gè)種類的圖像數(shù)據(jù)內(nèi)、被實(shí)施了壓縮的圖像數(shù)據(jù)進(jìn)行展開，并對(duì)所展開的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置進(jìn)行復(fù)原； 插補(bǔ)電路，其通過使用周圍像素的數(shù)據(jù)值，來對(duì)包含至少一個(gè)種類的圖像數(shù)據(jù)在內(nèi)的多個(gè)種類的圖像數(shù)據(jù)中的各個(gè)像素實(shí)施插補(bǔ)運(yùn)算，從而輸出針對(duì)于各個(gè)像素而包含多個(gè)顏色成分的圖像數(shù)據(jù)，所述至少一個(gè)種類的圖像數(shù)據(jù)為，從所述存儲(chǔ)器中被讀取出、且通過所述展開電路而被展開及復(fù)原的圖像數(shù)據(jù)； 動(dòng)態(tài)范圍擴(kuò)張電路，其通過對(duì)由所述插補(bǔ)電路輸出的多個(gè)種類的圖像數(shù)據(jù)進(jìn)行合成，從而生成表示動(dòng)態(tài)范圍被擴(kuò)張了的一個(gè)彩色圖像的合成圖像數(shù)據(jù)。
2.如權(quán)利要求1所述的圖像處理裝置，其中， 通過所述圖像數(shù)據(jù)獲取部而獲取的圖像數(shù)據(jù)中的第奇數(shù)個(gè)行包含表示第一顏色成分的像素、和表示第二顏色成分的像素，該圖像數(shù)據(jù)中的第偶數(shù)個(gè)行包含表示第二顏色成分的像素、和表示第三顏色 成分的像素， 所述壓縮電路將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的多個(gè)行中所包含的像素的配置重新排列為，表示第一顏色成分的像素的列、表示第二顏色成分的像素的列、和表示第三顏色成分的像素的列。
3.如權(quán)利要求2所述的圖像處理裝置，其中， 所述壓縮電路將至少一個(gè)種類的圖像數(shù)據(jù)中、鄰接的兩個(gè)行中所包含的像素的配置重新排列為，表示第一顏色成分的像素的一個(gè)列、表示第二顏色成分的像素的兩個(gè)列、和表示第三顏色成分的像素的一個(gè)列。
4.如權(quán)利要求1至3中任一項(xiàng)所述的圖像處理裝置，其中， 所述壓縮電路根據(jù)表示濾色器的信息的設(shè)定信號(hào)，而以按照多個(gè)顏色成分中的每一個(gè)的方式，將至少一個(gè)種類的圖像數(shù)據(jù)中、被包含于多個(gè)行中的像素的配置重新排列，所述濾色器在生成由通過所述圖像數(shù)據(jù)獲取部而獲取的圖像數(shù)據(jù)所表示的圖像時(shí)被使用。
5.—種電子設(shè)備,具備: 攝像部，其通過以不同的曝光量來對(duì)拍攝對(duì)象進(jìn)行拍攝，從而生成多個(gè)種類的圖像數(shù)據(jù)，所述多個(gè)種類的圖像數(shù)據(jù)分別表示以不同的曝光量來拍攝拍攝對(duì)象而生成的多個(gè)彩色圖像； 權(quán)利要求1至4中任一項(xiàng)所述的圖像處理裝置，其被供給通過所述攝像部而生成的多個(gè)種類的圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種圖像處理裝置及使用該圖像處理裝置的電子設(shè)備。在實(shí)施HDR合成的圖像處理裝置中，降低在存儲(chǔ)器與HDR圖像處理電路之間被傳送的圖像數(shù)據(jù)的量，所述存儲(chǔ)器對(duì)表示曝光量不同的多張圖像的、多個(gè)種類的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)。該圖像處理裝置的特征在于，具備壓縮電路，其在以按照多個(gè)顏色成分中的每一個(gè)的方式，而將圖像數(shù)據(jù)中的、被包含于多個(gè)行中的像素的配置重新排列之后，再實(shí)施對(duì)圖像數(shù)據(jù)的壓縮；存儲(chǔ)器，其對(duì)該被實(shí)施了壓縮的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)；展開電路，其對(duì)被實(shí)施了壓縮的圖像數(shù)據(jù)進(jìn)行展開，并對(duì)像素的配置進(jìn)行復(fù)原。
文檔編號(hào)H04N9/04GK103248901SQ201310042769
公開日2013年8月14日 申請(qǐng)日期2013年1月31日 優(yōu)先權(quán)日2012年2月3日
發(fā)明者蓮達(dá)弘, 石川真己, 小林雅暢 申請(qǐng)人:精工愛普生株式會(huì)社