專利名稱：產(chǎn)生去除了重影模糊的高動態(tài)范圍圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
以下描述的示例實(shí)施例涉及一種用于基于多曝光融合(multi-exposurefusion)產(chǎn)生去除了重影模糊(Ghost Image)的高動態(tài)范圍(HDR)圖像的設(shè)備和方法，更具體地講，涉及一種可通過捕捉多個曝光幀并執(zhí)行HDR恢復(fù)來在高對比度環(huán)境中確保HDR圖像的設(shè)備和方法。
背景技術(shù)：
由于與人眼相比，相機(jī)傳感器的動態(tài)范圍(DR)相對窄，所以大部分現(xiàn)有的相機(jī)傳感器可漏掉實(shí)際上存在的場景的細(xì)節(jié)。例如，當(dāng)進(jìn)行逆光拍攝圖片時，即，捕捉具有高亮度 的非常亮的區(qū)域和具有低亮度的非常暗的區(qū)域并存的高對比度場景時，可獲得關(guān)于非常亮的區(qū)域或非常暗的區(qū)域的細(xì)節(jié)幾乎消失的圖片。換言之，當(dāng)在高對比度環(huán)境中拍攝圖片時，在高亮度區(qū)域或低亮度區(qū)域中，在實(shí)際場景中出現(xiàn)的原始顏色、原始色調(diào)和原始細(xì)節(jié)可幾乎消失。為了克服這種缺陷，可在改變曝光的同時捕捉多個幀，并且可融合捕捉的幀。因此，可以產(chǎn)生出現(xiàn)原始細(xì)節(jié)的高動態(tài)范圍(HDR)圖像。但是，當(dāng)在HDR圖像中，對象或背景的物體移動時，在HDR融合處理期間，運(yùn)動可引起稱作“重影模糊(ghost blur)”的劣化，因此，需要用于防止重影模糊的單獨(dú)的處理方法。

發(fā)明內(nèi)容
通過提供一種用于基于多曝光融合產(chǎn)生去除了重影模糊的高動態(tài)范圍(HDR)圖像的設(shè)備來實(shí)現(xiàn)上述和/或其它方面，所述設(shè)備包括=HDR權(quán)重圖計算單元，對于多個曝光幀計算HDR權(quán)重圖，所述多個曝光幀被接收；重影概率計算單元，通過對于所述多個曝光幀檢驗(yàn)重影模糊來計算對于每個曝光幀的重影概率；HDR權(quán)重圖更新單元，基于計算的重影概率更新計算的HDR權(quán)重圖；多比例混合單元，通過將更新的HDR權(quán)重圖反映到所述多個曝光幀來產(chǎn)生HDR圖像。所述設(shè)備還可包括亮度匹配單元，在所述多個曝光幀中確定參考幀，并基于確定的參考幀匹配所述多個曝光幀中的至少一個幀的至少一個亮度。此外，亮度匹配單元可將所述多個曝光幀中的一個曝光幀確定為參考幀，可控制除參考幀之外的幀的曝光程度，并可將其它幀的亮度與參考幀的亮度進(jìn)行匹配。此外，重影概率計算單元可基于所述至少一個幀的匹配的亮度對于所述多個曝光中貞檢驗(yàn)重影模糊。重影概率計算單元可基于匹配的結(jié)果檢驗(yàn)參考幀與所述至少一個幀中的每一個幀之間的亮度差值，并且可在亮度差值等于或大于閾值時確定重影模糊發(fā)生。
另外，HDR權(quán)重圖更新單元可將具有等于或大于閾值的計算的重影概率的像素的HDR權(quán)重修改為小于具有等于或小于所述閾值的計算的重影概率的像素的HDR權(quán)重，并可更新HDR權(quán)重圖。HDR權(quán)重圖可將與所述多個曝光幀中的每一個的像素相關(guān)聯(lián)的對比度、色彩飽和度和合適曝光度中的至少一個存儲為HDR權(quán)重。此外，多比例混合單元可接收多個曝光幀和HDR權(quán)重圖，可使用高斯金字塔和拉普拉斯金字塔來對所述多個曝光幀和HDR權(quán)重圖進(jìn)行混合并且可產(chǎn)生HDR圖像。通過提供一種用于基于多曝光融合產(chǎn)生去除了重影模糊的HDR圖像的方法來實(shí)現(xiàn)上述和/或其它方面，所述方法包括如下步驟通過HDR權(quán)重圖計算單元，對于多個曝光幀計算HDR權(quán)重圖，所述多個曝光幀被接收；通過重影概率計算單元，通過對于所述多個曝光幀檢驗(yàn)重影模糊來對于每個曝光幀計算重影概率；通過HDR權(quán)重圖更新單元，基于計算的重影概率更新計算的HDR權(quán)重圖；通過多比例混合單元，通過將更新的HDR權(quán)重圖反映到所述多個曝光幀來產(chǎn)生HDR圖像。 此外，所述方法可包括步驟通過亮度匹配單元，在所述多個曝光幀中確定參考幀，并基于確定的參考幀匹配所述多個曝光幀中的至少一個幀的至少一個亮度。所述方法還可包括將所述多個曝光幀中的一個曝光幀確定為參考幀，控制除參考幀之外的幀的曝光程度，并將其它幀的亮度與參考幀的亮度進(jìn)行匹配。可基于所述至少一個幀的匹配的亮度對于所述多個曝光幀檢驗(yàn)重影模糊。所述方法可包括基于匹配的結(jié)果檢驗(yàn)參考幀與所述至少一個幀中的每一個幀之間的亮度差值，并且當(dāng)亮度差值等于或大于閾值時確定重影模糊發(fā)生。此外，更新的步驟可包括將具有等于或大于閾值的計算的重影概率的像素的HDR權(quán)重修改為小于具有等于或小于所述閾值的計算的重影概率的像素的HDR權(quán)重，并更新HDR權(quán)重圖。此外，HDR權(quán)重圖可將與所述多個曝光幀中的每一個的像素相關(guān)聯(lián)的對比度、色彩飽和度和合適曝光度中的至少一個存儲為HDR權(quán)重。另外，產(chǎn)生的步驟可包括接收所述多個曝光幀和HDR權(quán)重圖，使用高斯金字塔和拉普拉斯金字塔來對所述多個曝光幀和HDR權(quán)重圖進(jìn)行混合并且產(chǎn)生HDR圖像。在下面的描述中將部分地闡明示例實(shí)施例的另外的方面、特征和/或優(yōu)點(diǎn)，部分通過描述將是清楚的，或者可通過本公開的實(shí)施而得知。


通過下面結(jié)合附圖對示例實(shí)施例進(jìn)行的描述，這些和/或其他方面和優(yōu)點(diǎn)將變得清楚和更易于理解，其中圖I示出根據(jù)示例實(shí)施例的高動態(tài)范圍(HDR)圖像產(chǎn)生設(shè)備的框圖；圖2示出根據(jù)示例實(shí)施例的HDR圖像產(chǎn)生方法的流程圖；圖3示出圖2的方法中的亮度匹配單元匹配亮度的操作的流程圖；圖4示出根據(jù)示例實(shí)施例的亮度匹配單元和重影概率計算單元的操作的示圖；圖5示出根據(jù)示例實(shí)施例的HDR權(quán)重圖計算單元的操作的示圖；圖6示出根據(jù)示例實(shí)施例的多比例混合單元混合巾貞并產(chǎn)生HDR圖像的示例的示圖。
具體實(shí)施例方式
現(xiàn)在，將詳細(xì)描述示例實(shí)施例,所述示例實(shí)施例的示例示出在附圖中，其中，相同的標(biāo)號始終表示相同的元件。下面，通過參照附圖描述示例實(shí)施例來解釋本公開。圖I示出根據(jù)示例實(shí)施例的高動態(tài)范圍(HDR)圖像產(chǎn)生設(shè)備100的框圖。
在高對比度環(huán)境中，HDR圖像產(chǎn)生設(shè)備100可捕捉多個曝光幀，可執(zhí)行HDR恢復(fù)并且可確保HDR圖像。詳細(xì)地講，HDR圖像產(chǎn)生設(shè)備100可基于對于圖像的每個像素的不同權(quán)重相對簡單地合成HDR圖像(而不是單獨(dú)地恢復(fù)HDR輻射值)，并同時可去除由場景中的移動對象引起的重影模糊。因此，可有效地合成HDR圖像。HDR圖像產(chǎn)生設(shè)備100可應(yīng)用于用于分布式信源編碼(DSC)的相機(jī)、用于分布式視頻編碼(DVC)的相機(jī)、用于監(jiān)控的相機(jī)、移動相機(jī)電話、智能電話、相機(jī)傳感器圖像信號處理器(諸如，例如圖像信號處理器(ISP)、數(shù)字信號處理器(DSP))、以及用于個人計算機(jī)(PC)的圖像處理軟件等。如圖I所示，HDR圖像產(chǎn)生設(shè)備100可包括亮度匹配單元110、HDR權(quán)重圖計算單元120、重影概率計算單元130、HDR權(quán)重圖更新單元140和多比例混合(multi-scaleblending)單兀 150。亮度匹配單元110可確定接收的多個曝光幀中的參考幀，并且可基于參考幀匹配所述多個曝光幀中的至少一個幀的至少一個亮度。在示例中，亮度確定單元110可將所述多個曝光幀中的一個曝光幀確定為參考幀，可控制除參考幀之外的幀的曝光程度并且可將其它幀的亮度與參考幀的亮度匹配。在另一示例中，亮度匹配單元110可將多個輸入幀中的一個輸入幀設(shè)置為參考幀，并且可基于參考幀的曝光程度改變除參考幀之外的幀的亮度。在該示例中，亮度匹配單元110可基于設(shè)置的參考幀計算除參考幀之外的曝光幀與參考幀之間的亮度變換函數(shù)(BTF)來實(shí)現(xiàn)亮度匹配功能，并且可執(zhí)行從參考幀至每個曝光幀的亮度變換，從而可匹配亮度。在另一實(shí)施例中，亮度匹配單元110可通過應(yīng)用直方圖匹配處理來執(zhí)行亮度匹配。當(dāng)應(yīng)用直方圖匹配處理時，即使幀的幾何位置的匹配不準(zhǔn)確，也可以進(jìn)行亮度匹配。因此，亮度匹配單元110可計算參考幀的直方圖和除參考幀之外的幀的直方圖，并且可獲得使每一個除參考幀之外的幀的直方圖與參考幀的直方圖相似的變換函數(shù)。以查詢表(LUT)的形式使用獲得的變換函數(shù)，除參考幀之外的幀可被變換為具有與參考幀的亮度相似的亮度的圖像。將參照圖4來進(jìn)一步詳細(xì)描述亮度變換的示例。HDR權(quán)重圖計算單元120可計算對于多個曝光幀的HDR權(quán)重圖。HDR權(quán)重圖可將與多個曝光幀中的每一個的像素相關(guān)聯(lián)的對比度、色彩飽和度和合適曝光度中的至少一條信息存儲為HDR權(quán)重。
HDR權(quán)重圖計算單元120可使用等式I來計算對于多個曝光幀中的每一個的HDR權(quán)重圖Wuk。[等式I]Wij,,= (Cij, k) wcX(Sijik) - X(Eijik)we在等式I中，(Cij,,)' (Sijjk)ws (EijJire分別表示多個曝光幀中的第k曝光幀中的像素(i，j)的對比度、色彩飽和度和合適曝光度。另外，指數(shù)wc、ws和we的常量可以被設(shè)置為“O”或“I”。重影概率計算單元130可通過對于多個曝光幀檢驗(yàn)重影模糊來對于每個曝光幀
計算重影概率。
在示例中，重影概率計算單元130可基于多個曝光幀中的至少一個幀的匹配的亮度，檢驗(yàn)多個曝光幀的重影模糊。在另一示例中，重影概率計算單元130可基于匹配亮度的結(jié)果檢驗(yàn)參考幀與至少一個幀中的每一個的亮度差值。當(dāng)亮度差值等于或大于閾值時，重影概率計算單元130可確定重影模糊出現(xiàn)。例如，重影概率計算單元130可使用參考幀與具有匹配的亮度的曝光幀之差來計算每個曝光幀的重影概率MijM可使用等式2來計算重影概率Mij,,。[等式2]Mii k = expf—(/w-Jf)
V2 · . CJn j在等式2中，“expO ”表示指數(shù)函數(shù)，σ 2表示噪聲等級，Cn表示閾值控制常數(shù)。參數(shù)和“I’ u,k”分別表示參考幀和具有匹配的亮度的曝光幀。重影概率計算單元130可使用梯度差代替亮度差來計算圖像的重影概率。例如，亮度匹配單元110可使用例如索伯梯度算子(Sobel gradientoperator)來將輸入圖像改變?yōu)樘荻葓D像，來代替匹配亮度。使用參考幀與每個曝光幀的梯度差，HDR權(quán)重計算單元120可計算每個圖像的HDR
權(quán)重圖。因此，通過以與等式2中所使用的亮度差概念相同的方式應(yīng)用概率概念，重影概率計算單元130可計算每個像素的重影概率。換目之，重影概率計算單兀130可定義除売度差和梯度差之外的各種圖像差(例如，熵差(entropy difference)),并且可基于概率概念(例如，等式2的概念)計算每個像素對應(yīng)于重影區(qū)域的概率。HDR權(quán)重圖更新單元140可基于計算的重影概率更新計算的HDR權(quán)重圖。此外，HDR權(quán)重圖更新單元140可將具有等于或大于閾值的計算的重影概率的像素的HDR權(quán)重修改為小于具有等于或小于閾值的計算的重影概率的像素的HDR權(quán)重，并且可更新HDR權(quán)重圖。例如，HDR權(quán)重圖更新單元140可使用計算的HDR權(quán)重圖和與重影模糊相關(guān)聯(lián)的計算的重影概率來更新HDR權(quán)重圖Wij, k。
詳細(xì)地講，HDR權(quán)重圖更新單元140可使用等式3來將重影概率應(yīng)用于HDR權(quán)重圖(Wg) ,，并且可使用等式4來通過一系列的歸一化控制每個幀中的像素的權(quán)重之和為“ I”。[等式3]
權(quán)利要求
1.一種用于基于多曝光融合產(chǎn)生去除了重影模糊的高動態(tài)范圍HDR圖像的設(shè)備，所述設(shè)備包括 HDR權(quán)重圖計算單元，對于接收的多個曝光幀計算HDR權(quán)重圖； 重影概率計算單元，通過對于所述多個曝光幀檢驗(yàn)重影模糊來對于每個曝光幀計算重影概率； HDR權(quán)重圖更新單元，基于計算的重影概率更新計算的HDR權(quán)重圖； 多比例混合單元，通過將更新的HDR權(quán)重圖反映到所述多個曝光幀來產(chǎn)生HDR圖像。
2.根據(jù)權(quán)利要求I所述的設(shè)備，還包括 亮度匹配單元，在所述多個曝光幀中確定參考幀，并基于確定的參考幀匹配所述多個曝光幀中的至少一個幀的至少一個亮度。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，亮度匹配單元將所述多個曝光幀中的一個曝光幀確定為參考幀，控制除參考幀之外的幀的曝光程度，并將所述除參考幀之外的幀的亮度與參考幀的亮度進(jìn)行匹配。
4.根據(jù)權(quán)利要求2所述的設(shè)備，其中，重影概率計算單元基于所述至少一個幀的匹配的亮度對于所述多個曝光幀檢驗(yàn)重影模糊。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，重影概率計算單元基于匹配的結(jié)果檢驗(yàn)參考幀與所述至少一個幀中的每一個幀之間的亮度差值，并且當(dāng)亮度差值等于或大于閾值時確定重影模糊發(fā)生。
6.根據(jù)權(quán)利要求I所述的設(shè)備，其中，HDR權(quán)重圖更新單元將具有等于或大于閾值的計算的重影概率的像素的HDR權(quán)重修改為小于具有等于或小于所述閾值的計算的重影概率的像素的HDR權(quán)重，并更新HDR權(quán)重圖。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，HDR權(quán)重圖將與所述多個曝光幀中的每一個的像素相關(guān)聯(lián)的對比度、色彩飽和度和合適曝光度中的至少一個存儲為HDR權(quán)重。
8.根據(jù)權(quán)利要求I所述的設(shè)備，其中，多比例混合單元接收所述多個曝光幀和HDR權(quán)重圖，使用高斯金字塔和拉普拉斯金字塔來對所述多個曝光幀和HDR權(quán)重圖進(jìn)行混合并且產(chǎn)生HDR圖像。
9.一種用于基于多曝光融合產(chǎn)生去除了重影模糊的高動態(tài)范圍HDR圖像的方法，所述方法包括如下步驟 通過HDR權(quán)重圖計算單元，對于接收的多個曝光幀計算HDR權(quán)重圖； 通過重影概率計算單元，通過對于所述多個曝光幀檢驗(yàn)重影模糊來對于每個曝光幀計算重影概率； 通過HDR權(quán)重圖更新單元，基于計算的重影概率更新計算的HDR權(quán)重圖； 通過多比例混合單元，通過將更新的HDR權(quán)重圖反映到所述多個曝光幀來產(chǎn)生HDR圖像。
10.根據(jù)權(quán)利要求9所述的方法，還包括步驟 通過亮度匹配單元，在所述多個曝光幀中確定參考幀，并基于確定的參考幀匹配所述多個曝光幀中的至少一個幀的至少一個亮度。
11.根據(jù)權(quán)利要求10所述的方法，還包括將所述多個曝光幀中的一個曝光幀確定為參考幀，控制除參考幀之外的幀的曝光程度，并將所述除參考幀之外的幀的亮度與參考幀的亮度進(jìn)行匹配。
12.根據(jù)權(quán)利要求10所述的方法，還包括基于所述至少一個幀的匹配的亮度對于所述多個曝光幀檢驗(yàn)重影模糊。
13.根據(jù)權(quán)利要求12所述的方法，還包括基于匹配的結(jié)果檢驗(yàn)參考幀與所述至少一個幀中的每一個幀之間的亮度差值，并且當(dāng)亮度差值等于或大于閾值時確定重影模糊發(fā)生。
14.根據(jù)權(quán)利要求9所述的方法，其中，更新的步驟包括將具有等于或大于閾值的計算的重影概率的像素的HDR權(quán)重修改為小于具有等于或小于所述閾值的計算的重影概率的像素的HDR權(quán)重，并更新HDR權(quán)重圖。
15.根據(jù)權(quán)利要求14所述的方法，其中，HDR權(quán)重圖將與所述多個曝光幀中的每一個的像素相關(guān)聯(lián)的對比度、色彩飽和度和合適曝光度中的至少一個存儲為HDR權(quán)重。
16.根據(jù)權(quán)利要求9所述的方法，其中，產(chǎn)生的步驟包括接收所述多個曝光幀和HDR權(quán)重圖，使用高斯金字塔和拉普拉斯金字塔來對所述多個曝光幀和HDR權(quán)重圖進(jìn)行混合并且產(chǎn)生HDR圖像。
全文摘要
公開了一種產(chǎn)生去除了重影模糊的高動態(tài)范圍圖像的設(shè)備和方法。所述設(shè)備可包括HDR權(quán)重圖計算單元，對于接收的多個曝光幀計算HDR權(quán)重圖；重影概率計算單元，通過對于所述多個曝光幀檢驗(yàn)重影模糊來對于每個曝光幀計算重影概率；HDR權(quán)重圖更新單元，基于計算的重影概率更新計算的HDR權(quán)重圖；多比例混合單元，通過將更新的HDR權(quán)重圖反映到所述多個曝光幀來產(chǎn)生HDR圖像。
文檔編號H04N5/217GK102905058SQ201210264639
公開日2013年1月30日 申請日期2012年7月27日 優(yōu)先權(quán)日2011年7月28日
發(fā)明者文永秀, 太龍旻, 趙程昱, 李時和 申請人:三星電子株式會社