專利名稱：用于圖像處理的設(shè)備和方法
技術(shù)領(lǐng)域：
以下描述的示例性實(shí)施例涉及 一種用于校正全景圖像的色調(diào)的設(shè)備和方法，更具體地講，涉及一種在混合多個(gè)圖像以產(chǎn)生全景圖像之前執(zhí)行色調(diào)校正的設(shè)備和方法。
背景技術(shù)：
可通過(guò)混合在多個(gè)位置或從多個(gè)角度拍攝對(duì)象而獲得的多個(gè)圖像來(lái)產(chǎn)生全景圖像。當(dāng)在多個(gè)圖像之間的色調(diào)校正之前混合所述多個(gè)圖像時(shí)，因?yàn)榭赡茉诓煌臈l件(諸如不同的曝光值、不同的灰度和不同的鏡頭遮光)下獲得所述多個(gè)圖像中的每個(gè)圖像，所以在連接所述多個(gè)圖像的接縫處可能出現(xiàn)偽像，這會(huì)導(dǎo)致用戶感受到差異。因此，在混合多個(gè)圖像之前，會(huì)需要在多個(gè)圖像之中執(zhí)行色調(diào)校正。

發(fā)明內(nèi)容
示例性實(shí)施例可包括一種用于處理圖像的設(shè)備，所述設(shè)備包括虛影信息獲得單元，基于最佳閾值以及成本映射圖，從左圖像和右圖像的重疊區(qū)域獲得虛影信息；色調(diào)校正映射圖產(chǎn)生器，基于使用虛影信息產(chǎn)生的全局色調(diào)校正函數(shù)，并基于使用最佳接縫的局部信息產(chǎn)生的局部色調(diào)校正級(jí)別，產(chǎn)生色調(diào)校正映射圖；雙向校正器，使用通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用于色調(diào)校正映射圖而廣生的最終色調(diào)校正映射圖，校正左圖像和右圖像。可通過(guò)重疊左圖像和右圖像的區(qū)域來(lái)產(chǎn)生成本映射圖，從而左圖像和右圖像之間的相似性被反映在成本映射圖上。左圖像和右圖像可對(duì)應(yīng)于通過(guò)在用于產(chǎn)生全景圖像的多個(gè)拍攝位置拍攝靜止對(duì)象或運(yùn)動(dòng)對(duì)象獲得的圖像。左圖像和右圖像之間的相似性可基于在左圖像和右圖像的重疊區(qū)域中相應(yīng)的像素之間的色彩相似性和灰度相似性的等級(jí)。虛影信息獲得單元可包括最佳接縫假設(shè)單元，假設(shè)在成本映射圖上具有最大相似性的路徑作為左圖像和右圖像的最佳接縫；二值化單元，通過(guò)基于使用最佳閾值估計(jì)處理估計(jì)的最佳閾值將成本映射圖二值化，來(lái)產(chǎn)生虛影映射圖。色調(diào)校正映射圖產(chǎn)生器可包括全局計(jì)算單元，使用虛影信息計(jì)算全局色調(diào)校正函數(shù)，在所述全局色調(diào)校正函數(shù)中反映與重疊區(qū)域中除了虛影像素以外的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差。色調(diào)校正映射圖產(chǎn)生器還可包括平滑單元，通過(guò)平滑濾波器平滑計(jì)算的全局色調(diào)校正函數(shù)的值。色調(diào)校正映射圖產(chǎn)生器可包括局部計(jì)算單元，通過(guò)計(jì)算在最佳接縫的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生最佳接縫的局部信息。色調(diào)校正映射圖產(chǎn)生器還可包括校正級(jí)別計(jì)算單元，通過(guò)比較包括在最佳接縫中的像素的全局色調(diào)校正函數(shù)的值和局部信息來(lái)計(jì)算局部色調(diào)校正級(jí)別。雙向校正器可包括權(quán)重應(yīng)用單元，將根據(jù)左圖像與重疊區(qū)域之間的距離變化的權(quán)重和根據(jù)右圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。示例性實(shí)施例還可包括一種處理圖像的方法，所述方法包括基于最佳閾值和成本映射圖，從左圖像和右圖像的重疊區(qū)域獲得虛影信息；基于使用虛影信息產(chǎn)生的全局色調(diào)校正函數(shù)，并基于使用最佳接縫的局部信息產(chǎn)生的局部色調(diào)校正級(jí)別，產(chǎn)生色調(diào)校正映射圖；使用通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用于色調(diào)校正映射圖而產(chǎn)生的最終色調(diào)校正映射圖，校正左圖像和右圖像。
產(chǎn)生成本映射圖的步驟可包括重疊左圖像和右圖像的區(qū)域，從而左圖像和右圖像的相似性被反映在成本映射圖上。獲得步驟可包括假設(shè)在成本映射圖上具有最大相似性的路徑作為左圖像和右圖像的最佳接縫；通過(guò)基于使用最佳閾值估計(jì)處理估計(jì)的最佳閾值將成本映射圖二值化，來(lái)產(chǎn)生虛影映射圖。產(chǎn)生步驟可包括使用虛影信息計(jì)算全局色調(diào)校正函數(shù)，在所述全局色調(diào)校正函數(shù)中反映與重疊區(qū)域中除了虛影像素以外的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差。產(chǎn)生步驟可包括通過(guò)計(jì)算在最佳接縫的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生最佳接縫的局部信息。產(chǎn)生色調(diào)校正映射圖的步驟還可包括通過(guò)比較包括在最佳接縫中的像素的全局色調(diào)校正函數(shù)的值和局部信息來(lái)計(jì)算局部色調(diào)校正級(jí)別。校正步驟可包括將根據(jù)左圖像與重疊區(qū)域之間的距離變化的權(quán)重和根據(jù)右圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。根據(jù)示例性實(shí)施例，可反映關(guān)于與多個(gè)圖像相應(yīng)的失配的像素的信息，并通過(guò)考慮虛影現(xiàn)象來(lái)計(jì)算相對(duì)準(zhǔn)確的色調(diào)校正值。根據(jù)示例性實(shí)施例，可通過(guò)校正輸入的左圖像和右圖像二者的色調(diào)來(lái)保持左圖像和右圖像之間的中間級(jí)別的色調(diào)。根據(jù)示例性實(shí)施例，可減少因?yàn)榛旌系姆秶荒鼙粩U(kuò)展以校正色調(diào)而由于混合出現(xiàn)的殘像。根據(jù)示例性實(shí)施例，通過(guò)基于全局色調(diào)校正和局部色調(diào)校正從成本映射圖獲得虛影映射圖，可在計(jì)算相對(duì)準(zhǔn)確的色調(diào)校正值時(shí)，以相對(duì)高的速度獲得計(jì)算的值。將在下面的描述中部分地闡明實(shí)施例的另外的方面，并且通過(guò)描述部分將是清楚的，或者通過(guò)實(shí)施本公開(kāi)可以了解。


通過(guò)下面結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，本發(fā)明的這些和/或其他方面將會(huì)變得清楚和更易于理解，其中
圖IA和圖IB示出根據(jù)現(xiàn)有技術(shù)的全景圖像；圖2示出根據(jù)現(xiàn)有技術(shù)的由于運(yùn)動(dòng)對(duì)象出現(xiàn)的問(wèn)題；圖3示出根據(jù)現(xiàn)有技術(shù)的在輸入圖像的重疊區(qū)域中的相同位置上的像素；圖4示出根據(jù)示例性實(shí)施例的用于處理圖像的設(shè)備；圖5示出根據(jù)示例性實(shí)施例的產(chǎn)生虛影映射圖的操作；圖6示出根據(jù)示例性實(shí)施例的產(chǎn)生全局色調(diào)校正函數(shù)的操作；圖7示出根據(jù)示例性實(shí)施例的產(chǎn)生最佳接縫的局部信息的操作；
圖8示出根據(jù)示例性實(shí)施例的色調(diào)校正映射圖；圖9示出根據(jù)示例性實(shí)施例的輸入的左圖像和輸入的右圖像的雙向校正；圖10示出根據(jù)示例性實(shí)施例的圖像處理方法；圖11示出根據(jù)示例性實(shí)施例的具有校正的色調(diào)的全景圖像。
具體實(shí)施例方式現(xiàn)在對(duì)實(shí)施例進(jìn)行詳細(xì)的參考，實(shí)施例的示例在附圖中示出，其中，相同的標(biāo)號(hào)始終表示相同的部件。下面通過(guò)參照附圖對(duì)實(shí)施例進(jìn)行描述以解釋本公開(kāi)。圖IA和圖IB示出根據(jù)現(xiàn)有技術(shù)的全景圖像的示例。圖IA示出在沒(méi)有色調(diào)校正的情況下通過(guò)匹配兩個(gè)圖像獲得的全景圖像，圖IB示出在沒(méi)有色調(diào)校正的情況下通過(guò)估計(jì)最佳接縫并匹配兩個(gè)圖像獲得的全景圖像。即使通過(guò)拍攝同一對(duì)象獲得的兩個(gè)圖像對(duì)應(yīng)于同一對(duì)象，所述兩個(gè)圖像的重疊區(qū)域也會(huì)具有對(duì)于每個(gè)圖像不同的曝光值或不同的灰度級(jí)別。因此，當(dāng)在沒(méi)有色調(diào)校正的情況下混合每個(gè)圖像時(shí)，如圖IA和圖IB所示，在圖像的中間部分會(huì)出現(xiàn)不自然的線條。圖2示出根據(jù)現(xiàn)有技術(shù)的由于運(yùn)動(dòng)對(duì)象出現(xiàn)的問(wèn)題。可通過(guò)將目標(biāo)圖像和對(duì)象圖像混合來(lái)產(chǎn)生全景圖像。在這種情況下，目標(biāo)圖像中的箱子的內(nèi)部和對(duì)象圖像中的箱子的內(nèi)部對(duì)應(yīng)于重疊部分。根據(jù)普通的色調(diào)校正處理，可通過(guò)參考目標(biāo)圖像中的箱子的內(nèi)部來(lái)校正對(duì)象圖像中的箱子的內(nèi)部的色調(diào)。參照?qǐng)D2，在目標(biāo)圖像中的箱子的內(nèi)部不可見(jiàn)的運(yùn)動(dòng)對(duì)象可能存在于對(duì)象圖像中的箱子的內(nèi)部。因此，即使通過(guò)在相同位置拍攝對(duì)象獲得相應(yīng)的圖像，目標(biāo)圖像中的箱子的內(nèi)部和對(duì)象圖像中的箱子的內(nèi)部也可能包含不同的內(nèi)容。因此，因?yàn)榘ㄔ趯?duì)象圖像中的箱子的內(nèi)部中的運(yùn)動(dòng)對(duì)象在目標(biāo)圖像中不可見(jiàn)，所以不能執(zhí)行色調(diào)校正?？赏ㄟ^(guò)參考排除與運(yùn)動(dòng)對(duì)象相應(yīng)的部分的目標(biāo)圖像來(lái)執(zhí)行色調(diào)校正。普通的色調(diào)校正處理可包括通過(guò)直方圖匹配產(chǎn)生與目標(biāo)圖像相關(guān)的對(duì)象圖像的查找表并基于查找表來(lái)校正對(duì)象圖像的色調(diào)。普通的色調(diào)校正處理可包括通過(guò)用于執(zhí)行匹配的直方圖校正對(duì)象圖像的重疊區(qū)域中的對(duì)象圖像的區(qū)域，使用校正的對(duì)象圖像的區(qū)域估計(jì)色彩轉(zhuǎn)換矩陣，并使用估計(jì)的色彩轉(zhuǎn)換矩陣校正對(duì)象圖像的色調(diào)。普通的色調(diào)校正處理可包括通過(guò)計(jì)算利用接縫部分中的對(duì)象圖像和目標(biāo)圖像之間的色調(diào)差以及與將被校正的像素的距離的權(quán)重來(lái)校正對(duì)象圖像的色調(diào)。圖3示出根據(jù)現(xiàn)有技術(shù)的在輸入圖像的重疊區(qū)域中的相同位置上的像素。與由于出現(xiàn)運(yùn)動(dòng)對(duì)象而在相同位置存在不同內(nèi)容的情況相似，由于即使在圖3的輸入圖像310和輸入圖像320的重疊區(qū)域中可成功地執(zhí)行圖像匹配，在對(duì)象的邊界中也出現(xiàn)一到兩個(gè)像素的匹配錯(cuò)誤，因此可能執(zhí)行不準(zhǔn)確的色調(diào)校正。因?yàn)閮H對(duì)單個(gè)目標(biāo)圖像校正對(duì)象圖像的色調(diào)，所以普通的色調(diào)校正處理可能具有圖像隨著可添加全景而變暗或變亮的問(wèn)題。圖4示出根據(jù)示例性實(shí)施例的用于處理圖像的設(shè)備。參照?qǐng)D4，用于處理圖像的設(shè)備(這里，可被稱為圖像處理設(shè)備)可包括虛影信息獲得單元410、色調(diào)校正映射圖產(chǎn)生器420和雙向校正器430。虛影信息獲得單元410可在左圖像和右圖像的重疊區(qū)域上產(chǎn)生成本映射圖。在這種情況下，左圖像和右圖像可對(duì)應(yīng)于輸入圖像。左圖像和右圖像之間的相似性可反映在成本映射圖上。為了產(chǎn)生全景圖像，在用于自然地接合左圖像和右圖像的處理中可使用最佳接縫估計(jì)處理。最佳接縫估計(jì)處理可包括通過(guò)基于在左圖像和右圖像的重疊區(qū)域中與左圖像和右圖像相應(yīng)的像素之間的色彩相似性和灰度相似性的等級(jí)連接相似像素，來(lái)估計(jì)最佳接縫。虛影信息獲得單元410可基于最佳閾值來(lái)獲得虛影信息。虛影信息可指示關(guān)于具 有左圖像和右圖像之間的相似性的相對(duì)較小的值的區(qū)域的信息?？苫谥甘緢D像的特性的各種元素(諸如，每個(gè)圖像的色彩、飽和度、亮度和色調(diào))來(lái)確定所述相似性。左圖像和右圖像可對(duì)應(yīng)于通過(guò)在多個(gè)拍攝位置拍攝靜止對(duì)象或運(yùn)動(dòng)對(duì)象而獲得的圖像?？赏ㄟ^(guò)將左圖像和右圖像組合在一起來(lái)產(chǎn)生全景圖像。虛影信息獲得單元410可包括最佳接縫假設(shè)單元411和二值化單元413。最佳接縫假設(shè)單元411可假設(shè)在成本映射圖上具有最大相似性的路徑作為左圖像和右圖像的最佳接縫。二值化單元413可基于可使用最佳閾值估計(jì)處理估計(jì)的最佳閾值將成本映射圖二值化。成本映射圖的二值化可指示成本映射圖到灰度的轉(zhuǎn)換。二值化單元413可通過(guò)比較成本映射圖上的每個(gè)像素的相似性與最佳閾值來(lái)將成本映射圖二值化，從而產(chǎn)生虛影映射圖。例如，當(dāng)成本映射圖上的每個(gè)像素的相似性可大于最佳閾值時(shí)，二值化單元413可將成本映射圖二值化為“ 1”，當(dāng)成本映射圖上的每個(gè)像素的相似性可小于最佳閾值時(shí)，二值化單元413可將成本映射圖二值化為“O”。在這種情況下，在虛影映射圖上二值化為“I”的部分可以以相對(duì)亮的色彩來(lái)表現(xiàn)，在虛影映射圖上二值化為“O”的部分可以以相對(duì)暗的色彩來(lái)表現(xiàn)。二值化單元413可通過(guò)二值化來(lái)產(chǎn)生虛影映射圖，因此，可不使用復(fù)雜的算數(shù)運(yùn)算以快速地產(chǎn)生虛影映射圖。虛影映射圖可包括關(guān)于與色調(diào)校正相關(guān)的像素的信息以及與色調(diào)校正無(wú)關(guān)的虛影信息。例如，二值化為“I”的部分可指示與色調(diào)校正相關(guān)的像素，二值化為“O”的部分可指示與色調(diào)校正無(wú)關(guān)的虛影部分。色調(diào)校正映射圖產(chǎn)生器420可基于左圖像和右圖像的重疊區(qū)域的虛影信息來(lái)產(chǎn)生全局色調(diào)校正函數(shù)。全局色調(diào)校正函數(shù)可反映重疊區(qū)域中除了虛影像素以外的所有像素。例如，當(dāng)使用沿著水平方向拍攝的多個(gè)圖像來(lái)沿著水平方向產(chǎn)生全景圖像時(shí)，豎直方向上的色調(diào)差可能不是問(wèn)題，而水平方向上的色調(diào)差可能存在問(wèn)題。豎直方向上的色調(diào)差可能是不重要的。因此，當(dāng)沿著水平方向產(chǎn)生全景圖像時(shí)，色調(diào)校正映射圖產(chǎn)生器420可通過(guò)計(jì)算左圖像和右圖像的重疊區(qū)域中的豎直方向上除了虛影像素以外的部分的色調(diào)差的累加平均值，來(lái)產(chǎn)生水平方向上的全局色調(diào)校正函數(shù)。全局色調(diào)校正函數(shù)可反映在整個(gè)重疊區(qū)域中左圖像和右圖像之間的色調(diào)差。
色調(diào)校正映射圖產(chǎn)生器420可產(chǎn)生最佳接縫的局部信息?？赏ㄟ^(guò)計(jì)算包括在最佳接縫中的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生局部信息。局部信息可指示關(guān)于包括在最佳接縫中的像素之間的色調(diào)差的信息。在這種情況下，色調(diào)差可表示與包括在最佳接縫中的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差。色調(diào)校正映射圖產(chǎn)生器420基于全局色調(diào)校正函數(shù)和局部色調(diào)校正級(jí)別產(chǎn)生色調(diào)校正映射圖。可通過(guò)比較預(yù)定像素的全局色調(diào)校正函數(shù)的色調(diào)差和局部信息來(lái)確定局部色調(diào)校正級(jí)別。色調(diào)校正映射圖產(chǎn)生器420可包括全局計(jì)算單元421、平滑單元423、局部計(jì)算單元425和校正級(jí)別計(jì)算單元427。全局計(jì)算單元421可使用虛影信息計(jì)算全局色調(diào)校正函數(shù)，所述全局色調(diào)校正函數(shù)反映與重疊區(qū)域中除了虛影像素以外的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差?？赏ㄟ^(guò)計(jì)算全局色調(diào)校正函數(shù)來(lái)獲得關(guān)于在重疊區(qū)域中除了虛影像素以外的每 個(gè)像素的色調(diào)差的信息。平滑單元423可通過(guò)平滑濾波器來(lái)平滑在全局計(jì)算單元421中計(jì)算的全局色調(diào)校正函數(shù)的值。噪聲可能被包括在算術(shù)運(yùn)算期間計(jì)算的全局色調(diào)校正函數(shù)的值中。平滑單元423可通過(guò)平滑濾波器消除噪聲。局部計(jì)算單元425可通過(guò)計(jì)算在最佳接縫的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生最佳接縫的局部信息。例如，局部計(jì)算單元425可對(duì)包括在最佳接縫中的每個(gè)像素使用具有NX N大小的窗口，并計(jì)算在具有NXN大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，從而獲得每個(gè)像素的局部信息。校正級(jí)別計(jì)算單元427可通過(guò)比較包括在最佳接縫中的像素的全局色調(diào)校正函數(shù)的值和局部信息來(lái)計(jì)算局部色調(diào)校正級(jí)別。全局色調(diào)校正函數(shù)可反映與左圖像和右圖像的整個(gè)重疊區(qū)域的色調(diào)差相關(guān)的信息。局部信息可反映關(guān)于包括在最佳接縫中的像素的色調(diào)差的信息，從而包括在最佳接縫中的像素可具有與相鄰像素相似的色調(diào)差。例如，校正級(jí)別計(jì)算單元427可通過(guò)從局部信息減去全局色調(diào)校正函數(shù)的值來(lái)計(jì)算局部色調(diào)校正級(jí)別。色調(diào)校正映射圖產(chǎn)生器420可通過(guò)依據(jù)局部色調(diào)校正級(jí)別調(diào)整全局色調(diào)校正函數(shù)來(lái)產(chǎn)生色調(diào)校正映射圖。雙向校正器430可使用最終色調(diào)校正映射圖來(lái)校正左圖像和右圖像，其中，通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用到色調(diào)校正映射圖來(lái)產(chǎn)生最終色調(diào)校正映射圖?？稍谧髨D像和右圖像中反映色調(diào)校正映射圖。色調(diào)校正映射圖可指示左圖像和右圖像的重疊區(qū)域的色調(diào)差的信息。在這種情況下，可將根據(jù)左圖像和重疊圖像之間的距離的權(quán)重應(yīng)用到在左圖像中反映的色調(diào)校正映射圖，從而可從左圖像自然地形成色調(diào)?？蓪⒏鶕?jù)右圖像和重疊圖像之間的距離的權(quán)重應(yīng)用到在右圖像中反映的色調(diào)校正映射圖，從而可從右圖像自然地形成色調(diào)。雙向校正器430可包括權(quán)重應(yīng)用單元431。權(quán)重應(yīng)用單元431可將根據(jù)左圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。權(quán)重應(yīng)用單元431可將根據(jù)右圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。
雙向校正器430可基于最終色調(diào)校正映射圖來(lái)校正左圖像和右圖像的色調(diào)。圖像處理設(shè)備可通過(guò)將校正的左圖像和右圖像混合來(lái)產(chǎn)生全景圖像。與根據(jù)目標(biāo)圖像的色調(diào)校正對(duì)象圖像的色調(diào)的普通處理相比，雙向校正器430可通過(guò)校正左圖像和右圖像的每個(gè)色調(diào)來(lái)使整體全景圖像保持一致的色調(diào)。圖5示出根據(jù)示例性實(shí)施例的產(chǎn)生虛影映射圖的操作。圖像處理設(shè)備可接收左圖像I1和右圖像I2的輸入，并針對(duì)重疊區(qū)域產(chǎn)生成本映射圖cm12?？赏ㄟ^(guò)反映重疊區(qū)域中左圖像I1和右圖像I2之間的相似性來(lái)產(chǎn)生成本映射圖CM12O例如，在成本映射圖CM12中，以相對(duì)売的色彩表現(xiàn)的部分可指不具有左圖像I1和右圖像I2之間相對(duì)低的相似性的部分，以相對(duì)暗的色彩表現(xiàn)的部分可指示具有左圖像I1和右圖像I2之間相對(duì)高的相似性的部分。圖像處理設(shè)備可通過(guò)基于最佳閾值將CM12 二值化來(lái)產(chǎn)生虛影映射圖GM12。S卩，可 通過(guò)最佳閾值估計(jì)處理確定最佳閾值，最佳閾值估計(jì)處理可對(duì)應(yīng)于圖像處理領(lǐng)域廣泛使用的技術(shù)，因此為了簡(jiǎn)潔將省略進(jìn)一步的描述。虛影信息可包括在虛影映射圖GM12中。在這種情況下，虛影信息可對(duì)應(yīng)于與圖像的色調(diào)校正無(wú)關(guān)的信息。圖像處理設(shè)備可通過(guò)二值化從成本映射圖CM12容易地產(chǎn)生虛影映射圖GM12。在虛影映射圖GM12中，亮區(qū)域510可對(duì)應(yīng)于在左圖像I1和右圖像I2的重疊區(qū)域中與色調(diào)校正相關(guān)的區(qū)域，暗區(qū)域520可對(duì)應(yīng)于在左圖像I1和右圖像I2的重疊區(qū)域中與色調(diào)校正無(wú)關(guān)的區(qū)域。圖6示出根據(jù)示例性實(shí)施例的產(chǎn)生全局色調(diào)校正函數(shù)的操作。圖6示出當(dāng)使用左圖像和右圖像沿著水平方向產(chǎn)生全景圖像時(shí)，在左圖像和右圖像的重疊區(qū)域中產(chǎn)生的虛影映射圖。當(dāng)沿著水平方向產(chǎn)生全景圖像時(shí)，豎直方向上的色調(diào)差在重疊區(qū)域中可能變化相對(duì)較小。因此，產(chǎn)生關(guān)于水平方向上的色調(diào)差的全局色調(diào)校正函數(shù)可能足以表現(xiàn)重疊區(qū)域的色調(diào)差的變化。圖像處理設(shè)備可通過(guò)計(jì)算由虛影映射圖上的箭頭的方向指示的除了豎直方向上的虛影像素以外的像素的色調(diào)差的累加平均值，來(lái)產(chǎn)生水平方向上的全局色調(diào)校正函數(shù)。在這種情況下，色調(diào)差可指示與左圖像和右圖像相應(yīng)的像素之間的色調(diào)差。圖像處理設(shè)備可使用累加平均值的值來(lái)產(chǎn)生水平方向上的全局色調(diào)校正函數(shù)fg(x)o圖像處理設(shè)備可通過(guò)對(duì)f, g(x)執(zhí)行平滑濾波來(lái)消除包括在f, g(x)中的噪聲。fg(x)可作為對(duì)g(X)執(zhí)行平滑濾波的結(jié)果被產(chǎn)生。r g(x)和匕00可通過(guò)以下等式來(lái)表不:
I J1 tfg(x) = -V(I1Cs1 γ) 一Cx.r)3
JL 蟲(chóng) WBBBBBn
sr* mm
* —41
Ii
I .mI f I； Λ；…^ ^ V if ￡{ K ■ ； )
在這種情況下，I1U, y)表示左圖像中的像素的色調(diào)，I2(X，y)表示左圖像中的像素的色調(diào)，GM12 (x，y)表示虛影映射圖的像素是否對(duì)應(yīng)于虛影像素。當(dāng)虛影映射圖的像素對(duì)應(yīng)于虛影像素時(shí)，GM12 (X，y)可以為“O”。H表示當(dāng)沿著虛影映射圖上的豎直方向計(jì)算累加平局值時(shí)除了虛影像素以外的像素的和?！癶”表示虛影映射圖上的水平方向上的像素的數(shù)量?！唉恰北硎酒交瑸V波器的大小。參照?qǐng)D6，曲線圖610示出基于關(guān)于虛影映射圖的信息計(jì)算水平方向上的全局色調(diào)校正函數(shù)的結(jié)果，曲線圖620表示計(jì)算平滑的全局色調(diào)校正函數(shù)的結(jié)果。圖7示出根據(jù)示例性實(shí)施例的產(chǎn)生最佳接縫的局部信息的操作。在圖7的成本映射圖上沿著豎直方向繪出的曲線可指示當(dāng)接合左圖像和右圖像時(shí)出現(xiàn)的最佳接縫。圖像處理設(shè)備可通過(guò)計(jì)算包括在最佳接縫中的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)獲得局部信息TD(x，y)。局部信息TD(x，y)可指示用于將包括在最佳接縫中的像素的色調(diào)校正成與相鄰像素相似的信息。 圖像處理設(shè)備可從虛影映射圖獲得關(guān)于虛影像素的信息。局部信息TD(x，y)可通過(guò)以下等式來(lái)表75。TD(Sj) = — ') y I i l-j'x- I,y + ij - I2(x +1,y - ,)).; U>Ι12(χ + j τ ,)ι
\ V Md imd在這種情況下，W表示在預(yù)定大小的窗口中除了虛影像素以外的像素的數(shù)量，IJx+Ly+i)表示在所述窗口中左圖像的像素的色調(diào)，I2(x+j，y+i)表示在所述窗口中右圖像的像素的色調(diào)，GM12(x+j, y+i)表示虛影映射圖的像素是否對(duì)應(yīng)于所述窗口中的虛影像素。圖8示出根據(jù)示例性實(shí)施例的色調(diào)校正映射圖。參照?qǐng)D8，圖像處理設(shè)備可通過(guò)將全局色調(diào)校正函數(shù)fg(x)補(bǔ)償局部色調(diào)校正級(jí)別TC(y)來(lái)產(chǎn)生色調(diào)校正映射圖TM(x,y)。在這種情況下,可通過(guò)從局部信息TD (x, y)減去全局色調(diào)校正函數(shù)fg(x)開(kāi)計(jì)算局部色調(diào)校正級(jí)別TC(y)。局部色調(diào)校正級(jí)別TC(y)可如下所示來(lái)表示。TC(y) = TD(x, y)-fg(x)可通過(guò)將局部色調(diào)校正級(jí)別TC(y)與全局色調(diào)校正函數(shù)fg(x)相加來(lái)計(jì)算色調(diào)校正映射圖TM(x, y)。色調(diào)校正映射圖TM(x, y)可如下所示來(lái)表示。TM(x, y) = fg(x)+TC(y)曲線圖810示出通過(guò)計(jì)算全局色調(diào)校正函數(shù)fg(x)獲得的結(jié)果，曲線圖820示出通過(guò)計(jì)算色調(diào)校正映射圖TM(x，y)獲得的結(jié)果。圖9示出根據(jù)示例性實(shí)施例的輸入的左圖像和右圖像的雙向校正。參照?qǐng)D9，當(dāng)在左圖像910和右圖像920的重疊區(qū)域930上確定色調(diào)校正映射圖TM(x, y)時(shí)，可應(yīng)用權(quán)重以使色調(diào)校正可從左圖像910到重疊區(qū)域930被自然地執(zhí)行?？蓱?yīng)用權(quán)重以使色調(diào)校正可從右圖像920到重疊區(qū)域930被自然地執(zhí)行。最佳接縫940可存在于重疊區(qū)域930中?？苫谶B接左圖像910和重疊區(qū)域930的部分931確定權(quán)重W1 (χ)?？膳c重疊區(qū)域930沿著方向950的寬度(width)成正比地確定權(quán)重W1 (χ)。權(quán)重W1 (χ)可如下所示來(lái)表不。
權(quán)利要求
1.一種用于處理圖像的設(shè)備，所述設(shè)備包括 虛影信息獲得單元，基于最佳閾值以及反映左圖像和右圖像之間的相似性的成本映射圖，從左圖像和右圖像的重疊區(qū)域獲得虛影信息； 色調(diào)校正映射圖產(chǎn)生器，基于使用虛影信息產(chǎn)生的全局色調(diào)校正函數(shù)，并基于使用最佳接縫的局部信息產(chǎn)生的局部色調(diào)校正級(jí)別，產(chǎn)生色調(diào)校正映射圖； 雙向校正器，使用通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用于色調(diào)校正映射圖而廣生的最終色調(diào)校正映射圖，校正左圖像和右圖像。
2.如權(quán)利要求I所述的設(shè)備，其中，通過(guò)重疊左圖像和右圖像的區(qū)域來(lái)產(chǎn)生成本映射圖，從而左圖像和右圖像之間的相似性被反映在成本映射圖中。
3.如權(quán)利要求I所述的設(shè)備，其中，左圖像和右圖像對(duì)應(yīng)于通過(guò)在多個(gè)拍攝位置拍攝靜止對(duì)象或運(yùn)動(dòng)對(duì)象獲得的圖像。
4.如權(quán)利要求2所述的設(shè)備，其中，左圖像和右圖像之間的相似性基于在左圖像和右圖像的重疊區(qū)域中相應(yīng)的像素之間的色彩相似性和灰度相似性的等級(jí)。
5.如權(quán)利要求I所述的設(shè)備，其中，虛影信息獲得單元包括 最佳接縫假設(shè)単元，假設(shè)在成本映射圖上具有最大相似性的路徑作為左圖像和右圖像的最佳接縫； ニ值化單元，通過(guò)基于使用最佳閾值估計(jì)處理估計(jì)的最佳閾值將成本映射圖ニ值化，來(lái)產(chǎn)生虛影映射圖。
6.如權(quán)利要求I所述的設(shè)備，其中，色調(diào)校正映射圖產(chǎn)生器包括 全局計(jì)算單元，使用虛影信息計(jì)算全局色調(diào)校正函數(shù)， 其中，計(jì)算全局色調(diào)校正函數(shù)，從而在所述全局色調(diào)校正函數(shù)中反映與重疊區(qū)域中除了虛影像素以外的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差。
7.如權(quán)利要求6所述的設(shè)備，其中，色調(diào)校正映射圖產(chǎn)生器還包括 平滑単元，通過(guò)平滑濾波器平滑計(jì)算的全局色調(diào)校正函數(shù)的值。
8.如權(quán)利要求I所述的設(shè)備，其中，色調(diào)校正映射圖產(chǎn)生器包括 局部計(jì)算單元，通過(guò)計(jì)算在最佳接縫的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生最佳接縫的局部信息。
9.如權(quán)利要求8所述的設(shè)備，其中，色調(diào)校正映射圖產(chǎn)生器還包括 校正級(jí)別計(jì)算單元，通過(guò)比較包括在最佳接縫中的像素的全局色調(diào)校正函數(shù)的值和局部信息來(lái)計(jì)算局部色調(diào)校正級(jí)別。
10.如權(quán)利要求I所述的設(shè)備，其中，雙向校正器包括 權(quán)重應(yīng)用単元，將根據(jù)左圖像與重疊區(qū)域之間的距離變化的權(quán)重和根據(jù)右圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。
11.一種處理圖像的方法，所述方法包括 基于最佳閾值以及反映左圖像和右圖像之間的相似性的成本映射圖，從左圖像和右圖像的重疊區(qū)域獲得虛影信息； 基于使用虛影信息產(chǎn)生的全局色調(diào)校正函數(shù)，并基于使用最佳接縫的局部信息產(chǎn)生的局部色調(diào)校正級(jí)別，產(chǎn)生色調(diào)校正映射圖； 使用通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用于色調(diào)校正映射圖而產(chǎn)生的最終色調(diào)校正映射圖，校正左圖像和右圖像。
12.如權(quán)利要求11所述的方法，其中，通過(guò)重疊左圖像和右圖像的區(qū)域來(lái)產(chǎn)生成本映射圖，從而左圖像和右圖像的相似性被反映在成本映射圖上。
13.如權(quán)利要求11所述的方法，其中，獲得步驟包括 假設(shè)在成本映射圖上具有最大相似性的路徑作為左圖像和右圖像的最佳接縫； 通過(guò)基于使用最佳閾值估計(jì)處理估計(jì)的最佳閾值將成本映射圖ニ值化，來(lái)產(chǎn)生虛影映射圖。
14.如權(quán)利要求11所述的方法，其中，產(chǎn)生步驟包括 使用虛影信息計(jì)算全局色調(diào)校正函數(shù)， 其中，計(jì)算全局色調(diào)校正函數(shù)，從而在所述全局色調(diào)校正函數(shù)中反映與重疊區(qū)域中除了虛影像素以外的像素相應(yīng)的左圖像的像素和右圖像的像素之間的色調(diào)差。
15.如權(quán)利要求11所述的方法，其中，產(chǎn)生步驟包括 通過(guò)計(jì)算在最佳接縫的像素周圍的預(yù)定大小的窗口中除了虛影像素以外的像素之間的色調(diào)差的平均值，來(lái)產(chǎn)生最佳接縫的局部信息。
16.如權(quán)利要求15所述的方法，其中，產(chǎn)生色調(diào)校正映射圖的步驟還包括 通過(guò)比較包括在最佳接縫中的像素的全局色調(diào)校正函數(shù)的值和局部信息來(lái)計(jì)算局部色調(diào)校正級(jí)別。
17.如權(quán)利要求11所述的方法，其中，校正步驟包括 將根據(jù)左圖像與重疊區(qū)域之間的距離變化的權(quán)重和根據(jù)右圖像與重疊區(qū)域之間的距離變化的權(quán)重應(yīng)用到色調(diào)校正映射圖。
全文摘要
提供一種用于圖像處理的設(shè)備和方法。圖像處理設(shè)備可基于最佳閾值以及反映左圖像和右圖像之間的相似性的成本映射圖，從左圖像和右圖像的重疊區(qū)域獲得虛影信息，可基于使用重疊區(qū)域中的虛影信息產(chǎn)生的全局色調(diào)校正函數(shù)，并基于使用最佳接縫的局部信息產(chǎn)生的局部色調(diào)校正級(jí)別，產(chǎn)生色調(diào)校正映射圖，并可使用通過(guò)將基于左圖像的權(quán)重和基于右圖像的權(quán)重應(yīng)用于色調(diào)校正映射圖而產(chǎn)生的最終色調(diào)校正映射圖，校正左圖像和右圖像。
文檔編號(hào)G06T5/00GK102819824SQ20121006414
公開(kāi)日2012年12月12日 申請(qǐng)日期2012年3月12日 優(yōu)先權(quán)日2011年6月10日
發(fā)明者車俊赫, 文永秀, 全映宣, 李時(shí)和 申請(qǐng)人:三星電子株式會(huì)社