立體源圖像校準(zhǔn)方法和設(shè)備的制造方法
【專利說明】立體源圖像校準(zhǔn)方法和設(shè)備
[0001]本申請要求于2014年5月13日提交到韓國知識產(chǎn)權(quán)局的第10-2014-0057443號韓國專利申請的權(quán)益，其中，所述專利申請的公開通過引用全部合并于此。
技術(shù)領(lǐng)域
[0002]本公開在此涉及用于校準(zhǔn)立體源圖像的方法和設(shè)備。
【背景技術(shù)】
[0003]立體三維(3D)視頻圖像、多視點(diǎn)3D視頻圖像或光場3D視頻圖像可能必須被用于對多視點(diǎn)裸眼3D顯示器或光場裸眼3D顯示器執(zhí)行基于真實(shí)內(nèi)容的3D渲染。近年來，很多真實(shí)3D視頻圖像是立體形式的，其中，在立體形式中，圖像被劃分為左眼圖像和右眼圖像。對于被廣泛用于裸眼3D顯示器的多視點(diǎn)產(chǎn)生方法，當(dāng)輸入立體視頻圖像時(shí)，通過深度估計(jì)來恢復(fù)深度信息，并通過基于恢復(fù)的深度圖執(zhí)行基于深度圖像的渲染(DIBR)來合成多視點(diǎn)視頻圖像。

【發(fā)明內(nèi)容】

[0004]提供用于對立體源圖像進(jìn)行校準(zhǔn)的方法和設(shè)備，其中，所述方法和設(shè)備用于在無需執(zhí)行對相機(jī)模型最優(yōu)化的處理的情況下減少可通過圖像旋轉(zhuǎn)引起的黑色區(qū)域的出現(xiàn)，其中，所述方法和設(shè)備基于包括在左源圖像和右源圖像的特征對應(yīng)信息中的垂直坐標(biāo)值之間的差，通過回歸分析來產(chǎn)生垂直視差圖，進(jìn)而對通過圖像扭曲的幾何差進(jìn)行校準(zhǔn)。
[0005]提供用于對立體源圖像進(jìn)行校準(zhǔn)的方法和設(shè)備，其中，所述方法和設(shè)備用于在根據(jù)特征對應(yīng)信息獲得特征的位置處的平均值和方差之后，對整個(gè)圖像執(zhí)行顏色校準(zhǔn)，隨后局部地執(zhí)行直方圖匹配，以對局部誤差進(jìn)行校準(zhǔn)。
[0006]提供用于對立體源圖像進(jìn)行校準(zhǔn)的方法和設(shè)備，其中，所述方法和設(shè)備用于通過使用提取相同的特征并對相同的特征進(jìn)行匹配而產(chǎn)生的特征對應(yīng)信息來對幾何差和顏色差進(jìn)行fe準(zhǔn)。
[0007]其它方面將部分地在隨后的描述中闡述，并部分地從描述將是清楚的，或者可通過對公開的實(shí)施例的實(shí)踐來獲知。
[0008]根據(jù)本公開的一方面，一種立體源圖像校準(zhǔn)方法可包括:接收立體源圖像的輸入，并分別從來自立體源圖像的左源圖像和右源圖像提取特征；通過將分別從左源圖像和右源圖像提取的特征相互匹配來產(chǎn)生特征對應(yīng)信息；基于來自特征對應(yīng)信息的垂直坐標(biāo)值之間的差，產(chǎn)生針對左源圖像和右源圖像的垂直視差圖；通過使用產(chǎn)生的垂直視差圖來對左源圖像和右源圖像之間的差進(jìn)行校準(zhǔn)。
[0009]垂直視差圖可基于垂直坐標(biāo)值之間的差通過回歸分析來產(chǎn)生，并統(tǒng)計(jì)地表示針對左源圖像和右源圖像的垂直坐標(biāo)值之間的差。
[0010]對差進(jìn)行校準(zhǔn)的步驟可包括:對左源圖像和右源圖像中的至少一個(gè)源圖像執(zhí)行偏移，以對左源圖像和右源圖像之間的垂直方向上的差進(jìn)行校準(zhǔn)。
[0011]所述立體源圖像校準(zhǔn)方法還可包括:通過使用特征對應(yīng)信息對左源圖像和右源圖像執(zhí)行光度校準(zhǔn)。
[0012]執(zhí)行光度校準(zhǔn)的操作可包括:計(jì)算左源圖像和右源圖像在包括在特征對應(yīng)信息中的位置處的統(tǒng)計(jì)值，并基于計(jì)算出的統(tǒng)計(jì)值對左源圖像和右源圖像執(zhí)行第一顏色校準(zhǔn)；通過對經(jīng)由執(zhí)行第一顏色校準(zhǔn)所獲得的左源圖像和右源圖像執(zhí)行直方圖匹配來執(zhí)行第二顏色校準(zhǔn)。
[0013]統(tǒng)計(jì)值可包括從針對左源圖像和右源圖像的彩色圖像強(qiáng)度的平均值的算術(shù)平均值和幾何平均值選擇的統(tǒng)計(jì)值。
[0014]第一顏色校準(zhǔn)可包括:對左源圖像和右源圖像的平均值進(jìn)行校準(zhǔn)以與統(tǒng)計(jì)值對應(yīng)。
[0015]統(tǒng)計(jì)值可包括從左源圖像和右源圖像的彩色圖像強(qiáng)度的方差值的最小值、最大值、算術(shù)平均值和幾何平均值選擇的統(tǒng)計(jì)值。
[0016]第一顏色校準(zhǔn)可包括:對左源圖像和右源圖像的方差值進(jìn)行校準(zhǔn)以與統(tǒng)計(jì)值對應(yīng)。
[0017]光度校準(zhǔn)可在從紅藍(lán)綠RGB、CIELab和YCbCr選擇的顏色空間中被執(zhí)行。
[0018]多個(gè)立體源圖像可被順序地輸入。
[0019]針對第一立體源圖像的差校準(zhǔn)和針對第二立體源圖像的差校準(zhǔn)可被獨(dú)立地執(zhí)行。
[0020]如果從所述多個(gè)立體源圖像選擇的至少兩個(gè)立體源圖像形成場景，則針對所述至少兩個(gè)立體源圖像的差校準(zhǔn)可通過使用相同的垂直視差圖被執(zhí)行。
[0021]所述立體源圖像校準(zhǔn)方法還可包括:執(zhí)行修描處理以對在校準(zhǔn)后的左源圖像和右源圖像的每個(gè)邊界附近產(chǎn)生的孔洞區(qū)域進(jìn)行填充。
[0022]回歸分析可包括線性回歸分析、廣義線性回歸分析、非線性回歸分析、核回歸分析、非參數(shù)回歸分析和穩(wěn)健回歸分析。
[0023]所述立體源圖像校準(zhǔn)方法還可包括:在通過使用產(chǎn)生的垂直視差圖對左源圖像和右源圖像之間的差進(jìn)行校準(zhǔn)之后，恢復(fù)用于左源圖像和右源圖像的深度信息。
[0024]根據(jù)本公開的一方面，一種立體源圖像校準(zhǔn)設(shè)備可包括:特征提取單元(特征提取器)，用于接收立體源圖像的輸入，并分別從來自立體源圖像的左源圖像和右源圖像提取特征；特征匹配單元(特征匹配器)，用于通過將分別從左源圖像和右源圖像提取的特征相互匹配來產(chǎn)生特征對應(yīng)信息；幾何校準(zhǔn)單元(幾何校準(zhǔn)器)，用于基于來自特征對應(yīng)信息的垂直坐標(biāo)值之間的差，產(chǎn)生針對左源圖像和右源圖像的垂直視差圖，并通過使用產(chǎn)生的垂直視差圖來對左源圖像和右源圖像之間的差進(jìn)行校準(zhǔn)。
[0025]垂直視差圖可基于垂直坐標(biāo)值之間的差通過回歸分析來產(chǎn)生，并統(tǒng)計(jì)地表示針對左源圖像和右源圖像的垂直坐標(biāo)值之間的差。
[0026]幾何校準(zhǔn)單元可對從包括左源圖像和右源圖像的組選擇的至少一個(gè)源圖像執(zhí)行偏移，以對左源圖像和右源圖像之間的垂直方向上的差進(jìn)行校準(zhǔn)。
[0027]所述立體源圖像校準(zhǔn)設(shè)備還可包括:光度校準(zhǔn)單元(光度校準(zhǔn)器)，用于對通過使用特征對應(yīng)信息對左源圖像和右源圖像執(zhí)行光度校準(zhǔn)。
[0028]光度校準(zhǔn)單元可包括:第一顏色校準(zhǔn)單元(第一顏色校準(zhǔn)器)，用于計(jì)算左源圖像和右源圖像在包括在特征對應(yīng)信息中的位置處的統(tǒng)計(jì)值，并基于計(jì)算出的統(tǒng)計(jì)值對左源圖像和右源圖像執(zhí)行第一顏色校準(zhǔn)；第二顏色校準(zhǔn)單元(第二顏色校準(zhǔn)器)，用于通過對經(jīng)由執(zhí)行第一顏色校準(zhǔn)所獲得的左源圖像和右源圖像執(zhí)行直方圖匹配來執(zhí)行第二顏色校準(zhǔn)。
[0029]統(tǒng)計(jì)值可包括從針對左源圖像和右源圖像的彩色圖像強(qiáng)度的平均值的算術(shù)平均值和幾何平均值選擇的統(tǒng)計(jì)值。
[0030]第一顏色校準(zhǔn)單元可對左源圖像和右源圖像的平均值進(jìn)行校準(zhǔn)以與統(tǒng)計(jì)值對應(yīng)。
[0031]統(tǒng)計(jì)值可包括從針對左源圖像和右源圖像的彩色圖像強(qiáng)度的方差值的最小值、最大值、算術(shù)平均值和幾何平均值選擇的統(tǒng)計(jì)值。
[0032]第一顏色校準(zhǔn)單元可對左源圖像和右源圖像的方差值進(jìn)行校準(zhǔn)以與統(tǒng)計(jì)值對應(yīng)。
[0033]所述立體源圖像校準(zhǔn)設(shè)備還可包括:修描單元(修描器)，用于對在校準(zhǔn)后的左源圖像和右源圖像的每個(gè)邊界附近產(chǎn)生的孔洞區(qū)域進(jìn)行填充。
[0034]特征提取器可依次接收多個(gè)立體源圖像的輸入，幾何校準(zhǔn)器可獨(dú)立地執(zhí)行針對第一立體源圖像的差校準(zhǔn)和針對第二立體源圖像的差校準(zhǔn)。
[0035]所述立體源圖像校準(zhǔn)設(shè)備還可包括:深度估計(jì)器，用于在幾何校準(zhǔn)器通過使用產(chǎn)生的垂直視差圖對左源圖像和右源圖像之間的差進(jìn)行校準(zhǔn)之后，恢復(fù)用于左源圖像和右源圖像的深度信息。
[0036]根據(jù)本公開的一方面，一種立體源圖像校準(zhǔn)設(shè)備可包括:特征提取單元(特征提取器)，用于接收立體源圖像的輸入，并分別從來自立體源圖像的左源圖像和右源圖像提取特征；特征匹配單元(特征匹配器)，用于通過將分別從左源圖像和右源圖像提取的特征相互匹配來產(chǎn)生特征對應(yīng)信息；第一顏色校準(zhǔn)單元(第一顏色校準(zhǔn)器)，用于計(jì)算左源圖像和右源圖像在來自特征對應(yīng)信息的位置處的統(tǒng)計(jì)值，并基于計(jì)算出的統(tǒng)計(jì)值對左源圖像和右源圖像執(zhí)行第一顏色校準(zhǔn)；第二顏色校準(zhǔn)單元(第二顏色校準(zhǔn)器)，用于通過對經(jīng)由執(zhí)行第一顏色校準(zhǔn)獲得的左源圖像和右源圖像執(zhí)行直方圖匹配來執(zhí)行第二顏色校準(zhǔn)。
[0037]根據(jù)本公開的一方面，一種圖像處理設(shè)備可包括:立體源圖像校準(zhǔn)單元(立體源圖像校準(zhǔn)器)，用于接收立體源圖像的輸入，分別從來自立體源圖像的左源圖像和右源圖像提取特征，通過將分別從左源圖像和右源圖像提取的特征相互匹配來產(chǎn)生特征對應(yīng)信息，基于特征對應(yīng)信息對從包括左源圖像和右源圖像之間的顏色差和幾何差的組選擇的至少一個(gè)進(jìn)行校準(zhǔn)；深度估計(jì)單元(深度估計(jì)器)，用于通過對在校準(zhǔn)后的左源圖像和右源圖像中的深度的估計(jì)來恢復(fù)深度信息；基于深度的渲染單元(基于深度的渲染器)，用于基于恢復(fù)的深度信息，產(chǎn)生多視點(diǎn)圖像。
[0038]根據(jù)本公開的一方面，一種存儲(chǔ)有計(jì)算機(jī)程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，當(dāng)所述計(jì)算機(jī)程序由計(jì)算機(jī)執(zhí)行時(shí)，所述計(jì)算機(jī)程序可執(zhí)行在此公開的方法中的任何一種方法。
[0039]根據(jù)本公開的一方面，一種立體源圖像校準(zhǔn)方法包括:接收左源圖像和右源圖像的輸入，并分別從左源圖像和右源圖像提取特征；通過將分別從左源圖像和右源圖像提取的特征相互匹配來產(chǎn)生特征對應(yīng)信息；通過選擇性地使用產(chǎn)生的特征對應(yīng)信息來選擇性地執(zhí)行幾何校準(zhǔn)和光度校準(zhǔn)中的一個(gè)或兩個(gè)來對左源圖像和右源圖像進(jìn)行校準(zhǔn)；在對左源圖像和右源圖像的校準(zhǔn)被執(zhí)行之后，恢復(fù)用于左源圖像和右源圖像的深度信息。
[0040]執(zhí)行幾何校準(zhǔn)的操作可包括:基于來自特征對應(yīng)信息的垂直坐標(biāo)值之間的差，產(chǎn)生針對左源圖像和右源圖像的垂直視差圖；通過使用產(chǎn)生的垂直視差圖，對左源圖像和右源圖像之間的差進(jìn)行校準(zhǔn)；對左源圖像和右源圖像中的至少一個(gè)執(zhí)行偏移，以對左源圖像和右源圖像之間的垂直方向上的差進(jìn)行校準(zhǔn)。
[0041]當(dāng)選擇性地校準(zhǔn)的操作包