適應(yīng)于任意投影機(jī)群及投影屏幕的高魯棒性幾何校正方法
【專(zhuān)利摘要】本發(fā)明屬于計(jì)算機(jī)系統(tǒng)的圖像顯示處理，特別涉及到高魯棒性全自動(dòng)的幾何校正方法。本發(fā)明擬建立精細(xì)的投影特征圖像和相機(jī)多視角圖像間的映射關(guān)系，從而形成投影圖像中每個(gè)像素相對(duì)于觀察點(diǎn)的入射光角度坐標(biāo)關(guān)系網(wǎng)格，使復(fù)雜的三維幾何標(biāo)定問(wèn)題變成相對(duì)簡(jiǎn)單的二維幾何標(biāo)定問(wèn)題。在此基礎(chǔ)之上，借助高動(dòng)態(tài)范圍成像技術(shù)，可使用普通攝像頭和低精度云臺(tái)測(cè)量投影儀每個(gè)像素位置的色彩信息，并建立整個(gè)投影幕上的光場(chǎng)分布數(shù)學(xué)模型，通過(guò)非線性最優(yōu)化求解技術(shù)自主完成對(duì)所有投影儀進(jìn)行色彩校正和邊緣融合的高速計(jì)算過(guò)程。
【專(zhuān)利說(shuō)明】適應(yīng)于任意投影機(jī)群及投影屏幕的高魯棒性幾何校正方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)系統(tǒng)的圖像顯示處理，特別涉及到高魯棒性全自動(dòng)的幾何校正方法
【背景技術(shù)】
[0002]大型虛擬空間的投影屏幕一般為復(fù)雜曲面屏幕，投影畫(huà)面在屏幕上存在較為嚴(yán)重的非線性變形，需要實(shí)現(xiàn)進(jìn)行“幾何校正”。由于不同投影儀間的投影畫(huà)面存在重疊區(qū)域，需要在全局幾何對(duì)準(zhǔn)的基礎(chǔ)上進(jìn)行邊緣融合。為達(dá)到視覺(jué)無(wú)縫的投影畫(huà)面，還需要對(duì)所有投影儀進(jìn)行色彩一致性校正。故一個(gè)完整的大規(guī)模、高沉浸感虛擬空間顯示系統(tǒng)構(gòu)建工程中，存在“投影畫(huà)面生成”、“畫(huà)面分割”、“全局幾何對(duì)準(zhǔn)”、“投影儀色彩特性測(cè)量”、“投影畫(huà)面內(nèi)部幾何校正”、“多投影畫(huà)面間邊緣融合”和“多投影畫(huà)面色彩一致性校正”等一系列關(guān)鍵問(wèn)題，具有較大的工程實(shí)施難度。而解決“幾何對(duì)準(zhǔn)”和“色彩測(cè)量”問(wèn)題是整個(gè)工程中的基礎(chǔ)，其他問(wèn)題的解決都依賴于此。為構(gòu)建大規(guī)模高沉浸感虛擬空間，需要按照期望畫(huà)面校正大量復(fù)雜擺放的投影儀陣列輸入圖像以便在大規(guī)模、非規(guī)則曲面屏幕上拼接顯示出視覺(jué)無(wú)縫的連續(xù)畫(huà)面，其本質(zhì)是一個(gè)復(fù)雜的非線性反問(wèn)題，極具挑戰(zhàn)性。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提出了一套適合大規(guī)模多投影融合顯示系統(tǒng)的高魯棒性全自動(dòng)校正方法，針對(duì)大規(guī)模、復(fù)雜屏幕系統(tǒng)自動(dòng)校正系統(tǒng)缺乏高魯棒性投影高速融合與驅(qū)動(dòng)技術(shù)的情況，形成一個(gè)高運(yùn)行速度、低維護(hù)成本的解決方案以適應(yīng)大規(guī)模商用投影儀融合顯示系統(tǒng)中幾何校正的實(shí)際需求。
[0004]本發(fā)明的目的是這樣實(shí)現(xiàn)的:一種適應(yīng)于大規(guī)模投影機(jī)群及任意投影屏幕的高魯棒性校正方法，其特征在于:采用單個(gè)普通攝像頭搭載低精度云臺(tái)組成核心廉價(jià)測(cè)量設(shè)備并把攝像頭作為監(jiān)視設(shè)備監(jiān)視投影特征圖像；使單個(gè)攝像頭通過(guò)旋轉(zhuǎn)拍攝投影畫(huà)面的方式完成投影儀-相機(jī)間幾何初始自主標(biāo)定過(guò)程；通過(guò)建立光場(chǎng)數(shù)學(xué)模型，完成投影儀-屏幕亮度場(chǎng)的快速測(cè)量；采用全局幾何優(yōu)化模型修正投影儀-相機(jī)間幾何初始自主標(biāo)定結(jié)果，并自主補(bǔ)齊由于設(shè)備遮擋造成的幾何特征點(diǎn)缺失數(shù)據(jù)，完成投影儀畫(huà)面和人眼視線角度平面的像素級(jí)映射關(guān)系；利用一種快速的邊緣融合方法改善投影畫(huà)面的質(zhì)量，最終生成視覺(jué)上幾何無(wú)縫拼接多投影顯示圖像。
[0005]所述利用攝像頭作為監(jiān)視設(shè)備監(jiān)視投影特征圖像，其特征在于借助單個(gè)普通攝像頭及低精度云臺(tái)，通過(guò)單個(gè)攝像頭旋轉(zhuǎn)拍攝的方式可監(jiān)控到大規(guī)模投影機(jī)群投影到任意投影屏幕上的投影畫(huà)面。
[0006]所述的單個(gè)攝像頭通過(guò)旋轉(zhuǎn)拍攝投影畫(huà)面的方式完成投影儀-相機(jī)間幾何初始自主標(biāo)定過(guò)程，其特征在于:利用一種無(wú)須投影儀和相機(jī)標(biāo)定以及投影屏幕幾何形狀先驗(yàn)信息的網(wǎng)格細(xì)分算法，自適應(yīng)的將投影儀幀緩存圖像與相機(jī)拍攝圖像間稀疏對(duì)應(yīng)點(diǎn)網(wǎng)格細(xì)分到任意精度，從而建立投影儀幀緩存圖像與相機(jī)拍攝圖像間像素級(jí)的一一映射關(guān)系，達(dá)到圖像對(duì)準(zhǔn)的目標(biāo)。幾何標(biāo)定方法示意圖見(jiàn)圖1。
[0007]設(shè)(cx，cy)τ表示數(shù)字相機(jī)捕捉圖像中的某像素坐標(biāo)，(px, py, ρζ)τ為實(shí)際投影到曲面上的一個(gè)空間點(diǎn)坐標(biāo)。由于相機(jī)在成像過(guò)程中也可能產(chǎn)生形變，(pX，py，pz)T與(cx，cy)T之間存在一個(gè)非線性映射關(guān)系J1:R3 — R2即(cx, cy)T = (px, py, pz)。設(shè)(bx,by)τ表示投影儀幀緩存圖像中的某像素坐標(biāo)，投影屏幕上點(diǎn)(px，py, ρζ)τ與(bx，by)T之間也是一個(gè)非線性映射關(guān)系:f2R2 — R3，即f2(bx, by) = (px, py, ρζ)τ。通過(guò)投影特征圖形(如棋盤(pán)格圖、線條圖等)并利用(px，py，pz)T作為中間量，可以得到相機(jī)圖像與投影儀幀緩存圖像間稀疏的特征點(diǎn)對(duì)應(yīng)關(guān)系，即
【權(quán)利要求】
1.一種適應(yīng)于大規(guī)模投影機(jī)群及任意投影屏幕的高魯棒性幾何校正方法，其特征在于:采用單個(gè)普通攝像頭搭載低精度云臺(tái)組成核心廉價(jià)測(cè)量設(shè)備并把攝像頭作為監(jiān)視設(shè)備監(jiān)視投影特征圖像；使單個(gè)攝像頭通過(guò)旋轉(zhuǎn)拍攝投影畫(huà)面的方式完成投影儀-相機(jī)間幾何初始自主標(biāo)定過(guò)程；通過(guò)建立光場(chǎng)數(shù)學(xué)模型，完成投影儀-屏幕亮度場(chǎng)的快速測(cè)量；采用全局幾何優(yōu)化模型修正投影儀-相機(jī)間幾何初始自主標(biāo)定結(jié)果，并自主補(bǔ)齊由于設(shè)備遮擋造成的幾何特征點(diǎn)缺失數(shù)據(jù)，完成投影儀畫(huà)面和人眼視線角度平面的像素級(jí)映射關(guān)系；利用一種快速的邊緣融合方法改善投影畫(huà)面的質(zhì)量，最終生成視覺(jué)上幾何無(wú)縫拼接多投影顯示圖像。
2.如權(quán)利要求1所述的將攝像頭作為監(jiān)視設(shè)備監(jiān)視投影特征圖像，其特征在于借助單個(gè)普通攝像頭及低精度云臺(tái)，通過(guò)單個(gè)攝像頭旋轉(zhuǎn)拍攝的方式可監(jiān)控到大規(guī)模投影機(jī)群投影到任意投影屏幕上的投影畫(huà)面。
3.如權(quán)利要求1所述的完成投影儀-相機(jī)間幾何初始自主標(biāo)定過(guò)程，其特征在于:利用一種無(wú)須投影儀和相機(jī)標(biāo)定以及投影屏幕幾何形狀先驗(yàn)信息的網(wǎng)格細(xì)分算法，自適應(yīng)的將投影儀幀緩存圖像與相機(jī)拍攝圖像間稀疏對(duì)應(yīng)點(diǎn)網(wǎng)格細(xì)分到任意精度，從而建立投影儀幀緩存圖像與相機(jī)拍攝圖像間像素級(jí)的一一映射關(guān)系，達(dá)到圖像對(duì)準(zhǔn)的目標(biāo)。 設(shè)(cX，cy)T表示數(shù)字相機(jī)捕捉圖像中的某像素坐標(biāo)，(px，py，pz)T為實(shí)際投影到曲面上的一個(gè)空間點(diǎn)坐標(biāo)。由于相機(jī)在成像過(guò)程中也可能產(chǎn)生形變，(ρχ，py，口叾”與(cx, cy)T之間存在一個(gè)非線性映射關(guān)系::R3 — R2，即(cx, cy)T = fjpx, py, pz)。設(shè)示投影儀幀緩存圖像中的某像素坐標(biāo)，投影屏幕上點(diǎn)(pX，py，pz)T與(bx，by)T之間也是一個(gè)非線性映射關(guān)系:?:R2 — R3，即f2(bx, by) = (px, py, pz)T。通過(guò)投影特征圖形(如棋盤(pán)格圖、線條圖等)并利用(px，py，pz)T作為中間量，可以得到相機(jī)圖像與投影儀幀緩存圖像間稀疏的特征點(diǎn)對(duì) 應(yīng)關(guān)系，即
(bx, by)T = f,[(px py ρζ)τ] = f2_1 {f 1 [ (cx cy)T]} = g(cx, cy)
其中 g = f2-lfr1° 再利用相機(jī)位置和視角的固定性，最終可通過(guò)(cx，Cy)T將投影儀幀緩存每個(gè)像素坐標(biāo)與已知按照觀察者視點(diǎn)建立的視角信息(0，<P )建立一一映射關(guān)系:(bx,by) O IPcamera{cx,cy) limera{cx,cy) ^ (θ,φ) 其中l(wèi)Lmera(cx, )為相機(jī)拍攝的投影儀投影特征圖像時(shí)的照片，
為經(jīng)緯儀投射已知經(jīng)緯度光點(diǎn)的點(diǎn)陣照片。
4.如權(quán)利要求1所述的通過(guò)建立的光場(chǎng)數(shù)學(xué)模型，完成投影儀-屏幕亮度場(chǎng)的快速測(cè)量，其特征在于:只需要測(cè)量投影區(qū)域中稀疏點(diǎn)的反射亮度即可估計(jì)出整個(gè)投影區(qū)域的亮度分布，具有較快的測(cè)量速度并較少受到噪聲和遮擋的影響。使用“投影儀-屏幕系統(tǒng)”數(shù)學(xué)模型后，可靈活采用照度計(jì)測(cè)量投影區(qū)域稀疏點(diǎn)的反射亮度或采用數(shù)字相機(jī)測(cè)量投影區(qū)域稀疏色塊的平均反射亮度即可完成測(cè)量，特別適合在復(fù)雜的實(shí)際工程環(huán)境中投影儀-屏幕亮度場(chǎng)的快速測(cè)量。 設(shè)及=及(m，v)為投影屏幕曲面j =污(m，v)為其法向量方程。投影儀光場(chǎng)模型為:WtorC0)= Ψ COSe'(Θ)，即采用相機(jī)鏡頭的漸暈現(xiàn)象的數(shù)學(xué)模型。假設(shè)屏幕為漫反射，光線強(qiáng)度與距離成反比=Zrefleet = ^/c.+d^，Ψ為投影儀最大亮度值，^為投影儀朝向，P為投影儀位置，則“投影儀-屏幕系統(tǒng)”的光場(chǎng)分布模型為:
5.如權(quán)利要求1所述的采用全局幾何優(yōu)化模型修正投影儀-相機(jī)間幾何初始自主標(biāo)定結(jié)果，其特征在于:建立投影儀特征圖像幾何變形數(shù)學(xué)模型(如方程):
6.如權(quán)利要求1所述的采用一種快速的邊緣融合方法改善投影畫(huà)面的質(zhì)量，其特征在于:在對(duì)所有投影儀像素級(jí)幾何標(biāo)定的基礎(chǔ)上，將多投影儀拼接顯示系統(tǒng)的邊緣融合問(wèn)題表述為亮度分布全局一致性的非線性最優(yōu)化問(wèn)題，并采用GPU硬件加速的迭代求解方法快速給出優(yōu)化問(wèn)題的近似解。使用該方法可以對(duì)任意形狀、任意重疊數(shù)量的投影重疊區(qū)域進(jìn)行完全自動(dòng)化的邊緣融合，并且確保融合區(qū)域達(dá)到投影重疊區(qū)域的實(shí)際邊界(最大可能的融合區(qū)域)。
【文檔編號(hào)】H04N5/74GK104036475SQ201310307204
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2013年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】張璠璠, 戴價(jià), 陳洪林 申請(qǐng)人:成都智慧星球科技有限公司