專利名稱：用于對(duì)準(zhǔn)投影儀陣列的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及背投顯示設(shè)備，更具體地涉及對(duì)對(duì)接(abut)的背 投顯示設(shè)備的陣列進(jìn)行對(duì)準(zhǔn)。
背景技術(shù)：
在指揮和控制情形下常使用(拼接顯示的)多個(gè)背投顯示設(shè)備的陣 列。借助于大的顯示塊(tile)陣列，能夠以利用單個(gè)顯示單元無(wú)法獲得 的高分辨率來(lái)顯示大的圖像。通常，不同的圖像通過(guò)使用組合的硬件而 同時(shí)顯示。例如，在監(jiān)視應(yīng)用中，視頻、樓面平面圖和環(huán)境數(shù)據(jù)能夠通 過(guò)各種顯示塊同時(shí)顯示。
在典型的顯示排列中，多個(gè)顯示塊被疊置3行或4行高，且通常為 幾十列寬。當(dāng)背投顯示塊被構(gòu)造成顯示器時(shí)，在相鄰顯示塊之間存在水 平的和垂直的縫隙(接縫)。為了使這些接縫的寬度和高度最小化，這些 顯示塊被設(shè)計(jì)成具有無(wú)邊界的顯示屏幕且每個(gè)投影覆蓋整個(gè)屏幕。大的 并行陣列的典型的觀看距離(viewing distance)使得約為lmm的物理接 縫不一定很明顯。
即使相鄰顯示塊的投影被接縫分開(kāi)，仍需要精確對(duì)準(zhǔn)這些顯示塊。 一個(gè)可能的假設(shè)是如果這些投影和這些屏幕在物理上完全地對(duì)準(zhǔn)，艮P， 投影的各角(conor)正好對(duì)應(yīng)于屏幕的各角，則對(duì)準(zhǔn)是自動(dòng)的。然而，這 僅在如下條件下成立(a)該拼接排列使得這些屏幕形成具有非常直的 線的柵格，(b)可以構(gòu)建即使在被移動(dòng)時(shí)仍保持對(duì)準(zhǔn)的多個(gè)顯示塊，以 及(c)每個(gè)投影完全呈矩形且具有均勻的間隔。這種排列中多個(gè)顯示塊 之間的不對(duì)準(zhǔn)是由于(a)、 (b)和(c)中的任意組合不成立造成的。
即使觀看距離相對(duì)于整個(gè)顯示結(jié)構(gòu)來(lái)說(shuō)相對(duì)較遠(yuǎn)，眾所周知的是， 即使小的不連續(xù)性對(duì)于觀眾來(lái)說(shuō)也是令人煩惱的。當(dāng)顯示內(nèi)容是動(dòng)態(tài)的
且沿著與屏幕之間的不連續(xù)性平行的方向移動(dòng)時(shí)尤其如此。
相反，其投影在顯示表面上重疊的正面投影系統(tǒng)和背投系統(tǒng)的優(yōu)點(diǎn) 是能夠?qū)ν队柏暙I(xiàn)求平均以提供重疊區(qū)域中的平滑過(guò)渡。通常，這是通
.過(guò)對(duì)投影圖像的重疊部分中的圖像進(jìn)行預(yù)混合(pre-blend)和彎折(warp) 而實(shí)現(xiàn)，參見(jiàn)Raskar等人的"Blending Multiple Views",The tenth Pacific conference on computer graphics and applications, page 145-153，October 2002。當(dāng)沒(méi)有完全對(duì)準(zhǔn)時(shí)尤其如此。
然而，在對(duì)接背投時(shí)，具有或沒(méi)有小的接縫，從而不能利用該混合 技術(shù)，因而對(duì)準(zhǔn)誤差必須最小。而且，在并行顯示實(shí)時(shí)數(shù)據(jù)和圖像時(shí)， 對(duì)來(lái)自不同源的輸出圖像進(jìn)行預(yù)混合和/或彎折是不切實(shí)際的。
已經(jīng)將攝像機(jī)用于對(duì)準(zhǔn)正投影儀系統(tǒng)。輸出圖像被投影。攝像機(jī)獲 取投影圖像的輸入圖像，且對(duì)準(zhǔn)過(guò)程對(duì)不對(duì)準(zhǔn)進(jìn)行校正。在大多數(shù)情況 下，對(duì)準(zhǔn)包括在顯示之前對(duì)輸出信號(hào)進(jìn)行混合和彎折，參見(jiàn)Raskar等人 的"Multiprojector Displays using Camera-based Registration", In IEEE Visualization, October 1999， Raskar等人的"A Low Cost Projector mosaic with Fast Registration",In Fifth Asian Conference on Computer Vision ，pages 161-168，January 2002，以及Sukthankar等人的"Smarter Presentations: Exploiting Homography in Camera-Projector Systems",In International Conference on Computer Vision, 2001。在這些情況下，用于獲得投影儀姿 態(tài)的分解不是必須的。而是，攝像機(jī)和投影儀之間的單應(yīng)性(homography) 可直接用于對(duì)投影儀輸入圖像進(jìn)行彎折。
對(duì)于大型多投影儀顯示器，需要某種全局登記以確保對(duì)準(zhǔn)總體顯示， 參見(jiàn)Chen等人的"Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees" ， IEEE Visualization 2002禾口 Raskar 等人的"ilamps : geometrically aware and self-configuring projectors", ACM Trans, Graph.， 22(3):809國(guó)818， 2003 。
另 一種系統(tǒng)是將圖像彎折和鏡像調(diào)節(jié)組合起來(lái)以弓I導(dǎo)投影到不同的 位置，參見(jiàn)Pinhanez等人的"The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces" , Ubiquitous Computing
2001(Unicomp，，01)， September 2001以及Pinhanez等人的"Using a Steerable Projector and a Camera to Transform Surfaces into Interactive Displays" ， ACM Conference on Human Factors in Computing Systems(CHI 2001), pages 369-370,March 2001。投影引入到表面上的失真可以從攝像機(jī) 圖像而確定，并通過(guò)對(duì)輸出圖像進(jìn)行預(yù)彎折來(lái)補(bǔ)償?？刹倏v的鏡像使得 投影到顯示表面的不同區(qū)域。鏡像不對(duì)投影引起的表面上的任何失真進(jìn) 行補(bǔ)償。
希望自動(dòng)地對(duì)準(zhǔn)多個(gè)對(duì)接的背投設(shè)備。

發(fā)明內(nèi)容
提供了以下系統(tǒng)和方法，其通過(guò)對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行參數(shù)化粗 對(duì)準(zhǔn)并通過(guò)對(duì)每個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行非參數(shù)化精細(xì)對(duì)準(zhǔn)來(lái) 對(duì)準(zhǔn)投影儀陣列。也可以對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行該非參數(shù)化精細(xì)對(duì)準(zhǔn)。
本發(fā)明提供了一種用于自動(dòng)對(duì)準(zhǔn)多個(gè)背投顯示塊的系統(tǒng)和方法。通 過(guò)應(yīng)用粗略的參數(shù)化對(duì)準(zhǔn)階段，接著是非參數(shù)化的精細(xì)的細(xì)化階段，我 們可以實(shí)現(xiàn)非常接近手動(dòng)對(duì)準(zhǔn)的精度。自動(dòng)對(duì)準(zhǔn)相較于手動(dòng)對(duì)準(zhǔn)具有幾 項(xiàng)優(yōu)勢(shì)。首先，自動(dòng)對(duì)準(zhǔn)不需要對(duì)準(zhǔn)專家來(lái)執(zhí)行對(duì)準(zhǔn)。假設(shè)每個(gè)顯示塊 具有用于調(diào)節(jié)投影的6個(gè)自由度，對(duì)于經(jīng)驗(yàn)不足的人而言對(duì)準(zhǔn)并非是簡(jiǎn) 單明了的。
第二個(gè)優(yōu) 點(diǎn)是自動(dòng)對(duì)準(zhǔn)可以對(duì)背投顯示塊的同時(shí)更新能力起調(diào)節(jié) (leverage)作用。因而，與手工對(duì)準(zhǔn)相比，顯著減少了進(jìn)行對(duì)準(zhǔn)所需的 時(shí)間。


圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的背投設(shè)備的陣列的正視圖； 圖2A是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的背投設(shè)備的側(cè)視圖； 圖2B是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的對(duì)準(zhǔn)方法的流程圖； 圖3是理想點(diǎn)和當(dāng)前投影之間的x、 y增量(delta)的圖； 圖4是相鄰?fù)队暗奶卣鼽c(diǎn)的圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的對(duì)單個(gè)投影儀進(jìn)行對(duì)準(zhǔn)的第一 階段流程圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的對(duì)單個(gè)投影儀進(jìn)行對(duì)準(zhǔn)的第二 階段流程圖7是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的對(duì)多個(gè)投影儀進(jìn)行對(duì)準(zhǔn)的流程
圖8是理想特征點(diǎn)對(duì)準(zhǔn)的圖9A是在根據(jù)本發(fā)明的一個(gè)實(shí)施方式進(jìn)行對(duì)準(zhǔn)之前的特征的圖案；
以及
圖9B是在根據(jù)本發(fā)明的一個(gè)實(shí)施方式進(jìn)行對(duì)準(zhǔn)之后的特征的圖案。
具體實(shí)施例方式
圖1示出了根據(jù)本發(fā)明的背投設(shè)備(顯示塊)的陣列110。例如，該 陣列具有4行和10列的顯示塊200。具有己知特征的對(duì)準(zhǔn)圖案被背投影 到顯示塊的屏幕上。特征源于屏幕像素。參見(jiàn)圖2A，本發(fā)明提供了通過(guò) 使用由攝像機(jī)120獲取的輸入圖像121對(duì)顯示塊進(jìn)行對(duì)準(zhǔn)的系統(tǒng)和方法。 盡管本發(fā)明是針對(duì)非重疊背投陣列進(jìn)行描述，但是應(yīng)當(dāng)理解的是，根據(jù) 本發(fā)明的實(shí)施方式還可以應(yīng)用于重疊背投，或應(yīng)用于顯示非重疊或重疊 圖像的正投影儀。
圖2A示出了一個(gè)顯示塊200的側(cè)視圖。該顯示塊包括顯示屏幕210、 投影儀220、鏡230和其上安裝有該投影儀的6個(gè)自由度(6DoF)(即， 三個(gè)平移和三個(gè)旋轉(zhuǎn))的可調(diào)節(jié)平臺(tái)240。光路221通過(guò)以45度角安裝 的鏡而"折疊"。投影儀的姿態(tài)可以通過(guò)該平臺(tái)的6個(gè)步進(jìn)馬達(dá)來(lái)調(diào)節(jié)。 該馬達(dá)以馬達(dá)步進(jìn)單位(steppingunit)來(lái)移動(dòng)投影儀。因此，如下所述， 我們確定馬達(dá)的步進(jìn)單位和屏幕像素之間的關(guān)系。
攝像機(jī)120經(jīng)由輸入端口與常規(guī)的計(jì)算機(jī)系統(tǒng)130 (例如，PC或膝
上設(shè)備)相連。該計(jì)算機(jī)系統(tǒng)包括微處理器、存儲(chǔ)器、總線和I/0設(shè)備。 該計(jì)算機(jī)系統(tǒng)還經(jīng)由輸出端口連接到投影儀。
系統(tǒng)中可能存在若干失真源。攝像機(jī)透鏡和/或投影儀機(jī)透鏡可能存
在桶形失真。還可能存在由于鏡230的曲率而導(dǎo)致的非線性失真和由于 屏幕210的曲率而導(dǎo)致的少量失真。這些失真導(dǎo)致顯示塊之間的不對(duì)準(zhǔn)。 因此，如圖2B所示，該計(jì)算機(jī)系統(tǒng)可以根據(jù)本發(fā)明的一個(gè)實(shí)施方式而執(zhí) 行對(duì)準(zhǔn)方法250。
該方法首先對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行參數(shù)化粗對(duì)準(zhǔn)500。然后，可 選地，對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行第一非參數(shù)化精細(xì)對(duì)準(zhǔn)600。最后，對(duì)每 個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行第二非參數(shù)化對(duì)準(zhǔn)700。參數(shù)化對(duì)準(zhǔn)對(duì) 某個(gè)等式進(jìn)行求解以直接計(jì)算調(diào)節(jié)參數(shù)。非參數(shù)化對(duì)準(zhǔn)是試圖最小化對(duì) 準(zhǔn)誤差的迭代方法。對(duì)每個(gè)投影儀獨(dú)立執(zhí)行第一非參數(shù)化對(duì)準(zhǔn)，而對(duì)每 個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行第二非參數(shù)化對(duì)準(zhǔn)。
在對(duì)準(zhǔn)過(guò)程中，每個(gè)投影儀在屏幕上顯示具有已知特征的對(duì)準(zhǔn)圖案 (投影)。圖9A和9B示出了在根據(jù)本發(fā)明的實(shí)施方式進(jìn)行對(duì)準(zhǔn)之前和 之后2x2的顯示塊陣列的特征圖案。我們使用用于2D和3D坐標(biāo)的齊次 (homogenous)符號(hào)。觀察到的關(guān)鍵之處在于，從光學(xué)角度來(lái)看，投影 儀在本質(zhì)上類似于攝像機(jī)。這使得我們能夠?qū)⑼队皟x模擬成針孔設(shè)備。 背投顯示塊的屏幕210被定義為3D空間中的具有坐標(biāo)X產(chǎn)(x，y,z，l)T的 平面，其中T是轉(zhuǎn)置算子。該屏幕可以通過(guò)攝像機(jī)120觀察到。我們假 設(shè)該屏幕的平面與Z^O深度的平面相符。因而，我們有Xs-(X，Y,0,l)T。
攝像機(jī)圖像平面的坐標(biāo)表示為Xe=(U，V，l)T，且投影儀圖像平面的坐 標(biāo)為Xp二(U,V，l)T，其中對(duì)于齊次坐標(biāo)(u,v，w)，
U二u/w且V=v/w 。
我們可以使用以下的攝像機(jī)(投影儀)投影矩陣將3D屏幕點(diǎn)與2D 圖像點(diǎn)聯(lián)系起來(lái)
jc三戶jr = j[及i r〗z, (i)
其中A是攝像機(jī)(投影儀)的固有參數(shù)的矩陣，且R、 T是相對(duì)于 世界坐標(biāo)系統(tǒng)的旋轉(zhuǎn)和平移。在我們的情況中，如通過(guò)攝像機(jī)觀看的那 樣，世界坐標(biāo)系統(tǒng)具有位于屏幕的左上角的原點(diǎn)。
參數(shù)化對(duì)準(zhǔn)
如上所述，投影儀220安裝在6 DoF可調(diào)節(jié)平臺(tái)240上。這6個(gè)自
由度包括3個(gè)旋轉(zhuǎn)自由度和3個(gè)平移自由度。幾何對(duì)準(zhǔn)方法250的目標(biāo)
確定投影儀相對(duì)于屏幕的當(dāng)前姿態(tài)(R， T); 確定當(dāng)前姿態(tài)和理想姿態(tài)之間的差異；以及 根據(jù)該差異來(lái)調(diào)節(jié)該平臺(tái)。 分解為R和T
為確定投影儀相對(duì)于屏幕的姿態(tài)，我們從公式(1)和代表屏幕角的 3D點(diǎn)觀察到
<formula>formula see original document page 9</formula> (2)
其中4《&T]是3x3矩陣，它實(shí)際上是由屏幕平面引起的單應(yīng)性。 如果矩陣A己知，則通過(guò)左乘逆矩陣A"，單應(yīng)性可以分解為R,、 R2和T。
如圖5所示，我們的目標(biāo)是確定針對(duì)投影儀的R和T。為此，我們 執(zhí)行下面的第一粗對(duì)準(zhǔn)階段500的步驟。我們確定(510)投影儀的固有 參數(shù)Ap，并且我們確定(520)屏幕和攝像機(jī)二者的圖像平面之間的單應(yīng) 性Hes，這兩個(gè)步驟一次性地執(zhí)行。我們確定(530)投影儀和攝像機(jī)二 者的圖像平面之間的單應(yīng)性Hpe。我們根據(jù)H"pe.Hs。確定Hsp。我們進(jìn)行 測(cè)試(550)以查看結(jié)果是否實(shí)現(xiàn)了所期望的精度，并接受(599)結(jié)果。 否則，我們確定(560)是否已經(jīng)執(zhí)行了最大次數(shù)的迭代，并且如果為真 則退出。
否則，我們利用逆矩陣A'、對(duì)H,p進(jìn)行分解(570)以獲得旋轉(zhuǎn)矩陣 R,、 R2以及平移矩陣T，并將這些矩陣轉(zhuǎn)換(580)為馬達(dá)調(diào)節(jié)，相應(yīng)地 對(duì)平臺(tái)進(jìn)行調(diào)節(jié)(590)，并進(jìn)行重復(fù)(595)。
為了確定旋轉(zhuǎn)矩陣R的第三列，我們使用R為正交的這一屬性，并
投影儀固有參數(shù)
為了對(duì)單應(yīng)性Hsp進(jìn)行分解(570)，我們使用投影儀的固有參數(shù)。通
過(guò)使用可調(diào)節(jié)平臺(tái)將投影儀相對(duì)于屏幕移動(dòng)到至少三個(gè)不同姿態(tài)而執(zhí)行
該校準(zhǔn)(calibration^注意該處理也可以產(chǎn)生對(duì)投影儀透鏡的失真參數(shù)的 估計(jì)。原則上，在幾何對(duì)準(zhǔn)之前，可以分別地估計(jì)每個(gè)背投顯示塊的固 有參數(shù)。不幸的是，由于機(jī)械地調(diào)節(jié)平臺(tái)以改變投影儀的姿態(tài)而引入的 等待時(shí)間(latency),對(duì)固有參數(shù)的估計(jì)是耗時(shí)的。因此，我們針對(duì)背投 顯示塊的特定模型僅估計(jì)固有參數(shù)一次。我們假設(shè)具有相同模型的所有 其他顯示塊具有類似的固有參數(shù)。 理想投影儀姿態(tài)
平臺(tái)的調(diào)節(jié)被計(jì)算為當(dāng)前姿態(tài)和理想姿態(tài)之間的差異。我們將理想 姿態(tài)定義為把投影矩形的4個(gè)角準(zhǔn)確映射到屏幕的4個(gè)角的投影儀姿態(tài)。
對(duì)于理想姿態(tài)，我們假設(shè)沒(méi)有旋轉(zhuǎn)，且Rid^被設(shè)置為單位矩陣。投影儀
相對(duì)于屏幕的理想位置隨后由投影儀的固有參數(shù)以及屏幕各角和投影各 角之間的4個(gè)對(duì)應(yīng)關(guān)系來(lái)確定。使用等式(2)，對(duì)于焦距fx和fy,主點(diǎn) (principal point) (Uq，Vq)t，屏幕角(X,Y,0)T和投影儀像素(u,v)T，我們可以
寫出
<formula>formula see original document page 10</formula> (3)
假設(shè)位于原點(diǎn)(0，0,0)T處的屏幕角對(duì)應(yīng)于像素(0,0)T，且對(duì)于分辨率為1024 的圖像，(1， 0， 0) T對(duì)應(yīng)于(1024，0) T。 我們可以寫出
<formula>formula see original document page 10</formula>。 (4)
根據(jù)等式(4)，我們可以確定t ~ 4/1024 (5)
對(duì)于Y-和v-坐標(biāo)，我們也可以確定等式(4)和(5)，以及焦距fx。 因此，我們有得出tz的兩個(gè)等式，并且因?yàn)樗鼈兊闹迪嗨?，我們?duì)這些 值求平均以獲得最后的tz。給定tz，我們可以求解、和ty，從而獲得值Tideal。
調(diào)節(jié)
給定投影儀的當(dāng)前姿態(tài)，旋轉(zhuǎn)的三個(gè)自由度取為根據(jù)旋轉(zhuǎn)矩陣R確
定的歐拉角度。其余的三個(gè)平移的自由度根據(jù)T一Ti^確定。然后，對(duì)6 DoF平臺(tái)240的馬達(dá)進(jìn)行調(diào)節(jié)(590)。
我們對(duì)第一粗略階段500的調(diào)節(jié)執(zhí)行若千次迭代。這是必須的，因 為存在若干個(gè)誤差殘留源。首先，我們有攝像機(jī)固有參數(shù)殘留誤差。其 次，我們有投影儀殘留誤差的固有參數(shù)的殘留誤差。殘留誤差的另一來(lái) 源是即使在我們估計(jì)出了這些參數(shù)的情況下依然存在的投影儀透鏡失 真。殘留誤差的最后一個(gè)來(lái)源是由于屏幕可能并非完全是平面的。
因?yàn)椴荒芤宰銐虻木戎苯拥毓烙?jì)實(shí)際的投影角，或者由于這些角 位于屏幕矩形的外部而不能簡(jiǎn)單地直接估計(jì)出這些角，因此這些角是根 據(jù)單應(yīng)性來(lái)估計(jì)。由于上述殘留誤差，這種外推(extrapolation)處理本 身引入了投影儀角位置誤差。即使我們對(duì)更新步驟執(zhí)行多次迭代，與屏 幕對(duì)準(zhǔn)的最終精度也受到上述殘留誤差的量級(jí)的限制。因此，我們僅對(duì) 粗調(diào)節(jié)執(zhí)行最多兩次迭代。
我們使用的特定類型的背投顯示塊允許同時(shí)調(diào)節(jié)多個(gè)顯示塊的平 臺(tái)。與順序地執(zhí)行各調(diào)節(jié)相比，這導(dǎo)致速度的提高。初始的不對(duì)準(zhǔn)可能 需要第一次迭代中相對(duì)大的更新，因此該加速使得對(duì)準(zhǔn)過(guò)程的時(shí)間顯著 減小。
非參數(shù)化精度細(xì)化
對(duì)準(zhǔn)處理中的階段600是用于對(duì)第一粗對(duì)準(zhǔn)階段500之后獲得的結(jié) 果進(jìn)行細(xì)化的第一非參數(shù)化方法。第一階段過(guò)程中的初始的和可能較大 的不對(duì)準(zhǔn)通過(guò)第二階段而減小。其余的不對(duì)準(zhǔn)在量級(jí)上可能是幾個(gè)像素。 當(dāng)投影儀處于幾個(gè)像素的理想對(duì)準(zhǔn)時(shí)，我們可以做出下面的兩個(gè)假設(shè)
1. 每個(gè)自由度獨(dú)立于其他自由度；以及
2. 每次調(diào)節(jié)本質(zhì)上是近似線性的。 單個(gè)背投顯示塊
在如圖6所示的第二階段，我們將投影儀與屏幕的各角以及整個(gè)屏 幕上的特征點(diǎn)對(duì)準(zhǔn)。我們將屏幕坐標(biāo)下的這些特征點(diǎn)表示為理想點(diǎn)，見(jiàn) 圖3。圖3示出了理想點(diǎn)和當(dāng)前投影之間的x、 y增量。在對(duì)準(zhǔn)狀態(tài)下，
:水
投影上的特征與理想點(diǎn)對(duì)準(zhǔn)。如上所述，我們確定(610)單應(yīng)性<formula>formula see original document page 12</formula>
我們可以將理想點(diǎn)與當(dāng)前投影儀位置之間的增量表示為對(duì)6個(gè)自由 度的線性相關(guān)性。實(shí)際上，屏幕上的每個(gè)特征點(diǎn)給出一個(gè)這種相關(guān)性， 并且我們可以將該問(wèn)題用公式表達(dá)為線性系統(tǒng)的等式-
<formula>formula see original document page 12</formula> (6)
矩陣A中的增量是針對(duì)沿著6個(gè)自由度中每一個(gè)的小的馬達(dá)移動(dòng)而 測(cè)得的。在圖3中示出了沿b的增量。我們使用攝像機(jī)坐標(biāo)確定(620)
所有的增量。因此，我們使用Hse將理想點(diǎn)從屏幕坐標(biāo)轉(zhuǎn)換成攝像機(jī)坐標(biāo)。
我們求解(620) A.x=b，并調(diào)節(jié)(640)平臺(tái)馬達(dá)。我們進(jìn)行測(cè)試(650) 以察看是否獲得所期望的結(jié)果，如果沒(méi)有，則我們對(duì)結(jié)果進(jìn)行檢査(670)， 并且如果結(jié)果為真則接受(660)。否則，我們重復(fù)(680)。
等式(6)示出我們能夠通過(guò)計(jì)算矩陣A (為2nx6矩陣)的偽逆而 求解線性等式的系統(tǒng)。該偽逆需要計(jì)算ATA (為6x6矩陣)的逆。我們 假設(shè)ATA是非奇異且滿秩的。從而該偽逆可以使用奇異值分解(SVD) 對(duì)秩虧(rank deficiency)進(jìn)行處理來(lái)計(jì)算。然而，我們不希望遇到ATA 是非奇異的情況。該解直接指定了每個(gè)6自由度馬達(dá)被調(diào)節(jié)的單位步進(jìn)。
校準(zhǔn)
原則上，我們可以針對(duì)每個(gè)背投顯示塊在第二階段期間分別確定矩 陣A的增量。然而，實(shí)際上，對(duì)于特定的模型的背投顯示塊，我們以離 線處理的方式對(duì)這些增量進(jìn)行"校準(zhǔn)"。然后，我們假設(shè)所有其他相同模 型的背投顯示塊近似地具有類似的增量。
校準(zhǔn)步驟要求背投顯示塊在該處理開(kāi)始之前相對(duì)于屏幕近似地對(duì)
準(zhǔn)。然后，我們針對(duì)當(dāng)前近似對(duì)準(zhǔn)的狀態(tài)確定特征點(diǎn)(即屏幕像素)的 位置。接下來(lái)，我們將單自由度馬達(dá)移動(dòng)少量步進(jìn)單位，并再次確定特 征點(diǎn)的位置。這給出了步進(jìn)單位和屏幕上的像素之間的關(guān)系。
存儲(chǔ)x坐標(biāo)和y坐標(biāo)之間的增量。接下來(lái)，我們撤銷該自由度馬達(dá) 原先的移動(dòng)，重新估計(jì)特征點(diǎn)的位置，并移動(dòng)另一個(gè)單自由度的馬達(dá)， 直到所有的6個(gè)自由度馬達(dá)都被校準(zhǔn)為止。由于這些馬達(dá)的重復(fù)性誤差， 在每次撤銷之后必須對(duì)特征點(diǎn)進(jìn)行重新估計(jì)。我們?cè)跀z像機(jī)坐標(biāo)下存儲(chǔ)x 坐標(biāo)和y坐標(biāo)之間的增量。
多背投
等式(6)僅適用于單個(gè)背投顯示塊。我們的目標(biāo)是對(duì)準(zhǔn)多背投顯示 塊結(jié)構(gòu)，如圖7所示。和以前一樣，我們確定(710)單應(yīng)性Hep。然后， 對(duì)于每個(gè)顯示塊，我們確定(720)增量，確定(730)與相鄰顯示塊的 增量，求解(740) A.x=b，調(diào)節(jié)(750)馬達(dá)。檢查(760)最大迭代次 數(shù)，并退出(770)，否則針對(duì)每個(gè)顯示塊進(jìn)行重復(fù)(780)。
多個(gè)顯示塊的對(duì)準(zhǔn)是更加困難的，這是因?yàn)樘卣鲌D案的投影需要與 每個(gè)顯示塊的屏幕對(duì)準(zhǔn)，并與對(duì)接屏幕上的投影對(duì)準(zhǔn)。另一個(gè)使得這種 對(duì)準(zhǔn)更加困難的因素是相鄰?fù)队爸g沒(méi)有重疊。在理想情況下，這些投 影應(yīng)當(dāng)沿著相鄰屏幕的接縫在幾何上一致。
在我們的系統(tǒng)中，這些屏幕間隔幵大約lmm，并且這些投影應(yīng)當(dāng)對(duì) 該縫隙進(jìn)行補(bǔ)償。為了對(duì)該縫隙進(jìn)行補(bǔ)償，對(duì)于最外圈像素，需要有50 %的像素是可見(jiàn)的，而另50%像素延伸出屏幕邊界之外。
如圖8所示，利用這種補(bǔ)償，相鄰?fù)队皯?yīng)當(dāng)對(duì)接在縫隙為1 mm的 中心線800上。如果我們沿著投影的最外邊來(lái)定義特征點(diǎn)，則在理想情 況下，這些特征將沿著縫隙為lmm的中心線對(duì)準(zhǔn)。當(dāng)然，實(shí)際上我們不 能直接測(cè)量這些特征點(diǎn)，而是，我們使用單應(yīng)性進(jìn)行外推。
假如存在實(shí)際的相鄰顯示塊，就沿著4個(gè)相連的相鄰接縫外推特征 點(diǎn)。在知道特征點(diǎn)之后，如圖4所示，我們可以將不對(duì)準(zhǔn)同樣表示為特 征點(diǎn)之間的增量。
等式(7)包含等式(6)，并具有針對(duì)左(1)、右(i")、上(t)和下 (b)方相鄰顯示塊的附加的行。
<formula>formula see original document page 14</formula>
<7)
該線性等式系統(tǒng)的解(630)是A+.b。通過(guò)在等式(7)中包含等式 (6)，我們確信每個(gè)背投顯示塊保持與其屏幕對(duì)準(zhǔn)，同時(shí)與相鄰顯示塊 對(duì)準(zhǔn)。
通過(guò)將相鄰顯示塊之間的對(duì)準(zhǔn)問(wèn)題以公式表示為等式(7)中的線性 系統(tǒng)，我們可以應(yīng)用加權(quán)方案。權(quán)重影響線性等式A+.b給出的最小平方 解。加權(quán)方案可以給予單個(gè)顯示塊的特征點(diǎn)更多的重要性，或者給予沿 著與一個(gè)或更多個(gè)相鄰顯示塊的縫隙的特征點(diǎn)更多的重要性。對(duì)單個(gè)顯 示塊的特征點(diǎn)給予更多的重要性保持了與單個(gè)顯示塊的屏幕的對(duì)準(zhǔn)，但 不一定保持了與相鄰顯示塊的對(duì)準(zhǔn)。對(duì)沿著一個(gè)或更多個(gè)相鄰顯示塊的 接縫的特征給予更多的重要性導(dǎo)致相鄰顯示塊之間的對(duì)準(zhǔn)，但是不一定 保持了對(duì)單個(gè)顯示塊的屏幕的對(duì)準(zhǔn)。等式(7)示出了各個(gè)顯示塊的特征 以及沿著與相鄰顯示塊的接縫的特征具有相等的權(quán)重(值為l)的情況。
非線性失真的補(bǔ)償
僅當(dāng)系統(tǒng)中幾乎或完全沒(méi)有非線性失真時(shí)以上所有計(jì)算才是準(zhǔn)確 的。如上所述，情況當(dāng)然并非如此。若干不同源造成了總的非線性失真。 在存在非線性失真時(shí)，使用單應(yīng)性對(duì)特征位置進(jìn)行外推和插值可能導(dǎo)致
大的誤差。整個(gè)屏幕上的理想點(diǎn)是基于單應(yīng)性Hse進(jìn)行插值，而沿著相鄰
顯示塊的接縫的特征點(diǎn)是基于單應(yīng)性Hep進(jìn)行外推。因?yàn)槭窃谧钚∑椒揭?義上計(jì)算等式(6)和(7)的解，因此最可能的對(duì)準(zhǔn)具有減小的精度。
因?yàn)榉蔷€性失真是由來(lái)自若干不同源的失真組成，且不可能單獨(dú)地 觀察每個(gè)源的失真，我們?cè)噲D估計(jì)總的非線性失真。為了獲得復(fù)數(shù)形式 的失真，我們使用下面的模型來(lái)估計(jì)3自由度的雙變量多項(xiàng)式fp。,y:
<formula>formula see original document page 15</formula>我們針對(duì)y'估計(jì)類似的多項(xiàng)式。同樣，我們可以在最小平方意義上 計(jì)算多項(xiàng)式參數(shù)。給定該多項(xiàng)式，我們可以計(jì)算攝像機(jī)坐標(biāo)下的理想點(diǎn)-
其中p()是投影除法算子。不是針對(duì)x和y僅估計(jì)fp々一次，而是針對(duì)每
次迭代估計(jì)fp。,y。原因在于隨著越來(lái)越接近理想對(duì)準(zhǔn)，對(duì)fp。ty的估計(jì)也改善。
調(diào)節(jié)
將非參數(shù)化精細(xì)細(xì)化階段執(zhí)行若干次迭代。盡管對(duì)準(zhǔn)不收斂到絕對(duì)
的全局最小值，重復(fù)的測(cè)試表明，在8次迭代之后，RMS誤差達(dá)到誤差 下限(error floor)。因而，我們將非參數(shù)化細(xì)化步驟最多執(zhí)行8次迭代， 并且如果以較少迭代就達(dá)到誤差下限，則提前終止。
盡管以優(yōu)選實(shí)施方式為例描述了本發(fā)明，但應(yīng)當(dāng)理解，在本發(fā)明的 精神和范圍內(nèi)可以做出各種其他修改和變型。因此，所附權(quán)利要求的目 標(biāo)在于涵蓋落入本發(fā)明的真實(shí)精神和范圍內(nèi)的所有這種修改和變型。
權(quán)利要求
1. 一種對(duì)投影儀陣列進(jìn)行對(duì)準(zhǔn)的方法，該方法包括以下步驟對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行參數(shù)化粗對(duì)準(zhǔn)；以及對(duì)每個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行非參數(shù)化精細(xì)對(duì)準(zhǔn)。
2. 根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟-在執(zhí)行所述對(duì)準(zhǔn)的同時(shí)將對(duì)準(zhǔn)圖案投影到每個(gè)投影儀的屏幕上；以及在執(zhí)行所述對(duì)準(zhǔn)的同時(shí)獲取所述對(duì)準(zhǔn)圖案的圖像。
3. 根據(jù)權(quán)利要求2所述的方法，該方法還包括以下步驟 根據(jù)所述圖像來(lái)確定每個(gè)投影儀相對(duì)于所述投影儀的屏幕的當(dāng)前姿態(tài)；確定每個(gè)投影儀的所述當(dāng)前姿態(tài)與理想姿態(tài)之間的差異；以及 根據(jù)所述差異調(diào)節(jié)每個(gè)投影儀的姿態(tài)。
4. 根據(jù)權(quán)利要求2所述的方法，該方法還包括以下步驟對(duì)于每個(gè) 投影儀確定所述屏幕和攝像機(jī)之間的單應(yīng)性HcS;確定所述投影儀和所述攝像機(jī)之間的單應(yīng)性Hpe;以及 根據(jù)H"pe.Hw確定所述屏幕和所述投影儀之間的單應(yīng)性Hsp。
5. 根據(jù)權(quán)利要求4所述的方法，該方法還包括以下步驟對(duì)于每個(gè) 投影儀利用所述投影儀的固有參數(shù)的逆矩陣A 對(duì)單應(yīng)性Hsp進(jìn)行分解以獲得旋轉(zhuǎn)矩陣R和平移矩陣T;以及相應(yīng)地調(diào)節(jié)所述投影儀的姿態(tài)。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述投影儀是正投影儀。
7. 根據(jù)權(quán)利要求3所述的方法，其中每個(gè)投影儀安裝在具有多個(gè)馬 達(dá)的6自由度平臺(tái)上，這些馬達(dá)用于根據(jù)它們的步進(jìn)單位來(lái)調(diào)節(jié)所述投 影儀的姿態(tài)。
8. 根據(jù)權(quán)利要求5所述的方法，其中通過(guò)將所述投影儀相對(duì)于所述 屏幕移動(dòng)到至少三個(gè)不同的姿態(tài)來(lái)確定所述投影儀的所述固有參數(shù)。
9. 根據(jù)權(quán)利要求8所述的方法，該方法還包括以下步驟 基于所述固有參數(shù)，確定所述投影儀姿態(tài)相對(duì)于所述屏幕的理想姿態(tài)。
10. 根據(jù)權(quán)利要求3所述的方法，其中對(duì)這些投影儀的所述調(diào)節(jié)同 時(shí)完成。
11. 根據(jù)權(quán)利要求7所述的方法，該方法還包括以下步驟確定所述步進(jìn)單位和所述屏幕上的像素之間的關(guān)系。
12. 根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟 在執(zhí)行所述對(duì)準(zhǔn)的同時(shí)估計(jì)這些投影儀的非線性失真。
13. 根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟 對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行所述非參數(shù)化精細(xì)對(duì)準(zhǔn)。
14. 一種對(duì)投影儀陣列進(jìn)行對(duì)準(zhǔn)的系統(tǒng)，該系統(tǒng)包括 用于對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行參數(shù)化粗對(duì)準(zhǔn)的裝置；以及 用于對(duì)每個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行非參數(shù)化精細(xì)對(duì)準(zhǔn)的裝置。
15. 根據(jù)權(quán)利要求14所述的系統(tǒng)，該系統(tǒng)還包括-用于對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行所述非參數(shù)化精細(xì)對(duì)準(zhǔn)的裝置。
16. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中在執(zhí)行所述對(duì)準(zhǔn)的同時(shí)將對(duì)準(zhǔn)圖案投影到每個(gè)投影儀的屏幕上，并且在執(zhí)行所述對(duì)準(zhǔn)的同時(shí)攝像機(jī) 獲取所述對(duì)準(zhǔn)圖案的輸入圖像。
17. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中對(duì)這些投影儀的調(diào)節(jié)同時(shí)完成。
18. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中根據(jù)加權(quán)方案對(duì)每個(gè)投影儀 和相鄰?fù)队皟x執(zhí)行所述非參數(shù)化精細(xì)對(duì)準(zhǔn)。
19. 根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述輸入圖像由多個(gè)攝像機(jī) 獲取。
20. 根據(jù)權(quán)利要求16所述的系統(tǒng)，其中獲取的所述對(duì)準(zhǔn)圖案用于確 定所述加權(quán)方案。
全文摘要
提供了以下系統(tǒng)和方法，其通過(guò)對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行參數(shù)化粗對(duì)準(zhǔn)并通過(guò)對(duì)每個(gè)投影儀和相鄰?fù)队皟x聯(lián)合地執(zhí)行非參數(shù)化精細(xì)對(duì)準(zhǔn)來(lái)對(duì)準(zhǔn)投影儀陣列。也可以對(duì)每個(gè)投影儀獨(dú)立地執(zhí)行非參數(shù)化精細(xì)對(duì)準(zhǔn)。
文檔編號(hào)H04N5/74GK101385337SQ20078000512
公開(kāi)日2009年3月11日 申請(qǐng)日期2007年5月31日 優(yōu)先權(quán)日2006年7月10日
發(fā)明者葉羅恩·范巴爾, 拉梅什·拉什卡爾, 杰伊·E·桑頓 申請(qǐng)人:三菱電機(jī)株式會(huì)社