專利名稱：基于雙相機(jī)的小型場(chǎng)景三維重建方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適合小型場(chǎng)景的三維重建方法及其相應(yīng)的裝置。
背景技術(shù)：
目前傳統(tǒng)的考古發(fā)掘方式是在考古工作過程中和完成以后就破壞了考古現(xiàn)場(chǎng)，這樣后來的考古研究工作無法直觀的觀看到考古發(fā)掘現(xiàn)場(chǎng)；由于沒有數(shù)字化信息，考古現(xiàn)場(chǎng)的研究只能通過去實(shí)地觀看的方式來進(jìn)行，但是地域的限制又經(jīng)常給這一研究方式帶來極大的困難。
近些年來，隨著計(jì)算機(jī)技術(shù)，特別是虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺、圖形學(xué)等技術(shù)的飛速發(fā)展，數(shù)字考古工作越來越受到全世界的重視。考古現(xiàn)場(chǎng)的三維重建作為數(shù)字考古的一個(gè)重要研究方向，不論在技術(shù)研究和應(yīng)用方面都已經(jīng)有了一定的規(guī)模和相當(dāng)?shù)姆e累。
如英國(guó)的3D Murale(3D Measurement and Virtual Reconstruction ofAncient Lost World of Europe)項(xiàng)目，主要使用多媒體、虛擬現(xiàn)實(shí)等技術(shù)為數(shù)字考古提供一整套文物、地層的獲取與重建、器物模型的復(fù)原、發(fā)掘過程的展示等，并且以土耳其的Sagalassos遺址為實(shí)例進(jìn)行了應(yīng)用。該項(xiàng)目對(duì)考古現(xiàn)場(chǎng)的重建主要采用的是基于圖像序列的三維建模。該技術(shù)既通過對(duì)場(chǎng)景實(shí)拍的一系列圖像來進(jìn)行建模，不需要預(yù)先獲取照相機(jī)的內(nèi)外部參數(shù)，在獲取場(chǎng)景圖像序列時(shí)，可以隨意改變照相機(jī)設(shè)置(縮放或焦距)，同時(shí)也不需要對(duì)于待重建場(chǎng)景模型有預(yù)先的知識(shí)，從而達(dá)到比較高的靈活性，提高獲取系統(tǒng)的效率。該技術(shù)主要可以分為以下幾個(gè)步驟投影重建(Projective Reconstruction)，自標(biāo)定(Self-Calibration)，深度圖像配準(zhǔn)(Dense Matching)以及三維模型重建(3D Model Building)?；趫D像序列的三維建模技術(shù)可以恢復(fù)出具有照片級(jí)真實(shí)感的場(chǎng)景或者物體模型，具有成本低廉，方便快捷等特點(diǎn)，但是它的真實(shí)感和精確度都不高。
假設(shè)場(chǎng)景表面是不透明的，則對(duì)應(yīng)極線上的象素應(yīng)滿足唯一性約束和順序約束。匹配唯一性是指如果一幅圖像上的點(diǎn)在另一幅圖像上有對(duì)應(yīng)點(diǎn)，則對(duì)應(yīng)點(diǎn)唯一。順序約束是指對(duì)應(yīng)極線上相互匹配像素的順序保持一致?；跇O線的整體匹配法是根據(jù)匹配唯一性約束和順序約束，同時(shí)尋找兩條極線上的對(duì)應(yīng)點(diǎn)，從而提高匹配的效率和準(zhǔn)確度。
發(fā)明專利申請(qǐng)200510105577.X公開了一種用于現(xiàn)場(chǎng)數(shù)字三維重建的增強(qiáng)現(xiàn)實(shí)定點(diǎn)觀察系統(tǒng)，主要包括圖像采集顯示鏡筒部分、旋轉(zhuǎn)云臺(tái)測(cè)角機(jī)構(gòu)和轉(zhuǎn)動(dòng)支架部分。通過光電編碼器測(cè)角獲得視點(diǎn)的空間姿態(tài)信息，計(jì)算機(jī)根據(jù)此信息完成對(duì)實(shí)景圖像的3D注冊(cè)。同時(shí)經(jīng)過相應(yīng)坐標(biāo)變換的虛擬場(chǎng)與真實(shí)的場(chǎng)景融合疊加。系統(tǒng)通過單片機(jī)控制系統(tǒng)采集鏡銅空間姿態(tài)的角度數(shù)據(jù)，同時(shí)可以與IC計(jì)費(fèi)卡的配合，實(shí)現(xiàn)對(duì)雙屏顯示器的背光電源的計(jì)費(fèi)供電控制。該技術(shù)方案是一種對(duì)實(shí)地場(chǎng)景進(jìn)行實(shí)時(shí)信息增強(qiáng)的觀察系統(tǒng)，其目的是增強(qiáng)現(xiàn)實(shí)。它通過攝像機(jī)拍攝到的現(xiàn)實(shí)環(huán)境圖像進(jìn)行處理與識(shí)別，確定方位信息，得到增強(qiáng)信息在真實(shí)場(chǎng)景中的映射坐標(biāo)，把增強(qiáng)信息疊加在原有物體上進(jìn)行合成顯示，使使用者從感官效果上相信增強(qiáng)信息是其周圍環(huán)境的有機(jī)組成部分。該方案對(duì)設(shè)備的要求高，所需設(shè)備種類繁多，設(shè)備架構(gòu)比較復(fù)雜；而且它只能實(shí)時(shí)地給使用者一種視覺上的增強(qiáng)信息，并沒有把這種信息以某種形式保存在計(jì)算機(jī)中，即沒有真實(shí)地重建場(chǎng)景模型。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于雙相機(jī)的小型場(chǎng)景的三維重建方法，將基于圖像建模中兩幅圖像間匹配點(diǎn)對(duì)的尋找變成了兩條極線的匹配(不去考慮圖像中不在極線上的其它匹配點(diǎn))，極大的提高了匹配的效率和精確度；且只需在考古現(xiàn)場(chǎng)拍攝部分定標(biāo)圖像及轉(zhuǎn)臺(tái)旋轉(zhuǎn)兩周內(nèi)兩個(gè)相機(jī)所拍攝得到的場(chǎng)景的圖像，通過后期的計(jì)算機(jī)處理，即可重建場(chǎng)景的三維坐標(biāo)，不影響正?？脊虐l(fā)掘工作的開展，且成本較低，只需要一個(gè)轉(zhuǎn)臺(tái)、兩臺(tái)相機(jī)及相關(guān)的處理計(jì)算機(jī)即可，設(shè)備要求低、操作簡(jiǎn)單，是一種適合遺址現(xiàn)場(chǎng)重建的方法。
本發(fā)明還提供了一種上述三維重建方法的裝置，利用高精度的可控轉(zhuǎn)臺(tái)，調(diào)整兩相機(jī)間的位置關(guān)系，使兩相機(jī)的光軸相交，從而使場(chǎng)景與這兩條直線所確定的平面的交線成像于兩條對(duì)應(yīng)極線，然后利用基于極線的整體匹配法，重建局部場(chǎng)景(場(chǎng)景與平面所交的一條曲線的三維坐標(biāo))；控制轉(zhuǎn)臺(tái)旋轉(zhuǎn)，相機(jī)每隔γ角度拍攝一次，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，則可獲得多對(duì)圖像，每對(duì)圖像可重建局部場(chǎng)景；重整這些局部場(chǎng)景，即可重建整個(gè)場(chǎng)景。
一種基于雙相機(jī)的小型場(chǎng)景三維重建方法，包括兩相機(jī)、安裝兩相機(jī)的轉(zhuǎn)臺(tái)，對(duì)小型場(chǎng)景三維重建包括以下步驟(1)相機(jī)定標(biāo)選用參照物對(duì)兩相機(jī)進(jìn)行定標(biāo)，以兩相機(jī)參考坐標(biāo)系的關(guān)系和轉(zhuǎn)臺(tái)轉(zhuǎn)軸在相機(jī)參考坐標(biāo)系中的位置計(jì)算為使兩相機(jī)的光軸相交，轉(zhuǎn)臺(tái)所需要旋轉(zhuǎn)的角度θ，定標(biāo)結(jié)束；θ的計(jì)算過程如下首先定標(biāo)得到相機(jī)2參考坐標(biāo)系相對(duì)于相機(jī)1參考坐標(biāo)系的位置關(guān)系，從而得到相機(jī)2參考坐標(biāo)系的Z軸在相機(jī)1參考坐標(biāo)系中的位置；其次計(jì)算轉(zhuǎn)臺(tái)轉(zhuǎn)軸在相機(jī)1參考坐標(biāo)系和相機(jī)2參考坐標(biāo)系中的位置關(guān)系。取相機(jī)2參考坐標(biāo)系Z軸上的兩點(diǎn)A、B，它們繞轉(zhuǎn)臺(tái)旋轉(zhuǎn)θ角度后的坐標(biāo)為A′(xa(θ)，yaθ)，za(θ))、B′(xb(θ)，yb(θ)，zb(θ))可以根據(jù)公式求得R(θ)＝T(-x1，-y1，-z1)□Rx(α)□Ry(β)□Rz(θ)□Ry(-β)□Rx(-α)□T(x1，y1，z1)。
旋轉(zhuǎn)后直線m′x=x1(θ)+(xb(θ)-xa(θ))sy=ya(θ)+(yb(θ)-ya(θ))sz=za(θ)+(zb(θ)-za(θ))s]]>m′與Z軸相交，即x＝0，y＝0時(shí)，方程的解為所求的θ。
(2)圖像拍攝旋轉(zhuǎn)轉(zhuǎn)臺(tái)，控制相機(jī)1以固定的間隔γ拍攝，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存所得圖像，相機(jī)1回到原點(diǎn)；轉(zhuǎn)臺(tái)旋轉(zhuǎn)θ，控制相機(jī)2按照同樣的拍攝間隔γ拍照，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存所得照片；γ的設(shè)置取決于轉(zhuǎn)臺(tái)的精度，如轉(zhuǎn)臺(tái)精度為1/800，則γ的取值為1/800的倍數(shù)。
(3)圖像匹配根據(jù)步驟(1)中獲取的相機(jī)內(nèi)外參數(shù)和步驟(2)中獲得的一對(duì)圖像，利用基于極線的整體匹配法，從一組二維坐標(biāo)重構(gòu)得到場(chǎng)景局部的三維坐標(biāo)；通過立體視覺中的基本矩陣F利用相機(jī)定標(biāo)獲得。u2TFu1=0,]]>分別取u1、u2為光心于成像平面的交點(diǎn)坐標(biāo)，就可以得到相應(yīng)的極線方程。
(4)三維模型拼接以步驟(3)中所得的多個(gè)場(chǎng)景局部三維坐標(biāo)為輸入，將繞轉(zhuǎn)臺(tái)轉(zhuǎn)軸的旋轉(zhuǎn)角度nγ(n＝1、2、3......)、轉(zhuǎn)臺(tái)轉(zhuǎn)軸和相機(jī)參考坐標(biāo)系的關(guān)系轉(zhuǎn)化到相機(jī)停頓拍照的點(diǎn)坐標(biāo)系作為相機(jī)參考坐標(biāo)系，得到完整場(chǎng)景的三維坐標(biāo)。
一種上述方法所采用的裝置，包括可控轉(zhuǎn)臺(tái)、置于轉(zhuǎn)臺(tái)上的相機(jī)架及內(nèi)置的相機(jī)、控制臺(tái)、圖像存儲(chǔ)器和處理器，兩相機(jī)上下相對(duì)放置于相機(jī)架內(nèi)，控制臺(tái)控制轉(zhuǎn)臺(tái)和兩相機(jī)配合拍攝圖像，圖像通過網(wǎng)絡(luò)傳輸?shù)綀D像存儲(chǔ)器中保存，提供給處理器進(jìn)行圖像匹配和三維模型拼接。
本發(fā)明利用可控轉(zhuǎn)臺(tái)，簡(jiǎn)化了圖像匹配中匹配點(diǎn)的尋找范圍，使之從兩幅圖像間點(diǎn)的匹配縮小到兩條對(duì)應(yīng)極線的匹配(不去考慮圖像中不在極線上的其它匹配點(diǎn))，極大提高了匹配的效率和精度；所需設(shè)備簡(jiǎn)單、普通，操作簡(jiǎn)單；把前期的圖像拍攝和后續(xù)的處理相分離，簡(jiǎn)化了前期工作。


圖1為本發(fā)明的裝置結(jié)構(gòu)示意圖；圖2為本發(fā)明方法的結(jié)構(gòu)示意框圖；圖3為本發(fā)明圖像拍攝的控制流程圖。
具體實(shí)施例方式
如圖1所示，一種基于雙相機(jī)的用于小型場(chǎng)景重建的裝置，包括可控轉(zhuǎn)臺(tái)3、相機(jī)架及內(nèi)置的兩相機(jī)1、2、控制臺(tái)4、圖像存儲(chǔ)器5和處理器6，兩相機(jī)1、2上下相對(duì)放置于轉(zhuǎn)臺(tái)3上，轉(zhuǎn)臺(tái)3是一個(gè)可控的高精度轉(zhuǎn)臺(tái)?？刂婆_(tái)4可以控制拍攝圖像，圖像通過網(wǎng)絡(luò)傳輸?shù)綀D像存儲(chǔ)器5中保存，提供給處理器6進(jìn)行后續(xù)的操作。控制臺(tái)4和處理器6物理上可以是一臺(tái)機(jī)器。
圖2所示為本發(fā)明方法的結(jié)構(gòu)示意框圖，如圖所示，基于上述裝置的重建小型場(chǎng)景的方法，包括以下步驟(1)相機(jī)定標(biāo)利用參照物(如定標(biāo)棋盤格)對(duì)兩相機(jī)進(jìn)行定標(biāo)，通過實(shí)驗(yàn)和計(jì)算來確定兩相機(jī)的內(nèi)外參數(shù)，確定兩相機(jī)參考坐標(biāo)系之間的關(guān)系，以兩相機(jī)參考坐標(biāo)系的關(guān)系和轉(zhuǎn)臺(tái)轉(zhuǎn)軸在相機(jī)參考坐標(biāo)系中的位置計(jì)算出為使兩光軸相交，轉(zhuǎn)臺(tái)所需要旋轉(zhuǎn)的角度θ，定標(biāo)結(jié)束。
(2)圖像拍攝在拍攝場(chǎng)景過程中，并不是嚴(yán)格的按照順序一對(duì)一對(duì)的拍攝對(duì)應(yīng)照片。
圖像拍攝流程如圖3所示，先選定一個(gè)相機(jī)進(jìn)行拍攝，若先選定相機(jī)1，旋轉(zhuǎn)轉(zhuǎn)臺(tái)，控制相機(jī)1以固定的間隔γ(如0.1度)拍攝，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存圖像(如1001.bmp，1002.bmp等)，相機(jī)1回到原點(diǎn)，相機(jī)1拍攝結(jié)束；判斷是否所有的拍攝都結(jié)束了，若未結(jié)束，則旋轉(zhuǎn)轉(zhuǎn)臺(tái)θ角度，進(jìn)行相機(jī)2的拍攝，控制相機(jī)2按照同樣的拍攝間隔γ開始拍照，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存圖像(如2001.bmp，2002.bmp等)。則1001.bmp、2001.bmp就為一組對(duì)應(yīng)的圖像。此時(shí)，所有拍攝結(jié)束。
(3)圖像配準(zhǔn)根據(jù)步驟(1)中所得兩相機(jī)的內(nèi)外參數(shù)和步驟(2)中獲得的一對(duì)圖像，利用基于極線的整體匹配法，從一組二維坐標(biāo)(圖像參考坐標(biāo)系中的兩條直線)重構(gòu)得到場(chǎng)景局部(場(chǎng)景與焦平面相交的一條曲線)的三維坐標(biāo)。
(4)三維模型拼接以步驟(3)中所得的多個(gè)場(chǎng)景局部三維坐標(biāo)為輸入，將繞轉(zhuǎn)臺(tái)轉(zhuǎn)軸的旋轉(zhuǎn)角度nγ(n＝1、2、3......)、轉(zhuǎn)臺(tái)轉(zhuǎn)軸和相機(jī)參考坐標(biāo)系的關(guān)系轉(zhuǎn)化到相機(jī)停頓拍照的點(diǎn)坐標(biāo)系作為相機(jī)參考坐標(biāo)系，得到完整場(chǎng)景的三維坐標(biāo)。
權(quán)利要求
1.一種基于雙相機(jī)的小型場(chǎng)景三維重建方法，包括兩相機(jī)、安裝兩相機(jī)的轉(zhuǎn)臺(tái)，對(duì)小型場(chǎng)景三維重建包括以下步驟(1)相機(jī)定標(biāo)選用參照物對(duì)兩相機(jī)進(jìn)行定標(biāo)，以兩相機(jī)參考坐標(biāo)系的關(guān)系和轉(zhuǎn)臺(tái)轉(zhuǎn)軸在相機(jī)參考坐標(biāo)系中的位置計(jì)算為使兩相機(jī)的光軸相交，轉(zhuǎn)臺(tái)所需要旋轉(zhuǎn)的角度θ，定標(biāo)結(jié)束；(2)圖像拍攝旋轉(zhuǎn)轉(zhuǎn)臺(tái)，控制相機(jī)1以固定的間隔γ拍攝，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存所得圖像，相機(jī)1回到原點(diǎn)；轉(zhuǎn)臺(tái)旋轉(zhuǎn)θ，控制相機(jī)2按照同樣的拍攝間隔γ拍照，轉(zhuǎn)臺(tái)旋轉(zhuǎn)一周，按序保存所得照片；(3)圖像匹配根據(jù)步驟(1)中獲取的兩相機(jī)內(nèi)外參數(shù)和步驟(2)中獲得的一對(duì)圖像，利用基于極線的整體匹配法，從一組二維坐標(biāo)重構(gòu)得到場(chǎng)景局部的三維坐標(biāo)；(4)三維模型拼接以步驟(3)中所得的多個(gè)場(chǎng)景局部三維坐標(biāo)為輸入，將繞轉(zhuǎn)臺(tái)轉(zhuǎn)軸的旋轉(zhuǎn)角度nγ(n＝1、2、3......)、轉(zhuǎn)臺(tái)轉(zhuǎn)軸和相機(jī)參考坐標(biāo)系的關(guān)系轉(zhuǎn)化到相機(jī)停頓拍照的點(diǎn)坐標(biāo)系作為相機(jī)參考坐標(biāo)系，得到完整場(chǎng)景的三維坐標(biāo)。
2.一種如權(quán)利要求1所述方法的裝置，其特征在于包括可控轉(zhuǎn)臺(tái)、置于轉(zhuǎn)臺(tái)上的相機(jī)架及內(nèi)置的相機(jī)、控制臺(tái)、圖像存儲(chǔ)器和處理器，兩相機(jī)上下相對(duì)放置，控制臺(tái)控制轉(zhuǎn)臺(tái)和兩相機(jī)配合拍攝圖像，圖像通過網(wǎng)絡(luò)傳輸?shù)綀D像存儲(chǔ)器中保存，提供給處理器進(jìn)行圖像匹配和三維模型拼接。
全文摘要
本發(fā)明公開了一種基于雙相機(jī)的小型場(chǎng)景三維重建方法，包括兩相機(jī)、安裝兩相機(jī)的轉(zhuǎn)臺(tái)，對(duì)小型場(chǎng)景三維重建包括相機(jī)定標(biāo)、圖像拍攝、圖像匹配和三維模型拼接。本發(fā)明還公開了一種上述方法采用的裝置，包括可控轉(zhuǎn)臺(tái)、置于轉(zhuǎn)臺(tái)上的相機(jī)架及內(nèi)置的相機(jī)、控制臺(tái)、圖像存儲(chǔ)器和處理器，兩相機(jī)上下相對(duì)放置，控制臺(tái)控制轉(zhuǎn)臺(tái)和兩相機(jī)配合拍攝圖像，圖像通過網(wǎng)絡(luò)傳輸?shù)綀D像存儲(chǔ)器中保存，提供給處理器進(jìn)行圖像匹配和三維模型拼接。本發(fā)明將兩幅圖像間點(diǎn)的匹配縮小到兩條對(duì)應(yīng)極線的匹配，極大提高了匹配的效率和精度；所需設(shè)備簡(jiǎn)單、普通，操作簡(jiǎn)單；把前期的圖像拍攝和后續(xù)的處理相分離，簡(jiǎn)化了前期工作。
文檔編號(hào)H04N13/00GK1878318SQ20061005079
公開日2006年12月13日 申請(qǐng)日期2006年5月17日 優(yōu)先權(quán)日2006年5月17日
發(fā)明者魯東明, 杜雙玲 申請(qǐng)人:浙江大學(xué)