用于測(cè)量 標(biāo)記點(diǎn)圓心位置的世界坐標(biāo)并發(fā)送給數(shù)據(jù)處理設(shè)備,圖像渲染引擎用于根據(jù)數(shù)據(jù)處理設(shè)備 建立的查找表獲取相應(yīng)的修正標(biāo)定信息與視場(chǎng)角。
[0159] 與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果在于,不僅實(shí)現(xiàn)攝影機(jī)修正標(biāo)定過(guò)程完全自 動(dòng)化,無(wú)需手工介入,并且能夠?qū)崟r(shí)計(jì)算在給定的坐標(biāo)系下攝影機(jī)的位置、姿態(tài)和視場(chǎng)角信 息,并通過(guò)圖像生成引擎根據(jù)上述信息精確成像,使得實(shí)拍視頻幀畫面與計(jì)算機(jī)產(chǎn)生的虛 擬幀圖像完美匹配。
【附圖說(shuō)明】
[0160] 圖1為本發(fā)明提出的攝影機(jī)定位修正標(biāo)定系統(tǒng)的組成示意圖;其中,1-伺服馬達(dá) 控制系統(tǒng);2-攝影機(jī)、3-攝影機(jī)鏡頭、4-攝影機(jī)姿態(tài)外部跟蹤設(shè)備;5-背景幕布;6-標(biāo)記 點(diǎn);7-數(shù)據(jù)處理設(shè)備;
[0161] 圖2為本發(fā)明提出的對(duì)定焦鏡頭攝影機(jī)定位進(jìn)行修正標(biāo)定的方法流程圖;
[0162] 圖3為本發(fā)明提出的對(duì)變焦鏡頭攝影機(jī)定位進(jìn)行修正標(biāo)定的方法流程圖。
【具體實(shí)施方式】
[0163] 下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明加以詳細(xì)說(shuō)明,同時(shí)也敘述了本發(fā)明技術(shù)方案 解決的技術(shù)問題、原理及有益效果。
[0164] 如圖1所示,為根據(jù)本發(fā)明提出的攝影機(jī)定位修正標(biāo)定系統(tǒng)的結(jié)構(gòu)圖,如圖所示, 本發(fā)明提出的攝影機(jī)定位修正標(biāo)定系統(tǒng)包括:伺服馬達(dá)控制系統(tǒng)、攝影機(jī)、攝影機(jī)姿態(tài)外部 跟蹤設(shè)備、背景幕布、標(biāo)記點(diǎn)、空間測(cè)量設(shè)備(圖中未示出)、數(shù)據(jù)處理設(shè)備、圖像渲染引擎 (圖中未示出);
[0165] 其中,伺服馬達(dá)控制系統(tǒng)與攝影機(jī)相連,用于調(diào)節(jié)鏡頭的焦距與對(duì)焦距離;伺服 馬達(dá)控制系統(tǒng)還與數(shù)據(jù)處理設(shè)備相連,用于向數(shù)據(jù)處理設(shè)備發(fā)送鏡頭的焦距與對(duì)焦距離信 息,以使數(shù)據(jù)處理設(shè)備計(jì)算修正標(biāo)定信息與視場(chǎng)角并建立查找表;
[0166] 數(shù)據(jù)處理設(shè)備還與攝影機(jī)相連,用于實(shí)時(shí)讀取視頻流數(shù)據(jù);
[0167] 攝影機(jī)姿態(tài)外部跟蹤設(shè)備設(shè)置于攝影機(jī)外部,用于通過(guò)測(cè)量攝影機(jī)的位置與攝影 機(jī)姿態(tài)外部跟蹤設(shè)備的偏移,估計(jì)攝影機(jī)的位置和姿態(tài)信息;攝影機(jī)姿態(tài)外部跟蹤設(shè)備還 與數(shù)據(jù)處理設(shè)備相連,用于發(fā)送測(cè)量數(shù)據(jù)信息;
[0168] 背景幕布上設(shè)置至少3個(gè)不共線的標(biāo)記點(diǎn),這些標(biāo)記點(diǎn)半徑相同,顏色與背景幕 布具有反差;
[0169] 空間測(cè)量設(shè)備和圖像渲染引擎分別與數(shù)據(jù)處理設(shè)備相連,空間測(cè)量設(shè)備用于測(cè)量 標(biāo)記點(diǎn)圓心位置的世界坐標(biāo)并發(fā)送給數(shù)據(jù)處理設(shè)備,圖像渲染引擎用于根據(jù)數(shù)據(jù)處理設(shè)備 建立的查找表獲取相應(yīng)的修正標(biāo)定信息與視場(chǎng)角。
[0170] 作為優(yōu)選,背景幕布為綠幕或者藍(lán)幕。
[0171] 作為優(yōu)選,所述攝影機(jī)姿態(tài)外部跟蹤設(shè)備是光學(xué)跟蹤設(shè)備或機(jī)械臂。
[0172] 本發(fā)明提出的攝影機(jī)定位修正標(biāo)定系統(tǒng)的工作流程包括如下步驟:
[0173] SI.使用空間測(cè)量設(shè)備獲取背景幕布上N個(gè)標(biāo)記點(diǎn)在世界坐標(biāo)系下的坐標(biāo)Λ(Χι,yi,Z1),…,An(xn,yN,ζ Ν),并將標(biāo)記點(diǎn)的世界坐標(biāo)發(fā)送給數(shù)據(jù)處理設(shè)備,所述N個(gè)標(biāo)記點(diǎn)至 少包括3個(gè)不同線的標(biāo)記點(diǎn);
[0174] S2.確定多個(gè)數(shù)值從小到大的對(duì)焦距離采樣點(diǎn)FD1,FD2,…,F(xiàn)Dj,…,F(xiàn)D ;(j = 1~ J),F(xiàn)DjP FD ;分別是鏡頭的最小對(duì)焦距離和最大對(duì)焦距離;
[0175] 若攝影機(jī)鏡頭為變焦鏡頭,則還需要確定數(shù)值從小到大的焦距采樣點(diǎn)FL1,FL 2,…, FLk,…,F(xiàn)Lk;其中k = 1~K,F(xiàn)L JP FL 別是鏡頭的最小焦距和最大焦距;
[0176] 作為優(yōu)選,所述對(duì)焦距離采樣點(diǎn)以及焦距采樣點(diǎn)采用鏡頭標(biāo)定過(guò)程中的采樣點(diǎn); 關(guān)于鏡頭標(biāo)定請(qǐng)參考如下文獻(xiàn):[l]Duane C Β. Close-range camera calibration[J]· Photogram.Eng. Remote Sens,1971,37 :855-866.以及[2]Zhang Z.Flexible camera calibration by viewing a plane from unknown orientations[C]//Computer Vision, 1999.The Proceedings of the Seventh IEEE International Conference on. IEEE,1999, I :666-673.
[0177] 對(duì)焦距離選取方法:將置于鏡頭的調(diào)節(jié)焦點(diǎn)的伺服馬達(dá)控制系統(tǒng)的轉(zhuǎn)動(dòng)區(qū)間(如 [0, 1])等分為J-I段,共J個(gè)端點(diǎn),這些端點(diǎn)對(duì)應(yīng)的即為對(duì)焦距離采樣點(diǎn)值;J 一般選取 10-30之間的整數(shù)。
[0178] 焦距采樣點(diǎn)的選取方法:將置于鏡頭的調(diào)節(jié)焦距的伺服馬達(dá)控制系統(tǒng)的轉(zhuǎn)動(dòng)區(qū)間 (如[0, 1])等分為K-I段,共K個(gè)端點(diǎn),這些端點(diǎn)對(duì)應(yīng)的即為焦距采樣點(diǎn)值;K 一般根據(jù)鏡 頭的變焦范圍進(jìn)行適當(dāng)選取。
[0179] S3.通過(guò)數(shù)據(jù)處理設(shè)備獲取每個(gè)對(duì)焦距離采樣點(diǎn)對(duì)應(yīng)的攝像頭內(nèi)部參數(shù)和畸變參 數(shù);所述攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)通過(guò)鏡頭標(biāo)定過(guò)程獲得;
[0180] S4.伺服馬達(dá)控制系統(tǒng)向數(shù)據(jù)處理設(shè)備發(fā)送鏡頭的焦距與對(duì)焦距離信息,當(dāng)對(duì)焦 距離在第j個(gè)采樣點(diǎn)FD,處,調(diào)整攝影機(jī)位置使得背景幕布上的標(biāo)記點(diǎn)能夠清晰成像;
[0181] 若攝影機(jī)鏡頭為變焦鏡頭,當(dāng)對(duì)焦距離取第j個(gè)對(duì)焦距離采樣點(diǎn)FD,且焦距在第k 個(gè)采樣點(diǎn)FLk處時(shí),調(diào)整攝影機(jī)位置使得背景幕布上的標(biāo)記點(diǎn)能夠清晰成像;
[0182] S5.采用攝影機(jī)姿態(tài)外部跟蹤設(shè)備例如光學(xué)跟蹤設(shè)備或機(jī)械臂向數(shù)據(jù)處理設(shè)備傳 遞其當(dāng)前狀態(tài)下的位置信息;包括為使世界坐標(biāo)系經(jīng)過(guò)平移后依次分別圍繞其X軸、Y軸和 Z軸旋轉(zhuǎn)后與攝影機(jī)姿態(tài)外部跟蹤設(shè)備自定義的坐標(biāo)系重合的旋轉(zhuǎn)歐拉角,以及攝影機(jī)姿 態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置坐標(biāo);
[0183] 所述光學(xué)跟蹤設(shè)備如全站儀等;
[0184] S6.數(shù)據(jù)處理設(shè)備利用Sl獲取的N個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)、標(biāo)記點(diǎn)在攝影機(jī)成像坐 標(biāo)系下的像點(diǎn)坐標(biāo)和S3獲取的攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù),獲取攝影機(jī)坐標(biāo)系 與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣以及攝影機(jī)透視中心在世界坐標(biāo)系的平移向量,即攝影機(jī)在 世界坐標(biāo)系下的姿態(tài)信息;
[0185] 作為優(yōu)選,攝影機(jī)成像坐標(biāo)系原點(diǎn)設(shè)定于視場(chǎng)中心。
[0186] S7.數(shù)據(jù)處理設(shè)備利用S5獲取的當(dāng)前狀態(tài)下攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng) 前位置信息,和S6中求得的攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息,求得攝影機(jī)修正標(biāo)定信息 和視場(chǎng)角;
[0187] S8.若攝影機(jī)鏡頭為定焦鏡頭:調(diào)整對(duì)焦距離,對(duì)每個(gè)對(duì)焦距離采樣點(diǎn)FD,執(zhí)行步 驟S4~S7,直到遍歷所有對(duì)焦距離采樣點(diǎn),求出每個(gè)對(duì)焦距離采樣點(diǎn)所對(duì)應(yīng)的修正標(biāo)定信 息和視場(chǎng)角,數(shù)據(jù)處理設(shè)備建立對(duì)焦距離-修正標(biāo)定信息-視場(chǎng)角的查找表LUTl ;
[0188] 若攝影機(jī)鏡頭為變焦鏡頭:調(diào)整對(duì)焦距離和焦距,對(duì)每個(gè)對(duì)焦距離采樣點(diǎn)FD,和每 個(gè)焦距采樣點(diǎn)FLki行步驟S4~S7,直到遍歷所有對(duì)焦距離采樣點(diǎn)和焦距采樣點(diǎn),求出每 個(gè)對(duì)焦距離采樣點(diǎn)和焦距采樣點(diǎn)所對(duì)應(yīng)的修正標(biāo)定信息和視場(chǎng)角,數(shù)據(jù)處理設(shè)備建立對(duì)焦 距離-焦距-修正標(biāo)定信息-視場(chǎng)角的查找表LUT2 ;
[0189] S9.若攝影機(jī)鏡頭為定焦鏡頭:圖像渲染引擎根據(jù)數(shù)據(jù)處理設(shè)備所建立的查找表 LUTl,通過(guò)對(duì)焦距離獲取相應(yīng)的修正標(biāo)定信息與視場(chǎng)角。
[0190] 若攝影機(jī)鏡頭為變焦鏡頭:圖像渲染引擎根據(jù)數(shù)據(jù)處理設(shè)備所建立的查找表 LUT2,通過(guò)對(duì)焦距離和焦距獲取相應(yīng)的修正標(biāo)定信息與視場(chǎng)角。
[0191] 本發(fā)明中涉及的攝影機(jī)定位修正標(biāo)定系統(tǒng)其可以適用于定焦鏡頭,也可適用于變 焦鏡頭,這里分別以帶有定焦鏡頭和變焦鏡頭的攝影機(jī)定位修正標(biāo)定系統(tǒng)為例,說(shuō)明本發(fā) 明所述攝影機(jī)定位修正標(biāo)定方法的技術(shù)方案:
[0192] 一、定焦鏡頭(請(qǐng)見附圖2)
[0193] SI.獲取標(biāo)記點(diǎn)的世界坐標(biāo):
[0194] 利用空間測(cè)量設(shè)備測(cè)量背景幕布上N個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)A1U1, yi,Z1),…,An(xn, yN,zN),所述N個(gè)標(biāo)記點(diǎn)至少包括3個(gè)不同線的標(biāo)記點(diǎn);所述標(biāo)記點(diǎn)坐標(biāo)為標(biāo)記點(diǎn)的圓心位 置并且所述標(biāo)記點(diǎn)均位于攝影機(jī)采集的畫面內(nèi);其中第i個(gè)標(biāo)記點(diǎn)在世界坐標(biāo)系下的坐標(biāo) 為 Ai (Xi, y;,Zi),i = 1 ~N ;
[0195] S2.確定對(duì)焦距離采樣點(diǎn):
[0196] 通過(guò)伺服馬達(dá)控制系統(tǒng),根據(jù)攝影機(jī)鏡頭標(biāo)定過(guò)程確定數(shù)值從小到大的對(duì)焦距離 采樣點(diǎn)FD1, FD2,…,F(xiàn)Dj,…,F(xiàn)D山· = 1~J),F(xiàn)D# FD ;分別是鏡頭的最小對(duì)焦距離和最 大對(duì)焦距離;
[0197] S3.獲取每個(gè)對(duì)焦距離采樣點(diǎn)對(duì)應(yīng)的攝像頭內(nèi)部參數(shù)和畸變參數(shù)并進(jìn)行記錄,所 述攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)通過(guò)鏡頭標(biāo)定過(guò)程獲得;
[0198] 具體來(lái)說(shuō),對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FD,,相應(yīng)的攝影機(jī)鏡頭內(nèi)部參數(shù)為:fx], f yj,j,Cyj,其中:
[0199] fx]:表示對(duì)焦距離為FD ,時(shí),鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的距離f ,與攝 影機(jī)成像儀每個(gè)單元的水平寬度dx之比,即
[0200] 匕:表示對(duì)焦距離為FD ,時(shí),鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的距離f ,與攝 影機(jī)成像儀每個(gè)單元的垂直高度dy之比,即
[0201 ] 作為優(yōu)選,本文所述攝影機(jī)成像儀是CCD或者CMOS。
[0202] cx]:表示對(duì)焦距離為FD ,時(shí),鏡頭的光軸與成像面的交點(diǎn),與成像面中心的水平偏 移的像素?cái)?shù);
[0203] cy]:表示對(duì)焦距離為FD ,時(shí),鏡頭的光軸與成像面的交點(diǎn),與成像面中心的垂直偏 移的像素?cái)?shù);
[0204] 對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FDj,相應(yīng)的攝影機(jī)鏡頭畸變參數(shù)為: P2j,其中kw k2j,k3j為對(duì)焦距離是FD j時(shí)的徑向畸變參數(shù),其中k 3j為選用參數(shù),當(dāng)鏡頭為魚 眼鏡頭時(shí)使用kw k2j,k3j這三個(gè)徑向畸變參數(shù),當(dāng)鏡頭為非魚眼鏡頭時(shí),k 3j= 0,即其他鏡 頭只使用ky k2j這兩徑向畸變參數(shù);p V p2j為對(duì)焦距離是FD j時(shí)的切向畸變參數(shù);
[0205] 并且,獲得每個(gè)對(duì)焦距離FD,下的內(nèi)參矩陣M ,為:
[0207] S4.當(dāng)對(duì)焦距離取第j個(gè)對(duì)焦距離采樣點(diǎn)FD jt,調(diào)整攝影機(jī)位置使得背景幕布上 的標(biāo)記點(diǎn)能夠清晰成像;
[0208] S5.數(shù)據(jù)處理設(shè)備獲取攝影機(jī)姿態(tài)外部跟蹤設(shè)備如光學(xué)跟蹤設(shè)備傳遞的當(dāng)前位置 信息[Qxj,Qyj,Qzj,Txj,T yj,Tzj]。其中[0xj,0yj,0zj]為使世界坐標(biāo)系經(jīng)過(guò)平移后依次 分別圍繞X軸、Y軸和z軸旋轉(zhuǎn)后與攝影機(jī)姿態(tài)外部跟蹤設(shè)備自定義的坐標(biāo)系重合的旋轉(zhuǎn) 歐拉角,[Tx],Ty],Tz]]為攝影機(jī)姿態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置坐標(biāo),將攝影機(jī)姿 態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息表示為如下矩陣形式:
[0210] 這里
[0214] S6.利用SI獲取的N個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)、標(biāo)記點(diǎn)在攝影機(jī)成像坐標(biāo)系下的像點(diǎn) 坐標(biāo)和S3獲取的攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù),獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系 之間的旋轉(zhuǎn)矩陣Rw以及攝影機(jī)透視中心在世界坐標(biāo)系的平移向量T w,即攝影機(jī)在世界坐 標(biāo)系下的姿態(tài)信息;
[0215] 作為優(yōu)選,當(dāng)前對(duì)焦距離為FD jt,獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩 陣Rw、攝影機(jī)透視中心在世界坐標(biāo)系的平移向量Tp,、攝影機(jī)在世界坐標(biāo)系下的姿態(tài)矩陣H p, 的方法為:
[0216] 根據(jù)第i個(gè)標(biāo)記點(diǎn)的像點(diǎn)坐標(biāo)(崎,yf;.)以及當(dāng)前對(duì)焦距離FD J的鏡頭畸變參 數(shù),求出校正后的第i個(gè)標(biāo)記點(diǎn)的像點(diǎn)坐標(biāo)(X' ,太
[0220] 其中右攝影機(jī)鏡頭為非魚眼鏡頭時(shí),k3j= 0 ;
[0221] 第i個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)(Xl,yi,Zl)與其對(duì)應(yīng)的校正后的像點(diǎn)坐標(biāo)(X'