與攝影機(jī)姿態(tài)外部跟蹤設(shè)備自定義的坐標(biāo)系重合的旋轉(zhuǎn)歐 拉角，[Tx]，Ty]，Tz]]為攝影機(jī)姿態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置坐標(biāo)，將攝影機(jī)姿態(tài) 外部跟蹤設(shè)備給出的當(dāng)前位置信息表示為如下矩陣形式：T,^ [TXJ TyjTzj]t 0= [〇,〇,〇]； (2) 當(dāng)攝影機(jī)鏡頭為變焦鏡頭時(shí)： 所述攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息[9xjk?日yjk' 日zjk'Txjk'Tyjk'Tzjk]， 其中[0x]k，0y]k，0z]k]為使世界坐標(biāo)系經(jīng)過平移后依次分別圍繞X軸、Y軸和Z軸旋轉(zhuǎn)后 與攝影機(jī)姿態(tài)外部跟蹤設(shè)備自定義的坐標(biāo)系重合的旋轉(zhuǎn)歐拉角，[Tx]k，Ty]k，Tz]k]為攝影機(jī) 姿態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置坐標(biāo)；將攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位 置信息表示為如下矩陣形式：Tijk= [TxjkTyjkTzjk]T 0=[0,0,0]〇4. 根據(jù)權(quán)利要求3所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，步驟S6中， (1)當(dāng)攝影機(jī)鏡頭為定焦鏡頭時(shí)： 當(dāng)前對(duì)焦距離為FDjt，獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣Rw、攝影機(jī) 透視中心在世界坐標(biāo)系的平移向量Tpj、攝影機(jī)在世界坐標(biāo)系下的姿態(tài)矩陣Hpj的方法為： 根據(jù)第i個(gè)標(biāo)記點(diǎn)的像點(diǎn)坐標(biāo)(％，y&)l以及當(dāng)前對(duì)焦距離FDj下的鏡頭畸變參數(shù)， 求出校正后的第i個(gè)標(biāo)記點(diǎn)的像點(diǎn)坐標(biāo)（x' ^，太^):其中若攝影機(jī)鏡頭為非魚眼鏡頭時(shí)，k3]= 0 ; 第i個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)（Xl，yi，Zl)與其對(duì)應(yīng)的校正后的像點(diǎn)坐標(biāo)（x'vy'j之 間關(guān)系表不為：其中攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣Rw為正交矩陣，Tw為攝影機(jī)透視中 心在世界坐標(biāo)系的平移向量：通過式（1) (2)和每個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)（Xl，yi，Zl)和對(duì)應(yīng)的校正后的像點(diǎn)坐 標(biāo)（x' ^y'u)，得到矩陣0,=A 和攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息3使世界坐標(biāo)系經(jīng)過平移后依次分別圍 繞X軸、Y軸和Z軸旋轉(zhuǎn)后與攝影機(jī)坐標(biāo)系重合的旋轉(zhuǎn)歐拉角，為攝影機(jī) 透視中心在世界坐標(biāo)系下的平移向量； 又因?yàn)榫仃??"是單位正交陣，有： A.j= 1/ | | 0j( ： , 1) | | ； 其中〇,( :，1)為矩陣〇,的第1列，II?II表示向量的歐幾里得范數(shù)； 根據(jù)獲得的攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣&以及攝影機(jī)透視中心在世 界坐標(biāo)系的平移向量Tp]，將攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息表達(dá)為矩陣Hp]:(2)當(dāng)攝影機(jī)鏡頭為變焦鏡頭時(shí)： 當(dāng)前對(duì)焦距離為FD,且當(dāng)前焦距為FLJt，獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn) 矩陣Rwk、攝影機(jī)透視中心在世界坐標(biāo)系的平移向量Tp]k、攝影機(jī)在世界坐標(biāo)系下的姿態(tài)矩 陣Hpjk的方法為： 根據(jù)當(dāng)前對(duì)焦距離FD,和當(dāng)前焦距FLk下第i個(gè)標(biāo)記點(diǎn)的像點(diǎn)坐標(biāo)以及 鏡頭畸變參數(shù)求出其校正后的像點(diǎn)坐標(biāo)（x'uk，y'其中若攝影機(jī)鏡頭為非魚眼鏡頭時(shí)，k3]k= 0 ; 第i個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)（Xl，yi，Zl)與其對(duì)應(yīng)的校正后的像點(diǎn)坐標(biāo)（x'ljk，y' ljk) 之間關(guān)系表不為：其中攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣Rwk為正交矩陣，Tp]k為攝影機(jī)透視中 心在世界坐標(biāo)系的平移向量：通過式（3) (4)和每個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)（Xl，yi，Zl)和對(duì)應(yīng)校正后的像點(diǎn)坐 標(biāo)（x，1]k，y，1]k)，得到矩陣〇]k=A.]k[Rwk，Tp]J和攝影機(jī)在世界坐標(biāo)系下的姿態(tài) 信息I使世界坐標(biāo)系經(jīng) 過平移后依次分別圍繞X軸、Y軸和Z軸旋轉(zhuǎn)后與攝影機(jī)坐標(biāo)系重合的旋轉(zhuǎn)歐拉角，|攝影機(jī)透視中心在世界坐標(biāo)系下的平移向量； ,i. 正交陣，有： 入jk= 1/11 〇jk(:，1) 11 ; 其中M:，1)為矩陣〇]k的第1列，N? 11表示向量的歐幾里得范數(shù)； 根據(jù)獲得的攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣Rwk以及攝影機(jī)透視中心在世 界坐標(biāo)系的平移向量T"lk，將攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息表達(dá)為矩陣Hp]k:5.根據(jù)權(quán)利要求4所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，步驟S7包括如下 步驟： (1) 當(dāng)攝影機(jī)鏡頭為定焦鏡頭時(shí)： S7. 1計(jì)算攝影機(jī)姿態(tài)修正矩陣H]:(5) S7. 2將攝影機(jī)姿態(tài)修正矩陣民變換為修正四元數(shù)（0ynxj，nyj，nzj)和平移向量Tj: 所述攝影機(jī)姿態(tài)修正矩陣民是4父4的矩陣，其有效部分是1^(1 : 3，1 : 4)，即％的 前三行，將民（1 : 3，1 : 4)表示為如下形式： Hjd： 3,1 ： 4) = [R^Tj]； 其中旋轉(zhuǎn)矩陣&為3X3的實(shí)數(shù)矩陣，平移向量T[txj，tyj，tzj]T為3維列向量； 將旋轉(zhuǎn)矩陣R,根據(jù)下式轉(zhuǎn)換為修正四元數(shù)（eny]，nz]):這I__ 93維行向量； 因而存儲(chǔ)&只需存儲(chǔ)修正四元數(shù)（9 即可，因此攝影機(jī)姿態(tài)修正矩陣H, 轉(zhuǎn)換為攝影機(jī)修正標(biāo)定信息（0 .j，nx.j，nH，nz.j，tx.j，tw，tZJ); S7. 3計(jì)算攝影機(jī)視場(chǎng)角：當(dāng)對(duì)焦距離為，根據(jù)下式計(jì)算攝影機(jī)視場(chǎng)角a其中W，H分別為攝影機(jī)的寬、高分辨率； (2) 當(dāng)攝影機(jī)鏡頭為變焦鏡頭時(shí)： S7. 1計(jì)算攝影機(jī)姿態(tài)修正矩陣H]k:S7.2將攝影機(jī)姿態(tài)修正矩陣Hjk變換為修正四元數(shù)（0jk，nxjk，nyjk，nzjk)和平移向量 Tik: 所述攝影機(jī)姿態(tài)修正矩陣Hjk是4X4的矩陣，其有效部分是Hjk(l: 3，1 : 4)，即Hjk 的前三行，將Hjk(l: 3，1 : 4)表示為如下形式： Hjk(l: 3，1 : 4) = [Rjk，Tjk]; 其中旋轉(zhuǎn)矩陣Rjk為3X3的實(shí)數(shù)矩陣，平移向量Tjk= [1#，^，^]1為3維列向量； 將旋轉(zhuǎn)矩陣R]k根據(jù)下式轉(zhuǎn)換為修正四元數(shù)（e_]k，nx]k，ny]k，nz]k):這里iTTy/j- Tlyy/j；，712作）/為3維行向量； 因而存儲(chǔ)R]k只需存儲(chǔ)修正四元數(shù)（9 _]k，nx]k，ny]k，nz]k)即可，因此攝影機(jī)姿態(tài)修正矩陣H]k轉(zhuǎn)換為攝影機(jī)修正標(biāo)定信息（0jk，nxjk，nyjk，nzjk，txjk，tyjk，tzjk); S7. 3計(jì)算攝影機(jī)視場(chǎng)角：當(dāng)對(duì)焦距離為？0,且焦距為FL,時(shí)，根據(jù)下式計(jì)算攝影機(jī)視場(chǎng) 角ajk:其中W，H分別為攝影機(jī)的寬、高分辨率。6. 根據(jù)權(quán)利要求5所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，步驟S9中，當(dāng)實(shí)際 對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FD,#，或者實(shí)際焦距FL不在任何一個(gè)對(duì)焦距 離采樣點(diǎn)FLk&，或者當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FD,處并且實(shí)際焦 距FL也不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FLk處時(shí)，采用如下插值運(yùn)算的方式獲得其對(duì)應(yīng)的修 正標(biāo)定信息和視場(chǎng)角： 對(duì)于修正標(biāo)定信息中的修正四元數(shù)采用SLERP插值方法進(jìn)行插值，平移向量采用三維 線性插值；視場(chǎng)角采用線性插值方法進(jìn)行插值。7. 根據(jù)權(quán)利要求6所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，步驟S9中， (1)當(dāng)攝影機(jī)鏡頭為定焦鏡頭時(shí)： 當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FD,#，使用SLERP算法對(duì)修正四元 數(shù)進(jìn)行插值的方法如下： 若FDjfFD<FDj+1，攝影機(jī)在對(duì)焦距離FDjPFDj+1處的攝影機(jī)姿態(tài)修正矩陣 分別為Hj和Hj+1，其旋轉(zhuǎn)矩陣分別為&和Rj+1，將旋轉(zhuǎn)矩陣分別表示為修正四元數(shù)fej對(duì)于當(dāng)前實(shí)際對(duì)焦距離FD 時(shí)的修正四元數(shù)q由下式計(jì)算：這里化71是屮的逆，(2)當(dāng)攝影機(jī)鏡頭為變焦鏡頭時(shí)： 當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FD,#，或者實(shí)際焦距FL不在任何 一個(gè)對(duì)焦距離采樣點(diǎn)FLk&，或者當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FD,處 并且實(shí)際焦距FL也不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FLk處時(shí)，使用SLERP算法對(duì)修正四元數(shù) 進(jìn)行插值的方法如下： ① 若FDj<FD<FDj+1且FLk<FL<FLk+1，即當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距 離采樣點(diǎn)FD,#，并且實(shí)際焦距FL也不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FL,處，采用與其最臨近 的對(duì)焦距離和焦距采樣點(diǎn)組合（FDpFLk)，（FDyFLkJ，（FDj+1,FLk)，（FDj+1，F(xiàn)Lk+1)所對(duì)應(yīng)的修 正四元數(shù)q]>k，q^，q_]+1,k，q_]+1,k+1，按照下式進(jìn)行插值，則對(duì)于當(dāng)前實(shí)際對(duì)焦距離FD并且實(shí) 際焦距為FL時(shí)的修正四元數(shù)qi,d由下式計(jì)算：② 若FDfFD<FDj+1，F(xiàn)L=FL^，即當(dāng)實(shí)際對(duì)焦距離FD不在任何一個(gè)對(duì)焦距離采樣 點(diǎn)FDj處而實(shí)際焦距FL為焦距采樣點(diǎn)FL^寸，采用與其最臨近的對(duì)焦距離采樣點(diǎn)組合（FD FLk)，（FD]+1，F(xiàn)Lk)所對(duì)應(yīng)的修正四元數(shù)信息q],k，q]+1,k，按照下式進(jìn)行插值，則對(duì)于當(dāng)前實(shí)際 對(duì)焦距離FD并且實(shí)際焦距為FLjt的修正四元數(shù)qid由下式計(jì)算③ 若FD=FDyFLfFL<FLk+1時(shí)，即實(shí)際對(duì)焦距離FD為對(duì)焦距離采樣點(diǎn)FDj而實(shí)際 焦距FL不在任何一個(gè)對(duì)焦距離采樣點(diǎn)FLk處時(shí)，采用與其最臨近的焦距采樣點(diǎn)組合（FD,， FLk)，（FD,，F(xiàn)Lk+1)所對(duì)應(yīng)的修正四元數(shù)信息q],k，q],k+1，按照下式進(jìn)行插值，則對(duì)于當(dāng)前實(shí)際 對(duì)焦距離？0]并且實(shí)際焦距為FL時(shí)的修正四元數(shù)qid由下式計(jì)算：其中?.-柙懾影機(jī)疋怔修止稱足系統(tǒng)，其特征在于，包括：伺服馬達(dá)控制系統(tǒng)、攝影機(jī)、攝 影機(jī)姿態(tài)外部跟蹤設(shè)備、背景幕布、標(biāo)記點(diǎn)、空間測(cè)量設(shè)備、數(shù)據(jù)處理設(shè)備、圖像渲染引擎； 其中，伺服馬達(dá)控制系統(tǒng)與攝影機(jī)相連，用于調(diào)節(jié)鏡頭的焦距與對(duì)焦距離；伺服馬達(dá)控 制系統(tǒng)還與數(shù)據(jù)處理設(shè)備相連，用于向數(shù)據(jù)處理設(shè)備發(fā)送鏡頭的焦距與對(duì)焦距離信息，以 使數(shù)據(jù)處理設(shè)備計(jì)算修正標(biāo)定信息與視場(chǎng)角并建立查找表； 數(shù)據(jù)處理設(shè)備還與攝影機(jī)相連，用于實(shí)時(shí)讀取視頻流數(shù)據(jù)； 攝影機(jī)姿態(tài)外部跟蹤設(shè)備設(shè)置于攝影機(jī)外部，用于通過測(cè)量攝影機(jī)的位置與攝影機(jī)姿 態(tài)外部跟蹤設(shè)備的偏移，估計(jì)攝影機(jī)的位置和姿態(tài)信息；攝影機(jī)姿態(tài)外部跟蹤設(shè)備還與數(shù) 據(jù)處理設(shè)備相連，用于發(fā)送測(cè)量數(shù)據(jù)信息； 背景幕布上設(shè)置至少3個(gè)不共線的標(biāo)記點(diǎn)，這些標(biāo)記點(diǎn)半徑相同，顏色與背景幕布具 有反差； 空間測(cè)量設(shè)備和圖像渲染引擎分別與數(shù)據(jù)處理設(shè)備相連，空間測(cè)量設(shè)備用于測(cè)量標(biāo)記 點(diǎn)圓心位置的世界坐標(biāo)并發(fā)送給數(shù)據(jù)處理設(shè)備，圖像渲染引擎用于根據(jù)數(shù)據(jù)處理設(shè)備建立 的查找表獲取相應(yīng)的修正標(biāo)定信息與視場(chǎng)角。9. 根據(jù)權(quán)利要求1所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，S1中采用空間測(cè) 量設(shè)備獲得背景幕布上N個(gè)標(biāo)記點(diǎn). . .，AN在世界坐標(biāo)系下的坐標(biāo)。10. 根據(jù)權(quán)利要求1所述任一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，所述攝影機(jī)姿 態(tài)外部跟蹤設(shè)備是光學(xué)跟蹤設(shè)備或機(jī)械臂。11. 根據(jù)權(quán)利要求1所述一種攝影機(jī)定位修正標(biāo)定方法，其特征在于，攝影機(jī)成像坐標(biāo) 系原點(diǎn)設(shè)定于視場(chǎng)中心。12. 根據(jù)權(quán)利要求1所述一種攝影機(jī)定位修正標(biāo)定方法，所述對(duì)焦距離采樣點(diǎn)以及焦 距采樣點(diǎn)采用鏡頭標(biāo)定過程中所取的采樣點(diǎn)。
【專利摘要】本發(fā)明公開了一種攝影機(jī)定位修正標(biāo)定方法及實(shí)現(xiàn)該方法的系統(tǒng)，屬于影像虛擬制作技術(shù)領(lǐng)域。通過鏡頭參數(shù)、成像面和光學(xué)跟蹤設(shè)備之間的內(nèi)在關(guān)系，利用背景幕布上N個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)、像點(diǎn)坐標(biāo)和攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)，獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣以及攝影機(jī)透視中心在世界坐標(biāo)系的平移向量，結(jié)合當(dāng)前狀態(tài)下攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息，求得攝影機(jī)修正標(biāo)定信息和視場(chǎng)角，建立其與對(duì)焦距離以及與焦距關(guān)系的查找表，從而使得當(dāng)攝影機(jī)位置、鏡頭焦距、對(duì)焦距離發(fā)生變化時(shí)，對(duì)虛擬制作系統(tǒng)的虛擬攝影機(jī)的位置進(jìn)行全自動(dòng)定位修正，使得實(shí)拍視頻幀畫面與計(jì)算機(jī)產(chǎn)生的虛擬幀圖像完美匹配。
【IPC分類】G06T7/00
【公開號(hào)】CN105118055
【申請(qǐng)?zhí)枴緾N201510489677
【發(fā)明人】劉戈三, 顧曉娟, 王春水, 唐修文
【申請(qǐng)人】北京電影學(xué)院
【公開日】2015年12月2日
【申請(qǐng)日】2015年8月11日