攝影機(jī)定位修正標(biāo)定方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種攝影機(jī)定位修正標(biāo)定方法及實(shí)現(xiàn)該方法的系統(tǒng)，屬于影像虛擬制 作技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 虛擬攝影機(jī)姿態(tài)以及視場(chǎng)角是計(jì)算機(jī)圖像渲染引擎所需的兩個(gè)非常重要信息。在 虛擬攝影制作流程中，為了獲得好的視覺效果，要求實(shí)拍畫面與虛擬畫面匹配。這種匹配是 指虛擬畫面的效果能夠模仿真實(shí)攝影機(jī)的拍攝效果，如果攝影機(jī)鏡頭的焦距、對(duì)焦距離發(fā) 生改變，虛擬攝影機(jī)的視場(chǎng)角也相應(yīng)的實(shí)時(shí)改變；當(dāng)攝影機(jī)機(jī)位發(fā)生改變，計(jì)算機(jī)圖像生成 引擎中的虛擬攝影機(jī)機(jī)位也對(duì)應(yīng)地發(fā)生位置上的改變。新奧特（北京）視頻技術(shù)有限公司 提出一種標(biāo)定參數(shù)的獲取方法和裝置（申請(qǐng)?zhí)?00810223256. 3)，該方法通過已知足夠多 的參考點(diǎn)的空間坐標(biāo)采用雙平面坐標(biāo)標(biāo)定方法或線性標(biāo)定方法計(jì)算攝像機(jī)的內(nèi)部參數(shù)和 外部參數(shù)，攝像機(jī)的內(nèi)部參數(shù)包括攝像機(jī)的光學(xué)和幾何學(xué)特性、焦距，比例因子和鏡頭畸變 等，攝像機(jī)的外部參數(shù)包括攝像機(jī)坐標(biāo)相對(duì)于世界坐標(biāo)系的位置和方向，然后采用蟻群算 法對(duì)參數(shù)進(jìn)行優(yōu)化，并生成評(píng)價(jià)函數(shù)。但該文件并未給出具體的實(shí)施方式和技術(shù)方案，并且 也未說明具體采用何種參數(shù)進(jìn)行計(jì)算。公安部物證鑒定中心提出的一種標(biāo)定攝像機(jī)參數(shù)的 方法及裝置（申請(qǐng)?zhí)?01010144764. X)雖然是一種標(biāo)定攝像機(jī)的方法但是其要解決的問題 與本發(fā)明不同，該申請(qǐng)根據(jù)標(biāo)定靶圖像中像主點(diǎn)附近無畸變區(qū)域像素點(diǎn)坐標(biāo)構(gòu)建虛擬網(wǎng)格 從而計(jì)算攝像機(jī)畸變系數(shù)，完成攝像機(jī)內(nèi)參數(shù)標(biāo)定，而且與攝像機(jī)外部參數(shù)無關(guān)。日本豐田 自動(dòng)織機(jī)株式會(huì)社提出的一種視頻圖像位置關(guān)系修正設(shè)備及具有該視頻圖像位置關(guān)系修 正設(shè)備的轉(zhuǎn)向輔助設(shè)備和視頻圖像位置關(guān)系修正方法（申請(qǐng)?zhí)?00480041109. 4)，該申請(qǐng) 基于通過攝像機(jī)實(shí)際捕獲并顯示的視頻圖像參考點(diǎn)和虛擬目標(biāo)點(diǎn)在監(jiān)視器上坐標(biāo)之間的 偏差計(jì)算坐標(biāo)變換參數(shù)，從而用于推導(dǎo)虛擬目標(biāo)的監(jiān)視器坐標(biāo)。北京經(jīng)煒恒潤(rùn)科技有限公 司提出一種仿真臺(tái)架攝像機(jī)標(biāo)定方法及實(shí)時(shí)機(jī)（申請(qǐng)?zhí)?01510134249. 6)，通過建立的虛 擬攝像機(jī)采集標(biāo)定參考物并成像，建立其任一點(diǎn)與虛擬攝像機(jī)圖像平面坐標(biāo)之間的關(guān)系， 然后由真實(shí)攝像機(jī)采集所述成像建立標(biāo)定參考物任一點(diǎn)在虛擬攝像機(jī)中的成像點(diǎn)與真實(shí) 攝像機(jī)圖像平面坐標(biāo)之間的對(duì)應(yīng)關(guān)系，利用這兩個(gè)關(guān)系求解得到標(biāo)定參考物任一點(diǎn)與真實(shí) 攝像機(jī)圖像平面坐標(biāo)之間的對(duì)應(yīng)關(guān)系，從而消除虛擬攝像機(jī)到真實(shí)攝像機(jī)之間存在的參數(shù) 差異。該方法中需要先建立虛擬攝像機(jī)，而本發(fā)明直接計(jì)算與實(shí)際攝影機(jī)相符合的視場(chǎng)角、 攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息（含旋轉(zhuǎn)角和攝影機(jī)位置）給圖像渲染引擎。
[0003] 為了達(dá)到這樣的目的，我們必須能夠?qū)崟r(shí)得到在給定的坐標(biāo)系下攝影機(jī)的位置、 姿態(tài)和視場(chǎng)角信息。現(xiàn)在通常的做法是在攝影機(jī)上安裝攝影機(jī)姿態(tài)外部跟蹤設(shè)備如光學(xué)跟 蹤設(shè)備，通過測(cè)量攝影機(jī)的傳感器位置與光學(xué)跟蹤設(shè)備的偏移，估計(jì)攝影機(jī)的位置、姿態(tài)信 息。已有的實(shí)時(shí)影像虛擬預(yù)演系統(tǒng)的攝影機(jī)跟蹤方法，主要以手動(dòng)方式測(cè)量，然后根據(jù)綠幕 標(biāo)記點(diǎn)或者其他特征點(diǎn)，進(jìn)行手動(dòng)調(diào)整，此外也沒有考慮對(duì)焦距離與視場(chǎng)角等因素，因而導(dǎo) 致效率較低并且精度較低，導(dǎo)致來自攝影機(jī)的視頻圖像和計(jì)算機(jī)生成的虛擬場(chǎng)景出現(xiàn)錯(cuò)位 現(xiàn)象，導(dǎo)致虛擬場(chǎng)景給人一種不真實(shí)的感覺，虛擬場(chǎng)景和真實(shí)場(chǎng)景的疊加效果不理想。

【發(fā)明內(nèi)容】

[0004] 為了達(dá)到虛擬背景與實(shí)拍圖像完美匹配的目的，攝影機(jī)的位置應(yīng)與計(jì)算機(jī)圖像渲 染引擎接受的虛擬攝影機(jī)的位置相同。計(jì)算機(jī)圖像渲染引擎的虛擬攝影機(jī)的成像服從小孔 成像原理，所以與之匹配的真實(shí)攝影機(jī)位置則是攝影機(jī)的透視中心，即入瞳與光軸的交點(diǎn)。 所以最后得到攝影機(jī)修正標(biāo)定信息是攝影機(jī)姿態(tài)外部跟蹤設(shè)備（如光學(xué)跟蹤設(shè)備）與攝影 機(jī)透視中心的位置差信息。基于上述原理，本發(fā)明提供一種對(duì)攝影機(jī)定位進(jìn)行修正標(biāo)定的 方法及系統(tǒng)，通過鏡頭參數(shù)、成像面和光學(xué)跟蹤設(shè)備之間的內(nèi)在關(guān)系，對(duì)虛擬制作系統(tǒng)的虛 擬攝影機(jī)的位置進(jìn)行全自動(dòng)定位修正，并計(jì)算與實(shí)際攝影機(jī)相符合的視場(chǎng)角、攝影機(jī)位置、 攝影機(jī)姿態(tài)給圖像渲染引擎，從而使得當(dāng)攝影機(jī)位置、鏡頭焦距、對(duì)焦距離發(fā)生變化時(shí)，自 動(dòng)實(shí)時(shí)的得到攝影機(jī)標(biāo)定修正參數(shù)，并根據(jù)標(biāo)定修正參數(shù)得到計(jì)算機(jī)圖像渲染引擎的虛擬 攝影機(jī)坐標(biāo)和姿態(tài)，使得實(shí)拍視頻幀畫面與計(jì)算機(jī)產(chǎn)生的虛擬幀圖像完美匹配。
[0005] 為了解決上述技術(shù)問題，本發(fā)明提供了一種對(duì)攝影機(jī)定位進(jìn)行修正標(biāo)定的方法， 包括以下步驟：
[0006] SI.獲取背景幕布上N個(gè)標(biāo)記點(diǎn)A1, ...，^在世界坐標(biāo)系下的坐標(biāo)=A1U1, yi， Z1)，…，AN(xN，yN，zN)，其中第i個(gè)標(biāo)記點(diǎn)在世界坐標(biāo)系下的坐標(biāo)為A i (Xi, y;，Zi)，i = 1~ N ;所述N個(gè)標(biāo)記點(diǎn)至少包括3個(gè)不同線的標(biāo)記點(diǎn)；所述標(biāo)記點(diǎn)坐標(biāo)為標(biāo)記點(diǎn)的圓心位置并 且所述標(biāo)記點(diǎn)均位于攝影機(jī)采集的畫面內(nèi)；
[0007] S2.確定數(shù)值從小到大的對(duì)焦距離采樣點(diǎn)FD1,FD2，…，F(xiàn)Dj, 其中j = 1~ J，F(xiàn)DJP FD :分別是攝影機(jī)鏡頭的最小對(duì)焦距離和最大對(duì)焦距離；
[0008] 若攝影機(jī)鏡頭為變焦鏡頭，則還需要確定數(shù)值從小到大的焦距采樣點(diǎn)FL1,FL 2，…， FLk，…，F(xiàn)Lk;其中k = 1~K，F(xiàn)L JP FL 別是鏡頭的最小焦距和最大焦距；
[0009] S3.若攝影機(jī)鏡頭為定焦鏡頭，獲取每個(gè)對(duì)焦距離采樣點(diǎn)FDj對(duì)應(yīng)的攝影機(jī)鏡頭內(nèi) 部參數(shù)和鏡頭畸變參數(shù)；
[0010] 若攝影機(jī)鏡頭為變焦鏡頭，獲取每個(gè)對(duì)焦距離采樣點(diǎn)FD,和每個(gè)焦距采樣點(diǎn)FLdi 應(yīng)的攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)；
[0011] 所述攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)通過鏡頭標(biāo)定過程獲得；
[0012] S4.若攝影機(jī)鏡頭為定焦鏡頭，當(dāng)對(duì)焦距離取第j個(gè)對(duì)焦距離采樣點(diǎn)FD jt，調(diào)整 攝影機(jī)位置使得背景幕布上的標(biāo)記點(diǎn)能夠清晰成像；
[0013] 若攝影機(jī)鏡頭為變焦鏡頭，當(dāng)對(duì)焦距離取第j個(gè)對(duì)焦距離采樣點(diǎn)FD,且焦距在第k 個(gè)采樣點(diǎn)FLk處時(shí)，調(diào)整攝影機(jī)位置使得背景幕布上的標(biāo)記點(diǎn)能夠清晰成像；
[0014] S5.獲取當(dāng)前狀態(tài)下攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息，包括為使世 界坐標(biāo)系經(jīng)過平移后依次分別圍繞其X軸、Y軸和Z軸旋轉(zhuǎn)后與攝影機(jī)姿態(tài)外部跟蹤設(shè)備 自定義的坐標(biāo)系重合的旋轉(zhuǎn)歐拉角，以及攝影機(jī)姿態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置 坐標(biāo)；
[0015] S6.利用Sl獲取的N個(gè)標(biāo)記點(diǎn)的世界坐標(biāo)、標(biāo)記點(diǎn)在攝影機(jī)成像坐標(biāo)系下的像點(diǎn) 坐標(biāo)和S3獲取的攝影機(jī)鏡頭內(nèi)部參數(shù)和鏡頭畸變參數(shù)，獲取攝影機(jī)坐標(biāo)系與世界坐標(biāo)系 之間的旋轉(zhuǎn)矩陣以及攝影機(jī)透視中心在世界坐標(biāo)系的平移向量，即攝影機(jī)在世界坐標(biāo)系下 的姿態(tài)信息；
[0016] S7.利用S5獲取的當(dāng)前狀態(tài)下攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息，和 S6中求得的攝影機(jī)在世界坐標(biāo)系下的姿態(tài)信息，求得攝影機(jī)修正標(biāo)定信息和視場(chǎng)角；
[0017] S8.若攝影機(jī)鏡頭為定焦鏡頭：調(diào)整對(duì)焦距離，對(duì)每個(gè)對(duì)焦距離采樣點(diǎn)FD,執(zhí)行步 驟S4~S7,直到遍歷所有對(duì)焦距離采樣點(diǎn)，求出每個(gè)對(duì)焦距離采樣點(diǎn)所對(duì)應(yīng)的修正標(biāo)定信 息和視場(chǎng)角，建立對(duì)焦距離-修正標(biāo)定信息-視場(chǎng)角的查找表LUTl ;
[0018] 若攝影機(jī)鏡頭為變焦鏡頭：調(diào)整對(duì)焦距離和焦距，對(duì)每個(gè)對(duì)焦距離采樣點(diǎn)FD jP 每個(gè)焦距采樣點(diǎn)FLki行步驟S4~S7,直到遍歷所有對(duì)焦距離采樣點(diǎn)和焦距采樣點(diǎn)，求 出每個(gè)對(duì)焦距離采樣點(diǎn)和焦距采樣點(diǎn)所對(duì)應(yīng)的修正標(biāo)定信息和視場(chǎng)角，建立對(duì)焦距離-焦 距-修正標(biāo)定信息-視場(chǎng)角的查找表LUT2 ;
[0019] S9.若攝影機(jī)鏡頭為定焦鏡頭：則根據(jù)所述查找表LUT1，通過對(duì)焦距離獲取相應(yīng) 的修正標(biāo)定信息與視場(chǎng)角。
[0020] 若攝影機(jī)鏡頭為變焦鏡頭：則根據(jù)所述查找表LUT2,通過對(duì)焦距離和焦距獲取相 應(yīng)的修正標(biāo)定信息與視場(chǎng)角。
[0021] 進(jìn)一步地，本發(fā)明所提出的攝影機(jī)定位修正標(biāo)定方法還包括如下優(yōu)選的技術(shù)方 案：
[0022] 一、作為優(yōu)選，步驟S3中，
[0023] (1)當(dāng)攝影機(jī)鏡頭為定焦鏡頭時(shí)：
[0024] 對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FDj，相應(yīng)的攝影機(jī)鏡頭內(nèi)部參數(shù)為：fxj，f yj，cxj，cyj， 其中：
[0025] fx]:表示對(duì)焦距離為FD ,時(shí)，鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的距離f ,與攝 影機(jī)成像儀每個(gè)單元的水平寬度dx之比，即
[0026] fy]:表示對(duì)焦距離為FD ,時(shí)，鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的距離f ,與攝 影機(jī)成像儀每個(gè)單元的垂直高度dy之比，即，
[0027] cx]:表示對(duì)焦距離為FD ,時(shí)，鏡頭的光軸與成像面的交點(diǎn)，與成像面中心的水平偏 移的像素?cái)?shù)；
[0028] cy]:表示對(duì)焦距離為FD ,時(shí)，鏡頭的光軸與成像面的交點(diǎn)，與成像面中心的垂直偏 移的像素?cái)?shù)；
[0029] 對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FDj，相應(yīng)的攝影機(jī)鏡頭畸變參數(shù)為： P2j，其中kw k2j，k3j為對(duì)焦距離是FD j時(shí)的徑向畸變參數(shù)，其中k 3j為選用參數(shù)，當(dāng)鏡頭為魚 眼鏡頭時(shí)使用kw k2j，k3j這三個(gè)徑向畸變參數(shù)，當(dāng)鏡頭為非魚眼鏡頭時(shí)，k 3j= 0,即其他鏡 頭只使用ky k2j這兩徑向畸變參數(shù)；p V p2j為對(duì)焦距離是FD j時(shí)的切向畸變參數(shù)；
[0030] 并且，獲得每個(gè)對(duì)焦距離FD,下的內(nèi)參矩陣M ,為：
[0032] (2)當(dāng)攝影機(jī)鏡頭為變焦鏡頭時(shí)：
[0033] 對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FD,和第k個(gè)焦距采樣點(diǎn)FLk，相應(yīng)的攝影機(jī)鏡頭內(nèi)部 參數(shù)為： fxjk，fyjk，Cxjk，Cyjk，其中：
[0034] fx]k:表示對(duì)焦距離為FD ,，焦距為FL1^t，鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的 距離f]k與成像儀每個(gè)單元的水平寬度dx之比，即
[0035] fy]k:表示對(duì)焦距離為FD ,，焦距為FL1^t，鏡頭的出瞳與鏡頭光軸交點(diǎn)到成像面的 距離fjk與成像儀每個(gè)單元的垂直高度dy之比，即
[0036] cx]k:表示對(duì)焦距離為FD ,，焦距為FL1^，光軸與成像面的交點(diǎn)與成像面中心的水 平偏移的像素?cái)?shù)；
[0037] cy]k:表示對(duì)焦距離為FD ,，焦距為FL1^t，光軸與成像面的交點(diǎn)與成像面中心的垂 直偏移的像素?cái)?shù)；
[0038] 對(duì)于第j個(gè)對(duì)焦距離采樣點(diǎn)FD,和第k個(gè)焦距采樣點(diǎn)FL k，相應(yīng)的攝影機(jī)鏡頭畸變 參數(shù)為: kijk，k2jk，1%仆， Pljk和P 2]k，其中k1]k，k2]# k 3]k為對(duì)焦距離是FD ,且焦距為FL跗的 徑向畸變參數(shù)，其中k3_jk為選用參數(shù)，當(dāng)鏡頭為魚眼鏡頭時(shí)使用k uk，k3_jk這三個(gè)徑向 畸變參數(shù)；當(dāng)鏡頭為非魚眼鏡頭時(shí)，k3_jk= 0,即其他鏡頭只使用k uk，k2_jk這兩個(gè)徑向畸變參 數(shù)；Pg，Pm為對(duì)焦距離是FD ^且焦距為FL k時(shí)的切向畸變參數(shù)；
[0039] 并且獲得每個(gè)對(duì)焦距離FD,和焦距FL ,下的內(nèi)參矩陣為M ]k:
[0041] 二、作為優(yōu)選，步驟S5中，
[0042] (1)當(dāng)攝影機(jī)鏡頭為定焦鏡頭時(shí)：
[0043] 所述攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位置信息為[θ χ]，Θ y]，Θ z]，Tx]，Ty]， TJ ;其中[θχ]，0y]，θζ]]為使世界坐標(biāo)系經(jīng)過平移后依次分別圍繞X軸、Y軸和Z軸旋轉(zhuǎn) 后與攝影機(jī)姿態(tài)外部跟蹤設(shè)備自定義的坐標(biāo)系重合的旋轉(zhuǎn)歐拉角，[Tx]，Ty]，Τζ]]為攝影機(jī) 姿態(tài)外部跟蹤設(shè)備在世界坐標(biāo)系下的位置坐標(biāo)，將攝影機(jī)姿態(tài)外部跟蹤設(shè)備給出的當(dāng)前位 置信息表示為如下矩陣形式：
[0045] 這里
[0047] Tlj= [Txj Tyj Tzj]1
[0048] 0 = [0,0,0]；