] 攝像機(jī)定位是根據(jù)攝像機(jī)在全方位特征面空間中捕獲到3個以上特征點(diǎn)的圖像 與該特征點(diǎn)的空間位置計(jì)算得到的，涉及特征點(diǎn)圖像的采集及處理、攝像機(jī)定位算法。該系 統(tǒng)的三維注冊可以根據(jù)攝像機(jī)在全方位特征面空間中捕獲到1個以上特征點(diǎn)的圖像與該 特征點(diǎn)的空間位置計(jì)算得到的。基于多特征點(diǎn)的三維注冊策略能有效降低遮擋對三維注冊 精度的影響。
[0051] 圖像采集就是將客觀世界的3D場景投影到攝像機(jī)2D成像平面上的過程。成像變 換建立了空間坐標(biāo)點(diǎn)（X，Y，Z)和圖像坐標(biāo)點(diǎn)（u，v)之間的幾何關(guān)系。涉及到若干不同坐標(biāo) 系統(tǒng)之間的變換，世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、成像平面坐標(biāo)系、計(jì)算機(jī)圖像坐標(biāo)系。
[0052] 坐標(biāo)系變換：
[0053] A.從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的坐標(biāo)變換：
[0054] 空間中的點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下的坐標(biāo)分別是（X，Y，Z)和 (X'，Y'，Z'），于是存在以下關(guān)系：
[0055]
(1)
[0056]其中R3W = R( a，Y )是旋轉(zhuǎn)矩陣，分別是繞攝像機(jī)坐標(biāo)系繞x軸旋轉(zhuǎn)角度為a， 繞7軸旋轉(zhuǎn)角度為0，繞2軸旋轉(zhuǎn)角度為？。1^1=〇；，1；，1；)1為平移矢量。6個參數(shù)組 成（a，0， Y，Tx，Ty，Tz)為攝像機(jī)外參。
[0058] B.從攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的坐標(biāo)變換：
[0059] 點(diǎn)P在成像平面的成像p的坐標(biāo)為（X，y)，則有如下關(guān)系：
[0060]
(3:)
[0061] 其中f為攝像機(jī)焦距。
[0062] C.從成像平面坐標(biāo)系到計(jì)算機(jī)圖像坐標(biāo)系的轉(zhuǎn)換：
[0063] 點(diǎn)p在計(jì)算機(jī)圖像坐標(biāo)系是（u，V)，則有如下關(guān)系：
[0064]
⑷
[0065]其中，dx，dy分別為每個像素在x軸和y軸方向上的物理尺寸，（u。，V。）為計(jì)算機(jī) 圖像坐標(biāo)系的原點(diǎn)在成像平面坐標(biāo)系中的坐標(biāo)。
[0066] 因此，世界坐標(biāo)系下的坐標(biāo)為（X，Y，Z)的點(diǎn)P與其投影點(diǎn)p(在計(jì)算機(jī)圖像坐標(biāo)系 下的坐標(biāo)（u, v))的關(guān)系：
[0068] 上式可表示為：
(6)
[0070]其中，M2為攝像機(jī)內(nèi)參，只與攝像機(jī)本身的結(jié)構(gòu)有關(guān)戽為攝像機(jī)外參，攝像機(jī)相 對于世界坐標(biāo)系的方位決定。
[0071]攝像的內(nèi)外參數(shù)I，M2可以通過直接線性變換方法、張正友的平面標(biāo)定方法、Tsai 標(biāo)定方法等方法進(jìn)行標(biāo)定求解。標(biāo)定后的攝像機(jī)可以得到世界坐標(biāo)系下的坐標(biāo)為（X，Y，Z) 的點(diǎn)P與其投影點(diǎn)P(在計(jì)算機(jī)圖像坐標(biāo)系下的坐標(biāo)（u，v))的對應(yīng)關(guān)系。
[0073] 攝像機(jī)內(nèi)參M2只與攝像機(jī)本身的結(jié)構(gòu)有關(guān)，因此對于同一攝像機(jī)標(biāo)定后內(nèi)參矩陣 不會發(fā)生變化。而外參I會隨著拍攝物體在空間中的位置變化而變化。
[0074] 由于全方位特征面是預(yù)先構(gòu)建的，其特征點(diǎn)的空間位置是已知的。對于特征點(diǎn)匕， 其世界坐標(biāo)系坐標(biāo)為（Xi，Yi，Zi)，在攝像機(jī)捕獲該特征點(diǎn)，成像為，在計(jì)算機(jī)圖像坐標(biāo)系 中的坐標(biāo)為（W，vj ,滿足：
(8)
[0076] 上式中，由于特征點(diǎn)的位置預(yù)先確定，因此匕世界坐標(biāo)系坐標(biāo)是已知 量，成像fi的坐標(biāo)（Ui, Vi)可以通過拍攝的照片得到，攝像機(jī)內(nèi)參矩陣M2是通過攝像機(jī)標(biāo)定 提前得到的，因此只有攝像機(jī)外參矩陣I是未知的。而攝像機(jī)外參矩陣I是描述世界坐標(biāo) 系到攝像機(jī)坐標(biāo)系的坐標(biāo)變換，根據(jù)公式（2)，6個參數(shù)組成（a，0 Y，Tx，Ty，Tz)為攝像機(jī) 外參矩陣吣。
[0077] 當(dāng)對應(yīng)特征點(diǎn)個數(shù)k = 3時，有：
(9)
[0079]當(dāng)內(nèi)參矩陣M2已知的情況下，可以求解線性方程組（9)，得到外參矩陣吣的6個 參數(shù)（a，0，y，Tx，Ty，Tz)，當(dāng)對應(yīng)特征點(diǎn)個數(shù)k大于3個時，可采用求解如下優(yōu)化問題，最 優(yōu)解對應(yīng)的矩陣I即為所求。
[0080]
(1 0)
[0081] 其中內(nèi)參矩陣沁已確定，距離函數(shù)定義如下：
[0082]
(11)
[0083] 在式（11)中，（XA，YA)為A點(diǎn)坐標(biāo)，（X B，YB)為B點(diǎn)坐標(biāo)
[0084] 外參矩陣I是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的坐標(biāo)變換矩陣，據(jù)此可以得到攝像機(jī) 坐標(biāo)系原點(diǎn)在世界坐標(biāo)系的位置為（_T X，-Ty，-Tz)，完成攝像機(jī)定位。
[0085] 三維注冊是將虛擬的信息應(yīng)用到真實(shí)世界，并將計(jì)算機(jī)生成的虛擬物體、場景或 系統(tǒng)提示信息疊加到真實(shí)場景中。虛擬物體可以看作是真實(shí)世界中的一組點(diǎn)集（H，ZJ c = 1，2,…n，其中n為點(diǎn)集的個數(shù)。根據(jù)公式（8)和已經(jīng)定位好的攝像機(jī)，可以計(jì)算得到 虛擬物體在攝像機(jī)中的成像，完成三維注冊。
[0086] 本發(fā)明的具有全方位特征面的裝置構(gòu)造的封閉空間是可以運(yùn)動的。封閉空間自身 具有運(yùn)動裝置或者借助外界運(yùn)動裝置，發(fā)生平移、旋轉(zhuǎn)等運(yùn)動，例如在所述裝置下部安裝輪 子再將其安置于滑軌上，通過外部機(jī)構(gòu)拖拽其運(yùn)行；或?qū)⑺鲅b置安裝在多維度的搖臂上； 或?qū)⑺鲅b置懸吊于空中的吊臂上，總之使其能夠由系統(tǒng)控制進(jìn)行運(yùn)動，其運(yùn)動方式也可 以參考現(xiàn)有的4D影院中的運(yùn)動機(jī)構(gòu)的運(yùn)動方式。其至少支持一個自由度（沿某軸向平移 或轉(zhuǎn)動），到多自由度復(fù)雜運(yùn)動?？梢酝ㄟ^外部的機(jī)械機(jī)構(gòu)/電磁等方式來驅(qū)動本封閉空間 進(jìn)行運(yùn)動，但其所有的運(yùn)動均應(yīng)受運(yùn)動狀態(tài)控制模塊的控制，從而模擬虛擬現(xiàn)實(shí)中的運(yùn)動 場景，進(jìn)而給用戶帶來身臨其境的真實(shí)感。
[0087] 通過采用本發(fā)明公開的上述技術(shù)方案，得到了如下有益的效果：
[0088] 本發(fā)明的具有全方位特征面的裝置及采用所述裝置的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，通 過構(gòu)造一個封閉空間并在封閉空間內(nèi)表面設(shè)置特征點(diǎn)，可以實(shí)現(xiàn)該封閉空間內(nèi)可移動攝像 機(jī)的三維注冊，解決可移動攝像機(jī)在增強(qiáng)現(xiàn)實(shí)環(huán)境中的外界光照等因素影響特征點(diǎn)檢測 造成三維注冊失敗的問題，以及特征點(diǎn)被遮擋造成三維注冊的失敗問題，實(shí)現(xiàn)全向無死角 (大范圍、多角度的）三維注冊問題。
[0089] 以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng) 視本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種具有全方位特征面的裝置，其特征在于，包括一個全封閉式或半封閉式箱體，所 述箱體上設(shè)有可打開和閉合的用于使用者出入的出入口，當(dāng)所述出入口閉合時所述箱體內(nèi) 部形成一個全封閉或半封閉的空間，所述箱體內(nèi)側(cè)布置有若干個相鄰且相互不重疊的特征 點(diǎn)，所述若干個特征點(diǎn)均互不相同且每一個所述特征點(diǎn)的位置均預(yù)先確定、每一個所述特 征點(diǎn)與其所在位置形成唯一對應(yīng)關(guān)系。2. 根據(jù)權(quán)利要求1所述的具有全方位特征面的裝置，其特征在于，所述特征點(diǎn)選用以 下之一或以下兩種或多種的組合： 顏色互不相同的色塊； 形狀互不相同的幾何形狀塊； 互不相同的圖形； 互不相同的文字符號。3. 根據(jù)權(quán)利要求1所述的具有全方位特征面的裝置，其特征在于，所述特征點(diǎn)選用以 下之一或以下兩種或多種的組合： 自發(fā)光設(shè)備； 背光設(shè)備； 反光設(shè)備； 以上所述光為可見光和/或非可見光。4. 根據(jù)權(quán)利要求1-3任一所述的具有全方位特征面的裝置，其特征在于，所述箱體的 外部設(shè)置有用于驅(qū)動所述箱體移動位置的驅(qū)動機(jī)構(gòu)。5. 根據(jù)權(quán)利要求1-3任一所述的具有全方位特征面的裝置，其特征在于，所述特征點(diǎn) 布滿所述箱體的整個內(nèi)表面。6. 根據(jù)權(quán)利要求1-3任一所述的具有全方位特征面的裝置，其特征在于，所述箱體內(nèi) 部空間形狀為方形或圓形或不規(guī)則幾何形。7. 根據(jù)權(quán)利要求1-3任一所述的具有全方位特征面的裝置，其特征在于，所述箱體上 設(shè)有觀察窗和/或透氣孔。8. -種增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，其特征在于，包括權(quán)利要求1-7任一所述的具有全方 位特征面的裝置，還包括運(yùn)算分析模塊和設(shè)置于所述具有全方位特征面的裝置內(nèi)部可移動 的圖像采集裝置，所述圖像采集裝置用于采集所述特征點(diǎn)的圖像，所述運(yùn)算分析模塊用于 對所述圖像采集裝置捕獲的圖像進(jìn)行處理、運(yùn)算并得到所述圖像采集裝置的位置。9. 根據(jù)權(quán)利要求8所述的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，其特征在于，所述運(yùn)算分析模塊還 用于將由計(jì)算機(jī)生成的虛擬物體影像映射到所述具有全方位特征面的裝置內(nèi)和/或外的 指定位置，以達(dá)到虛擬物體和真實(shí)世界的準(zhǔn)確融合。10. 根據(jù)權(quán)利要求8所述的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，其特征在于，還包括運(yùn)動狀態(tài)控制 模塊，用于以所述圖像采集裝置的位置信息為參數(shù)通過控制所述驅(qū)動機(jī)構(gòu)運(yùn)動進(jìn)而控制所 述箱體的運(yùn)動狀態(tài)。11. 根據(jù)權(quán)利要求10所述的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，其特征在于，所述運(yùn)動狀態(tài)包括： 平移和/或旋轉(zhuǎn)和/或抖動和/或升降。12. 根據(jù)權(quán)利要求8-11任一所述的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，其特征在于，所述圖像采 集裝置為配置有標(biāo)準(zhǔn)鏡頭的攝像機(jī)，或者為配置有廣角鏡頭的攝像機(jī)。
【專利摘要】本發(fā)明公開了一種具有全方位特征面的裝置及采用所述裝置的增強(qiáng)現(xiàn)實(shí)三維注冊系統(tǒng)，通過構(gòu)造一個封閉空間并在封閉空間內(nèi)表面設(shè)置特征點(diǎn)，可以實(shí)現(xiàn)該封閉空間內(nèi)可移動攝像機(jī)的三維注冊，解決可移動攝像機(jī)在增強(qiáng)現(xiàn)實(shí)環(huán)境中的外界光照等因素影響特征點(diǎn)檢測造成三維注冊失敗的問題，以及特征點(diǎn)被遮擋造成三維注冊的失敗問題，實(shí)現(xiàn)全向無死角、大范圍、多角度的三維注冊。
【IPC分類】G06T7/00
【公開號】CN105205799
【申請?zhí)枴緾N201410256008
【發(fā)明人】黃通兵
【申請人】北京七鑫易維信息技術(shù)有限公司
【公開日】2015年12月30日
【申請日】2014年6月10日