一種基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法
【技術(shù)領域】
[0001] 本發(fā)明涉及攝像機系統(tǒng)標定方法，特指一種基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標 定以及聯(lián)動方法，屬于圖像信息處理領域。
【背景技術(shù)】
[0002] 近年來，隨著視頻監(jiān)控技術(shù)的發(fā)展，魚眼鏡頭攝像機監(jiān)控設備的市場需求度越來 越大。基于魚眼鏡頭的監(jiān)控攝像機可以生成包含全方位場景信息的全景視頻圖像，能夠?qū)?現(xiàn)大視野、寬視角場景圖像的獲取，在安防監(jiān)控領域具有非常重要的應用價值。然而魚眼鏡 頭攝像機在局部范圍的分辨率很低，因此，其實用價值受到一定程度的限制。
[0003] 主從攝像機系統(tǒng)是一種新型監(jiān)控系統(tǒng)，一般由魚眼鏡頭攝像機和 PTZ(pan-tilt-zoom)攝像機組成，PTZ攝像機也可稱為球機攝像機，在該系統(tǒng)中，魚眼鏡頭 攝像機負責全局無盲區(qū)的實時監(jiān)控，PTZ攝像機利用其高速旋轉(zhuǎn)及變倍的功能實現(xiàn)對場景 中某一任意局部的高清拍攝。主從攝像機系統(tǒng)既能像魚眼鏡頭攝像機一樣"看得全"，又能 和PTZ-樣"看得清"。
[0004] 當用戶在魚眼鏡頭攝像機畫面上看到感興趣的目標后，其通過指定魚眼圖像中的 感興趣位置，PTZ攝像機能夠迅速的自動旋轉(zhuǎn)至指定位置，這一功能一般被稱作聯(lián)動。為 了實現(xiàn)聯(lián)動功能，需要進行主從攝像機系統(tǒng)的標定，即標定出從魚眼圖像的像素坐標到PTZ 攝像機的旋轉(zhuǎn)角度的映射關系。
[0005] 由于魚眼攝像機和PTZ攝像機之間的位置關系不確定，即使存在相對確定的關 系，但是由于存在安裝等方面的誤差，也使得所需要的映射關系不能夠精確明確，因此進行 標定是主從攝像機系統(tǒng)的必須步驟。實現(xiàn)標定較為直觀的方法是逐塊人工標定，即在魚眼 圖像中分割出很多塊，人工旋轉(zhuǎn)PTZ攝像機，并記錄下每塊圖像對應的PTZ攝像機旋轉(zhuǎn)參 數(shù)，最終采用插值方法求出所有位置的映射關系，這種方法在操作中存在費時費力的缺點。

【發(fā)明內(nèi)容】

[0006] 針對主從攝像機系統(tǒng)的標定問題，本發(fā)明提出一種基于旋轉(zhuǎn)模型的主從攝像機系 統(tǒng)標定以及聯(lián)動方法。
[0007] 為實現(xiàn)上述發(fā)明目的，本發(fā)明一種基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián) 動方法，其采用的技術(shù)方案包括兩個方面：標定過程和聯(lián)動過程。
[0008] 其中標定過程是指獲得映射關系的過程，包括以下四個步驟：
[0009] 標定過程第一步：初步調(diào)整。
[0010] 采用人工操作或自動操作或兩者結(jié)合的方式，調(diào)整PTZ攝像機的云臺旋轉(zhuǎn)角度， 使得PTZ攝像機的拍攝方向與魚眼攝像機拍攝方向基本一致，使得PTZ攝像機的畫面基本 位于魚眼攝像機的畫面內(nèi)，此時，記錄下PTZ攝像機的Pan旋轉(zhuǎn)角度a和Tilt旋轉(zhuǎn)角度 0 ；
[0011] 在標定過程第一步中，魚眼攝像機是指一種常用的監(jiān)控攝像機，該類型的監(jiān)控攝 像機具有一個特征，即其配備的鏡頭為固定焦距的魚眼鏡頭，這種魚眼鏡頭能使得監(jiān)控攝 像機具備超廣角的拍攝能力，其拍攝角度一般能達到170度以上甚至超過180度。
[0012] 在標定過程第一步中，PTZ攝像機是指一種常用的監(jiān)控攝像機，該類型的監(jiān)控攝像 機具有兩大特征，第一是其具有可變焦的鏡頭，第二是其內(nèi)置一個云臺，云臺使得攝像機可 繞兩個軸旋轉(zhuǎn)（Pan旋轉(zhuǎn)軸和Tilt旋轉(zhuǎn)軸），通過云臺控制接口操作云臺的旋轉(zhuǎn)。
[0013] 在標定過程第一步中，人工操作是指監(jiān)控人員通過PTZ攝像機的云臺控制接口來 調(diào)整PTZ攝像機的云臺旋轉(zhuǎn)角度；自動操作是指在計算機軟件或主從攝像機系統(tǒng)的存儲器 中，存儲有一組Pan旋轉(zhuǎn)角度a和Tilt旋轉(zhuǎn)角度0參數(shù)，通過將該參數(shù)自動設置到PTZ 攝像機中，能完成初步調(diào)整任務，這組參數(shù)可在主從攝像機系統(tǒng)的安裝過程中估算得到，也 可在主從攝像機系統(tǒng)的使用過程中修改；兩者結(jié)合的方式是指先采用自動操作的方式進行 初步調(diào)整的粗調(diào)，再采用手動操作的方式進行細調(diào)。
[0014] 標定過程第二步：對魚眼圖像（即魚眼攝像機拍攝的圖像）和PTZ攝像機 圖像（即PTZ攝像機拍攝的圖像）進行特征點匹配，得到匹配點集合的二維坐標形式 &，其中mf=(xf,yf)T是魚眼圖像中的特征點的二維圖像坐標，mp=(xp,yp) T是PTZ攝像機圖像中的特征點的二維圖像坐標，Nfp是特征點對個數(shù)；
[0015] 標定過程第三步：將二維圖像坐標變換成三維坐標，得到匹配點集合的三維坐標 形式％，其中Xsl=(xsl，ysl，zsl)T是魚眼圖像中的特征點的坐標的三維形 式，Xs2= 〇^2^2，％2)1是？12攝像機圖像中的特征點的坐標的三維形式。魚眼圖像中的特 征點的二維圖像坐標叫=(1{，71〇1到三維形式父；31=(1 ；31，7；31，2；31)1的變換公式為：
[0016]
【主權(quán)項】
1. 一種基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其特征在于：包括標定 過程和聯(lián)動過程，其中標定過程是指獲得映射關系的過程，包括以下四個步驟： 標定過程第一步：初步調(diào)整；采用人工操作或自動操作或兩者結(jié)合的方式，調(diào)整PTZ攝 像機的云臺旋轉(zhuǎn)角度，使得PTZ攝像機的拍攝方向與魚眼攝像機拍攝方向基本一致，使得 PTZ攝像機的畫面基本位于魚眼攝像機的畫面內(nèi)，此時，記錄下PTZ攝像機的Pan旋轉(zhuǎn)角度 a和Tilt旋轉(zhuǎn)角度0 ; 標定過程第二步：對魚眼圖像和PTZ攝像機圖像進行特征點匹配，得到匹配點集合的 二維坐標形式
，其中mf= (xf，yf)T是魚眼圖像中的特征點的二維圖像坐 標，mp=(xp,yp)T是PTZ攝像機圖像中的特征點的二維圖像坐標，Nfp是特征點對個數(shù)； 標定過程第三步：將二維圖像坐標變換成三維坐標，得到匹配點集合的三維坐標形式
，其中Xsl= (xsl,ysl,zsl)T是魚眼圖像中的特征點的坐標的三維形式，Xs2 =(xs2,ys2,zs2)T是PTZ攝像機圖像中的特征點的坐標的三維形式；魚眼圖像中的特征點的 二維圖像坐標mf= (xf，yf)T到三維形式Xsl= (乂^一^一^"的變換公式為：
其中，
，f為魚眼鏡頭的等效焦距；PTZ攝像機中的特征點的 二維圖像坐標mp= (x p, yp)T到三維形式X s2 = (xs2, ys2, zs2)T的變換公式為：
其中，K是PTZ攝像機的內(nèi)參數(shù)矩陣，R是對應著云臺的旋轉(zhuǎn)矩陣，旋轉(zhuǎn)矩陣R的計算基 于PTZ攝像機的Pan旋轉(zhuǎn)角度a和Tilt旋轉(zhuǎn)角度0 :
標定過程第四步：求解兩攝像機之間的旋轉(zhuǎn)關系R12 魚眼攝像機所在三維坐標系〇s_xslyslzsjlj PTZ攝像機所在三維坐標系Os_xs2ys2zs2的映 射關系為三維旋轉(zhuǎn)關系，即坐標系〇s_xslyslzsl依次繞Y，X，Z軸分別旋轉(zhuǎn)a12,012,Yl2弧度 可與Os-xs2ys2zs2重合，那么 Xs2=R12^31， 其中，r12為旋轉(zhuǎn)矩陣
考慮映射誤差I|xs2-r12xs1| |，最小化誤差平方和：
采用萊文貝格一馬夸爾特方法對其進行求數(shù)值解，求出映射關系的a12, 012,y12; 完成標定過程后，啟動聯(lián)動過程；所述聯(lián)動過程是指基于映射關系實現(xiàn)魚眼攝像機和PTZ攝像機的精確聯(lián)動的過程，所述聯(lián)動過程包括以下步驟： 聯(lián)動過程第一步：用戶在監(jiān)控軟件界面上，通過軟件的人機交互接口，指定魚眼攝像機 的畫面中感興趣的區(qū)域，該區(qū)域為一個感興趣的點或者感興趣的一個矩形框，記錄下用戶 感興趣的點的坐標或者用戶感興趣的矩形框中心的坐標mf=(xf,yf)T; 聯(lián)動過程第二步：首先，將mf= (xf,yf)T轉(zhuǎn)換成三維坐標形式Xsl= (xsl,ysl,zsl)T:
其中，
，f為魚眼鏡頭的等效焦距； 其次，利用標定過程第四步所求得的旋轉(zhuǎn)矩陣R12，將Xsl=(xsl，ysl，zsl)T變換至PTZ攝 像機所在的坐標系，得到Xs2=(xs2,ys2,zs2)t: Xs2=R12^S1 最后，根據(jù)Xs2算出PTZ攝像機的旋轉(zhuǎn)角度（a，0 ):
聯(lián)動過程第三步：通過云臺的控制接口將PTZ攝像機的旋轉(zhuǎn)角度設置為（a，0)，PTZ攝像機畫面將朝向用戶在魚眼圖像中所指定的空間位置方向，此時聯(lián)動過程完成。
2. 根據(jù)權(quán)利要求1所述的基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其特 征在于：標定過程第一步中，魚眼攝像機是指一種監(jiān)控攝像機，該監(jiān)控攝像機其配備的鏡頭 為固定焦距的魚眼鏡頭，其拍攝角度能達到170度以上。
3. 根據(jù)權(quán)利要求1所述的基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其特 征在于：標定過程第一步中，PTZ攝像機是指一種監(jiān)控攝像機，該監(jiān)控攝像機具有可變焦的 鏡頭且其內(nèi)置一個云臺，云臺使得攝像機可繞兩個軸即Pan旋轉(zhuǎn)軸和Tilt旋轉(zhuǎn)軸旋轉(zhuǎn)，通 過云臺控制接口可操作云臺的旋轉(zhuǎn)。
4. 根據(jù)權(quán)利要求3所述的基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其特 征在于：標定過程第一步中，人工操作是指監(jiān)控人員通過PTZ攝像機的云臺控制接口來調(diào) 整PTZ攝像機的云臺旋轉(zhuǎn)角度；自動操作是指在計算機軟件或主從攝像機系統(tǒng)的存儲器中 存儲有一組Pan旋轉(zhuǎn)角度a和Tilt旋轉(zhuǎn)角度0參數(shù)，通過將該參數(shù)自動設置到PTZ攝像 機中，能完成初步調(diào)整任務，這組參數(shù)可在主從攝像機系統(tǒng)的安裝過程中估算得到，也可在 主從攝像機系統(tǒng)的使用過程中修改；兩者結(jié)合的方式是指，先采用自動操作的方式進行初 步調(diào)整的粗調(diào)，再采用手動操作的方式進行細調(diào)。
5. 根據(jù)權(quán)利要求1所述的基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其特 征在于：聯(lián)動過程第三步中，用戶根據(jù)需要改變PTZ攝像機的變焦倍數(shù)，從而使得拍攝畫面 的大小適合觀察所需觀察的目標。
【專利摘要】本發(fā)明公開了一種基于旋轉(zhuǎn)模型的主從攝像機系統(tǒng)的標定以及聯(lián)動方法，其包括標定過程和聯(lián)動過程，其中標定過程是指獲得映射關系的過程，完成標定過程后，啟動聯(lián)動過程；所述聯(lián)動過程是指基于映射關系實現(xiàn)魚眼攝像機和PTZ攝像機的精確聯(lián)動的過程。發(fā)明提供的方法能夠自動地完成標定過程，得到所需的映射關系，基于映射關系可實現(xiàn)魚眼攝像機和PTZ攝像機的精確聯(lián)動。該方法對于提高主從攝像機系統(tǒng)的實用性具有重要的價值。
【IPC分類】G06T7-00
【公開號】CN104574425
【申請?zhí)枴緾N201510054819
【發(fā)明人】賴世銘, 王煒, 張政, 劉煜, 張茂軍
【申請人】中國人民解放軍國防科學技術(shù)大學
【公開日】2015年4月29日
【申請日】2015年2月3日