基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法及裝置制造方法
【專利摘要】本發(fā)明提供了一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法及裝置，通過全景拼接獲取一幅大視野的全景畫面，而后調(diào)整視野、建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系后對(duì)全景畫面中感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，在檢測(cè)到運(yùn)動(dòng)目標(biāo)后自動(dòng)根據(jù)映射關(guān)系觸發(fā)對(duì)應(yīng)球機(jī)跟蹤感興趣區(qū)域目標(biāo)實(shí)現(xiàn)聯(lián)動(dòng)，從而避免遠(yuǎn)距離情況下看不清全景畫面中的運(yùn)動(dòng)目標(biāo)（人臉、車牌等），減少了監(jiān)控人員的工作量，給操控者提供了一個(gè)完整的、大視野、高分辨率的連續(xù)畫面，更接近人眼觀察的視角，避免監(jiān)控時(shí)各畫面間來回切換。
【專利說明】基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理【技術(shù)領(lǐng)域】，尤其是指一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法及裝置。
【背景技術(shù)】
[0002]在監(jiān)控系統(tǒng)快速發(fā)展的今天，系統(tǒng)規(guī)模越來越大，監(jiān)控點(diǎn)越來越多，工作人員面對(duì)越來越多的監(jiān)控圖像已無暇顧及，隨著監(jiān)控范圍的不斷擴(kuò)大，需要對(duì)整座橋梁、機(jī)場(chǎng)，很長一段公路或者高層建筑進(jìn)行監(jiān)控，大多數(shù)攝像機(jī)的視場(chǎng)達(dá)不到這樣大的監(jiān)控范圍，因此對(duì)大視場(chǎng)視頻監(jiān)控的要求逐漸增多，逐漸形成了一種高端需求。視頻全景拼接作為一種解決方案，也得到了越來越多的關(guān)注。隨之而來的視頻監(jiān)控系統(tǒng)將扮演著重要的角色。
[0003]到目前為止，常見的監(jiān)控設(shè)備有2種，第一種是槍機(jī)，采用槍機(jī)對(duì)準(zhǔn)某個(gè)場(chǎng)景進(jìn)行監(jiān)控，不足之處是當(dāng)監(jiān)控場(chǎng)景較多時(shí)，需要在各場(chǎng)景間來回切換，當(dāng)視頻路數(shù)較多、切換頻繁時(shí)，監(jiān)控人員容易疲倦，且人的注意力只能集中在部分畫面上；第二種是球機(jī)，球機(jī)監(jiān)控通過轉(zhuǎn)動(dòng)球機(jī)對(duì)周圍區(qū)域監(jiān)控，但缺點(diǎn)是球機(jī)視野有限，同一時(shí)間只能監(jiān)控一個(gè)場(chǎng)景，這樣仍然會(huì)漏掉部分重要信息。
[0004]在目標(biāo)跟蹤環(huán)節(jié)，若單是依靠球機(jī)，不論是通過手動(dòng)控球或自動(dòng)跟蹤目標(biāo)方式其跟蹤效果受很多因素影響，容易發(fā)生跟蹤失敗或目標(biāo)切換，且跟蹤過程中，監(jiān)控畫面視野集中在跟蹤目標(biāo)附近，容易漏掉其它重要信息。若是依靠槍機(jī)，目標(biāo)容易出現(xiàn)在多個(gè)畫面中，畫面間切換影響監(jiān)控人員對(duì)視頻信息的捕捉，而且槍機(jī)安裝方向固定，監(jiān)控場(chǎng)景不會(huì)隨著目標(biāo)而改變，較容易丟失跟蹤目標(biāo)。且在視頻監(jiān)控中，經(jīng)常由于目標(biāo)距離較遠(yuǎn)，導(dǎo)致目標(biāo)(人臉、車牌等)的檢測(cè)識(shí)別正確率較低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服了上述缺陷，提供一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法及裝置。
[0006]本發(fā)明的目的是這樣實(shí)現(xiàn)的:一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，它包括步驟，
[0007]A)、在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平/垂直/水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接；
[0008]B)、調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野；
[0009]由于球機(jī)可以水平360度、水平向下旋轉(zhuǎn)，理論上球機(jī)能覆蓋的視野是大于全景拼接攝像機(jī)的，但是球機(jī)無法覆蓋水平以上的視野，因此需要本步驟調(diào)整全景拼接攝像機(jī)是希望全景畫面的視野都在水平以下，球機(jī)轉(zhuǎn)動(dòng)后能覆蓋。
[0010]C)、標(biāo)定球機(jī)與全景拼接攝像機(jī),建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系；
[0011]D)、待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)；[0012]E)、當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)控制球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像；
[0013]上述步驟中，所述步驟C后還包括判斷是否標(biāo)定成功，是則繼續(xù)，否則調(diào)整球機(jī)的畫面使之與全景拼接攝像機(jī)未拼接前的各原始畫面中心對(duì)齊后轉(zhuǎn)回步驟C的步驟；
[0014]上述步驟中，所述步驟F中，跟蹤框參數(shù)包括跟蹤框大小、跟蹤框位置信息；
[0015]上述步驟中，所述步驟F后還包括對(duì)球機(jī)圖像進(jìn)行特征檢測(cè)并提取特征而后識(shí)別的步驟；
[0016]上述步驟中，所述步驟中特征檢測(cè)包括人臉、車牌特征檢測(cè)；
[0017]上述步驟中，所述步驟中識(shí)別通過將提取的特征與數(shù)據(jù)庫中數(shù)據(jù)對(duì)比進(jìn)行識(shí)別。
[0018]本發(fā)明還涉及一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，它包括:
[0019]拼接設(shè)置模塊，用于在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平/垂直/水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接，而后轉(zhuǎn)到調(diào)整模塊；
[0020]調(diào)整模塊，用于調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野，而后轉(zhuǎn)到標(biāo)定模塊；
[0021]標(biāo)定模塊，用于標(biāo)定球機(jī)與全景拼接攝像機(jī)，建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系，而后轉(zhuǎn)到設(shè)置模塊；
[0022]設(shè)置模塊，用于待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，而后轉(zhuǎn)到運(yùn)動(dòng)檢測(cè)模塊；
[0023]運(yùn)動(dòng)檢測(cè)模塊，用于當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)控制球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像；
[0024]上述中，所述標(biāo)定模塊具體包括，
[0025]播放單元，用于播放全景拼接攝像機(jī)的未拼接原始視頻和球機(jī)視頻，而后轉(zhuǎn)到選擇原始視頻單兀；
[0026]選擇原始視頻單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻而后轉(zhuǎn)到特征點(diǎn)選擇單元；
[0027]特征點(diǎn)選擇單元，用于通過輸入設(shè)備在選擇的未拼接原始視頻中不重復(fù)的選擇一個(gè)特征點(diǎn)，記錄該特征點(diǎn)的坐標(biāo)轉(zhuǎn)到分組記錄單元；
[0028]分組記錄單元，用于標(biāo)出球機(jī)視頻中畫面的中心，通過操控使球機(jī)畫面中心落到選擇原始視頻單元所選擇的特征點(diǎn)上，將此時(shí)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分組記錄，轉(zhuǎn)到重復(fù)單元；
[0029]重復(fù)單元，用于重復(fù)步驟特征點(diǎn)選擇單元、標(biāo)定記錄單元至少6次而后轉(zhuǎn)到標(biāo)定單元；
[0030]標(biāo)定單元，用于對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值及匹配點(diǎn)坐標(biāo)采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇原始視頻單元中選擇的拼接原始視頻的標(biāo)識(shí)符及分組記錄單元中操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立，而后轉(zhuǎn)到全景重復(fù)單元；
[0031]全景重復(fù)單元，用于重復(fù)步驟選擇原始視頻單元、特征點(diǎn)選擇單元、分組記錄單元、重復(fù)單元及標(biāo)定單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立；
[0032]上述中，所述標(biāo)定模塊具體包括，
[0033]操控單元，用于操控使球機(jī)畫面與全景拼接攝像機(jī)的各未拼接原始視頻中心一致而后轉(zhuǎn)到特征提取單元；
[0034]特征提取單元，用于提取各未拼接原始視頻的一幀圖像，對(duì)該圖像提取sift/surf/harris特征點(diǎn)，然后特征匹配、匹配對(duì)采用最小二乘法計(jì)算出透視變換矩陣而后轉(zhuǎn)到邊緣估計(jì)單元；
[0035]邊緣估計(jì)單元，用于通過透視變換矩陣對(duì)各未拼接原始視頻估計(jì)其4個(gè)邊緣角點(diǎn)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)對(duì)位單元；
[0036]球機(jī)對(duì)位單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻，將其坐標(biāo)變化范圍等分成多份，分別根據(jù)每份的球機(jī)水平傾角值及球機(jī)垂直傾角值控制球機(jī)到達(dá)相應(yīng)位置而后轉(zhuǎn)到匹配單元；
[0037]匹配單元，用于球機(jī)每到達(dá)一個(gè)位置，對(duì)此時(shí)的未拼接原始視頻和球機(jī)畫面進(jìn)行特征提取并匹配，若匹配點(diǎn)滿足閾值則保存相應(yīng)坐標(biāo)和球機(jī)此時(shí)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到標(biāo)定單元；
[0038]標(biāo)定單元，用于重復(fù)球機(jī)對(duì)位單元、匹配單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系 建立；
[0039]上述中，所述標(biāo)定單元轉(zhuǎn)到手動(dòng)修正單元,所述手動(dòng)修正單元用于查看自動(dòng)標(biāo)定的匹配對(duì)，若存在誤差則參考球機(jī)對(duì)位單元、匹配單元手動(dòng)控球調(diào)整球機(jī)，獲取至少6個(gè)匹配點(diǎn)，將匹配點(diǎn)的坐標(biāo)及球機(jī)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)分組記錄，對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值及匹配點(diǎn)坐標(biāo)采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇的拼接原始視頻的標(biāo)識(shí)符及?呆控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立;
[0040]上述中，所述運(yùn)動(dòng)檢測(cè)模塊的聯(lián)動(dòng)具體有下述單元實(shí)現(xiàn)，
[0041]跟蹤框中心點(diǎn)計(jì)算單元，用于根據(jù)跟蹤框信息，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)而后轉(zhuǎn)到全景區(qū)域定位單元；
[0042]全景區(qū)域定位單元，用于根據(jù)跟蹤框中心點(diǎn)坐標(biāo)值定位其在全景拼接畫面中所屬的區(qū)域而后轉(zhuǎn)到區(qū)域判斷單元；
[0043]區(qū)域判斷單元，用于判斷上述區(qū)域是否位于全景拼接攝像機(jī)中的重疊區(qū)域，否則獲取區(qū)域的信息而后執(zhí)行坐標(biāo)計(jì)算單元，是則執(zhí)行比較坐標(biāo)計(jì)算單元；
[0044]坐標(biāo)計(jì)算單元，用于根據(jù)區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元；
[0045]比較坐標(biāo)計(jì)算單元，用于比較跟蹤框中心點(diǎn)坐標(biāo)值與重疊的兩個(gè)未拼接原始視頻的中心點(diǎn)的距離，根據(jù)距離最近的區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元；
[0046]球機(jī)聯(lián)動(dòng)單元，用于根據(jù)跟蹤框中心點(diǎn)所在未拼接原始視頻的映射關(guān)系，以跟蹤框中心點(diǎn)的坐標(biāo)位置獲取對(duì)應(yīng)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)執(zhí)行單元;
[0047]球機(jī)執(zhí)行單元，根據(jù)球機(jī)水平傾角值及球機(jī)垂直傾角值驅(qū)動(dòng)球機(jī)調(diào)整。[0048]本發(fā)明的有益效果在于首先通過全景拼接獲取一幅大視野的全景畫面，而后調(diào)整視野、建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系后對(duì)全景畫面中感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，在檢測(cè)到運(yùn)動(dòng)目標(biāo)后自動(dòng)根據(jù)映射關(guān)系觸發(fā)對(duì)應(yīng)球機(jī)跟蹤感興趣區(qū)域目標(biāo)實(shí)現(xiàn)聯(lián)動(dòng)，從而避免遠(yuǎn)距離情況下看不清全景畫面中的運(yùn)動(dòng)目標(biāo)(人臉、車牌等)，減少了監(jiān)控人員的工作量，可手動(dòng)選擇全景畫面中感興趣區(qū)域?qū)崿F(xiàn)球機(jī)聯(lián)動(dòng)，給操控者提供了一個(gè)完整的、大視野、高分辨率的連續(xù)畫面，更接近人眼觀察的視角，避免監(jiān)控時(shí)各畫面間來回切換。
【專利附圖】

【附圖說明】
[0049]下面結(jié)合附圖詳述本發(fā)明的具體結(jié)構(gòu)
[0050]圖1為本發(fā)明的聯(lián)動(dòng)拼接示意圖；
[0051]圖2為本發(fā)明的水平拼接全景畫面示意圖；
[0052]圖3為本發(fā)明的第一實(shí)施例方法流程圖；
[0053]圖4為本發(fā)明的垂直拼接全景畫面示意圖；
[0054]圖5為本發(fā)明的第二實(shí)施例方法流程圖；
[0055]圖6為本發(fā)明的水平垂直拼接全景畫面示意圖；
[0056]圖7為本發(fā)明的第三實(shí)施例方法流程圖。
【具體實(shí)施方式】
[0057]為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合實(shí)施方式并配合附圖詳予說明。
[0058]本發(fā)明提供了一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，它包括步驟，
[0059]A)、在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平或垂直或水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接；
[0060]B)、調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野；
[0061]C)、標(biāo)定球機(jī)與全景拼接攝像機(jī),建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系；
[0062]D)、待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)；
[0063]E)、當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)(通常是通過跟蹤框參數(shù)計(jì)算相應(yīng)的pan、tilt和zoom)控制球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像。
[0064]本方法首先將相互間存在重疊部分的視頻序列進(jìn)行空間匹配對(duì)準(zhǔn)結(jié)合曝光融合后形成一幅包含各視頻序列信息的大視角高分辨率的連續(xù)圖像，而后建立球機(jī)和全景拼接攝像機(jī)之間映射關(guān)系，從而當(dāng)操作人員直接在全景拼接畫面中點(diǎn)擊或框選區(qū)域后，全景攝像機(jī)和球機(jī)之間可實(shí)現(xiàn)聯(lián)動(dòng)，即根據(jù)映射關(guān)系控制相應(yīng)位置的球機(jī)調(diào)整、聚焦至該定位區(qū)域。進(jìn)一步的，操作人員還可在全景拼接畫面中設(shè)置感興趣區(qū)域，系統(tǒng)自動(dòng)對(duì)該區(qū)域中是否出現(xiàn)運(yùn)動(dòng)物體進(jìn)行檢測(cè)，一旦拼接畫面中出現(xiàn)運(yùn)動(dòng)如車輛、行人等目標(biāo)時(shí)，系統(tǒng)就會(huì)聯(lián)動(dòng)的控制球機(jī)快速聚焦定位該區(qū)域目標(biāo)，從而使得操作人員可看清全景拼接畫面中看不清的部分(人臉、車牌等)，有利于捕捉更多細(xì)節(jié)信息。由此整個(gè)監(jiān)控方法借由全景拼接畫面聯(lián)動(dòng)個(gè)體球機(jī)的方式，給操控者提供了一個(gè)完整的、大視野、高分辨率的連續(xù)畫面，更接近人眼觀察的視角，避免監(jiān)控時(shí)各畫面間來回切換。同時(shí)使用球機(jī)配合，在全景畫面中分析到運(yùn)動(dòng)目標(biāo)時(shí)，調(diào)用球機(jī)快速聚焦定位該目標(biāo)。解決了原有方法中多視頻畫面間頻繁切換，導(dǎo)致監(jiān)控人員注意力分散，且長時(shí)間查看多路視頻易疲倦，同時(shí)在全景畫面中目標(biāo)所占像素較少，導(dǎo)致看不清目標(biāo)(人臉、車牌等)的關(guān)鍵信息的缺陷。
[0065]作為一實(shí)施例，上述步驟C具體包括，
[0066]Cl)、播放全景拼接攝像機(jī)的未拼接原始視頻和球機(jī)視頻；
[0067]C2)、不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻；
[0068]C3)、通過鼠標(biāo)或觸摸等輸入設(shè)備在選擇的未拼接原始視頻中不重復(fù)的選擇一個(gè)特征點(diǎn)i，記錄該特征點(diǎn)在畫面中的x/y軸坐標(biāo)pt[i].X，pt[i].y ；
[0069]C4)、標(biāo)出球機(jī)視頻中畫面的中心，通過操控使球機(jī)畫面中心落到步驟C2所選擇的特征點(diǎn)上，將此時(shí)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分組記錄；
[0070]上述操控一般為手動(dòng)操控，而球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值則在球機(jī)內(nèi)分別對(duì)應(yīng)有球機(jī)水平傾角函數(shù)pan[i]、球機(jī)的垂直傾角函數(shù)tilt[i]、縮放倍率函數(shù)zoom[i]，當(dāng)調(diào)整到位后，讀取上述函數(shù)的值即可。
[0071]C5)、重復(fù)步驟C3、C4至少6次；
[0072]即從全景拼接攝像機(jī)的未拼接原始視頻中不重復(fù)的選擇6個(gè)特征點(diǎn)并對(duì)每個(gè)特
征點(diǎn)操控球機(jī)視頻的畫面的 中心對(duì)準(zhǔn)特征點(diǎn)記錄--對(duì)應(yīng)的球機(jī)水平傾角值、球機(jī)垂直傾
角值及球機(jī)縮放倍率值。
[0073]C6)、對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值(即至少6組的pan_a[i]、tilt_a[i], i>=6)及匹配點(diǎn)坐標(biāo)(即pt[i].x, pt[i].y)采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同步驟C2中選擇的拼接原始視頻的標(biāo)識(shí)符及步驟C4中?呆控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成標(biāo)定。
[0074]上述采用最小二乘法擬合出二次曲面系數(shù)擬合實(shí)際上是:
[0075]1、建立球機(jī)水平傾角值與原始視頻坐標(biāo)X、y之間的關(guān)系；
[0076]2、建立球機(jī)垂直傾角值與原始視頻坐標(biāo)X、y之間的關(guān)系。
[0077]上述建立球機(jī)與未拼接原始視頻的關(guān)系原理:
[0078]假設(shè)球機(jī)的PT值和匹配對(duì)坐標(biāo)滿足下面關(guān)系:
[0079]pan=al*X~2+a2*XY+a3*Y~2+a4*X+a5*Y+a6
[0080]tilt=bl*X~2+b2*XY+b3*Y~2+b4*X+b5*Y+b6
[0081]在獲取到6組以上匹配對(duì)后，即pan、tilt和(X、Y)已知的情況下,計(jì)算al、a2、a3、a4、a5、a6 ( 二次曲面系數(shù))
[0082]bl、b2、b3、b4、b5、b6 (二次曲面系數(shù))
[0083]此處，全景拼接攝像機(jī)的各未拼接原始視頻來自于獨(dú)立的槍機(jī)，而I個(gè)槍機(jī)通常有一個(gè)MAC地址，因此標(biāo)識(shí)符可直接采用其MAC地址，而球機(jī)(全景半球)通常只有一個(gè)MAC地址，因此為了區(qū)分，可采用MAC+通道作為標(biāo)識(shí)符，對(duì)應(yīng)保存后即完成對(duì)本次選定的未拼接原始視頻和球機(jī)的標(biāo)定工作(即建立映射關(guān)系)。
[0084]C7)、重復(fù)步驟C2-C6，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)
系建立。
[0085]通過上述技術(shù)方案的介紹可看出，本實(shí)施例提供的是一種適用于手動(dòng)標(biāo)定的方案。該方案的優(yōu)點(diǎn)在于選點(diǎn)的精度較高，但缺點(diǎn)則是使用起來較為不方便，且選點(diǎn)較麻煩。
[0086]為了克服上實(shí)施例手動(dòng)標(biāo)定的缺陷，本專利提供一種自動(dòng)標(biāo)定的實(shí)施例，同樣是對(duì)應(yīng)步驟C具體包括步驟:
[0087]Cl)、操控使球機(jī)畫面與全景拼接攝像機(jī)的各未拼接原始視頻中心一致；
[0088]本步驟的操控通常是通過手動(dòng)控球使各球機(jī)畫面與對(duì)應(yīng)全景拼接攝像機(jī)的各未拼接原始視頻中心一致，即未拼接畫面中心參照物在球機(jī)畫面中心。
[0089]C2)、提取各未拼接原始視頻的一巾貞圖像,對(duì)該圖像提取sift/surf/harris特征點(diǎn)，然后特征匹配、匹配對(duì)采用最小二乘法計(jì)算出透視變換矩陣；
[0090]C3)、通過透視變換矩陣對(duì)各未拼接原始視頻估計(jì)其4個(gè)邊緣角點(diǎn)的球機(jī)水平傾角值及球機(jī)垂直傾角值；
[0091]C4)、根據(jù)未拼接原始視頻PT坐標(biāo)的變化范圍等分成多份(一般至少16份以上)，分別根據(jù)每份的球機(jī)水平傾角值及球機(jī)垂直傾角值控制球機(jī)到達(dá)相應(yīng)位置；
[0092]C5)、球機(jī)每到達(dá)一個(gè)位置，對(duì)此時(shí)的未拼接原始視頻和球機(jī)畫面進(jìn)行特征提取并匹配，若匹配點(diǎn)滿足閾值則保存相應(yīng)坐標(biāo)和球機(jī)此時(shí)的球機(jī)水平傾角值及球機(jī)垂直傾角值；
[0093]C6)、重復(fù)步驟C4-C5，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)
系建立。
[0094]本實(shí)施例的優(yōu)點(diǎn)在于操作簡(jiǎn)便，缺點(diǎn)則精度相對(duì)手動(dòng)要低，且使用時(shí)，球機(jī)畫面要和未拼接趣面中心一致。在自動(dòng)標(biāo)定中添加手動(dòng)修正后可達(dá)較聞精度。
[0095]為了解決上述精度不足的問題，進(jìn)一步的，在一實(shí)施例中，上述自動(dòng)標(biāo)定方法中步驟C5后還包括手動(dòng)修正的步驟,包括:
[0096]查看自動(dòng)標(biāo)定的匹配對(duì)，若存在誤差則參考步驟C4、C5手動(dòng)控球調(diào)整球機(jī)，獲取至少6個(gè)匹配點(diǎn)，將匹配點(diǎn)的坐標(biāo)及球機(jī)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)分組記錄，對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值及匹配點(diǎn)坐標(biāo)采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇的拼接原始視頻的標(biāo)識(shí)符及操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立。
[0097]在一實(shí)施例中，所述步驟E中的聯(lián)動(dòng)具體包括步驟，
[0098]E1)、根據(jù)跟蹤框信息，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)；
[0099]E2)、根據(jù)跟蹤框中心點(diǎn)坐標(biāo)值定位其在全景拼接畫面中所屬的區(qū)域；
[0100]E3)、判斷上述區(qū)域是否位于全景拼接攝像機(jī)中的重疊區(qū)域，否則獲取區(qū)域的信息而后執(zhí)行步驟E4，是則執(zhí)行步驟E5 ；
[0101]E4)、根據(jù)區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置；
[0102]E5)、比較跟蹤框中心點(diǎn)坐標(biāo)值與重疊的兩個(gè)未拼接原始視頻的中心點(diǎn)的距離，根據(jù)距離最近的區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置；
[0103]E6)、根據(jù)跟蹤框中心點(diǎn)所在未拼接原始視頻的映射關(guān)系，以跟蹤框中心點(diǎn)的坐標(biāo)位置獲取對(duì)應(yīng)的球機(jī)水平傾角值及球機(jī)垂直傾角值。
[0104]E7 )、根據(jù)球機(jī)水平傾角值及球機(jī)垂直傾角值驅(qū)動(dòng)球機(jī)調(diào)整。[0105]以圖1為例，它包含4副原始圖像，圖中Al、A2、A3、A4是非重疊區(qū)域，B1、B2、B3是重疊區(qū)域，通過一定的融合規(guī)則，消除拼接接縫，在計(jì)算拼接參數(shù)的時(shí)候，每個(gè)區(qū)域在全景圖中的坐標(biāo)是已知的。
[0106]假定通過上述步驟El后，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)為(Pt.X, pt.y)。
[0107]在后續(xù)判斷時(shí)，如果坐標(biāo)(pt.x，pt.y)屬于Al區(qū)域，通過對(duì)應(yīng)Al的投影逆變換法貝U，按照拼接的逆過程執(zhí)行，如果(Pt.X, Pt.y)屬于A2、A3、A4區(qū)域，執(zhí)行對(duì)應(yīng)序號(hào)的逆變換，計(jì)算出原始圖像中的坐標(biāo)位置(mpt.X, mpt.y)；
[0108]而如果坐標(biāo)(pt.x,pt.y)屬于BI區(qū)域，那么需判定該點(diǎn)到原始圖像I中心點(diǎn)的距離dl、原始圖像2中心點(diǎn)的距離d2，距離哪個(gè)近，就采用對(duì)應(yīng)序號(hào)的投影逆變換法則，計(jì)算出原始圖像中的坐標(biāo)位置(mpt.X, mpt.y)；
[0109]最后,根據(jù)前面標(biāo)定保存的結(jié)果,讀取對(duì)應(yīng)標(biāo)識(shí)符的pan_a[6]和tilt_a[6],
[0110]然后根據(jù)公式:
[0111]PAN (需要調(diào)整的球機(jī)水平傾角值)=pan_a[I] *X~2+pan_a[2] *XY+pan_a[3]Y"2+pan_a[4]*X+pan_a[5]*Y+pan_a[6](此處XY為跟蹤目標(biāo)框的中心位置)
[0112]同理使用tilt_a[6]計(jì)算TILT (需要調(diào)整的球機(jī)垂直傾角值)。
[0113]作為一實(shí)施例，上述步驟C后還包括判斷是否標(biāo)定成功，是則繼續(xù)，否則調(diào)整球機(jī)的畫面使之與全景拼接攝像機(jī)未拼接前的各原始畫面中心對(duì)齊后轉(zhuǎn)回步驟C的步驟。
[0114]本實(shí)施例中的判斷標(biāo)定是否成功很重要，通過增加這個(gè)過程，使得后續(xù)在操作全景畫面時(shí)確保了球機(jī)可以完成槍球聯(lián)動(dòng)的效果。
[0115]而本步驟中的標(biāo)定是否成功的判斷，最簡(jiǎn)單的方式是依靠人工判斷，通過標(biāo)定過程中球機(jī)與拼接前單畫面逐一標(biāo)定，每標(biāo)定完一個(gè)單畫面，可通過點(diǎn)擊單畫面場(chǎng)景A，查看球機(jī)是否能響應(yīng)到A，以此判斷標(biāo)定成功和標(biāo)定的精度。
[0116]作為一實(shí)施例，上述步驟E中，跟蹤框參數(shù)包括跟蹤框大小、跟蹤框位置信息。
[0117]現(xiàn)有視頻監(jiān)控中的跟蹤框多為矩形，因此，對(duì)應(yīng)分析一般獲取跟蹤框大小、跟蹤框位置信息，這兩個(gè)信息可通過矩形的左上、右下點(diǎn)特征來描述。而參數(shù)的獲取方式分為手動(dòng)和自動(dòng)，手動(dòng)方式比如鼠標(biāo)在拼接全景畫面中畫矩形，自動(dòng)獲取則是通過在拼接全景畫面中增加運(yùn)動(dòng)目標(biāo)檢測(cè)，運(yùn)動(dòng)目標(biāo)檢測(cè)常見的方法有幀間差法、背景差法、光流法等，跟蹤框的參數(shù)主要依賴于運(yùn)動(dòng)目標(biāo)的位置和大小。
[0118]而跟蹤框大小、跟蹤框位置信息的作用主要是供后續(xù)計(jì)算球機(jī)響應(yīng)pan(水平視場(chǎng)角)、tilt (垂直視場(chǎng)角)、zoom (縮放倍數(shù))這3個(gè)指令參數(shù)。
[0119]作為一實(shí)施例,上述步驟E后還包括步驟F,
[0120]F)、對(duì)球機(jī)圖像進(jìn)行特征檢測(cè)并提取特征而后識(shí)別。
[0121]通過增加這個(gè)步驟，當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)并通過球機(jī)聚焦定位后抓拍運(yùn)動(dòng)目標(biāo)獲取圖像后，系統(tǒng)進(jìn)一步會(huì)自動(dòng)根據(jù)特征對(duì)圖像進(jìn)行檢測(cè)以提取特征，進(jìn)一步的進(jìn)行后期對(duì)應(yīng)識(shí)別。由于特征的提取是根據(jù)設(shè)定的特征而啟動(dòng)的，因此識(shí)別可以更有針對(duì)性，從而有效提高識(shí)別率。
[0122]較佳的，上述的特征檢測(cè)包括人臉、車牌特征檢測(cè)。其中人臉是針對(duì)監(jiān)控中人物身份的最有效信息，而車牌則是區(qū)分車輛的有效信息，因此這兩種特征可分別獲取人物、車輛的信息，以便后續(xù)識(shí)別。[0123]較佳的，上述步驟中識(shí)別通過將提取的特征與數(shù)據(jù)庫中數(shù)據(jù)對(duì)比進(jìn)行識(shí)別。采用與數(shù)據(jù)庫比對(duì)的方式可最快的確保識(shí)別比對(duì)的時(shí)間和準(zhǔn)確度。
[0124]作為一實(shí)施例，步驟E中當(dāng)檢測(cè)運(yùn)動(dòng)目標(biāo)時(shí)，還需要判斷目標(biāo)個(gè)數(shù)是否大于1，即只有當(dāng)運(yùn)動(dòng)目標(biāo)個(gè)數(shù)不為O時(shí)，球機(jī)才會(huì)響應(yīng)到目標(biāo)區(qū)域抓拍，否則球機(jī)不動(dòng)，該處判別是需要的，目標(biāo)個(gè)數(shù)多于I個(gè)時(shí)，可以通過目標(biāo)框大小、目標(biāo)框中心距離球機(jī)位置等排序，逐一抓拍。
[0125]實(shí)施例一:
[0126]本實(shí)施例方法如圖3所示，
[0127]A)、在攝像機(jī)安裝過程中，全景拼接攝像機(jī)采用水平拼接方式，安裝過程中使得全景拼接攝像機(jī)的各畫面間有部分重疊區(qū)域，從而嘗試拼接，若拼接不成功，則調(diào)整全景拼接攝像機(jī)的各鏡頭方向，增大重疊部分直至可實(shí)現(xiàn)全景畫面拼接。得到的全景畫面如圖2所示，由多個(gè)單獨(dú)的沿水平方向的畫面拼接構(gòu)成的長條形全景畫面。
[0128]B)、調(diào)整全景拼接攝像機(jī)的視野，使全景拼接畫面中的視野球機(jī)都能覆蓋。
[0129]C)、攝像機(jī)標(biāo)定,建立球機(jī)和全景拼接攝像機(jī)的位置間的映射關(guān)系；
[0130]D)、判斷標(biāo)定是否成功，是則繼續(xù)步驟，否則調(diào)整球機(jī)，使球機(jī)的畫面與全景拼接攝像機(jī)未拼接前的各原始畫面中心對(duì)齊到基本一致；
[0131]此處一致的調(diào)整可通過選定全景拼接攝像機(jī)的未拼接單畫面的中心某個(gè)物體作為參照物(一棵樹、一輛靜止的車等)，然后調(diào)整球機(jī)，使該參照物也在球機(jī)畫面中心即可。
[0132]E)、在全景拼接畫面中設(shè)置感興趣區(qū)域，并在感興趣區(qū)域中添加運(yùn)動(dòng)目標(biāo)檢測(cè)等視頻分析功能；
[0133]F)、當(dāng)感興趣區(qū)域分析到運(yùn)動(dòng)目標(biāo)時(shí)，根據(jù)跟蹤框位置、大小等計(jì)算出相應(yīng)的參數(shù)，球機(jī)響應(yīng)調(diào)整至運(yùn)動(dòng)目標(biāo)處抓拍并跟蹤一段時(shí)間；
[0134]G)、對(duì)球機(jī)抓拍保存的圖片可以通過人臉、車輛檢測(cè)、提取出人臉、車牌等，然后通過識(shí)別技術(shù)與人臉、車牌庫對(duì)比，識(shí)別可疑目標(biāo)。
[0135]實(shí)施例二:
[0136]本實(shí)施例方法如圖5所示，
[0137]A)、在攝像機(jī)安裝過程中，全景拼接攝像機(jī)采用垂直拼接方式，安裝過程中使得全景拼接攝像機(jī)的各畫面間有部分重疊區(qū)域，從而嘗試拼接，若拼接不成功，則調(diào)整全景拼接攝像機(jī)的各鏡頭方向，增大重疊部分直至可實(shí)現(xiàn)全景畫面拼接。得到的全景畫面如圖4所示，由多個(gè)單獨(dú)的沿垂直方向的畫面拼接構(gòu)成的長條形全景畫面。
[0138]B)、調(diào)整全景拼接攝像機(jī)的視野，使全景拼接畫面中的大部分視野球機(jī)都能覆蓋。
[0139]C)、攝像機(jī)標(biāo)定,建立球機(jī)和全景拼接攝像機(jī)的位置間的映射關(guān)系；
[0140]D)、判斷標(biāo)定是否成功，是則繼續(xù)步驟，否則調(diào)整球機(jī)，使球機(jī)的畫面與槍機(jī)的畫面中心基本一致；
[0141]E)、在全景拼接畫面中設(shè)置感興趣區(qū)域，并在感興趣區(qū)域中添加運(yùn)動(dòng)目標(biāo)檢測(cè)等視頻分析功能；
[0142]F)、當(dāng)感興趣區(qū)域分析到運(yùn)動(dòng)目標(biāo)時(shí)，根據(jù)跟蹤框位置、大小等計(jì)算出相應(yīng)的參數(shù)，球機(jī)響應(yīng)調(diào)整至運(yùn)動(dòng)目標(biāo)處抓拍并跟蹤一段時(shí)間；
[0143]G)、對(duì)球機(jī)抓拍保存的圖片可以通過人臉、車輛檢測(cè)、提取出人臉、車牌等，然后通過識(shí)別技術(shù)與人臉、車牌庫對(duì)比，識(shí)別可疑目標(biāo)。
[0144]實(shí)施例三:
[0145]本實(shí)施例方法如圖7所示，
[0146]A)、在攝像機(jī)安裝過程中，全景拼接攝像機(jī)采用水平垂直拼接方式，安裝過程中使得全景拼接攝像機(jī)的各畫面間有部分重疊區(qū)域，從而嘗試拼接，若拼接不成功，則調(diào)整全景拼接攝像機(jī)的各鏡頭方向，增大重疊部分直至可實(shí)現(xiàn)全景畫面拼接。得到的全景畫面如圖6所示，由多個(gè)單獨(dú)的按網(wǎng)格分布的沿水平、垂直方向的畫面拼接構(gòu)成的大場(chǎng)景全景畫面。
[0147]B)、調(diào)整全景拼接攝像機(jī)的視野，使全景拼接畫面中的大部分視野球機(jī)都能覆蓋。
[0148]C)、攝像機(jī)標(biāo)定,建立球機(jī)和全景拼接攝像機(jī)的位置間的映射關(guān)系；
[0149]D)、判斷標(biāo)定是否成功，是則繼續(xù)步驟，否則調(diào)整球機(jī)，使球機(jī)的畫面與槍機(jī)的畫面中心基本一致；
[0150]E)、在全景拼接畫面中設(shè)置感興趣區(qū)域，并在感興趣區(qū)域中添加運(yùn)動(dòng)目標(biāo)檢測(cè)等視頻分析功能；
[0151]F)、當(dāng)感興趣區(qū)域分析到運(yùn)動(dòng)目標(biāo)時(shí)，根據(jù)跟蹤框位置、大小等計(jì)算出相應(yīng)的參數(shù)，球機(jī)響應(yīng)調(diào)整至運(yùn)動(dòng)目標(biāo)處抓拍并跟蹤一段時(shí)間；
[0152]G)、對(duì)球機(jī)抓拍保存的圖片可以通過人臉、車輛檢測(cè)、提取出人臉、車牌等，然后通過識(shí)別技術(shù)與人臉、車牌庫對(duì)比，識(shí)別可疑目標(biāo)。
[0153]本發(fā)明還涉及一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，它包括:
[0154]拼接設(shè)置模塊，用于在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平/垂直/水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接，而后轉(zhuǎn)到調(diào)整模塊；
[0155]調(diào)整模塊，用于調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野，而后轉(zhuǎn)到標(biāo)定模塊；
[0156]標(biāo)定模塊，用于標(biāo)定球機(jī)與全景拼接攝像機(jī)，建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系，而后轉(zhuǎn)到設(shè)置模塊；
[0157]設(shè)置模塊，用于待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，而后轉(zhuǎn)到運(yùn)動(dòng)檢測(cè)模塊；
[0158]運(yùn)動(dòng)檢測(cè)模塊，用于當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)控制球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像。
[0159]作為一實(shí)施例,上述中,所述標(biāo)定模塊具體包括，
[0160]播放單元，用于播放全景拼接攝像機(jī)的未拼接原始視頻和球機(jī)視頻，而后轉(zhuǎn)到選擇原始視頻單兀；
[0161]選擇原始視頻單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻而后轉(zhuǎn)到特征點(diǎn)選擇單元；
[0162]特征點(diǎn)選擇單元，用于通過輸入設(shè)備在選擇的未拼接原始視頻中不重復(fù)的選擇一個(gè)特征點(diǎn)，記錄該特征點(diǎn)的坐標(biāo)轉(zhuǎn)到分組記錄單元；
[0163]分組記錄單元，用于標(biāo)出球機(jī)視頻中畫面的中心，通過操控使球機(jī)畫面中心落到選擇原始視頻單元所選擇的特征點(diǎn)上，將此時(shí)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分組記錄，轉(zhuǎn)到重復(fù)單元；[0164]重復(fù)單元，用于重復(fù)步驟特征點(diǎn)選擇單元、標(biāo)定記錄單元至少6次而后轉(zhuǎn)到標(biāo)定單元；[0165]標(biāo)定單元，用于對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值及匹配點(diǎn)坐標(biāo)采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇原始視頻單元中選擇的拼接原始視頻的標(biāo)識(shí)符及分組記錄單元中操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立，而后轉(zhuǎn)到全景重復(fù)單元；
[0166]全景重復(fù)單元，用于重復(fù)步驟選擇原始視頻單元、特征點(diǎn)選擇單元、分組記錄單元、重復(fù)單元及標(biāo)定單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
[0167]作為一實(shí)施例,上述中,所述標(biāo)定模塊具體包括，
[0168]操控單元，用于操控使球機(jī)畫面與全景拼接攝像機(jī)的各未拼接原始視頻中心一致而后轉(zhuǎn)到特征提取單元；
[0169]特征提取單元，用于提取各未拼接原始視頻的一幀圖像，對(duì)該圖像提取sift/surf/harris特征點(diǎn)，然后特征匹配、匹配對(duì)采用最小二乘法計(jì)算出透視變換矩陣而后轉(zhuǎn)到邊緣估計(jì)單元；
[0170]邊緣估計(jì)單元，用于通過透視變換矩陣對(duì)各未拼接原始視頻估計(jì)其4個(gè)邊緣角點(diǎn)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)對(duì)位單元；
[0171]球機(jī)對(duì)位單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻，將其坐標(biāo)變化范圍等分成多份，分別根據(jù)每份的球機(jī)水平傾角值及球機(jī)垂直傾角值控制球機(jī)到達(dá)相應(yīng)位置而后轉(zhuǎn)到匹配單元；
[0172]匹配單元，用于球機(jī)每到達(dá)一個(gè)位置，對(duì)此時(shí)的未拼接原始視頻和球機(jī)畫面進(jìn)行特征提取并匹配，若匹配點(diǎn)滿足閾值則保存相應(yīng)坐標(biāo)和此時(shí)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到標(biāo)定單元；
[0173]標(biāo)定單元，用于重復(fù)球機(jī)對(duì)位單元、匹配單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
[0174]作為一實(shí)施例,上述中，所述標(biāo)定單元轉(zhuǎn)到手動(dòng)修正單元,所述手動(dòng)修正單元用于查看自動(dòng)標(biāo)定的匹配對(duì)，若存在誤差則參考球機(jī)對(duì)位單元、匹配單元手動(dòng)控球調(diào)整球機(jī)，獲取至少6個(gè)匹配點(diǎn)，將匹配點(diǎn)的坐標(biāo)及球機(jī)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)分組記錄，對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇的拼接原始視頻的標(biāo)識(shí)符及?呆控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立。
[0175]作為一實(shí)施例，上述中，所述運(yùn)動(dòng)檢測(cè)模塊的聯(lián)動(dòng)具體有下述單元實(shí)現(xiàn)，
[0176]跟蹤框中心點(diǎn)計(jì)算單元，用于根據(jù)跟蹤框信息，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)而后轉(zhuǎn)到全景區(qū)域定位單元；
[0177]全景區(qū)域定位單元，用于根據(jù)跟蹤框中心點(diǎn)坐標(biāo)值定位其在全景拼接畫面中所屬的區(qū)域而后轉(zhuǎn)到區(qū)域判斷單元；
[0178]區(qū)域判斷單元，用于判斷上述區(qū)域是否位于全景拼接攝像機(jī)中的重疊區(qū)域，否則獲取區(qū)域的信息而后執(zhí)行坐標(biāo)計(jì)算單元，是則執(zhí)行比較坐標(biāo)計(jì)算單元；
[0179]坐標(biāo)計(jì)算單元，用于根據(jù)區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元；
[0180]比較坐標(biāo)計(jì)算單元，用于比較跟蹤框中心點(diǎn)坐標(biāo)值與重疊的兩個(gè)未拼接原始視頻的中心點(diǎn)的距離，根據(jù)距離最近的區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元；
[0181]球機(jī)聯(lián)動(dòng)單元，用于根據(jù)跟蹤框中心點(diǎn)所在未拼接原始視頻的映射關(guān)系，以跟蹤框中心點(diǎn)的坐標(biāo)位置獲取對(duì)應(yīng)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)執(zhí)行單元;
[0182]球機(jī)執(zhí)行單元，根據(jù)球機(jī)水平傾角值及球機(jī)垂直傾角值驅(qū)動(dòng)球機(jī)調(diào)整。
[0183]作為一實(shí)施例，上述標(biāo)定模塊通過判斷模塊轉(zhuǎn)到定位模塊，所述判斷模塊，用于判斷是否標(biāo)定成功，是則轉(zhuǎn)到設(shè)置模塊，否則調(diào)整球機(jī)的畫面使之與全景拼接攝像機(jī)的畫面中心對(duì)齊后轉(zhuǎn)回標(biāo)定|吳塊。
[0184]作為一實(shí)施例，上述運(yùn)動(dòng)檢測(cè)模塊拍攝跟蹤目標(biāo)圖像后轉(zhuǎn)到識(shí)別模塊，識(shí)別模塊用于對(duì)球機(jī)圖像進(jìn)行特征檢測(cè)并提取特征而后識(shí)別。
[0185]作為一實(shí)施例，上述運(yùn)動(dòng)檢測(cè)模塊中，跟蹤框參數(shù)包括跟蹤框大小、跟蹤框位置信息；所述識(shí)別模塊的識(shí)別通過將提取的特征與數(shù)據(jù)庫中數(shù)據(jù)對(duì)比進(jìn)行識(shí)別；識(shí)別模塊中特征檢測(cè)包括人臉、車牌特征檢測(cè)。
[0186]需要說明的是，如前述3種拼接方式如圖2、圖4、圖6，目前常見的是水平拼接方式，主要用于監(jiān)控高速公路、廣場(chǎng)、倉庫等，垂直拼接方式可用于樓宇、橋梁等監(jiān)控場(chǎng)景，當(dāng)監(jiān)控場(chǎng)景是飛機(jī)場(chǎng)等特別大的地方時(shí)，單獨(dú)的水平和垂直拼接方式都滿足不了需求，此時(shí)就要考慮采用水平垂直拼接方式。
[0187]以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其它相關(guān)的【技術(shù)領(lǐng)域】，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，其特征在于:它包括步驟， A)、在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平/垂直/水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接； B)、調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野； C)、標(biāo)定球機(jī)與全景拼接攝像機(jī)，建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系； D)、待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)； E)、當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)控制聯(lián)動(dòng)球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像。
2.如權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，其特征在于:所述步驟C具體包括， Cl)、播放全景拼接攝像機(jī)的未拼接原始視頻和球機(jī)視頻； C2)、不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻； C3)、通過輸入設(shè)備在選擇的未拼接原始視頻中不重復(fù)的選擇一個(gè)特征點(diǎn)，記錄該特征點(diǎn)的坐標(biāo)； C4)、標(biāo)出球機(jī)視頻中畫面的中心，通過操控使球機(jī)畫面中心落到步驟C2所選擇的特征點(diǎn)上，將此時(shí)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分組記錄； C5)、重復(fù)步驟C3、C4至·少6次； C6)、對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同步驟C2中選擇的拼接原始視頻的標(biāo)識(shí)符及步驟C4中操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立； C7)、重復(fù)步驟C2-C6，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
3.如權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，其特征在于:所述步驟C具體包括， Cl)、操控使球機(jī)畫面與全景拼接攝像機(jī)的各未拼接原始視頻中心一致； C2 )、提取各未拼接原始視頻的一幀圖像，對(duì)該圖像提取sif t/surf/harris特征點(diǎn),然后特征匹配、匹配對(duì)采用最小二乘法計(jì)算出透視變換矩陣； C3)、通過透視變換矩陣對(duì)各未拼接原始視頻估計(jì)其4個(gè)邊緣角點(diǎn)的球機(jī)水平傾角值及球機(jī)垂直傾角值； C4)、不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻，將其坐標(biāo)變化范圍等分成多份，分別根據(jù)每份的球機(jī)水平傾角值及球機(jī)垂直傾角值控制球機(jī)到達(dá)相應(yīng)位置；C5)、球機(jī)每到達(dá)一個(gè)位置，對(duì)此時(shí)的未拼接原始視頻和球機(jī)畫面進(jìn)行特征提取并匹配，若匹配點(diǎn)滿足閾值則保存相應(yīng)坐標(biāo)和球機(jī)此時(shí)的球機(jī)水平傾角值及球機(jī)垂直傾角值；C6)、重復(fù)步驟C4-C5，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
4.如權(quán)利要求3所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，其特征在于:所述步驟C5后還包括手動(dòng)修正的步驟,包括: 查看自動(dòng)標(biāo)定的匹配對(duì)，若存在誤差則參考步驟C4、C5手動(dòng)控球調(diào)整球機(jī)，獲取至少6個(gè)匹配點(diǎn)，將匹配點(diǎn)的坐標(biāo)及球機(jī)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)分組記錄，對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇的拼接原始視頻的標(biāo)識(shí)符及操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立。
5.如權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)方法，其特征在于:所述步驟E中的聯(lián)動(dòng)具體包括步驟， EI)、根據(jù)跟蹤框信息，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)； E2)、根據(jù)跟蹤框中心點(diǎn)坐標(biāo)值定位其在全景拼接畫面中所屬的區(qū)域； E3)、判斷上述區(qū)域是否位于全景拼接攝像機(jī)中的重疊區(qū)域，否則獲取區(qū)域的信息而后執(zhí)行步驟E4，是則執(zhí)行步驟E5 ； E4)、根據(jù)區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置； E5)、比較跟蹤框中心點(diǎn)坐標(biāo)值與重疊的兩個(gè)未拼接原始視頻的中心點(diǎn)的距離，根據(jù)距離最近的區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置； E6)、根據(jù)跟蹤框中心點(diǎn)所在未拼接原始視頻的映射關(guān)系，以跟蹤框中心點(diǎn)的坐標(biāo)位置獲取對(duì)應(yīng)的球機(jī)水平傾角值及球機(jī)垂直傾角值； E7 )、根據(jù)球機(jī)水平傾角值及球機(jī)垂直傾角值驅(qū)動(dòng)球機(jī)調(diào)整。
6.一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，其特征在于:它包括， 拼接設(shè)置模塊，用于在監(jiān)控點(diǎn)設(shè)置球機(jī)與全景拼接攝像機(jī)，設(shè)置過程中全景拼接攝像機(jī)采用水平/垂直/水平垂直拼接方式，通過調(diào)整各鏡頭方向?qū)崿F(xiàn)全景畫面拼接，而后轉(zhuǎn)到調(diào)整模塊； 調(diào)整模塊，用于調(diào)整全景拼接攝像機(jī)的視野，使之全景拼接畫面中視野覆蓋設(shè)置的球機(jī)視野，而后轉(zhuǎn)到標(biāo)定模塊； 標(biāo)定模塊，用于標(biāo)定球機(jī)與全景拼接攝像機(jī)，建立球機(jī)與全景拼接攝像機(jī)的位置映射關(guān)系，而后轉(zhuǎn)到設(shè)置模塊； 設(shè)置模塊，用于待全景拼接畫面中設(shè)置感興趣區(qū)域后，對(duì)該感興趣區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，而后轉(zhuǎn)到運(yùn)動(dòng)檢測(cè)模塊； 運(yùn)動(dòng)檢測(cè)模塊，用于當(dāng)檢測(cè)到運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)標(biāo)記跟蹤框，根據(jù)跟蹤框參數(shù)控制球機(jī)調(diào)整、聚焦拍攝跟蹤目標(biāo)圖像。
7.如權(quán)利要求6所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，其特征在于:所述標(biāo)定模塊具體包括， 播放單元，用于播放全景拼接攝像機(jī)的未拼接原始視頻和球機(jī)視頻，而后轉(zhuǎn)到選擇原始視頻單元； 選擇原始視頻單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻而后轉(zhuǎn)到特征點(diǎn)選擇單元； 特征點(diǎn)選擇單元，用于通過輸入設(shè)備在選擇的未拼接原始視頻中不重復(fù)的選擇一個(gè)特征點(diǎn)，記錄該特征點(diǎn)的坐標(biāo)轉(zhuǎn)到分組記錄單元； 分組記錄單元，用于標(biāo)出球機(jī)視頻中畫面的中心，通過操控使球機(jī)畫面中心落到選擇原始視頻單元所選擇的特征點(diǎn)上，將此時(shí)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)特征點(diǎn)的坐標(biāo)分組記錄，轉(zhuǎn)到重復(fù)單元； 重復(fù)單元，用于重復(fù)步驟特征點(diǎn)選擇單元、標(biāo)定記錄單元至少6次而后轉(zhuǎn)到標(biāo)定單元； 標(biāo)定單元，用于對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇原始視頻單元中選擇的拼接原始視頻的標(biāo)識(shí)符及分組記錄單元中操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立，而后轉(zhuǎn)到全景重復(fù)單元； 全景重復(fù)單元，用于重復(fù)步驟選擇原始視頻單元、特征點(diǎn)選擇單元、分組記錄單元、重復(fù)單元及標(biāo)定單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
8.如權(quán)利要求6所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，其特征在于:所述標(biāo)定模塊具體包括， 操控單元，用于操控使球機(jī)畫面與全景拼接攝像機(jī)的各未拼接原始視頻中心一致而后轉(zhuǎn)到特征提取單元； 特征提取單元，用于提取各未拼接原始視頻的一幀圖像，對(duì)該圖像提取sift/surf/harris特征點(diǎn)，然后特征匹配、匹配對(duì)采用最小二乘法計(jì)算出透視變換矩陣而后轉(zhuǎn)到邊緣估計(jì)單元； 邊緣估計(jì)單元，用于通過透視變換矩陣對(duì)各未拼接原始視頻估計(jì)其4個(gè)邊緣角點(diǎn)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)對(duì)位單元； 球機(jī)對(duì)位單元，用于不重復(fù)的選擇全景拼接攝像機(jī)的一個(gè)未拼接原始視頻，將其坐標(biāo)變化范圍等分成多份，分別根據(jù)每份的球機(jī)水平傾角值及球機(jī)垂直傾角值控制球機(jī)到達(dá)相應(yīng)位置而后轉(zhuǎn)到匹配單元； 匹配單元，用于球機(jī)每到達(dá)一個(gè)位置，對(duì)此時(shí)的未拼接原始視頻和球機(jī)畫面進(jìn)行特征提取并匹配，若匹配點(diǎn)滿足閾值則保存相應(yīng)坐標(biāo)和球機(jī)此時(shí)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到標(biāo)定單元； 標(biāo)定單元，用于重復(fù)球機(jī)對(duì)位單元、匹配單元，直至完成全景拼接攝像機(jī)的所有未拼接原始視頻的映射關(guān)系建立。
9.如權(quán)利要求8所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，其特征在于:所述標(biāo)定單元轉(zhuǎn)到手動(dòng)修正單元，所述手動(dòng)修正單元用于查看自動(dòng)標(biāo)定的匹配對(duì)，若存在誤差則參考球機(jī)對(duì)位單元、匹配單元手動(dòng)控球調(diào)整球機(jī)，獲取至少6個(gè)匹配點(diǎn)，將匹配點(diǎn)的坐標(biāo)及球機(jī)的球機(jī)水平傾角值、球機(jī)垂直傾角值及球機(jī)縮放倍率值對(duì)應(yīng)分組記錄，對(duì)每組記錄中的球機(jī)水平傾角值、球機(jī)垂直傾角值采用最小二乘法擬合出二次曲面系數(shù)，將該二次曲面系數(shù)作為標(biāo)定系數(shù)連同選擇的拼接原始視頻的標(biāo)識(shí)符及操控的球機(jī)的標(biāo)識(shí)符對(duì)應(yīng)保存完成映射關(guān)系建立。
10.如權(quán)利要求6所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的全景拼接聯(lián)動(dòng)裝置，其特征在于:所述運(yùn)動(dòng)檢測(cè)模塊的聯(lián)動(dòng)具體有下述單元實(shí)現(xiàn)， 跟蹤框中心點(diǎn)計(jì)算單元，用于根據(jù)跟蹤框信息，計(jì)算跟蹤框的中心點(diǎn)坐標(biāo)而后轉(zhuǎn)到全景區(qū)域定位單元； 全景區(qū)域定位單元，用于根據(jù)跟蹤框中心點(diǎn)坐標(biāo)值定位其在全景拼接畫面中所屬的區(qū)域而后轉(zhuǎn)到區(qū)域判斷單元；區(qū)域判斷單元，用于判斷上述區(qū)域是否位于全景拼接攝像機(jī)中的重疊區(qū)域，否則獲取區(qū)域的信息而后執(zhí)行坐標(biāo)計(jì)算單元，是則執(zhí)行比較坐標(biāo)計(jì)算單元； 坐標(biāo)計(jì)算單元，用于根據(jù)區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元； 比較坐標(biāo)計(jì)算單元，用于比較跟蹤框中心點(diǎn)坐標(biāo)值與重疊的兩個(gè)未拼接原始視頻的中心點(diǎn)的距離，根據(jù)距離最近的區(qū)域?qū)?yīng)序號(hào)的拼接逆變換計(jì)算得到跟蹤框中心點(diǎn)所在未拼接原始視頻中的坐標(biāo)位置，而后轉(zhuǎn)到球機(jī)聯(lián)動(dòng)單元； 球機(jī)聯(lián)動(dòng)單元，用于根據(jù)跟蹤框中心點(diǎn)所在未拼接原始視頻的映射關(guān)系，以跟蹤框中心點(diǎn)的坐標(biāo)位置獲取對(duì)應(yīng)的球機(jī)水平傾角值及球機(jī)垂直傾角值而后轉(zhuǎn)到球機(jī)執(zhí)行單元；球機(jī)執(zhí)行單元，根據(jù) 球機(jī)水平傾角值及球機(jī)垂直傾角值驅(qū)動(dòng)球機(jī)調(diào)整。
【文檔編號(hào)】H04N5/232GK103716594SQ201410008471
【公開日】2014年4月9日 申請(qǐng)日期:2014年1月8日 優(yōu)先權(quán)日:2014年1月8日
【發(fā)明者】魏園波, 彭俊, 林小暉, 周玉龍 申請(qǐng)人:深圳英飛拓科技股份有限公司