基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置的制造方法
【專(zhuān)利摘要】本發(fā)明提供一種基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，該裝置通過(guò)使用多焦距鏡頭對(duì)大范圍區(qū)域同時(shí)進(jìn)行監(jiān)控，采集得到的超高分辨率圖像橫向視場(chǎng)角大于90°，從而使得該裝置能夠在大范圍場(chǎng)景監(jiān)控中實(shí)現(xiàn)無(wú)死角全覆蓋，并在距裝置130m范圍內(nèi)，采集影像的像素密度大于125像素/米，使得整個(gè)監(jiān)控圖像的像素達(dá)到了一億以上。
【專(zhuān)利說(shuō)明】
基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像成像技術(shù)領(lǐng)域，具體的涉及一種基于多目標(biāo)智能跟蹤的多焦距鏡 頭聯(lián)動(dòng)成像裝置。
【背景技術(shù)】
[0002] 目前，在政府廣場(chǎng)、大型停車(chē)場(chǎng)、機(jī)場(chǎng)候車(chē)廳、車(chē)站候車(chē)廳等大范圍區(qū)域的視頻監(jiān) 控方案中，現(xiàn)有監(jiān)控方案主要采用多臺(tái)槍機(jī)和高速球相配合進(jìn)行監(jiān)控?，F(xiàn)有的長(zhǎng)焦鏡頭槍 機(jī)視野范圍有限；而安裝短焦鏡頭的槍機(jī)，對(duì)于遠(yuǎn)處的目標(biāo)則僅能獲得像素不足的目標(biāo)圖 像;另一方面，高速球的觀察范圍有限，不能同時(shí)兼顧整個(gè)場(chǎng)景和局部同時(shí)得到具有準(zhǔn)確對(duì) 應(yīng)關(guān)系的局部放大和全貌圖像，使用時(shí)會(huì)存在盲區(qū)。對(duì)于用戶(hù)來(lái)說(shuō)，當(dāng)采用現(xiàn)有的監(jiān)控方案 時(shí)，還需在多臺(tái)攝像機(jī)的圖像之間進(jìn)行切換，才能進(jìn)行監(jiān)控，非常不方便，降低了監(jiān)控效率， 增加了監(jiān)控難度。
[0003] 常用的去噪算法有均值濾波算法和中值濾波算法，以及各類(lèi)在前述算法基礎(chǔ)上改 進(jìn)得到的算法。中值濾波算法的基本原理是在在盡可能地保護(hù)信號(hào)原有特征的同時(shí)濾除掉 其中噪聲的一種處理方法，該方法得到了較廣泛的應(yīng)用。中值濾波算法的基本原理是把數(shù) 字圖像中每一像素點(diǎn)的值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)所有像素點(diǎn)值的中值，根據(jù)所處理噪聲 的特點(diǎn)，使得所設(shè)置窗口中的中值點(diǎn)一般不為噪聲點(diǎn)，從而達(dá)到抑制噪聲的目的。
[0004] 現(xiàn)有的中值濾波算法包括以下步驟：
[0005] 設(shè)am,n為所處理視頻流中圖像在(m，η)處的像素值，Z是一個(gè)(2N+1) X (2N+1)的濾 波窗口 ：
[0006]
[0007] 由以上公式得到以a_(m，n)為中心的4個(gè)子窗口的中值，然后再由以下公式對(duì)4個(gè) 中值取最大值，作為窗口的濾波值：
[0008] y(m，n) =max[Zi(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]
[0009] 上式所示的中值算法保留了信號(hào)的幾何特性，結(jié)合圖像所有一維的特性進(jìn)行二維 估計(jì)，保留了二維圖像的一維特性，但所得結(jié)果本質(zhì)上不對(duì)稱(chēng)，對(duì)噪聲比較密集的區(qū)域，抑 制噪聲能力有限。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提供一種基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，該 發(fā)明解決了現(xiàn)有技術(shù)中對(duì)于大范圍區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控時(shí)，僅依靠一套監(jiān)控裝置難以兼顧遠(yuǎn) 景目標(biāo)清晰成像和整個(gè)場(chǎng)景全覆蓋監(jiān)控的限制；以及攝像機(jī)云臺(tái)裝置在近景成像和遠(yuǎn)景成 像不斷切換時(shí)造成的監(jiān)控遺漏;現(xiàn)有中值濾波算法對(duì)噪聲密集區(qū)域?yàn)V波效果不好的技術(shù)問(wèn) 題。
[0011] 本發(fā)明提供一種基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，包括：
[0012] 視頻采集模塊，用于獲取監(jiān)控區(qū)域的實(shí)時(shí)圖像信息，設(shè)置于監(jiān)控區(qū)域附近，包括至 少一個(gè)用于采集低分辨率的監(jiān)控區(qū)域場(chǎng)景概貌圖像信息的概貌采集單元和至少十個(gè)用于 采集監(jiān)控區(qū)域中目標(biāo)物的細(xì)節(jié)圖像信息的細(xì)節(jié)采集單元，
[0013] 細(xì)節(jié)采集單元的各鏡頭焦距不同，；
[0014] 存儲(chǔ)模塊，用于存儲(chǔ)視頻采集模塊獲取的圖像信息；
[0015] 視頻管理模塊，用于對(duì)場(chǎng)景概貌圖像和細(xì)節(jié)圖像進(jìn)行空間配準(zhǔn)，并根據(jù)空間配準(zhǔn) 信息對(duì)概貌采集單元和細(xì)節(jié)采集單元所獲取的圖像進(jìn)行協(xié)同聯(lián)動(dòng)預(yù)覽和回放；
[0016] 視頻管理模塊中包括空間配準(zhǔn)模塊，空間配準(zhǔn)模塊用以實(shí)現(xiàn)概貌采集單元和細(xì)節(jié) 采集單元之間的空間配準(zhǔn)，獲得兩者之間的映射關(guān)系，空間配準(zhǔn)模塊通過(guò)空間配準(zhǔn)方法實(shí) 現(xiàn)概貌采集單元和細(xì)節(jié)采集單元所得圖像的空間配準(zhǔn)；
[0017] 空間配準(zhǔn)方法包括以下步驟：
[0018] (1)分別建立各單鏡頭單元的采集圖像坐標(biāo)系ΧΡΥΡ0 Ρ，同時(shí)采用球型模型建立空間 坐標(biāo)系XsYsZsOs，以單鏡頭單元的左方為ΧΡ軸正方向，下方為Υ Ρ軸正方向，空間坐標(biāo)系 XsYsZsOs的Xs軸正方向與ΧΡ軸正方向相反，Ys軸正方向與ΥΡ軸正方向相反，前方為Ζ Ρ軸正方 向；
[0019] 取以空間坐標(biāo)系XsYsZsOs的原點(diǎn)為球心半徑為1的球面上的一點(diǎn)ms，ms的奇次坐標(biāo) 為^，73,2 3，1)1'，1111)點(diǎn)為1]13點(diǎn)在采集圖像坐標(biāo)系乂 1^1)01)上的成像點(diǎn)，其奇次坐標(biāo)為1]11)=(叉 1)， yP，1 )τ，空間坐標(biāo)中的點(diǎn)ms到采集圖像坐標(biāo)系上點(diǎn)mP的對(duì)應(yīng)關(guān)系表示為：
[0020] mP = K(R,0)ms= (KR,0)ms = Pms (1)
[0021] 其中，矩陣P = K(R，0)通常稱(chēng)為攝像機(jī)矩陣：
I攝像機(jī)的內(nèi)參數(shù)矩 陣，；^ = €/心汀7 = €/(^，分別稱(chēng)為乂1)軸和￥1)軸上的歸一化焦距汀為鏡頭單元的焦距，(^和(^分 別表示XP軸和YP軸上單位像素的尺寸大小，cx和cy表示光學(xué)中心，（R，〇)為單鏡頭單元的外 參數(shù)矩陣，其中R基于點(diǎn)1到單鏡頭單元光軸的水平夾角α和垂直夾角β計(jì)算得到：
[0022]
[0023]
[0024] (2)分別對(duì)場(chǎng)景概貌圖像和10個(gè)細(xì)節(jié)采集單元的視頻圖像采樣：
[0025]分別預(yù)覽場(chǎng)景概貌圖像和一個(gè)細(xì)節(jié)圖像，并對(duì)相同物體同一點(diǎn)在兩個(gè)圖像中的像 素坐標(biāo)進(jìn)行記錄，每組記錄組成一個(gè)像素坐標(biāo)組，共記錄6組像素坐標(biāo)組，按照這種方法，分 別采集場(chǎng)景概貌圖像和每一個(gè)細(xì)節(jié)圖像的像素坐標(biāo)組，以完成場(chǎng)景概貌圖像分別與每一個(gè) 細(xì)節(jié)采集單元獲取的圖像的像素坐標(biāo)采樣。
[0026] 計(jì)算場(chǎng)景概貌圖像和任一細(xì)節(jié)圖像中對(duì)應(yīng)像素坐標(biāo)組中，場(chǎng)景概貌圖像中同一物 體同一點(diǎn)的像素坐標(biāo)與細(xì)節(jié)圖像中物體同一點(diǎn)的像素坐標(biāo)的映射關(guān)系:首先根據(jù)公式（1)， 將對(duì)應(yīng)像素坐標(biāo)組中的6個(gè)場(chǎng)景概貌圖像像素坐標(biāo)轉(zhuǎn)換為空間坐標(biāo)系X sYsZs0s，得到包含6 個(gè)向量ν?， ν2···ν6的概貌向量；
[0027] 將對(duì)應(yīng)像素坐標(biāo)組中細(xì)節(jié)采集單元所獲取的圖像上的6個(gè)像素坐標(biāo)轉(zhuǎn)換為空間坐 標(biāo)系XsYsZ s〇s，得到包含6個(gè)向量νΓ，ν2 '…ν6 '的細(xì)節(jié)向量，按照公式(5)~（7)以概貌向量 組成矩陣MatH，細(xì)節(jié)向量組成矩MatD，求解旋轉(zhuǎn)矩陣MatH2D:
[0028] MatD=[vl ,v2,v3,v4,v5,v6] (5)
[0029] MatH=[vl' ,v2' ,v3' ,v4' ,v5' ,v6' ] (6)
[0030] MatH2D=MatDXPINV(MatH) (7),
[0031] 其中，PINV(Matrix)為矩陣Matrix的廣義逆；
[0032] 重復(fù)節(jié)采集單元個(gè)數(shù)次，得到場(chǎng)景概貌圖像對(duì)應(yīng)每一個(gè)細(xì)節(jié)采集單元圖像的旋轉(zhuǎn) 矩陣；
[0033] (3)匹配聯(lián)動(dòng)預(yù)覽或回放時(shí)，首先獲取選取的概貌圖像上的場(chǎng)景坐標(biāo)(xP，y P，l)T， 根據(jù)公式（1)，計(jì)算該點(diǎn)在空間坐標(biāo)系XsYsZs0 s下的奇次坐標(biāo)￥=^心，23，1)1';遍歷每一個(gè) 細(xì)節(jié)采集單元的旋轉(zhuǎn)矩陣MatH2D，由v X MatH2D = v '（ 9)得到各概貌向量對(duì)應(yīng)的坐標(biāo)點(diǎn)在每 一個(gè)細(xì)節(jié)采集單元圖像下的空間坐#va'，Vb'···￥」'，最后由v a'，Vb'···￥」'，根據(jù)公式（1)計(jì)算 所選取場(chǎng)景在每一個(gè)細(xì)節(jié)采集單元中的像素坐標(biāo)(xa'，y a'），（xb'，yb'）^_(xj'，yj'），去掉不 合理的結(jié)果，并選取其中距細(xì)節(jié)采集單元中心坐標(biāo)最近的一個(gè)像素坐標(biāo)作為概貌圖像中與 細(xì)節(jié)圖像中匹配聯(lián)動(dòng)的對(duì)象。
[0034] 進(jìn)一步地，概貌采集單元和細(xì)節(jié)采集單元設(shè)置于殼體內(nèi)，殼體內(nèi)間隔設(shè)置第一平 板、第二平板和第三平板，第二平板和第三平板均與水平面平行，第一平板向水平面傾斜設(shè) 置;概貌采集單元設(shè)置于第二平板的中間，細(xì)節(jié)采集單元圍繞概貌采集單元設(shè)置。
[0035]進(jìn)一步地，第一平板與水平面所成銳角為20°。
[0036] 進(jìn)一步地，包括10個(gè)細(xì)節(jié)采集單元，每個(gè)細(xì)節(jié)采集單元均包括細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)，細(xì) 節(jié)網(wǎng)絡(luò)攝像機(jī)的視頻采集分辨率為4000 X 3000，編碼方式為h264標(biāo)準(zhǔn)，其中任意3臺(tái)細(xì)節(jié)網(wǎng) 絡(luò)攝像機(jī)的前端均設(shè)置中焦距鏡頭組成近距離攝像組，用于構(gòu)成橫向90°的視場(chǎng)角以覆蓋 近距離區(qū)域，近距離攝像組設(shè)置于第一平板上；
[0037]余下7臺(tái)細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)前端均設(shè)置長(zhǎng)焦距鏡頭，組成遠(yuǎn)距離攝像組，用于構(gòu)成橫 向90°的視場(chǎng)角以覆蓋遠(yuǎn)距離區(qū)域，遠(yuǎn)距離攝像組均勻設(shè)置于第二平板和第三塊平板上。 [0038]進(jìn)一步地，概貌采集單元通過(guò)用于調(diào)節(jié)傾角的基座與第二平板相連接，基座與水 平面的傾角為20°。
[0039]進(jìn)一步地，殼體由導(dǎo)熱金屬制成。
[0040]進(jìn)一步地，概貌采集單元包括概貌網(wǎng)絡(luò)攝像機(jī)，概貌網(wǎng)絡(luò)攝像機(jī)為1080P網(wǎng)絡(luò)攝像 機(jī)，編碼方式使用h264標(biāo)準(zhǔn)，其前端連接短焦距鏡頭，橫向視場(chǎng)角達(dá)到90度。
[0041 ]進(jìn)一步地，存儲(chǔ)模塊包括彼此獨(dú)立的第一網(wǎng)口和第二網(wǎng)口，第一網(wǎng)口，用于聯(lián)通視 頻采集模塊獲取的圖像信息與存儲(chǔ)模塊。第二網(wǎng)口，用于聯(lián)通儲(chǔ)存模塊與視頻管理模塊。。 [0042]本發(fā)明的技術(shù)效果：
[0043] 1、本發(fā)明提供基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，能夠?qū)崿F(xiàn)場(chǎng)景概 貌和超高分辨率圖像的聯(lián)動(dòng)監(jiān)控，并且設(shè)備橫向視場(chǎng)角大于90°，能夠在大范圍場(chǎng)景監(jiān)控中 實(shí)現(xiàn)無(wú)死角全覆蓋，并在距裝置130m的范圍內(nèi)，采集影像的像素密度大于125像素/米，可識(shí) 別人或者車(chē)輛等物體。
[0044] 2、本發(fā)明提供基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，通過(guò)增加多目標(biāo) 跟蹤模塊能夠使聯(lián)動(dòng)成像系統(tǒng)能夠進(jìn)行實(shí)時(shí)的多目標(biāo)智能跟蹤，方便對(duì)感興趣的目標(biāo)在聯(lián) 動(dòng)成像系統(tǒng)覆蓋范圍內(nèi)進(jìn)行實(shí)時(shí)監(jiān)控。
[0045] 3、本發(fā)明提供基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，通過(guò)對(duì)現(xiàn)有中值 濾波算法的改進(jìn)，能夠?qū)Ρ緦?shí)施例中的視頻合成處理輸出系統(tǒng)合成以后的一路視頻有效的 進(jìn)行噪聲抑制，使輸出的視頻效果更好，利于觀察調(diào)用。
[0046] 具體請(qǐng)參考根據(jù)本發(fā)明的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置提出 的各種實(shí)施例的如下描述，將使得本發(fā)明的上述和其他方面顯而易見(jiàn)。
【附圖說(shuō)明】
[0047] 圖1是本發(fā)明優(yōu)選實(shí)施例基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置結(jié)構(gòu)示 意圖；
[0048] 圖2是本發(fā)明優(yōu)選實(shí)施例殼體安裝狀態(tài)示意圖，其中（a)是殼體主視圖（b)式殼體 側(cè)視圖；
[0049] 圖3是本發(fā)明優(yōu)選實(shí)施例提供的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置 視場(chǎng)覆蓋范圍不意圖；
[0050] 圖4是本發(fā)明優(yōu)選實(shí)施例中對(duì)單一鏡頭單元采集圖像建立的采集圖像坐標(biāo)系 XpYpOp坐標(biāo)系和空間坐標(biāo)系XsYsZsOs坐標(biāo)系板型不意圖；
[0051] 圖5是本發(fā)明提供的基于多特征聯(lián)合與Mean Shift算法的多目標(biāo)跟蹤方法流程示 意圖；
[0052]圖6是本發(fā)明優(yōu)選實(shí)施例中網(wǎng)絡(luò)視頻合成處理輸出模塊硬件結(jié)構(gòu)示意圖。
[0053]圖例說(shuō)明：
[0054] 110、概貌采集單元；120、細(xì)節(jié)采集單元;210、第一平板;220、第二平板;230、第三 平板;400、視頻管理模塊。
【具體實(shí)施方式】
[0055] 構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí) 施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。
[0056] 為了克服現(xiàn)有監(jiān)控方案在大范圍區(qū)域內(nèi)，視頻監(jiān)控應(yīng)用上的不足，本發(fā)明提供了 一種基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置。只需要在監(jiān)控區(qū)域安裝一套設(shè)備， 就可以替代現(xiàn)有監(jiān)控方案中所需的所有監(jiān)控設(shè)備，并且操作方便，使用簡(jiǎn)單。該裝置包含視 頻采集模塊，存儲(chǔ)模塊和視頻管理模塊400。
[0057] 參見(jiàn)圖1，視頻采集模塊包含至少一個(gè)概貌采集單元110和至少十個(gè)細(xì)節(jié)采集單元 120,細(xì)節(jié)采集單元120中各鏡頭的焦距不同，用于采集監(jiān)控區(qū)域中目標(biāo)物的超高分辨率圖 像信息。概貌采集單元110,用于采集低分辨率的監(jiān)控區(qū)域全景概貌圖像信息。
[0058] 存儲(chǔ)模塊，用于存儲(chǔ)視頻采集模塊獲取的圖像信息。
[0059] 視頻管理模塊400,用于對(duì)場(chǎng)景概貌圖像和細(xì)節(jié)圖像進(jìn)行空間配準(zhǔn)，并根據(jù)空間配 準(zhǔn)信息對(duì)概貌采集單元110和細(xì)節(jié)采集單元120所獲取的圖像進(jìn)行協(xié)同聯(lián)動(dòng)預(yù)覽和回放；
[0060] 視頻管理模塊400所具有的回放功能可通過(guò)onvif協(xié)議搜索和查詢(xún)得到視頻文件， 并對(duì)查詢(xún)到的視頻文件進(jìn)行回放。在回放過(guò)程中，在場(chǎng)景概貌圖像選擇需要放大查看的場(chǎng) 景細(xì)節(jié)，通過(guò)空間配準(zhǔn)信息計(jì)算后，在超高分辨率圖像顯示窗口中，對(duì)選擇的細(xì)節(jié)清晰的放 大顯示，在距采集裝置130m的范圍內(nèi)，所獲取的視頻圖像可以用于識(shí)別目標(biāo)人或車(chē)輛等物 體的各項(xiàng)特征。
[0061] 視頻管理模塊400接入網(wǎng)絡(luò)視頻存儲(chǔ)設(shè)備后，通過(guò)空間配準(zhǔn)功能，對(duì)場(chǎng)景概貌圖像 和細(xì)節(jié)圖像分別采樣，計(jì)算得到空間配準(zhǔn)信息?？臻g配準(zhǔn)信息用于場(chǎng)景概貌單元和細(xì)節(jié)單 元的匹配聯(lián)動(dòng)。
[0062] 設(shè)備協(xié)同聯(lián)動(dòng)預(yù)覽功能是指，使用者在場(chǎng)景概貌圖像選擇需要預(yù)覽的細(xì)節(jié)，通過(guò) 空間配準(zhǔn)信息計(jì)算，得到細(xì)節(jié)采集單元120的序號(hào)及圖像對(duì)應(yīng)的坐標(biāo)后，在超高分辨率圖像 顯示窗口中，對(duì)使用者選擇的細(xì)節(jié)進(jìn)行清晰的放大顯示。
[0063] 設(shè)備協(xié)同聯(lián)動(dòng)回放功能是指，用戶(hù)可以通過(guò)onvif協(xié)議搜索和查詢(xún)錄像文件，并對(duì) 查詢(xún)到的錄像文件進(jìn)行回放。在回放過(guò)程中，使用者在場(chǎng)景概貌圖像中選擇所需查看的場(chǎng) 景的細(xì)節(jié)，通過(guò)空間配準(zhǔn)信息計(jì)算后，得到細(xì)節(jié)采集單元120的序號(hào)及圖像對(duì)應(yīng)的坐標(biāo)后， 在超高分辨率圖像顯示窗口中，對(duì)使用者選擇的細(xì)節(jié)進(jìn)行聯(lián)動(dòng)匹配放大回放。
[0064] 如果想讓概貌采集單元110和細(xì)節(jié)采集單元120之間可以正確的匹配聯(lián)動(dòng)，就需要 獲得兩者之間的映射關(guān)系，即相同場(chǎng)景在兩者采集圖像中的對(duì)應(yīng)關(guān)系。視頻管理模塊400中 加入了空間配準(zhǔn)模塊通過(guò)空間配準(zhǔn)方法，用以實(shí)現(xiàn)概貌采集單元110和細(xì)節(jié)采集單元120之 間的空間配準(zhǔn)，獲得兩者之間的映射關(guān)系，繼而解決鏡頭單元之間的匹配聯(lián)動(dòng)問(wèn)題。
[0065] 為使概貌采集單元110和細(xì)節(jié)采集單元120實(shí)現(xiàn)匹配聯(lián)動(dòng)，首先需要獲得兩者之間 的映射關(guān)系，即確定相同場(chǎng)景在兩者采集圖像中的對(duì)應(yīng)關(guān)系。視頻管理模塊400中包括空間 配準(zhǔn)模塊，用以實(shí)現(xiàn)概貌采集單元110和細(xì)節(jié)采集單元120之間的空間配準(zhǔn)，獲得兩者之間 的映射關(guān)系，為實(shí)現(xiàn)概貌采集單元110和細(xì)節(jié)采集單元120之間的匹配聯(lián)動(dòng)提供映射關(guān)系。
[0066] 空間配準(zhǔn)模塊通過(guò)空間配準(zhǔn)方法實(shí)現(xiàn)概貌采集單元110和細(xì)節(jié)采集單元120所得 圖像的空間配準(zhǔn)。如圖3~4所示，其中所用空間配準(zhǔn)方法是對(duì)概貌采集單元110和細(xì)節(jié)采集 單元120所獲取的視頻圖像中的某一圖像進(jìn)行空間配準(zhǔn)，解決各鏡頭單元之間的匹配聯(lián)動(dòng) 問(wèn)題，通過(guò)對(duì)場(chǎng)景概貌圖像和細(xì)節(jié)顯示圖像分別采樣，計(jì)算得到各圖像的空間配準(zhǔn)信息，所 得空間配準(zhǔn)信息可用于場(chǎng)景概貌單元和細(xì)節(jié)單元的匹配聯(lián)動(dòng)?？臻g配準(zhǔn)方法包括以下步 驟：
[0067] (1)分別建立各單鏡頭單元的采集圖像坐標(biāo)系ΧΡΥΡ0 Ρ，同時(shí)采用球型模型建立空間 坐標(biāo)系XsYsZsOs，以單鏡頭單元的左方為ΧΡ軸正方向，下方為Υ Ρ軸正方向，如圖4所示?？臻g坐 標(biāo)系XsYsZsOs的Xs軸正方向與ΧΡ軸正方向相反，Ys軸正方向與Υ Ρ軸正方向相反，前方為Zs軸正 方向。
[0068] 取以空間坐標(biāo)系XsYsZs〇s的原點(diǎn)為球心半徑為1的球面上的一點(diǎn)m s，ms的奇次坐標(biāo) 為^，73,23，1)1'，111 1)點(diǎn)為1]13點(diǎn)在采集圖像坐標(biāo)系乂1^1)01)上的成像點(diǎn)，其奇次坐標(biāo)為1]1 1)=(叉1)， yP，1 )τ，空間坐標(biāo)中的點(diǎn)ms到采集圖像坐標(biāo)系上點(diǎn)mP的對(duì)應(yīng)關(guān)系表示為：
[0069] mP = K(R,0)ms= (KR,0)ms = Pms (1)
[0070] 其中，矩陣P = K(R，0)通常稱(chēng)為攝像機(jī)矩陣
是攝像機(jī)的內(nèi)參數(shù)矩 陣，；^ = €/心汀7 = €/(^，分別稱(chēng)為乂1)軸和￥1)軸上的歸一化焦距汀為鏡頭單元的焦距，(^和(^分 別表示XP軸和YP軸上單位像素的尺寸大小，cx和cy表示光學(xué)中心，通常位于圖像中心處，這 里為采集圖像坐標(biāo)系X PYP〇P原點(diǎn)〇P。
[0071] (R，0)為單鏡頭單元的外參數(shù)矩陣，其中R基于點(diǎn)1到單鏡頭單元光軸的水平夾角 α和垂直夾角β計(jì)算得到：
[0072]
[0073]
[0074]此處的單鏡頭單元是指視頻采集模塊中包含的至少一個(gè)概貌采集單元110和多個(gè) 細(xì)節(jié)采集單元120。
[0075] (2)分別對(duì)場(chǎng)景概貌圖像和10個(gè)細(xì)節(jié)采集單元120的視頻圖像采樣：
[0076] 分別預(yù)覽場(chǎng)景概貌單元采集的圖像和一個(gè)細(xì)節(jié)采集單元120獲取的圖像，并對(duì)相 同物體同一點(diǎn)在兩個(gè)圖像中的的像素坐標(biāo)進(jìn)行記錄，每組記錄組成一個(gè)像素坐標(biāo)組，共記 錄6組像素坐標(biāo)組，按照這種方法，分別采集場(chǎng)景概貌圖像和每一個(gè)細(xì)節(jié)圖像的像素坐標(biāo) 組，以完成場(chǎng)景概貌圖像分別與每一個(gè)細(xì)節(jié)采集單元120獲取的圖像的像素坐標(biāo)采樣。
[0077] 計(jì)算場(chǎng)景概貌單元獲取的圖像和任一細(xì)節(jié)采集單元120獲取的圖像中對(duì)應(yīng)像素坐 標(biāo)組中，場(chǎng)景概貌單元采集的圖像中同一物體同一點(diǎn)的像素坐標(biāo)與細(xì)節(jié)采集單元120獲取 圖像中物體同一點(diǎn)的像素坐標(biāo)的映射關(guān)系。
[0078] 計(jì)算方法:首先根據(jù)公式（1)，將對(duì)應(yīng)像素坐標(biāo)組中的6個(gè)場(chǎng)景概貌圖像像素坐標(biāo) 轉(zhuǎn)換為空間坐標(biāo)系XsYsZ s0s，得到包含6個(gè)向量vl，ν2···ν6的概貌向量；
[0079] 將對(duì)應(yīng)像素坐標(biāo)組中細(xì)節(jié)采集單元120所獲取的圖像上的6個(gè)像素坐標(biāo)轉(zhuǎn)換為空 間坐標(biāo)系XsYsZs〇 s，得到包含6個(gè)向量vΓ，v2 '…v6 '的細(xì)節(jié)向量，按照公式(5)~(7)以概貌 向量組成矩陣MatH，細(xì)節(jié)向量組成矩MatD，求解旋轉(zhuǎn)矩陣MatH2D:
[0080] MatD=[vl ,v2,v3,v4,v5,v6] (5)
[0081] MatH=[vl' ,v2' ,v3' ,v4' ,v5' ,v6' ] (6)
[0082] MatH2D=MatDXPINV(MatH) (7)，
[0083] 其中，PINV(Matrix)為矩陣Matrix的廣義逆。
[0084] 重復(fù)節(jié)采集單元個(gè)數(shù)次，得到場(chǎng)景概貌圖像對(duì)應(yīng)每一個(gè)細(xì)節(jié)采集單元120圖像的 旋轉(zhuǎn)矩陣；
[0085] (3)匹配聯(lián)動(dòng)預(yù)覽或回放時(shí)，首先獲取選取的概貌圖像上的場(chǎng)景坐標(biāo)(xP，y P，l)T， 根據(jù)公式（1)，計(jì)算該點(diǎn)在空間坐標(biāo)系XsYsZsOs下的奇次坐標(biāo)v= (Xs，ys，Zs，1 )τ;
[0086] 遍歷每一個(gè)細(xì)節(jié)采集單元120的旋轉(zhuǎn)矩陣MatH2D，由vXMatH2D = v'（9)得到各概 貌向量對(duì)應(yīng)的坐標(biāo)點(diǎn)在每一個(gè)細(xì)節(jié)采集單元120圖像下的空間坐標(biāo)va '，Vb '…Vj '，最后由 va'，vb'…vj'，根據(jù)公式（1)計(jì)算所選取場(chǎng)景在每一個(gè)細(xì)節(jié)采集單元120中的像素坐標(biāo)(xa'， ya'），（xb'，yb'）…（xj'，yj'），去掉不合理的結(jié)果，并選取其中距細(xì)節(jié)采集單元120中心坐標(biāo) 最近的一個(gè)像素坐標(biāo)作為概貌圖像中與細(xì)節(jié)圖像中匹配聯(lián)動(dòng)的對(duì)象。
[0087] 從而實(shí)現(xiàn)了概貌采集單元110中目標(biāo)物在細(xì)節(jié)采集單元120圖像的對(duì)應(yīng)，充分利用 細(xì)節(jié)圖像對(duì)概貌圖像中的目標(biāo)物進(jìn)行監(jiān)控。
[0088] 運(yùn)用多焦距鏡頭超高分辨率聯(lián)動(dòng)成像系統(tǒng)，能夠?qū)崿F(xiàn)場(chǎng)景概貌和超高分辨率圖像 的聯(lián)動(dòng)監(jiān)控，并且設(shè)備橫向視場(chǎng)角大于90°，能夠在大范圍場(chǎng)景監(jiān)控中實(shí)現(xiàn)無(wú)死角全覆蓋， 并在距裝置130m的范圍內(nèi)，采集影像的像素密度大于125像素/米，可識(shí)別人或者車(chē)輛等物 體。
[0089]使用者通過(guò)視頻管理模塊400,在場(chǎng)景概貌圖像信息中，選擇需要預(yù)覽或回放的場(chǎng) 景細(xì)節(jié)，在細(xì)節(jié)顯示圖像中，就對(duì)選擇的場(chǎng)景細(xì)節(jié)進(jìn)行聯(lián)動(dòng)匹配放大預(yù)覽或回放。本發(fā)明的 基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置使用概貌采集單元110采集的場(chǎng)景概貌與 多個(gè)不同焦距的細(xì)節(jié)采集單元120獲取的超高分辨率拼接圖像聯(lián)動(dòng)，實(shí)現(xiàn)對(duì)場(chǎng)景的無(wú)死角 全覆蓋監(jiān)控，并在距裝置130m范圍內(nèi)，采集影像的像素密度大于125像素/米，達(dá)到可以識(shí)別 人體特征的技術(shù)要求，同時(shí)整個(gè)監(jiān)控圖像像素也達(dá)到了一億以上。同時(shí)通過(guò)空間配準(zhǔn)方法 和細(xì)節(jié)采集單元120匹配聯(lián)動(dòng)成像，在場(chǎng)景概況圖像中選擇需要預(yù)覽的某一場(chǎng)景的細(xì)節(jié)情 況時(shí)，則會(huì)在細(xì)節(jié)圖像中清晰的放大顯示被選擇的部分。
[0090] 根據(jù)所獲取的場(chǎng)景概貌，預(yù)覽場(chǎng)景概況并通過(guò)空間配準(zhǔn)法對(duì)其進(jìn)行處理后，配合 細(xì)節(jié)采集單元120所獲取的細(xì)節(jié)圖像進(jìn)行匹配聯(lián)動(dòng)成像。細(xì)節(jié)采集單元120采集得到的圖像 像素?cái)?shù)過(guò)高，對(duì)該圖像進(jìn)行處理時(shí)對(duì)后端設(shè)備的要求較高。通過(guò)搭配概貌采集單元110使 用，則可在保證所獲取監(jiān)控結(jié)果準(zhǔn)確性的前提下，降低后端設(shè)備所處理圖像的像素。
[0091] 還包括視頻處理模塊，用于對(duì)所述視頻采集模塊獲取的概貌視頻流進(jìn)行接入、存 儲(chǔ)和輸出，用于對(duì)所述視頻采集模塊獲取的細(xì)節(jié)視頻流合成為一路高清視頻存儲(chǔ)并輸出；
[0092] 所述細(xì)節(jié)視頻流合成后對(duì)其按公式(9)進(jìn)行去噪處理：
[0093] y(m，n) =median[Yi(m，n)，Y2(m，n)，am,n] (9)
[0094] 其中
[0095] 其中，am,n為所處理視頻流中圖像在(m，n)處的像素值，Z是一個(gè)(2N+1)X(2N+1)的 濾波窗口。公式(9)是對(duì)【背景技術(shù)】部分的公式進(jìn)行改進(jìn)得到的。如式(9)所示的算法在保持 現(xiàn)有中值濾波算法優(yōu)點(diǎn)的同時(shí)，解決了它的不足之處。本發(fā)明在FPGA上對(duì)公式(9)所示算法 進(jìn)行了實(shí)現(xiàn)，設(shè)計(jì)算法實(shí)現(xiàn)的邏輯結(jié)構(gòu)，完成了對(duì)合成后的一路視頻的去噪處理。（請(qǐng)補(bǔ)充 效果如何）
[0096]視頻處理模塊可以為包含上述算法的常用模塊。視頻處理模塊也可以為包含兩個(gè) 獨(dú)立的千兆網(wǎng)口，并通過(guò)前端網(wǎng)口接入前端視頻采集裝置，獲取多路視頻流接入基于FPGA 的多路視頻合成裝置，該裝置將多路細(xì)節(jié)視頻流合并處理后轉(zhuǎn)換為一路高清視頻存儲(chǔ)并根 據(jù)視頻管理模塊的需求輸出，以便其進(jìn)行處理。通過(guò)該多路視頻合成裝置可以同時(shí)實(shí)現(xiàn)在 視頻管理模塊上對(duì)多路視頻信號(hào)的采集和顯示，也可以對(duì)某一路信號(hào)進(jìn)行全屏放大顯示。 該多路視頻合成裝置包括:硬件平臺(tái)、視頻合成后的去噪處理。
[0097] 采用上述視頻處理模塊能使輸入的多路高清視頻合并為一路可監(jiān)控的高清視頻 (一路高清視頻分塊顯示各路輸入視頻，不丟失信息），并能夠?qū)ζ渲杏脩?hù)感興趣的監(jiān)控目 標(biāo)視頻進(jìn)行實(shí)時(shí)調(diào)用，合成一路高清視頻后，大大降低了對(duì)網(wǎng)絡(luò)傳輸和數(shù)據(jù)存儲(chǔ)的要求，更 加利于實(shí)際需求。
[0098] 多路視頻合成裝置的硬件平臺(tái)；
[0099] 以輸入多路高清視頻為例，參見(jiàn)圖6,包括按鈕組、視頻解碼芯片、視頻編碼芯片、 FPGA (現(xiàn)場(chǎng)可編程門(mén)陣列）模塊和SRAM存儲(chǔ)器。SRAM存儲(chǔ)器中包含DDR2。該多路視頻合成裝 置接收16路由高清CMOS攝像頭采集的模擬視頻信號(hào)，作為視頻輸入信號(hào)，通過(guò)視頻解碼芯 片轉(zhuǎn)換為PAL制式的數(shù)字視頻信號(hào)后，通過(guò)FPGA模塊對(duì)數(shù)字視頻信號(hào)進(jìn)行抽取和幀合成數(shù) 據(jù)格式轉(zhuǎn)換，再經(jīng)視頻編碼芯片對(duì)其進(jìn)行數(shù)模轉(zhuǎn)換后，送入VGA顯示器進(jìn)行顯示。
[0100] 視頻解碼芯片選用SAA7113H作為視頻模數(shù)轉(zhuǎn)換器件;視頻編碼芯片選用SAA7121 作為數(shù)模轉(zhuǎn)換器件;片外存儲(chǔ)器SRAM采用IS61LV51216，F(xiàn)PGA采用德州儀器公司的DM6467芯 片。
[0101] 還包括多目標(biāo)跟蹤單元，用于對(duì)所述視頻采集模塊獲取的圖像信息中所含運(yùn)動(dòng)目 標(biāo)進(jìn)行追蹤;該模塊設(shè)置于另一輔助功能電路板上。
[0102] 參見(jiàn)圖5,所多目標(biāo)跟蹤單元多目標(biāo)跟蹤單元采用基于多特征聯(lián)合與Mean Shift 算法的多目標(biāo)跟蹤方法進(jìn)行目標(biāo)跟蹤，該方法包括以下步驟：
[0103] 步驟S100:采用背景差法和幀差法融合檢測(cè)所獲取的監(jiān)控視頻圖像，獲取其中的 多運(yùn)動(dòng)目標(biāo);此處的融合檢測(cè)是指將幀差法和背景差法相結(jié)合進(jìn)行使用，從而實(shí)現(xiàn)二者的 優(yōu)勢(shì)互補(bǔ)。背景差法利用視頻流中的當(dāng)前幀與預(yù)先建立的背景模型進(jìn)行差分，與背景模型 中不同的區(qū)域即可作為需要檢測(cè)目標(biāo)的區(qū)域。同時(shí)采用背景差法能實(shí)現(xiàn)初始化的背景建 模，并持續(xù)對(duì)背景進(jìn)行更新，當(dāng)將背景差法所得的精確背景模型用于幀差法中，并采用背景 差法對(duì)圖像中的背景進(jìn)行實(shí)時(shí)更新時(shí)，幀差法無(wú)法判斷顏色近似目標(biāo)物內(nèi)部元素的等等問(wèn) 題均得到克服。
[0104] 步驟S200:對(duì)二值化圖像依序進(jìn)行去噪和多目標(biāo)分割，得到分割圖像；
[0105] 步驟S300:基于多特征聯(lián)合和Mean Shift算法對(duì)所得分割圖像進(jìn)行多運(yùn)動(dòng)目標(biāo)跟 蹤運(yùn)算。
[0106] 重復(fù)步驟S100~S200完成對(duì)待跟蹤目標(biāo)在下一幀圖像中的跟蹤至視頻結(jié)束。
[0107] 其中，步驟S100和S200中所述各方法可按現(xiàn)有的方法步驟進(jìn)行處理，是針對(duì)所有 待處理視頻圖像所必須的步驟，屬于對(duì)視頻圖像進(jìn)行多目標(biāo)跟蹤前的預(yù)處理步驟。
[0108] 步驟S300:基于多特征聯(lián)合和Mean Shift算法對(duì)所得分割圖像進(jìn)行多運(yùn)動(dòng)目標(biāo)跟 蹤運(yùn)算
[0109] 在利用基于多特征聯(lián)合的跟蹤技術(shù)進(jìn)行目標(biāo)跟蹤時(shí)，特征提取技術(shù)是其基礎(chǔ)，而 主要用于本發(fā)明的目標(biāo)跟蹤中常用的典型特征有:顏色特征和H0G特征。
[0110] 顏色特征本質(zhì)上顏色模型是坐標(biāo)系統(tǒng)和子空間的說(shuō)明，坐標(biāo)系統(tǒng)每個(gè)點(diǎn)都表示著 一種顏色。在圖像處理中，RGB(紅、綠、藍(lán))模型是面向硬件的模型，經(jīng)常用于彩色監(jiān)視器和 攝像機(jī)。HIS(色調(diào)、飽和度、亮度)模型則更符合人描述和解釋顏色的方式，且可以解除圖像 中的顏色和灰度信息的聯(lián)系，適用于圖像處理。
[0111] 對(duì)于RGB顏色模型，每種顏色都可以分解成紅、綠、藍(lán)三種分量。RGB的顏色子空間 示意圖如圖2所示。RGB系統(tǒng)與人眼強(qiáng)烈感知紅綠藍(lán)三原色的事實(shí)能很好地匹配，但是RGB模 型不能很好地適應(yīng)人解釋的顏色。比如我們通常不會(huì)認(rèn)為彩色圖像是由三原色圖像混合而 成的。為了更好地解釋顏色，引入了色調(diào)、飽和度和亮度這三種屬性，來(lái)更好地使用于圖像 處理和機(jī)器視覺(jué)的算法中。這就是HI S模型。
[0112] HIS顏色模型能很好的用于圖像處理和機(jī)器視覺(jué)的算法中，色調(diào)是描述一種純色 的顏色屬性，飽和度是一種純色被白光稀釋程度的度量，亮度表示了無(wú)色的強(qiáng)度概念，強(qiáng)度 是則是描述單色圖像最有用的可度量的描述子，因此模型(色調(diào)、飽和度、強(qiáng)度)可在彩色圖 像中從攜帶的彩色信息中消去強(qiáng)度分量的影響，從而成為圖像處理算法中用來(lái)描述色彩的 理想工具，因?yàn)檫@種色彩的描述對(duì)人來(lái)說(shuō)是最直觀的。彩色空間是由一個(gè)垂直強(qiáng)度軸和位 于該強(qiáng)度軸垂直的平面內(nèi)的彩色點(diǎn)的軌跡表示。
[0113]對(duì)RGB彩色格式的圖像，按公式(16)得到其中每個(gè)RGB像素的Η分量：
[0114]
[0115]
[0116]
[0117] 飽和度S分量則由下式計(jì)算出：
[0118]
Π 2>
[0119] 強(qiáng)度分量則由下式計(jì)算出：
[0120]
(13)
[0121] 其中，R，G，B分別為彩色圖像中的三種顏色分量，依次為紅，綠，藍(lán)。
[0122] 由上述公式可見(jiàn)，色調(diào)的范圍可通過(guò)除以360歸一化到[0，1]范圍內(nèi)，而飽和度和 強(qiáng)度的范圍己經(jīng)處于[0，1]內(nèi)。
[0123] 在實(shí)際應(yīng)用模型時(shí)，Θ計(jì)算過(guò)于復(fù)雜，不太實(shí)用，因此，常用如下方法進(jìn)行近似計(jì) 算。
[0124] 令max為R，G，B中的最大者，min為R，G，B中的最小者，則有：
[0125]
12 其中，Η為圖像的色調(diào)分量。對(duì)于H0G特征來(lái)說(shuō)，H0G特征利用了圖像的梯度分布，從 而對(duì)圖像中的局部物體的外觀和形狀進(jìn)行描述表示。相對(duì)于其它特征來(lái)說(shuō)，特征對(duì)圖像的 幾何變化和光照變化有著一定的不變性，這是因?yàn)镠0G特征是對(duì)局部單元操作的，而幾何變 化和光照變化通常只會(huì)在在較大的空間區(qū)域中出現(xiàn)。H0G特征在目標(biāo)物體保持大致正常位 置時(shí)，通常可以忽略掉目標(biāo)的自身運(yùn)動(dòng)。因此，H0G特征特別適合騎車(chē)人、行人等非剛性目標(biāo) 的檢測(cè)和跟蹤。H0G特征的具體計(jì)算流程如下所述： 2 首先，對(duì)輸入的單元按照下式進(jìn)行計(jì)算：
[0128] Gx(x,y)=H(x+l ,y)-H(x-l ,y) (15)
[0129] Gy(x,y)=H(x,y+l)-H(x,y-l) (16)
[0130] 式中Gx(x，y)表示了圖像在點(diǎn)(x，y)處的水平梯度，Gy(x，y)表示了圖像在點(diǎn)（x，y) 處的垂直梯度。
[0131] 在分別得到水平梯度和垂直梯度后，可以按下式求出（x，y)處的梯度值G(x，y)和 梯度方向a(x，y):
[0134] 計(jì)算出梯度方向之后，將方向0~180°分成k個(gè)方向塊，利用直方圖對(duì)梯度方向塊 進(jìn)行統(tǒng)計(jì)：
[0132]
[0133]
[0135]
[0136] 通常在計(jì)算H0G特征時(shí)一般首先將圖像劃分成16*16大小的塊，然后將每個(gè)塊劃分 為4個(gè)單元。利用上式對(duì)每個(gè)單元求梯度方向直方圖，將所有直方圖進(jìn)行串聯(lián)，從而生成最 終的H0G特征向量。同時(shí)為了消除光照等因素的影響，對(duì)每一塊的圖像都進(jìn)行了歸一化操 作，如下忒，
[0137]
[0138] 式中ε趨近于〇,以防止分母為(Lf (Chk)就表示了在一個(gè)塊的第i個(gè)單元中，第k個(gè) 直方圖的值，(^表示為劃分的有i個(gè)單元的塊，B為整個(gè)圖像塊。特征示意圖如圖3所示。
[0139] 本發(fā)明中，基于上述H0G特征的特點(diǎn)，采用基于輕采樣的H0G特征：去除H0G特征中 單元的劃分，在采樣塊中進(jìn)行梯度分布圖的計(jì)算。首先將圖像劃分成16*16的大小的塊，此 處的16為剛剛能將圖像劃分為該塊數(shù)的長(zhǎng)度。針對(duì)每個(gè)塊進(jìn)行梯度計(jì)算，然后利用直方圖 在梯度方向上進(jìn)行數(shù)值統(tǒng)計(jì)，以獲得每個(gè)塊上對(duì)應(yīng)的數(shù)值。從而得到一組4*4*k維度的向 量，此處的k就是求H0G特征時(shí)直方圖中的方塊數(shù)。
[0140]然后，僅僅這樣并不能得到所有的局部特征信息，通過(guò)對(duì)與樣本具有相同中心的 48*48的圖像重復(fù)上述處理，從而得到3*3*k維度的向量。劃分過(guò)程如圖4所示，此處的k的意 義與前述相同。
[0141]最后，在輕采樣中，以所劃分的塊作為最小單元，因?yàn)榫唧w的塊中并未設(shè)置其他更 小的單元，因此按公式(21)對(duì)H0G特征歸一化：
[0142]
[0143] 其中，f(k)為所劃分塊中，第k個(gè)直方圖的值。
[0144] 針對(duì)H0G進(jìn)行上述輕采樣的處理后，運(yùn)動(dòng)目標(biāo)的局部特征盡可能的提取了，并且 H0G特征的維數(shù)也大大減少，有效的提高了檢測(cè)速度，以滿(mǎn)足智能監(jiān)控場(chǎng)景下的多目標(biāo)跟蹤 的實(shí)時(shí)性要求。
[0145] 步驟S310:多特征聯(lián)合提取
[0146] 現(xiàn)有的多特征聯(lián)合提取，針對(duì)于不同運(yùn)動(dòng)目標(biāo)特征，其應(yīng)用領(lǐng)域不同，未見(jiàn)將其用 于智能監(jiān)控系統(tǒng)中。多種特征的聯(lián)合使用會(huì)有效提高目標(biāo)跟蹤的魯棒性，根據(jù)智能視頻監(jiān) 控的需要，主要監(jiān)控的目標(biāo)為能進(jìn)行快速移動(dòng)的人和車(chē)。針對(duì)此類(lèi)型的目標(biāo)，顏色特征是最 直接的描述方式，包含了大量的目標(biāo)信息。本發(fā)明中，使用了顏色特征的RGB模型下的R，G，B 分量特征、HIS模型下的H，S分量和灰度直方圖，綜合后作為目標(biāo)的顏色特征描述。同時(shí)，本 發(fā)明提供的方法充分利用了人、車(chē)等目標(biāo)具有邊緣較為明顯的特點(diǎn)，在確定目標(biāo)點(diǎn)時(shí)考慮 了 HOG特征來(lái)，達(dá)到了較好的魯棒性，實(shí)時(shí)性，提高了提取目標(biāo)的清晰度。
[0147] 由于每種特征對(duì)跟蹤效果的影響各不相同。因而本發(fā)明通過(guò)利用給每個(gè)跟蹤結(jié)果 點(diǎn)加上權(quán)值來(lái)進(jìn)行組合計(jì)算，從而確定多種特征聯(lián)合的跟蹤結(jié)果，提高其中對(duì)跟蹤效果有 較優(yōu)影響特征的比例。
[0148] 設(shè)當(dāng)前幀初始目標(biāo)的特征向量為：
[0149] v(t) = {Vi(t)i = 1，…，n} (22)
[0150] 其中，t代表當(dāng)前幀，η為使用特征的種數(shù)，VKt)表示每一種特征的特征向量。
[0151] 而單獨(dú)利用每種特征進(jìn)行跟蹤后確定的候選區(qū)域的特征向量為Vdt+l)。為了給 每種特征分配相應(yīng)的權(quán)值，利用特征的相似度來(lái)確定。前后兩幀的特征向量相似度越高，該 特征的權(quán)值就越高；反之，權(quán)值則越低。在計(jì)算相似度時(shí)，按公式(23)計(jì)算得到的歐氏距離 作為各向量之間相似度的測(cè)量標(biāo)準(zhǔn)：
[0152]
[0153]其中，cUSVi的維度，用于消去不同維度對(duì)歐氏距離的影響，Si為各特征之間的相 似度，取值范圍在〇到1之間。
[0154] 每個(gè)特征向量的權(quán)值coi:
[0155]
[0156] 在實(shí)際的多目標(biāo)跟蹤過(guò)程中，如果計(jì)算出特征向量的太小，表示對(duì)應(yīng)的特征向 量和前一幀的對(duì)應(yīng)的特征向量相似度過(guò)低，因此，如果權(quán)值低于一定閾值T時(shí)，可以認(rèn)為所 選取的特征向量不能代表該物體，在實(shí)際的計(jì)算中就可以把該特征分量從整體的特征向量 中舍去，然后重新歸一化權(quán)值：
[0157] c〇i = 〇 c〇i〈T (25)
[0158]
[0159] 根據(jù)最終權(quán)值就可以得到最終目標(biāo)的位置中心點(diǎn)(x(t+l)，y(t+l)):
[0160] (jx(t + l),y(i + 1)) = Σ?=ι??(χ?(￡ + + 1)) (27)
[0161] 其中，（Xl(t+l)，yi(t+l))為每種特征單獨(dú)跟蹤所得跟蹤目標(biāo)的位置中心點(diǎn)。
[0162] 步驟S320:對(duì)多特征聯(lián)合提取所得結(jié)果進(jìn)行Mean Shift算法的多目標(biāo)跟蹤
[0163] 在使用Mean Shift算法的主要步驟就是針對(duì)初始的目標(biāo)利用特征進(jìn)行表示，然后 計(jì)算候選區(qū)域的特征值，進(jìn)一步計(jì)算出最相近的Mean Shift向量，利用其收斂性對(duì)過(guò)程進(jìn) 行迭代計(jì)算，知道目標(biāo)點(diǎn)后收斂到最終位置作為跟蹤點(diǎn)，達(dá)到目標(biāo)跟蹤的效果。
[0164] 步驟S320可以按常用的Mean Shift算法步驟進(jìn)行。
[0165]具體包括以下步驟:設(shè)初始目標(biāo)的中心點(diǎn)為XQ，使用特征向量的維度為d維，目標(biāo) 區(qū)域內(nèi)共有η個(gè)點(diǎn)，則初始目標(biāo)的特征分布密度函數(shù)屯可以描述為：
[0166]
[0167]
[0168] 其中u = 1，…，d，C為歸一化常數(shù)，使Σ〗=1知=1，k為核函數(shù)，為保證算法收斂，通常 選用已知合適的凸函數(shù):高斯核函數(shù)或者Epanechnikov核函數(shù)，δ為使J；T=1 = 1的delta 函數(shù)，高斯核函數(shù)和Epanechn i ko v (人名）核函數(shù)。
[0169] 候選目標(biāo)的中心點(diǎn)為y，nh為候選區(qū)域中的點(diǎn)數(shù)，則以中心點(diǎn)y的候選目標(biāo)區(qū)域內(nèi) 像素點(diǎn)) ?=1,...,的特征分布自)描述為：
[0170]
+ t·-i. fl
[0171] 式牛
b帶寬。在得到初始目標(biāo)區(qū)域和候選目標(biāo)區(qū)域后，利 用巴特查理亞系數(shù)進(jìn)行初始特征和候選特征的相似性度量標(biāo)準(zhǔn)，其中巴特査理亞系數(shù)為：
[0172]
(31
[0173]巴特查理亞系數(shù)越大，相似度則越大;反之相似度則越小。為了找到候選區(qū)域中最 接近初始目標(biāo)的那一個(gè)候選目標(biāo)，就要使P(外>0,0最大。利用泰勒級(jí)數(shù)對(duì)上述公式在熱：y〇) 處進(jìn)行展開(kāi)，得到：
[0174]
[0175]
[0176] 其中，on為當(dāng)前圖像區(qū)域內(nèi)各點(diǎn)的權(quán)重。
[0177] 從上述公式可以看出，式中的第一項(xiàng)與y無(wú)關(guān)，只要第二項(xiàng)達(dá)到最大值，候選區(qū)域 和初始區(qū)域的相似度就越大。
[0178]而后面一項(xiàng)則是y處使用核函數(shù)計(jì)算的密度估計(jì)進(jìn)行加權(quán)后的計(jì)算值。這樣可以 通過(guò)Mean Shift迭代進(jìn)行目標(biāo)區(qū)域中心點(diǎn)的更新：
[0179]
[0180] 式中，g(x) = -1^ E(x)，當(dāng)選Epanechnikov核函數(shù)時(shí)，g(x) = 1。經(jīng)過(guò)一定步數(shù)的迭 代，當(dāng)更新的點(diǎn)的位移小于一定閾值時(shí)，就認(rèn)為最終的跟蹤點(diǎn)為該點(diǎn)，若I I yKy I I <ε則停止 搜索。
[0181] 該目標(biāo)跟蹤方法采取顏色特征的RGB模型下的R，G，B分量特征，HIS模型下的H，S分 量和灰度直方圖綜合追蹤，提尚目標(biāo)追蹤結(jié)果的魯棒性和實(shí)時(shí)性，提取目標(biāo)清晰度。提尚了 對(duì)運(yùn)動(dòng)快慢不一的運(yùn)動(dòng)目標(biāo)的檢測(cè)效率，提高跟蹤結(jié)果對(duì)多種監(jiān)控環(huán)境的魯棒性，在多目 標(biāo)跟蹤時(shí)提高了跟蹤準(zhǔn)確率和實(shí)時(shí)性。高智能視頻監(jiān)控的準(zhǔn)確性，增強(qiáng)其監(jiān)控的穩(wěn)定性，使 其滿(mǎn)足實(shí)時(shí)性需求。
[0182] 優(yōu)選的，概貌采集單元110包括概貌網(wǎng)絡(luò)攝像機(jī)。概貌網(wǎng)絡(luò)攝像機(jī)為1080P網(wǎng)絡(luò)攝 像機(jī)，編碼方式使用h264標(biāo)準(zhǔn)，其前端連接短焦距鏡頭。
[0183] 優(yōu)選的，包括10個(gè)所述細(xì)節(jié)采集單元，每個(gè)所述細(xì)節(jié)采集單元均包括細(xì)節(jié)網(wǎng)絡(luò)攝 像機(jī)，所述細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)的視頻采集分辨率為4000 X 3000，編碼方式為h264標(biāo)準(zhǔn)，其中任 意3臺(tái)所述細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)的前端均設(shè)置中焦距鏡頭組成近距離攝像組，用于構(gòu)成橫向90° 的視場(chǎng)角以覆蓋近距離區(qū)域，所述近距離攝像組設(shè)置于所述第一平板上；
[0184] 余下7臺(tái)所述細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)前端均設(shè)置長(zhǎng)焦距鏡頭，組成遠(yuǎn)距離攝像組，用于構(gòu) 成橫向90°的視場(chǎng)角以覆蓋遠(yuǎn)距離區(qū)域，所述遠(yuǎn)距離攝像組均勻設(shè)置于所述第二平板和第 三塊平板上。
[0185] 細(xì)節(jié)采集單元120包括細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)，細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)采用1200萬(wàn)像素 CMOS感 光器件，視頻采集分辨率為4000X3000，編碼方式為h264標(biāo)準(zhǔn)。其中三臺(tái)細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)前 端連接中焦距鏡頭，覆蓋近距離區(qū)域(相對(duì)具體攝像機(jī)距離較近的區(qū)域）。其余細(xì)節(jié)網(wǎng)絡(luò)攝 像機(jī)前端連接長(zhǎng)焦距鏡頭，覆蓋遠(yuǎn)距離區(qū)域(相對(duì)具體攝像機(jī)距離較遠(yuǎn)的區(qū)域）。按此設(shè)置， 可以實(shí)現(xiàn)對(duì)采集場(chǎng)景無(wú)死角全覆蓋，并在130m范圍內(nèi)，采集影像的像素密度大于125像素/ 米，達(dá)到可以識(shí)別人的要求。
[0186] 優(yōu)選的，該裝置還包含一塊輔助功能電路板，用于提供供電電壓轉(zhuǎn)換并為前端攝 像機(jī)和交換機(jī)提供電源;提供千兆網(wǎng)絡(luò)交換機(jī)功能并連接前端攝像機(jī);對(duì)外提供電源接口 及千兆網(wǎng)絡(luò)接口。以便于信息傳輸和供電的需要，集成后有利于縮小裝置整體體積。該輔助 功能電路板也可以設(shè)置于殼體背部。主要功能包括供電電壓轉(zhuǎn)換，將使用24VAC供電電壓轉(zhuǎn) 換為12VDC，為所有采集單元及交換機(jī)供電；同時(shí)提供千兆網(wǎng)絡(luò)交換機(jī)功能，用于連接所有 采集單元的網(wǎng)口；輔助功能電路板對(duì)外提供供電電源接口及千兆網(wǎng)絡(luò)接口。
[0187] 參見(jiàn)圖2,優(yōu)選的，概貌采集單元110和細(xì)節(jié)采集單元120設(shè)置于殼體內(nèi)。殼體內(nèi)部 被平板分隔為三層分別用于放置概貌采集單元110和細(xì)節(jié)采集單元120。殼體內(nèi)間隔設(shè)置第 一平板210、第二平板220和第三平板230,第二平板220和第三平板230均與水平面平行，第 一平板210向水平面傾斜設(shè)置;概貌采集單元110設(shè)置于第二平板220的中間，細(xì)節(jié)采集單元 120圍繞概貌采集單元110設(shè)置。
[0188] 參見(jiàn)圖2,更優(yōu)選的，第一平板210與殼體底板縱向上形成20°的夾角。即第一平板 210與水平面所成銳角為20°。3臺(tái)前端連接中焦距鏡頭的攝像機(jī)，按照左中右擺放，固定在 殼體內(nèi)上部的平板上，3臺(tái)攝像機(jī)共同構(gòu)成橫向90度的視場(chǎng)角；另外7臺(tái)攝像機(jī)中，其中3臺(tái) 按照左中右擺放，固定在殼體內(nèi)底部的平板上，另外4臺(tái)分布在概貌采集單元110兩邊，固定 在殼體內(nèi)中間的平板上，7臺(tái)攝像機(jī)共同構(gòu)成橫向90°的視場(chǎng)角。
[0189] 第一平板210與水平面傾斜角度中的銳角度數(shù)由中焦距攝像機(jī)和長(zhǎng)焦距攝像機(jī)的 縱向視場(chǎng)范圍確定。通過(guò)將各攝像頭安裝于殼體中，使得多個(gè)鏡頭單元拼接圖像的橫向視 場(chǎng)角達(dá)到90°，可實(shí)現(xiàn)對(duì)采集場(chǎng)景無(wú)死角全覆蓋。處于殼體第一層上的3臺(tái)攝像機(jī)前端連接 中焦距鏡頭，按照左中右擺放，固定在殼體內(nèi)上部的金屬平板上，固定位置如圖2所示，3臺(tái) 攝像機(jī)共同構(gòu)成橫向90度的視場(chǎng)角，每?jī)蓚€(gè)攝像機(jī)的視場(chǎng)范圍有一定重疊，如圖3所示;十 個(gè)細(xì)節(jié)采集單元120的視場(chǎng)覆蓋了整個(gè)90°范圍的監(jiān)控區(qū)域，實(shí)現(xiàn)對(duì)場(chǎng)景的無(wú)死角全覆蓋監(jiān) 控，整個(gè)監(jiān)控圖像達(dá)到了一億像素以上。
[0190] 為了使概貌采集單元110視場(chǎng)范圍可以覆蓋全部細(xì)節(jié)采集單元120的視場(chǎng)范圍，以 使本發(fā)明提供裝置的視場(chǎng)范圍如圖3所示，將概貌采集單元110固定在具有銳角傾斜的基座 上，基座固定在殼體內(nèi)中間平板的中心位置。
[0191]更優(yōu)選的，基座與水平面所成銳角度為20°。按此設(shè)置該夾角后，能保證概貌圖像 覆蓋中焦距攝像機(jī)和長(zhǎng)焦距攝像機(jī)的取景范圍能有效防止匹配聯(lián)動(dòng)死角的出現(xiàn)。
[0192] 優(yōu)選的，殼體底部外可安裝專(zhuān)用監(jiān)控?cái)z像頭支架，通過(guò)支架上的固定螺絲，可對(duì)裝 置的安裝角度進(jìn)行調(diào)節(jié)。
[0193] 優(yōu)選的，殼體由導(dǎo)熱金屬制成。能有效散熱，降低熱量對(duì)裝置的影響。
[0194] 優(yōu)選的，存儲(chǔ)模塊上包括兩個(gè)彼此獨(dú)立的的第一網(wǎng)口和第二網(wǎng)口。第一網(wǎng)口，用于 聯(lián)通視頻采集模塊獲取的圖像信息與存儲(chǔ)模塊。第二網(wǎng)口，用于聯(lián)通儲(chǔ)存模塊與視頻管理 模塊400。有利于提高處理效率。第一網(wǎng)口和第二網(wǎng)口均為千兆網(wǎng)絡(luò)接口。
[0195] 本領(lǐng)域技術(shù)人員將清楚本發(fā)明的范圍不限制于以上討論的示例，有可能對(duì)其進(jìn)行 若干改變和修改，而不脫離所附權(quán)利要求書(shū)限定的本發(fā)明的范圍。盡管己經(jīng)在附圖和說(shuō)明 書(shū)中詳細(xì)圖示和描述了本發(fā)明，但這樣的說(shuō)明和描述僅是說(shuō)明或示意性的，而非限制性的。 本發(fā)明并不限于所公開(kāi)的實(shí)施例。
[0196] 通過(guò)對(duì)附圖，說(shuō)明書(shū)和權(quán)利要求書(shū)的研究，在實(shí)施本發(fā)明時(shí)本領(lǐng)域技術(shù)人員可以 理解和實(shí)現(xiàn)所公開(kāi)的實(shí)施例的變形。在權(quán)利要求書(shū)中，術(shù)語(yǔ)"包括"不排除其他步驟或元素， 而不定冠詞"一個(gè)"或"一種"不排除多個(gè)。在彼此不同的從屬權(quán)利要求中引用的某些措施的 事實(shí)不意味著這些措施的組合不能被有利地使用。權(quán)利要求書(shū)中的任何參考標(biāo)記不構(gòu)成對(duì) 本發(fā)明的范圍的限制。
【主權(quán)項(xiàng)】
1. 一種基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在于，包括： 視頻采集模塊，用于獲取監(jiān)控區(qū)域的實(shí)時(shí)圖像和視頻信息，設(shè)置于所述監(jiān)控區(qū)域附近， 包括至少一個(gè)用于采集低分辨率的所述監(jiān)控區(qū)域場(chǎng)景概貌圖像和視頻信息的概貌采集單 元和至少十個(gè)用于采集所述監(jiān)控區(qū)域中目標(biāo)物的細(xì)節(jié)圖像和視頻信息的細(xì)節(jié)采集單元； 多目標(biāo)跟蹤單元，用于對(duì)所述視頻采集模塊獲取的圖像信息中所含運(yùn)動(dòng)目標(biāo)進(jìn)行追 蹤； 視頻處理模塊，用于對(duì)所述視頻采集模塊獲取的概貌視頻流進(jìn)行接入、存儲(chǔ)和輸出，用 于對(duì)所述視頻采集模塊獲取的細(xì)節(jié)視頻流合成為一路高清視頻存儲(chǔ)并輸出； 所述細(xì)節(jié)視頻流合成后對(duì)其按公式(9)進(jìn)行去噪處理：其中，am,n為所處理視頻流中圖像在(m，η)處的像素值，Z是一個(gè)(2N+1) X (2N+1)的濾波 窗口； 視頻管理模塊，用于對(duì)所述場(chǎng)景概貌圖像和所述細(xì)節(jié)圖像進(jìn)行空間配準(zhǔn)，并根據(jù)空間 配準(zhǔn)信息對(duì)所述概貌采集單元和所述細(xì)節(jié)采集單元所獲取的圖像進(jìn)行協(xié)同聯(lián)動(dòng)預(yù)覽和回 放； 所述視頻管理模塊中包括空間配準(zhǔn)模塊，所述空間配準(zhǔn)模塊用以實(shí)現(xiàn)所述概貌采集單 元和所述細(xì)節(jié)采集單元之間的空間配準(zhǔn)，獲得兩者之間的映射關(guān)系，所述空間配準(zhǔn)模塊通 過(guò)空間配準(zhǔn)方法實(shí)現(xiàn)概貌采集單元和細(xì)節(jié)采集單元所得圖像的空間配準(zhǔn)。2. 根據(jù)權(quán)利要求1所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述空間配準(zhǔn)方法包括以下步驟： (1)分別建立各單鏡頭單元的采集圖像坐標(biāo)系XpYpOp，同時(shí)采用球型模型建立空間坐標(biāo) 系XsYsZsOs，以單鏡頭單元的左方為Xp軸正方向，下方為Y p軸正方向，空間坐標(biāo)系XsYsZsOs的Xs 軸正方向與Xp軸正方向相反，Ys軸正方向與Yp軸正方向相反，前方為Z p軸正方向； 取以所述空間坐標(biāo)系XsYsZsOs的原點(diǎn)為球心半徑為1的球面上的一點(diǎn)ms，Hls的奇次坐標(biāo) 為^，73,23，1)1'，所述1111)點(diǎn)為1]13點(diǎn)在采集圖像坐標(biāo)系乂 1^1)01)上的成像點(diǎn)，其奇次坐標(biāo)為1111)= (Xp，y P，I )τ，所述空間坐標(biāo)中的點(diǎn)ms到采集圖像坐標(biāo)系上點(diǎn)mP的對(duì)應(yīng)關(guān)系表示為： mP = K(R,0)ms= (KR,0)ms = Pms (I) 其中，矩陣P = K(R，0)通常稱(chēng)為攝像機(jī)矩陣，是攝像機(jī)的內(nèi)參數(shù)矩陣，fx = f/dX，fy = f/dy，分別稱(chēng)為Xp軸和Yp軸上的歸一化焦距;f為鏡頭單元的焦距，dX和dy分別表 示Xp軸和Yp軸上單位像素的尺寸大小，Cx和Cy表示光學(xué)中心，（R，〇)為單鏡頭單元的外參數(shù) 矩陣，其中R基于點(diǎn)1到單鏡頭單元光軸的水平夾角α和垂直夾角β計(jì)算得到：(2) 分別對(duì)場(chǎng)景概貌圖像和10個(gè)細(xì)節(jié)采集單元的視頻圖像采樣： 分別預(yù)覽場(chǎng)景概貌圖像和一個(gè)細(xì)節(jié)圖像，并對(duì)相同物體同一點(diǎn)在兩個(gè)圖像中的像素坐 標(biāo)進(jìn)行記錄，每組記錄組成一個(gè)像素坐標(biāo)組，共記錄6組像素坐標(biāo)組，按照這種方法，分別采 集場(chǎng)景概貌圖像和每一個(gè)細(xì)節(jié)圖像的像素坐標(biāo)組，以完成場(chǎng)景概貌圖像分別與每一個(gè)細(xì)節(jié) 采集單元獲取的圖像的像素坐標(biāo)采樣； 計(jì)算場(chǎng)景概貌圖像和任一細(xì)節(jié)圖像中對(duì)應(yīng)像素坐標(biāo)組中，場(chǎng)景概貌圖像中同一物體同 一點(diǎn)的像素坐標(biāo)與細(xì)節(jié)圖像中物體同一點(diǎn)的像素坐標(biāo)的映射關(guān)系:首先根據(jù)公式（1)，將對(duì) 應(yīng)像素坐標(biāo)組中的6個(gè)場(chǎng)景概貌圖像像素坐標(biāo)轉(zhuǎn)換為所述空間坐標(biāo)系X sYsZsOs，得到包含6 個(gè)向量ν?， ν2···ν6的概貌向量； 將對(duì)應(yīng)像素坐標(biāo)組中細(xì)節(jié)采集單元所獲取的圖像上的6個(gè)像素坐標(biāo)轉(zhuǎn)換為空間坐標(biāo)系 XsYsZsOs，得到包含6個(gè)向量VΓ，ν2 '…ν6 '的細(xì)節(jié)向量，按照公式(5)~(7)以概貌向量組成 矩陣MatH，細(xì)節(jié)向量組成矩MatD，求解旋轉(zhuǎn)矩陣MatH2D: MatD= [vl,v2,v3,v4,v5,v6] (5) MatH= [vl',v2',v3',v4',v5',v6' ] (6) MatH2D=MatD XPINV(MatH) (7)， 其中，PINV(Matrix)為矩陣Matrix的廣義逆； 重復(fù)節(jié)采集單元個(gè)數(shù)次，得到場(chǎng)景概貌圖像對(duì)應(yīng)每一個(gè)細(xì)節(jié)采集單元圖像的旋轉(zhuǎn)矩 陣； (3) 匹配聯(lián)動(dòng)預(yù)覽或回放時(shí)，首先獲取選取的概貌圖像上的場(chǎng)景坐標(biāo)(xP，yP，l)T，根據(jù) 公式(1 )，計(jì)算該點(diǎn)在空間坐標(biāo)系XsYsZsOs下的奇次坐標(biāo)V= (xs，ys，zs，I )τ; 遍歷每一個(gè)細(xì)節(jié)采集單元的旋轉(zhuǎn)矩陣MatH2D，由vXMatH2D = v'（9)得到各概貌向量對(duì) 應(yīng)的坐標(biāo)點(diǎn)在每一個(gè)細(xì)節(jié)采集單元圖像下的空間坐標(biāo)Va'，Vb'^_Vj'，最后由Va'，Vb'^_Vj'， 根據(jù)公式（1)計(jì)算所選取場(chǎng)景在每一個(gè)細(xì)節(jié)采集單元中的像素坐標(biāo)(^'，7 3'），（燦'，％'）··· (Xj'，y/)，去掉不合理的結(jié)果，并選取其中距細(xì)節(jié)采集單元中心坐標(biāo)最近的一個(gè)像素坐標(biāo) 作為概貌圖像中與細(xì)節(jié)圖像中匹配聯(lián)動(dòng)的對(duì)象。3.根據(jù)權(quán)利要求1所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述多目標(biāo)跟蹤單元采用基于多特征聯(lián)合與Mean Shift算法的多目標(biāo)跟蹤方法進(jìn)行目 標(biāo)跟蹤，該方法包括以下步驟： 步驟S100:采用多幀圖像平均法得到初始背景模型，根據(jù)所得背景模型采用幀差法對(duì) 視頻圖像中的背景進(jìn)行更新，采用背景差法對(duì)背景進(jìn)行差分，然后對(duì)背景差分所得視頻圖 像的進(jìn)行二值化，得到二值圖像； 步驟S200:對(duì)二值圖像依序進(jìn)行去噪和多目標(biāo)分割，得到包含運(yùn)動(dòng)目標(biāo)輪廓的分割圖 像； 步驟S300:將RGB模型下的R，G，B分量特征、HIS模型下的H，S分量和灰度直方圖作為待 跟蹤目標(biāo)特征分量進(jìn)行多特征聯(lián)合后得到分割圖像中跟蹤目標(biāo)位置的中心點(diǎn)，之后通過(guò) Mean Shift迭代尋優(yōu)以跟蹤目標(biāo)位置的中心點(diǎn)作為起始點(diǎn)，在候選區(qū)域內(nèi)找到巴特查理亞 系數(shù)最大的候選區(qū)域作為待追蹤目標(biāo)的跟蹤結(jié)果，Mean Shift迭代收斂條件為預(yù)設(shè)，然后 更新待跟蹤目標(biāo)的收斂位置； 重復(fù)步驟SlOO~S200完成對(duì)待跟蹤目標(biāo)在下一幀圖像中的跟蹤至視頻結(jié)束； 所步驟S300包括以下步驟： 步驟S310:多特征聯(lián)合提取:計(jì)算各特征分量的權(quán)值后，對(duì)各特征分量的跟蹤結(jié)果進(jìn)行 權(quán)值歸一化，并對(duì)各特征分量得到的跟蹤目標(biāo)位置中心點(diǎn)進(jìn)行加權(quán)值融合，得到追蹤目標(biāo) 位置中心點(diǎn)； 設(shè)當(dāng)前幀初始目標(biāo)的特征向量為： V(t) = {Vi(t)i = l，…，η} (22) 其中t代表當(dāng)前幀，η則表示了使用特征的種數(shù)，V1U)表示了每一種特征的特征向量；以 根據(jù)每種特征進(jìn)行跟蹤后確定的候選區(qū)域的特征向量為VKt+l); 按公式(23)計(jì)算得到的歐氏距離作為各特征向量之間相似度的測(cè)量標(biāo)準(zhǔn)，前后兩幀圖 像的某一特征向量的相似度越高，則該特征的權(quán)值就越高，反之，則該特征向量的權(quán)值越 低，其中，di為Vi的維度，Si為各特征之間的相似度，取值范圍為0~1， 按公式(24)得到每個(gè)特征向量的權(quán)值ω i:將特征向量權(quán)值ω i小于閾值T對(duì)應(yīng)的該特征分量從整體的特征向量中去除，然后根據(jù) 公式(25)~(26)重新歸一化權(quán)值：按公式(27)即可根據(jù)該權(quán)值得到跟蹤目標(biāo)的位置中心點(diǎn)(x(t+l)，y(t+l))，其中，（Xl(t+l)，yi(t+l))為每種特征單獨(dú)跟蹤所得跟蹤目標(biāo)的位置中心點(diǎn)。4. 根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝 置，其特征在于，所述概貌采集單元和所述細(xì)節(jié)采集單元設(shè)置于殼體內(nèi)，所述殼體內(nèi)間隔設(shè) 置第一平板、第二平板和第三平板，第二平板和第三平板均與水平面平行，第一平板向水平 面傾斜設(shè)置； 所述概貌采集單元設(shè)置于所述第二平板的中間，所述細(xì)節(jié)采集單元圍繞所述概貌采集 單元設(shè)置； 所述第一平板與水平面所成銳角為20°。5. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，包括10個(gè)所述細(xì)節(jié)采集單元，每個(gè)所述細(xì)節(jié)采集單元均包括細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)，所述細(xì)節(jié) 網(wǎng)絡(luò)攝像機(jī)的視頻采集分辨率為4000 X 3000,編碼方式為h264標(biāo)準(zhǔn)，其中任意3臺(tái)所述細(xì)節(jié) 網(wǎng)絡(luò)攝像機(jī)的前端均設(shè)置中焦距鏡頭組成近距離攝像組，用于構(gòu)成橫向90°的視場(chǎng)角以覆 蓋近距離區(qū)域，所述近距離攝像組設(shè)置于所述第一平板上； 余下7臺(tái)所述細(xì)節(jié)網(wǎng)絡(luò)攝像機(jī)前端均設(shè)置長(zhǎng)焦距鏡頭，組成遠(yuǎn)距離攝像組，用于構(gòu)成橫 向90°的視場(chǎng)角以覆蓋遠(yuǎn)距離區(qū)域，所述遠(yuǎn)距離攝像組均勻設(shè)置于所述第二平板和第三塊 平板上。6. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述概貌采集單元通過(guò)用于調(diào)節(jié)傾角的基座與所述第二平板相連接，所述基座與所述 水平面的傾角為20°。7. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述殼體由導(dǎo)熱金屬制成。8. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述概貌采集單元包括概貌網(wǎng)絡(luò)攝像機(jī)，所述概貌網(wǎng)絡(luò)攝像機(jī)為1080P網(wǎng)絡(luò)攝像機(jī)，編 碼方式使用h264標(biāo)準(zhǔn)，其前端連接短焦距鏡頭，橫向視場(chǎng)角達(dá)到90度。9. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，所述存儲(chǔ)模塊包括彼此獨(dú)立的第一網(wǎng)口和第二網(wǎng)口，所述第一網(wǎng)口，用于聯(lián)通視頻采集 模塊獲取的圖像信息與存儲(chǔ)模塊。所述第二網(wǎng)口，用于聯(lián)通儲(chǔ)存模塊與視頻管理模塊。10. 根據(jù)權(quán)利要求4所述的基于多目標(biāo)智能跟蹤的多焦距鏡頭聯(lián)動(dòng)成像裝置，其特征在 于，還包括存儲(chǔ)模塊，用于存儲(chǔ)所述視頻采集模塊獲取的圖像信息。
【文檔編號(hào)】H04N5/232GK105933678SQ201610514009
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年7月1日
【發(fā)明人】譚樹(shù)人, 張斯堯, 馬昊辰
【申請(qǐng)人】湖南源信光電科技有限公司