以設(shè)每個(gè)監(jiān)控相機(jī)的位置為未知變量 Pi，每個(gè)監(jiān)控相機(jī)的朝向（姿態(tài)）矩陣為未知變量Ri。如步驟103中所描述的，相機(jī)間匹 配信息為（Ii，Ui，Ji，Vi，Ti)，（Ii，Ui，Ji，Vi，Ti)可以表示第i組匹配是監(jiān)控相機(jī)Ii中相 對(duì)相機(jī)位置為Ui的人臉與Ti秒之前監(jiān)控相機(jī)Ji中相對(duì)相機(jī)位置為Vi的人臉相匹配。那 么，解如下優(yōu)化問(wèn)題即可得P與R:
[0045]
[0046] 其中，v表示人類的步速。示例性地，v的典型值可以取1. 4m/s。
[0047] 根據(jù)視頻中出現(xiàn)的人臉的時(shí)間、位置、大小信息，經(jīng)過(guò)優(yōu)化計(jì)算，可獲得對(duì)相機(jī)之 間相對(duì)位置和姿態(tài)的一個(gè)很好的估計(jì)。
[0048] 根據(jù)本發(fā)明上述實(shí)施例的基于人臉檢測(cè)的監(jiān)控相機(jī)自定位方法通過(guò)對(duì)來(lái)自監(jiān)控 相機(jī)的圖像中人臉的位置、對(duì)應(yīng)關(guān)系的提取，利用視頻中人員流動(dòng)的信息進(jìn)行綜合分析，可 以自動(dòng)的計(jì)算出監(jiān)控相機(jī)之間的相對(duì)位置關(guān)系，增強(qiáng)了監(jiān)控產(chǎn)品的功能，同時(shí)也沒(méi)有對(duì)相 機(jī)硬件有改動(dòng)的要求，因此實(shí)施容易，成本低。此外，由于利用了人臉在相機(jī)之間流動(dòng)的信 息，因此本發(fā)明所提供的方法及裝置對(duì)于監(jiān)控相機(jī)密度相對(duì)較低的場(chǎng)景有更好的適應(yīng)性。
[0049] 根據(jù)本發(fā)明的另一方面，還提供了基于人臉檢測(cè)的監(jiān)控相機(jī)自定位裝置。圖2示 出了根據(jù)本發(fā)明實(shí)施例的基于人臉檢測(cè)的監(jiān)控相機(jī)自定位裝置200的結(jié)構(gòu)框圖。如圖2所 示，監(jiān)控相機(jī)自定位裝置200包括視頻采集模塊201、人臉檢測(cè)模塊202、人臉?lè)治瞿K203 以及相機(jī)定位模塊204。其中，視頻采集模塊201用于從多個(gè)監(jiān)控相機(jī)中的每一個(gè)接收視頻 流；人臉檢測(cè)模塊202用于對(duì)來(lái)自各監(jiān)控相機(jī)的視頻流中的每一幀圖像進(jìn)行人臉檢測(cè)以獲 取人臉信息；人臉?lè)治瞿K203用于針對(duì)每一幀圖像基于所獲取的人臉信息計(jì)算人臉相對(duì) 于監(jiān)控相機(jī)的位置，并將人臉與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間 匹配信息；相機(jī)定位模塊204用于基于所述相機(jī)間匹配信息計(jì)算所述多個(gè)監(jiān)控相機(jī)之間的 相對(duì)位置。
[0050] 在本發(fā)明的一個(gè)實(shí)施例中，人臉檢測(cè)模塊202可以采用人臉檢測(cè)器檢測(cè)圖中的所 有人臉。優(yōu)選地，人臉檢測(cè)模塊202可以采用AdaBoostCascade人臉檢測(cè)器實(shí)現(xiàn)。示例性 地，人臉檢測(cè)模塊202進(jìn)行人臉檢測(cè)所獲取的人臉信息可以包括當(dāng)前時(shí)間、人臉在圖像中 的位置和大小以及人臉的面部圖像。
[0051] 在本發(fā)明的一個(gè)實(shí)施例中，人臉?lè)治瞿K203所計(jì)算的人臉相對(duì)于監(jiān)控相機(jī)的位 置可以表示為〇^//，；^//'，2〇，其中，
[0052]
[0053]
[0054] 其中，（x0，y0)、（xl，yl)分別表示以圖像中心為原點(diǎn)圖像中人臉的兩眼位置，a表 示人臉的橫向轉(zhuǎn)動(dòng)角度，iro表示成年人類的瞳距，f表示監(jiān)控相機(jī)的焦距與傳感器像素大 小的比值。示例性地，IPD的典型取值可以為6cm。
[0055] 示例性地，人臉?lè)治瞿K203可以通過(guò)人臉關(guān)鍵點(diǎn)檢測(cè)器來(lái)計(jì)算人臉的兩眼位置 和人臉的橫向轉(zhuǎn)動(dòng)角度。其中，人臉關(guān)鍵點(diǎn)檢測(cè)器可以包括事先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)回 歸器。
[0056] 在本發(fā)明的一個(gè)實(shí)施例中，在計(jì)算人臉相對(duì)于監(jiān)控相機(jī)的位置之后，人臉?lè)治瞿?塊203可以基于人臉識(shí)別算法（例如局部二值特征），將本幀圖像中的人臉圖像與所有其他 監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間匹配信息。例如，人臉?lè)治瞿K203可以 基于人臉識(shí)別算法（例如局部二值特征），將本幀圖像中的人臉圖像與所有其他監(jiān)控相機(jī) 在一個(gè)預(yù)定時(shí)間范圍內(nèi)采集到的視頻中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間匹配信息。如 果人臉的面部圖像相似程度超過(guò)預(yù)定的閾值，那么認(rèn)為兩個(gè)人臉圖像是匹配的。
[0057] 優(yōu)選地，所述預(yù)定時(shí)間范圍可以包括截至到當(dāng)前時(shí)刻的一個(gè)較短時(shí)間范圍，例如， 從30秒之前到當(dāng)前時(shí)刻的一段時(shí)間。優(yōu)選地，對(duì)于每個(gè)其他監(jiān)控相機(jī)，可以僅保留時(shí)間最 靠后的一次匹配，并將得到的相機(jī)間匹配信息記錄下來(lái)。
[0058] 在本發(fā)明的一個(gè)實(shí)施例中，人臉?lè)治瞿K203所獲取的相機(jī)間匹配信息可以表示 為（Ii，Ui，Ji，Vi，Ti)。（Ii，Ui，Ji，Vi，Ti)表示第i組匹配是監(jiān)控相機(jī)Ii中相對(duì)相機(jī)位置 為Ui的人臉與Ti秒之前監(jiān)控相機(jī)Ji中相對(duì)相機(jī)位置為Vi的人臉相匹配。
[0059] 在本發(fā)明的一個(gè)實(shí)施例中，相機(jī)定位模塊204對(duì)多個(gè)監(jiān)控相機(jī)之間的相對(duì)位置的 計(jì)算可以采用如下公式進(jìn)行：
[0060]
[0061] 其中，以任一監(jiān)控相機(jī)為原點(diǎn)，并以所述監(jiān)控相機(jī)成像的橫向和縱向?yàn)閄、y方向 建立坐標(biāo)系，Pi表示每個(gè)監(jiān)控相機(jī)的位置，Ri表示每個(gè)監(jiān)控相機(jī)的朝向矩陣；v表示人類的 步速。
[0062] 可以參考圖1描述的實(shí)施例理解上述每個(gè)模塊操作的具體過(guò)程，此處不再贅述。 本發(fā)明實(shí)施例的各個(gè)模塊可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模 塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器 或者數(shù)字信號(hào)處理器（DSP)來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的基于人臉檢測(cè)的監(jiān)控相機(jī)自定位 裝置中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描 述的方法的一部分或者全部的設(shè)備或者裝置程序（例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品）。 這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào) 的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在存儲(chǔ)載體上提供，或者以任何其 他形式提供。
[0063] 本發(fā)明已經(jīng)通過(guò)上述實(shí)施例進(jìn)行了說(shuō)明，但應(yīng)當(dāng)理解的是，上述實(shí)施例只是用于 舉例和說(shuō)明的目的，而非意在將本發(fā)明限制于所描述的實(shí)施例范圍內(nèi)。此外本領(lǐng)域技術(shù)人 員可以理解的是，本發(fā)明并不局限于上述實(shí)施例，根據(jù)本發(fā)明的教導(dǎo)還可以做出更多種的 變型和修改，這些變型和修改均落在本發(fā)明所要求保護(hù)的范圍以內(nèi)。本發(fā)明的保護(hù)范圍由 附屬的權(quán)利要求書及其等效范圍所界定。
【主權(quán)項(xiàng)】
1. 一種基于人臉檢測(cè)的監(jiān)控相機(jī)自定位方法，其特征在于，所述監(jiān)控相機(jī)自定位方法 包括： 從多個(gè)監(jiān)控相機(jī)中的每一個(gè)接收視頻流； 對(duì)來(lái)自各監(jiān)控相機(jī)的視頻流中的每一幀圖像進(jìn)行人臉檢測(cè)以獲取人臉信息； 針對(duì)所述每一幀圖像，基于所獲取的人臉信息計(jì)算人臉相對(duì)于監(jiān)控相機(jī)的位置，并將 人臉與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間匹配信息；以及 基于所述相機(jī)間匹配信息計(jì)算所述多個(gè)監(jiān)控相機(jī)之間的相對(duì)位置。2. 如權(quán)利要求1所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述相機(jī)間匹配信息表示 為（Ii，Ui，Ji，Vi，Ti)，所述（Ii，Ui，Ji，Vi，Ti)表示第i組匹配是監(jiān)控相機(jī)Ii中相對(duì)相機(jī) 位置為Ui的人臉與Ti秒之前監(jiān)控相機(jī)Ji中相對(duì)相機(jī)位置為Vi的人臉相匹配。3. 如權(quán)利要求2所述的監(jiān)控相機(jī)自定位方法，其特征在于，對(duì)多個(gè)監(jiān)控相機(jī)之間的相 對(duì)位置的計(jì)算采用如下公式進(jìn)行：其中，以任一監(jiān)控相機(jī)的位置為原點(diǎn)，并以所述監(jiān)控相機(jī)成像的橫向和縱向?yàn)閄、y方 向建立坐標(biāo)系，Pi表示每個(gè)監(jiān)控相機(jī)的位置，Ri表示每個(gè)監(jiān)控相機(jī)的朝向矩陣；V表示人類 的步速。4. 如權(quán)利要求1-3中的任一項(xiàng)所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述人臉相 對(duì)于監(jiān)控相機(jī)的位置表示為其中，其中，（X〇，yO)、（xl，yl)分別表示以圖像中心為原點(diǎn)圖像中人臉的兩眼位置，a表示人 臉的橫向轉(zhuǎn)動(dòng)角度，iro表示成年人類的瞳距，f表示監(jiān)控相機(jī)的焦距與傳感器像素大小的 比值。5. 如權(quán)利要求4中所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述人臉的兩眼位置和 所述人臉的橫向轉(zhuǎn)動(dòng)角度通過(guò)人臉關(guān)鍵點(diǎn)檢測(cè)器來(lái)計(jì)算。6. 如權(quán)利要求5所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述人臉關(guān)鍵點(diǎn)檢測(cè)器包 括事先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)回歸器。7. 如權(quán)利要求1-3中的任一項(xiàng)中所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述人臉 檢測(cè)米用AdaBoost Cascade人臉檢測(cè)器實(shí)現(xiàn)。8. 如權(quán)利要求1-3中的任一項(xiàng)所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述人臉信 息包括當(dāng)前時(shí)間、人臉在圖像中的位置和大小以及面部圖像。9. 如權(quán)利要求1-3中的任一項(xiàng)所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述將人臉 與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配基于局部二值特征進(jìn)行。10. 如權(quán)利要求1-3中的任一項(xiàng)所述的監(jiān)控相機(jī)自定位方法，其特征在于，所述將人臉 與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配包括將人臉與所有其他監(jiān)控相機(jī)在一個(gè)預(yù) 定時(shí)間范圍內(nèi)采集到的視頻中檢測(cè)到的人臉進(jìn)行匹配。11. 一種基于人臉檢測(cè)的監(jiān)控相機(jī)自定位裝置，其特征在于，所述監(jiān)控相機(jī)自定位裝置 包括： 視頻采集模塊，用于從多個(gè)監(jiān)控相機(jī)中的每一個(gè)接收視頻流； 人臉檢測(cè)模塊，用于對(duì)來(lái)自各監(jiān)控相機(jī)的視頻流中的每一幀圖像進(jìn)行人臉檢測(cè)以獲取 人臉ig息； 人臉?lè)治瞿K，用于針對(duì)所述每一幀圖像基于所獲取的人臉信息計(jì)算人臉相對(duì)于監(jiān)控 相機(jī)的位置，并將人臉與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間匹配信 息；以及 相機(jī)定位模塊，用于基于所述相機(jī)間匹配信息計(jì)算所述多個(gè)監(jiān)控相機(jī)之間的相對(duì)位 置。
【專利摘要】本發(fā)明提供了一種基于人臉檢測(cè)的監(jiān)控相機(jī)自定位方法及裝置。所述監(jiān)控相機(jī)自定位方法包括：從多個(gè)監(jiān)控相機(jī)中的每一個(gè)接收視頻流；對(duì)來(lái)自各監(jiān)控相機(jī)的視頻流中的每一幀圖像進(jìn)行人臉檢測(cè)以獲取人臉信息；針對(duì)所述每一幀圖像，基于所獲取的人臉信息計(jì)算人臉相對(duì)于監(jiān)控相機(jī)的位置，并將人臉與所有其他監(jiān)控相機(jī)中檢測(cè)到的人臉進(jìn)行匹配以獲取相機(jī)間匹配信息；以及基于所述相機(jī)間匹配信息計(jì)算所述多個(gè)監(jiān)控相機(jī)之間的相對(duì)位置。本發(fā)明提供的基于人臉檢測(cè)的監(jiān)控相機(jī)自定位方法及裝置通過(guò)對(duì)多個(gè)監(jiān)控相機(jī)的視頻流進(jìn)行人臉檢測(cè)和人臉?lè)治?，可以自?dòng)計(jì)算出多個(gè)監(jiān)控相機(jī)之間的相對(duì)位置關(guān)系，增強(qiáng)了監(jiān)控產(chǎn)品的功能。
【IPC分類】G06K9/00, G06T7/00
【公開號(hào)】CN105426841
【申請(qǐng)?zhí)枴緾N201510800367
【發(fā)明人】范浩強(qiáng), 印奇
【申請(qǐng)人】北京曠視科技有限公司, 北京小孔科技有限公司
【公開日】2016年3月23日
【申請(qǐng)日】2015年11月19日