多臺(tái)立體相機(jī)標(biāo)定方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及圖像和視頻處理領(lǐng)域。更具體地，本發(fā)明涉及一種利用高度已 知的移動(dòng)物體來標(biāo)定多路雙目立體相機(jī)外參的方法和裝置。
【背景技術(shù)】
[0002] 當(dāng)前，對(duì)一個(gè)現(xiàn)代化的視頻監(jiān)控系統(tǒng)的要求已經(jīng)不再局限于和過去一樣，只要求 在二維圖像平面上對(duì)物體進(jìn)行跟蹤識(shí)別；而是能在實(shí)際的三維立體空間中來精確定位和識(shí) 別物體。正是由于這一需求的提出，立體相機(jī)標(biāo)定目前已經(jīng)成為計(jì)算機(jī)視覺應(yīng)用領(lǐng)域的一 個(gè)重要組成部分，如何將二維圖像平面提取的信息準(zhǔn)確地轉(zhuǎn)換到三維立體空間中已成為許 多研究者的研究課題。
[0003] 近些年來，對(duì)物體進(jìn)行定位的研究目標(biāo)之一是擴(kuò)大立體相機(jī)的跟蹤范圍但同時(shí)也 要保證不降低對(duì)目標(biāo)進(jìn)行三維定位的準(zhǔn)確度。為了達(dá)到這一目標(biāo)，通常的做法是增加這些 系統(tǒng)中立體相機(jī)的數(shù)量，使得該系統(tǒng)能覆蓋更廣的區(qū)域同時(shí)能捕獲到高質(zhì)量的視頻畫面。 因此，同時(shí)對(duì)多臺(tái)相機(jī)進(jìn)行協(xié)調(diào)管理，將它們的跟蹤結(jié)果統(tǒng)一起來就變得十分重要。更確切 地說，就是要解決兩方面的問題。一方面是將每臺(tái)立體相機(jī)在立體相機(jī)坐標(biāo)系下的跟蹤結(jié) 果統(tǒng)一到一個(gè)公共的坐標(biāo)系中，以方便后續(xù)多立體相機(jī)跟蹤結(jié)果融合的處理。另一方面是 將這個(gè)統(tǒng)一的坐標(biāo)系與真實(shí)的物理世界聯(lián)系起來。在此，本發(fā)明將上述兩個(gè)問題的解決過 程統(tǒng)稱為立體相機(jī)的標(biāo)定。
[0004] 現(xiàn)有的立體相機(jī)標(biāo)定的方法大致可以分成自標(biāo)定方法和基于物體的標(biāo)定方法兩 大類。基于物體的標(biāo)定方法又可以再細(xì)分為基于三維物體的標(biāo)定方法和基于二維物體的標(biāo) 定方法。
[0005] 自標(biāo)定方法一般是通過將立體相機(jī)繞一個(gè)未知的靜止的場(chǎng)景移動(dòng)來實(shí)現(xiàn)的。從本 質(zhì)上說，這種標(biāo)定方法就是找不同圖像間點(diǎn)或者線的對(duì)應(yīng)關(guān)系，進(jìn)而求出滿足對(duì)極約束的 立體相機(jī)參數(shù)。但是，這種方法的一個(gè)顯著的局限性就是必須找到不同圖像間的足夠多的 點(diǎn)線對(duì)應(yīng)關(guān)系，但當(dāng)場(chǎng)景中的特征較少（如角點(diǎn))，場(chǎng)景非靜止有顯著的變化，或是場(chǎng)景和相 機(jī)是相對(duì)靜止的時(shí)候，該方法將失效。另外一種自標(biāo)定的方法是通過找消失點(diǎn)來實(shí)現(xiàn)的，而 消失點(diǎn)可以通過場(chǎng)景中存在的一些標(biāo)記(如建筑物相互平行的邊）來定位，進(jìn)而求出聯(lián)系消 失點(diǎn)與這些平行線的立體相機(jī)參數(shù)。
[0006] 基于物體的標(biāo)定方法利用幾何信息已知的標(biāo)定物來實(shí)現(xiàn)參數(shù)的求取。當(dāng)這些已知 的幾何信息準(zhǔn)確時(shí)，這種標(biāo)定方法的標(biāo)定精度通常較高。用于標(biāo)定的物體可以是三維的也 可以是二維的。基于三維物體的標(biāo)定技術(shù)是一種最通用的標(biāo)定技術(shù)，它要求用于標(biāo)定的物 體的三維幾何信息在標(biāo)定開始時(shí)已知。三維點(diǎn)的坐標(biāo)和它們?cè)趫D像平面上的投影之間的轉(zhuǎn) 換是通過一個(gè)投影矩陣（projection matrix)來實(shí)現(xiàn)的。當(dāng)獲得了足夠多的三維與二維的 對(duì)應(yīng)關(guān)系之后，就可以通過直接的線性變換（DLT)來求解投影矩陣中所包含的參數(shù)。采用 這種方法所獲得的標(biāo)定精度通常較高。與較為復(fù)雜的基于三維物體的標(biāo)定方法相比，基于 二維物體的立體相機(jī)標(biāo)定方法則利用一些平面上已知的幾何信息來完成標(biāo)定。這種方法使 得標(biāo)定的準(zhǔn)備更加簡(jiǎn)易可行。操作者通常需要在標(biāo)定開始前將一些已知的幾何圖案粘貼到 硬紙板上(如采用棋盤格)，然后在待標(biāo)定的立體相機(jī)前移動(dòng)該硬紙板數(shù)次(至少兩次)。這 種方法是通過硬紙板上的點(diǎn)與圖像平面上對(duì)應(yīng)點(diǎn)的單應(yīng)性來求解立體相機(jī)參數(shù)的。相對(duì)于 基于三維物體的標(biāo)定方法，基于二維物體的標(biāo)定方法的標(biāo)定物的準(zhǔn)備更加簡(jiǎn)易、好操作，并 且也能達(dá)到較好的標(biāo)定精度。
[0007] 專利US 2012/0229627 Al設(shè)計(jì)了一個(gè)用于檢測(cè)移動(dòng)物體的圖像分析系統(tǒng)，同時(shí)可 以分析移動(dòng)物體的速度。該系統(tǒng)考慮了圖像的透視和尺度等變化，通過立體相機(jī)的標(biāo)定，將 圖像中的坐標(biāo)點(diǎn)轉(zhuǎn)換到真實(shí)的世界坐標(biāo)系中。對(duì)于該系統(tǒng)，它需要事先將4個(gè)反射標(biāo)記物 放置于道路的兩旁以定義道路路面。然后測(cè)量出由這4個(gè)反射標(biāo)記物確定的道路區(qū)域的長(zhǎng) 度和寬度，然后將測(cè)量結(jié)果輸入到系統(tǒng)中以完成立體相機(jī)的標(biāo)定。
[0008] 專利US005768443A提出了一種標(biāo)定多立體相機(jī)系統(tǒng)的方法，該系統(tǒng)中的每臺(tái)立 體相機(jī)可以同時(shí)拍攝到同一個(gè)物體各個(gè)不同部分的圖像。該方法的最終目標(biāo)是將多臺(tái)相機(jī) 的視野統(tǒng)一到一個(gè)公共坐標(biāo)系中來進(jìn)行精確的測(cè)量，即使圖像中存在圖像畸變。該發(fā)明的 步驟包括：（1)將待標(biāo)定的攝相機(jī)固定于包含有標(biāo)記的平臺(tái)上；(2)確保每臺(tái)相機(jī)能拍攝到 平臺(tái)上的標(biāo)記；（3)找出拍攝到的每張標(biāo)記物圖像上的特征點(diǎn)；(4)校正圖像中特征點(diǎn)的失 真；（5)將所有特征點(diǎn)轉(zhuǎn)換到一個(gè)統(tǒng)一的全局坐標(biāo)系中。該發(fā)明一方面考慮了如何將每臺(tái) 相機(jī)的圖像坐標(biāo)系轉(zhuǎn)換到一個(gè)統(tǒng)一的物理坐標(biāo)系中，另一方面，考慮了如何去除圖像的失 真。另外，它的標(biāo)定是通過平臺(tái)上靜止的標(biāo)記來完成的。
[0009] 如上所述，立體相機(jī)自標(biāo)定技術(shù)與基于標(biāo)定物的標(biāo)定技術(shù)相比，其操作起來更加 方便，不需要事先準(zhǔn)備如棋盤格之類的標(biāo)定物。然而，對(duì)于基于尋找消失點(diǎn)和消失線的自標(biāo) 定技術(shù)，盡管它不要求有標(biāo)定物，但是它要求場(chǎng)景中存在平行線。在一些文獻(xiàn)中，這種技術(shù) 采用一個(gè)出現(xiàn)在立體相機(jī)工作視野中行走的人來標(biāo)定相機(jī)（因?yàn)榧僭O(shè)人在水平面上行走， 人的身體垂直于水平面，若將人的身體抽象為一根垂直于地面的垂線，則在不同的時(shí)刻，人 的身體是相互平行的)。但該方法要求行走的人的腳對(duì)于相機(jī)可見，但這對(duì)于許多室內(nèi)場(chǎng)景 是不可行的，比如辦公室場(chǎng)景中的存在工作隔間的情況。

【發(fā)明內(nèi)容】

[0010] 為了克服上述技術(shù)的缺點(diǎn)，本發(fā)明提出了一種基于移動(dòng)物體的標(biāo)定多個(gè)雙目立體 相機(jī)外參的方法。所述標(biāo)定多臺(tái)立體相機(jī)的方法包括：
[0011] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種標(biāo)定多臺(tái)立體相機(jī)的方法，包括：對(duì)所述多臺(tái) 立體相機(jī)進(jìn)行系統(tǒng)時(shí)間同步；基于每臺(tái)立體相機(jī)輸出的包含已知高度的標(biāo)定物的跟蹤結(jié)果 圖像所附加的時(shí)間戳信息，建立所述多臺(tái)立體相機(jī)間的視場(chǎng)重疊區(qū)域關(guān)系圖；從所獲得圖 像中確定標(biāo)定物的最高點(diǎn)的在各自立體相機(jī)的坐標(biāo)系中的坐標(biāo)；從所述多臺(tái)立體相機(jī)中指 定參考立體相機(jī)，并以所指定的參考立體相機(jī)的坐標(biāo)系的原點(diǎn)在地面的投影點(diǎn)建立假設(shè)的 世界坐標(biāo)系；基于參考立體相機(jī)所拍攝的至少四張圖像中的標(biāo)定物最高點(diǎn)的坐標(biāo)，計(jì)算參 考立體相機(jī)在世界坐標(biāo)系中的外參；以及以所計(jì)算的參考立體相機(jī)在世界坐標(biāo)系中的外參 為參考，逐一根據(jù)所建立的多臺(tái)立體相機(jī)間的視場(chǎng)重疊區(qū)域關(guān)系圖，基于標(biāo)定物處于一個(gè) 具體視場(chǎng)重疊區(qū)域內(nèi)時(shí)最高點(diǎn)的已知世界坐標(biāo)，計(jì)算構(gòu)成所述具體重疊視場(chǎng)區(qū)域的其中一 個(gè)待標(biāo)定立體相機(jī)在世界坐標(biāo)系中的外參。
[0012] 根據(jù)本發(fā)明標(biāo)定多臺(tái)攝像機(jī)的方法，基于每臺(tái)立體相機(jī)輸出的包含被跟蹤對(duì)象的 結(jié)果所附加的時(shí)間戳信息，建立所述多臺(tái)立體相機(jī)間的視場(chǎng)重疊區(qū)域關(guān)系圖的步驟包括： 比較所部署的任意兩臺(tái)立體相機(jī)對(duì)跟蹤對(duì)象的跟蹤結(jié)果的時(shí)間戳，若兩臺(tái)立體相機(jī)的跟蹤 結(jié)果存在相同的時(shí)間戳信息，則可以判斷這兩臺(tái)立體相機(jī)間存在視場(chǎng)區(qū)域的重疊，并將這 種關(guān)系用視場(chǎng)重疊區(qū)域關(guān)系圖來表示，其中視場(chǎng)重疊區(qū)域關(guān)系圖中的節(jié)點(diǎn)對(duì)應(yīng)于所述多臺(tái) 立體相機(jī)中的一臺(tái)立體相機(jī)，而節(jié)點(diǎn)之間的邊代表該邊所連接的兩個(gè)節(jié)點(diǎn)所代表的立體相 機(jī)之間存在視場(chǎng)重置關(guān)系。
[0013] 根據(jù)本發(fā)明標(biāo)定多臺(tái)攝像機(jī)的方法，從所獲得圖像中確定標(biāo)定物的最高點(diǎn)的在各 自立體相機(jī)的坐標(biāo)系中的坐標(biāo)包括：從每臺(tái)立體相機(jī)拍攝到的每一幀中分割出屬于標(biāo)定物 的前景像素；以及根據(jù)每一臺(tái)立體相機(jī)的內(nèi)部參數(shù)參提取到標(biāo)定物的最高點(diǎn)的圖像坐標(biāo)， 并將所提取的標(biāo)定物的最1?點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為在對(duì)應(yīng)立體相機(jī)坐標(biāo)系下的坐標(biāo)。
[0014] 根據(jù)本發(fā)明標(biāo)定多臺(tái)攝像機(jī)的方法，從所述多臺(tái)立體相機(jī)中指定參考立體相機(jī)可 以以手工指定或者自動(dòng)選擇的方式來指定。
[0015] 根據(jù)本發(fā)明標(biāo)定多臺(tái)攝像機(jī)的方法，計(jì)算構(gòu)成所述具體重疊視場(chǎng)區(qū)域的其中一個(gè) 待標(biāo)定立體相機(jī)在世界坐標(biāo)系中的外參包括：利用參考立體相機(jī)的在世界坐標(biāo)系中的外 參，計(jì)算在某一時(shí)間戳?xí)r處于包含在參考立體相機(jī)視場(chǎng)中的視場(chǎng)重疊區(qū)域內(nèi)標(biāo)定物最高點(diǎn) 在世界坐標(biāo)系中的坐標(biāo)；以及獲取同一時(shí)間戳下其視場(chǎng)包含所述視場(chǎng)重疊區(qū)域的待標(biāo)定立 體相機(jī)所拍攝的圖像，并基于該圖像內(nèi)標(biāo)定物最高點(diǎn)在世界坐標(biāo)系中的坐標(biāo)計(jì)算該待標(biāo)定 立體相機(jī)的光心在世界坐標(biāo)系中的外參。
[0016] 根據(jù)本發(fā)明標(biāo)定多臺(tái)攝像機(jī)的方法，計(jì)算構(gòu)成所述具體重疊視場(chǎng)區(qū)域的其中一個(gè) 待標(biāo)定立體相機(jī)在世界坐標(biāo)系中的外參還包括：利用已標(biāo)定立體相機(jī)的在世界坐標(biāo)系中的 外參，計(jì)算在某一時(shí)間戳?xí)r處于包含在已標(biāo)定立體相機(jī)視場(chǎng)中的視場(chǎng)重疊區(qū)域內(nèi)標(biāo)定物最 高點(diǎn)在世界坐標(biāo)系中的坐標(biāo)；以及獲取同一時(shí)間戳下其視場(chǎng)包含所述視場(chǎng)重疊區(qū)域的另一 個(gè)待標(biāo)定立體相機(jī)所拍攝的圖像，并基于該圖像內(nèi)標(biāo)定物最高點(diǎn)在世界坐標(biāo)系中的外參計(jì) 算該另一個(gè)待標(biāo)定立體相機(jī)的光心在世界坐標(biāo)系中的外參。
[0017] 根據(jù)本發(fā)明的另一個(gè)方面，提供了一種標(biāo)定多臺(tái)立體相機(jī)的系統(tǒng)，包括：同步單 元，對(duì)所述多臺(tái)立體相機(jī)進(jìn)行系統(tǒng)時(shí)間同步；視場(chǎng)重疊區(qū)域關(guān)系圖創(chuàng)建單元，基于每臺(tái)立體 相機(jī)輸出的包含已知高度的標(biāo)定物的跟蹤結(jié)果圖像所附加的時(shí)間戳信息，建立所述多臺(tái)立 體相機(jī)間的視