用于實(shí)時(shí)重建3d軌跡的方法和系統(tǒng)的制作方法
【專利說(shuō)明】用于實(shí)時(shí)重建3D軌跡的方法和系統(tǒng)
[0001] 本發(fā)明涉及用于重建人或移動(dòng)對(duì)象在一個(gè)場(chǎng)所處的軌跡的方法和系統(tǒng)。特別地， 本發(fā)明涉及敏感場(chǎng)所，例如機(jī)場(chǎng)、體育場(chǎng)、車站等的決策中心內(nèi)的安全管理。
[0002] 本發(fā)明有利地但不僅僅應(yīng)用于搜索已經(jīng)遺留行李件的人，該行李可能被視為是可 疑的。
[0003] 目前，例如在車站中發(fā)現(xiàn)有遺留的行李件的情況下，通過(guò)揚(yáng)聲器做出通知使得遺 留其行李的人會(huì)過(guò)來(lái)并領(lǐng)取該行李。但是，如果該行李是被故意遺棄的，則行李的物主不會(huì) 出現(xiàn)來(lái)收回其行李。此外，即使在行李被無(wú)意地遺棄的情況下，物主出現(xiàn)所需要的時(shí)間也可 能非常長(zhǎng)。只要在接近行李已經(jīng)被遺棄的地方的活動(dòng)由于預(yù)防措施中斷直到確定該行李是 無(wú)害的，這就是不利的。
[0004] 已知文件US2004/0240542描述了一種具有多個(gè)攝像機(jī)的監(jiān)控系統(tǒng)，每個(gè)攝像機(jī) 都與用于自動(dòng)檢測(cè)可疑對(duì)象的方法相關(guān)。在US2004/0240542所描述的系統(tǒng)中，實(shí)時(shí)地自 動(dòng)分析來(lái)自攝像機(jī)的數(shù)據(jù)，以確定已經(jīng)為其預(yù)定義參數(shù)的可疑對(duì)象。在警報(bào)的情況下，操作 者回放記錄以確定有問(wèn)題的對(duì)象：實(shí)際上是機(jī)器檢測(cè)然后觸發(fā)警報(bào)，然后操作者必須確定 對(duì)象。
[0005] 還已知文件EP1 975 752描述了一種使得能夠確定最佳定位的攝像機(jī)的實(shí)時(shí)方 法。但是，該實(shí)時(shí)方法需要最初確定對(duì)象，然后確定在攝像機(jī)朝向有問(wèn)題的對(duì)象的定向方面 最佳定位的攝像機(jī)。
[0006] 本發(fā)明的一個(gè)目的是減少在包括視頻監(jiān)控系統(tǒng)的位置中搜索對(duì)象的物主的時(shí)間。
[0007] 本發(fā)明的另一目的是提供一種易于使用的、有效的、統(tǒng)一的工具以確定物主。
[0008] 上述目的中的至少一個(gè)利用一種用于通過(guò)連接到一組攝像機(jī)并且訪問(wèn)來(lái)自這些 攝像機(jī)的視頻記錄的處理服務(wù)器來(lái)重建一個(gè)場(chǎng)所處軌跡的方法來(lái)實(shí)現(xiàn)。該處理服務(wù)器基于 以下來(lái)實(shí)施基于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的3D可視化應(yīng)用：
[0009] _場(chǎng)所的3D表示的靜態(tài)模型，和
[0010] -動(dòng)態(tài)3D表示數(shù)據(jù)庫(kù)。
[0011] 根據(jù)本發(fā)明，3D可視化應(yīng)用配置為用于：
[0012] -在時(shí)刻T0時(shí)的3D可視化中，響應(yīng)于來(lái)自用戶的第一指令來(lái)確定被視為已經(jīng)被物 主遺留在該場(chǎng)所的對(duì)象的位置，
[0013] -確定用于顯示該對(duì)象的最佳定位的至少一個(gè)攝像機(jī)，
[0014] -訪問(wèn)來(lái)自該攝像機(jī)的視頻記錄以顯示在T0之前的時(shí)刻t時(shí)的記錄，t響應(yīng)于與 物主遺留對(duì)象的時(shí)刻相對(duì)應(yīng)的第二指令來(lái)確定，
[0015] -啟動(dòng)用于通過(guò)來(lái)自不同攝像機(jī)的從時(shí)刻t到目前時(shí)刻的記錄來(lái)追蹤物主的方 法，以確定物主的當(dāng)前位置。
[0016] 利用根據(jù)本發(fā)明的方法，當(dāng)由監(jiān)控?cái)z像機(jī)監(jiān)測(cè)到對(duì)象被遺留在一個(gè)場(chǎng)所時(shí)，如今 可以快速地發(fā)現(xiàn)被遺留的對(duì)象的物主。在敏感場(chǎng)所、例如機(jī)場(chǎng)處，這種方法使得能夠快速拘 押遺留的行李件的物主以核實(shí)這是真實(shí)的疏忽事件還是危險(xiǎn)的行為。
[0017] 對(duì)象的位置可以通過(guò)用戶在顯示場(chǎng)所的3D可視化的屏幕上的點(diǎn)擊來(lái)確定。用戶 可以已經(jīng)通過(guò)來(lái)自安保人員的呼叫接收關(guān)于對(duì)象狀況的信息。還可以根據(jù)處理服務(wù)器中接 收到的GPS( "全球定位系統(tǒng)"）坐標(biāo)或來(lái)自建筑物內(nèi)的定位系統(tǒng)的坐標(biāo)來(lái)確定對(duì)象的位置。 這些坐標(biāo)會(huì)由安保人員具體地從便攜式設(shè)備、例如移動(dòng)電話或"智能手機(jī)"傳輸。優(yōu)選地， 攝像機(jī)形成包括其他傳感器的視頻監(jiān)控系統(tǒng)的一部分。
[0018] 根據(jù)本發(fā)明的方法提供3D可視化以及對(duì)實(shí)時(shí)多維決策的輔助。由此可以在幾秒 內(nèi)而不是如之前的幾分鐘內(nèi)檢測(cè)事件、消除懷疑、控制威脅或采取行動(dòng)。
[0019] 處理服務(wù)器使用場(chǎng)所的3D表示的靜態(tài)模型和動(dòng)態(tài)3D表示數(shù)據(jù)庫(kù)來(lái)確定最佳放置 的攝像機(jī)。3D表示使得能夠特別地考慮墻壁和其他障礙物。由此可以得知人是否位于攝像 機(jī)的視場(chǎng)中。動(dòng)態(tài)數(shù)據(jù)庫(kù)可以包含關(guān)于以下的動(dòng)態(tài)數(shù)據(jù)：
[0020] -攝像機(jī)的移動(dòng)，
[0021] -用戶做出的不同點(diǎn)擊，
[0022] -正在監(jiān)控的軌跡，
[0023] -坐標(biāo)，
[0024] -時(shí)間線，
[0025]-等。
[0026] 參照已知的現(xiàn)有技術(shù)，結(jié)合文件US2004/0240542和EP1 975 752不能實(shí)現(xiàn)本發(fā) 明，這是因?yàn)樵诒景l(fā)明中，操作者確定對(duì)象，確定最佳定位的攝像機(jī)，然后回放來(lái)自該相同 攝像機(jī)的記錄。在US2004/0240542中，記錄被回放，而不是由操作者來(lái)確定對(duì)象。
[0027] 根據(jù)本發(fā)明，追蹤方法允許在其中可以看到物主的視頻的直接回放，在回放期間 當(dāng)物主離開(kāi)視頻（記錄）的視場(chǎng)時(shí)從一個(gè)視頻轉(zhuǎn)到另一個(gè)視頻。這種轉(zhuǎn)換每次都發(fā)生，確 定最佳定位的攝像機(jī)。
[0028] 根據(jù)本發(fā)明的一個(gè)有利特征，可以如下所述地進(jìn)行最佳定位的攝像機(jī)的選擇：
[0029] -基于在顯示正在查看的記錄的2D監(jiān)視器上做出的點(diǎn)擊，確定物主與地面的作用 點(diǎn)的三維坐標(biāo)，
[0030] -基于3D可視化和2D監(jiān)視器之間的雙射函數(shù)來(lái)計(jì)算在3D可視化中物主與地面的 作用點(diǎn)的三維坐標(biāo)，并且基于該三維坐標(biāo)來(lái)確定最佳定位的攝像機(jī)，然后顯示來(lái)自最佳定 位的攝像機(jī)的記錄以繼續(xù)追蹤。
[0031] 本發(fā)明特別地但并不僅僅值得注意的是，通過(guò)在與地面的作用點(diǎn)上的點(diǎn)擊，實(shí)際 上固定了沿著"Z"軸的位置，該位置對(duì)應(yīng)于地面。由此利用X、y、z坐標(biāo)，本領(lǐng)域技術(shù)人員可 以找到使得能夠使3D可視化和監(jiān)視器上的2D視頻顯示聯(lián)系的雙射函數(shù)。
[0032] 作為非限制性實(shí)例，可以如下所述地定義描述雙射函數(shù)的算法：
[0033] 雙射函數(shù)3D坐標(biāo)<->2D攝像機(jī)坐標(biāo)
[0034] f:攝像機(jī)參考標(biāo)記->3D參考標(biāo)記
[0035]f_l:3D參考標(biāo)記_>攝像機(jī)參考標(biāo)記
[0036] (u,v)視頻窗口中2D點(diǎn)的標(biāo)準(zhǔn)化坐標(biāo)
[0037] (X，Y,Z)三維空間中3D點(diǎn)的坐標(biāo)
[0038] f(u，V，攝像機(jī)參考標(biāo)記，3D參考標(biāo)記，3D靜態(tài)模型，3D動(dòng)態(tài)模型）->X，Y，Z
[0039] Calculate3Dposition(u,V，攝像機(jī)參考標(biāo)記，3D參考標(biāo)記）_>U,V
[0040] Calculatelntersection(U,V, 3D靜態(tài)模型，3D動(dòng)態(tài)模型）->X,Y,Zf-1 (X,Y,Z，3D 參考標(biāo)記，攝像機(jī)參考標(biāo)記，3D靜態(tài)模型，3D動(dòng)態(tài)模型）->U，V
[0041]If(X，Y，Z)在攝像機(jī)視場(chǎng)（攝像機(jī)參考標(biāo)記）中ThenCalculatePosition2D(X，Y,Z，3D參考標(biāo)記，攝像機(jī)參考標(biāo)記，u,v)
[0042] Endif
[0043] 監(jiān)視器上的點(diǎn)擊使得在3D可視化中能夠具有三維定位。轉(zhuǎn)換到3D表示使得能夠 考慮障礙物并且有效地計(jì)算最佳定位的攝像機(jī)。
[0044] 根據(jù)本發(fā)明的一個(gè)有利特征，通過(guò)計(jì)算每個(gè)攝像機(jī)的d/f比來(lái)確定最佳放置的攝 像機(jī)，d為物主與地面的作用點(diǎn)的三維坐標(biāo)和所考慮的攝像機(jī)之間的距離，f為攝像機(jī)的焦 距。表述"最佳定位的攝像機(jī)"指的是物主在其視場(chǎng)中并且具有最小d/f?比的攝像機(jī)?？?以具有多個(gè)攝像機(jī)的排名，并且不僅顯示最佳定位的攝像機(jī)，還顯示最佳定位的那些