快速且穩(wěn)健的相機位置排序方法
【專利摘要】本公開涉及快速且穩(wěn)健的相機位置排序方法。描述了根據(jù)由一組相機捕獲的視頻以順時針或逆時針順序估計該組相機的位置的方法。在一些實施例中，相機被假定為是固定的，沒有或具有非常輕微的傾斜角并且沒有滾轉(zhuǎn)角(在每個相機圖像中地平線是水平的)。每個相鄰(最靠近的)相機對之間的方位(滾轉(zhuǎn)角)差能夠高達45度。每個相機被假定具有與至少一個其它相機重疊的視圖。除了第一個和最后一個相機只在一側(cè)具有一個相鄰相機之外，其它的每個相機都具有一個右側(cè)相鄰相機和一個左側(cè)相鄰相機。相機的位置則能夠被表達為逆時針的唯一列表。輸入視頻被假定是時間上同步的。
【專利說明】
快速且穩(wěn)健的相機位置排序方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及相機。更具體地，本發(fā)明涉及相機位置排序。
【背景技術(shù)】
[0002] 相機位置排序已在假定相機之間的方位差很小（例如，〈15度）的情況下通過估計 所有相機的內(nèi)在和外在參數(shù)以及找到的3D關(guān)鍵點而得到解決。這種類型的方法通常被稱為 "從運動恢復(fù)結(jié)構(gòu)"（structure from motion，SfM)，其需要非線性方程計算和優(yōu)化的密集 的計算。對于較大的方位差，主流方法是在一段時間上跟蹤和識別共同移動的對象，使得每 個相鄰相機之間的相對位置能夠被推斷出來。

【發(fā)明內(nèi)容】

[0003] 本文描述了根據(jù)由一組相機捕獲的視頻以順時針或逆時針順序估計該組相機的 位置的方法。在一些實施例中，相機被假定為是固定的，沒有或具有非常輕微的傾斜角并且 沒有滾轉(zhuǎn)角(在每個相機圖像中地平線是水平的）。每個相鄰(最靠近的）相機對之間的方位 (滾轉(zhuǎn)角）的差能夠高達45度。每個相機被假定具有與至少一個其它相機重疊的視圖。除了 第一個和最后一個相機只在一側(cè)具有一個相鄰相機之外，其它的每個相機都具有一個右側(cè) 相鄰相機和一個左側(cè)相鄰相機。相機的位置則能夠被表達為唯一逆時針列表。輸入視頻被 假定是時間上同步的。
[0004] 在一個方面中，編程在設(shè)備的非臨時性存儲器中的方法包括執(zhí)行背景提取、執(zhí)行 成對相機對應(yīng)提取、識別相鄰相機、確定相鄰相機定位以及執(zhí)行相機列表拓撲推斷。該方法 還包括準備設(shè)置和輸入。執(zhí)行背景提取包括背景建模和確定可靠的移動對象。執(zhí)行背景提 取產(chǎn)生包括相機的移動對象區(qū)域的背景提取輸出。執(zhí)行成對相機對應(yīng)提取包括利用子采樣 的關(guān)鍵點檢測、關(guān)鍵點描述符提取和成對對應(yīng)。執(zhí)行成對相機對應(yīng)提取利用背景提取輸出 和圖像作為輸入。執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機之間的對應(yīng)關(guān)鍵點。識 別相鄰相機利用第一相機和第二相機之間的關(guān)鍵點作為輸入。識別相鄰相機輸出二進制相 鄰相機地圖。確定相鄰相機定位利用相機的移動對象區(qū)域、第一相機與第二相機之間的對 應(yīng)關(guān)鍵點以及二進制相鄰相機地圖作為輸入。確定相鄰相機定位輸出相鄰相機相對方向地 圖。拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰居細化和后關(guān)系交換。拓撲推斷利用 相鄰相機相對方向地圖和第一相機與第二相機之間的對應(yīng)關(guān)鍵點作為輸入。拓撲推斷輸出 相機列表拓撲。
[0005] 在另一個方面中，系統(tǒng)包括:多個相機設(shè)備，其中每個相機設(shè)備都被配置用于捕獲 視頻內(nèi)容；以及計算設(shè)備，其被配置用于:接收視頻內(nèi)容、執(zhí)行視頻內(nèi)容的背景提取、執(zhí)行成 對相機對應(yīng)提取、識別所述多個相機設(shè)備中的相鄰相機、確定相鄰相機定位以及執(zhí)行相機 列表拓撲推斷。該計算設(shè)備還被配置用于準備設(shè)置和輸入。執(zhí)行背景提取包括背景建模和 確定可靠的移動對象。執(zhí)行背景提取產(chǎn)生包括相機的移動對象區(qū)域的背景提取輸出。執(zhí)行 成對相機對應(yīng)提取包括利用子采樣的關(guān)鍵點檢測、關(guān)鍵點描述符提取和成對對應(yīng)。執(zhí)行成 對相機對應(yīng)提取利用背景提取輸出和圖像作為輸入。執(zhí)行成對相機對應(yīng)提取輸出第一相機 和第二相機之間的對應(yīng)關(guān)鍵點。識別相鄰相機利用第一相機和第二相機之間的關(guān)鍵點作為 輸入。識別相鄰相機輸出二進制相鄰相機地圖。確定相鄰相機定位利用相機的移動對象區(qū) 域、第一相機與第二相機之間的對應(yīng)關(guān)鍵點以及二進制相鄰相機地圖作為輸入。確定相鄰 相機定位輸出相鄰相機相對方向地圖。拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰 居細化和后關(guān)系交換。拓撲推斷利用相鄰相機相對方向地圖和第一相機與第二相機之間的 對應(yīng)關(guān)鍵點作為輸入。拓撲推斷輸出相機列表拓撲。
[0006] 在另一個方面中，相機設(shè)備包括透鏡、被配置用于獲取視頻內(nèi)容的傳感器、用于存 儲應(yīng)用的非臨時性存儲器、以及耦合到存儲器的處理組件，其中應(yīng)用用于:接收視頻內(nèi)容、 執(zhí)行視頻內(nèi)容的背景提取、執(zhí)行成對相機對應(yīng)提取、識別多個相機設(shè)備中的相鄰相機、確定 相鄰相機定位以及執(zhí)行相機列表拓撲推斷，其中處理組件被配置用于處理應(yīng)用。該應(yīng)用還 被配置用于準備設(shè)置和輸入。執(zhí)行背景提取包括背景建模和確定可靠的移動對象。執(zhí)行背 景提取產(chǎn)生包括相機的移動對象區(qū)域的背景提取輸出。執(zhí)行成對相機對應(yīng)提取包括利用子 采樣的關(guān)鍵點檢測、關(guān)鍵點描述符提取和成對對應(yīng)。執(zhí)行成對相機對應(yīng)提取利用背景提取 輸出和圖像作為輸入。執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機之間的對應(yīng)關(guān)鍵 點。識別相鄰相機利用第一相機和第二相機之間的關(guān)鍵點作為輸入。識別相鄰相機輸出二 進制相鄰相機地圖。確定相鄰相機定位利用相機的移動對象區(qū)域、第一相機與第二相機之 間的對應(yīng)關(guān)鍵點以及二進制相鄰相機地圖作為輸入。確定相鄰相機定位輸出相鄰相機相對 方向地圖。拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰居細化和后關(guān)系交換。拓撲推 斷利用相鄰相機相對方向地圖和第一相機與第二相機之間的對應(yīng)關(guān)鍵點作為輸入。拓撲推 斷輸出相機列表拓撲。
【附圖說明】
[0007] 圖1示出根據(jù)一些實施例的多個相機配置的示例性配置。
[0008] 圖2示出根據(jù)一些實施例的在時間和空間中布置來自多個視頻相機的視頻內(nèi)容的 示例性示圖。
[0009] 圖3示出根據(jù)一些實施例的過程流程圖。
[0010] 圖4示出根據(jù)一些實施例的描述背景提取的圖像。
[0011] 圖5示出根據(jù)一些實施例的可靠的移動對象子步驟的示圖。
[0012] 圖6示出根據(jù)一些實施例的關(guān)鍵點檢測的過程流程圖。
[0013] 圖7示出根據(jù)一些實施例的為背景使用Agrid的關(guān)鍵點子采樣的圖像。
[0014] 圖8示出根據(jù)一些實施例的使用Agrid的關(guān)鍵點子采樣的圖像。
[0015] 圖9示出根據(jù)一些實施例的成對對應(yīng)的示圖。
[0016] 圖10示出根據(jù)一些實施例的成對對應(yīng)的示圖。
[0017]圖11示出根據(jù)一些實施例的在Ci的圖像中定義極線的Fxj的示圖。
[0018]圖12示出根據(jù)一些實施例的檢查C1中的點-線距離并接受距離》0的對應(yīng)的示圖。
[0019] 圖13示出根據(jù)一些實施例的相鄰相機識別的示圖。
[0020] 圖14示出根據(jù)一些實施例的對應(yīng)的例子。
[0021] 圖15示出根據(jù)一些實施例的相對于相機i和相機j之間的距離用于相機i的^的例 子。
[0022] 圖16示出根據(jù)一些實施例的無向圖到有向圖的示圖。
[0023] 圖17示出根據(jù)一些實施例的被分離為部分的圖像。
[0024] 圖18示出根據(jù)一些實施例的定義唯一有向圖的Plr的例子。
[0025] 圖19示出根據(jù)一些實施例的通過Plr的多種類型的拓撲。
[0026] 圖20示出根據(jù)一些實施例的利用循環(huán)求解的關(guān)系交換的示圖。
[0027] 圖21示出根據(jù)一些實施例的鄰居細化的示圖。
[0028] 圖22示出根據(jù)一些實施例的鄰居細化的示圖。
[0029] 圖23示出根據(jù)一些實施例的指示丟失數(shù)據(jù)的示圖。
[0030] 圖24示出根據(jù)一些實施例的重新布置的示圖。
[0031]圖25示出根據(jù)一些實施例的重新布置的流程圖。
[0032]圖26示出根據(jù)一些實施例的收斂的示圖。
[0033] 圖27示出根據(jù)一些實施例的被配置為實現(xiàn)相機位置排序方法的示例性計算設(shè)備 的框圖。
[0034] 圖28示出根據(jù)一些實施例的設(shè)備的網(wǎng)絡(luò)的示圖。
【具體實施方式】
[0035] 本文描述了根據(jù)由一組相機捕獲的視頻估計這組相機位置（以順時針或逆時針的 順序）的方法。在一些實施例中，相機被假定為是固定的，沒有或具有非常輕微的傾斜角并 且沒有滾轉(zhuǎn)角（在每個相機圖像中地平線是水平的）。在一些實施例中，每個相鄰(最靠近 的）相機對之間的方位(滾轉(zhuǎn)角）差能夠高達45度。每個相機被假定具有與至少一個其它相 機重疊的視圖。除了第一個和最后一個相機只在一側(cè)具有一個相鄰相機之外，其它的每個 相機都具有一個右側(cè)相鄰相機和一個左側(cè)相鄰相機。相機的位置則能夠被表達為唯一逆時 針列表。輸入視頻被假定是時間上同步的。
[0036] 通過只使用相機對的所有組合之間的對應(yīng)點或塊，該方法執(zhí)行：（1)相鄰相機識 另IJ，以減少下面的計算，（2)相鄰相機定位，以在每個相鄰相機對之間標記左/右關(guān)系，及(3) 按照本地的成對方向進行的全局相機列表拓撲推斷，其中包括錯誤檢測和恢復(fù)以容忍少量 的錯誤相機對關(guān)系。該方法是快速的，因為它不包含復(fù)雜的相機參數(shù)估計。由于該方法的錯 誤檢測/恢復(fù)機制，因此它也是穩(wěn)健的。
[0037] 描述了足以在大方位差下識別相機排序的較簡單的方法和特征，而不是全部3D點 和相機參數(shù)的復(fù)雜估算。雖然移動對象能夠有助于這個問題，但是該方法能夠處理在場景 中沒有移動對象的情況。
[0038] 假設(shè)存在N個相機，相機位置排序方法包括：
[0039] 1.快速相鄰相機識別在這個組件中執(zhí)行全面的比較0(N~2)并且受益于計算效率。
[0040] 2.通過移動對象和背景之間的運動流的差進行快速相鄰相機定位（左/右）。該方 法非常簡單、快速，并且再一次沒有明確的參數(shù)估算。
[0041 ] 3.利用錯誤檢測和恢復(fù)通過少量幾個相鄰相機關(guān)系進行全局相機列表拓撲推斷。 該方法是受相鄰相機信息約束的基于交換的定序。它包括解決循環(huán)條件，這可能無法通過 原始交換算法處理。該方法還檢測和恢復(fù)丟失的相機對，因此最終的結(jié)果是全局最優(yōu)的。
[0042] 此外，不存在如由常規(guī)方法執(zhí)行的相機和3D點參數(shù)的估算；相反，利用了統(tǒng)計信 息。
[0043] 利用了對應(yīng)的好處的快速相鄰相機識別具有交叉驗證步驟，并且全局相機列表拓 撲推斷能夠檢測到錯誤、恢復(fù)錯誤和計算丟失的數(shù)據(jù)。兩者對錯誤的輸入都是穩(wěn)健的。
[0044] 只要相鄰相機沒有朝外(極少的重疊），快速相鄰相機定位就能夠僅僅基于背景信 息計算左/右關(guān)系。
[0045] 本文描述的方法能夠被應(yīng)用到（1)交互式相機選擇，以從不同的視角查看同一事 件，（2)視頻監(jiān)控中的自動相機網(wǎng)絡(luò)組織，（3)根據(jù)視頻庫存(stock)所捕獲的位置自動組織 視頻庫存，及(4)作為SfM之前的預(yù)處理階段來實現(xiàn)更快的相機網(wǎng)絡(luò)定位，這能夠在3D體育 視頻、視圖內(nèi)插和點云生成中使用。
[0046] 能夠利用通過基于GMM的背景建模在短視頻持續(xù)時間（20秒)上的背景/移動對象 提取。也能夠使用提取移動對象像素的其它方法。
[0047] 使用現(xiàn)有關(guān)鍵點的快速相機對對應(yīng)方法，諸如SIFT、SURF、BRISK或FREAK能夠被利 用。SIFT和SURF生成圍繞關(guān)鍵點的網(wǎng)格并將每個網(wǎng)格小區(qū)劃分成子網(wǎng)格。在每個子網(wǎng)格小 區(qū)處，計算梯度，并且梯度通過角度被分區(qū)(bin)到直方圖中，其計數(shù)增加了梯度的數(shù)量，所 有的都通過高斯加權(quán)。BRISK是512位的二進制描述符，其在靠近關(guān)鍵點的點的選擇圖案上 計算加權(quán)的高斯平均。取決于高斯窗口對中哪個窗口較大，高斯窗口的具體對的值被比較。 FREAK評估在圍繞關(guān)鍵點的位置處的43個加權(quán)的高斯，但是通過高斯形成的圖案在生物上 受眼睛中的視網(wǎng)膜圖案的啟發(fā)。至于關(guān)鍵點檢測，獲得均勻分布的關(guān)鍵點的方法是有利的， 諸如基于網(wǎng)格的關(guān)鍵點采樣。也可以用提供對應(yīng)點/塊的其它方法。如果可以得到具有分割 信息的對應(yīng)塊，則能夠使用相機對之間的更好匹配。仍然，能夠使用計算兩個圖像之間的相 似性的其它方法，以決定兩個相機是否能夠被視為相鄰候選者。
[0048]相鄰相機候選者交叉驗證能夠利用k-NN關(guān)系完成。更復(fù)雜的實現(xiàn)可以包括雙向相 機對信息來計算相鄰相機的概率。
[0049] 相機位置排序方法按時間和/或空間布置由多個相機捕獲的視頻。圖1示出根據(jù)一 些實施例的多個相機配置的示例性配置。圖2示出根據(jù)一些實施例的在時間和空間中布置 來自多個視頻相機的視頻內(nèi)容的示例性示圖。
[0050] 由多個相機捕獲的時間上同步的視頻是輸入，并且全部相機順時針或逆時針的次 序是輸出。
[0051] 圖3示出根據(jù)一些實施例的過程流程圖。在步驟300,準備設(shè)置和輸入。在步驟302， 執(zhí)行背景提取。在步驟304,執(zhí)行成對相機對應(yīng)提取。在步驟306，識別相鄰相機。在步驟308， 確定相鄰相機定位。在步驟310,執(zhí)行相機列表拓撲推斷。在一些實施例中，實現(xiàn)了較少的或 附加的步驟。在一些實施例中，步驟的順序被修改。本文更詳細地描述了這些步驟。
[0052]以下是本文所使用的符號列表：
[0053] Nc:相機的數(shù)量
[0054] Ci:相機 i
[0055] Nf:序列持續(xù)時間（按幀計）
[0056] R1:相機i的圖像中的移動對象區(qū)域(矩形）
[0057]~Ri:相機i的圖像中的背景
[0058] K1:相機i的關(guān)鍵點集合
[0059] ki,j:相機i的第j個關(guān)鍵點。關(guān)鍵點是(x = x_坐標，y = y_坐標，S =尺度，〇 =方位)4 X 1向量。
[0060] Mij:相機i和相機j之間的對應(yīng)關(guān)鍵點(對應(yīng))的集合 [00611 ki,m:對應(yīng)m的圖像i中的關(guān)鍵點
[0062] #x:離散變量X的計數(shù)
[0063] #Mlj:相機i和相機j之間的對應(yīng)關(guān)鍵點的數(shù)量
[0064] P: Nc X Nc二進制相鄰相機地圖
[0065] PLR:Nc X XNc相鄰相機相對方向地圖
[0066] T:相機列表拓撲(逆時針）
[0067]在預(yù)處理中，讀取每個相機的輸入圖像。背景提取步驟(302)使用原始的RGB 24-位圖像，并且成對相機對應(yīng)提取步驟(304)使用從原始RGB圖像中轉(zhuǎn)換的灰度(8位0~255) 圖像。
[0068] 背景提取步驟(302)包括子步驟:背景建模和可靠移動對象。背景提取步驟被用來 為每個相機提取背景/移動對象區(qū)域，其能夠被用于應(yīng)用不同的參數(shù)或算法。圖4示出根據(jù) 一些實施例的描述背景提取的圖像。在400,一系列的幀被用來為每個像素位置訓(xùn)練背景模 型。在402,對于幀，每個像素與其背景模型進行比較。在404,移動區(qū)域被檢測。在406,示出 了用于描述符提取的放大的邊界框心。
[0069] 背景建模被利用來為每個像素建立背景強度模型，因此具有相對于背景的色差的 大多數(shù)移動對象能夠被檢測到。背景建模方法包括為每個像素生成高斯混合模型 (Gaussian Mixture Model，GMM)。每個像素的M個高斯被總計。假設(shè)每個數(shù)據(jù)都是從單個高 斯提取的（來自V中的恰好一個^能夠等于1并且其它是零）。
[0070]
[0071] 其中，p是整體后驗概率，f是數(shù)據(jù)，f是從中提取數(shù)據(jù)的高斯的指示符，是高斯m 的權(quán)重，.是高斯參數(shù)，并且是指示是否從該分量中提取的二進制。
[0072] 用于GMM模型的迭代算法被利用。對于初始化，由于存在未知數(shù)量的高斯分量(M)， 因此使得M大些。對于每個高斯^存在未知的參數(shù)~，因此能夠使用隨機的猜測。迭代算法 同時更新M和參數(shù)，并且懲罰復(fù)雜的模型（以便降低M)。
[0073]對于背景建模，時間=1. . .Nf的RGB圖像是輸入。為所有的像素位置計算GMM模型。 任何像素i都具有其顏色模型參數(shù)，Qi= . . 。對于在時間t檢 測的幀，如果P(I(i，t)，〈閾值(公式1)，則像素i是作為前景的標記，其中P(IJ1)是I(i，t) (像素i在時間t的強度）屬于背景的概率。在GMM模型中，公式1能夠通過檢查平方 Maha lanob is距離來執(zhí)行：
[0074] 如果對于所有111=卜1(1(1，〇,3)2>111」^*〇^2.，則前景。
[0075]輸出是h(l)...h(Nf)，用于時間= l...Nf的背景/前景遮蔽。在一些實施例中，在 背景提取過程之后選擇t>l，因為初始的t = l幀或背景可能還不穩(wěn)定。
[0076] 可靠的移動對象子步驟去除由于突然的相機抖動或噪音導(dǎo)致的假陽性移動對象 地區(qū)?？煽康囊苿訉ο笞硬襟E使用持續(xù)時間和移動對象區(qū)域的時間上的運動同現(xiàn)來識別特 定于本地的運動，其基于假設(shè):真正的運動將圍繞圖像的中心、存在運動像素的不均勻分 布。
[0077] 圖5示出根據(jù)一些實施例的可靠的移動對象子步驟的示圖。
[0078] 可靠的移動對象子步驟的輸入從背景建模子步驟接收h(l) .. .h(Nf)。生成移動對 象概率隨著時間的圖像官方圖。如果槍測到太的運動岡域，則伸用在時間t的較小的權(quán)重：
[0079]
[0080] H通過閾值(thresholding)來二進制化。輸出是R'i = H°h(t)，其中t是要分析的幀 的時間，其中"°"是逐元素乘積運算符。后處理被應(yīng)用到以得到最終的心。
[0081] 成對相機對應(yīng)提取步驟(304)包括若干個子步驟:利用子采樣的關(guān)鍵點檢測、關(guān)鍵 點描述符提取和成對對應(yīng)。成對相機對應(yīng)提取是用于提取由兩個相機捕獲的一對圖像之間 的對應(yīng)點，其中對應(yīng)的點表示相同的真實3D位置。對應(yīng)點的空間分布應(yīng)該盡可能地均勻。
[0082] 圖6示出根據(jù)一些實施例的關(guān)鍵點檢測的過程流程圖。關(guān)鍵點檢測接收輸入、在前 景上執(zhí)行關(guān)鍵點檢測并為背景執(zhí)行自適應(yīng)網(wǎng)格關(guān)鍵點檢測，前景產(chǎn)生關(guān)鍵點集合1(_〇1^并 且背景產(chǎn)生關(guān)鍵點集合1(_0和1(_1'，并且輸出是Ki= U )。關(guān)鍵點是(X = x_ 坐標，y=y_坐標，S=尺度，〇=方位)4x 1向量。
[0083]關(guān)鍵點檢測約束用于對應(yīng)匹配的代表性樣本。能夠使用OpenCV的SIFT關(guān)鍵點檢測 函數(shù)。整個圖像或圖像塊是輸入，并且輸出是輸入圖像內(nèi)部的關(guān)鍵點集合。例如，實現(xiàn)包括 通過DoG的尺度空間（seal e-space)極值檢測、關(guān)鍵點定位、像那些具有低對比度或高邊緣 響應(yīng)的不穩(wěn)定點被消除、及分配方位。
[0084] 因為背景通常比移動對象延伸得多得多，因此利用了關(guān)鍵點子采樣，并且盡可能 完全地覆蓋~心的關(guān)鍵點分布是優(yōu)選的。不是單純地在任何地方添加點，而是在均質(zhì)區(qū)域 中檢測到的關(guān)鍵點代表為子采樣使用自適應(yīng)網(wǎng)格(AGrid)的精確匹配。
[0085] 圖7示出根據(jù)一些實施例的為背景使用AGrid的關(guān)鍵點子采樣的圖像。圖8示出根 據(jù)一些實施例的使用AGrid的關(guān)鍵點子采樣的圖像。
[0086] 對于關(guān)鍵點子采樣，前景和背景AGricU輸入是圖像i和來自可靠的移動對象子步 驟中的Ri。前景SIFT被用于為Ri確定K_obj。用于~R i中放大的空間關(guān)鍵點分布的AGrid包 括:初始地通過SIFT檢測器設(shè)置關(guān)鍵點K_0(無網(wǎng)格），以獲得在整個圖像尺度檢測到的~R 1 中的關(guān)鍵點，并且從整個圖像開始，應(yīng)用四叉樹分解:如果強度的〇>〇_th，則劃分塊。最終劃 分的單元被稱為"小區(qū)（ce11)"。每個小區(qū)都具有相同的最小#keypo ints (關(guān)鍵點的計數(shù)）= 預(yù)期的#keyp〇intS/#cells(小區(qū)的計數(shù)）。只為通過K_0還不具有足夠關(guān)鍵點的小區(qū)做第二 次SIFT關(guān)鍵點檢測。這得到1(_1。通過K_1將每個小區(qū)填充到最小的#keyp 〇ints。用來填充的 關(guān)鍵點是1(_1'。將1(_〇13 j、K_0和Κ_Γ聚合為Ki。輸出是包含位置、尺度和方位信息的Ki。
[0087] 關(guān)鍵點描述符提取被用于計算表示每個關(guān)鍵點的描述符，因此能夠通過以下匹配 來區(qū)分。背景和居中的移動對象具有不同的動態(tài)的視角變化范圍，因為:不同的深度(移動 對象對所有相機具有相似的深度）和不同的FOV(由于我們的假設(shè)移動對象占據(jù)較小的 F0V)，因此為了更好的性能，不同的描述符被應(yīng)用到不同的區(qū)域。
[0088] 關(guān)鍵點描述符提取從包含圖像的關(guān)鍵點的關(guān)鍵點子采樣中接收圖像IK1，并且輸 出是Ki的描述符。對于移動對象關(guān)鍵點，vkW = 5W ,在~Ri內(nèi)部的Xi, m 和使用OpenCV的BRISK關(guān)鍵點檢測器來確定。尺度和方位來自SIFT，其利用了60個采樣 位置，512個所選對。
[0089] 對于背景區(qū)域(^細H:,~Ri內(nèi)部的ki,min的X和y坐標），使用OpenCV的FREAK關(guān) 鍵點檢測器。尺度和方位來自SIFT。使用了 43個采樣位置和512個所選對。
[0090] 成對對應(yīng)利用來自可靠的移動對象子步驟的輸入Ri，來自關(guān)鍵點描述符提取子步 驟的Ki的描述符并且i = 1~N。。輸出是Mij = Ci和Cj之間的對應(yīng)，其中i，j = 1~N。。接著選定 的BRISK和FREAK描述符，使用了漢明距離(Hamming distance):
[0091] 漢明距諄
，其中Π和f2是二進制向量(描述符）。兩
個特征點1^,1!1和1^,11之間的距離(差異)0(1^,111，1^,11)能夠被定義為!1(；1^,1 11，；1^,11)，其中；1^,111，；^,11 分別是ki, JPkj, η的描述符。將ki, AKj匹配就是尋找 [0092]那么（ki,m，kj,n*)是匹配。
[0093] Mi j J)是通過FREAK/BRISK漢明距離的最好匹配的集合。使用了三個外點（out I i er) 去除機制:距離測試、比率測試和極線測試。圖9示出根據(jù)一些實施例的成對對應(yīng)的示圖。圖 10示出根據(jù)一些實施例的成對對應(yīng)的示圖。
[0094] 對于成對對應(yīng)，由于低描述符匹配分值與壞對應(yīng)高度相關(guān)，因此實現(xiàn)了距離測試， 其去除具有較低描述符匹配分值（例如，外觀）的對應(yīng)。M ijJ)是FREAK/BRISK漢明匹配的輸 入。距離測試包括如果〇(1^3，1^,11)〈 = 111，則將對應(yīng)(1^3，1^,11)從心_()放到心_1，其中對于 FREAK和BRISH兩者都有Th = 200。輸出是Mi j_i。
[0095] 對于成對對應(yīng)，實現(xiàn)了比率測試，其僅保留沒有歧義的良好的對應(yīng)。這對于重復(fù)圖 案和保留獨特的對應(yīng)是有效的。利用了2-NN距離定量比較。為來自C i的關(guān)鍵點中找 到最好的兩個匹配(例如，最小距離）：kj,n和1^,<1，（1^3，1^, 11)]\^_1。比率越大，關(guān)鍵點的辨別 力越好。如果〇(1^3，1^,(1)/1)(1^3，1^, 11)>111，則比率測試包括心_2中的對應(yīng)(1^3，1^)，其中 Th = I.3〇
[0096] 對于成對對應(yīng)，實現(xiàn)了極線測試，以基于幾何約束和對應(yīng)的統(tǒng)計(例如，內(nèi)點的計 數(shù)(#inliers)大于外點的計數(shù)(itoutliers))去除外點。極線測試的輸入是M^_ 2(過程背景/ 移動對象關(guān)鍵點一起）。該過程讓F成為Ci和Cj之間的基本矩陣，并且 Xi，Xj是分別在Ci和Cj的 圖像中的一對2D對應(yīng)點坐標，給定：
[0097] x'i Fxj = O
[0098] 對于成對對應(yīng)，幾何上，由于Fxj在Ci的圖像中定義極線，如在圖11中所示出的，因 此能夠檢查C 1中的點線距離，并且具有距離》0的對應(yīng)被接受，如在圖12中所示出的。
[0099] 隨機選擇八個對應(yīng)，以產(chǎn)生假設(shè)F。選擇具有大多數(shù)對應(yīng)滿足X%= Cl的最好 的假設(shè)#'。成對對應(yīng)的輸出是心，其是滿足爹的CdPCj之間的對應(yīng)。
[0100] 使用相鄰相機識別(306)來獲得可能的相鄰相機對，以減少在相鄰相機定位步驟、 相機列表拓撲推斷步驟和其它高級相機網(wǎng)絡(luò)分析中要檢查的對的數(shù)目。圖13示出根據(jù)一些 實施例的相鄰相機識別的示圖。
[0101] 對于每個相機，相鄰相機的候選者通過K-NN被找到。對于所有的相機，候選者被交 叉驗證，并且對通過NN沒有任何相關(guān)聯(lián)的候選者的相機進行補救。圖14示出根據(jù)一些實施 例的對應(yīng)的例子。邊緣的厚度與兩個相機之間的對應(yīng)的度量成比例。C4和&是&的鄰居。通 過3-NN，C 2也被認為是&的鄰居。
[0102] 對于相鄰相機識別，因為在內(nèi)在約束下，兩個相機之間的重疊區(qū)域與相機距離成 比例，因此兩個相機之間的對應(yīng)的數(shù)目被測量。圖15示出根據(jù)一些實施例的相對于相機i和 相機j之間的距離用于相機i的Mij的例子。使用#Mij是因為相機i和j的緊密度a； # Mij。
[0103] 相鄰相機識別從成對相機對應(yīng)提取中接收所有的心作為輸入。為i和j的所有組合 計數(shù)#Mij。盡管假SSMij等于#Mji，因此只計算Ν(Ν-1)/2個相機對，但是M ij不等于Mjit3對于相 機i，其k-NN相機根據(jù)最大的#1^被找到。執(zhí)行交叉驗證，因此如果i也是j的k-NN相機，則i的 k-NN相機j被保留。被保留的相機被稱為相機i的鄰居。如果在交叉驗證步驟中沒有找到相 機i的鄰居，則相機j與最大的#1^一起保留作為其唯一鄰居。KXN。二進制地圖P是輸出。每 一行i表示C 1的相鄰相機，例如，如果相機j是相機i的相鄰相機，則P( i，j) = 1。
[0104] 相鄰相機定位(308)被用來提取相鄰相機對之間的本地相對位置，并且能夠被用 于推斷相機拓撲或約束相機參數(shù)/3D結(jié)構(gòu)計算(例如，SfM)。相鄰相機定位通過相鄰相機識 別決定每個相鄰相機對輸出之間的相對位置(左或右）。所有的滾轉(zhuǎn)角都等于零。只有輕微 的傾斜角，因此地平線大致在使用的圖像高度的中間。使用了背景的上半部分，其被假定為 高于地面。
[0105] 圖16示出根據(jù)一些實施例的無向圖到有向圖的示圖。雖然一些相鄰連接會被丟 失，但是在較大的K-NN和計算效率之間存在權(quán)衡。如果sign(v_move-v_bg) = 0，則Plr(i，j) =0被保留并且相機列表拓撲推斷能夠恢復(fù)它。
[0106] 在相鄰相機定位中，由于移動對象的深度應(yīng)該比大多數(shù)背景區(qū)域短，因此背景和 移動對象之間的運動差異被確定。兩個相機之間的視差導(dǎo)致它們位置變化的不同程度。如 果內(nèi)在約束被嚴格地遵守，則只使用背景運動也是有效的。
[0107] 在相鄰相機定位中，來自背景提取的移動對象區(qū)域R、來自成對相機對應(yīng)提取的所 有的Mij和來自相鄰相機識別的P是輸入。
[0108]
[0109] 圖17示出根據(jù)一些實施例的被分離為部分的圖像。
[0110] 對于所有的：m e錢，0.3*圖像寬度< = X-坐標(kj,m)，x-坐標(1^3)〈 = 0.7*圖像 寬度，計算v-move=mean(方向(m));
[0111] 對所有的Jne竄；，〇.5*圖像高度> = x-坐標(kj,m)，x_坐標(ki,m)，主方向d通過較 大的#(方向(m)>0)和#(方向(m)〈0)來決定。計算v_bg=mean(方向）(m)d);
[0112] Plr(i , j) = sign(v_move-v_bg)；
[0113] 如果相機j在相機i的左側(cè)，則輸出是三值的NcXNc矩陣Plr · PLR(i，j) = l;如果相 機j在相機i的右側(cè)，則Plr(i，j) =-1;否則為0。
[0114] Pu?定義了唯一有向圖。圖18示出根據(jù)一些實施例的定義唯一有向圖的Plr的例子。
[0115] 拓撲推斷(310)包括多個子步驟:利用循環(huán)求解的關(guān)系交換、最接近鄰居細化和后 關(guān)系交換。拓撲推斷通過本地成對方向關(guān)系以及錯誤檢測和恢復(fù)使得能夠推導(dǎo)相機的全局 排序。
[0116] 圖19示出根據(jù)一些實施例的通過Plr的多種類型的拓撲。這種列表拓撲是優(yōu)選的。 樹狀(無向循環(huán))拓撲會丟失一些相機關(guān)系或包含錯誤。環(huán)(有向循環(huán))拓撲會具有至少一個 錯誤關(guān)系。整個圖能夠是三種類型的組合。
[0117]通過循環(huán)求解的關(guān)系交換從任意的相機次序開始，檢查其中PLR(i，j)矣0的每個對 (i，j)。對于每個檢查的（i，j)，如果相機i和j的相對位置不匹配相鄰相機定位步驟中的Plr (i，j)，則交換它們的次序，在i和j處記錄相對方向Plr(i，j);將較遠的相機ID(對于Ci，相機 ID = i)和具有與aR( i，j)相同的相對方向的方向從i傳播到j(luò) ;如果相機在j中記錄了右和左 兩者的相對方向，則存在循環(huán)，并且通過在循環(huán)中去除最弱的PuKi J)解決循環(huán)，并且清除 所有傳播的記錄。重復(fù)該過程，直到?jīng)]有變化或迭代的最大數(shù)量被滿足。拓撲T是輸出。Plr是 定義圖表、指導(dǎo)交換和給出要傳播的關(guān)系的唯一輸入。
[0118] 圖20示出根據(jù)一些實施例的通過循環(huán)求解的關(guān)系交換的示圖。
[0119] 通過循環(huán)求解的關(guān)系交換接收通過成對相機對應(yīng)提取的Plr和所有的1」作為輸 入。
[0120] 初始的 T= I ·.·:，.M. changed - FALSE; While ite <max_ite for .i =1"· Nc for j =1+1... Nc if PLR(i,j)#0 如果CiCi的定位次序錯誤，則在T0中交換i，.j 如果在i諮錄的相機ID在i的相反方向，則將它 們傳播到j(luò) 每個相機維護相機ID的記錄及其傳播的相對方向 end end end if I changed break; :els.e ite++; changed = false; end end
[0121] 輸出是TQ(所有相機的排序列表)和修改的PlR。
[0122] 最接近鄰居細化被用來在利用循環(huán)求解的關(guān)系交換之后解決樹狀拓撲。給定來自 利用循環(huán)求解的關(guān)系交換的To,如果通過Pw的關(guān)系是不充分的(樹狀），則它不是唯一的。圖 21示出根據(jù)一些實施例的鄰居細化的示圖。通過引入相鄰相機位置，可能的求解受到約束。 使用了兩種類型的信息來恢復(fù)唯一的求解?；趉-NN的Pu?意味著相鄰相機之間的次序差并 且具有上界能夠被升級到方向關(guān)系作為另一個約束。
[0123] 在最接近鄰居細化中，只有樹狀Plr激活內(nèi)部代碼（if語句）。輸入是來自利用循環(huán) 求解的關(guān)系交換的To、在利用循環(huán)求解的關(guān)系交換之后的Pun來自成對相機對應(yīng)提取的Μ"。
[0124] While cost origin使用當前Plr 檢查TO中所有的連續(xù)相機并計算其方向 if它們的對應(yīng)Plr = 0 (丟失)， for I = l;#€ams for j = i+l,.#Caras if pLR(y)但是相機i和相機j的位置比2遠 則產(chǎn)生具有鄰居窗口尺寸=2的可能的4個重新布置 T」mp(l)至 T_tmp(4) for k= 1:4 為每個重新布置計算cost_afte:r(k); end
[0125] 選擇最好的k，其具有從cost_origin到cost_after(k)的最大的下降值：
[0126] (I) if 只有一個最好的!^!：!!^)^)，cost_after(k)〈cost_origin，則選擇它
[0127] (2)if cost_origin = cost_after(k)，進一步計算T_tmp(k)中的丟失數(shù)據(jù)的#方 向錯誤，并且接著決定是否使用T_tmp(k)，
[0128] (3) if存在多個最好的k，也為這些!^!：!]^^)計算丟失數(shù)據(jù)的#方向錯誤，以選擇最 好的一個。 重新將T0分配為T_tmp(k); 更新 Gostorigin; end
[0129] end end end
[0130] 鄰居細化接收Pu?作為輸入。成本等于定位錯誤(方向錯誤和相鄰錯誤）。定義次序 (i)=相機i在相機列表拓撲T中的位置，從左向右計算：
[0131]例如，次序（i)=2，
[0134]
[0132] 次序(k)=3，_ik_j_[0133] 次序(j)=8。
[0135]
[0136]
[0137] 的相鄰錯誤。
[0138] 0_讓=。〇11(1^/2)，其中1^是1^-順
[0139]
[0140] 例如，pLRQ，k) = I，D_th = 2
[0141] 圖22示出根據(jù)一些實施例的鄰居細化的示圖。
[0142] 如果兩個相機Ci和Cj在相機列表拓撲T中是鄰居，因此abs(次序(i)_次序(j)) = l， 則如果PLR(i，j)=〇,那么PLR(i，j)是丟失數(shù)據(jù)。圖23示出根據(jù)一些實施例的指示丟失數(shù)據(jù) 的示圖。對于T中的任何丟失數(shù)據(jù)P LR( i，j)，PLR( i，j) = 0。如果兩個拓撲T和T '具有相同的成 本，則使用沒有k-NN約束的相鄰相機定位來分別估計在T和Τ'中的所有丟失數(shù)據(jù)的相對方 向= f 并且能夠比較更多的方向錯誤。但是，Plr(i，j) = 〇意味著P(i，j) = 〇， ， 因此這種關(guān)系是弱的并且它們的相鄰錯誤被忽略。分皮臨時使用并保持pLRa j) = 0〇
[0143] 通過3-NN，4個可能的重新布置的成本被比較(例如，Plr(i，j) = -1，因此i在j的左 偵U，NN窗口尺寸=cei 1 (3/2) = 2)。圖24示出根據(jù)一些實施例的重新布置的示圖。圖25示出 根據(jù)一些實施例的重新布置的流程圖。
[0144] 在后關(guān)系交換中，實現(xiàn)了無需循環(huán)求解的關(guān)系交換。這是在最接近鄰居細化之后 的細化。輸入是來自最接近鄰居細化的T1和來自利用循環(huán)求解的關(guān)系交換的P LR。輸出是T。
[0145] 圖27示出根據(jù)一些實施例的被配置為實現(xiàn)相機位置排序方法的示例性計算設(shè)備 的框圖。計算設(shè)備2700能夠被用來獲取、存儲、計算、處理、傳遞和/或顯示信息，諸如圖像和 視頻。一般地，適于實現(xiàn)計算設(shè)備2700的硬件結(jié)構(gòu)包括網(wǎng)絡(luò)接口 2702、存儲器2704、處理器 2706、（一個或多個）1/0設(shè)備2708、總線2710和存儲設(shè)備2712。處理器的選擇不是關(guān)鍵的，只 要選擇了具有足夠速度的合適的處理器。存儲器2704能夠是本領(lǐng)域中已知的任何常規(guī)計算 機存儲器。存儲設(shè)備2712能夠包括硬驅(qū)動、CDROM、CDRW、DVD、DVDRW、高清晰度盤/驅(qū)動、超HD 驅(qū)動、閃速存儲器卡或者任何其它存儲設(shè)備。計算設(shè)備2700能夠包括一個或多個網(wǎng)絡(luò)接口 2702。網(wǎng)絡(luò)接口的例子包括連接到以太網(wǎng)或其它類型的LAN的網(wǎng)卡。（一個或多個)1/0設(shè)備 2708能夠包括以下的一種或多種:鍵盤、鼠標、監(jiān)視器、屏幕、打印機、調(diào)制解調(diào)器、觸摸屏、 按鈕接口以及其它設(shè)備。用于執(zhí)行相機位置排序方法的（一個或多個)相機位置排序應(yīng)用 2730很可能被存儲在存儲設(shè)備2712和存儲器2704中并且如應(yīng)用通常被處理的那樣進行處 理。計算設(shè)備2700中能夠包括更多或更少的在圖27中示出的組件。在一些實施例中，包括相 機位置排序硬件2720。雖然圖27中的計算設(shè)備2700包括用于相機位置排序方法的應(yīng)用2730 和硬件2720,但是相機位置排序方法能夠用硬件、固件、軟件或其任意組合在計算設(shè)備上實 現(xiàn)。例如，在一些實施例中，相機位置排序應(yīng)用2730被編程在存儲器中并使用處理器來執(zhí) 行。在另一個例子中，在一些實施例中，相機位置排序硬件2720是編程的硬件邏輯，其包括 專門設(shè)計為實現(xiàn)該相機位置排序方法的門（gate)。
[0146] 在一些實施例中，（一個或多個)相機位置排序應(yīng)用2730包括若干個應(yīng)用和/或模 塊。在一些實施例中，模塊還包括一個或多個子模塊。在一些實施例中，能夠包括更少或附 加的模塊。
[0147] 在一些實施例中，相機位置排序硬件2720包括相機組件，諸如透鏡、圖像傳感器 和/或任何其它相機組件。
[0148] 合適的計算設(shè)備的例子包括個人計算機、膝上型計算機、計算機工作站、服務(wù)器、 大型計算機、手持式計算機、個人數(shù)字助理、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字相 機、數(shù)字攝像機、相機電話、智能電話、便攜式音樂播放器、平板計算機、移動設(shè)備、視頻播放 器、視頻盤刻錄器/播放器(例如，DVD刻錄器/播放器、高清晰度盤刻錄器/播放器、超高清晰 度盤刻錄器/播放器）、電視、家庭娛樂系統(tǒng)、智能首飾(例如，智能手表)或任何其它合適的 計算設(shè)備。
[0149] 圖28示出根據(jù)一些實施例的設(shè)備的網(wǎng)絡(luò)的示圖。利用多個相機2800來獲取圖像/ 視頻內(nèi)容。圖像/視頻內(nèi)容通過網(wǎng)絡(luò)2802(例如，因特網(wǎng)、蜂窩網(wǎng)絡(luò)或任何其它網(wǎng)絡(luò))被傳送 到計算設(shè)備2804。在一些實施例中，在沒有網(wǎng)絡(luò)的情況下，內(nèi)容被直接地傳送到計算設(shè)備。 計算設(shè)備2804被配置為執(zhí)行本文所描述的相機位置排序方法。計算設(shè)備2804能夠是任何設(shè) 備，諸如服務(wù)器、個人計算機、智能電話或本文所描述的任意設(shè)備或本文所描述的設(shè)備的任 意組合。在一些實施例中，計算設(shè)備2804是多個相機2800中的一個或多個。換句話說，（一個 或多個)相機2800實現(xiàn)相機位置排序方法。
[0150] 為了利用本文所描述的相機位置排序方法，諸如數(shù)字相機/攝像機的設(shè)備被用來 獲取圖像/視頻。相機位置排序方法被自動地用于通過時間和/或空間布置由相機/攝像機 捕獲的視頻。相機位置排序方法能夠利用用戶的幫助或者自動地無需用戶的參與來實現(xiàn)。 [0151 ]在操作中，相機位置排序方法通過時間和/或空間布置由多個相機捕獲的視頻。相 機位置排序方法能夠被應(yīng)用于：（1)交互式相機選擇，以從不同的視角查看同一事件，（2)視 頻監(jiān)控中的自動相機網(wǎng)絡(luò)組織，（3)根據(jù)視頻庫存被捕獲的位置自動組織視頻庫存，及(4) 作為SfM之前的預(yù)處理階段來實現(xiàn)更快的相機網(wǎng)絡(luò)定位，這能夠在3D體育視頻、視圖內(nèi)插和 點云生成中使用。
[0152] 快速且穩(wěn)健的相機位置排序方法的一些實施例
[0153] 1、一種編程在設(shè)備的非臨時性存儲器中的方法，包括：
[0154] a.執(zhí)行背景提取；
[0155] b.執(zhí)行成對相機對應(yīng)提??；
[0156] c.識別相鄰相機；
[0157] d.確定相鄰相機定位;以及
[0158] e.執(zhí)行相機列表拓撲推斷。
[0159] 2、如條款1所述的方法，還包括準備設(shè)置和輸入。
[0160] 3、如條款1所述的方法，其中執(zhí)行背景提取包括背景建模和確定可靠的移動對象。
[0161] 4、如條款1所述的方法，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域的背景 提取輸出。
[0162] 5、如條款1所述的方法，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān)鍵點檢 測、關(guān)鍵點描述符提取和成對對應(yīng)。
[0163] 6、如條款4所述的方法，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和圖像作 為輸入。
[0164] 7、如條款1所述的方法，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機之 間的對應(yīng)的關(guān)鍵點。
[0165] 8、如條款7所述的方法，其中識別相鄰相機利用第一相機和第二相機之間的關(guān)鍵 點作為輸入。
[0166] 9、如條款1所述的方法，其中識別相鄰相機輸出二進制相鄰相機地圖。
[0167] 10、如條款9所述的方法，其中確定相鄰相機定位利用相機的移動對象區(qū)域、第一 相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。
[0168] 11、如條款10所述的方法，其中確定相鄰相機定位輸出相鄰相機相對方向地圖。
[0169] 12、如條款1所述的方法，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰 居細化和后關(guān)系交換。
[0170] 13、如條款1所述的方法，其中拓撲推斷利用相鄰相機相對方向地圖以及第一相機 和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。
[0171] 14、如條款1所述的方法，其中拓撲推斷輸出相機列表拓撲。
[0172] 15、一種系統(tǒng)，包括：
[0173] a.多個相機設(shè)備，其中每個相機設(shè)備都被配置為捕獲視頻內(nèi)容；以及
[0174] b.計算設(shè)備，被配置為：
[0175] i.接收視頻內(nèi)容；
[0176] i i .執(zhí)行視頻內(nèi)容的背景提??；
[0177] i i i .執(zhí)行成對相機對應(yīng)提取；
[0178] iv.識別所述多個相機設(shè)備中的相鄰相機；
[0179] V.確定相鄰相機定位;以及
[0180] vi.執(zhí)行相機列表拓撲推斷。
[0181] 16、如條款15所述的系統(tǒng)，其中計算設(shè)備還被配置為準備設(shè)置和輸入。
[0182] 17、如條款15所述的系統(tǒng)，其中執(zhí)行背景提取包括背景建模和確定可靠的移動對 象。
[0183] 18.如條款15所述的系統(tǒng)，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域的背 景提取輸出。
[0184] 19、如條款15所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān)鍵點 檢測、關(guān)鍵點描述符提取和成對對應(yīng)。
[0185] 20、如條款18所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和圖像 作為輸入。
[0186] 21、如條款15所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機 之間的對應(yīng)的關(guān)鍵點。
[0187] 22、如條款21所述的系統(tǒng)，其中識別相鄰相機利用第一相機和第二相機之間的關(guān) 鍵點作為輸入。
[0188] 23、如條款15所述的系統(tǒng)，其中識別相鄰相機輸出二進制相鄰相機地圖。
[0189] 24、如條款23所述的系統(tǒng)，其中確定相鄰相機定位利用相機的移動對象區(qū)域、第一 相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。
[0190] 25、如條款24所述的系統(tǒng)，其中確定相鄰相機定位輸出相鄰相機相對方向地圖。
[0191] 26、如條款15所述的系統(tǒng)，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰 居細化和后關(guān)系交換。
[0192] 27、如條款15所述的系統(tǒng)，其中拓撲推斷利用相鄰相機相對方向地圖以及第一相 機和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。
[0193] 28、如條款15所述的系統(tǒng)，其中拓撲推斷輸出相機列表拓撲。
[0194] 29、一種相機設(shè)備，包括：
[0195] a.鏡頭；
[0196] b.傳感器，被配置為獲取視頻內(nèi)容；
[0197] c.非臨時性存儲器，用于存儲應(yīng)用，該應(yīng)用用于：
[0198] i.接收視頻內(nèi)容；
[0199] i i .執(zhí)行視頻內(nèi)容的背景提?。?br>[0200] i i i.執(zhí)行成對相機對應(yīng)提??；
[0201 ] iv.識別多個相機設(shè)備中的相鄰相機；
[0202] V.確定相鄰相機定位;和 [0203] vi.執(zhí)行相機列表拓撲推斷；以及
[0204] d.耦合到存儲器的處理組件，該處理組件被配置為處理該應(yīng)用。
[0205] 30、如條款29所述的相機設(shè)備，其中應(yīng)用還被配置為準備設(shè)置和輸入。
[0206] 31、如條款29所述的相機設(shè)備，其中執(zhí)行背景提取包括背景建模和確定可靠的移 動對象。
[0207] 32、如條款29所述的相機設(shè)備，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域 的背景提取輸出。
[0208] 33、如條款29所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān) 鍵點檢測、關(guān)鍵點描述符提取和成對對應(yīng)。
[0209] 34、如條款32所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和 圖像作為輸入。
[0210] 35、如條款29所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二 相機之間的對應(yīng)的關(guān)鍵點。
[0211] 36、如條款35所述的相機設(shè)備，其中識別相鄰相機利用第一相機和第二相機之間 的關(guān)鍵點作為輸入。
[0212] 37、如條款29所述的相機設(shè)備，其中識別相鄰相機輸出二進制相鄰相機地圖。
[0213] 38、如條款37所述的相機設(shè)備，其中確定相鄰相機定位利用相機的移動對象區(qū)域、 第一相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。
[0214] 39、如條款38所述的相機設(shè)備，其中確定相鄰相機定位輸出相鄰相機相對方向地 圖。
[0215] 40、如條款29所述的相機設(shè)備，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接 近鄰居細化和后關(guān)系交換。
[0216] 41、如條款29所述的相機設(shè)備，其中拓撲推斷利用相鄰相機相對方向地圖以及第 一相機和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。
[0217] 42、如條款29所述的相機設(shè)備，其中拓撲推斷輸出相機列表拓撲。
[0218] 本發(fā)明已根據(jù)具體實施例并結(jié)合細節(jié)進行了描述，以便于對本發(fā)明構(gòu)造和操作原 理的理解。本文對具體實施例及其細節(jié)的這種引用不是意圖限制權(quán)利要求的范圍。對于本 領(lǐng)域技術(shù)人員來說，很顯然，在不背離由權(quán)利要求所定義的本發(fā)明的精神和范圍的情況下， 可以在所選擇的用于說明的實施例中進行各種修改。
【主權(quán)項】
1. 一種方法，包括： a. 執(zhí)行背景提??； b. 執(zhí)行成對相機對應(yīng)提取； c. 識別相鄰相機； d. 確定相鄰相機定位；以及 e. 執(zhí)行相機列表拓撲推斷。2. 如權(quán)利要求1所述的方法，還包括準備設(shè)置和輸入。3. 如權(quán)利要求1所述的方法，其中執(zhí)行背景提取包括背景建模和確定可靠的移動對象。4. 如權(quán)利要求1所述的方法，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域的背景 提取輸出。5. 如權(quán)利要求1所述的方法，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān)鍵點檢 測、關(guān)鍵點描述符提取和成對對應(yīng)。6. 如權(quán)利要求4所述的方法，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和圖像作 為輸入。7. 如權(quán)利要求1所述的方法，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機之 間的對應(yīng)的關(guān)鍵點。8. 如權(quán)利要求7所述的方法，其中識別相鄰相機利用第一相機和第二相機之間的關(guān)鍵 點作為輸入。9. 如權(quán)利要求1所述的方法，其中識別相鄰相機輸出二進制相鄰相機地圖。10. 如權(quán)利要求9所述的方法，其中確定相鄰相機定位利用相機的移動對象區(qū)域、第一 相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。11. 如權(quán)利要求10所述的方法，其中確定相鄰相機定位輸出相鄰相機相對方向地圖。12. 如權(quán)利要求1所述的方法，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰 居細化和后關(guān)系交換。13. 如權(quán)利要求1所述的方法，其中拓撲推斷利用相鄰相機相對方向地圖以及第一相機 和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。14. 如權(quán)利要求1所述的方法，其中拓撲推斷輸出相機列表拓撲。15. -種系統(tǒng)，包括： a. 多個相機設(shè)備，其中每個相機設(shè)備都被配置為捕獲視頻內(nèi)容；以及 b. 計算設(shè)備，被配置為： i.接收視頻內(nèi)容； i i .執(zhí)行視頻內(nèi)容的背景提?。?i i i .執(zhí)行成對相機對應(yīng)提??； iv. 識別所述多個相機設(shè)備中的相鄰相機； v. 確定相鄰相機定位；以及 vi. 執(zhí)行相機列表拓撲推斷。16. 如權(quán)利要求15所述的系統(tǒng)，其中計算設(shè)備還被配置為準備設(shè)置和輸入。17. 如權(quán)利要求15所述的系統(tǒng)，其中執(zhí)行背景提取包括背景建模和確定可靠的移動對 象。18. 如權(quán)利要求15所述的系統(tǒng)，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域的背 景提取輸出。19. 如權(quán)利要求15所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān)鍵點 檢測、關(guān)鍵點描述符提取和成對對應(yīng)。20. 如權(quán)利要求18所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和圖像 作為輸入。21. 如權(quán)利要求15所述的系統(tǒng)，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二相機 之間的對應(yīng)的關(guān)鍵點。22. 如權(quán)利要求21所述的系統(tǒng)，其中識別相鄰相機利用第一相機和第二相機之間的關(guān) 鍵點作為輸入。23. 如權(quán)利要求15所述的系統(tǒng)，其中識別相鄰相機輸出二進制相鄰相機地圖。24. 如權(quán)利要求23所述的系統(tǒng)，其中確定相鄰相機定位利用相機的移動對象區(qū)域、第一 相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。25. 如權(quán)利要求24所述的系統(tǒng)，其中確定相鄰相機定位輸出相鄰相機相對方向地圖。26. 如權(quán)利要求15所述的系統(tǒng)，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接近鄰 居細化和后關(guān)系交換。27. 如權(quán)利要求15所述的系統(tǒng)，其中拓撲推斷利用相鄰相機相對方向地圖以及第一相 機和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。28. 如權(quán)利要求15所述的系統(tǒng)，其中拓撲推斷輸出相機列表拓撲。29. -種相機設(shè)備，包括： a ·鏡頭； b. 傳感器，被配置為獲取視頻內(nèi)容； c. 處理組件，被配置用于： i.接收視頻內(nèi)容； i i .執(zhí)行視頻內(nèi)容的背景提?。?iii .執(zhí)行成對相機對應(yīng)提??； iv. 識別多個相機設(shè)備中的相鄰相機； v. 確定相鄰相機定位;和 vi. 執(zhí)行相機列表拓撲推斷。30. 如權(quán)利要求29所述的相機設(shè)備，其中所述處理組件還被配置為準備設(shè)置和輸入。31. 如權(quán)利要求29所述的相機設(shè)備，其中執(zhí)行背景提取包括背景建模和確定可靠的移 動對象。32. 如權(quán)利要求29所述的相機設(shè)備，其中執(zhí)行背景提取生成包括相機的移動對象區(qū)域 的背景提取輸出。33. 如權(quán)利要求29所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取包括利用子采樣的關(guān) 鍵點檢測、關(guān)鍵點描述符提取和成對對應(yīng)。34. 如權(quán)利要求32所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取利用背景提取輸出和 圖像作為輸入。35. 如權(quán)利要求29所述的相機設(shè)備，其中執(zhí)行成對相機對應(yīng)提取輸出第一相機和第二 相機之間的對應(yīng)的關(guān)鍵點。36. 如權(quán)利要求35所述的相機設(shè)備，其中識別相鄰相機利用第一相機和第二相機之間 的關(guān)鍵點作為輸入。37. 如權(quán)利要求29所述的相機設(shè)備，其中識別相鄰相機輸出二進制相鄰相機地圖。38. 如權(quán)利要求37所述的相機設(shè)備，其中確定相鄰相機定位利用相機的移動對象區(qū)域、 第一相機和第二相機之間的對應(yīng)的關(guān)鍵點以及二進制相鄰相機地圖作為輸入。39. 如權(quán)利要求38所述的相機設(shè)備，其中確定相鄰相機定位輸出相鄰相機相對方向地 圖。40. 如權(quán)利要求29所述的相機設(shè)備，其中拓撲推斷包括利用循環(huán)求解的關(guān)系交換、最接 近鄰居細化和后關(guān)系交換。41. 如權(quán)利要求29所述的相機設(shè)備，其中拓撲推斷利用相鄰相機相對方向地圖以及第 一相機和第二相機之間的對應(yīng)的關(guān)鍵點作為輸入。42. 如權(quán)利要求29所述的相機設(shè)備，其中拓撲推斷輸出相機列表拓撲。43. -種裝置，包括用于執(zhí)行如權(quán)利要求1-14中的任一項所述的方法的步驟的部件。
【文檔編號】G06T7/20GK105844661SQ201610074553
【公開日】2016年8月10日
【申請日】2016年2月3日
【發(fā)明人】劉正, 劉正一, A·布萊斯托弗
【申請人】索尼公司