在視差圖中的對象跟蹤方法和系統(tǒng)的制作方法
【專利摘要】提供一種對象跟蹤方法和系統(tǒng)，該方法包括：檢測在第一視差圖中的第一檢測對象且獲得第一檢測對象的位置；將第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的第一檢測相對位置；基于第一檢測相對位置和第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于第一檢測對象的第一預估對象的預估位置；檢測在第二視差圖中的第二檢測對象且獲得第二檢測對象的位置；將第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的第二檢測相對位置；基于第一預估對象的預估位置以及第二檢測對象的第二檢測相對位置，來確定第一檢測對象與第二檢測對象之間的跟蹤匹配關系。
【專利說明】在視差圖中的對象跟蹤方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及圖像處理領域，且更具體地，涉及一種在視差圖中的對象跟蹤方法和系統(tǒng)。
【背景技術】
[0002]當今，立體圖像技術是計算機視覺的一個重要分支，它可在多種條件下靈活地獲得景物的立體視覺信息、尤其是雙目視覺信息，相對單目圖像而言有著不可比擬的優(yōu)勢，是圖像處理和計算機視覺領域的前沿研究方向。具體地，通過立體信息、諸如視差圖來進行對象(例如，道路上的車，人等)跟蹤，也在交通監(jiān)視、輔助駕駛，汽車檢測和跟蹤，駕駛警報系統(tǒng)、機器人視覺導航、工業(yè)產品檢測、醫(yī)療診斷、虛擬現(xiàn)實等領域有著非常重要的實用價值和廣闊的發(fā)展前景。
[0003]立體視覺的基本原理是從兩個(或多個)視點觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測量原理計算圖像像素之間的位置偏差(視差(disparity))來獲取景物的三維立體信息。這一過程與人類視覺的立體感知過程類似。通常，例如用左右兩個攝像機來測量環(huán)境中任意一點或一個對象的三維立體信息，從而得到視差圖。
[0004]視差圖是以左右圖像對(例如，左攝像機拍攝的圖像和右攝像機拍攝的圖像)的對應點的橫坐標的差異形成的圖像。當然，本領域中有許多其他方法來得到視差圖，在此不贅述。由于視差圖包含了場景的距離信息，因此基于視差圖進行一系列應用、特別是進行對象跟蹤，一直是雙目視覺研究中最為活躍的領域。
[0005]現(xiàn)有技術中已經提出了利用視差圖來跟蹤對象的一些方法。
[0006]例如，在2011年9月22日公開的美國專利申請US 2011228100 Al(題為“ObjectTracking Device and Method of Controlling Operation of the Same，，)中公開了一種對象跟蹤技術。其從例如車輛上安裝的兩個成像裝置拍攝的三維對象圖像中生成示出了該對象的每個像素的視差的視差圖，確定檢測范圍，以便從生成的視差圖中消除在深度方向上在跟蹤對象、例如彳丁人如面的其他對象，然后在確定的檢測范圍內檢測跟蹤對象、例如打人，這樣，可以防止檢測到位于跟蹤對象、例如行人前面的騎自行車的人。但是，該技術只考慮了如何確定跟蹤對象在深度方向上的檢測范圍(即對象與成像裝置之間的距離的范圍)，但是該技術并不考慮拍攝視差圖的車輛左右轉彎或車輛上下顛簸時對跟蹤對象的影響。
[0007]另外，在2011年7月5日公告的美國專利US7974442B2(題為“Vehicular VisionSystem”)中公開了一種用于識別和分類車輛附近的對象(目標)的車輛視覺系統(tǒng)。該系統(tǒng)包括產生用以生成車輛附近場景的深度圖的圖像的傳感器陣列，處理該深度圖且將其與車輛附近可能出現(xiàn)的目標對象的預先呈現(xiàn)的模板相比較，通過將預先呈現(xiàn)的模板與該深度圖相匹配來產生目標列表，該系統(tǒng)處理該目標列表來產生目標大小和分類評估，然后，當該目標靠近該車輛移動時，跟蹤該目標，且確定目標的位置、分類和速度。該專利僅使用預先呈現(xiàn)的模板來與深度圖進行比較，也不考慮拍攝視差圖的車輛左右轉彎或車輛上下顛簸時對跟蹤對象的影響。[0008]然而，在拍攝視差圖的車輛行駛過程中，總可能產生一些問題來影響視差圖的拍攝和對象的跟蹤。例如，在裝載雙目攝像機的車輛轉彎或由于路面凹凸不平而產生顛簸時，即使該對象相對于該車輛的位置不變，所拍攝的視差圖中所表現(xiàn)的對象的圖像位置也可能發(fā)生很大變化。在這種情況下，現(xiàn)有技術中提出的技術則不能更準確地跟蹤該對象。
[0009]因此，需要一種基于視差圖來準確地跟蹤對象的方法和系統(tǒng)。

【發(fā)明內容】

[0010]為了解決上述問題，根據(jù)本發(fā)明的一個方面，提供一種在視差圖中的對象跟蹤方法，包括以下步驟:第一檢測步驟，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置；第一轉換步驟，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置；預估步驟，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置；第二檢測步驟，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置；第二轉換步驟，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置；確定步驟，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0011]優(yōu)選地，所述第一預定參考點的坐標可以包括在第一視差圖中的道路的消失點的橫坐標和縱坐標中的至少一個，且所述第二預定參考點的坐標包括在第二視差圖中的同一道路的消失點的橫坐標和縱坐標中的至少一個。
[0012]優(yōu)選地，所述第一檢測步驟還可以獲得各個第一檢測對象的大小，其中，各個第一檢測對象的大小用作各個第一預估對象的大小，且第二檢測步驟還獲得各個第二檢測對象的大小。
[0013]優(yōu)選地，所述確定步驟可以基于各個第一預估對象的預估位置和大小以及各個第二檢測對象的第二檢測相對位置和大小，來確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0014]優(yōu)選地，所述確定步驟可以包括以下步驟:基于各個第一預估對象的預估位置和大小以及所述各個第二檢測對象的第二檢測相對位置和大小，針對每個第一預估對象，計算每個第一預估對象與各個第二檢測對象在水平面上重疊的面積；如果一個第一預估對象與第二檢測對象之一在所述水平面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述第二檢測對象之一是匹配的。
[0015]優(yōu)選地，所述確定步驟還可以包括以下步驟:如果一個第一預估對象與兩個以上第二檢測對象在所述水平面上重疊的面積都最大，則計算該第一預估對象與兩個以上第二檢測對象在深度面上重疊的面積；如果該第一預估對象與所述兩個以上第二檢測對象之一在深度面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述兩個以上第二檢測對象之一是匹配的。
[0016]優(yōu)選地，所述確定步驟還可以包括以下步驟:計算未匹配的每個所述第一預估對象的預估位置與未匹配的各個第二檢測對象的第二檢測相對位置之間的最小距離；如果該計算的最小距離小于預定閾值，則確定與該第一預估對象對應的第一檢測對象與具有最小距離的第二檢測對象是匹配的。
[0017]優(yōu)選地，所述預定閾值可以是基于與所述第一預估對象對應的第一檢測對象的最大運動速度來確定的。
[0018]優(yōu)選地，所述確定步驟還可以包括以下步驟:如果一個第一檢測對象不與任何第二檢測對象匹配，則確定該第一檢測對象在第二視差圖中消失，以及如果一個第二檢測對象不與任何第一檢測對象匹配，則確定該第二檢測對象在第二視差圖中是新對象。
[0019]優(yōu)選地，在本方法中，在確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系之后，可以基于各個第一檢測對象的第一相對檢測位置和與其匹配的各個第二檢測對象的第二相對檢測位置，校正各個第一檢測對象的預定運動方向和預定運動速度，作為與其匹配的各個第二檢測對象的預定運動方向和預定運動速度。
[0020]根據(jù)本發(fā)明的另一方面，提供一種在視差圖中的對象跟蹤系統(tǒng)，包括:第一檢測裝置，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置；第一轉換裝置，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置；預估裝置，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置；第二檢測裝置，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置；第二轉換裝置，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置；確定裝置，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0021]通過本公開的技術方案，可以基于視差圖來更準確地跟蹤對象。
【專利附圖】

【附圖說明】
[0022]現(xiàn)在將參考附圖僅通過例子描述本發(fā)明的優(yōu)選實施例，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯，在附圖中:
[0023]圖1是示例性地示出實踐本發(fā)明的示例車輛系統(tǒng)的示意圖；
[0024]圖2是示例性地示出在車輛轉彎或由于路面凹凸不平而產生顛簸時所拍攝得到的視差圖中所表現(xiàn)的對象的圖像位置的變化的示意圖；
[0025]圖3是示例性地示出根據(jù)本發(fā)明的一個實施例的在視差圖中的對象跟蹤方法的流程圖；
[0026]圖4是示例性地示出根據(jù)本發(fā)明的另一個實施例的在視差圖中的對象跟蹤系統(tǒng)的方框圖；
[0027]圖5(a)_5(c)分別示例性地示出了雙目攝像機分別在第t_l幀、第t幀、第t+Ι幀拍攝得到的視差圖和灰度圖；
[0028]圖6 (a) -6 (d)是示例性地示出了第t_l幀中將檢測到的對象區(qū)域轉換為基于道路消失點的對象區(qū)域的示意圖；
[0029]圖7示例性地示出根據(jù)第t-Ι幀中的基于道路消失點的對象區(qū)域而預估的第t幀中的基于道路消失點的對象區(qū)域；[0030]圖8(a)_(d)是示例性地示出了第t幀中將檢測到的對象區(qū)域轉換為基于道路消失點的對象區(qū)域的示意圖；
[0031]圖9(a)和(b)是示例性地示出在確定第t-Ι幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系時使用的兩個方法的示意圖；
[0032]圖10 (a)-(c)是示例性地示出在確定第t_l幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系時的另一方法的示意圖；
[0033]圖11 (a)-(b)是示例性地示出在確定第t-Ι幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系之后得到的匹配的對象的區(qū)域的示意圖；
[0034]圖12示例性地示出校正第t-Ι幀中檢測的各個對象的預定移動距離，作為與其匹配的第t幀中檢測的各個對象的預定移動距離；以及
[0035]圖13(a)_(e)是示例性地示出利用校正后的預定距離來對第t+1幀確定跟蹤匹配關系的不意圖。
【具體實施方式】
[0036]下面將參照附圖更詳細地描述本公開的優(yōu)選實施方式。雖然附圖中顯示了本公開的優(yōu)選實施方式，然而應該理解，可以以各種形式實現(xiàn)本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且本領域的技術人員能夠在閱讀了本公開之后清楚本公開中未描述的其他實施方式也在本公開的范圍之內。
[0037]圖1是示例性地示出實踐本發(fā)明的示例車輛系統(tǒng)的示意圖。
[0038]在圖1中，在例如車輛上安裝雙目攝像機，以便在車輛行駛過程中拍攝(例如圖1中所示的)左圖像和右圖像。從所拍攝的左圖像和右圖像中生成視差圖。在此，從所拍攝的左圖像和右圖像中生成視差圖的方式是本領域技術人員公知的，因此不贅述。從而，間隔預定時間(例如在25幀/秒的情況下，間隔1/25秒)進行這種拍攝，使得將生成的兩個或更多視差圖輸入處理器中，進行確定道路上的行人或車輛等對象在該預定時間(例如1/25秒)期間的跟蹤匹配關系，即確定道路上的行人或車輛等對象在該預定時間(例如1/25秒)之后是否仍然能跟蹤到。
[0039]當然，在車輛上應用本發(fā)明的對象跟蹤方法和系統(tǒng)僅是示例的一個例子，基于實際需求、例如交通監(jiān)視、機器人視覺導航、工業(yè)產品檢測、醫(yī)療診斷、虛擬現(xiàn)實等等，還可以在其他物體上應用本發(fā)明的對象跟蹤方法和系統(tǒng)以達到對象跟蹤和定位的目的。
[0040]圖2是示例性地示出在車輛轉彎或由于路面凹凸不平而產生顛簸時所拍攝得到的視差圖中所表現(xiàn)的對象的圖像位置的變化的示意圖。
[0041]正如在【背景技術】中闡述的，在現(xiàn)實中可能出現(xiàn)這樣一種情況:在車輛轉彎或由于路面凹凸不平而產生顛簸時所拍攝得到的視差圖中所表現(xiàn)的對象的圖像位置會發(fā)生巨大變化。如圖2所示，圖2的上部示出了當前幀的視差圖，假設跟蹤的對象是上部左側的圓圈所圈住的部分。在車輛向右轉彎時，見圖2的下部，可以看到，跟蹤的對象向左偏移了一定的距離。在這種情況下，現(xiàn)有技術中提出利用對象的深度的技術則不能準確地跟蹤該對象。
[0042]而本公開的實施例則在上述情況下也能實現(xiàn)良好的對象跟蹤效果。
[0043]圖3是示例性地示出根據(jù)本發(fā)明的一個實施例的在視差圖中的對象跟蹤方法300的流程圖。[0044]該對象跟蹤方法300包括:第一檢測步驟(S301)，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置；第一轉換步驟(S302)，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置；預估步驟(S303)，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置；第二檢測步驟(S304)，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置；第二轉換步驟(S305)，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置；確定步驟(S306)，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0045]在一個實施例中，所述確定步驟還可以包括以下步驟:計算未匹配的每個所述第一預估對象的預估位置與未匹配的各個第二檢測對象的第二檢測相對位置之間的最小距離；如果該計算的最小距離小于預定閾值，則確定與該第一預估對象對應的第一檢測對象與具有最小距離的第二檢測對象是匹配的。
[0046]例如，通常假設例如跟蹤對象與例如安裝有雙目攝像機的車輛的相對行駛速度最大為60km/h (例如，在標有60-120km/h的車道中)，則在預定時間間隔(例如1/25秒)內，用最大速度乘以時間間隔，可以得到跟蹤對象在此期間相對于車輛行進的最大距離約為6米。在該情況下，可以將上述預定閾值設置為6米。那么，如果預估對象與檢測對象之間的距離大于6米，則預估對象與檢測對象是匹配的跟蹤對象的概率就極小，可以認為兩者是不匹配的。而如果預估對象與檢測對象之間的距離小于6米，則可以認為兩者是匹配的。
[0047]當然，上述預定閾值不限于通過最大相對行駛速度來設置，其也可以是通過經驗值來設置的，也可以是通過統(tǒng)計數(shù)據(jù)來設置的，等等，本公開不限于此。
[0048]上述第一視差圖中的第一預定參考點和第二視差圖中的第二預定參考點可以相互關聯(lián)，且可以指示同一物理含義。例如，該第一預定參考點和第二預定參考點可以是、但不限于道路的消失點，其還可以是其他具有相同物理含義的點，例如太陽的點等。
[0049]在一個實施例中，所述第一預定參考點的坐標可以包括在第一視差圖中的道路的消失點的橫坐標和縱坐標中的至少一個，且所述第二預定參考點的坐標包括在第二視差圖中的同一道路的消失點的橫坐標和縱坐標中的至少一個。
[0050]也就是說，考慮該第一預定參考點或第二預定參考點時并不只是考慮它們的完整的精確位置。例如，在主要考慮例如車輛的左右轉彎的情況下，這些預定參考點的位置的橫坐標將更為重要，且可以只使用這些預定參考點的位置的橫坐標，而同理，在主要考慮例如車輛的上下顛簸的情況下，這些預定參考點的位置的縱坐標將更為重要，且可以只使用這些預定參考點的位置的縱坐標，同理，在考慮例如車輛的左右轉彎和上下顛簸等兩者的情況下可以同時使用這些預定參考點的位置的橫坐標和縱坐標。
[0051]在基于相隔一定時間間隔而兩次拍攝視差圖所處的情況下的兩個預定參考點將兩次拍攝的視差圖分別轉換為基于這兩個預定參考點的視差圖，使得在確定對象跟蹤關系時，可以消除車輛的左右轉彎和/或上下顛簸對拍攝的視差圖造成的偏移影響。
[0052]在一個實施例中，所述第一檢測步驟還可以獲得各個第一檢測對象的大小，其中，各個第一檢測對象的大小用作各個第一預估對象的大小，且第二檢測步驟還獲得各個第二檢測對象的大小。
[0053]例如，這樣的大小可以包括對象的寬、高、深度，來指示立體大小。
[0054]在一個實施例中，所述確定步驟可以基于各個第一預估對象的預估位置和大小以及各個第二檢測對象的第二檢測相對位置和大小，來確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0055]如果將對象的大小也作為確定對象跟蹤匹配關系的一個條件，可以更準確地確定對象是否匹配。
[0056]在一個實施例中，所述確定步驟可以包括以下步驟:基于各個第一預估對象的預估位置和大小以及所述各個第二檢測對象的第二檢測相對位置和大小，針對每個第一預估對象，計算每個第一預估對象與各個第二檢測對象在水平面上重疊的面積；如果一個第一預估對象與第二檢測對象之一在所述水平面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述第二檢測對象之一是匹配的。
[0057]計算每個第一預估對象與各個第二檢測對象在水平面上重疊的面積可以意味著只考慮各個對象的寬度和深度，而不考慮對象的高度。
[0058]在一個實施例中，所述確定步驟還可以包括以下步驟:如果一個第一預估對象與兩個以上第二檢測對象在所述水平面上重疊的面積都最大，則計算該第一預估對象與兩個以上第二檢測對象在深度面上重疊的面積；如果該第一預估對象與所述兩個以上第二檢測對象之一在深度面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述兩個以上第二檢測對象之一是匹配的。
[0059]計算每個第一預估對象與各個第二檢測對象在深度面上重疊的面積可以意味著只考慮各個對象的寬度和高度，而不考慮對象的深度。
[0060]在一個實施例中，所述確定步驟還可以包括以下步驟:計算未匹配的每個所述第一預估對象的預估位置與未匹配的各個第二檢測對象的第二檢測相對位置之間的最小距離；如果該計算的最小距離小于預定閾值，則確定與該第一預估對象對應的第一檢測對象與具有最小距離的第二檢測對象是匹配的。
[0061]此時，可以在計算水平面和深度面的重疊面積來確定對象匹配的步驟之后仍然沒有找到匹配對象的情況下，進行以下步驟。
[0062]例如，通常假設例如跟蹤對象與例如安裝有雙目攝像機的車輛的相對行駛速度最大為60km/h (例如，在標有60-120km/h的車道中)，則在預定時間間隔(例如1/25秒)內，用最大速度乘以時間間隔，可以得到跟蹤對象在此期間相對于車輛行進的最大距離約為6米。在該情況下，可以將上述預定閾值設置為6米。那么，如果預估對象與檢測對象之間的距離大于6米，則預估對象與檢測對象是匹配的跟蹤對象的概率就極小，可以認為兩者是不匹配的。而如果預估對象與檢測對象之間的距離小于6米，則可以認為兩者是匹配的。
[0063]也就是說，在一個實施例中，所述預定閾值可以是基于與所述第一預估對象對應的第一檢測對象的最大運動速度來確定的。
[0064]在此，需要指出的是，本文中提到的對象的運動速度、運動方向、移動距離等均是相對于用于拍攝視差圖的物體(例如雙目攝像機)的相對運動速度、運動方向、移動距離。
[0065]在一個實施例中，所述確定步驟還可以包括以下步驟:如果一個第一檢測對象不與任何第二檢測對象匹配，則確定該第一檢測對象在第二視差圖中消失，以及如果一個第二檢測對象不與任何第一檢測對象匹配，則確定該第二檢測對象在第二視差圖中是新對象。
[0066]這樣，可以得出，在第二視差圖中的哪些對象匹配在第一視差圖中已有的對象，SP在第二視差圖中跟蹤到了在第一視差圖中已有的對象；在第二視差圖中的哪些對象不匹配在第一視差圖中已有的對象，即這些對象是在第二視差圖中新出現(xiàn)的對象；第一視差圖中已有的哪些對象在第二視差圖中沒有匹配，即這些對象在第二視差圖中消失了。
[0067]在一個實施例中，在本方法中，在確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系之后，可以基于各個第一檢測對象的第一相對檢測位置和與其匹配的各個第二檢測對象的第二相對檢測位置，校正各個第一檢測對象的預定運動方向和預定運動速度，作為與其匹配的各個第二檢測對象的預定運動方向和預定運動速度。
[0068]這樣，通過得知了第一視差圖中的各個對象與第二視差圖中的各個對象的匹配關系，則可以得知各個匹配的對象在該預定時間間隔期間相對于例如安裝有雙目攝像機的車輛而移動的距離，則可以校正各個匹配的對象的運動方向和運動速度，以便在下一預定時間間隔期間使用該校正的運動方向和運動速度來計算各個對象相對于該車輛的移動距離，以預估在下一預定時間間隔之后各個對象相對于車輛的位置。如此，可以循環(huán)往復地在下一預定時間間隔期間繼續(xù)跟蹤各個對象。
[0069]如此，根據(jù)本發(fā)明的實施例，可以準確地進行對象跟蹤。
[0070]圖4是示例性地示出根據(jù)本發(fā)明的另一個實施例的在視差圖中的對象跟蹤系統(tǒng)400的方框圖。
[0071 ] 該對象跟蹤系統(tǒng)400包括:第一檢測裝置(401)，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置；第一轉換裝置(402)，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置；預估裝置(403)，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置；第二檢測裝置(404)，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置；第二轉換裝置(405)，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置；確定裝置(406)，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
[0072]當然，該對象跟蹤系統(tǒng)400還可以包括與上述對象跟蹤方法300的各個其他步驟一一對應的裝置，在此不贅述。
[0073]如此，根據(jù)本發(fā)明的實施例，可以準確地進行對象跟蹤。
[0074]下面參考一個具體例子來更詳細地說明本發(fā)明的對象跟蹤方法的各個步驟。
[0075]圖5(a)_5(c)分別示例性地示出了雙目攝像機分別在第t_l幀、第t幀、第t+Ι幀拍攝得到的(圖左側的)視差圖和(圖右側的)灰度圖。
[0076]假設安裝在車輛上的雙目攝像機以預定時間間隔(例如1/25秒)連續(xù)拍攝了三幀，即第t-1幀、第t幀、第t+i幀。當然，也可以按不同的時間間隔進行拍攝，本發(fā)明不限制該預定時間間隔，該預定時間間隔也可以是變化的，但在本公開中為了簡化描述，假設該預定時間間隔是固定的，因此利用對象的相對運動速度、方向可以計算出對象的相對移動距離，以用于在下一時間間隔中預估對象的位置，如稍后將詳細描述的。
[0077]接下來將詳細描述如何在第t-Ι幀、第t幀、第t+Ι幀之間匹配和跟蹤對象。
[0078]圖6 (a) -6 (d)是示例性地示出了第t_l幀中將檢測到的對象區(qū)域轉換為基于道路消失點的對象區(qū)域的示意圖。
[0079]首先，圖6 (a)示例性地示出了第t-Ι幀中檢測到的對象區(qū)域，見圖6 (a)中的方框標識。分別用標識1-10來標識這檢測的11個對象。
[0080]此處，在視差圖中檢測對象區(qū)域的一種方法可以在相同 申請人:于2011年11月18日向中國專利局提交的申請?zhí)枮?01110369183.0的題為“道路對象檢測方法和系統(tǒng)”的當前未公開專利申請中找到。在此，將該專利申請引用附于此。當然，本領域技術人員也可以使用其他或未來可能出現(xiàn)的檢測對象的方法來在第t-Ι幀中檢測對象。
[0081]圖6(b)示例性地示出了第t-Ι幀中檢測到的這11個對象的區(qū)域的具體位置和大小(X (pixel)，y (pixel)，z (mm), w(mm), h(mm)，I (mm)),其中 x、y 代表該對象的左上角頂點在拍攝的圖像中的橫坐標和縱坐標，z代表該對象的深度，即該對象與拍攝所使用的例如雙目攝像機之間的距離，而w代表該對象的寬度、h代表該對象的高度，I代表該對象本身的深度。如此，該X、y、z可以代表該對象的具體位置，而該w、h、I可以代表該對象的大小。
[0082]注意，在本發(fā)明中，可以僅使用對象的具體位置來進行跟蹤，也可以使用具體位置和大小兩者來進行跟蹤(稍后將具體描述)，而在圖6(b)中僅是為了便于描述和理解，示出了這些對象的區(qū)域的具體位置和大小兩者的例子，但本發(fā)明不限于此。
[0083]具體地，例如對象O的區(qū)域為(391，494，21455,495, 721，609)，也就意味著，該對象O的左上角頂點的位置為(x=391 (pixel), y=494 (pixel), z=21455 (mm)),且該對象的大小為(w=495 (mm)，h=721 (mm)，1=609 (mm))。當然，本公開的附圖中只給出了對象的左上角頂點的位置作為對象的位置，當然，本領域技術人員可以想到利用對象的中心點，右下角頂點等等其他點的位置作為對象的位置也是可能的。另外，對象1、對象2、對象3、對象4、對象5、對象6、對象7、對象8、對象9、對象10的各個具體位置和大小如圖6(b)所示，在此不
描述。
[0084]圖6 (C)示例性地示出了第t-Ι幀中的道路消失點。
[0085]正如先前所述的，應用于本發(fā)明的方法中的預定參考點不一定是道路消失點，而可以是具有其他物理含義的點，例如以太陽作為參考點等等。
[0086]在此，得到道路消失點的方法可以在相同 申請人:于2011年12月09日向中國專利局提交的申請?zhí)枮?01110409269.1的題為“基于視差信息的道路分割物檢測方法”的當前未公開專利申請、以及在2005年6月8日發(fā)表的Zhencheng Hu> Francisco Lamosa、Keiichi Uchimura 的題為 “U-V-disparity:an efficient algorithm for stereovisionbased scene analysis”(ISBN:0-7695-2327-7)中找到，在此，將這些文獻引用附于此。當然，本領域技術人員也可以使用其他或未來可能出現(xiàn)的得到道路消失點的方法來得到第t-1幀中的道路消失點的橫坐標或縱坐標。
[0087]圖6(d)示例性地示出了將第t-Ι幀中檢測到的對象區(qū)域轉換為基于該道路消失點的對象區(qū)域。
[0088]正如以上描述的，在主要考慮例如車輛的左右轉彎的情況下，這些預定參考點的位置的橫坐標將更為重要，且可以只使用這些預定參考點的位置的橫坐標，而同理，在主要考慮例如車輛的上下顛簸的情況下，這些預定參考點的位置的縱坐標將更為重要，且可以只使用這些預定參考點的位置的縱坐標，同理，在考慮例如車輛的左右轉彎和上下顛簸等兩者的情況下可以同時使用這些預定參考點的位置的橫坐標和縱坐標。
[0089]因此，示例地，在此，因為車輛的左右轉彎現(xiàn)象較為常見、且導致的對象偏移距離較大，因此在本公開中示例性地僅考慮道路消失點的橫坐標。在此，利用引用的申請?zhí)枮?01110409269.1的專利申請得到的道路消失點的橫坐標為xv=450 (pixel)。(當然，也可以通過V-視差圖(即沿圖像坐標系中的V坐標方向得到表示道路消失點的y坐標，即V-視差圖上道路線在視差值為O時的y的值，即為道路消失點的縱坐標。在此，本公開僅以得到道路消失點的橫坐標作為例子來進行闡述，但本公開不限于此。)
[0090]從圖6(d)中可以看出通過將圖6(b)中得到的檢測的每個對象區(qū)域的橫坐標X都減去道路消失點的橫坐標Xv=450 (pixel)來獲得基于該道路消失點的各個對象區(qū)域(X，，y, z, w, h, l) = (x-xv, y, z, w, h, I)。具體地，例如對于對象 O,將(391，494, 21455,495，721，609)減去 xv=450 (pixel)得到(-59，494，21455，495，721，609)。
[0091]當然，在另一實施例中，本發(fā)明不限于僅考慮道路消失點的橫坐標來消除雙目攝像機的左右偏移，也可以僅考慮道路消失點的縱坐標來消除雙目攝像機的上下偏移、或者考慮道路消失點的橫坐標和縱坐標兩者來消除雙目攝像機的左右偏移和上下偏移，本領域技術人員也很清楚在考慮道路消失點的縱坐標、或者考慮道路消失點的橫坐標和縱坐標兩者的情況下，如何得到基于該道路消失點的各個對象區(qū)域，在此不贅述。
[0092]通過轉換為基于道路消失點的對象區(qū)域，可以消除安裝有雙目攝像機的車輛的左右轉彎和/或上下顛簸等對所拍攝的圖像中檢測對象的位置的影響，從而能夠有助于更準確地確定對象跟蹤匹配關系。
[0093]圖7示例性地示出根據(jù)第t-Ι幀中的基于道路消失點的對象區(qū)域而預估的第t幀中的基于道路消失點的對象區(qū)域。
[0094]如果預定了第t-Ι幀中的各個對象的運動方向和運動速度，則可以通過第t_l幀和第t幀之間相隔的時間間隔來推算出各個對象在X、y、Z方向上的各自的移動距離(Δ X, Δ y, Δ z)0其中，該Δχ, Δ y, Δζ中的任一值、例如Δ χ取正值，對應于對象在χ軸上的運動方向為X軸的正方向，而例如Λ χ取負值對應于對象在X軸上的運動方向為X軸的負方向。這些各個對象的運動方向和運動速度可以預先設定，也可以通過公知方式計算、預測等等，在此不贅述。另外，在此僅描述了通過預定的運動方向和運動速度來計算移動距離，但是也可以直接在實施例中預定移動距離。在本公開中，運動速度和運動方向可以與(取正值或負值的)移動距離可互換地使用。
[0095]而且，假設第t-Ι幀中的基于道路消失點的對象的大小與預估的第t幀中的基于道路消失點的對象的大小相同，即wp=w, hp=h,且lp=l。
[0096]因此，根據(jù)第t-Ι幀中的基于道路消失點的對象區(qū)域而預估的第t幀中的基于道路消失點的對象區(qū)域為(X’ P, yp, Zp, wp, hp, Ip)= (χ’ + Δχ, y+Δy, ζ+Δ z, w, h, I)。
[0097]在本公開中，為了簡化計算和清楚地闡述本發(fā)明的原理，在第t-Ι幀中，將各個對象的預定運動方向和運動速度初始化為(0，0，0)，即假設初始時各個對象是相對于雙目攝像機靜止的。
[0098]因此，根據(jù)第t-Ι幀中的基于道路消失點的對象區(qū)域而預估的第t幀中的基于道路消失點的對象區(qū)域為(X’ P, yp, Zp, wp, hp, Ip)= (χ’ +0, y+0, z+0, w, h, I),從圖7可以看出，預估的第t幀中的基于道路消失點的對象區(qū)域與圖6(d)的對象區(qū)域相同。
[0099]圖8(a)_(d)是示例性地示出了第t幀中將檢測到的對象區(qū)域轉換為基于道路消失點的對象區(qū)域的示意圖。
[0100]圖8(a)示例性地示出第t幀中檢測到的對象區(qū)域，見圖8(a)中的方框標識。分別用標識A、B、C、D、E來標識這檢測的5個對象。
[0101]如前所述，此處，在視差圖中檢測對象區(qū)域的一種方法可以在相同 申請人:于2011年11月18日向中國專利局提交的申請?zhí)枮?01110369183.0的題為“道路對象檢測方法和系統(tǒng)”的當前未公開專利申請中找到。在此，將該專利申請引用附于此。當然，本領域技術人員也可以使用其他或未來可能出現(xiàn)的檢測對象的方法來在第t幀中檢測對象。
[0102]圖8(b)示例性地示出了第t幀中檢測到的這5個對象的區(qū)域的具體位置和大小(χ (pixel), y (pixel), z (mm), w(mm), h(mm), I (mm)),其中如前所述，x、y 代表該對象的左上角頂點在拍攝的圖像中的橫坐標和縱坐標，z代表該對象的深度，即該對象與拍攝所使用的例如雙目攝像機之間的距離，而w代表該對象的寬度、h代表該對象的高度，I代表該對象本身的深度。如此，該X、1、z可以代表該對象的具體位置，而該w、h、I可以代表該對象的大小。
[0103]注意，在本發(fā)明中，可以僅使用對象的具體位置來進行跟蹤，也可以使用具體位置和大小兩者來進行跟蹤，而在圖8(b)中僅是為了便于描述和理解，示出了這些對象的區(qū)域的具體位置和大小兩者的例子，但本發(fā)明不限于此。
[0104]圖8 (C)示例性地示出了第t幀中的道路消失點。
[0105]正如先前所述的，應用于本發(fā)明的方法中的預定參考點不一定是道路消失點，而可以是具有其他物理含義的點，例如以太陽作為參考點等等。
[0106]如前所述，得到道路消失點的方法可以在相同 申請人:于2011年12月09日向中國專利局提交的申請?zhí)枮?01110409269.1的題為“基于視差信息的道路分割物檢測方法”的當前未公開專利申請、以及在2005年6月8日發(fā)表的Zhencheng Hu> Francisco Lamosa、Keiichi Uchimura 的題為 “U-V-disparity:an efficient algorithm for stereovisionbased scene analysis”(ISBN:0-7695-2327-7)中找到，在此，將這些文獻引用附于此。當然，本領域技術人員也可以使用其他或未來可能出現(xiàn)的得到道路消失點的方法來得到第t幀中的道路消失點的橫坐標或縱坐標。
[0107]圖8(d)示例性地示出了將第t幀中檢測到的對象區(qū)域轉換為基于該道路消失點的對象區(qū)域。
[0108]正如以上描述的，在主要考慮例如車輛的左右轉彎的情況下，這些預定參考點的位置的橫坐標將更為重要，且可以只使用這些預定參考點的位置的橫坐標，而同理，在主要考慮例如車輛的上下顛簸的情況下，這些預定參考點的位置的縱坐標將更為重要，且可以只使用這些預定參考點的位置的縱坐標，同理，在考慮例如車輛的左右轉彎和上下顛簸等兩者的情況下可以同時使用這些預定參考點的位置的橫坐標和縱坐標。
[0109]因此，示例地，在此，因為車輛的左右轉彎現(xiàn)象較為常見、且導致的對象偏移距離較大，因此在本公開中先僅考慮道路消失點的橫坐標。在此，利用引用的申請?zhí)枮?01110409269.1的專利申請得到的道路消失點的橫坐標為Xv = 287 (pixel)。(當然，也可以通過V-視差圖(即沿圖像坐標系中的V坐標方向(縱坐標方向)，由上至下掃描，累加具有相同視差值的像素點的個數(shù)，而建立的V-視差圖)得到表示道路消失點的I坐標，即V-視差圖上道路線在視差值為O時的y的值，即為道路消失點的縱坐標。在此，本公開僅以得到道路消失點的橫坐標作為例子來進行闡述，但本公開不限于此。)
[0110]從圖8(d)中可以看出通過將圖8(b)中得到的檢測的每個對象區(qū)域的橫坐標X都減去道路消失點的橫坐標xv=287 (pixel)來獲得基于該道路消失點的各個對象區(qū)域(X’，y, z, w, h, I) = (x-xv, y, z, w, h, I)。具體地，例如對于對象 B，將(340，347，16248，2988，2227，5816)減去 xv=287(pixel)得到(53，347，16248，2988，2227，5816)。
[0111]當然，在另一實施例中，本發(fā)明不限于僅考慮道路消失點的橫坐標，也可以僅考慮道路消失點的縱坐標、或者考慮道路消失點的橫坐標和縱坐標兩者，本領域技術人員也很清楚在考慮道路消失點的縱坐標、或者考慮道路消失點的橫坐標和縱坐標兩者的情況下，如何得到基于該道路消失點的各個對象區(qū)域，在此不贅述。
[0112]圖9(a)和(b)是示例性地示出在確定第t-Ι幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系時使用的兩個方法的示意圖。
[0113]首先參考圖9 (a)，根據(jù)圖8 (d)所示的實際檢測的第t幀的基于道路消失點的對象區(qū)域(X’ ,y, z，w，h, I)(例如對象區(qū)域I)，可以得到圖9(a)左上的立方體，其中左上角頂點的坐標為(χ，，y，z),且該對象的立方體的寬為w (mm),高為h (mm),且深度為I (mm)。
[0114]根據(jù)圖7所示的根據(jù)第t-Ι幀預估的第t幀的基于道路消失點的對象區(qū)域(χ’ p, yp, zp, wp, hp, Ip)(例如對象區(qū)域B)，可以得到圖9(a)右下的立方體，其中左上角頂點的坐標為(x’p, yp, zp),且該對象的立方體的寬為wp (謹)，高為hp (謹),且深度為Ip (謹)。
[0115]如果不考慮對象的大小、即不考慮(w，h, I)以及(wp，hp，Ip)而僅考慮對象的位置、即僅考慮對象左上角頂點的位置(χ’，y，z)和(x’p，yp，zp)的情況下，該方法可以包括計算每個基于第t-l幀而預估的第t幀的對象的位置(χ’ p, yp, zp)與各個第t幀中實際檢測的對象的位置(x’，y，z)之間的最小距離；如果該計算的最小距離小于預定閾值，則確定與第t-l幀中檢測的該對象與第t幀中檢測的該對象是匹配的。
[0116]也就是說，具體地,例如，通過=水x’-x'p )2 + (V — yp)2+(z-zp f來計算基于第
t-l幀而預估的第t幀的對象I的一個位置(χ’ p, yp, zp)與各個第t幀中實際檢測的各個對象B、C、E、A、D的位置(χ，，y，z)之間的距離d。然后，得到這些距離d中的最小距離dmin(例如，假設，對象I與對象B的左上角頂點的距離d最小)，并將這些距離中的最小距離Clniin與預定閾值相比較，如果該最小距離dmin小于預定閾值，則確定第t-l幀的該對象I與該第t幀的具有最小距離Clniin的對象(例如為對象B)相匹配。
[0117]當然計算兩個對象之間的距離的方式不限于此，也可以通過除了左上角頂點以外的其他點之間的距離來計算，在此不贅述。
[0118]也就是說，只考慮對象的位置，也可以進行本公開實施的對象跟蹤方法。
[0119]圖9(b)是示出了不僅考慮對象左上角頂點的位置(x’，y，z)和(x’p，yp，zp)、也考慮對象的大小(w，h, I)以及(wp，hp, Ip)的情況下計算兩個對象的距離的示意圖。
[0120]參考圖9 (b)，根據(jù)圖8 (d)所示的實際檢測的第t幀的基于道路消失點的對象區(qū)域(x’，y，z，w，h，I)(例如對象區(qū)域I)，可以得到圖9(b)左上的立方體，其中左上角頂點的坐標為(X，，y，z),且該對象的立方體的寬為W (mm),高為h (mm),且深度為I (mm)。該實際檢測的第t幀的對象區(qū)域的中心點為C。
[0121]根據(jù)圖7所示的根據(jù)第t-l幀預估的第t幀的基于道路消失點的對象區(qū)域(χ’ p, yp, zp, wp, hp, Ip)(例如對象區(qū)域B)，可以得到圖9(b)右下的立方體，其中左上角頂點的坐標為(x’p, yp, zp),且該對象的立方體的寬為wp (謹)，高為hp (謹),且深度為Ip (謹)。該預估的第t幀的對象區(qū)域的中心點為Cp。
[0122]例如，為了計算c與Cp之間的距離，通過公式
[0123]d =」(x'+w/2~(xp + wp/2))2 + (v + Λ/2-(νρ +hp /2))2 + (z + w/2-(ζρ + IpI2))2 ,
計算兩個立體對象(例如對象I分別與各個對象B、C、E、A、D)的立體中心點之間的距離d。然后，得到這些距離d中的最小距離Clniin(例如，假設對象I與對象B的中心點的距離最小)，并將這些距離中的最小距離dmin與預定閾值相比較，如果該最小距離dmin小于預定閾值，則確定第t-l幀的該對象I與該第t幀的具有最小距離dmin的對象(例如為對象B)相匹配。
[0124]當然計算兩個對象之間的距離的方式不限于此，也可以通過除了立體中心點以外的其他點之間的距離來計算，在此不贅述。
[0125]在確定了所有預估對象1、2……10與檢測對象A、B……E之間的匹配關系之后，如果一個預估對象不與任何檢測對象匹配，則確定與該預估對象對應的檢測對象在第t幀中消失，以及如果一個檢測對象不與任何預估對象匹配，則確定該檢測對象在第t幀中是新對象。
[0126]這樣，可以比圖9(a)所示的方法更精確地確定兩個對象在立體空間中的距離，以進一步確定跟蹤匹配關系。
[0127]以上，可以用簡化的計算來得到第t幀中預估的對象與實際檢測的對象之間的跟蹤匹配關系，作為與第t幀中預估的對象對應的第t-l幀中的實際檢測對象與第t幀中實際檢測的對象之間的跟蹤匹配關系。
[0128]下面，介紹用稍微復雜的計算來更精確地得到第t-l幀中的實際檢測對象與第t幀中實際檢測的對象之間的跟蹤匹配關系的另一種方法。
[0129]圖10 (a)-(c)是示例性地示出在確定第t_l幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系時的另一種方法的示意圖。
[0130]在得到如圖9(b)所示的實際檢測的第t幀的基于道路消失點的對象區(qū)域(χ’，y，z，w，h，I)(例如對象區(qū)域I)，其中左上角頂點的坐標為(χ’，y，z)，且該對象的立方體的寬為w (mm),高為h (mm),且深度為I (mm),以及根據(jù)第t-Ι幀預估的第t幀的基于道路消失點的對象區(qū)域(χ’ p, yp, zp, wp, hp, lp)(例如對象區(qū)域B)，其中左上角頂點的坐標為(χ，P, yp, zp),且該對象的立方體的寬為wp (mm),高為hp (mm),且深度為Ip (mm)。
[0131]為了確定實際檢測的第t幀的基于道路消失點的對象區(qū)域(例如對象I)與根據(jù)第t-l幀預估的第t幀的基于道路消失點的對象區(qū)域(例如對象B)之間的跟蹤匹配關系，可以分別經過如下步驟(當然也可以僅經過如下步驟之一，這些步驟的順序也不限制):
[0132]基于各個預估對象的預估位置(例如X’ p, yp, Zp)和大小(例如Wp, hp, Ip)以及所述各個檢測對象的相對位置(例如X’，y, Z)和大小(例如w，h, I)，針對每個預估對象(例如，對象0、1、2……10)，計算每個預估對象與各個檢測對象(例如對象B、C、E、A、D)在U-視差圖(即，水平面)上重疊的面積。[0133]其中，U-視差圖意味著在水平面上的，從上往下看去的各個對象的樣子，如圖10(a)所示，可見從上往下看上去，在水平面上，只考慮對象的寬w和Wp以及對象的深度I和lp，而看不到、也不考慮對象的聞度h和hp。
[0134]然后，如果一個預估對象(例如對象I)與檢測對象(例如對象B、C、E、A、D)之一(例如對象B)在U-視差圖上重疊的面積最大，則確定與該預估對象(例如對象I)對應的第t-1幀中的檢測對象(例如仍然是對象I)與第t幀中的檢測對象之一(例如對象B)是匹配的。
[0135]具體地，參考圖10(a)，在計算例如對象I與例如對象B在U-視差圖上重疊的面積(如圖10(a)中陰影部分的面積)時,可以通過公式Su=(x’+w - X’p) X (zp+lp-z)來計算。在分別計算了對象I與對象B、對象I與對象C、對象I與對象E、對象I與對象A、對象I與對象D的所有)在U-視差圖上重疊的面積之后，則確定在U-視差圖上重疊的面積最大的對象(例如對象B)作為與對象I相匹配的對象。
[0136]如此，僅利用U-視差圖上的重疊面積的計算已經可以確定是否匹配這些對象了。這種U-視差圖由于僅考慮從上向下看去的對象的樣子，因此可以適當?shù)叵p目攝像機的上下偏移而導致的誤差。而且，在結合了之前基于道路消失點的轉換以消除了雙目攝像機左右偏移而導致的誤差的情況下，該實施例可以同時消除雙目攝像機的上下偏移和左右偏移造成的影響。
[0137]但是，有時候，這樣的在U-視差圖上重疊的面積不一定只有一個最大值，如果一個預估對象與兩個以上檢測對象在所述U-視差圖上重疊的面積都最大，則可以計算該預估對象與兩個以上檢測對象在X-Y-視差圖(即深度面)上重疊的面積。其中X-Y-視差圖意味著在深度面上的，從前往后看去的各個對象的樣子，如圖10(b)所示，可見從從前往后看去，在深度面上，只考慮對象的寬W和Wp以及對象的高度h和hp，而看不到、也不考慮對象的深度I和lp。
[0138]如果該預估對象與所述兩個以上檢測對象之一在X-Y-視差圖上重疊的面積最大，則確定與該預估對象對應的第t-Ι幀中的檢測對象與第t幀中的所述兩個以上檢測對象之一是匹配的。
[0139]具體地，參考圖10(b)，在計算預估對象與檢測對象在X-Y-視差圖上重疊的面積(如圖10(b)中陰影部分的面積)時,可以通過公式Sx_y=(x’ +w - X’p) X (yp+hp_y)來計算。在分別計算了預估對象與該兩個以上檢測對象在X-Y-視差圖上重疊的面積之后，則確定在X-Y-視差圖上重疊的面積最大的一個檢測對象作為與預估對象相匹配的對象，即可以確定與該預估對象對應的第t-1幀中的檢測對象與第t幀中的該檢測對象是匹配的。
[0140]例如，在經過了 U-視差圖和X-Y視差圖上的重疊面積的計算之后，通過本公開中公開的各個對象區(qū)域的具體數(shù)值，可以得到對象B和1、對象C和2在U-視差圖和/或X-Y-視差圖中的重疊面積都大于0，其他重疊面積都是0，因此可以得到對象I與對象B匹配，對象2與對象C匹配。
[0141]當然，本公開提到的是先計算U-視差圖的重疊面積、在重疊面積有2個最大面積時才使用X-Y-視差圖的重疊面積，但是本公開不限于此，也可以單獨使用X-Y-視差圖的重疊面積來進行對象的跟蹤匹配，甚至還可以單獨或組合地使用V-視差圖(即從左向右看去的對象的樣子)來進行對象的跟蹤匹配等。
[0142]如果，通過圖10(a)和圖10(b)的U-視差圖和X_Y_視差圖的重疊面積的計算之后，第t幀的一些預估對象(例如，對象3、4、......10)和第t幀的一些檢測對象(例如，對象
A、E、D)仍然沒有被匹配，則可以計算未匹配的每個所述預估對象的預估位置與未匹配的各個檢測對象的位置之間的最小距離；如果該計算的最小距離小于預定閾值(例如之前預定的6米)，則確定與該預估對象對應的第t-Ι幀的檢測對象與具有最小距離的第t幀的檢測對象是匹配的。
[0143]通過本公開中公開的各個對象區(qū)域的具體數(shù)值，可以計算得到對象3和具有最小距離的對象E之間的距離是2米，小于預定閾值6米，因此對象3與對象E匹配。
[0144]具體的計算兩個對象之間的距離的方法可以是如之前參考圖9 (a)和9 (b)所示的方法，在此不贅述。當然，本公開也不限于此。
[0145]在圖10(c)中僅示例性的示出了計算兩個對象的立體中心點之間的距離的方式，這僅是為了使得對跟蹤匹配關系的確定更加準確，而不是限制。
[0146]最后，如果一個預估對象不與任何檢測對象匹配，則確定與該預估對象對應的檢測對象在第t幀中消失，以及如果一個檢測對象不與任何預估對象匹配，則確定該檢測對象在第t幀中是新對象。
[0147]具體地，在該例子中，對象4、5……10都沒有匹配，則說明這些對象4、5……10在第t幀中消失了。而在第t幀中檢測的對象中有2個檢測對象與所有預估對象都不匹配，則說明在第t幀中出現(xiàn)了兩個新對象，可以分別將其標識為對象11和對象12。
[0148]圖11 (a)-(b)是示例性地示出在確定第t-Ι幀中檢測的各個對象與第t幀中檢測的各個對象之間的跟蹤匹配關系之后得到的匹配的對象的區(qū)域的示意圖。
[0149]圖11 (a)示出了經過上述計算得到的，第t幀中檢測到的對象B、C、E、A、D與第t-Ι幀中檢測到的對象0、1、2、……10之間的跟蹤匹配關系?？梢姡瑢ο驜與對象I匹配，對象C與對象2匹配，對象E與對象3匹配，而對象11和12則是第t幀中新出現(xiàn)的兩個對象，因此分別用新的標識11、12來表示。
[0150]圖11(b)則形象地示出了在第t幀的圖像中最后確定的匹配的對象區(qū)域的方框。
[0151]這樣，通過單獨或結合地使用U-視差圖、X-Y-視差圖上的重疊面積以及距離，可以比圖9(a)和圖9(b)所示的僅使用距離的方法更精確地確定兩個對象的跟蹤匹配關系。
[0152]如此，根據(jù)該一個或多個實施例，可以更精確地得到第t幀中預估的對象與實際檢測的對象之間的跟蹤匹配關系，作為與第t幀中預估的對象對應的第t-Ι幀中的實際檢測對象與第t幀中實際檢測的對象之間的跟蹤匹配關系。
[0153]圖12示例性地示出校正第t-Ι幀中檢測的各個對象的預定運動方向和預定運動速度(或移動距離)，作為與其匹配的第t幀中檢測的各個對象的預定運動方向和預定運動速度(或移動距離)。
[0154]在確定第t-Ι幀中各個檢測對象與第t幀中各個檢測對象之間的跟蹤匹配關系之后，基于第t-1幀中各個檢測對象的基于道路消失點的位置和與其匹配的第t幀中各個檢測對象的基于道路消失點的位置，可以校正第t-Ι幀中各個檢測對象的預定運動方向和預定運動速度，作為與其匹配的第t幀中各個檢測對象的預定運動方向和預定運動速度。
[0155]當然，在本公開中，為了簡化計算，在假設各幀之間的時間間隔相等的情況下，僅用移動距離來表示運動方向和運動速度的概念。
[0156]Δ x=x，t - X，H, Δ y = yt - Υη, Δ z = zt - Zh。對新對象 11 和 12,(Δχ, Δy, ΛΖ) = (0，0，0)。其中χ’ t表示第t幀中的檢測對象的基于道路消失點的位置的橫坐標，而X’ t !表示第t-Ι幀中的檢測對象的基于道路消失點的位置的橫坐標，yt表示第t幀中的檢測對象的基于道路消失點的位置的縱坐標，而yg表示第t-Ι幀中的檢測對象的基于道路消失點的位置的縱坐標，zt表示第t-Ι幀中的檢測對象的基于道路消失點的位置的深度坐標，而Zw表示第t幀中的檢測對象的基于道路消失點的位置的深度坐標。
[0157]如果計算得到了( Λχ，Ay，Λ z)，則可以通過第t_l幀和第t幀之間的時間間隔，推斷第t幀中的各個檢測對象的運動方向和運動速度。其中，該Λχ，Δgamma, Λζ中的任一值、例如Λχ取正值，對應于對象在χ軸上的運動方向為χ軸的正方向，而例如Λχ取負值對應于對象在X軸上的運動方向為X軸的負方向。
[0158]見圖12所示，例如，校正后，在第t幀中標識為I的對象的移動距離為(3，-18，-1730)，而第t幀中新出現(xiàn)的新對象11的移動距離則為(0，0，0)。需要注意的是，在本公開中，(取正值或負值的)移動距離可以與運動速度和運動方向可交換地使用。
[0159]下面將示例性地介紹利用校正后的第t幀的各個對象的移動距離來對第t+Ι幀中檢測的各個對象進行跟蹤匹配。當然，本領域技術人員根據(jù)本公開中的對第t-1幀和第t幀的對象的跟蹤匹配的方法的詳細描述，已經可以推斷出對于第t+i幀中檢測的各個對象進行跟蹤匹配的方式了，但是，為了使得本公開更清楚，以下仍然對此進行描述，但是這些描述不是限制性的。
[0160]圖13(a)_(e)是示例性地示出利用校正后的移動距離來對第t+Ι幀確定跟蹤匹配關系的不意圖。
[0161]圖13(a)示例性地示出了利用校正后的第t幀的對象(例如對象1、2、3、11、12)的移動距離和第t幀的對象的基于道路消失點的對象區(qū)域(X’，y，z，w，h，l)，來預估第t+Ι幀中的預估對象的基于道路消失點的對象區(qū)域(χ’ p, yp, zp, wp, hp, lp)。其中，χ P=Xj + Δχ, yp=yt+Ay, zp=zt+Az, wp=w, hp=h, Ip=I,即(x p, yp, zp, wp, hp, Ip) =(X，+ Δ x, y+ Δ y, z+ Δ z, w, h, I )。
[0162]然后，利用上述的申請?zhí)枮?01110369183.0的題為“道路對象檢測方法和系統(tǒng)”的當前未公開專利申請(或其他現(xiàn)有技術中公開的或未來可能出現(xiàn)的對象檢測方法)來檢測第t+Ι幀中的實際檢測的對象(例如對象A、B、C、D、E、F、G、H)的對象區(qū)域(位置和大小)，見圖13(b)和圖13(c)所示。
[0163]然后，利用上述的申請?zhí)枮?01110409269.1的題為“基于視差信息的道路分割物檢測方法”的當前未公開專利申請(或其他現(xiàn)有技術中公開的或未來可能出現(xiàn)的道路消失點檢測方法)來檢測得到道路消失點的橫坐標xv = 122 (pixel)。
[0164]類似地，通過第t+Ι幀的檢測的每個對象(例如對象A、B、C、D、E、F、G、H)的對象區(qū)域的橫坐標χ都減去道路消失點的橫坐標xv=122 (pixel)來獲得基于第t+Ι幀的該道路消失點的各個對象區(qū)域(X’ , y, z, w, h, l) = (x-xv, y, z, w, h, I),如圖13(d)所示。
[0165]然后，通過參考圖9(a)或圖9(b)所示的方法或參考圖10(a)_10(c)所示的方法來確定對象1、2、3、11、12與對象八、8、(:、03、？、6、!1之間的跟蹤匹配關系。在此不贅述。
[0166]從而得到如圖13(e)所示的匹配的對象區(qū)域。
[0167]因此，可以進一步校正第t+Ι幀的各個匹配的對象的移動距離以用于下一幀(第t+2幀)的跟蹤匹配中。如此循環(huán)往復，則可以連續(xù)跟蹤對象，以用于交通監(jiān)視、輔助駕駛，汽車檢測和跟蹤，駕駛警報系統(tǒng)、機器人視覺導航、工業(yè)產品檢測、醫(yī)療診斷、虛擬現(xiàn)實等各實際領域。
[0168]本公開中主要闡述了跟蹤對象的方法的各個步驟且舉例了某些變化的步驟，本領域技術人員可以知道，與這些步驟和變化的步驟一一對應的裝置也應該在本公開的范圍內，在此不贅述。
[0169]這里引用的所有專利、專利申請、文章、其他公開物、文檔和事物為了所有目的在此通過該引用合并其全文。如有任何合并的公開物、文檔或事物與本公開之間有術語定義或使用的任何不一致或沖突，以本公開為準。
[0170]當然，本領域技術人員根據(jù)本公開已經可以理解各個術語的本質含義，本公開的內容并不僅局限于具體的術語所給出的狹窄的含義，而是可以指示在本公開的精神和原理內的廣泛的含義。
[0171]以上公開已經描述了基于視差圖來準確地跟蹤對象的方法和系統(tǒng)的各個實施例，但是，上述描述是示例性的，并非窮盡性的，并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍和精神的情況下，對于本【技術領域】的普通技術人員來說許多修改和變更都是顯而易見的。本領域技術人員應該理解，在所附權利要求或其等同物的范圍內，可以基于設計需要和其他因素進行各種修改、組合、子組合和變更。
【權利要求】
1.一種在視差圖中的對象跟蹤方法，包括以下步驟: 第一檢測步驟，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置； 第一轉換步驟，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置； 預估步驟，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置； 第二檢測步驟，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置； 第二轉換步驟，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置； 確定步驟，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
2.根據(jù)權利要求1所述的方法，其中，所述第一預定參考點的坐標包括在第一視差圖中的道路的消失點的橫坐標和縱坐標中的至少一個，且所述第二預定參考點的坐標包括在第二視差圖中的同一道路的消失點的橫坐標和縱坐標中的至少一個。
3.根據(jù)權利要求1所述的方法，其中，所述第一檢測步驟還獲得各個第一檢測對象的大小，其中，各個第一檢測對象的大小用作各個第一預估對象的大小，且所述第二檢測步驟還獲得各個第二檢測對象的大小， 其中，所述確定步驟基 于各個第一預估對象的預估位置和大小以及各個第二檢測對象的第二檢測相對位置和大小，來確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
4.根據(jù)權利要求3所述的方法，其中，所述確定步驟包括以下步驟: 基于各個第一預估對象的預估位置和大小以及所述各個第二檢測對象的第二檢測相對位置和大小，針對每個第一預估對象，計算每個第一預估對象與各個第二檢測對象在水平面上重疊的面積； 如果一個第一預估對象與第二檢測對象之一在所述水平面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述第二檢測對象之一是匹配的。
5.根據(jù)權利要求4所述的方法，其中，所述確定步驟還包括以下步驟: 如果一個第一預估對象與兩個以上第二檢測對象在所述水平面上重疊的面積都最大，則計算該第一預估對象與兩個以上第二檢測對象在深度面上重疊的面積； 如果該第一預估對象與所述兩個以上第二檢測對象之一在深度面上重疊的面積最大，則確定與該第一預估對象對應的第一檢測對象與所述兩個以上第二檢測對象之一是匹配的。
6.根據(jù)權利要求1或5所述的方法，其中，所述確定步驟還包括以下步驟: 計算未匹配的每個所述第一預估對象的預估位置與未匹配的各個第二檢測對象的第二檢測相對位置之間的最小距離； 如果該計算的最小距離小于預定閾值，則確定與該第一預估對象對應的第一檢測對象與具有最小距離的第二檢測對象是匹配的。
7.根據(jù)權利要求6所述的方法，其中，所述預定閾值是基于與所述第一預估對象對應的第一檢測對象的最大運動速度來確定的。
8.根據(jù)權利要求6所述的方法，其中，所述確定步驟還包括以下步驟: 如果一個第一檢測對象不與任何第二檢測對象匹配，則確定該第一檢測對象在第二視差圖中消失，以及 如果一個第二檢測對象不與任何第一檢測對象匹配，則確定該第二檢測對象在第二視差圖中是新對象。
9.根據(jù)權利要求1所述的方法，還包括: 在確定各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系之后，基于各個第一檢測對象的第一相對檢測位置和與其匹配的各個第二檢測對象的第二相對檢測位置，校正各個第一檢測對象的預定運動方向和預定運動速度，作為與其匹配的各個第二檢測對象的預定運動方向和預定運動速度。
10.一種在視差圖中的對象跟蹤系統(tǒng)，包括: 第一檢測裝置，檢測在第一視差圖中的一個或多個第一檢測對象且獲得各個第一檢測對象的位置； 第一轉換裝置，將各個第一檢測對象的位置轉換為基于第一視差圖中的第一預定參考點的坐標的各個第一檢測相對位置； 預估裝置，基于各個第一檢測相對位置和各個第一檢測對象的預定運動方向和預定運動速度，預估在第二視差圖中對應于各個第一檢測對象的各個第一預估對象的預估位置； 第二檢測裝置，檢測在第二視差圖中的一個或多個第二檢測對象且獲得各個第二檢測對象的位置； 第二轉換裝置，將各個第二檢測對象的位置轉換為基于第二視差圖中的第二預定參考點的坐標的各個第二檢測相對位置； 確定裝置，基于各個第一預估對象的預估位置以及所述各個第二檢測對象的第二檢測相對位置，來確定與各個第一預估對象對應的各個第一檢測對象與各個第二檢測對象之間的跟蹤匹配關系。
【文檔編號】H04N13/00GK103473757SQ201210188661
【公開日】2013年12月25日 申請日期:2012年6月8日 優(yōu)先權日:2012年6月8日
【發(fā)明者】游贛梅, 魯耀杰, 師忠超, 王剛 申請人:株式會社理光