本公開一般涉及目標(biāo)跟蹤，且更具體地涉及融合來自雷達傳感器和相機的信息以便確定目標(biāo)(諸如接近主車輛的其他車輛)的相對運動的系統(tǒng)。

背景技術(shù)：

已知基于目標(biāo)的形狀和外觀尺寸對出現(xiàn)在來自自動車輛安裝的相機的圖像中的目標(biāo)進行標(biāo)識或分類的圖像處理算法。然而，由于進行距離測量所必需的關(guān)鍵對準，所以難以測量與目標(biāo)的距離。相反地，自動車輛雷達傳感器可容易地確定與目標(biāo)的距離，但是僅僅基于對反射的雷達信號的分析難以對目標(biāo)進行標(biāo)識或分類。已知“融合”或組合來自不同類型的目標(biāo)檢測器(例如，相機，雷達，激光雷達)的目標(biāo)檢測數(shù)據(jù)，以利用一種類型的傳感器的優(yōu)勢去補償另一種類型傳感器的劣勢。然而，融合過程產(chǎn)生的數(shù)據(jù)量會不受歡迎地增加執(zhí)行融合過程的計算硬件的成本以及復(fù)雜度。

技術(shù)實現(xiàn)要素：

在此描述的是一種目標(biāo)跟蹤系統(tǒng)，其包括或采用融合跟蹤器，該融合跟蹤器用于組合來自主車輛傳感器諸如速度傳感器和偏航率傳感器以及目標(biāo)檢測傳感器諸如雷達傳感器和相機的信息。組合該信息以估算存在于主車輛附近的區(qū)域中的目標(biāo)的數(shù)量和身份，并估算每個感興趣的目標(biāo)的例如位置、速率、軌跡等等。這種融合跟蹤器中的困難任務(wù)之一在于決定使用雷達傳感器跟蹤的目標(biāo)如何與使用相機跟蹤的目標(biāo)有關(guān)。換句話說，問題在于如何將每個視覺跟蹤(vision-track)與雷達跟蹤(radar-track)(或與一簇或一“團(glob)”雷達跟蹤)匹配。已經(jīng)觀察到，如果這里假定系統(tǒng)的視覺方面對每個感興趣的目標(biāo)產(chǎn)生最多一個視覺跟蹤，而允許雷達傳感器對每個目標(biāo)產(chǎn)生若干雷達跟蹤(或者在大型卡車的情況下，多達40或50個)，則實現(xiàn)可接受的性能。在此描述的系統(tǒng)包括尤其適于檢測接近于主車輛車輛目標(biāo)的其他車輛的雷達/視覺匹配算法。

根據(jù)一個實施例，提供了一種適合于用在自動車輛上的目標(biāo)跟蹤系統(tǒng)。該系統(tǒng)包括相機、雷達傳感器和控制器。該相機用于捕捉相機的視覺視場(vfov)的圖像。雷達傳感器用于檢測從與vfov重疊的雷達視場(rfov)反射的雷達信號。控制器與相機和雷達傳感器通信。該控制器被配置成將視覺標(biāo)識分配給與控制器在圖像中所檢測到的目標(biāo)的實例相關(guān)聯(lián)的每個視覺跟蹤?？刂破鬟€被配置成將雷達標(biāo)識分配給與由雷達信號指示的分組軌跡片段(grouped-tracklet)的實例相關(guān)聯(lián)的每個雷達團。該控制器還被配置成確定視覺跟蹤和雷達團的每個組合的匹配可行性，其中，當(dāng)以下情況中的至少一種情況時，每個匹配可行性是被設(shè)置為等于一(1)的二進制值：a)視覺跟蹤的視覺角和雷達團的雷達角之間的方位角差小于方位角閾值，b)視覺跟蹤的視覺距離和雷達團的雷達距離之間的距離差小于距離閾值，以及c)視覺跟蹤的視覺速度和雷達團的雷達速度之間的速度差小于速度閾值。該控制器還被配置成從所有可能的視覺跟蹤和雷達團配對組合中選擇可行的匹配模式(pattern)列表，其中當(dāng)配對組合中的視覺跟蹤和雷達團的每個組合的匹配可行性等于一時，該配對組合是可行的匹配模式。該控制器還被配置成確定可行的匹配模式的每個實例的品質(zhì)值。品質(zhì)值基于用于確定匹配可行性的方位角差、距離差和速度差的實例的加權(quán)組合的倒數(shù)。該控制器還被配置成通過利用選擇的比例因子比例化品質(zhì)值來確定每個品質(zhì)值的歸一化(normalized)值，從而歸一化值的總和等于一(1)。該控制器還被配置成通過對指示視覺跟蹤和雷達團的組合的匹配的可行的匹配模式的歸一化值求和來計算視覺跟蹤和雷達團的每個組合的原始概率。

在另一實施例中，該控制器還被配置成通過對針對該組合獲得的原始概率進行低通過濾來確定視覺跟蹤和雷達團的每個組合的匹配概率，通過將視覺跟蹤和雷達團的組合的匹配概率與上閾值和下閾值進行比較來確定對視覺跟蹤和雷達團之間的現(xiàn)有關(guān)聯(lián)進行重新組織測試的需要，并且當(dāng)匹配概率之一從小于上閾值轉(zhuǎn)變到大于上閾值或從大于下閾值轉(zhuǎn)變到小于下閾值時，執(zhí)行對視覺跟蹤和雷達團之間的關(guān)聯(lián)的重新組織測試。

在閱讀下述優(yōu)選實施例的詳細描述后，進一步的特征和優(yōu)勢將更清楚地呈現(xiàn)，其僅以非限制性示例的方式給出且參考附圖而給出。

附圖說明

現(xiàn)在將參考附圖借助示例來描述本發(fā)明，其中：

圖1是根據(jù)一個實施例的目標(biāo)跟蹤系統(tǒng)的示圖；

圖2是根據(jù)一個實施例的由圖1的系統(tǒng)經(jīng)歷的交通場景；

圖3是根據(jù)一個實施例的由圖1的系統(tǒng)確定的可行性矩陣；

圖4是根據(jù)一個實施例的由圖1的系統(tǒng)確定的可行的匹配模式的列表；以及

圖5是根據(jù)一個實施例的由圖1的系統(tǒng)確定的匹配概率的累積。

具體實施方式

圖1示出了目標(biāo)跟蹤系統(tǒng)10(此后稱為系統(tǒng)10)的非限制性示例，系統(tǒng)10通常適合于在自動車輛(此后稱為主車輛12)上使用。系統(tǒng)10包括相機14以及雷達傳感器18，該相機14用于捕捉相機14的視覺視場16(此后稱為vfov16)的圖像，該雷達傳感器18用于檢測從雷達視場20(此后稱為rfov20)反射的雷達信號。通常，vfov16和rfov20重疊，使得各自的大部分片段覆蓋相同區(qū)域，從而使得由一個設(shè)備(相機14或雷達傳感器18)在外圍感測區(qū)域檢測到的目標(biāo)的實例不會被另一個設(shè)備錯過。盡管圖1建議相機14和雷達傳感器18并排布置，但這只是為了簡化說明。應(yīng)認識到，如果兩個設(shè)備被定位成靠近在一起，那么使相機14和雷達傳感器18彼此對準被簡化，但這不是系統(tǒng)10的要求。相信，如果vfov16和rfov20是如圖2中所建議的基本上相同的區(qū)域，那么系統(tǒng)10的構(gòu)造和操作通常將被優(yōu)化。

系統(tǒng)10還包括與相機14和雷達傳感器18通信的控制器22。控制器22可包括處理器(未具體示出)，諸如微處理器或其他控制電路，諸如模擬和/或數(shù)字控制電路，包括專用集成電路(asic)，用于處理數(shù)據(jù)，如對于本領(lǐng)域技術(shù)人員而言應(yīng)當(dāng)明顯的?？刂破?2可包括存儲器(未具體示出)，包括非易失性存儲器，諸如電可擦除可編程只讀存儲器(eeprom)，以用于存儲一個或多個例程、閾值和捕獲的數(shù)據(jù)。該一個或多個例程可由處理器執(zhí)行，以執(zhí)行步驟以用于基于由控制器22從相機14和雷達傳感器18接收的并如下面更詳細地描述地處理的信號確定例如實際目標(biāo)24的一個或多個實例的身份、位置、速度和行駛方向。圖2中的實際目標(biāo)24由虛線矩形指示，其中矩形的相對尺寸指示實際目標(biāo)24相對于彼此的相對尺寸。

通常，在主車輛12上執(zhí)行在此描述的系統(tǒng)10，其中融合來自雷達傳感器18和相機14的數(shù)據(jù)；然而這并不是要求。場景里的實際目標(biāo)24，即其他車輛，可在任何方向上移動，但是在此為了簡化解釋，假設(shè)所有的目標(biāo)在與主車輛12大致相同的方向上移動。假設(shè)主車輛12車載的系統(tǒng)10的視覺部分50獨立于系統(tǒng)10的雷達部分52而工作。它提供被跟蹤的目標(biāo)的列表，以及每個目標(biāo)的相對目標(biāo)上的“質(zhì)心(centroid)”參考點(例如，在前車輛的背面的中心)的位置、速率、目標(biāo)類別以及方位角以及(部分時間)相對于車輛目標(biāo)的近角的“范圍角(extentangle)”的估算。圖2示出了此的平面圖(“鳥瞰”圖)。

主車輛12車載的系統(tǒng)10的雷達部分52在每個時刻報告“檢測”列表。每個檢測實例典型地包括距離值、距離率值和方位角值。雷達跟蹤器隨時間觀察這些檢測列表，并創(chuàng)建“軌跡片段(tracklet)”列表(即，散射中心上的雷達跟蹤，其是目標(biāo)車輛上的雷達“亮點”)。每個軌跡片段包含隨時間收集的信息，諸如位置、速率、加速度和狀態(tài)信息，其指示檢測實例最近如何被用來更新該軌跡片段。

因此，與圖像部分50相似，雷達部分52提供雷達跟蹤列表，其假設(shè)為主要是其檢測的車輛上的跟蹤散射中心。在未被阻擋的且處于相當(dāng)近的范圍處的給定車輛上，通常有多于一個的這樣的軌跡片段。被稱為“分組”的融合跟蹤器中的功能被假設(shè)為已經(jīng)將這些軌跡片段分組為“雷達團”。在車輛之間具有適當(dāng)?shù)拈g隔的普通高速場景下，該任務(wù)不是非常困難的。由此，每個雷達團有效地是車輛目標(biāo)上的分組的雷達跟蹤。形成此分組的雷達跟蹤的具體方式(例如，通過對軌跡片段進行分組)對于匹配算法并不是重要的。例如，不同但完全可允許的方案將是通過直接跟蹤目標(biāo)上的多個檢測的集合的序列(即，“跟蹤組”，而不是“對追蹤進行分組”)來形成分組的雷達跟蹤。

這里描述的匹配或融合算法主要涉及檢測車輛目標(biāo)，即其他車輛。這使得一些匹配更加簡單。例如，雷達傳感器可以檢測到相機可以檢測到的任何車輛似乎是合理的假設(shè)。到該場景中的可能的目標(biāo)的子集的此限制減少了匹配的組合復(fù)雜度，從而使得計算在汽車級處理器上實時可行。理想地，當(dāng)考慮如何匹配雷達跟蹤和視覺跟蹤時，在它們正在提供的估算中將具有對傳感器系統(tǒng)的不確定性的估算(除了估算它們自己以外)。由于這些估算對于系統(tǒng)10的一些實施例中所使用的傳感器系統(tǒng)是不可用的，所以使用從這些系統(tǒng)的“專家知識”借來的信息。

如前所指出的，系統(tǒng)10的視覺部分50在估算質(zhì)心方位角方面相對較好，并且同樣也在對目標(biāo)的類型(例如，汽車，摩托車，卡車等)進行分類方面較好。相對來說，視覺部分50在估算目標(biāo)的位置或速率方面不是特別好。這些估算被匹配算法利用，但對它們的準確度僅具有健康的不尊重(healthydisrespect)。例如，目標(biāo)的估算的縱向位置的100％誤差對于視覺系統(tǒng)并不罕見，這意味著被確定為處于下行范圍(downrange)100米處的目標(biāo)實際上可能處于200米。相反，雷達部分52在測量距離和距離率方面相對較好，但是在測量方位角方面不太好。系統(tǒng)10的雷達部分52和視覺部分50的這些優(yōu)點/缺點的互補性是使得它們的估算的融合如此期望，但也使得匹配困難的東西。

下面，術(shù)語“匹配模式(matchpattern)”涉及將n個(m個中的n個，m＞＝n)不同的雷達團(圖2中的r1、r2……r8)分配給考慮中的n個視覺跟蹤(圖2中的v1、v2……v5)的特定方式。術(shù)語“可行的匹配對”涉及具體的視覺跟蹤26(圖1)和雷達團28對，其基于對它們的估算中的可能的誤差的考慮，被匹配算法視為用于匹配的合理的候選對?！翱尚械钠ヅ淠Ｊ健笔前╪個可行的匹配對的匹配模式。歸因于由較靠近的目標(biāo)對所提議的匹配之一的明顯遮擋，可行的匹配模式隨后可被遮擋測試30視為“不可行”，該較靠近的目標(biāo)顯然應(yīng)當(dāng)正在阻塞相機對更遠目標(biāo)的視野(使得所提議的視覺跟蹤與該更遠雷達團的匹配似乎是不可能的)。匹配模式的任何單個問題都導(dǎo)致整個模式是不可行的。預(yù)期的是，一些可獲得的雷達團可能不被匹配至視覺跟蹤，因為它們對應(yīng)于被雷達檢測到而沒被視覺檢測到的目標(biāo)。

這里描述的匹配算法針對視覺跟蹤26的每個實例(例如，v1、v2……v5)，有效地計算視覺跟蹤26的具體實例應(yīng)當(dāng)被匹配至(有限)數(shù)量的雷達團28的實例(例如，r1、r2……r8)中的每一個的概率。作為示例而非限制，算法的結(jié)果，其細節(jié)將在后續(xù)描述，是視覺跟蹤26的具體實例，例如v3，被匹配至雷達團28的具體實例(例如，r3，r4，r1)的匹配概率32。對于圖2中示出的場景，對于一些組合的匹配概率32是v3∶r3＝0.77，v3∶r4＝0.15，以及v3∶r1＝0.08。對于視覺跟蹤26的具體實例與雷達團28的具體實例的其它組合的匹配概率32通過后續(xù)將更詳細描述的遮擋測試30或其它測試被設(shè)定為零，和/或因為概率太低，例如，低于某一閾值而被設(shè)定為零。那就是，對于視覺跟蹤26的每個實例，存在若干個雷達團28候選被考慮適合于匹配。還預(yù)期的是，可基于來自相機14和雷達傳感器18的當(dāng)前信息以及基于如下面將更詳細描述的歷史信息來確定匹配概率32。

在上述附圖中，如果視覺id3還未被匹配至雷達團3(其具有匹配概率0.77)，則如果該匹配概率超過閾值(例如，0.60)，那么將進行對現(xiàn)有的雷達/視覺匹配的重新布置，以便使得該雷達/視覺對能夠被匹配。注意的是，兩個不同的視覺跟蹤都具有與雷達團3的超過足夠高閾值的匹配概率不應(yīng)該是可能的。

現(xiàn)在將考慮歷史信息如何可影響視覺跟蹤26和雷達團28的實例的配對。如果v3在當(dāng)前時刻之前被匹配至r1(其具有匹配概率0.08)，并且已經(jīng)建立了預(yù)定的最小閾值0.10，那么該雷達/視覺匹配將被分開。通常，在重新組織測試34中同時考慮所有需要的新匹配和打破匹配動作。這允許最少量的不受期望的融合跟蹤id切換由重新組織測試34造成。

現(xiàn)在呈現(xiàn)該匹配算法中的步驟的輪廓。術(shù)語“運動狀態(tài)”涉及整體對地運動的確定，即，接近，靜止，后退。

創(chuàng)建要被考慮的雷達團列表。

計算這些雷達團的相關(guān)特征，例如，運動狀態(tài)，位置，速率。

創(chuàng)建視覺跟蹤列表。

計算相關(guān)特征，例如，運動狀態(tài)。

對候選匹配對進行可行性測試，以創(chuàng)建可行性矩陣。

從考慮移除任何完全不可行的雷達團或視覺跟蹤。

對可行的匹配模式的循環(huán)(由對可行性矩陣的檢查創(chuàng)建的匹配模式)。

遮擋測試。

如果模式可以，

加入匹配模式列表，

計算匹配模式的品質(zhì)值。

結(jié)束

結(jié)束循環(huán)

歸一化匹配模式品質(zhì)值(例如，因此總和等于1.0)。

通過從概率列表移除任何新的/死的雷達團來清理雷達/視覺匹配概率。

對零可行的模式的情況的特殊處理。

降低所有匹配概率(對匹配概率的低通過濾的第一步驟)。

從可行的匹配模式累積匹配信息，以得到瞬時原始概率。

使用原始概率值更新匹配概率(低通過濾的第二步驟)。

計劃重新組織測試(基于匹配概率)。

重新組織雷達/視覺匹配。

下面是以上列出的一些步驟的細節(jié)。

對候選匹配對進行可行性測試，以創(chuàng)建可行性矩陣。

圖3示出了可行性矩陣38的非限制性示例。通過比較視覺跟蹤26和雷達團28的各個實例的狀態(tài)估算，針對每個可能的配對確定匹配可行性36。結(jié)果被存儲在可行性矩陣38中。完成對潛在的雷達/視覺相配(match-up)的此“預(yù)把關(guān)(pre-gating)”以減小組合復(fù)雜度，且此預(yù)把關(guān)是基于雷達跟蹤和視覺跟蹤之間在運動狀態(tài)、方位角、縱向位置和縱向速率方面的相似性。在圖3中所示的示例中，視覺跟蹤1僅是與雷達團1和2的可行的匹配。

預(yù)期的是，可改變此預(yù)把關(guān)的關(guān)口(gate)，例如，當(dāng)特定雷達/視覺對已經(jīng)被匹配達很長時間且被相信是正確的相配時，可加寬關(guān)口。該加寬的關(guān)口可用于維持此正確的匹配，即使在視覺跟蹤或雷達跟蹤中存在簡短的(brief)錯誤，而所述簡短的錯誤足夠大以否則引起匹配打破。通過檢查等于一的條目，隨后生成所有可能的可行的匹配模式的序列。這些可行的匹配模式中的一些后續(xù)可通過遮擋測試30被拒絕。

使用可行的匹配對確定的該“預(yù)把關(guān)”以及所得的可行性矩陣38的實例的目的是顯著地減少需要被檢查的匹配模式的數(shù)目。對于圖中具有五個視覺跟蹤26實例和八個雷達團28實例的非限制性示例，在沒有預(yù)把關(guān)的情況下，存在6720個匹配模式將需要被考慮。利用預(yù)把關(guān)，存在少于192個模式(192＝每行中1的數(shù)目的積，即，2*3*4*4*2，但這是過高估算，因為它沒有考慮在相同列中具有1的多個行)。

對可行的匹配模式的循環(huán)(由對可行性矩陣的檢查創(chuàng)建的匹配模式)。

圖4示出了來自圖3的可行的匹配模式40列表的非限制性示例，對其循環(huán)以意圖創(chuàng)建也通過遮擋測試30的最終的模式列表。也為可行的匹配模式40的實例中的每一個測量品質(zhì)值42。如圖4中所示，每個匹配模式(矩陣的行)顯示在該模式下具體視覺跟蹤被匹配至哪個雷達團。例如，在匹配模式3中，視覺跟蹤1被匹配至雷達團1，視覺跟蹤2被匹配至雷達團3，視覺跟蹤3被匹配至雷達團4等等。

遮擋測試。

遮擋測試30的目的是排除不可能的匹配。例如，假設(shè)在主車輛12前面有兩輛車，都在相同的車道，并且對于兩個在前車輛中的每一個存在不同的雷達團28實例。同樣也有視覺跟蹤26實例，其由是雷達團28中的任一個的良好匹配的方位角表征。遮擋測試確定視覺部分50不可能看見第二輛(更遠的)車，因為第一輛(最靠近的)車將阻塞第二輛車的視野或到第二輛車的視線。因此，視覺跟蹤26和第一輛車之間的匹配將被遮擋測試30批準。如果當(dāng)前的匹配模式正在建議視覺跟蹤26應(yīng)該被匹配至第二輛車，那么遮擋測試30將使該匹配模式無效，且處理將繼續(xù)進行到列表上的下一匹配模式。那就是，假定考慮中的匹配模式可能試圖將雷達團28的更遠實例與考慮中的視覺跟蹤26的實例匹配，并且雷達團28的更近的實例也是與考慮中的視覺跟蹤26的合理匹配(例如，兩者都已知為車輛且具有相同的運動狀態(tài)，等等)，那么遮擋測試30將把將該視覺跟蹤26與雷達團28的更遠的(被遮擋的)實例配對的匹配模式標(biāo)記為“不可行”，因為被更近的雷達團的視覺遮擋。

對此的一種例外是如果考慮中的當(dāng)前匹配模式也命令更靠近的雷達團與不同的視覺跟蹤匹配。在這種情況下，更遠的匹配將被允許。這樣的一種示例在一輛車正在經(jīng)過另一輛車并且隨后變道到另一輛車的前面時會發(fā)生。視覺系統(tǒng)可堅持在更遠的車輛上的視覺跟蹤達一時間段，即使該更遠的車輛被更靠近的車輛大部分遮擋。

計算匹配模式的品質(zhì)。

每個可行的匹配模式具有確定的品質(zhì)值42。品質(zhì)值42旨在代表假定的誤差模型下的貝葉斯類型的可能性。品質(zhì)值42可被計算為每個雷達團/視覺跟蹤對中方位角、縱向位置和縱向速率的加權(quán)平方差的指示的匹配對的總和的倒數(shù)。如果指示的匹配中的任一個包含“可疑的”雷達團(即，融合跟蹤器對該雷達團中的軌跡片段中的一個或多個的有效性或準確度具有低信心)，則品質(zhì)值42降低。如果雷達團28和視覺跟蹤26估算在這三個類別上吻合得很好，則匹配的雷達/視覺對將具有增加值的品質(zhì)值42。它們彼此越不吻合，品質(zhì)值42越低，因此它們實際匹配的可能性或概率就更低。

最終的可行的匹配模式中的每一個的品質(zhì)值42被歸一化，以提供成比例的歸一化值44，從而歸一化值的總和等于1.0。在“累積匹配信息”步驟(接下來描述)中，這些歸一化值被解釋為匹配模式是正確的概率。

從可行的匹配模式累積匹配信息，以得到瞬時原始概率。

圖5示出了在計算每個視覺/雷達對(例如，視覺跟蹤vi和雷達團rj)的原始概率46中的關(guān)鍵步驟的非限制性示例。該匹配算法工作的方式是標(biāo)識可接受的潛在匹配模式的列表，賦予它們每個一個歸一化值44，然后把使視覺跟蹤vi和雷達團rj相配的匹配模式的所有歸一化值44相加。如圖5中所示，對于每個視覺跟蹤，通過在整個表的可行的匹配模式和歸一化的匹配模式品質(zhì)值上使用此累積過程來計算與每個可行的雷達團的原始匹配概率。這些原始匹配概率值隨后被低通過濾。

作為示例，使視覺id1(v1)在列表上的每單個匹配模式中與雷達團id2(r2)匹配。在剛剛描述的累積過程中，該對的原始概率46將總和為1.0。基于該對在每個可行的模式中被匹配的觀察，此概率值匹配直覺。在該對僅在一部分模式中被匹配的情況中，原始概率46將在0.0和1.0之間，其取決于匹配出現(xiàn)的模式的品質(zhì)/概率。如果該對在沒有一個模式中被匹配，則原始概率46將是0.0。

降低所有匹配概率(對匹配概率的低通過濾的第一步驟)以及使用原始概率值更新匹配概率(低通過濾的第二步驟)。

這兩個步驟代表對原始概率46應(yīng)用低通過濾器48以獲得具有足夠高概率的所選雷達/視覺對的匹配概率。離散時間下的第一階低通過濾器操作可由類似xk＝αxk-1+(1-α)uk的等式表示，其中，xk是在時間k經(jīng)過濾的輸出值，uk是在時間k的原始輸入值，且α是過濾器增益系數(shù)(0.0和1.0之間的值)。

項αxk-1代表匹配概率的降低，且項(1-α)uk代表使用原始值的匹配概率更新。在發(fā)現(xiàn)零可行的匹配模式的情況下，uk項有效地等于零，并且只有概率降低步驟發(fā)生。

α的可能值是0.8。作為示例，假設(shè)當(dāng)突然地特定雷達/視覺匹配對看起來像極好的匹配時，該對具有0.0的匹配概率，且1.0的原始概率值被計算。如果該原始概率被維持數(shù)個步驟，則(經(jīng)過濾的)匹配概率將采用值0.0、0.2、0.36、0.49、0.59、0.67、……。在某點，該值將超過閾值(例如，0.6)，且雷達/視覺匹配將被重新組織，以執(zhí)行該匹配。因此，對于該閾值，進行匹配花費(至少)5步。

在這里描述的匹配算法中，在一些條件下可允許例外。如果視覺跟蹤當(dāng)前未被匹配，并接著與特定雷達團具有足夠高的值的原始概率46，那么經(jīng)過濾的匹配概率被允許跳至1.0。這允許在這些明確匹配情況下即刻匹配可用于融合。如果對于該視覺跟蹤，匹配是模棱兩可的，那么概率必須被允許根據(jù)上述的方案升高或降低。

計劃重新組織測試(基于匹配概率)。

在重新組織測試34中，針對每個視覺跟蹤檢查匹配概率?？赡艽嬖诰哂懈哂谂c它們當(dāng)前未被匹配至的雷達團匹配的閾值的匹配概率的視覺跟蹤?；蛘咭苍S現(xiàn)有的匹配的雷達/視覺對的匹配概率已經(jīng)下降到閾值以下，且這兩個需要被分裂開。在前者情況中，可能是此視覺跟蹤想要的該雷達團已經(jīng)被匹配至不同的視覺跟蹤，從而使得在任何新的匹配可發(fā)生之前，其他的融合跟蹤將需要被分開?；蛘咴谠撓嗤那闆r下，考慮中的視覺跟蹤可能已經(jīng)被匹配至雷達團，從而使得融合跟蹤將需要被分開。

重新組織測試34在概念上是直截了當(dāng)?shù)?。它首先將包含重新組織測試中所需的雷達或視覺塊的所有融合跟蹤分裂開，并接著如匹配概率所指示的重新組裝這些塊。

還需要以對正在使用融合跟蹤器輸出的警告/方便特征而言最滿意的方式最小化融合跟蹤id的切換并且將id維持在正確的塊上。

重新組織雷達/視覺匹配

該步驟是融合跟蹤的雷達和視覺塊的計劃的重新組織測試的概念上簡單的執(zhí)行。計劃步驟已經(jīng)制定出哪些雷達/視覺融合跟蹤將需要被分裂開，以及塊中的哪些將需要被放到一起。重新組織測試中包含的所有融合跟蹤的融合跟蹤id已經(jīng)以最小化不必要的id切換的方式在計劃中被預(yù)先確定。重新組織的融合跟蹤的融合跟蹤狀態(tài)被調(diào)整以考慮新的雷達和視覺塊的狀態(tài)值。

注意的是，這里描述的算法還可包括測試以標(biāo)識對雷達團的疑心，具有長歷史的良好匹配的視覺/雷達對，懷疑的消失的雷達軌跡片段等等。為每個視覺跟蹤維持與一小組的潛在雷達團的匹配概率，該一小組的潛在雷達團是與該視覺跟蹤的可行的匹配。這些匹配概率是通過低通過濾每個潛在的視覺/雷達相配的原始概率46的值獲得的。特定視覺/雷達對的原始概率46是通過對指示該相配的可行的匹配模式的歸一化值44求和獲得的?？尚械钠ヅ淠Ｊ搅斜硗ㄟ^由可行性矩陣記錄的預(yù)把關(guān)有效地獲得，該可行性矩陣指示哪些單獨的視覺/雷達對是足夠相似的，從而它們的相配可以是匹配模式的一部分。每個所得的可行的匹配模式被遮擋功能額外地詳查敏感性，且匹配模式的品質(zhì)被測量為與模式中指示的雷達/視覺匹配中的每一個中的雷達和視覺跟蹤狀態(tài)信息之間的差異有關(guān)。最后，將視覺/雷達匹配概率與閾值相比較，并且如果需要，計劃對現(xiàn)有的融合跟蹤中的一些的重新組織并執(zhí)行，以便符合匹配概率的規(guī)定。

再次參考圖1，目標(biāo)跟蹤系統(tǒng)10，通常適合于用在自動車輛(例如，主車輛12)上，包括相機14以及雷達傳感器18，該相機14用于捕捉相機14的vfov16的圖像，該雷達傳感器18用于檢測從雷達傳感器18的rfov20反射的雷達信號，該rfov20與vfov16重疊。優(yōu)選地，該重疊是使得vfov16和rfov20是相同的區(qū)域或者基本上(例如，＞90％)相同的區(qū)域，但是這不是要求。

系統(tǒng)10包括控制器22，該控制器22與相機14和雷達傳感器18通信，使得控制器22接收來自相機14和雷達傳感器18的數(shù)據(jù)或信息，以用于檢測各自視場中實際目標(biāo)24的存在?？刂破?2被配置成或者編程成執(zhí)行多個步驟，以將由相機14檢測到的目標(biāo)54的實例與由雷達傳感器18檢測到的分組軌跡片段56的實例匹配。盡管下面的步驟以第一、第二、第三等步驟的方式表征，但這并不是建議這些步驟必須以所呈現(xiàn)的準確順序來執(zhí)行，或者排除了其它的中間步驟，或絕對需要所描述的所有步驟。

第一步驟可以是將視覺標(biāo)識58分配給視覺跟蹤26的每個實例，其與由控制器在來自相機14的圖像(即，信息或信號)中所檢測到的目標(biāo)54的實例相關(guān)聯(lián)。圖2示出了系統(tǒng)10可能碰到的交通場景的非限制示例，其中基于對實際目標(biāo)24的檢測分配視覺標(biāo)識58，并以v1、v2、v3、v4和v5指示。

第二步驟可以是將雷達標(biāo)識60分配給與通過雷達傳感器18檢測的雷達信號所指示的分組軌跡片段56的實例相關(guān)聯(lián)的雷達團28的每個實例。圖2示出了非限制示例，其中雷達標(biāo)識60基于對實際目標(biāo)24的檢測被分配，并以r1、r2、r3、r4、r5、r6、r7和r8指示。

第三步驟可以是為視覺跟蹤26和雷達團28的每個組合確定匹配可行性36。每個匹配可行性36是二進制值，取決于對視覺跟蹤26和雷達團28的實例彼此間如何緊密相關(guān)的比較或測試的結(jié)果而被設(shè)置為等于零(0)或一(1)。通過示例的方式而非限制，當(dāng)以下情況中的至少一種情況時，視覺跟蹤26和雷達團28的特定組合的匹配可行性36被設(shè)定為一(1)：a)視覺跟蹤26的視覺角64(圖2)和雷達團28的雷達角66之間的方位角差小于方位角閾值68，例如五度角(5°)；b)視覺跟蹤26的視覺距離和雷達團28的雷達距離之間的距離差70小于距離閾值72，例如五米(5m)或者百分之二十(20％)(以較大者為準)；以及c)視覺跟蹤26的視覺速度76和雷達團28的雷達速度78之間的速度差74小于速度閾值80，例如五公里每小時(5kph)。這些差可被計算為絕對值，例如方位角差＝|視覺角-雷達角|，距離差＝|視覺距離-雷達距離|，且速度差＝|視覺速度-雷達速度|。

作為示例的方式而非限制，在一個實施例中，視覺速度76和雷達速度78可以分別指示視覺跟蹤26和雷達團28的縱向速率。那就是，視覺速度76和雷達速度78的僅平行于主車輛12的當(dāng)前行駛方向的那部分可被考慮，并且任何相對的橫向運動可被忽略。在另一實施例中，視覺距離(未示出)和雷達距離(未示出)可分別指示視覺跟蹤和雷達團的縱向位置。那就是，僅平行于主車輛12的當(dāng)前行駛方向的距離可被考慮，且任何橫向偏移可被忽略。

多種替換規(guī)則可被用于確定匹配可行性36。例如，當(dāng)方位角差62不小于方位角閾值68時，視覺跟蹤26和雷達團28的特定組合的匹配可行性36可被設(shè)定為等于零(0)，而不管距離差70和速度差74的值。替代地，僅當(dāng)所有測試通過時，例如，a)方位角差62小于方位角閾值68，b)距離差70小于距離閾值72，以及c)速度差74小于速度閾值80，每個匹配可行性被設(shè)定為等于一(1)。替代地，當(dāng)以下情況中的至少一種情況時，每個匹配可行性被設(shè)定為等于一(1)：a)方位角差小于方位角閾值，b)距離差小于距離閾值，以及c)速度差小于速度閾值，以及d)視覺跟蹤26的視覺運動狀態(tài)(未示出)與雷達團28的雷達運動狀態(tài)(未示出)匹配，其中視覺運動狀態(tài)和雷達運動狀態(tài)各自由接近、靜止和后退之一表征，其指示相對于主車輛12的對地的方向。在確定運動狀態(tài)時，對地運動，而不是相對于主車輛的運動的運動，是關(guān)鍵。例如，假設(shè)在主車輛12的前面有另一輛車，該車在相同的方向上移動但以減小的速度移動。該其他車輛的相對運動是朝向主車輛，但是它并不被表征為接近。因為它的對地運動是在與主車輛正在移動相同的方向上，所以它被表征為后退。

第四步驟可以是從所有可能的視覺跟蹤和雷達團配對組合中選擇可行的匹配模式40的列表。當(dāng)配對組合中的視覺跟蹤26和雷達團28的每個組合的匹配可行性36等于一(1)時，該配對組合被表征為可行的匹配模式。作為示例，配對組合的所有的匹配可行性可一起相乘。如果結(jié)果是一，那么匹配可行性的每個實例是一。然而，如果結(jié)果是零，那么匹配可行性的至少一個實例是零。

第五步驟可以是確定可行的匹配模式40的每個實例的品質(zhì)值42。品質(zhì)值42可以是基于用于確定匹配可行性36的方位角差62、距離差70和速度差74的實例的加權(quán)組合的倒數(shù)。每個差的權(quán)重可以是預(yù)定的值，例如方位角權(quán)重82，距離權(quán)重84以及速度權(quán)重86，其可以是通過經(jīng)驗測試確定的預(yù)定值。

第六步驟可以是通過利用所選的比例因子比例化品質(zhì)值42來為每個品質(zhì)值42確定歸一化值44，從而歸一化值的總和等于一(1)，即歸一化值(i)＝品質(zhì)值(i)/總和(所有品質(zhì)值)。

第七步驟可以是通過對指示視覺跟蹤26和雷達團28的組合的匹配的可行的匹配模式40的歸一化值44求和，為視覺跟蹤26和雷達團28的每個組合計算原始概率46。

第八步驟可以是通過對針對該組合獲得的原始概率46進行低通過濾48來確定視覺跟蹤26和雷達團28的每個組合的匹配概率32。

第九步驟可以是通過將視覺跟蹤26和雷達團28的組合的匹配概率與上閾值88和下閾值90進行比較，來確定對視覺跟蹤26和雷達團28之間的現(xiàn)有關(guān)聯(lián)進行重新組織測試34的需要，并在匹配概率32之一從小于上閾值88轉(zhuǎn)變到大于上閾值88或者從大于下閾值90轉(zhuǎn)變到小于下閾值90時，執(zhí)行對視覺跟蹤26和雷達團28之間的關(guān)聯(lián)的重新組織測試34。

第四步驟和第五步驟之間的額外步驟可以是對由基本上相等的方位角值表征的雷達團執(zhí)行遮擋測試30，以使因為位置到一個的視線被另一個遮擋而遮擋測試30指示不可能的視覺跟蹤26和雷達團28的任何組合的匹配概率為空。

因此，提供了一種目標(biāo)跟蹤系統(tǒng)(系統(tǒng)10)、用于系統(tǒng)10的控制器22和以步驟的方式描述的方法。具體地，提供了用于將由相機14檢測到的視覺跟蹤26與由雷達傳感器18檢測到的雷達團28匹配的改進的方法。有利地，已經(jīng)通過經(jīng)由確定每個可能組合的匹配可行性36的把關(guān)(gating)過程排除一些可能的組合來減少數(shù)據(jù)處理的量。

盡管已根據(jù)本發(fā)明的優(yōu)選實施例對本發(fā)明進行了描述，然而本發(fā)明不旨在受如此限制，而是僅受所附權(quán)利要求中給出的范圍限制。