專利名稱：一種基于dsp的目標檢測與跟蹤方法以及數(shù)字圖像處理系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及DSP(數(shù)字信號處理)技術，特別涉及數(shù)字圖像目標檢測與跟蹤。
背景技術：
在數(shù)字視頻處理和計算機視覺領域的各種應用中，目標檢測和跟蹤是一個重要 的，也是最基本的任務。 一些較流行的應用領域，自治車輛導航、機器人控制、基于運動的識 別、視頻壓縮、基于視覺的控制、人機接口、醫(yī)學成像、增強現(xiàn)實、視頻場景監(jiān)控都需用到圖 像目標檢測與跟蹤技術。盡管在計算機視覺領域，目標的檢測和跟蹤技術已經(jīng)研究了十多 年，但仍然是一個活躍的研究領域。目前還沒有一個通用的、精確的、高性能的和實時的目 標檢測和跟蹤算法。 Mean shift算法最早提出時，是指一個迭代步驟，計算當前點的偏移均值，再移動 該點到其偏移均值，然后以此為新的起點繼續(xù)移動，直到滿足設定條件后結束。Comaniciu 首先將mean shift算法應用到目標跟蹤領域中來，利用Bhattacharrya系數(shù)(巴氏系數(shù)) 作為初始幀中目標窗口與預測幀中目標窗口之間的相似性量度標準，用mean shift算法來 搜索預測幀中最優(yōu)目標窗口，取得了較好的跟蹤效果(Real-Time tracking of non-rigid objectsusing mean shift, Proc. Of the IEEE Conf. on Computer Vision and Pattern Recognition, 2000 :142-149 ;Kernel_based object tracking. IEEE Trans. On pattern analysis andmachine intelligence. 200325 (5) :564-577)。針對Mean shift算法的不 足，后續(xù)又做了不少改進。 由于人體固有的一些特性，應用場景的復雜性，人與人或人與環(huán)境之間的相互影 響，使得人體的檢測和跟蹤是計算機視覺研究領域中最難的一項挑戰(zhàn)?！痘贛ean Shift 算法的嵌入式實時彩色目標跟蹤》(參見孫中森，張懷柱，宋建中.基于Mean Shift算法的 嵌入式實時彩色目標跟蹤[J].電子器件，2007，30(5) :1611-1617)采用嵌入式目標跟蹤平 臺，選用RGB空間彩色特征Mean Shift跟蹤算法實時應用，實現(xiàn)彩色目標的跟蹤。該方案中 采用目標位置附近橢圓形圖像區(qū)域的加權彩色直方圖來表示目標，這無疑增加了算法的復 雜度，并且由于DSP視頻采集模塊輸出信息是YUV圖像，需先對圖像轉換為RGB顏色空間。 YUV至RGB格式的轉換也增加了該方案實現(xiàn)的復雜度。并且在實現(xiàn)過程中還需要對該算法 的相關參數(shù)進行經(jīng)驗設置。可見，該方案對于彩色目標的檢測和跟蹤在算法復雜性和實時 性方面還可以有所改進。

發(fā)明內容
本發(fā)明所要解決的技術問題是，提供一種快速、易于實現(xiàn)的基于DSP的目標檢測 與跟蹤方法，以及實現(xiàn)方法的數(shù)字圖像處理系統(tǒng)。 本發(fā)明為解決上述技術問題所采用的技術方案是，一種基于DSP的目標檢測與跟 蹤方法，包括以下步驟
4
a、讀取視頻圖像序列； b、針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口 ； c、通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值 d、計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，
通過初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最
優(yōu)的預測幀中目標窗口的像素坐標。 YUV空間實現(xiàn)亮度與色度的分離，且是一種離散的空間，具有很好的聚類特性，DSP 視頻采集模塊輸出的圖像信息無需格式轉換既能直接進行目標檢測處理；且采用YUV空間 進行Mean shift的目標跟蹤和采用單分量進行直方圖統(tǒng)計相比較，跟蹤結果更加精確，降 低了運算復雜度。 進一步的，由于連續(xù)兩幀之間提取的時間差很短，同一目標物體移動距離有限，所 以對于連續(xù)兩幀之間檢測到的目標窗口的中心點的距離在某個允許范圍內，才對這兩個目 標窗口進行Mean Shift計算。即，在步驟b之后，步驟c之前，還進行目標跟蹤的初始判斷； 判斷連續(xù)兩幀中的目標窗口的中心像素的距離在設定閾值內，如是，進入步驟c ;否則，表 示這兩幀中的目標窗口并非為同一 目標物體，不對這兩個目標窗口進行Mean Shift計算。
具體的步驟c中，特征值提取通過以下方式實現(xiàn)
Wy ——… l —… M,
:M, +廠:
(J —y . ) "r (" —" . ) (7 —r .)
\ maxmm / \max mm / \ maxmm / 其中，u表示目標窗口的特征值，Y、 U、 V分別對應目標窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分別對應Y分量、U分量、V分量的量化級數(shù)，Ymax與Ymin、 Umax與Umin、 Vmax與Vmin 分別對應Y分量、U分量、V分量的最大值與最小值。這樣計算特征值相當于把YUV分量的 信息投射到三維空間，NY、 Nu、 Nv的大小將直接影響Y、 U、 V分量對特征值的貢獻力度。
具體的，步驟b中包括以下步驟 bl、分別提取背景圖像和當前圖像的Y分量圖像邊緣信息； b2、將背景圖像和當前圖像的Y分量圖像邊緣信息做差，得到前景邊緣區(qū)域； b3、對前景邊緣區(qū)域進行降噪處理； b4、根據(jù)前景邊緣區(qū)域在當前圖像中標記目標窗口 。 具體的，步驟d中，初始幀中目標窗口的特征值的概率為 4 = C Z A
廣x0 —2 、
V7 其中，^表示初始幀中目標窗口的特征值的概率；x。為初始幀中目標窗口的中心 像素坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，…，nh;k(| |g| |2)為一個 凸的單調下降的核函數(shù)，考慮距離的影響，給目標窗口中的像素點Xi分配權值；h表示核函 數(shù)的帶寬；S (g)為Kronecker delta函數(shù)(克羅內克函數(shù))；b(g)為像素點Xi到像素特 征值u的映射，即像素點Xi對應的直方圖中的顏色索引值；C為歸一化常數(shù)。
步驟d中，預測幀中目標窗口的特征值的概率為 》力)=Cj A
卩少_義；、
V乂
5
其中，A(力表示預測幀中目標窗口的特征值的概率；y為預測幀中目標窗口的中 心像素坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，， nh;k(| |g| |2)為一 個凸的單調下降的核函數(shù)，考慮距離的影響，給目標窗口中的像素點Xi分配權值；h表示核 函數(shù)的帶寬；S (g)為Kronecker delta函數(shù)；b (g)為像素點Xi到像素特征值u的映射，即 像素點Xi對應的直方圖中的顏色索引值；Ch為歸一化常數(shù)。 步驟中，使得初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的 概率匹配為 其中，》Cy)為Bhattacharrya系數(shù)；么表示初始幀中目標窗口的特征值的概率；
A(力表示預測幀中目標窗口的特征值的概率；即A與A(力的相似性用》(力來度量分別，u =1，…，m，m表示特征值總個數(shù)。每幀用N次迭代，》(力取最大的迭代結果，當》(力大于匹 配閾值表示匹配成功，此時得到最優(yōu)的預測幀中目標窗口的中心像素坐標y以實現(xiàn)目標跟
蹤o 本發(fā)明還提供一種數(shù)字圖像處理系統(tǒng)，包括視頻圖像采集模塊、目標檢測模塊、目 標跟蹤模塊，其特征在于， 視頻圖像采集模塊用于對獲取的視頻圖像進行模數(shù)轉換，將YUV格式的視頻輸出 至目標檢測模塊； 目標檢測模塊用于針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口 ；
目標跟蹤模塊用于通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值， 并計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，通過初始 幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最優(yōu)預測幀 中目標窗口的像素坐標。 具體的，目標檢測模塊分別提取背景圖像和當前圖像的Y分量圖像邊緣信息，并 將背景圖像和當前圖像的Y分量圖像邊緣信息做差，得到前景邊緣區(qū)域后對前景邊緣區(qū)域 進行降噪處理，根據(jù)前景邊緣區(qū)域在當前圖像中標記目標窗口。 進一步的，目標跟蹤模塊還用于在進行提取目標窗口的特征值之前進行初始判 斷，判斷連續(xù)兩幀中的目標窗口的中心像素的距離是否在設定閾值內，如是目標跟蹤模塊 繼續(xù)對該目標窗口進行處理，否則，放棄處理對該目標窗口 。
具體的，目標跟蹤模塊具體采用如下方式提取目標窗口的特征值<formula>formula see original document page 6</formula> 其中，u表示目標窗口的特征值，Y、 U、 V分別對應目標窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分別對應Y分量、U分量、V分量的量化級數(shù)，Ymax與Ymin、 Umax與Umin、 Vmax與Vmin 分別對應Y分量、U分量、V分量的最大值與最小值。
進一步的，還包括滯留時間統(tǒng)計模塊； 滯留時間統(tǒng)計模塊用于統(tǒng)計跟蹤的目標窗口在場景中的滯留時間，當滯留時間超 過閾值，則將發(fā)送出報警信息。 本發(fā)明的有益效果是，既提高檢測與跟蹤目標的準確性，又降低運行復雜度，使得 》(力三》[AX_y),《 ]= X V》"(力《檢測與跟蹤目標過程中運行速度更快，更能滿足對實時性要求。


圖1為系統(tǒng)示意圖；
圖2為目標檢測流程圖；
圖3為目標跟蹤流程圖。
具體實施例方式
數(shù)字圖像處理系統(tǒng)如圖1所示，包括視頻圖像采集模塊、目標檢測模塊、目標跟蹤 模塊、滯留時間統(tǒng)計模塊、接警中心。 視頻圖像采集模塊用于對獲取的視頻圖像進行模數(shù)轉換，將YUV格式的視頻輸出 至目標檢測模塊； 目標檢測模塊用于針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口 ；
目標跟蹤模塊用于通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值， 并計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，通過使得 初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最優(yōu)預 測幀中目標窗口的像素坐標； 滯留時間統(tǒng)計模塊用于統(tǒng)計跟蹤的目標窗口在場景中的滯留時間，當滯留時間超 過閾值，則報警，并將報警圖片上傳接警中心。
目標檢測流程如圖2所示，主要針對圖像的Y分量進行檢測，具體步驟如下
Sl :分別提取背景圖像的Y分量圖像邊緣信息(Eb)和當前圖像的Y分量圖像邊緣 信息(Ec); S2:將背景圖像和當前圖像的邊緣圖像做差，作為前景邊緣區(qū)域(deltaE = Ec-Eb); S3 :對前景邊緣區(qū)域進行形態(tài)學開_閉運算降噪處理；
S4 :檢測出目標，則在當前彩色圖像中標記目標窗口。 目標跟蹤流程如圖3所示，在進行Mean Shift算法之前，進行對目標跟蹤的初始 判斷。判斷依據(jù)在于，連續(xù)兩幀(第N幀、第N+1幀)之間提取的時間差很短，目標移動距 離有限，所以對于連續(xù)兩幀圖像之間檢測到的目標，若兩幀目標窗口的中心點的距離在某 個允許范圍內，才對這兩個目標窗口進行Mean Shift計算，否則表示這兩幀中的目標非同 一物體。 基于Mean Shift算法的目標跟蹤，主要針對圖像的Y、 U、 V三分量進行目標跟蹤， 具體步驟如下 Sl :對檢測的目標窗口進行特征值提取，用目標的YUV三分量來描述這個目標特 征 <formula>formula see original document page 7</formula>
其中，u表示目標窗口的特征值，Y、 U、 V分別對應目標窗口的Y分量、U分量、V分 量，NY、 Nu、 Nv分別對應Y分量、U分量、V分量的量化級數(shù)，Ymax與Ymin、 Umax與Umin、 Vmax與Vmin分別對應Y分量、U分量、V分量的最大值與最小值； S2 :建立初始幀的目標模型，初始幀中目標窗口的特征值的概率為 4U = C Z A
廣<formula>formula see original document page 8</formula>
其中，^表示初始幀中目標窗口的特征值的概率；x。為初始幀中目標窗口的中心 像素坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，， nh;k(| |g| |2)為一個 凸的單調下降的核函數(shù)，考慮距離的影響，給目標窗口中的像素點Xi分配權值；h表示核函 數(shù)的帶寬；S (g)為Kronecker delta函數(shù)(克羅內克函數(shù))；b(g)為像素點Xi到像素特 征值u的映射，即像素點Xi對應的直方圖中的顏色索引值；C為歸一化常數(shù)。
S3:建立第N幀的目標模型，預測幀N中目標窗口的特征值的概率為
<formula>formula see original document page 8</formula>
其中，A(力表示預測幀中目標窗口的特征值的概率；y為預測幀中目標窗口的中 心像素坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，， nh;k(| |g| |2)為一 個凸的單調下降的核函數(shù)，考慮距離的影響，給目標窗口中的像素點Xi分配權值；h表示核 函數(shù)的帶寬；S (g)為Kronecker delta函數(shù)；b (g)為像素點Xi到像素特征值u的映射，即 像素點Xi對應的直方圖中的顏色索引值；Ch為歸一化常數(shù)。 S4:將初始幀和第N幀的目標模型進行匹配，即初始幀中目標窗口的特征值的概 率與預測幀中目標窗口的特征值的概率進行匹配，將以完成目標跟蹤
<formula>formula see original document page 8</formula> 其中，》(力為Bhattacharrya系數(shù)；^表示初始幀中目標窗口的特征值的概率； A(力表示預測幀中目標窗口的特征值的概率；即A與A(力的相似性用》(力來度量分另lj。每 幀用N次迭代(優(yōu)選的，N取值為8)，》(力取最大的迭代結果，當》(力大于匹配閾值Th(優(yōu)選 的，Th取值為0. 8)表示匹配成功，此時得到最優(yōu)的預測幀中目標窗口的中心像素坐標y以 實現(xiàn)目標跟蹤。 本發(fā)明基于邊緣背景模型檢測目標，并用改進的Mean Shift算法相結合進行目標
檢測跟蹤，由于DSP視頻采集模塊輸出信息是YUV圖像，所以在算法運行時不需要進行色
彩空間轉換，節(jié)約了算法運行時間，并且本發(fā)明進行了跟蹤目標的初判斷，跟蹤方法結合了
YUV三分量進行特征提取，較常用的單分量特征提取跟蹤的精確度更高。 雖然本發(fā)明是結合一個具體實施方式
表述，但本領域技術人員可以對其中的某些
特征加以適當改變或將其應用到其它領域以解決上述問題，因此本領域技術人員在本實施
例的基礎上進行的所有相關擴展和應用都應落入本申請的保護領域。
權利要求
一種基于DSP的目標檢測與跟蹤方法，其特征在于，包括以下步驟a、讀取視頻圖像序列；b、針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口；c、通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值；d、計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，通過初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最優(yōu)的預測幀中目標窗口的像素坐標。
2. 如權利要求1所述一種基于DSP的目標檢測與跟蹤方法，其特征在于，在步驟b之后，步驟C之前，還進行目標跟蹤的初始判斷當連續(xù)兩幀中的目標窗口的中心像素的距離在設定閾值內，進入步驟c。
3. 如權利要求1所述一種基于DSP的目標檢測與跟蹤方法，其特征在于，步驟c中，特征值提取通過以下方式實現(xiàn)<formula>formula see original document page 2</formula>其中，u表示目標窗口的特征值，Y、 U、 V分別對應目標窗口的Y分量、U分量、V分 NY、 Nu、 Nv分別對應Y分量、U分量、V分量的量化級數(shù)，Ymax與Ymin、 Umax與Umin、 Vmax與Vmi, 別對應Y分量、U分量、V分量的最大值與最小值。
4. 如權利要求1所述一種基于DSP的目標檢測與跟蹤方法，其特征在于，步驟b具體包 括以下步驟bl、分別提取背景圖像和當前圖像的Y分量圖像邊緣信息； b2、將背景圖像和當前圖像的Y分量圖像邊緣信息做差，得到前景邊緣區(qū)域； b3、對前景邊緣區(qū)域進行降噪處理； b4、根據(jù)前景邊緣區(qū)域在當前圖像中標記目標窗口 。
5. 如權利要求1所述一種基于DSP的目標檢測與跟蹤方法，其特征在于，步驟d中，初 始幀中目標窗口的特征值的概率為<formula>formula see original document page 2</formula>其中，A表示初始幀中目標窗口的特征值的概率；x。為初始幀中目標窗口的中心像素 坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，…，nh;k(| |g| |2)為核函數(shù)；h 表示核函數(shù)的帶寬；S (g)為Kronecker delta函數(shù)；b(g)為像素點Xi到像素特征值u的 映射；C為歸一化常數(shù)；預測幀中目標窗口的特征值的概率為<formula>formula see original document page 2</formula>其中，A(力表示預測幀中目標窗口的特征值的概率；y為預測幀中目標窗口的中心像 素坐標；Xi為初始幀中目標窗口的第i個像素的坐標，i = 1，…，rih;k(1 |g| |2)為核函數(shù)； h表示核函數(shù)的帶寬；S (g)為Kronecker delta函數(shù)；b (g)為像素點Xi到像素特征值u的 映射；Ch為歸一化常數(shù)；使得初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配為<formula>formula see original document page 3</formula>其中，》(力為Bhattacharrya系數(shù)；^表示初始幀中目標窗口的特征值的概率；A(力表 示預測幀中目標窗口的特征值的概率；11 = 1，…，m，m表示特征值總個數(shù)；當》(力大于匹配閾值表示匹配成功。
6. —種數(shù)字圖像處理系統(tǒng)，包括視頻圖像采集模塊、目標檢測模塊、目標跟蹤模塊，所 述視頻圖像采集模塊用于對獲取的視頻圖像進行模數(shù)轉換，將YUV格式的視頻輸出至目標 檢測模塊；其特征在于，所述目標檢測模塊用于針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口 ； 所述目標跟蹤模塊用于通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值， 并計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，通過初始 幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最優(yōu)預測幀 中目標窗口的像素坐標。
7. 如權利要求6所述一種數(shù)字圖像處理系統(tǒng)，其特征在于，所述目標跟蹤模塊還用于 在進行提取目標窗口的特征值之前進行初始判斷，判斷連續(xù)兩幀中的目標窗口的中心像素 的距離是否在設定閾值內，如是目標跟蹤模塊繼續(xù)對該目標窗口進行處理，否則，放棄處理 對該目標窗口。
8. 如權利要求6所述一種數(shù)字圖像處理系統(tǒng)，其特征在于，所述目標跟蹤模塊具體采 用如下方式提取目標窗口的特征值<formula>formula see original document page 3</formula>其中，u表示目標窗口的特征值，Y、 U、 V分別對應目標窗口的Y分量、U分量、V分量， NY、 Nu、 Nv分別對應Y分量、U分量、V分量的量化級數(shù)，Ymax與Ymin、 Umax與Umin、 Vmax與Vmin分 別對應Y分量、U分量、V分量的最大值與最小值。
9. 如權利要求6所述一種數(shù)字圖像處理系統(tǒng)，其特征在于，所述目標檢測模塊分別提 取背景圖像和當前圖像的Y分量圖像邊緣信息，并將背景圖像和當前圖像的Y分量圖像邊 緣信息做差，得到前景邊緣區(qū)域后對前景邊緣區(qū)域進行降噪處理，根據(jù)前景邊緣區(qū)域在當 前圖像中標記目標窗口。
10. 如權利要求6所述一種數(shù)字圖像處理系統(tǒng)，其特征在于，還包括滯留時間統(tǒng)計模塊；所述滯留時間統(tǒng)計模塊用于統(tǒng)計跟蹤的目標窗口在場景中的滯留時間，當滯留時間超 過閾值，則將發(fā)送出報警信息。
全文摘要
本發(fā)明涉及數(shù)字圖像目標檢測與跟蹤，提供一種快速、易于實現(xiàn)的基于DSP的目標檢測與跟蹤方法，以及實現(xiàn)方法的數(shù)字圖像處理系統(tǒng)，針對圖像的Y分量進行圖像邊緣提取從而確定目標窗口；通過目標窗口的Y分量、U分量、V分量提取目標窗口的特征值計算初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率，通過初始幀中目標窗口的特征值的概率與預測幀中目標窗口的特征值的概率匹配，得到最優(yōu)的預測幀中目標窗口的像素坐標。YUV空間具有很好的聚類特性，DSP視頻采集模塊輸出的圖像信息無需格式轉換；且采用YUV空間進行Mean shift的目標跟蹤，使得結果更加精確，降低了運算復雜度。
文檔編號G06T7/20GK101789128SQ20101012100
公開日2010年7月28日 申請日期2010年3月9日 優(yōu)先權日2010年3月9日
發(fā)明者楊云, 白云, 胡入幻, 路璐, 鄒建華 申請人:成都三泰電子實業(yè)股份有限公司