一種基于深度圖的背景建模和前景提取的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機(jī)圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于深度圖的圖像背景建 模和前景提取的方法。
【背景技術(shù)】
[0002] 目前，背景建模以及前景提取針對的圖像源主要為色彩圖，本身針對色彩圖有一 套色彩圖的背景建模及前景提取的方法，主要有高斯背景建模和碼書背景建模等?，F(xiàn)有對 色彩圖進(jìn)行建模存在的主要問題：一是單純通過顏色的變化來區(qū)分背景與前景信息，不能 體現(xiàn)出圖像中各個目標(biāo)之間的方位關(guān)系；二是色彩圖受光照以及外部環(huán)境的影響大，前景 提取的結(jié)果受其影響較大，穩(wěn)定性差；三是色彩圖單個像素點(diǎn)數(shù)據(jù)量大，建模過程中運(yùn)算效 率較低。
[0003] Kyungnam Kim Thanarat H. Chalidabhongse David Harwood Larry Davis Real-time foreground - background segmentation using codebook model-2005 -Elsevier-文中提出的方案，雖然具有可以在彩色視頻流中建立背景模型，并且可以保證 算法實(shí)時的提取前景目標(biāo)的優(yōu)點(diǎn)，但還存在明顯不足，例如在色彩圖中提取前景物體很容 易受到光照和紋理的影響，如在光線較暗的房間，則基于色彩圖的背景建模和前景提取效 果較差。同時，使用該論文的背景建模方式需要對場景有一個初始建模過程，之后才可以進(jìn) 行較為準(zhǔn)確的前景提取，在實(shí)際用途中影響用戶體驗(yàn)。
[0004] 中國專利申請201110132428. 8公開了 "三維場景的分析"，該方法是用兩幅深度 圖作為背景模型。雖然該方法可有效解決基于深度圖的目標(biāo)提取，但還存在以下明顯不足， 一是該方法無法解決更加復(fù)雜背景模型情況，比如背景為一個有規(guī)律運(yùn)動的背景，例如電 風(fēng)扇的旋轉(zhuǎn)，也是作為一個背景模型存在；二是沒有實(shí)時的更新背景模型，基于的是一種靜 態(tài)背景的假設(shè)，不能處理更加復(fù)雜背景變化的情況。
[0005] 中國專利申請201310301859. 1公開了 "一種基于輪廓差異及區(qū)塊主方向直方圖 的前景與特征提取方法"，該方法是用原視頻與背景建模得到的背景圖像兩者的輪廓差異 來定位運(yùn)動物體，保留運(yùn)動物體輪廓，并利用去除背景的梯度信息和區(qū)塊主梯度方向結(jié)合 提取基于區(qū)塊主方向的梯度直方圖特征，彌補(bǔ)其過分依賴局部細(xì)節(jié)特征的缺點(diǎn)。雖然該方 法可有效解決復(fù)雜背景下的目標(biāo)提取問題，使得前景提取和特征進(jìn)行分類準(zhǔn)確率可達(dá)到 94. 04%，但還存在以下明顯不足，一是本專利是基于一個已經(jīng)建立好的背景模型，無法處 理在背景模型一開始就無法提供的情況；二是計算量較大，需要計算梯度特征并使用分類 器進(jìn)行識別。
[0006] 綜上所述，如何克服現(xiàn)有技術(shù)所存在的不足已成為當(dāng)今計算機(jī)圖像處理技術(shù)領(lǐng)域 中亟待解決的重大難題之一。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為克服現(xiàn)有技術(shù)的不足而提供一種基于深度圖的圖像背景建模 和前景提取的方法，本發(fā)明具有公知的使用色彩圖建模方法所無法比擬的穩(wěn)定性、高效率 以及處理位置關(guān)系的優(yōu)越性，且不需要對場景進(jìn)行初始建模，簡化了實(shí)施步驟，整體效能大 幅度提尚。
[0008] 根據(jù)本發(fā)明提出的一種基于深度圖的圖像背景建模和前景提取的方法，其特征在 于，包括步驟一至步驟七，根據(jù)步驟七是否已滿足最終結(jié)果的要求，如果未滿足，則可以該 結(jié)果為輸入，繼續(xù)重復(fù)步驟四至步驟七，以其不斷循環(huán)的方式來達(dá)到最終結(jié)果，具體步驟如 下：
[0009] 步驟一，獲取表征物體距離攝像頭距離的深度圖像：所述深度圖像為不限定分辨 率的數(shù)字圖像，其中深度圖像的每個像素點(diǎn)的深度值都是當(dāng)前場景中物體垂直于攝像頭主 光軸的直線距離；
[0010] 步驟二，初始化實(shí)時深度背景模型：使用整個深度圖像中所有像素點(diǎn)初始化以碼 組為單元的實(shí)時深度背景模型，所述碼組是指統(tǒng)計像素點(diǎn)的背景信息，每個像素點(diǎn)具有一 個碼組，每個碼組包含多個碼字；所述碼字的數(shù)量的最大值為預(yù)先設(shè)定的確定值，該碼字?jǐn)?shù) 量的最大值由深度圖本身的成像穩(wěn)定性決定，成像穩(wěn)定性高，則碼字?jǐn)?shù)量的最大值小； [0011] 步驟三，更新實(shí)時深度背景模型：通過目標(biāo)識別生成目標(biāo)掩模圖，并根據(jù)目標(biāo)掩模 圖更新實(shí)時深度背景模型中每個像素點(diǎn)所對應(yīng)的碼組信息；所述目標(biāo)掩模圖包括表征圖像 中每個目標(biāo)的所包含的像素點(diǎn)的目標(biāo)區(qū)域，以及非目標(biāo)的背景區(qū)域，目標(biāo)掩模圖中目標(biāo)區(qū) 域作為前景像素點(diǎn)進(jìn)行更新，目標(biāo)掩模圖中背景區(qū)域作為背景像素點(diǎn)進(jìn)行更新；
[0012] 步驟四，再次獲取表征物體距離攝像頭距離的當(dāng)前深度圖像；
[0013] 步驟五，基于實(shí)時深度背景模型提取前景圖像：根據(jù)當(dāng)前深度圖像中任意一個像 素點(diǎn)的深度值對其所對應(yīng)碼組的所有碼字進(jìn)行搜索與比較，從而判斷該像素點(diǎn)為背景點(diǎn)或 前景點(diǎn)，將所述背景點(diǎn)賦值為背景值，所述前景點(diǎn)賦值為前景值，從而構(gòu)成前景圖像；
[0014] 步驟六，輸出前景圖像，生成實(shí)時目標(biāo)掩膜圖：根據(jù)所述前景圖像進(jìn)行目標(biāo)識別， 識別出當(dāng)前深度圖像中的目標(biāo)物體，并生成實(shí)時目標(biāo)掩膜圖；所述實(shí)時目標(biāo)掩模圖包括用 于表征所述當(dāng)前深度圖像中每個目標(biāo)所包含的像素點(diǎn)的目標(biāo)區(qū)域，和非目標(biāo)所包含的像素 點(diǎn)的背景區(qū)域；
[0015] 步驟七，更新實(shí)時深度背景模型：根據(jù)實(shí)時目標(biāo)掩模圖，更新實(shí)時深度背景模型 中每個像素點(diǎn)的碼組信息，其中所述實(shí)時目標(biāo)掩膜圖中的目標(biāo)區(qū)域作為前景像素點(diǎn)進(jìn)行更 新，所述實(shí)時目標(biāo)掩模圖中的背景區(qū)域作為背景像素點(diǎn)進(jìn)行更新。
[0016] 本發(fā)明提出的一種基于深度圖的圖像背景建模和前景提取的方法的進(jìn)一步優(yōu)選 方案是：
[0017] 本發(fā)明步驟三所述更新實(shí)時深度背景模型中每個像素點(diǎn)的碼組信息，是指更新碼 組內(nèi)已經(jīng)存在的碼字信息和增加刪減碼組內(nèi)的碼字?jǐn)?shù)量；其中，更新背景像素點(diǎn)所對應(yīng)的 碼組信息，其方法為更新碼組內(nèi)已經(jīng)存在的碼字信息和增加碼組內(nèi)的碼字?jǐn)?shù)量；更新前景 像素點(diǎn)所對應(yīng)的碼組信息，其方法為刪減碼組內(nèi)的碼字?jǐn)?shù)量；所述的增加碼組內(nèi)的碼字?jǐn)?shù) 量是指在不超過碼字?jǐn)?shù)量最大值的前提下增加；所述的減少碼組內(nèi)的碼字?jǐn)?shù)量是指可以最 終減少到0個碼字。
[0018] 所述碼字包括碼字中心閾值TresholcUntCT，碼字出現(xiàn)次數(shù)F，碼字未出現(xiàn)次數(shù)L，所 述更新碼組內(nèi)已經(jīng)存在的碼字信息，是指更新碼字中心閾值Tr eSh〇lcUntCT、碼字出現(xiàn)次數(shù)F 和碼字未出現(xiàn)次數(shù)L。
[0019] 所述碼字中心閾值TreSh〇lcUntCT，是指用于判斷對應(yīng)的像素值深度值是否屬于該 碼字；判斷依據(jù)為深度值是否處于以碼字中心閾值為中心的高低閾值范圍內(nèi)；設(shè)中心閾值 為Treshold。^^，低閾值Treshold lciw的計算公式為：
[0020] Tresholdlow= Tresholdcenter-D
[0021] 上式中：D為當(dāng)前像素點(diǎn)深度值對應(yīng)的深度閾值，該深度閾值是根據(jù)不同深度預(yù) 先設(shè)定的數(shù)值；低閾值計算結(jié)果小于〇時，低閾值為〇 ;對應(yīng)的高閾值的計算公式為：
[0022] Tresholdhigh= Treshold center+D
[0023] 上式中：當(dāng)高閾值的計算結(jié)果大于可能出現(xiàn)的最大深度值時，則高閾值的結(jié)果為 最大的深度值。
[0024] 所述碼字出現(xiàn)次數(shù)F，是指記錄所有屬于該碼字的深度值的出現(xiàn)次數(shù)；其中，每一 個屬于該碼字的深度值都在以碼字的Tr eSh〇lcUntCT為中心的高低閾值之間。
[0025] 所述碼字未出現(xiàn)次數(shù)L，是指記錄所有不屬于該碼字的深度值出現(xiàn)次數(shù)；當(dāng)像素 位置對應(yīng)的碼組中有至少一個碼字時，當(dāng)更新的深度值不屬于該碼字，則該碼字記錄未出 現(xiàn)的次數(shù)。
[0026] 所述更新碼組內(nèi)已經(jīng)存在的碼字信息，包括：更新碼字的中心閾值TreSh 〇lcUntCT， 更新條件為深度值處于該碼字的范圍內(nèi)；滿足條件后使用如下更新公式為：
[0027]
[0028] 上式中：等式左邊的Tresholdtlf3ntel^計算后中心閾值結(jié)果，等式右邊的 Tresholdra3ntel^J更新前的中心閾值，Depth為處于該碼字范圍內(nèi)的深度值，F(xiàn)為碼字出現(xiàn)的 次數(shù)F ;更新碼字的出現(xiàn)次數(shù)F，更新條件為深度值處于該碼字的范圍內(nèi)；滿足條件后F值 加1 ;更新碼字的未出現(xiàn)次數(shù)L，深度值處于該碼字的范圍內(nèi)，對應(yīng)碼字的L賦值為0 ;深度 值不處于該碼字的范圍內(nèi)，對應(yīng)的所有碼字的L值加1。
[0029] 本發(fā)明步驟五所述根據(jù)當(dāng)前深度圖像中任意一個像素點(diǎn)的深度值對其所對應(yīng)碼 組的所有碼字進(jìn)行搜索與比較，是指比較當(dāng)前深度圖像中像素點(diǎn)的深度值和像素點(diǎn)對應(yīng)的 碼組中所有碼字內(nèi)的高低閾值，如果深度值在至少一個碼字的高低閾值范圍之內(nèi)，則認(rèn)為 該像素點(diǎn)為當(dāng)前深度圖的背景點(diǎn)，如果深度值沒有處在碼組中任何碼字的高低閾值范圍之 內(nèi)，則認(rèn)為該像素點(diǎn)為當(dāng)前深度圖的前景點(diǎn)。
[0030] 本發(fā)明