一種深度圖像中基于多叉樹的局部凸出對(duì)象提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域中的的物體檢測(cè)技術(shù)，特別是涉及一種深度圖像 中基于多叉樹的局部凸出對(duì)象提取方法。
【背景技術(shù)】
[0002] 隨著深度傳感器（比如微軟的Kinect等）的普及以及雙目立體視覺（比如英特 爾的RealSen Se3D攝像頭等）的發(fā)展，立體視覺在最近十年逐漸成為熱門領(lǐng)域，相比傳統(tǒng)二 維平面圖像，深度圖像增加了三維深度信息。深度信息的潛在應(yīng)用前景是巨大的，而其中一 個(gè)重要的應(yīng)用場(chǎng)景就是物體檢測(cè)。
[0003] 物體檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題，同時(shí)也是一個(gè)難點(diǎn)問題，獲得盡可 能少且與物體類別無關(guān)的對(duì)象區(qū)域是物體檢測(cè)的重中之重。傳統(tǒng)的方法多基于矩形框， 也就是用一系列矩形框盡可能緊致的框出圖像中的對(duì)象（比如Pascal Visual Object Classes Challenge等），這類方法在傳統(tǒng)二維圖像領(lǐng)域被廣泛應(yīng)用，在兼顧速度的同時(shí)取 得了較好的檢測(cè)精度，但是這種方法亦然存在著生成備選框較多，備選框緊致度低，框內(nèi)存 在大量無用信息等問題。另一種方法是基于區(qū)域分割，也就是分割出圖像中具有特定現(xiàn)實(shí) 意義的對(duì)象區(qū)域，即語義對(duì)象，這類方法的精度一般較高，但是算法復(fù)雜度高，速度一般較 慢。傳統(tǒng)的物體檢測(cè)多采用灰度信息，而很少涉及深度信息，針對(duì)現(xiàn)實(shí)中的應(yīng)用需求，亟需 一種兼顧速度和精度的深度圖像中局部凸出對(duì)象提取方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種深度圖像中基于多叉樹的局部凸出對(duì)象 提取方法，能夠快速、準(zhǔn)確的提取出多個(gè)凸出對(duì)象區(qū)域，提升深度圖像中凸出物體檢測(cè)的準(zhǔn) 確度，使得檢測(cè)結(jié)果既能滿足人眼視覺要求又能夠較好滿足現(xiàn)實(shí)應(yīng)用中對(duì)速度與精度的需 求。
[0005] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供一種深度圖像中基于多叉樹的 局部凸出對(duì)象提取方法，包括以下步驟：
[0006] (1)對(duì)輸入深度圖像進(jìn)行逐像素鄰域差分，建立基于多叉樹數(shù)據(jù)結(jié)構(gòu)的深度樹模 型以及深度樹節(jié)點(diǎn)與圖像像素的映射圖；
[0007] (2)對(duì)深度樹的葉子節(jié)點(diǎn)進(jìn)行局部?jī)?yōu)化，去除噪聲；
[0008] (3)遍歷深度樹的葉子節(jié)點(diǎn)得到深度圖像的局部極值區(qū)域，利用判決函數(shù)確定葉 子節(jié)點(diǎn)的子樹根節(jié)點(diǎn)位置，從而提取出局部凸出對(duì)象區(qū)域。
[0009] 所述步驟（1)具體包括以下子步驟：
[0010] (11)創(chuàng)建并初始化深度樹根節(jié)點(diǎn)和映射圖，根節(jié)點(diǎn)的深度值設(shè)為最小值，將該節(jié) 點(diǎn)位置保存到映射圖中；
[0011] (12)對(duì)輸入深度圖像進(jìn)行逐像素鄰域差分，判斷當(dāng)前像素深度值是否是鄰域內(nèi)極 值點(diǎn)；
[0012] (13)如果當(dāng)前像素是極值點(diǎn)，則創(chuàng)建新的節(jié)點(diǎn)；
[0013] (14)如果當(dāng)前像素不是極值點(diǎn)，則插入鄰域內(nèi)某一像素的節(jié)點(diǎn)中；
[0014] (15)將該節(jié)點(diǎn)位置保存在映射圖中，并重復(fù)步驟（12)。
[0015] 所述步驟（12)中對(duì)輸入深度圖像進(jìn)行逐像素鄰域差分時(shí)，若該像素是深度圖像 原點(diǎn)且深度值為最小值，則直接存儲(chǔ)入根節(jié)點(diǎn)，并執(zhí)行步驟（15)，否則判斷為鄰域內(nèi)極值 點(diǎn)；若該像素是深度圖像的上邊緣點(diǎn)，則與左像素點(diǎn)差分，判斷是否是鄰域內(nèi)極值點(diǎn)；若該 像素是深度圖像的左邊緣點(diǎn)，則與上像素點(diǎn)差分，判斷是否是鄰域內(nèi)極值點(diǎn)；若該像素是深 度圖像的其他點(diǎn)，則分別與上像素點(diǎn)和左像素點(diǎn)差分，判斷是否是鄰域內(nèi)極值點(diǎn)。
[0016] 所述步驟（13)包括以下子步驟：對(duì)鄰域內(nèi)其他兩像素點(diǎn)所在子樹進(jìn)行合并；將鄰 域內(nèi)深度值較大的像素所在節(jié)點(diǎn)確認(rèn)為待插入節(jié)點(diǎn)的父節(jié)點(diǎn)，創(chuàng)建新葉子節(jié)點(diǎn)，調(diào)整父節(jié) 點(diǎn)、兄弟節(jié)點(diǎn)和孩子節(jié)點(diǎn)，并保存像素位置值，返回該節(jié)點(diǎn)位置。
[0017] 所述步驟（14)包括以下子步驟：
[0018] 對(duì)鄰域內(nèi)其他兩像素點(diǎn)所在子樹進(jìn)行合并；
[0019] 若該像素深度值與鄰域內(nèi)某一像素深度值相同，則將該像素的節(jié)點(diǎn)確認(rèn)為待插入 節(jié)點(diǎn)，保存像素位置值，返回該節(jié)點(diǎn)位置；
[0020] 若該像素深度值與鄰域內(nèi)某一像素的父輩節(jié)點(diǎn)深度值相等，則將該父節(jié)點(diǎn)確認(rèn)為 待插入節(jié)點(diǎn)，保存像素位置值，返回該節(jié)點(diǎn)位置；
[0021] 若該像素深度值介于鄰域內(nèi)某一像素的父輩節(jié)點(diǎn)及其子節(jié)點(diǎn)之間，則將該父節(jié)點(diǎn) 確認(rèn)為待插入節(jié)點(diǎn)的父節(jié)點(diǎn)，創(chuàng)建新子節(jié)點(diǎn)，調(diào)整父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)和孩子節(jié)點(diǎn)，并保存像 素位置值，返回該節(jié)點(diǎn)位置。
[0022] 所述對(duì)鄰域內(nèi)其他兩像素點(diǎn)所在子樹進(jìn)行合并的步驟具體包括：
[0023] 若兩像素點(diǎn)所在節(jié)點(diǎn)是同一節(jié)點(diǎn)，則合并完成；
[0024] 若兩像素點(diǎn)所在節(jié)點(diǎn)不是同一節(jié)點(diǎn)但兩像素深度值相同，則合并兩像素所在節(jié)點(diǎn) 的點(diǎn)集，調(diào)整兩像素所在節(jié)點(diǎn)的父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)和子節(jié)點(diǎn)，調(diào)整映射圖，刪除廢棄節(jié)點(diǎn)，則 合并完成；
[0025] 若兩像素點(diǎn)所在節(jié)點(diǎn)不是同一節(jié)點(diǎn)且兩像素深度值不同，且深度值較大節(jié)點(diǎn)的父 節(jié)點(diǎn)的深度值仍大于或等于另一深度值較小節(jié)點(diǎn)，則對(duì)深度值較大節(jié)點(diǎn)的父輩節(jié)點(diǎn)及較小 節(jié)點(diǎn)執(zhí)行合并步驟；
[0026] 若兩像素點(diǎn)所在節(jié)點(diǎn)不是同一節(jié)點(diǎn)且兩像素深度值不同，且深度值較大節(jié)點(diǎn)的父 節(jié)點(diǎn)的深度值小于另一深度值較小節(jié)點(diǎn)，則調(diào)整兩節(jié)點(diǎn)的父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)和孩子節(jié)點(diǎn)，則 合并完成。
[0027] 所述步驟（2)具體包括以下子步驟：
[0028] (21)遍歷深度樹；
[0029] (22)若當(dāng)前節(jié)點(diǎn)不是葉子節(jié)點(diǎn)，則繼續(xù)遍歷；
[0030] (23)若當(dāng)前節(jié)點(diǎn)是葉子節(jié)點(diǎn)，則計(jì)算點(diǎn)集數(shù)，求得該節(jié)點(diǎn)面積，判斷是否小于閾 值；
[0031] (24)若當(dāng)前節(jié)點(diǎn)面積大于等于閾值，則繼續(xù)遍歷；
[0032] (25)若當(dāng)前節(jié)點(diǎn)面積小于閾值，則將該葉子節(jié)點(diǎn)的點(diǎn)集合并入父節(jié)點(diǎn)中，并調(diào)整 父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)，調(diào)整映射圖，刪除該節(jié)點(diǎn)，繼續(xù)遍歷，從而完成對(duì)深度樹的葉子節(jié)點(diǎn)的局 部?jī)?yōu)化去除噪聲。
[0033] 所述步驟（3)具體包括以下子步驟：
[0034] (31)遍歷深度樹；
[0035] (32)若當(dāng)前節(jié)點(diǎn)不是葉子節(jié)點(diǎn)，則繼續(xù)遍歷；
[0036] (33)若當(dāng)前節(jié)點(diǎn)是葉子節(jié)點(diǎn)，則求解判決函數(shù)的最優(yōu)解，求得的解即為子樹根節(jié) 點(diǎn)位置，而子樹內(nèi)所有節(jié)點(diǎn)點(diǎn)集的并集，即為局部凸出對(duì)象的區(qū)域；其中，解判決函數(shù)為：
式中，M是松弛因子，隊(duì)是子樹根節(jié)點(diǎn)， Ntl是葉子節(jié)點(diǎn)，F(xiàn)(Ni)是對(duì)節(jié)點(diǎn)隊(duì)的點(diǎn)集區(qū)域提取特征，Av,是節(jié)點(diǎn)Ni的深度值，a JP β i 為權(quán)重參數(shù)，判決函數(shù)的最大值即為節(jié)點(diǎn)Ntl的根節(jié)點(diǎn)位置。
[0037] 有益效果
[0038] 由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效 果：本發(fā)明將多叉樹模型運(yùn)用到深度圖像中局部凸出對(duì)象提取，提出了一種全新的基于區(qū) 域的圖像分割方法，為深度圖像中快速物體檢測(cè)提供了新的解決方案；方法對(duì)深度圖像的 質(zhì)量要求較低，從而降低了雙目立體視覺中對(duì)立體匹配的精度要求，適應(yīng)性與應(yīng)用前景更 廣；方法中的樹型結(jié)構(gòu)完好的利用和保存了場(chǎng)景中凸出對(duì)象的結(jié)構(gòu)信息，每棵子樹就代表 一個(gè)獨(dú)立的對(duì)象，通過先定位局部極值區(qū)域再提取出凸出對(duì)象完整區(qū)域，能夠高效快速的 提取出多個(gè)凸出對(duì)象區(qū)域，提升了深度圖像中局部凸出對(duì)象提取效果，使其既能滿足人眼 視覺要求又能夠較好滿足現(xiàn)實(shí)應(yīng)用中對(duì)速度與精度的需求。
【附圖說明】
[0039] 圖1是本發(fā)明的流程圖；
[0040] 圖2是本發(fā)明中建立基于多叉樹數(shù)據(jù)結(jié)構(gòu)的深度樹模型以及深度樹節(jié)點(diǎn)與圖像 像素的映射圖的流程圖；
[0041] 圖3是本發(fā)明的建立基于多叉樹數(shù)據(jù)結(jié)構(gòu)的深度樹模型以及深度樹節(jié)點(diǎn)與圖像 像素的映射圖中創(chuàng)建節(jié)點(diǎn)的流程圖；
[0042] 圖4是本發(fā)明的建立基于多叉樹數(shù)據(jù)結(jié)構(gòu)的深度樹模型以及深度樹節(jié)點(diǎn)與圖像 像素的映射圖中插入節(jié)點(diǎn)流程圖；
[0043] 圖5是本發(fā)明的對(duì)鄰域內(nèi)其他兩像素點(diǎn)所在子樹進(jìn)行合并的流程圖；
[0044] 圖6是本發(fā)明的遍歷深度樹的葉子節(jié)點(diǎn)進(jìn)行局部?jī)?yōu)化的流程圖；
[0045] 圖7是本發(fā)明的遍歷深度樹的葉子節(jié)點(diǎn)，利用判決函數(shù)確定葉子節(jié)點(diǎn)的子樹根節(jié) 點(diǎn)位置，從而提取出局部凸出對(duì)象區(qū)域的流程圖；
[0046] 圖8和圖9均為本發(fā)明的實(shí)驗(yàn)結(jié)果示意圖，其中，（a)是原始圖像，（b)是凸出對(duì) 象，（c)是提取的對(duì)象區(qū)域輪廓。
【具體實(shí)施方式】
[0047] 下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說明本發(fā)明 而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人 員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書所限定 的范圍。
[0048] 本發(fā)明的實(shí)施方式涉及一種深度圖像中基于多叉樹的局部凸出對(duì)象提取方法，如 圖1所示，包括以下步驟：
[0049] (1)對(duì)輸入深度圖像進(jìn)行逐像素鄰域差分，建立基于多叉樹數(shù)據(jù)結(jié)構(gòu)的深度樹模 型以及深度樹節(jié)點(diǎn)與圖像像素的映射圖。
[0050] (2)遍歷深度樹的葉子節(jié)點(diǎn)進(jìn)行局部?jī)?yōu)化，去除噪聲。
[0051] (3)遍歷深度樹的葉子節(jié)點(diǎn)得到深度圖像的局部極值區(qū)域，利用判決函數(shù)確定葉 子節(jié)點(diǎn)的子樹根節(jié)點(diǎn)位置，從而提取出局部凸出對(duì)象區(qū)域。
[0052] 如圖2所示，所述步驟（1)還包括以下子步驟：
[0053] (21)創(chuàng)建并初始化深度樹根節(jié)點(diǎn)和映射圖，根節(jié)點(diǎn)的深度值設(shè)為最小值，將該節(jié) 點(diǎn)位置保存到映射圖中；
[0054] (22)對(duì)輸入深度圖像進(jìn)行逐像素鄰域差分，判斷當(dāng)前像素深度值是否是鄰域內(nèi)極 值點(diǎn)；
[0055] (23)若當(dāng)前像素是極值點(diǎn)，則創(chuàng)建新的節(jié)點(diǎn)
[0056] (24)若當(dāng)前像素不是極值點(diǎn)，則插入鄰域內(nèi)某一像素的節(jié)點(diǎn)中；
[0057] (25)將該節(jié)點(diǎn)位置保存在映射圖中，并重復(fù)步驟（22)。
[0058] 其中，所述步驟（22)還包括以下子步驟：