一種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法
【專利摘要】本發(fā)明公開了一種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，主要包括以下步驟：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像；對(duì)所述深度圖像進(jìn)行預(yù)處理；對(duì)預(yù)處理后的深度圖像進(jìn)行邊緣檢測(cè)生成深度邊緣圖；從所述深度邊緣圖中識(shí)別棱角；計(jì)算所述棱角的尖銳度；計(jì)算所述移動(dòng)實(shí)體相對(duì)于所述棱角的移動(dòng)速度；計(jì)算所述棱角對(duì)所述移動(dòng)實(shí)體的危險(xiǎn)系數(shù)。本發(fā)明根據(jù)深度圖像識(shí)別出室內(nèi)物體的棱角，然后綜合考慮棱角與移動(dòng)實(shí)體之間的距離、棱角本身的尖銳程度以及移動(dòng)實(shí)體相對(duì)于棱角的移動(dòng)速度三個(gè)方面來衡量棱角對(duì)移動(dòng)實(shí)體的危險(xiǎn)程度。本發(fā)明適用于小孩頭部可穿戴設(shè)備或機(jī)器人立體視覺系統(tǒng)。
【專利說明】-種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方 法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及立體視覺技術(shù)，尤其涉及一種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體 危險(xiǎn)程度的方法。

【背景技術(shù)】
[0002] 立體視覺是指通過機(jī)器視覺同時(shí)獲得可見對(duì)象的色彩和距離的過程。經(jīng)過幾十年 來的發(fā)展，立體視覺在機(jī)器人視覺、航空測(cè)繪、軍事運(yùn)用、醫(yī)學(xué)成像和工業(yè)檢測(cè)等領(lǐng)域中的 運(yùn)用越來越廣。
[0003] 立體視覺采集系統(tǒng)通常采用RGB-D攝像頭。例如，微軟的Kinect攝像頭可W同時(shí) 捕獲RGB彩色圖像W及每個(gè)像素點(diǎn)對(duì)應(yīng)的深度距離數(shù)據(jù)。與標(biāo)準(zhǔn)RGB攝像頭相比，RGB-D攝 像頭能夠提供額外的深度信息W及更高的數(shù)據(jù)精度和魯棒性。
[0004] 室內(nèi)物體棱角通常是指物體表面的尖銳突出部分，該對(duì)玩耍中的小孩或機(jī)器人自 主活動(dòng)具有相當(dāng)高的危險(xiǎn)性，可W在小孩頭部佩戴可穿戴設(shè)備或在機(jī)器人立體視覺系統(tǒng)中 加入棱角識(shí)別功能，通過其對(duì)棱角的識(shí)別和衡量該些棱角的危險(xiǎn)程度，及時(shí)發(fā)出警告。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明填補(bǔ)了現(xiàn)有技術(shù)中僅僅有對(duì)物體的識(shí)別還沒有對(duì)物體棱角的識(shí)別的空白， 并進(jìn)一步提出了識(shí)別出物體棱角后衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法。
[0006] 本發(fā)明提出了一種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，包括 W下步驟：
[0007] 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像；
[0008] 步驟二：對(duì)深度圖像進(jìn)行預(yù)處理；
[0009] 步驟H ;對(duì)預(yù)處理后的深度圖像進(jìn)行邊緣檢測(cè)生成深度邊緣圖；
[0010] 步驟四；從深度邊緣圖中識(shí)別棱角；
[0011] 步驟五：計(jì)算棱角的尖銳度；
[0012] 步驟六：計(jì)算移動(dòng)實(shí)體相對(duì)于棱角的移動(dòng)速度；
[0013] 步驟走；計(jì)算棱角對(duì)移動(dòng)實(shí)體的危險(xiǎn)系數(shù)。
[0014] 本發(fā)明步驟一中所述的彩色圖像和深度圖像的分辨率均為640*480,采樣頻率均 為30監(jiān)。
[0015] 本發(fā)明步驟二中所述的對(duì)深度圖像進(jìn)行預(yù)處理，進(jìn)一步包括W下步驟：
[0016] 步驟A1 ;使用中值濾波分別處理彩色圖像和深度圖像；
[0017] 步驟A2 ;使用邊緣檢測(cè)算法分別檢測(cè)彩色圖像邊緣和深度圖像邊緣；
[0018] 步驟A3 ;根據(jù)彩色圖像邊緣生成彩色DT圖，根據(jù)深度圖像邊緣生成深度DT圖； [001引步驟A4 ;使用k階極小值方法分別處理彩色DT圖和深度DT圖；
[0020] 步驟A5 ;根據(jù)處理后的彩色DT圖和深度DT圖生成CDT圖；
[002。 步驟A6 ;根據(jù)CDT圖求得混合像素點(diǎn)，并把混合像素點(diǎn)和深度圖像中的丟失像素 點(diǎn)合并構(gòu)成混合像素區(qū)；
[0022] 步驟A7 ;使用一個(gè)邊緣收斂停止函數(shù)找到混合像素區(qū)的臨界值；
[0023] 步驟A8 ;對(duì)混合像素區(qū)進(jìn)行有效像素填充獲得填充后的深度圖像；
[0024] 步驟A9 ;使用去噪函數(shù)對(duì)填充后的深度圖像去噪。
[0025] 本發(fā)明步驟H中采用的檢測(cè)算法是化nny算子檢測(cè)算法。
[0026] 本發(fā)明步驟四中所述的從深度邊緣圖中識(shí)別棱角，進(jìn)一步包括W下步驟：
[0027] 步驟B1 ;初始化棱角集合為空；
[0028] 步驟B2 ;對(duì)深度邊緣圖中像素點(diǎn)按照深度值進(jìn)行小根堆排序；
[0029] 步驟B3 ;取出堆頂像素點(diǎn)并檢測(cè)其深度是否在最小危險(xiǎn)范圍內(nèi)，如果在最小危險(xiǎn) 范圍內(nèi)，則繼續(xù)執(zhí)行步驟B4,否則識(shí)別棱角過程結(jié)束；
[0030] 步驟B4;驗(yàn)證該像素點(diǎn)是否與已經(jīng)檢測(cè)出的棱角距離太近，如果小于棱角間最小 距離，則該像素點(diǎn)不是棱角，否則繼續(xù)執(zhí)行步驟B5 ;
[0031] 步驟B5 ;驗(yàn)證該像素點(diǎn)深度值是否比其周圍一定半價(jià)內(nèi)的像素點(diǎn)都小，如果比其 周圍一定半價(jià)內(nèi)的像素點(diǎn)都小，則繼續(xù)執(zhí)行步驟B6,否則該像素點(diǎn)不是棱角；
[003引步驟B6 ;該像素點(diǎn)是棱角，將其添加到已經(jīng)檢測(cè)出的棱角集合中；
[0033] 步驟B7 ;判斷已經(jīng)檢測(cè)出的棱角數(shù)量是否達(dá)到最大數(shù)量，如果達(dá)到最大數(shù)量，貝U 識(shí)別棱角過程結(jié)束，否則繼續(xù)執(zhí)行步驟B8 ;
[0034] 步驟B8 ;對(duì)小根堆進(jìn)行一次堆調(diào)整，繼續(xù)執(zhí)行步驟B3。
[00巧]本發(fā)明步驟五中所述的計(jì)算棱角的尖銳度，進(jìn)一步包括W下步驟：
[0036] 步驟C1 ;如果棱角集合為空，棱角尖銳度算法結(jié)束，否則繼續(xù)執(zhí)行步驟C2 ;
[0037] 步驟C2 ;計(jì)算該棱角和其周圍一定半價(jià)內(nèi)的每一個(gè)像素點(diǎn)之間的深度距離差和 像素距離差；
[0038] 步驟C3 ;根據(jù)上述的深度距離差和像素距離差計(jì)算該棱角在每個(gè)方向上的尖銳 角度；
[0039] 步驟C4 ;對(duì)該棱角在每個(gè)方向上的尖銳角度求平均值得出該棱角的尖銳度。
[0040] 本發(fā)明步驟六中所述的計(jì)算移動(dòng)實(shí)體相對(duì)于棱角的移動(dòng)速度，進(jìn)一步包括W下步 驟：
[0041] 步驟D1 ;在相鄰的兩張圖中，計(jì)算前一張圖中的所有棱角和后一張圖中的所有棱 角兩兩之間的余弦夾角，夾角向量為前后兩個(gè)棱角的每種顏色分布頻率；
[0042] 步驟D2;在相鄰的兩張圖中，計(jì)算前一張圖中的所有棱角和后一張圖中的所有棱 角兩兩之間的仿射不變矩；
[0043] 步驟D3;根據(jù)上述余弦夾角與仿射不變矩差值的比值確定相鄰兩張圖中存在的 相同棱角；
[0044] 步驟D4;使用上述的相同棱角之間的深度差除W拍攝兩幅圖的時(shí)間間隔得出移 動(dòng)實(shí)體相對(duì)于該棱角的移動(dòng)速度。
[0045] 本發(fā)明步驟走中所述的計(jì)算棱角對(duì)移動(dòng)實(shí)體的危險(xiǎn)系數(shù)，進(jìn)一步包括W下步驟：
[0046] 步驟E1 ;計(jì)算該棱角深度值與該棱角尖銳度的乘積；
[0047] 步驟E2;使用移動(dòng)實(shí)體相對(duì)于該棱角的移動(dòng)速度除W上述乘積得出該棱角對(duì)移 動(dòng)實(shí)體的危險(xiǎn)系數(shù)。
[0048] 本發(fā)明提出了在識(shí)別物體棱角過程中靈敏度的概念。在不同的室內(nèi)環(huán)境或不同的 目標(biāo)群中，用戶可W調(diào)整識(shí)別物體棱角的靈敏度，例如在廚房等相對(duì)危險(xiǎn)的環(huán)境中可W設(shè) 置較高的靈敏度或?qū)^大的小孩可W設(shè)置較低的靈敏度，使之更加便利和智能化。

【專利附圖】

【附圖說明】
[0049] 圖1為本發(fā)明實(shí)施例的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法 的流程圖。
[0050] 圖2為本發(fā)明實(shí)施例的某一室內(nèi)環(huán)境前一個(gè)時(shí)刻的彩色圖像和深度圖像；其中， 圖2(a)為彩色圖像，圖2化）為深度圖像。
[0051] 圖3為上述室內(nèi)環(huán)境前一個(gè)時(shí)刻修復(fù)后的深度圖像和深度邊緣圖；其中，圖3(a) 為深度圖像，圖3(b)為深度邊緣圖。
[0052] 圖4為上述室內(nèi)環(huán)境前一個(gè)時(shí)刻識(shí)別出的棱角分布圖；其中，圖4(a)為彩色圖像， 圖4化）為深度圖像。
[005引圖5為上述室內(nèi)環(huán)境后一個(gè)時(shí)刻的彩色圖像和深度圖像；其中，圖5(a)為彩色圖 像，圖5(b)為深度圖像。
[0054] 圖6為上述室內(nèi)環(huán)境后一個(gè)時(shí)刻修復(fù)后的深度圖像和深度邊緣圖；其中，圖6(a) 為深度圖像，圖6(b)為深度邊緣圖。
[0055] 圖7為上述室內(nèi)環(huán)境后一個(gè)時(shí)刻識(shí)別出的棱角分布圖；其中，圖7(a)為彩色圖像， 圖7化）為深度圖像。
[0056] 圖8為本發(fā)明實(shí)施例的從深度邊緣圖中識(shí)別棱角的流程圖。
[0057] 圖9為本發(fā)明實(shí)施例的計(jì)算棱角的尖銳度的流程圖。

【具體實(shí)施方式】
[0058] 結(jié)合W下具體實(shí)施例和附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。實(shí)施本發(fā)明的過程、 條件W及實(shí)驗(yàn)方法等，除了 W下?？谔峒暗膬?nèi)容外，均為本領(lǐng)域的基本知識(shí)，本發(fā)明沒有特 別限制內(nèi)容。
[0059] 本發(fā)明通過W下步驟解決，如圖1所示。
[0060] 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像，其 中彩色圖像數(shù)據(jù)流格式為RgbResolution640x48(Fps30,深度圖像數(shù)據(jù)流格式為 Resolution640x48(Fps30,彩色圖像和深度圖像樣例見圖2和圖5。
[0061] 步驟二：對(duì)深度圖像進(jìn)行預(yù)處理，進(jìn)一步包括W下步驟：
[0062] 步驟A1 ;使用中值濾波分別處理彩色圖像和深度圖像。首先是對(duì)彩色圖像進(jìn)行灰 度化，然后用濾波器大小為[5,5]的中值濾波函數(shù)對(duì)其進(jìn)行中值濾波；處理深度圖像則是 直接用濾波器大小為[5, 5]的中值濾波函數(shù)對(duì)其進(jìn)行中值濾波。
[0063] 步驟A2 ;使用邊緣檢測(cè)算法分別檢測(cè)彩色圖像邊緣和深度圖像邊緣。檢測(cè)彩色圖 像邊緣和深度圖像邊緣的邊緣檢測(cè)算法均采用Canny算子檢測(cè)算法。
[0064] 步驟A3 ;根據(jù)彩色圖像邊緣生成彩色DT (Distance Transform,距離變換）圖，根 據(jù)深度圖像邊緣生成深度DT圖。DT圖定義如下；無論是彩色DT圖還是深度DT圖，在圖像 邊緣上的像素點(diǎn)，其DT值為0,否則為〇°。
[0065] 步驟A4 ;使用k階極小值方法分別處理彩色DT圖和深度DT圖。具體處理過程如 下：
[0066]

【權(quán)利要求】
1. 一種室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特征在于，包括以 下步驟： 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像； 步驟二：對(duì)所述深度圖像進(jìn)行預(yù)處理； 步驟三：對(duì)預(yù)處理后的深度圖像進(jìn)行邊緣檢測(cè)生成深度邊緣圖； 步驟四：從所述深度邊緣圖中識(shí)別棱角； 步驟五：計(jì)算所述棱角的尖銳度； 步驟六：計(jì)算所述移動(dòng)實(shí)體相對(duì)于所述棱角的移動(dòng)速度； 步驟七：計(jì)算所述棱角對(duì)所述移動(dòng)實(shí)體的危險(xiǎn)系數(shù)。
2. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟一中所述彩色圖像和深度圖像的分辨率均為640*480,采樣頻率均為30HZ。
3. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟二中的預(yù)處理進(jìn)一步包括： 步驟A1 :使用中值濾波分別處理所述彩色圖像和深度圖像； 步驟A2 :使用邊緣檢測(cè)算法分別檢測(cè)彩色圖像邊緣和深度圖像邊緣； 步驟A3 :根據(jù)彩色圖像邊緣生成彩色DT圖，根據(jù)深度圖像邊緣生成深度DT圖； 步驟A4 :使用k階極小值方法分別處理所述彩色DT圖和深度DT圖； 步驟A5 :根據(jù)處理后的彩色DT圖和深度DT圖生成⑶T圖； 步驟A6 :根據(jù)所述CDT圖求得混合像素點(diǎn)，并將所述混合像素點(diǎn)和深度圖像中的丟失 像素點(diǎn)合并構(gòu)成混合像素區(qū)； 步驟A7 :使用一個(gè)邊緣收斂停止函數(shù)找到所述混合像素區(qū)的臨界值； 步驟A8 :對(duì)所述混合像素區(qū)進(jìn)行有效像素填充獲得填充后的深度圖像； 步驟A9 :使用去噪函數(shù)對(duì)所述填充后的深度圖像去噪。
4. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟三中采用的檢測(cè)算法是Canny算子檢測(cè)算法。
5. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟四中進(jìn)一步包括： 步驟B1 :初始化棱角集合為空； 步驟B2 :對(duì)深度邊緣圖中像素點(diǎn)按照深度值進(jìn)行小根堆排序； 步驟B3 :取出堆頂像素點(diǎn)并檢測(cè)其深度是否在最小危險(xiǎn)范圍內(nèi)，如果在最小危險(xiǎn)范圍 內(nèi)，則繼續(xù)執(zhí)行步驟B4,否則識(shí)別棱角過程結(jié)束； 步驟B4:驗(yàn)證該像素點(diǎn)是否與已經(jīng)檢測(cè)出的棱角距離太近，如果小于棱角間最小距 離，則該像素點(diǎn)不是棱角，否則繼續(xù)執(zhí)行步驟B5 ; 步驟B5 :驗(yàn)證該像素點(diǎn)深度值是否比其周圍一定半價(jià)內(nèi)的像素點(diǎn)都小，如果比其周圍 一定半價(jià)內(nèi)的像素點(diǎn)都小，則繼續(xù)執(zhí)行步驟B6,否則該像素點(diǎn)不是棱角； 步驟B6 :該像素點(diǎn)是棱角，將其添加到已經(jīng)檢測(cè)出的棱角集合中； 步驟B7 :判斷已經(jīng)檢測(cè)出的棱角數(shù)量是否達(dá)到最大數(shù)量，如果達(dá)到最大數(shù)量，則識(shí)別 棱角過程結(jié)束，否則繼續(xù)執(zhí)行步驟B8 ; 步驟B8 :對(duì)小根堆進(jìn)行一次堆調(diào)整，繼續(xù)執(zhí)行步驟B3。
6. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟五中進(jìn)一步包括： 步驟C1 :如果棱角集合為空，棱角尖銳度算法結(jié)束，否則繼續(xù)執(zhí)行步驟C2 ; 步驟C2 :計(jì)算所述棱角和其周圍一定半價(jià)內(nèi)的每一個(gè)像素點(diǎn)之間的深度距離差和像 素距離差； 步驟C3 :根據(jù)上述的深度距離差和像素距離差計(jì)算該棱角在每個(gè)方向上的尖銳角度； 步驟C4 :對(duì)該棱角在每個(gè)方向上的尖銳角度求平均值得出該棱角的尖銳度。
7. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟六中進(jìn)一步包括： 步驟D1 :在相鄰的兩張圖中，計(jì)算前一張圖中的所有棱角和后一張圖中的所有棱角兩 兩之間的余弦夾角，夾角向量為前后兩個(gè)棱角的顏色分布頻率； 步驟D2 :在相鄰的兩張圖中，計(jì)算前一張圖中的所有棱角和后一張圖中的所有棱角兩 兩之間的仿射不變矩； 步驟D3 :根據(jù)上述余弦夾角與仿射不變矩的比值確定相鄰兩張圖中存在的同一個(gè)棱 角； 步驟D4:使用上述的同一個(gè)棱角之間的深度差除以拍攝兩幅圖的時(shí)間間隔得出移動(dòng) 實(shí)體相對(duì)于該棱角的移動(dòng)速度。
8. 如權(quán)利要求1所述的室內(nèi)識(shí)別物體棱角并衡量其對(duì)移動(dòng)實(shí)體危險(xiǎn)程度的方法，其特 征在于，步驟七中進(jìn)一步包括： 步驟E1 :計(jì)算所述棱角的深度值與所述棱角的尖銳度的乘積； 步驟E2 :使用移動(dòng)實(shí)體相對(duì)于所述棱角的移動(dòng)速度除以上述乘積得出該棱角對(duì)移動(dòng) 實(shí)體的危險(xiǎn)系數(shù)。
【文檔編號(hào)】G06T7/00GK104504678SQ201410663093
【公開日】2015年4月8日 申請(qǐng)日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】魏同權(quán), 閆建明, 周俊龍, 汪俊馬, 陳箭飛 申請(qǐng)人:華東師范大學(xué)