一種深度圖中深度的可信度的評(píng)估方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別是指深度圖中深度的可信度的評(píng)估方法。
【背景技術(shù)】
[0002] 目前，在計(jì)算機(jī)視覺領(lǐng)域，獲取準(zhǔn)確的場景深度信息一直是重要研究內(nèi)容之一。獲 取深度信息主要有兩種方法：基于立體幾何理論的方法和基于深度傳感器的方法。
[0003] 基于立體幾何理論獲取場景深度信息一直以來是人們比較關(guān)注的方法，此方法最 早被應(yīng)用，相應(yīng)的算法相對比較成熟。但是它時(shí)間復(fù)雜度較高，深度信息獲取的效果很大程 度上依賴于場景紋理的豐富程度，因而很大限制了這種方法的應(yīng)用范圍。
[0004] 隨著硬件技術(shù)的發(fā)展，基于硬件傳感器的場景深度獲取方法也得到了越來越多的 關(guān)注。這種方法從單一視角獲取場景深度信息，不通過匹配相應(yīng)的特征獲取場景深度，時(shí)間 復(fù)雜度低，同時(shí)，深度獲取不依賴于場景的紋理，故而有較好的魯棒性。特別是近年來，隨著 低價(jià)深度傳感器的發(fā)售，更是將場景深度獲取與價(jià)格做到了很好的統(tǒng)一，極大的推動(dòng)了此 方法的應(yīng)用。但是，由于低價(jià)深度傳感器設(shè)備自身的性質(zhì)，它比較容易受到噪聲的影響，進(jìn) 而導(dǎo)致場景深度信息捕獲不全以及精度不高。
[0005] 為了對精度不高的場景深度置信度進(jìn)行預(yù)測，進(jìn)而可以對其他應(yīng)用提供指導(dǎo)信 息，很多方法已經(jīng)產(chǎn)生。針對ToF飛行時(shí)間技術(shù)相機(jī)，May和Swadzba等人根據(jù)ToF相機(jī)深 度傳感器設(shè)備獲取的振幅值計(jì)算場景深度的置信度。但是，單純依靠振幅值為依據(jù)是不充 分的，這種方法魯棒性較差，場景深度信息的置信度容易被標(biāo)記錯(cuò)誤。
[0006] Reynolds等人提出了一種方法預(yù)測ToF相機(jī)的置信度。他們使用高精度的深度傳 感器設(shè)備，例如激光三維掃描儀，采集的場景深度信息作為標(biāo)準(zhǔn)值，通過計(jì)算得到低端深度 傳感器獲取的場景深度信息與標(biāo)準(zhǔn)值的差值，并將其轉(zhuǎn)化為置信度，同時(shí)提取低端深度傳 感器設(shè)備采集的圖像的特征，使用訓(xùn)練的方法得到的預(yù)測器，進(jìn)而預(yù)測低端傳感器獲取的 場景深度信息的置信度。這種方法需要高精度設(shè)備的支持，從而在一定程度上限制其應(yīng)用； 同時(shí)他們提出的特征并不適用于其他的深度傳感器，例如Kinect (微軟對體感周邊外設(shè)正 式發(fā)布的名字）設(shè)備。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明要解決的技術(shù)問題是，提供一種深度圖中深度的可信度的評(píng)估方法，能夠 預(yù)測基于低精度深度設(shè)備采集的場景深度信息的置信度。
[0008] 所述深度圖中深度的可信度的評(píng)估方法包括：
[0009] 獲取不同場景下的至少兩組第一原始圖像對，所述第一原始圖像對包括對齊的第 一原始彩色圖和第一原始深度圖；
[0010] 根據(jù)所述第一原始圖像對，生成預(yù)測器；所述預(yù)測器表示從圖像中提取的特征向 量與深度可信度之間的映射關(guān)系；
[0011] 獲取輸入的第二原始圖像對，所述第二原始圖像對包括一場景下對齊的第二原始 彩色圖和第二原始深度圖；
[0012] 提取所述第二原始圖像對的第二特征向量；
[0013] 根據(jù)所述預(yù)測器以及所述第二特征向量，預(yù)測所述第二原始深度圖的深度的可信 度。
[0014] 所述根據(jù)所述第一原始圖像對，生成預(yù)測器的步驟包括：
[0015] 根據(jù)各個(gè)場景下的所述至少兩組第一原始圖像對，計(jì)算得到各個(gè)所述場景對應(yīng)的 平均彩色圖和平均深度圖；
[0016] 根據(jù)各個(gè)所述場景的所述平均深度圖，生成各個(gè)所述場景下的深度可信度圖；
[0017] 根據(jù)各個(gè)所述場景下的所述平均彩色圖和所述平均深度圖，提取出像素與深度可 信度相關(guān)聯(lián)的特征，組成第一特征向量
[0018] 根據(jù)所述第一特征向量以及各個(gè)所述場景下的所述深度可信度圖，利用隨機(jī) 森林法，通過訓(xùn)練而生成預(yù)測器。
[0019] 所述預(yù)測器為：
[0020]
[0021] 其中，（i，j)表示所述平均彩色圖和所述平均深度圖中像素點(diǎn)的坐標(biāo)；
[0022] 1?是指從圖像中提取的特征向量；
[0023] f是指特征向量與深度可信度之間的映射關(guān)系；
[0024] Cw是指像素點(diǎn)（i，j)的深度可信度。
[0025] 所述根據(jù)各個(gè)所述場景下的所述平均深度圖，生成各個(gè)所述場景下的深度可信度 圖的步驟包括：
[0026] 根據(jù)各個(gè)所述場景下的所述平均深度圖，計(jì)算得到各個(gè)所述場景下的方差深度 圖；
[0027] 利用調(diào)整后的Sigmoid雙彎曲函數(shù)，將各個(gè)所述場景下的所述方差深度圖轉(zhuǎn)換為 各個(gè)所述場景下的深度可信度圖。
[0028] 所述根據(jù)各個(gè)所述場景下的所述平均深度圖，計(jì)算得到各個(gè)所述場景下的方差深 度圖的步驟根據(jù)以下公式進(jìn)行：
[0029]
[0030] 其中，m是每一組第一原始圖像對中的第一原始深度圖的序號(hào)；N是指一場景下采 集的第一原始圖像對的總數(shù)量，D u是第一原始深度圖的像素值；是指平均深度圖的像 素值；V1, i表示指像素點(diǎn)（i，j)對應(yīng)的方差。
[0031] 所述利用調(diào)整后的Sigmoid雙彎曲函數(shù)，將各個(gè)所述場景下的所述方差深度圖轉(zhuǎn) 換為各個(gè)所述場景下的深度可信度圖的步驟根據(jù)以下公式進(jìn)行：
[0032]
[0033] 其中，C1, j指像素點(diǎn)（i，j)的可信度；v w是指像素點(diǎn)（i，j)的方差；
[0034] e為自然常數(shù)，λ是轉(zhuǎn)換參數(shù)。
[0035] 所述獲取各個(gè)所述場景下的至少兩組第一原始圖像的步驟包括：
[0036] 采集一場景下的第一原始圖像對；
[0037]當(dāng)所述第一原始圖像對包含N幀第一原始深度圖時(shí)，根據(jù)所述N幀第一原始深度 圖，計(jì)算得到第一平均深度圖；對所述N幀第一平均深度圖中的所有像素的像素值累加后 再取平均值，得到第一像素值D ;
[0038] 當(dāng)所述第一原始圖像對包含Ν+1幀第一原始深度圖時(shí)，根據(jù)所述Ν+1幀第一原始 深度圖，計(jì)算得到第二平均深度圖；對所述Ν+1幀第二平均深度圖中的所有像素的像素值 累加后再取平均值，得到第二像素值D' ；
[0039] 判斷所述第一像素值D與所述第二像素值D'之間的差值的絕對值是否小5于閾 值；
[0040] 當(dāng)所述第一像素值D與所述第二像素值D'之間的差值的絕對值小于閾值時(shí)，停止 在所述場景下采集第一原始圖像對。
[0041] 所述第一特征向量包括以下一個(gè)或者多個(gè)：
[0042] 圖像像素點(diǎn)X(i，j)的徑向距離
[0043]圖像像素點(diǎn)X(i，j)的以下各特征的值以及各所述特征在圖像中的最小值、最大 值、均值和中值；
[0044] 所述特征為：
[0045] 圖像像素點(diǎn)X (i，j)的R紅色分量、G綠色分量、B藍(lán)色分量、D深度分量；
[0046] 像素點(diǎn)（i，j)在平均深度圖中的梯度信息；
[0047] 像素點(diǎn)（i，j)在平均深度圖中的邊緣信息；
[0048] 像素點(diǎn)（i，j)在平均彩色圖中的邊緣信息；
[0049] 像素點(diǎn)（i，j)對平均彩色圖進(jìn)行Gabor嘉寶濾波后的信息；
[0050] 像素點(diǎn)（i，j)對平均深度圖進(jìn)行Gabor嘉寶濾波后的信息；
[0051] 像素點(diǎn)（i，j)在平均深度圖中的紋理信息；
[0052] 像素點(diǎn)（i，j)在平均彩色圖中的紋理信息；
[0053] 像素點(diǎn)（i，j)在平均深度圖中到深度孔洞的距離。
[0054] 所述第二特征向量包括以下一個(gè)或者多個(gè)：
[0055] 圖像像素點(diǎn)X(i，j)的徑向距離辦
[0056] 圖像像素點(diǎn)X(i，j)的以下各特征的值以及各所述特征在圖像中的最小值、最大 值、均值和中值；
[0057] 所述特征為：
[0058] 圖像像素點(diǎn)X (i，j)的R紅色分量、G綠色分量、B藍(lán)色分量、D深度分量；
[0059] 像素點(diǎn)（i，j)在第二原始深度圖中的梯度信息；
[0060] 像素點(diǎn)（i，j)在第二原始深度圖中的邊緣信息；
[0061] 像素點(diǎn)（i，j)在第二原始彩色圖中的邊緣信息；
[0062] 像素點(diǎn)（i，j)對第二原始彩色圖進(jìn)行Gabor嘉寶濾波后的信息；
[0063] 像素點(diǎn)（i，j)對第二原始深度圖進(jìn)行Gabor嘉寶濾波后的信息；
[0064] 像素點(diǎn)（i，j)在第二原始深度圖中的紋理信息；
[0065] 像素點(diǎn)（i，j)在第二原始彩色圖中的紋理信息；
[0066]