一種多深度圖融合方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種多深度圖融合方法及裝置。
【背景技術(shù)】
[0002] 多深度圖融合技術(shù)是指：對同一場景不同視角的多幅深度圖像進(jìn)行融合，生成拍 攝場景三維點(diǎn)云的技術(shù)。隨著機(jī)器視覺技術(shù)的發(fā)展，由兩個相機(jī)或多個相機(jī)組成的立體相 機(jī)系統(tǒng)被廣泛應(yīng)用于獲取三維場景的深度信息，重建該場景的三維點(diǎn)云。重建后的三維點(diǎn) 云可以應(yīng)用于增強(qiáng)現(xiàn)實(shí)、場景視點(diǎn)變換等場景。
[0003] 對于大尺寸的三維場景而言，通常需要采用多個立體圖像采集系統(tǒng)獲取該場景不 同區(qū)域的多幅深度圖像，然后通過多深度圖融合算法，生成融合后的三維點(diǎn)云。為了獲得高 質(zhì)量的三維點(diǎn)云，要求盡量減少每幅深度圖像中的錯誤區(qū)域，并且保證不同圖像采集裝置 之間的內(nèi)外參數(shù)精確配準(zhǔn)。
[0004] 但是在實(shí)際應(yīng)用中，一方面由于測量設(shè)備的誤差或者立體匹配算法的局限性，單 幅深度圖中總會存在深度值估計錯誤的像素點(diǎn)；另一方面由于制造工藝的差別，不同相機(jī) 之間的參數(shù)也會有細(xì)微的差別。這些問題都會影響多深度圖融合算法輸出的三維點(diǎn)云質(zhì) 量。
[0005] 尤其在三維場景的前景邊界位置，該區(qū)域是前景和背景的交界位置，其場景深度 表現(xiàn)出較強(qiáng)的階躍性，前景邊界位置像素點(diǎn)的深度估計值經(jīng)常發(fā)生錯誤或偏移，導(dǎo)致重建 三維點(diǎn)云中前景物體周圍存在偏離前景主體輪廓的偏離點(diǎn)（outlier)或者偏離塊。
[0006] 基于上述問題，現(xiàn)有技術(shù)中提出了基于可見性的深度圖融合技術(shù)，該技術(shù)的具體 實(shí)現(xiàn)可以是：
[0007] 可見性的深度圖融合技術(shù)利用單個運(yùn)動相機(jī)對三維場景進(jìn)行拍攝，每一個拍攝時 刻對應(yīng)一個相機(jī)位置。該技術(shù)先通過平面掃描（plane sweep)法生成各個時刻的深度圖 像，接著選取某一時刻作為參考時刻（tref)，該時刻的相機(jī)位置即為參考視點(diǎn)，接著將其他 時刻的深度圖像和參考時刻的深度圖像進(jìn)行深度融合。其深度融合技術(shù)的基本過程為：
[0008] 首先，利用不同時刻的相機(jī)參數(shù)，將當(dāng)前時刻（tcur)的深度圖投影到參考時刻 (tref)的相機(jī)位置（圖1為不同視點(diǎn)間的投影示意圖）；
[0009] 其次，比較當(dāng)前時刻（tcur)投影后的深度圖和參考時刻（tref)的深度圖中對應(yīng) 像素位置的深度值，根據(jù)比較結(jié)果，選取最終的深度值。對某一像素位置P，如果tcur時刻 深度值影響了tref時刻深度值的可見性，則刪除tref時刻深度值；選取tref時刻前后N 個時刻，作為tref時刻的支持時刻集合Ωref，如果tcur時刻深度值比tref時刻深度值更 接近P點(diǎn)在Ωref的深度值，則將p點(diǎn)tcur時刻深度值和p點(diǎn)在Ωref中支持區(qū)域的深度 值進(jìn)行加權(quán)平均，將P的深度更新為加權(quán)平均后的深度值（圖2為深度融合原理示意圖）。
[0010] 該現(xiàn)有技術(shù)的缺點(diǎn)是：在深度融合過程中對支持區(qū)域內(nèi)深度值的平均操作，會消 除場景中的不連續(xù)特征，但是在場景本身深度不連續(xù)的地方會出現(xiàn)像素點(diǎn)的偏移，從而導(dǎo) 致最終形成的三維圖像失真。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明提供一種多深度圖融合方法及裝置，本發(fā)明所提供的方法及裝置解決在三 維場景中，前景物體和背景物體交界的深度不連續(xù)位置會出現(xiàn)像素點(diǎn)的偏移，從而導(dǎo)致最 終形成的三維圖像失真的問題。
[0012] 第一方面，提供一種多深度圖融合方法，所述方法包括：
[0013] 獲取N個圖像采集單元采集得到的N張深度圖像，N多2 ;
[0014] 獲取所述N張深度圖像中的第i張深度圖像的第一前景像素點(diǎn)，i多1且i彡N，所 述第i張深度圖像為所述N個圖像采集單元中第i個圖像采集單元采集得到的深度圖像；
[0015] 將所述第一前景像素點(diǎn)反投影到三維空間，從而獲取前景三維空間點(diǎn)，將所述前 景三維空間點(diǎn)投影到所述N個圖像采集單元中除所述第i個投影單元之外的N-ι個圖像采 集單元的成像平面，從而獲取所述第一前景像素點(diǎn)對應(yīng)在所述N-1個圖像采集單元各自采 集的深度圖像中的N-1個投影點(diǎn)；
[0016] 判斷所述前景三維空間點(diǎn)在所述N-1個圖像采集單元各自的坐標(biāo)系下的深度值， 是否大于或等于各自的所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的深度值；
[0017] 在所述前景三維空間點(diǎn)在所述N-1個圖像采集單元各自的坐標(biāo)系下的深度值，大 于或等于各自的所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的深度值時，根據(jù)所述第一前景 像素點(diǎn)以及所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)，獲取融合后的三維點(diǎn)云。
[0018] 結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一前景像素點(diǎn)以及 所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)，獲取融合后的三維點(diǎn)云包括：
[0019] 計算所述第一前景像素點(diǎn)對應(yīng)的N-ι個投影點(diǎn)各自的深度置信度，所述第一前景 像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的深度置信度分別用于表示所述第一前景像素點(diǎn)對應(yīng)的N-1個 投影點(diǎn)各自所在的圖像區(qū)域中的像素點(diǎn)的深度值變化的程度；
[0020] 根據(jù)所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)各自的深度置信度，從所述第一前 景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)中，確定深度置信度滿足預(yù)設(shè)條件的第一可靠投影點(diǎn)；
[0021] 根據(jù)所述第一前景像素點(diǎn)以及所述第一可靠投影點(diǎn)，獲取融合后的三維點(diǎn)云。
[0022] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述根據(jù) 所述第一前景像素點(diǎn)的信息以及所述第一可靠投影點(diǎn)的信息，獲取融合后的三維點(diǎn)云包 括：
[0023] 計算所述第一可靠投影點(diǎn)的鄰近度，所述第一可靠投影點(diǎn)的鄰近度為所述第一可 靠投影點(diǎn)的深度值與所述前景三維空間點(diǎn)的深度值的差值，所述前景三維空間點(diǎn)的深度值 為所述前景三維空間點(diǎn)在用于采集所述第一可靠投影點(diǎn)的圖像采集單元的坐標(biāo)系下的深 度值；
[0024] 從所述第一可靠投影點(diǎn)中，確定鄰近度滿足預(yù)設(shè)條件的第二可靠投影點(diǎn)；
[0025] 將所述第二可靠投影點(diǎn)反投影到三維空間中，從而獲取所述第二可靠投影點(diǎn)各自 對應(yīng)的三維空間點(diǎn)；將所述第二可靠投影點(diǎn)對應(yīng)的三維空間點(diǎn)的三維坐標(biāo)，以及所述前景 三維空間點(diǎn)的三維坐標(biāo)的三維坐標(biāo)平均值，作為融合三維空間點(diǎn)的三維坐標(biāo)值，將所述融 合三維空間點(diǎn)作為所述融合后的三維點(diǎn)云的三維空間點(diǎn)，從而獲取所述融合后的三維點(diǎn) 云。
[0026] 結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述方法 還包括：
[0027] 獲取所述N個圖像采集單元采集得到的N張彩色圖像，所述N張彩色圖像與所述 N張深度圖像一一對應(yīng)；
[0028] 獲取所述第二可靠投影點(diǎn)對應(yīng)在所述N張彩色圖像中的像素點(diǎn)的第二色彩值以 及所述第一前景像素點(diǎn)對應(yīng)在所述N張彩色圖像中的像素點(diǎn)的前景色彩值；
[0029] 將所述第二色彩值以及前景色彩值的色彩值均值，作為所述融合三維空間點(diǎn)的色 彩值。
[0030] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第三種可能的實(shí)現(xiàn)方式，在 第四種可能的實(shí)現(xiàn)方式中，所述計算所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)各自的深度 置信度包括：
[0031] 在所述N-1個投影點(diǎn)中的任意投影點(diǎn)所在的圖像區(qū)域中，確定所述圖像區(qū)域內(nèi)的 最大深度值和最小深度值；
[0032] 獲取所述最大深度值與所述最小深度值的差值，其中，在所述差值大于預(yù)設(shè)的差 值閾值時，則令所述差值等于所述差值閾值；
[0033] 將所述差值通過預(yù)設(shè)的縮放因子縮放到預(yù)設(shè)的區(qū)間范圍內(nèi)，將縮放后的差值作為 所述任意投影點(diǎn)的深度置信度。
[0034] 結(jié)合第一方面，或者第一方面的第一至四種可能的實(shí)現(xiàn)方式中的任意一種，在第 五種可能的實(shí)現(xiàn)方式中，在所述判斷所述前景三維空間點(diǎn)在所述N-1個圖像采集單元各自 的坐標(biāo)系下的深度值，是否大于或等于各自的所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的 深度值之前，所述方法還包括：
[0035] 判斷所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)中是否存在背景像素點(diǎn)；
[0036] 在所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)中存在背景像素點(diǎn)時，將所述第一前 景像素點(diǎn)的深度值增加數(shù)值在預(yù)設(shè)數(shù)值范圍內(nèi)的深度偏移量，從而更新所述第一前景像素 點(diǎn)的深度值，執(zhí)行所述判斷所述前景三維空間點(diǎn)在所述N-1個圖像采集單元各自的坐標(biāo)系 下的深度值，是否大于或等于各自的所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的深度值； 或者，
[0037] 在所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)中不存在背景像素點(diǎn)時，執(zhí)行所述判 斷所述前景三維空間點(diǎn)在所述N-1個圖像采集單元各自的坐標(biāo)系下的深度值，是否大于或 等于各自的所述第一前景像素點(diǎn)對應(yīng)的N-1個投影點(diǎn)的深度值。
[0038] 結(jié)合第一方面，或者第一方面的第一至五種可能的實(shí)現(xiàn)方式中的任意一種，在第 六種可能的實(shí)現(xiàn)方式中，所述獲取所述N張深度圖像中的第i張深度圖像的第一前景像素 點(diǎn)包括：
[0039] 獲取所述第i張深度圖像中的第一像素點(diǎn)，在所述第一像素點(diǎn)的深度值小于或者 等于預(yù)設(shè)的深度閾值，并且所述第一像素點(diǎn)對應(yīng)在第i張彩色圖像中的像素點(diǎn)的色彩值不 等于所述第i張彩色圖像的背景色彩值時，將所述第一像素點(diǎn)作為所述第一前景像素點(diǎn)， 所述第i張彩色圖像為所述第i個圖像采集單元采集得到的圖像。
[0040] 第二方面，提供一種多深度圖融合裝置，該裝置包括：
[0041] 圖像獲取單元，用于獲取N個圖像采集單元采集得到的N張深度圖像，N彡2 ;
[0042] 前景點(diǎn)獲取單元，用于獲取所述圖像獲取單元獲取的所述N張深度圖像中的第i 張深度圖像的第一前景像素點(diǎn)，i多1且i<N，所述第i張深度圖像為所述N個圖像采集 單元中第i個圖像采集單元采集得到的深度圖像；
[0043] 投影單元，用于將所述前景點(diǎn)獲取單元獲取的所述第一前景像素點(diǎn)反投影到三維 空間，從而獲取前景三維空間點(diǎn)，將所述前景三維空間點(diǎn)投影到所述N個圖像采集單元中 除所述第i個投影單元之外的N-1個圖像采集單元的成像平面，從而獲取所述第一前景像 素點(diǎn)對應(yīng)在所述N-1個圖像采集單元各自采集的深度圖像中的N-1個投影點(diǎn)；
[0044] 判斷單元，用于判斷所述投影單元獲取的所述前景三維空間點(diǎn)在所述N-1個圖像 采集單元各自的坐標(biāo)系下的深度值，是否大于或等于各自的所述第一前景像素點(diǎn)對應(yīng)的 N-1個投影點(diǎn)的深度值；
[0045] 融合單元，用于在所述判斷單元確定所述前景三維空間點(diǎn)在所述N-1個圖像采集 單元各自的坐標(biāo)系下的深度值，大于或等于各自的所述