基于視差信息的街景圖像目標(biāo)分割方法及裝置制造方法
【專(zhuān)利摘要】本申請(qǐng)涉及一種基于視差信息的街景圖像目標(biāo)分割方法及裝置。所述方法包括：建立街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)；通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合；將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中；根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。本申請(qǐng)將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間的變化規(guī)律實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。
【專(zhuān)利說(shuō)明】基于視差信息的街景圖像目標(biāo)分割方法及裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及圖像處理【技術(shù)領(lǐng)域】，特別是涉及一種基于視差信息的街景圖像目標(biāo)分割方法及裝置。
【背景技術(shù)】
[0002]現(xiàn)在越來(lái)越多的網(wǎng)絡(luò)地圖搜索服務(wù)趨向于將街景也作為一項(xiàng)服務(wù)呈現(xiàn)給用戶(hù)，網(wǎng)絡(luò)地圖的頁(yè)面中為街景服務(wù)提供了很多入口。用戶(hù)在使用地圖進(jìn)行搜索和查詢(xún)的時(shí)候，能夠很方便的點(diǎn)擊進(jìn)入獲取街景服務(wù)。當(dāng)用戶(hù)搜索到某一地點(diǎn)，點(diǎn)擊進(jìn)入街景模式后，可以看到地點(diǎn)以及周邊環(huán)境的街景展現(xiàn)。
[0003]現(xiàn)有的街景展現(xiàn)一般使用全景圖技術(shù)。全景圖技術(shù)可以將平面照及計(jì)算機(jī)圖變?yōu)?60度全景景觀，把街景采集系統(tǒng)所采集的二維的平面圖根據(jù)特定的模型模擬成真實(shí)的三維空間，呈現(xiàn)給用戶(hù)。
[0004]隨著移動(dòng)測(cè)量技術(shù)以及三維實(shí)景技術(shù)的發(fā)展，立體街景也開(kāi)始出現(xiàn)在街景展現(xiàn)的應(yīng)用中。立體街景圖像采集系統(tǒng)集成了多部相機(jī)、GPS、慣導(dǎo)系統(tǒng)、控制設(shè)備等，能夠?qū)崟r(shí)獲取場(chǎng)景的立體像對(duì)和采集設(shè)備的位置和姿態(tài)信息。立體街景圖像的采集系統(tǒng)在采集車(chē)高速行進(jìn)之中，快速采集道路及兩旁地物的實(shí)景影像的立體像對(duì)。立體像對(duì)(stereo pair)是指由兩個(gè)不同的相機(jī)(如CCD)或一個(gè)立體攝像機(jī)獲取的，具有一定影像重疊的兩幅圖像。一對(duì)立體像對(duì)記錄了成像裝置成像范圍內(nèi)空間對(duì)象的三維立體空間。
[0005]立體街景圖像的采集系統(tǒng)可以以道路巡航的方式高密度的采集城市的連續(xù)立體像對(duì)，在車(chē)輛高速行進(jìn)過(guò)程中，能夠以5米的間隔采集一次覆蓋360度范圍的影像。通過(guò)沿城市道路進(jìn)行地毯式掃描，可以建立城市的海量立體影像庫(kù)。該影像庫(kù)實(shí)際上全方位的記錄了城市的真實(shí)環(huán)境和三維空間尺寸。
[0006]對(duì)于立體街景圖像，尤其是立體像對(duì)，如果知道圖像中各個(gè)目標(biāo)的屬性，將更有利于針對(duì)不同的目標(biāo)進(jìn)行不同的處理，同時(shí)將為給予立體像對(duì)的三維建模提供基礎(chǔ)信息。但是，由于立體街景數(shù)據(jù)的復(fù)雜性，傳統(tǒng)的基于二維灰度圖像的圖像分割算法并不能直接用于立體街景圖像的圖像分割，因此，有必要提供一種新的適用于立體街景圖像的目標(biāo)分割方法。

【發(fā)明內(nèi)容】

[0007]本申請(qǐng)的目的在于，提供一種基于視差信息的街景圖像目標(biāo)分割方法及裝置。
[0008]一種基于視差信息的街景圖像目標(biāo)分割方法，所述方法包括:建立街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)；通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合；將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中；根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
[0009]一種基于視差信息的街景圖像目標(biāo)分割裝置，所述裝置包括:街景圖像數(shù)據(jù)庫(kù)、視差數(shù)據(jù)獲取模塊、投影模塊、分割模塊。所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)。視差數(shù)據(jù)獲取模塊用于通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。投影模塊用于將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中。分割模塊用于根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
[0010]相對(duì)于現(xiàn)有技術(shù)，本申請(qǐng)?zhí)峁┑幕谝暡钚畔⒌慕志皥D像目標(biāo)分割方法及裝置，將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間上具有明顯不同的深度分布特征，通過(guò)分析視差數(shù)據(jù)的投影密度實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。
[0011]上述說(shuō)明僅是本申請(qǐng)技術(shù)方案的概述，為了能夠更清楚了解本申請(qǐng)的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本申請(qǐng)的上述和其他目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉較佳實(shí)施例，并配合附圖，詳細(xì)說(shuō)明如下。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0012]圖1為本申請(qǐng)第一實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法的流程示意圖。
[0013]圖2為圖1中步驟S12的具體流程示意圖。
[0014]圖3為本申請(qǐng)第二實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法的流程示意圖。
[0015]圖4為視差空間的示意圖。
[0016]圖5為圖4經(jīng)過(guò)擬合的結(jié)果。
[0017]圖6為一幅圖像的地面分割結(jié)果示意圖。
[0018]圖7為另一幅圖像的地面分割結(jié)果示意圖。
[0019]圖8為本申請(qǐng)第三實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置的結(jié)構(gòu)示意圖。
[0020]圖9為圖8中視差數(shù)據(jù)獲取模塊的具體結(jié)構(gòu)示意圖。
[0021]圖10為本申請(qǐng)第四實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0022]為更進(jìn)一步闡述本申請(qǐng)為達(dá)成預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對(duì)依據(jù)本申請(qǐng)?zhí)岢龅幕谝暡钚畔⒌慕志皥D像目標(biāo)分割方法及裝置其【具體實(shí)施方式】、方法、步驟、結(jié)構(gòu)、特征及其功效，詳細(xì)說(shuō)明如下。
[0023]有關(guān)本申請(qǐng)的前述及其他技術(shù)內(nèi)容、特點(diǎn)及功效，在以下配合參考圖式的較佳實(shí)施例的詳細(xì)說(shuō)明中將可清楚呈現(xiàn)。通過(guò)【具體實(shí)施方式】的說(shuō)明，當(dāng)可對(duì)本申請(qǐng)為達(dá)成預(yù)定目的所采取的技術(shù)手段及功效得以更加深入且具體的了解，然而所附圖式僅是提供參考與說(shuō)明之用，并非用來(lái)對(duì)本申請(qǐng)加以限制。
[0024]第一實(shí)施例
[0025]圖1為本申請(qǐng)第一實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法的流程示意圖。如圖1所示，本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法包括:
[0026]步驟Sll:建立街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)。
[0027]街景圖像數(shù)據(jù)庫(kù)可以在采集街景圖像的過(guò)程中建立。街景圖像數(shù)據(jù)中包括成像裝置所采集的若干連續(xù)的立體像對(duì)，每對(duì)立體像對(duì)包括兩幅圖像，這兩幅圖像對(duì)應(yīng)的是相同的場(chǎng)景，只是拍攝的角度不同，因此并不完全相同，但是具有重疊區(qū)域。
[0028]進(jìn)一步的，可以根據(jù)采集的順序?qū)αⅢw像對(duì)進(jìn)行排序形成立體像對(duì)序列。
[0029]進(jìn)一步的，街景圖像數(shù)據(jù)庫(kù)中還可以包括拍攝位置、姿態(tài)、POI信息等其他數(shù)據(jù)。
[0030]步驟S12:通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。
[0031]請(qǐng)參見(jiàn)圖2，于本實(shí)施例中，步驟S12可以包括:
[0032]步驟S121:對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體校正；
[0033]步驟S122:將每對(duì)立體像對(duì)中經(jīng)過(guò)立體校正的兩幅圖像進(jìn)行立體匹配，獲得所述兩幅圖像所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。
[0034]對(duì)所述立體圖像中的兩幅圖像進(jìn)行校正可以獲得滿(mǎn)足純平移關(guān)系的兩幅新圖像，以為后續(xù)的立體匹配做好準(zhǔn)備。立體校正的方法很多，例如，可以對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正，使所述兩幅圖像的同名點(diǎn)具有相同的行坐標(biāo)，當(dāng)然，其他的立體校正方法同樣適用于本申請(qǐng)，本申請(qǐng)并不以此為限。對(duì)同名點(diǎn)校正的方法也很多，例如可以根據(jù)所述立體像對(duì)中的兩幅圖像的位置和姿態(tài)參數(shù)，并利用共面關(guān)系，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正，也可以利用所述立體像對(duì)中的兩幅圖像的同名點(diǎn)對(duì)，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正。當(dāng)然，其他對(duì)同名點(diǎn)校正的方法也同樣適用于本申請(qǐng)，本申請(qǐng)并不以此為限。
[0035]對(duì)每對(duì)立體像對(duì)中經(jīng)過(guò)立體校正的兩幅圖像(一幅作為參考圖像，另一幅作為匹配圖像)進(jìn)行立體匹配是為了找到立體像對(duì)中的這兩幅圖像像素的對(duì)應(yīng)關(guān)系。
[0036]對(duì)所述立體像對(duì)序列中的每對(duì)立體像對(duì)進(jìn)行立體匹配的算法可以采用圖像密集匹配算法。圖像密集匹配算法包括基于局部?jī)?yōu)化的立體匹配算法和基于全局優(yōu)化的立體匹配算法。于本實(shí)施例中，可以采用基于全局優(yōu)化的GC(Graph Cut，圖像切割，簡(jiǎn)稱(chēng)圖割)匹配算法或者SGBM匹配算法。當(dāng)然，其他的立體匹配算法也同樣適用于本申請(qǐng)，本申請(qǐng)并不以此為限。
[0037]經(jīng)立體匹配獲得所述兩幅圖像所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合由三維坐標(biāo)點(diǎn)(X，y, z)構(gòu)成。其中X，y分別代表參考圖像的每個(gè)像素的i，j坐標(biāo)，z代表立體匹配生成的對(duì)應(yīng)像素點(diǎn)的視差值。于本申請(qǐng)中，視差值z(mì)=f*e/v,其中，f為相機(jī)的焦距，e為基準(zhǔn)線的長(zhǎng)度(也就是兩個(gè)相機(jī)之間的距離)，V為基準(zhǔn)線到空間物點(diǎn)的距離(也就是深度)。
[0038]步驟S13:將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中。
[0039]步驟S14:根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
[0040]根據(jù)立體采集設(shè)備的拍攝時(shí)的物距和相機(jī)的焦距，確定合適的縮放比例。確定合適的比例系數(shù)，將步驟S12中得到的視差數(shù)據(jù)集合中的三維坐標(biāo)點(diǎn)(x，y，z)投影在三維坐標(biāo)系X-Y-Z中形成視差空間，其中，z代表立體匹配生成的對(duì)應(yīng)像素點(diǎn)的視差值。
[0041]由視差值的定義z=f*e/v可以看出，視差值可以用來(lái)表征圖像的深度信息。根據(jù)近大遠(yuǎn)小的透視成像原理，匹配生成的視差值Z也是近大遠(yuǎn)小，且具有相同深度的物點(diǎn)，具有相同的視差值。根據(jù)上述原理，在視差空間上具有明顯不同的深度分布特征，例如，圖像中的“地面”在視差空間由近及遠(yuǎn)的變化時(shí)，其對(duì)應(yīng)的視差值會(huì)連續(xù)的減小，圖像中的人或燈柱等目標(biāo)其對(duì)應(yīng)的視差值是基本不變的，而且在其輪廓邊緣視差值會(huì)有階躍變化。根據(jù)上述特征，將視差空間的點(diǎn)投影到X-O-Z平面，分析局部點(diǎn)的分布密度(也可以稱(chēng)為投影密度)就可以有效的確定大部分的目標(biāo)的初始范圍，將目標(biāo)分割出來(lái)。投影密度指的是將三維坐標(biāo)點(diǎn)(視差數(shù)據(jù))直接投影到水平面(Χ-0-Ζ平面)上，統(tǒng)計(jì)和計(jì)算水平面任意位置處所含投影點(diǎn)的個(gè)數(shù)。
[0042]因?yàn)橄嗤疃染哂邢嗤囊暡钪担诮志傲Ⅲw像對(duì)中，定義深度方向?yàn)榕臄z方向(z方向)，則建筑、植被、行人等目標(biāo)在y方向分布。將視差空間中的數(shù)據(jù)點(diǎn)投影在X-O-Z平面，會(huì)產(chǎn)生聚集效果。對(duì)于類(lèi)似地面的目標(biāo)來(lái)講，投影密度比較均勻且整體上比較?。粚?duì)于類(lèi)似建筑物邊界的目標(biāo)來(lái)講，投影密度遠(yuǎn)大于其他區(qū)域，并形成可連續(xù)的帶；對(duì)于類(lèi)似建筑物內(nèi)部的目標(biāo)來(lái)講，投影密度近似為O ;對(duì)于類(lèi)似燈柱的獨(dú)立點(diǎn)狀物來(lái)講，投影密度局部比較大，周?chē)容^??；對(duì)于類(lèi)似汽車(chē)等塊狀物來(lái)講，投影密度局部比較大且占有一定的面積。利用以上特征，選取合理的閾值就可以對(duì)不同的目標(biāo)進(jìn)行分割。
[0043]當(dāng)然，也可以通過(guò)對(duì)初始范圍的后處理，例如平面擬合、形態(tài)學(xué)分析等處理進(jìn)一步確定目標(biāo)的精確范圍，然后再將目標(biāo)分割出來(lái)。
[0044]相對(duì)于現(xiàn)有技術(shù)，本實(shí)施例提供的基于視差信息的街景圖像目標(biāo)分割方法，將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間上具有明顯不同的深度分布特征，通過(guò)分析視差數(shù)據(jù)的投影密度實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。
[0045]第二實(shí)施例
[0046]圖3為本申請(qǐng)第二實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法的流程示意圖。于本實(shí)施例，將具體以分割“地面”為例，對(duì)本申請(qǐng)進(jìn)行進(jìn)一步的說(shuō)明。如圖3所示，本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法包括:
[0047]步驟S21:建立街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)。此步驟與第一實(shí)施例中的對(duì)應(yīng)步驟相同，這里不再贅述。
[0048]步驟S22:通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。此步驟與第一實(shí)施例中的對(duì)應(yīng)步驟相同，這里不再贅述。
[0049]步驟S23:將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中。此步驟與第一實(shí)施例中的對(duì)應(yīng)步驟相同，這里不再贅述。
[0050]步驟S24:根據(jù)所述視差數(shù)據(jù)的投影密度確定初始地面點(diǎn)。
[0051]步驟S25:對(duì)所述初始地面點(diǎn)進(jìn)行擬合。
[0052]步驟S26:對(duì)經(jīng)擬合的地面點(diǎn)進(jìn)行形態(tài)學(xué)分析，確定地面的范圍。
[0053]步驟S27:將所述地面的范圍反投影到對(duì)應(yīng)的立體像對(duì)的圖像上，結(jié)合所述圖像的內(nèi)容再次確定地面的范圍。
[0054]步驟S24至步驟S27是根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的地面進(jìn)行分割的具體步驟。根據(jù)步驟S21至步驟S23可以獲得對(duì)應(yīng)場(chǎng)景的視差空間，如圖4所示。將視差空間中的數(shù)據(jù)點(diǎn)投影在X-O-Z平面，由于地面相對(duì)于其他目標(biāo)物來(lái)講，投影密度比較均勻且整體上比較小，通過(guò)選取合適的閾值即可確定初始地面點(diǎn)。初始地面點(diǎn)指的是根據(jù)視差數(shù)據(jù)的投影密度確定的地面的初始范圍內(nèi)的數(shù)據(jù)點(diǎn)。得到初始地面點(diǎn)后對(duì)所述初始地面點(diǎn)進(jìn)行擬合以去除視差值中誤差較大的點(diǎn)。于本實(shí)施例中，可以，但不限于使用RANSAC算法對(duì)地面點(diǎn)進(jìn)行擬合，請(qǐng)參照?qǐng)D5，圖5為圖4經(jīng)過(guò)擬合的結(jié)果，圖5中用線框表示經(jīng)過(guò)擬合的地面的范圍。然后，對(duì)經(jīng)擬合的地面進(jìn)行形態(tài)學(xué)分析，確定地面的范圍。具體來(lái)說(shuō)，就是對(duì)初始擬合的地面范圍進(jìn)行膨脹、腐蝕，去除邊界中擬合誤差較大和錯(cuò)誤擬合的部分。最后，將地面的范圍反投影到對(duì)應(yīng)圖像上，結(jié)合所述圖像的內(nèi)容再次確定地面的范圍。請(qǐng)參照?qǐng)D6及圖7，圖6及圖7是采用第二實(shí)施例中的地面分割方法獲得的地面分割結(jié)果的示意圖，其中黑色區(qū)塊表示被分割出來(lái)的地面。當(dāng)然，為了獲得更精確的分割結(jié)果，在進(jìn)行反投影前，也可以對(duì)地面范圍內(nèi)的數(shù)據(jù)進(jìn)一步進(jìn)行內(nèi)差、擬合、除錯(cuò)等處理，本發(fā)明并不以此為限。
[0055]相對(duì)于現(xiàn)有技術(shù)，本實(shí)施例提供的基于視差信息的街景圖像目標(biāo)分割方法，將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間上具有明顯不同的深度分布特征，通過(guò)分析視差數(shù)據(jù)的投影密度實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。
[0056]第三實(shí)施例
[0057]圖8為本申請(qǐng)第三實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置的結(jié)構(gòu)示意圖。本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置可以實(shí)現(xiàn)第一實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法。如圖8所示，本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置10包括:街景圖像數(shù)據(jù)庫(kù)11、視差數(shù)據(jù)獲取模塊12、投影模塊13以及分割模塊14。
[0058]其中，街景圖像數(shù)據(jù)庫(kù)11中包括若干立體像對(duì)。視差數(shù)據(jù)獲取模塊12用于通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。投影模塊13用于將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中。分割模塊14用于根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
[0059]進(jìn)一步的，請(qǐng)參照?qǐng)D9，視差數(shù)據(jù)獲取模塊12還可以包括:校正模塊121，用于對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體校正；數(shù)據(jù)獲取子模塊122，用于將每對(duì)立體像對(duì)中經(jīng)過(guò)立體校正的兩幅圖像進(jìn)行立體匹配，獲得所述兩幅圖像所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。
[0060]進(jìn)一步的，所述校正模塊121對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正，使所述兩幅圖像的同名點(diǎn)具有相同的行坐標(biāo)。所述校正模塊121可以根據(jù)所述立體像對(duì)中的兩幅圖像的位置和姿態(tài)參數(shù)，并利用共面關(guān)系，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正；或者利用所述立體像對(duì)中的兩幅圖像的同名點(diǎn)對(duì)，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正。
[0061]進(jìn)一步，所述視差數(shù)據(jù)獲取模塊12所進(jìn)行的立體匹配采用圖像密集匹配算法實(shí)現(xiàn)。
[0062]相對(duì)于現(xiàn)有技術(shù)，本實(shí)施例提供的基于視差信息的街景圖像目標(biāo)分割裝置，將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間上具有明顯不同的深度分布特征，通過(guò)分析視差數(shù)據(jù)的投影密度實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。[0063]第四實(shí)施例
[0064]圖10為本申請(qǐng)第四實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置的結(jié)構(gòu)示意圖。本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置可以實(shí)現(xiàn)第二實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割方法。如圖11所示，本實(shí)施例中的基于視差信息的街景圖像目標(biāo)分割裝置20包括:街景圖像數(shù)據(jù)庫(kù)21、視差數(shù)據(jù)獲取模塊22、投影模塊23以及分割模塊24。
[0065]于本實(shí)施例中，分割模塊24進(jìn)一步包括:初始地面點(diǎn)確認(rèn)模塊241，用于根據(jù)所述視差數(shù)據(jù)的投影密度確定初始地面點(diǎn)；擬合模塊242，用于對(duì)所述初始地面點(diǎn)進(jìn)行擬合；形態(tài)學(xué)分析模塊243，用于對(duì)經(jīng)擬合的地面點(diǎn)進(jìn)行形態(tài)學(xué)分析，確定地面的范圍；地面范圍再確認(rèn)模塊244，用于將所述地面的范圍反投影到對(duì)應(yīng)的立體像對(duì)的圖像上，結(jié)合所述圖像的內(nèi)容再次確定地面的范圍。
[0066]相對(duì)于現(xiàn)有技術(shù)，本實(shí)施例提供的基于視差信息的街景圖像目標(biāo)分割裝置，將二維圖像上的目標(biāo)分割轉(zhuǎn)化為三維空間上的目標(biāo)分割，充分利用了立體街景圖像中的目標(biāo)在視差空間上具有明顯不同的深度分布特征，通過(guò)分析視差數(shù)據(jù)的投影密度實(shí)現(xiàn)了對(duì)目標(biāo)的有效分割。
[0067]需要說(shuō)明的是，本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于裝置類(lèi)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
[0068]需要說(shuō)明的是， 術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者裝置不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者裝置所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者裝置中還存在另外的相同要素。
[0069]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過(guò)硬件來(lái)完成，也可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤(pán)或光盤(pán)等。
[0070]以上所述，僅是本申請(qǐng)的較佳實(shí)施例而已，并非對(duì)本申請(qǐng)作任何形式上的限制，雖然本申請(qǐng)已以較佳實(shí)施例揭露如上，然而并非用以限定本申請(qǐng)，任何熟悉本專(zhuān)業(yè)的技術(shù)人員，在不脫離本申請(qǐng)技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容做出些許更動(dòng)或修飾為等同變化的等效實(shí)施例，但凡是未脫離本申請(qǐng)技術(shù)方案內(nèi)容，依據(jù)本申請(qǐng)的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本申請(qǐng)技術(shù)方案的范圍內(nèi)。
【權(quán)利要求】
1.一種基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，所述方法包括: 建立街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)； 通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配,獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合； 將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中； 根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
2.如權(quán)利要求1所述的基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，所述通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合的步驟，包括: 對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體校正； 將每對(duì)立體像對(duì)中經(jīng)過(guò)立體校正的兩幅圖像進(jìn)行立體匹配，獲得所述兩幅圖像所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。
3.如權(quán)利要求2所述的基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，所述對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體校正的步驟，包括: 對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正，使所述兩幅圖像的同名點(diǎn)具有相同的行坐標(biāo)。
4.如權(quán)利要求3所述的基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，根據(jù)所述立體像對(duì)中的兩幅圖像的位置和姿態(tài)參數(shù)，并利用共面關(guān)系，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正；或者利用所述立體像對(duì)中的兩幅圖像的同名點(diǎn)對(duì)，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正。
5.如權(quán)利要求4所述的基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，所述立體匹配采用圖像密集匹配算法實(shí)現(xiàn)。
6.如權(quán)利要求1所述的基于視差信息的街景圖像目標(biāo)分割方法，其特征在于，所述目標(biāo)為地面，所述根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割的步驟，包括: 根據(jù)所述視差數(shù)據(jù)的投影密度確定初始地面點(diǎn)； 對(duì)所述初始地面點(diǎn)進(jìn)行擬合； 對(duì)經(jīng)擬合的地面進(jìn)行形態(tài)學(xué)分析，確定地面的范圍； 將所述地面的范圍反投影到對(duì)應(yīng)的立體像對(duì)的圖像上，結(jié)合所述圖像的內(nèi)容再次確定地面的范圍。
7.一種基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述裝置包括: 街景圖像數(shù)據(jù)庫(kù)，所述街景圖像數(shù)據(jù)庫(kù)中包括若干立體像對(duì)； 視差數(shù)據(jù)獲取模塊，用于通過(guò)對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體匹配，獲得每對(duì)立體像對(duì)所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合； 投影模塊，用于將所述對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)投影到三維空間中； 分割模塊，用于根據(jù)投影在所述三維空間中的視差數(shù)據(jù)的投影密度對(duì)所述對(duì)應(yīng)場(chǎng)景中的目標(biāo)進(jìn)行分割。
8.如權(quán)利要求7所述的基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述視差數(shù)據(jù)獲取模塊，包括: 校正模塊，用于對(duì)每對(duì)立體像對(duì)中的兩幅圖像進(jìn)行立體校正； 數(shù)據(jù)獲取子模塊，用于將每對(duì)立體像對(duì)中經(jīng)過(guò)立體校正的兩幅圖像進(jìn)行立體匹配，獲得所述兩幅圖像所對(duì)應(yīng)場(chǎng)景的視差數(shù)據(jù)集合。
9.如權(quán)利要求8所述的基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述校正模塊對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正，使所述兩幅圖像的同名點(diǎn)具有相同的行坐標(biāo)。
10.如權(quán)利要求9所述的基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述校正模塊根據(jù)所述立體像對(duì)中的兩幅圖像的位置和姿態(tài)參數(shù)，并利用共面關(guān)系，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正；或者利用所述立體像對(duì)中的兩幅圖像的同名點(diǎn)對(duì)，對(duì)所述立體像對(duì)中的兩幅圖像的同名點(diǎn)進(jìn)行校正。
11.如權(quán)利要求10所述的基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述視差數(shù)據(jù)獲取模塊所進(jìn)行的立體匹配采用圖像密集匹配算法實(shí)現(xiàn)。
12.如權(quán)利要求7所述的基于視差信息的街景圖像目標(biāo)分割裝置，其特征在于，所述目標(biāo)為地面，所述分割模塊，包括: 初始地面點(diǎn)確認(rèn)模塊，用于根據(jù)所述視差數(shù)據(jù)的投影密度確定初始地面點(diǎn)； 擬合模塊，用于對(duì)所述初始地面點(diǎn)進(jìn)行擬合； 形態(tài)學(xué)分析模塊，用于對(duì)經(jīng)擬合的地面進(jìn)行形態(tài)學(xué)分析，確定地面的范圍； 地面范圍再確認(rèn)模塊，用于將所述地面的范圍反投影到對(duì)應(yīng)的立體像對(duì)的圖像上，結(jié)合所述圖像的內(nèi)容再次確定地面的范圍。
【文檔編號(hào)】G06T7/00GK103971356SQ201310043317
【公開(kāi)日】2014年8月6日 申請(qǐng)日期:2013年2月4日 優(yōu)先權(quán)日:2013年2月4日
【發(fā)明者】屈孝志, 馬騰 申請(qǐng)人:騰訊科技（深圳）有限公司