基于快速局部匹配的立體圖像對象分割方法
【專利摘要】基于快速局部立體匹配的立體圖像對象分割方法，求取圖像上的可靠匹配點，運用Delaunay三角化進(jìn)行插值求視差；然后構(gòu)建圖，將像素作為頂點，像素與其八近鄰的連線作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定；采用Kruskal最小生成樹策略根據(jù)邊的權(quán)值確定相連兩個像素所在區(qū)域是否屬于同一分割區(qū)域，如果是則合并，否則保持不變；對得到的分割區(qū)域，判斷是否屬于需要分割出來的對象，取出分割區(qū)域，得到最終的對象。本發(fā)明方法快速有效，能夠有效處理物體邊緣等視差不連續(xù)區(qū)域；能夠快速地分割出多個對象，本發(fā)明時間效率高，分割效果好，能夠滿足快速自動對象分割的需求。
【專利說明】基于快速局部匹配的立體圖像對象分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及雙目立體視覺領(lǐng)域的立體匹配方法、對象分割方法，屬于計算機(jī)視覺領(lǐng)域，主要應(yīng)用是快速獲取雙目圖像的視差信息，從而利用視差信息和圖片本身的顏色信息進(jìn)行對象分割，為一種基于快速局部匹配的立體圖像對象分割方法。
【背景技術(shù)】
[0002]立體視覺使得人們能夠獲取物體和場景中的深度信息，是后期應(yīng)用包括3D重建和內(nèi)容分析的基礎(chǔ)。立體匹配是立體視覺的關(guān)鍵技術(shù)之一，它通過對兩幅或者多幅圖像進(jìn)行像素配準(zhǔn)來獲取像素的深度信息。
[0003]匹配精確度和運行時效性是立體匹配的兩個核心因素，然而，前期的研究表明，這兩個因素是相矛盾的。一般的，根據(jù)匹配策略，立體匹配方法可以分為兩類:全局和局部立體匹配。全局立體匹配方法能夠產(chǎn)生高精度的深度圖，然而花費的時間較長。與此相反，局部立體匹配方法產(chǎn)生的深度圖沒有全局方法精度高，但是時效性高，能夠滿足實時或者接近實時的運用需求。所以，按照實際運用的需求，局部立體匹配方法值得我們進(jìn)行深入的研究。
[0004]視差插值廣泛地運用于局部立體匹配中，這主要基于在局部平滑區(qū)域視差保持連續(xù)變化。對三角區(qū)域進(jìn)行視差插值也在先前的研究中被采用。這些三角區(qū)域是通過對一些初始匹配點運用三角化形成的，假設(shè)三角區(qū)域內(nèi)的視差保持連續(xù)變化，利用該三角區(qū)域形成的視差面進(jìn)行插值是可行的。然而，如果該三角形出現(xiàn)在物體的邊界或者形成它的頂點包含異常初始匹配點，利用該三角形進(jìn)行插值得到的視差則是無效的。針對這些問題，本發(fā)明中的局部立體匹配方法給出了自己的解決方案，并且實驗結(jié)果也印證了該方案的可行性。
[0005]對象分割，即圖像分割，一直是計算機(jī)視覺的研究熱點，它是大多數(shù)視覺問題(如對象識別)的基礎(chǔ)。如何快速有效地對圖像進(jìn)行分割一直是該研究領(lǐng)域的重點與難點。目前分割效果較好的算法大多時間復(fù)雜度高，并且需要人工交互，分割的對象需要手動指定，這類算法的代表是基于圖割的分割算法。與此相反，以均值漂移為代表的分割算法，時間效率高，并且不需要人工投入，但是它的分割效果大大不如圖割算法，容易過分割，同一對象極易分割成多個區(qū)域。

【發(fā)明內(nèi)容】

[0006]本發(fā)明一個方面提供了一種有效地基于擴(kuò)展三角插值的局部立體匹配方法，該方法能夠有效解決基于三角化的局部立體匹配算法在某些區(qū)域，如跨越物體邊界的三角形或者由異常匹配點組成的三角形，插值不準(zhǔn)確的問題。
[0007]本發(fā)明的技術(shù)方案為:基于快速局部匹配的立體圖像對象分割方法，包括以下步驟:
[0008]I)求取可靠匹配點:輸入校驗后的左圖像，右圖像對左圖像進(jìn)行均勻采樣，對采樣點運用自適應(yīng)權(quán)重局部立體匹配方法在右圖像中搜尋最佳匹配點，在計算像素點的匹配代價時采用sobel紋理特征與像素點的RGB顏色信息，然后對匹配結(jié)果進(jìn)行后期校驗，最后剩下的點作為可靠匹配點；
[0009]2)對可靠匹配點運用Delaunay三角化:將左圖像求得的可靠匹配點組織成三角網(wǎng)格，對每個三角形進(jìn)行可靠性判斷，判斷的依據(jù)是檢查三角形與其臨近的三角形是否共面，對三角形內(nèi)的點，根據(jù)三角形的可靠性，利用三角形及與其共邊的三個三角形進(jìn)行插值求視差；對得到的視差圖進(jìn)行后期校驗得到最終的視差圖；
[0010]3)對左圖像構(gòu)建圖:左圖像每個像素作為圖的頂點，將像素與其八近鄰的連線作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定，視差信息由最終的視差圖得到；
[0011]4)利用構(gòu)建的圖進(jìn)行圖像分割:采用Kruskal最小生成樹策略，將邊按照權(quán)值的大小由低到高排序，根據(jù)邊的權(quán)值確定相連的兩像素所在區(qū)域是否屬于同一分割區(qū)域，判斷的閾值根據(jù)區(qū)域自適應(yīng)變化，依次處理完圖中的所有邊，則圖片中所有像素都劃歸到相應(yīng)的區(qū)域，得到分割區(qū)域；
[0012]5)提取出分割區(qū)域中感興趣的對象:對得到的分割區(qū)域，按照視差大小、分割區(qū)域的緊湊度及分割區(qū)域所占整幅圖片的比例，判斷是否屬于需要分割出來的對象，按照對象劃分取出各對象的分割區(qū)域，完成對象分割。
[0013]后期校驗采用左右一致性檢測。
[0014]所述步驟2)中，對每個三角形利用其臨近的三角形進(jìn)行可靠性判斷具體為:
[0015]根據(jù)三角形的平面法向量的夾角Θ判斷三角形是否共面:
[0016]
【權(quán)利要求】
1.基于快速局部匹配的立體圖像對象分割方法，其特征是包括以下步驟: 1)求取可靠匹配點:輸入校驗后的左圖像，右圖像對左圖像進(jìn)行均勻采樣，對采樣點運用自適應(yīng)權(quán)重局部立體匹配方法在右圖像中搜尋最佳匹配點，在計算像素點的匹配代價時采用SObel紋理特征與像素點的RGB顏色信息，然后對匹配結(jié)果進(jìn)行后期校驗，最后剩下的點作為可靠匹配點； 2)對可靠匹配點運用Delaunay三角化:將左圖像求得的可靠匹配點組織成三角網(wǎng)格，對每個三角形進(jìn)行可靠性判斷，判斷的依據(jù)是檢查三角形與其臨近的三角形是否共面，對三角形內(nèi)的點，根據(jù)三角形的可靠性，利用三角形及與其共邊的三個三角形進(jìn)行插值求視差；對得到的視差圖進(jìn)行后期校驗得到最終的視差圖； 3)對左圖像構(gòu)建圖:左圖像每個像素作為圖的頂點，將像素與其八近鄰的連線作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定，視差信息由最終的視差圖得到； 4)利用構(gòu)建的圖進(jìn)行圖像分割:采用Kruskal最小生成樹策略，將邊按照權(quán)值的大小由低到高排序，根據(jù)邊的權(quán)值確定相連的兩像素所在區(qū)域是否屬于同一分割區(qū)域，判斷的閾值根據(jù)區(qū)域自適應(yīng)變化，依次處理完圖中的所有邊，則圖片中所有像素都劃歸到相應(yīng)的區(qū)域，得到分割區(qū)域； 5)提取出分割區(qū)域中感興趣的對象:對得到的分割區(qū)域，按照視差大小、分割區(qū)域的緊湊度及分割區(qū)域所占整幅圖片的比例，判斷是否屬于需要分割出來的對象，按照對象劃分取出各對象的分割區(qū)域，完成對象分割。
2.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對象分割方法，其特征是所述后期校驗采用左右一致性檢測。
3.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對象分割方法，其特征是所述步驟2)中，對每個三角形利用其臨近的三角形進(jìn)行可靠性判斷具體為: 根據(jù)三角形的平面法向量的夾角Θ判斷三角形是否共面:
4.根據(jù)權(quán)利要求3所述的基于快速局部匹配的立體圖像對象分割方法，其特征是步驟2)中，根據(jù)三角形的可靠性求視差具體為: 如果三角形fp可靠，即其臨近的三角形都與其共面，可靠度為1，則利用三角形決定的視差面對其內(nèi)的點P求視差:
5.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對象分割方法，其特征是在步驟3)構(gòu)建圖時，基于假設(shè):臨近的顏色相似的像素應(yīng)該位于同一對象內(nèi)，臨近的深度信息一致的兩像素應(yīng)該位于同一對象內(nèi)，設(shè)定邊的權(quán)值由相連兩像素的顏色和視差共同決定，如果圖中邊相連的兩像素都包含視差信息，則將視差和顏色按照7:3的比例確定邊的權(quán)值，否則，只按照顏色信息確定權(quán)值。
6.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對象分割方法，其特征是步驟4)中，第一次進(jìn)行圖像分割后，進(jìn)行后期處理:結(jié)合視差信息，將臨近的分割較細(xì)的屬于同一視差面的分割區(qū)域進(jìn)行合并，這里用于判斷是否合并的分割細(xì)度根據(jù)圖像分割需求確定。
7.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對象分割方法，其特征是步驟5)中需要分割出來的對象的判斷原則為: A)視差最大的區(qū)域:深度靠前，對象離鏡頭近，處于視覺顯著位置； B)分割區(qū)域緊湊:即分割區(qū)域內(nèi)像素數(shù)目與分割區(qū)域所在最小矩形區(qū)域面積的比值最??； C)分割區(qū)域所占整個圖像區(qū)域的比例適中:長寬比例符合預(yù)先設(shè)定的參數(shù):
【文檔編號】G06T7/00GK103714549SQ201310745606
【公開日】2014年4月9日 申請日期:2013年12月30日 優(yōu)先權(quán)日:2013年12月30日
【發(fā)明者】武港山, 夏春容, 居然 申請人:南京大學(xué)