用于分層立體匹配的設(shè)備和方法
【專利摘要】本發(fā)明提供了一種用于分層立體匹配的設(shè)備和方法。在該方法中，通過縮小左圖像和右圖像來形成縮小的圖像，并且對縮小的圖像進(jìn)行第一網(wǎng)格處理。接著，通過將縮小的圖像的尺寸和亮度進(jìn)行放大來生成放大的圖像，并且對放大的圖像進(jìn)行第二網(wǎng)格處理。
【專利說明】用于分層立體匹配的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)，更具體地，涉及在三維圖像處理系統(tǒng)中使用的用于分層立體匹配的設(shè)備和方法。
【背景技術(shù)】
[0002]通常，立體匹配是通過左圖像和右圖像的像素之間的匹配來檢測物體相距多遠(yuǎn)的技術(shù)。
[0003]例如，如果將一根手指很近地放置在雙眼之間，那么在只睜開左眼時手指位于右偵牝而在只睜開右眼時手指位于左側(cè)。另一方面，當(dāng)人在看山峰時，在只睜開左眼時或者在只睜開右眼時，山峰都會位于雙眼之間的中間。
[0004]在立體匹配中，當(dāng)使用兩個照相機(jī)來獲得圖像時，每個照相機(jī)所拍攝的物體所在的位置根據(jù)距離而變化。在這種情況下，使用與距離的變化有關(guān)的信息來獲得距離信息。
[0005]將使用照片為例來描述左圖像和右圖像之間的差異。圖1A和圖1B分別是例示了左圖像和右圖像的示例性視圖。如圖1A和圖1B所示，可以看出，在左圖像和右圖像當(dāng)中以深色示出的物體的位置的差異大，但是在左圖像和右圖像當(dāng)中以淺色示出的背景的位置的差異小。
[0006]圖2A和圖2B分別例示了圖1A的左圖像的距離信息和圖1B的右圖像的距離信息。在圖2A和圖2B中，當(dāng)物體的顏色更淺時，該物體與照相機(jī)的距離更近。
[0007]人使用左圖像和右圖像來辨識距離信息，而計算機(jī)卻不能使用這種方式來進(jìn)行辨識。因此，計算機(jī)使用立體匹配技術(shù)。立體匹配是用于檢測左圖像和右圖像的像素分別與對應(yīng)的左圖像和右圖像的哪個像素匹配的技術(shù)。
[0008]在立體匹配技術(shù)中，假設(shè)左圖像和右圖像被校正過。在使用立體照相機(jī)任意拍攝照片時，照片處于如圖3A所示的未校正狀態(tài)。
[0009]在使用立體照相機(jī)拍攝圖像時，圖3A例示了未校正的圖像的示例，而圖3B例示了校正過的圖像的示例。
[0010]也就是說，圖3A的圖像意味著左圖像和右圖像沒有進(jìn)行校正。如果為了補(bǔ)償左圖像和右圖像之間的未校正而如圖3B所示進(jìn)行校正，則左圖像和右圖像被校正，使得左圖像和右圖像具有相同的焦距和相同的基線。左圖像和右圖像的縱向位置也進(jìn)行校正，使得當(dāng)從左圖像和右圖像中的每個圖像橫向地提取一條線時，左圖像和右圖像的提取的線指示相同的部分。
[0011]若干種方法用作立體匹配技術(shù)，而網(wǎng)格處理(Trellis)作為該若干種方法的代表來使用。
[0012]網(wǎng)格處理是通過將分別從左圖像和右圖像提取的一組線進(jìn)行比較來檢測匹配點的立體匹配方法。在網(wǎng)格處理中，通過將分別從左圖像和右圖像提取的一組線進(jìn)行比較來獨立于其他線進(jìn)行匹配。因此，頻繁地產(chǎn)生了其中橫向線在圖像中頻繁出現(xiàn)的條紋噪聲(streak noise),這造成圖像質(zhì)量的劣化。
【發(fā)明內(nèi)容】

[0013]技術(shù)問題
[0014]為了解決上述問題構(gòu)思了本發(fā)明。相應(yīng)地，本發(fā)明的目的是提供用于立體匹配的設(shè)備和方法，其中使用分層結(jié)構(gòu)的圖像金字塔對小圖像進(jìn)行網(wǎng)格處理，并且估計了大圖像的轉(zhuǎn)換，使得可以減少噪聲的影響。
[0015]技術(shù)方案
[0016]在本發(fā)明的一個總體方面中，提供有用于分層立體匹配的設(shè)備，該設(shè)備包括:分層結(jié)構(gòu)形成單元，該分層結(jié)構(gòu)形成單元配置成通過將使用立體照相機(jī)獲得的左圖像和右圖像的尺寸縮小一半預(yù)定次數(shù)來形成縮小的圖像；以及網(wǎng)格單元，該網(wǎng)格單元配置成對縮小的圖像進(jìn)行第一網(wǎng)格處理，并且將經(jīng)歷了第一網(wǎng)格處理的圖像的尺寸和亮度進(jìn)行放大，接著對放大的圖像進(jìn)行第二網(wǎng)格處理。
[0017]優(yōu)選地但不是必須地，網(wǎng)格單元重復(fù)地進(jìn)行圖像的尺寸和亮度的放大以及第二網(wǎng)格處理預(yù)定次數(shù)。
[0018]優(yōu)選地但不是必須地，網(wǎng)格單元對在前視差的周邊像素進(jìn)行第二網(wǎng)格處理。
[0019]優(yōu)選地但不是必須地，分層結(jié)構(gòu)形成單元包括:模糊單元，該模糊單元配置成用預(yù)定周邊像素來評估任意像素的平均值，并且將評估的平均值存儲在對應(yīng)的像素中；以及子采樣單元，該子采樣單元被配置成選擇若干個像素中的一個像素。
[0020]優(yōu)選地但不是必須地，子采樣單元選擇四個像素中的一個像素。
[0021]優(yōu)選地但不是必須地，網(wǎng)格單元包括:線提取單元，該線提取單元配置成提取與圖像的對應(yīng)點對應(yīng)的線；亮度差計算單元，該亮度差計算單元配置成針對線提取單元所提取的線的像素來計算亮度差；路徑指定單元，該路徑指定單元配置成使用亮度差和預(yù)定不匹配參數(shù)來指定路徑；最佳路徑確定單元，該最佳路徑確定單元配置成根據(jù)路徑指定單元所指定的路徑來確定最佳路徑；以及放大單元，該放大單元配置成將圖像的尺寸/亮度進(jìn)行放大。
[0022]優(yōu)選地但不是必須地，亮度差計算單元將亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)。
[0023]優(yōu)選地但不是必須地，路徑指定單元在網(wǎng)格結(jié)構(gòu)的不匹配節(jié)點處，在在前階段(stage)的相等層級(level)值、通過將不匹配參數(shù)加上更高層級值而獲得的值以及通過將不匹配參數(shù)加上更低層級值而獲得的值中指定最小值。
[0024]優(yōu)選地但不是必須地，路徑指定單元在網(wǎng)格結(jié)構(gòu)的匹配節(jié)點處，通過將其自身的節(jié)點值加上在前階段的相等層級值來指定最小值。
[0025]優(yōu)選地但不是必須地，最佳路徑確定單元通過確定用于使能量最小化的視差來確定最佳路徑。
[0026]優(yōu)選地但不是必須地，在進(jìn)行第二網(wǎng)格處理時，亮度差計算單元針對在前視差區(qū)域的周邊像素來計算亮度差。
[0027]在本發(fā)明的另一總體方面中，一種用于分層立體匹配的方法，該方法包括:通過縮小左圖像和右圖像來形成縮小的圖像；對縮小的圖像進(jìn)行第一網(wǎng)格處理；通過放大縮小的圖像的尺寸和亮度來生成放大的圖像；以及對放大的圖像進(jìn)行第二網(wǎng)格處理。
[0028]優(yōu)選地但不是必須地，形成縮小的圖像包括:用預(yù)定周邊像素來評估任意像素的平均值并且將評估的平均值存儲在對應(yīng)的像素中；以及選擇若干個像素中的一個像素。
[0029]優(yōu)選地但不是必須地，形成縮小的圖像還包括重復(fù)地進(jìn)行該存儲和該選擇預(yù)定次數(shù)。
[0030]優(yōu)選地但不是必須地，進(jìn)行第一網(wǎng)格處理包括:提取縮小的圖像的線；針對該線的所有的像素來計算亮度差并且將計算的亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)；使用亮度差和預(yù)定不匹配參數(shù)來指定路徑；以及根據(jù)指定的路徑來確定最佳路徑。
[0031]優(yōu)選地但不是必須地，該方法還包括重復(fù)地進(jìn)行所述生成放大的圖像以及所述進(jìn)行第二網(wǎng)格處理預(yù)定次數(shù)。
[0032]優(yōu)選地但不是必須地，進(jìn)行第二網(wǎng)格處理包括:提取放大的圖像的線；針對在前視差區(qū)域的周邊像素來計算亮度差并且將計算的亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)；使用亮度差和預(yù)定不匹配參數(shù)來指定路徑；以及根據(jù)指定的路徑來確定最佳路徑。
[0033]優(yōu)選地但不是必須地，指定路徑包括:在網(wǎng)格結(jié)構(gòu)的不匹配節(jié)點處，在在前階段的相等層級值、通過將不匹配參數(shù)加上更高層級值而獲得的值以及通過將不匹配參數(shù)加上更低層級值而獲得的值中指定最小值；以及在網(wǎng)格結(jié)構(gòu)的匹配節(jié)點處，通過將其自身的節(jié)點值加上在前階段的相等層級值來指定最小值。
[0034]優(yōu)選地但不是必須地，所述確定最佳路徑包括通過確定用于使能量最小化的視差來確定最佳路徑。
[0035]有益效果
[0036]如上所述，根據(jù)本發(fā)明，可以使用分層結(jié)構(gòu)事先估計圖像將會造成哪種結(jié)果，并且使用估計的結(jié)果來輸出確切的結(jié)果。
[0037]此外，在本發(fā)明中使用了具有分層結(jié)構(gòu)的圖像金字塔，以使得可以降低計算的復(fù)雜性并且使用少量的計算來事先估計結(jié)果。
【專利附圖】

【附圖說明】
[0038]圖1A和圖1B分別是例示了左圖像和右圖像的示例性視圖。
[0039]圖2A和圖2B分別例示了圖1A的左圖像的距離信息和圖1B的右圖像的距離信息。
[0040]圖3A例示了在使用立體照相機(jī)進(jìn)行拍攝時未校正圖像的示例，圖3B例示了在使用立體照相機(jī)進(jìn)行拍攝時校正過的圖像的示例。
[0041]圖4是例示用于估計三維信息的核線(epipolar line)的示例性視圖。
[0042]圖5是例不視差和二維彳目息之間的關(guān)系的不例性視圖。
[0043]圖6是例示由左圖像和右圖像中的離散成分造成的視差的示例性視圖。
[0044]圖7是例示匹配節(jié)點和不匹配節(jié)點處的每條路徑的成本的示例性視圖。
[0045]圖8是例示使用兩個照相機(jī)拍攝的左圖像和右圖像的示例性視圖。
[0046]圖9A是例示網(wǎng)格處理的示例性視圖。
[0047]圖9B是例示網(wǎng)格處理的過程的示例性視圖。
[0048]圖9C是例示每個節(jié)點的值來自哪條路徑的示例性視圖。
[0049]圖9D是例示使用圖9C的路徑來評估用于使能量最小化的視差的處理的示例性視圖。
[0050]圖10是根據(jù)本發(fā)明的實施例的用于分層立體匹配的設(shè)備的配置圖。[0051]圖11是例示圖10的分層結(jié)構(gòu)形成單元的實施例的詳細(xì)結(jié)構(gòu)圖。
[0052]圖12是示出了圖10的網(wǎng)格單元的實施例的詳細(xì)結(jié)構(gòu)圖。
[0053]圖13A是例示根據(jù)本發(fā)明的實施例的通過對縮小的圖像進(jìn)行網(wǎng)格處理而獲得的結(jié)果的示例性視圖。
[0054]圖13B是例示通過使用放大單元來放大圖13的圖像而獲得的結(jié)果的示例性視圖。
[0055]圖13C是例示通過將圖13B的最上面一行應(yīng)用于網(wǎng)格結(jié)構(gòu)而獲得的結(jié)果的示例性視圖。
[0056]圖13D是例示根據(jù)本發(fā)明的實施例的通過對圖13C提供限制條件而獲得的結(jié)果的示例性視圖。
[0057]圖14A和14B是例示通過將圖13C和圖13D的處理應(yīng)用于大尺寸的圖像而獲得的結(jié)果的示例性視圖。
[0058]圖15A和圖15B是例示根據(jù)本發(fā)明的實施例的用于分層立體匹配的方法的流程圖。
【具體實施方式】
[0059]在下文中，將參照附圖對本發(fā)明進(jìn)行更全面的描述，在附圖中示出了本發(fā)明的實施例。然而，本發(fā)明可以以很多不同的形式來體現(xiàn)，并且不應(yīng)該被解釋成限于本文中闡述的實施例。相反，提供這些實施例，使得本公開內(nèi)容更詳盡，并且這些實施例將向本領(lǐng)域普通技術(shù)人員更全面地傳達(dá)本發(fā)明的范圍。
[0060]應(yīng)該理解的是，盡管在本文中可以使用術(shù)語“第一”、“第二”等來描述各種要素，但是這些要素不應(yīng)該受限于這些術(shù)語。這些術(shù)語僅用于將一個要素與另一個要素進(jìn)行區(qū)分。因此，在不背離本發(fā)明的教示的情況下，下面討論的“第一”要素也可以稱作“第二”要素。
[0061]應(yīng)該理解的是，當(dāng)一個要素被稱為“耦接”或“連接”至另一要素時，其可以直接耦接或連接至另一個要素，或者也可以存在中間要素。相反，當(dāng)一個要素稱為“直接耦接”或“直接連接”至另一要素時，不存在任何中間要素。
[0062]在本文中使用的術(shù)語僅僅是為了描述特定的實施例，而并不意欲限制本發(fā)明。如在本文中所使用的單數(shù)形式的“一個(a)”、“一個(an)”以及“該(the) ”意在還包括復(fù)數(shù)形式，除非上下文清楚地指出并非如此。
[0063]還應(yīng)該理解的是,術(shù)語“包括(includes) ”和/或“包括(including) ”當(dāng)在本說明書中使用時指存在所述的特征、整體、步驟、操作、要素和/或部件，但是并不排除存在和/或添加一個或更多個其他特征、整體、步驟、操作、要素、部件和/或其組合。
[0064]在附圖中，為了清晰，層、膜和區(qū)域的厚度被放大。全文中，相同的附圖標(biāo)記指代相同的要素。
[0065]在下文中，將首先描述作為立體匹配技術(shù)的網(wǎng)格處理方法，接著，將參照附圖描述應(yīng)用了網(wǎng)格處理方法的根據(jù)本發(fā)明的實施例的用于分層立體匹配的設(shè)備。
[0066]首先，將描述視差d和三維(3D, three-dimensional)距離Z之間的關(guān)系。立體匹配根據(jù)二維的(2D, two-dimensional)左圖像和右圖像來重新構(gòu)造三維空間，即立體圖像。在立體匹配技術(shù)中，從兩個2D圖像提取對應(yīng)點，并且使用對應(yīng)點之間的幾何關(guān)系來估計3D信息。[0067]圖4是例示了用于估計三維信息的核線的示例性視圖。
[0068]為了使用從2D圖像提取的對應(yīng)點之間的幾何關(guān)系來估計3D信息，必須從立體圖像中的另一圖像(第二圖像)提取與一個圖像(第一圖像)的一個點P對應(yīng)的點。在這種情況下，可以看到，相對于參考圖像(即第一圖像)中的點P，在對應(yīng)的圖像(即，第二圖像)的核線上存在點(例如，P’、P1’或者P2’)。如果進(jìn)行了核線的校正，可以通過只檢查水平延伸的兩條單獨的掃描線來進(jìn)行立體匹配。
[0069]圖5是例示視差和三維信息之間的關(guān)系的示例性視圖，該圖例示了從立體照相機(jī)獲得的左圖像和右圖像與在圖像中形成的物體之間的關(guān)系。
[0070]對應(yīng)的像素之間的視差d是單獨的線上的對應(yīng)點差異，視差d可以用下面的表達(dá)式I來表示。
[0071]表達(dá)式I
[0072]d = Xr-X1
[0073]此處，d表示視差，Xlr表示右圖像中的X軸長度，X1表示左圖像中的X軸長度。當(dāng)將一個點P(x，y，z)拍攝進(jìn)左圖像和右圖像時，可以根據(jù)如下面的表達(dá)式2中所表示的幾何結(jié)構(gòu)來獲得參數(shù)之間的關(guān)系。
[0074]表達(dá)式2
[0075]Xr-X1: f = B: Z
[0076]此處，f表示焦距，B (基線長度)表示兩個照相機(jī)之間的距離，Z表示3D距離。如果將表達(dá)式2應(yīng)用于表達(dá)式1，則3D距離Z可以用下面的表達(dá)式3來表示。
[0077]表達(dá)式3
V β
[0078]Z = -~
d
[0079]因此，可以使用焦距f、兩個照相機(jī)之間的距離B以及兩個圖像的對應(yīng)點來估計3D信息，即，物體的深度。
[0080]通常的照相機(jī)將3D圖像作為2D離散成分存儲在電荷耦合器件(CXD，chargecoupled device)傳感器或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS, complementary metal oxidesemiconductor)傳感器中。也就是說，觀察到的圖像通過離散的點來表示。
[0081]圖6是例示由左圖像和右圖像中的離散成分造成的視差的示例性視圖。
[0082]如圖6所示，視差可以通過左圖像和右圖像中的離散成分來表示。與圖像相距最遠(yuǎn)的點的視差是d = 0(即，z )，并且在同一線上的所有的接觸點具有相同的視差。隨著3D深度Z (3D長度)增加，視差減小。
[0083]如圖6所示的黑點是用于驗證3D坐標(biāo)是否是物體的表面的匹配發(fā)生處的節(jié)點，并且限定在投影線彼此相遇處。當(dāng)在某個節(jié)點處發(fā)生正確的匹配時，在該節(jié)點處相遇的兩個圖像的像素組成一對，這稱為匹配。相反，可存在在兩個圖像中的一個圖像中看到物體的表面，但是在兩個圖像中的另一個圖像中看不到該物體的表面的區(qū)域，這稱為不匹配。
[0084]在圖6中，左側(cè)的 一條投影線與右側(cè)的多條投影線相遇。在這種情況下，正確匹配只發(fā)生在左側(cè)的投影線與右側(cè)的多條投影線中的一條投影線相遇的匹配節(jié)點處。因此，如果對將圖像投影在其上的投影線之間的關(guān)系進(jìn)行約束，那么要查找的路徑的數(shù)目減少，因此可以改進(jìn)計算的效率并且可減少計算量。[0085]立體匹配技術(shù)基于用于查找實現(xiàn)能量函數(shù)最小化的視差的最大后驗概率(MAP，maximum a posteriori)估計。為此目的，使用基于動態(tài)規(guī)劃(DP, dynamic programming)的維特比(viterbi)算法來查找最佳路徑。也就是說，可以使用在匹配節(jié)點和不匹配節(jié)點處定義路徑，將針對路徑中的每條路徑提供的成本進(jìn)行加總并且檢測具有最小總成本的路徑的方法來執(zhí)行立體匹配技術(shù)。
[0086]圖7是例示匹配節(jié)點和不匹配節(jié)點處的每條路徑的成本的示例性視圖。此處，黑點指示匹配節(jié)點，白點指示不匹配節(jié)點。
[0087]如果假設(shè)當(dāng)前階段是階段i，具有最小總成本的路徑是通過將從階段i_l到階段i的每條路徑的成本的和加上直到階段i_l為止的最小值而獲得的值中具有最小值的路徑。
[0088]在不匹配節(jié)點處，路徑是通過在在前階段的相等層級值、通過將不匹配參數(shù)加上更高層級值而獲得的值以及通過將不匹配參數(shù)加上更低層級值而獲得的值中指定最小值而形成的。在匹配節(jié)點處，路徑是通過將其自身的節(jié)點值加上在前階段的相等層級處的節(jié)點值而形成的。在這種情況下，在匹配節(jié)點處需要左圖像和右圖像的像素值，以計算定義為匹配成本的成本。
[0089]在匹配節(jié)點和不匹配節(jié)點之間存在最佳路徑，并且該最佳路徑與通過向這些路徑分配匹配成本和不匹配成本而獲得的結(jié)果相同。在網(wǎng)格結(jié)構(gòu)中與時間相關(guān)地通過從左到右的路徑上的縱向線中的節(jié)點定義一個階段。
[0090]為了應(yīng)用網(wǎng)格處理，條件如下。
[0091]第一，物體在右圖像中存在的位置不能比物體在左圖像中存在的位置更靠右。因為左照相機(jī)比右照相機(jī)定位得更靠左，所以明顯的是，物體比右圖像定位得更靠左。當(dāng)假設(shè)階段i中的視差是Cli時，Cli = X1-Xp并且不存在負(fù)視差。
[0092]第二,第一視差Cltl和最后的視差d2N具有為零的值。網(wǎng)格處理基本上是以從d2N追蹤路徑的這種方式來實現(xiàn)。在這種情況下，如果沒有指定基本值，則不能進(jìn)行網(wǎng)格處理。如果將d2N指定成某個值，則路徑從該值開始。然而，因為d2N不是當(dāng)前指定的，所以路徑在將d2N指定成零值的狀態(tài)開始。
[0093]第三，Cli和屯^之間的差不超過I。這是用于簡化網(wǎng)格處理的實現(xiàn)的條件。因為系統(tǒng)必須用硬件實現(xiàn)，所以該條件是必不可少的。如果該條件不存在，則在不匹配節(jié)點處可變的節(jié)點的數(shù)目增加，因此復(fù)雜性增加。
[0094]這些是傳統(tǒng)網(wǎng)格處理的三個條件。在本發(fā)明中，由于分層結(jié)構(gòu)的應(yīng)用，在這三個條件的基礎(chǔ)上增加一個條件。稍后將進(jìn)行描述。
[0095]查找最佳路徑的算法如下:
[0096]在階段i = O中所有節(jié)點的成本δ如通過下面的表達(dá)式4來表示的進(jìn)行初始化。此處，根據(jù)分配的視差d和節(jié)點中的每個節(jié)點，在沿著‘i = 1，…，2N’的正方向上重復(fù)地進(jìn)行初始化，以獲得最佳路徑和最佳成本。
[0097]表達(dá)式4
[0098]
4u)={0 {,,°

οο其他
[0099]當(dāng)i+d是偶數(shù)時，成本δ表示不匹配節(jié)點。通過下面的表達(dá)式5來表示在不匹配節(jié)點處的成本5和最佳視差Ψ。
[0100]表達(dá)式5
【權(quán)利要求】
1.一種用于分層立體匹配的設(shè)備，所述設(shè)備包括: 分層結(jié)構(gòu)形成單元，所述分層結(jié)構(gòu)形成單元配置成通過將使用立體照相機(jī)獲得的左圖像和右圖像的尺寸縮小一半預(yù)定次數(shù)來形成縮小的圖像；以及 網(wǎng)格單元，所述網(wǎng)格單元配置成對所述縮小的圖像進(jìn)行第一網(wǎng)格處理，并且將經(jīng)歷了所述第一網(wǎng)格處理的圖像的尺寸和亮度進(jìn)行放大，接著對放大的圖像進(jìn)行第二網(wǎng)格處理。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述網(wǎng)格單元重復(fù)地進(jìn)行所述圖像的尺寸和亮度的放大以及所述第二網(wǎng)格處理所述預(yù)定次數(shù)。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述網(wǎng)格單元對在前視差的周邊像素進(jìn)行所述第二網(wǎng)格處理。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述分層結(jié)構(gòu)形成單元包括: 模糊單元，所述模糊單元配置成用預(yù)定周邊像素來評估任意像素的平均值，并且將評估的平均值存儲在對應(yīng)的像素中；以及 子采樣單元，所述子采樣單元配置成選擇若干個像素中的一個像素。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，所述子采樣單元選擇四個像素中的一個像素。
6.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述網(wǎng)格單元包括: 線提取單元，所述線提取單元配置成提取與圖像的對應(yīng)點對應(yīng)的線； 亮度差計算單元，所述亮度差計算單元配置成針對所述線提取單元所提取的線的像素來計算亮度差； 路徑指定單元，所述路徑指定單元配置成使用所述亮度差和預(yù)定不匹配參數(shù)來指定路徑; 最佳路徑確定單元，所述最佳路徑確定單元配置成根據(jù)所述路徑指定單元所指定的路徑來確定最佳路徑；以及 放大單元，所述放大單元配置成將所述圖像的尺寸/亮度進(jìn)行放大。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，所述亮度差計算單元將所述亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述路徑指定單元在所述網(wǎng)格結(jié)構(gòu)的不匹配節(jié)點處，在在前階段的相等層級值、通過將所述不匹配參數(shù)加上更高層級值而獲得的值以及通過將所述不匹配參數(shù)加上更低層級值而獲得的值中指定最小值。
9.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述路徑指定單元在所述網(wǎng)格結(jié)構(gòu)的匹配節(jié)點處，通過將其自身的節(jié)點值加上在前階段的相等層級值來指定最小值。
10.根據(jù)權(quán)利要求6所述的設(shè)備，其中，所述最佳路徑確定單元通過確定用于使能量最小化的視差來確定最佳路徑。
11.根據(jù)權(quán)利要求6所述的設(shè)備，其中，在進(jìn)行所述第二網(wǎng)格處理時，所述亮度差計算單元針對在前視差區(qū)域的周邊像素來計算亮度差。
12.—種用于分層立體匹配的方法，所述方法包括: 通過縮小左圖像和右圖像來形成縮小的圖像； 對所述縮小的圖像進(jìn)行第一網(wǎng)格處理； 通過放大所述縮小的圖像的尺寸和亮度來生成放大的圖像；以及 對所述放大的圖像進(jìn)行第二網(wǎng)格處理。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述形成縮小的圖像包括: 用預(yù)定周邊像素來評估任意像素的平均值并且將評估的平均值存儲在對應(yīng)的像素中；以及 選擇若干個像素中的一個像素。
14.根據(jù)權(quán)利要求13所述的方法，其中，所述形成縮小的圖像還包括重復(fù)地進(jìn)行所述存儲和所述選擇預(yù)定次數(shù)。
15.根據(jù)權(quán)利要求12所述的方法，其中，所述進(jìn)行第一網(wǎng)格處理包括: 提取所述縮小的圖像的線； 針對所述線的所有像素來計算亮度差并且將計算的亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)； 使用所述亮度差和預(yù)定不匹配參數(shù)來指定路徑；以及 根據(jù)指定的路徑來確定最佳路徑。
16.根據(jù)權(quán)利要求14所述的方法，還包括重復(fù)地進(jìn)行所述生成放大的圖像以及所述進(jìn)行第二網(wǎng)格處理所述預(yù)定次數(shù)。
17.根據(jù)權(quán)利要求12所述的方法，其中，所述進(jìn)行第二網(wǎng)格處理包括: 提取所述放大的圖像的線； 針對在前視差區(qū)域的周邊像素來計算亮度差并且將計算的亮度差應(yīng)用于網(wǎng)格結(jié)構(gòu)； 使用所述亮度差和預(yù)定不匹配參數(shù)來指定路徑；以及 根據(jù)指定的路徑來確定最佳路徑。
18.根據(jù)權(quán)利要求15或17所述的方法，其中，所述指定路徑包括: 在所述網(wǎng)格結(jié)構(gòu)的不匹配節(jié)點處，在在前階段的相等層級值、通過將所述不匹配參數(shù)加上更高層級值而獲得的值以及通過將所述不匹配參數(shù)加上更低層級值而獲得的值中指定最小值；以及 在所述網(wǎng)格結(jié)構(gòu)的匹配節(jié)點處，通過將其自身的節(jié)點值加上所述在前階段的相等層級值來指定最小值。
19.根據(jù)權(quán)利要求15或者17所述的方法，其中，所述確定最佳路徑包括通過確定用于使能量最小化的視差來確定最佳路徑。
【文檔編號】H04N13/00GK103947197SQ201280057740
【公開日】2014年7月23日 申請日期:2012年7月4日 優(yōu)先權(quán)日:2011年11月23日
【發(fā)明者】李峻瑞, 河政穆, 羅寅太, 丁弘 申請人:Lg伊諾特有限公司, 浦項工科大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)