一種用于月球車的三維立體重建方法
【專利摘要】本發(fā)明提供了一種用于月球車的三維立體重建方法，該方法對(duì)原始立體像對(duì)進(jìn)行核線校正，基于自適應(yīng)相關(guān)系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，基于動(dòng)態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，并分別利用視差連續(xù)性、視差較同向性、匹配點(diǎn)序列方向一致性等作為約束條件進(jìn)行判斷，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元，將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對(duì)的姿態(tài)參數(shù)進(jìn)行前方交會(huì)獲得三維點(diǎn)云完成三維重建；本發(fā)明極大的提升了影像密集匹配的可靠性，大大的減少了影像匹配的錯(cuò)誤像元，進(jìn)而提高了用于月球車的三維立體重建軟件的可靠性。
【專利說明】—種用于月球車的三維立體重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種重建算法，具體涉及一種用于月球車的三維立體重建方法，屬于計(jì)算機(jī)視覺領(lǐng)域、數(shù)字?jǐn)z影測(cè)量領(lǐng)域以及空間探測(cè)【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]現(xiàn)有的基于密集匹配的三維立體重建技術(shù)大多是通過整體匹配或區(qū)域匹配的算法求得整體最優(yōu)匹配集，然后在此基礎(chǔ)上生成點(diǎn)云，對(duì)于生成的點(diǎn)云采用一些點(diǎn)云濾波算法進(jìn)行粗差點(diǎn)的濾除。但是關(guān)于整體影像匹配有一個(gè)缺陷在于如果存在一個(gè)誤匹配點(diǎn)，由于匹配的整體相關(guān)性，它會(huì)連帶影響周邊正確的點(diǎn)，導(dǎo)致誤匹配增加，如果采用后期的點(diǎn)云濾波算法，那么點(diǎn)云的數(shù)量就會(huì)減少，因?yàn)樵谄ヅ溥^程中有可能匹配正確的點(diǎn)因?yàn)樵撜`差點(diǎn)的影響匹配出錯(cuò)，而這些點(diǎn)在點(diǎn)云濾波算法中都會(huì)被當(dāng)作錯(cuò)誤點(diǎn)濾除。三維立體重建技術(shù)的核心就在于影響密集匹配點(diǎn)，重建質(zhì)量嚴(yán)重依賴于匹配點(diǎn)的精度以及密度。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提供了一種用于月球車的三維立體重建方法，能夠極大的提升了匹配點(diǎn)的質(zhì)量，從而提升了用于月球車的三維重建質(zhì)量。
[0004]一種用于月球車的三維立體重建方法，該重建方法具體步驟如下:
[0005]步驟一:獲取月球車的原始立體像對(duì)，分為左影像和右影像；
[0006]步驟二:對(duì)步驟一得到的原始立體像對(duì)進(jìn)行核線校正，使得左影像和右影像上的同名點(diǎn)位于同一行上；
[0007]步驟三:針對(duì)左影像上的每一像元，基于自適應(yīng)相關(guān)系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，具體如下:
[0008]對(duì)于左影像每一行上的每一個(gè)像元，在其右影像相應(yīng)核線上進(jìn)行相關(guān)系數(shù)匹配，計(jì)算出右影像核線上設(shè)定視差范圍內(nèi)所有像元的相關(guān)系數(shù)，然后利用最大堆算法求得前N個(gè)相關(guān)系數(shù)最大的像元作為候選匹配像元，再定義一個(gè)相關(guān)系數(shù)最低閾值，去除掉N個(gè)候選像元中小于最低閾值的像元，將此時(shí)保留下的像元作為最終的候選匹配像元集；
[0009]步驟四:針對(duì)左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對(duì)應(yīng)的最佳子集，具體過程如下:
[0010]第I步:基于動(dòng)態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，具體如下:
[0011]增加一個(gè)虛擬起點(diǎn)和虛擬終點(diǎn)，將虛擬起點(diǎn)和左影像一行中第一個(gè)像元對(duì)應(yīng)的候選匹配像元集中的每一像元連接，將一行中最后一個(gè)像元對(duì)應(yīng)的候選匹配像元集中的每一像元與虛擬終點(diǎn)進(jìn)行連接，形成一個(gè)有向圖，求得從虛擬起點(diǎn)到虛擬終點(diǎn)權(quán)重和最小的路徑，該路徑經(jīng)過的候選匹配像元定義為候選匹配像元最佳子集；
[0012]第2步:針對(duì)第I步得到的候選匹配像元最佳子集，進(jìn)行匹配像元序列一致性判斷，具體如下:[0013]對(duì)左影像上一行的像元匹配的過程中采用從左到右的方向與候選匹配像元最佳子集中的像元進(jìn)行匹配，計(jì)算最佳子集中每個(gè)像元的逆序數(shù)，然后取最大逆序數(shù)對(duì)應(yīng)的像元，將其從候選匹配像元集中刪除，同時(shí)刪除其在左影像對(duì)應(yīng)的像元；然后判斷最佳子集中所有像元的逆序數(shù)是否都為0，若否，則返回第I步，重新獲得最佳子集，若是，則將此時(shí)左影像上與最佳子集匹配成功的兩像元定義為匹配像元對(duì)，進(jìn)行下一步；
[0014]第3步:視差較一致性判斷；
[0015]具體方法為:對(duì)于所有匹配像元對(duì)，統(tǒng)計(jì)出匹配像元對(duì)的正向視差較以及負(fù)向視差較，取其大者作為整體視差較，對(duì)于不滿足整體視差較的匹配像元對(duì)，在候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對(duì)是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進(jìn)行下一步；
[0016]第4步:視差連續(xù)性判斷，即定義一個(gè)閾值，判斷最佳子集中相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者，返回第I步，重新獲得最佳子集；如果小于，則進(jìn)入步驟五；
[0017]步驟五:針對(duì)左影像中的每一行對(duì)應(yīng)的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元；
[0018]具體做法是:利用右影像上的最佳子集中設(shè)定鄰域內(nèi)的像元，計(jì)算出其與左影像中對(duì)應(yīng)的像元的相關(guān)系數(shù)，將相關(guān)系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對(duì)應(yīng)的X、Y值作為最佳匹配像元的坐標(biāo)；
[0019]步驟六:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對(duì)的姿態(tài)參數(shù)進(jìn)行前方交會(huì)獲得三維點(diǎn)云完成三維重建。
[0020]有益效果:
[0021]本發(fā)明針對(duì)傳統(tǒng)的動(dòng)態(tài)規(guī)劃影像匹配易受誤差點(diǎn)的影響，一個(gè)噪聲點(diǎn)會(huì)連帶影響周邊一定區(qū)域內(nèi)的正確點(diǎn)的缺陷加以改進(jìn)，利用視差連續(xù)性、視差較同向性、匹配點(diǎn)序列方向一致性等作為約束條件，極大的提升了影像密集匹配的可靠性，大大的減少了影像匹配的錯(cuò)誤像元，進(jìn)而提高了用于月球車的三維立體重建軟件的可靠性。
【專利附圖】

【附圖說明】
[0022]圖1為本發(fā)明用于月球車的三維立體重建方法的流程圖。
【具體實(shí)施方式】
[0023]下面結(jié)合附圖并舉實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)描述。
[0024]如附圖1所示，本發(fā)明提供了一種用于月球車的三維立體重建方法，該重建方法具體步驟如下:
[0025]步驟一:獲取月球車的原始立體像對(duì)。
[0026]月球車為對(duì)稱結(jié)構(gòu)，所述的像對(duì)是通過照相機(jī)拍的其左右對(duì)稱結(jié)構(gòu)。
[0027]步驟二:對(duì)原始立體像對(duì)進(jìn)行核線校正，使得左右影像上的同名點(diǎn)位于同一行上，目的是為了減少搜索的范圍；所述的同名點(diǎn)指的是左右影像上的對(duì)應(yīng)點(diǎn)。
[0028]核線校正為現(xiàn)有技術(shù)，又稱核線影像的生成方法。
[0029]對(duì)原始立體像對(duì)中左影像上的每一行做步驟三到步驟八的處理，直到所有行都處理完畢。
[0030]步驟三:針對(duì)左影像上的每一像元，基于自適應(yīng)相關(guān)系數(shù)方法生成候選匹配像元，組成右影像的候選像元集；
[0031]該步驟的核心思想在于在保證候選像元數(shù)目的同時(shí)盡可能多的保證候選像元的質(zhì)量。具體做法為:對(duì)于左影像每一行上的每一個(gè)像元，在其右影像相應(yīng)核線(右影像上相對(duì)應(yīng)的行)上進(jìn)行相關(guān)系數(shù)匹配，計(jì)算出右影像核線上設(shè)定視差范圍內(nèi)所有像元的相關(guān)系數(shù)，然后利用最大堆算法求得前N個(gè)相關(guān)系數(shù)最大的像元作為候選匹配像元，再定義一個(gè)相關(guān)系數(shù)最低閾值，去除掉N個(gè)候選匹配像元中小于最低閾值的像元，將此時(shí)保留下的像元作為最終的候選匹配像元集。[0032]上述步驟可以生成左影像所有像元在右影像上的候選匹配像元集，而正確的匹配像元就是所有候選匹配像元集中的一個(gè)子集。
[0033]步驟四:針對(duì)左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對(duì)應(yīng)的最佳子集，具體過程如下:
[0034]第I步:基于動(dòng)態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元的最佳子集；
[0035]該步驟的核心思想在于在所有候選像元中尋找到待匹配像元的最優(yōu)匹配像元。具體做法為:對(duì)于左影像任意一行上的每個(gè)像元，通過步驟三求得了該像元在右影像所有可能的候選匹配像元的集合。
[0036]所有右影像上的候選匹配像元集通過某種策略組成一個(gè)帶權(quán)值的有向圖，然后增加一個(gè)虛擬起點(diǎn)和虛擬終點(diǎn)，將虛擬起點(diǎn)和左影像一行中第一個(gè)像元對(duì)應(yīng)的所有候選像元連接，最后一個(gè)像元對(duì)應(yīng)的候選匹配像元集中的每一像元與虛擬終點(diǎn)進(jìn)行連接，成為一個(gè)最終的有向圖，求得從虛擬起點(diǎn)到虛擬終點(diǎn)的權(quán)重和最小路徑，所述路徑經(jīng)過的候選匹配像元定義為候選匹配像元集最佳子集。
[0037]其中，構(gòu)建有向圖的策略為:對(duì)于左影像上待匹配的兩個(gè)相鄰像元A、B，其像元A在右影像上的候選像元集為A1, A2,…An，其像元B在右影像上的候選像元集為B1, B2,…Bm。對(duì)于所有ADBjQGiXzr^K=^=!]!),構(gòu)建Ai到Bj的有向邊。多余左影像上所有相鄰像元都經(jīng)過如上處理，則就構(gòu)建了包含所有候選像元的一個(gè)有向圖。
[0038]其中AiBj 邊的權(quán)值定義為:q= (ClAiA-(IBjB) / (t (AiA) +t (BjB));其中(IAiA 為像元 Aj和像元A的視差，dBjB為像元Bj和像元B的視差，t (AiA)為像元Aj和像元A的相關(guān)系數(shù)，t (BjB)為像元Bj和像元B的相關(guān)系數(shù)。
[0039]上述步驟可以在候選匹配像元集中找到一個(gè)最佳子集，這個(gè)子集中的像元就是對(duì)應(yīng)于左影像中像元的匹配像元。
[0040]第2步:針對(duì)第I步得到的候選匹配像元最佳子集，進(jìn)行匹配像元序列一致性判斷；
[0041]該步驟的核心思想是:對(duì)于左影像上某一行上的所有待匹配像元，基于從左到右的方向會(huì)形成一個(gè)序列，那么它在右影像上的匹配像元也應(yīng)該滿足這樣有向序列，如果不滿足，則其匹配像元集中就存在錯(cuò)誤匹配像元，具體方法:對(duì)左影像上某一行像元匹配的過程中采用從左到右的方向進(jìn)行匹配，對(duì)經(jīng)過動(dòng)態(tài)規(guī)劃算法規(guī)劃出來的匹配像元最佳子集，計(jì)算相應(yīng)的最佳子集中每個(gè)像元的逆序數(shù)，然后取最大逆序數(shù)的那個(gè)像元，將其從候選匹配像元集中刪除，同時(shí)刪除其在左影像中對(duì)應(yīng)的待匹配像元，；然后判斷最佳子集中所有像元的逆序數(shù)是否都為O，若否，則返回第I步，重新獲得最佳子集，而且重新得到的最佳子集肯定與之間有所不同，此時(shí)再對(duì)其進(jìn)行判斷；如果所有像元逆序數(shù)都為O，則將此時(shí)左影像上與最佳子集匹配成功的兩像元定義為匹配像元對(duì)，進(jìn)行下一步。
[0042]如果最佳子集不滿足匹配像元序列一致性，說明最佳子集中存在錯(cuò)誤匹配，通過本步驟，就可以將錯(cuò)誤像元找到，并將其從候選匹配子集中去除。
[0043]第3步:視差較一致性判斷；
[0044]該步驟的核心思想是:對(duì)于所有匹配成功的匹配像元對(duì)，他們的視差較應(yīng)該具有一致性，視差較d定義為M=Xie-Xp具體方法為:對(duì)于任意一行的所有匹配像元對(duì)，統(tǒng)計(jì)出正向視差較以及負(fù)向視差較，取其大者作為整體視差較。然后對(duì)于不滿足整體視差較的匹配像元對(duì)，在該像元的候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對(duì)是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進(jìn)行下一步。
[0045]上述中若取正向視差較作為整體視差較，說明右影像中的像元比左影像中的像元大，則為了保證右影像中所有的像元均比左影像大，即為了保證視差較一致性，如果右影像中小于左影像的像元，那么最佳子集不滿足整體視差較，即說明最佳子集中存在錯(cuò)誤匹配，通過本步驟就可以將錯(cuò)誤像元找到，并將其從候選匹配像元最佳子集中去除。
[0046]第4步:視差連續(xù)性；
[0047]該步驟的核心思想是:相鄰像元的視差應(yīng)該變化連續(xù)。具體方法為定義一個(gè)閾值，判斷相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者(根據(jù)匹配方向是從左到右，即刪除后者的像元)，返回第I步，重新獲得最佳子集；如果小于，則進(jìn)入步驟五。
[0048]若像元C、D為相鄰像元，視差較dD_d。大于設(shè)定閾值，則將像元D刪除，如果最佳子集不滿足視差連續(xù)性，說明最佳子集中存在錯(cuò)誤匹配，通過本步驟就可以將錯(cuò)誤像元找到，并將其從候選匹配像元最佳子集中去除。
[0049]步驟五:針對(duì)左影像中的每一行對(duì)應(yīng)的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元；
[0050]該步驟的核心思想是:將整像素匹配精度提高到子像素匹配精度。具體做法是，利用右影像上的最佳子集中設(shè)定鄰域內(nèi)的像元，計(jì)算出其與左影像中對(duì)應(yīng)的像元的相關(guān)系數(shù)，將相關(guān)系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對(duì)應(yīng)的X、Y值作為最佳匹配像元的坐標(biāo)。
[0051]由于步驟四得到的匹配像元最佳子集都是整像素的，而實(shí)際中往往不是整像素的，通過本步驟，就可以將最佳匹配像元的精度從整像素提高到子像素級(jí)。
[0052]步驟六:三維重建；
[0053]該步驟的核心思想是利用匹配出來的像元集生成三維點(diǎn)。具體方法是:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對(duì)的姿態(tài)參數(shù)進(jìn)行前方交會(huì)獲得二維點(diǎn)z?完成二維重建。
[0054]本發(fā)明通過迭代式動(dòng)態(tài)規(guī)劃的整體影像匹配，在匹配過程中動(dòng)態(tài)的尋找到錯(cuò)誤匹配像元，然后將錯(cuò)誤匹配 像元去除，防止其影響周圍正確的像元；該方法相對(duì)于傳統(tǒng)的動(dòng)態(tài)規(guī)劃算法能夠大幅提供匹配像元的正確率，相對(duì)于后期采用點(diǎn)云濾波的去錯(cuò)誤點(diǎn)的方法，能夠大幅提高匹配點(diǎn)集的匹配率，同時(shí)精度更高。[0055]本發(fā)明的三維立體重建方法不僅適用于月球車，還適用于任何地面的小車，或具有三維立體造型的裝置。
[0056]綜上所述，以上僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種用于月球車的三維立體重建方法，其特征在于，該重建方法具體步驟如下: 步驟一:獲取月球車的原始立體像對(duì)，分為左影像和右影像； 步驟二:對(duì)步驟一得到的原始立體像對(duì)進(jìn)行核線校正，使得左影像和右影像上的同名點(diǎn)位于同一行上； 步驟三:針對(duì)左影像上的每一像元，基于自適應(yīng)相關(guān)系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，具體如下: 對(duì)于左影像每一行上的每一個(gè)像元，在其右影像相應(yīng)核線上進(jìn)行相關(guān)系數(shù)匹配，計(jì)算出右影像核線上設(shè)定視差范圍內(nèi)所有像元的相關(guān)系數(shù)，然后利用最大堆算法求得前N個(gè)相關(guān)系數(shù)最大的像元作為候選匹配像元，再定義一個(gè)相關(guān)系數(shù)最低閾值，去除掉N個(gè)候選像元中小于最低閾值的像元，將此時(shí)保留下的像元作為最終的候選匹配像元集； 步驟四:針對(duì)左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對(duì)應(yīng)的最佳子集，具體過程如下: 第I步:基于動(dòng)態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，具體如下: 增加一個(gè)虛擬起點(diǎn)和虛擬終點(diǎn)，將虛擬起點(diǎn)和左影像一行中第一個(gè)像元對(duì)應(yīng)的候選匹配像元集中的每一像元連接，將一行中最后一個(gè)像元對(duì)應(yīng)的候選匹配像元集中的每一像元與虛擬終點(diǎn)進(jìn)行連接，形成一個(gè)有向圖，求得從虛擬起點(diǎn)到虛擬終點(diǎn)權(quán)重和最小的路徑，該路徑經(jīng)過的候選匹配像元定義為候選匹配像元最佳子集； 第2步:針對(duì)第I步得到的候選匹配像元最佳子集，進(jìn)行匹配像元序列一致性判斷，具體如下: 對(duì)左影像上一行的像元匹配的過程中采用從左到右的方向與候選匹配像元最佳子集中的像元進(jìn)行匹配，計(jì)算最佳子集中每個(gè)像元的逆序數(shù)，然后取最大逆序數(shù)對(duì)應(yīng)的像元，將其從候選匹配像元集中刪除，同時(shí)刪除其在左影像對(duì)應(yīng)的像元；然后判斷最佳子集中所有像元的逆序數(shù)是否都為O，若否，則返回第I步，重新獲得最佳子集，若是，則將此時(shí)左影像上與最佳子集匹配成功的兩像元定義為匹配像元對(duì)，進(jìn)行下一步； 第3步:視差較一致性判斷； 具體方法為:對(duì)于所有匹配像元對(duì)，統(tǒng)計(jì)出匹配像元對(duì)的正向視差較以及負(fù)向視差較，取其大者作為整體視差較，對(duì)于不滿足整體視差較的匹配像元對(duì)，在候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對(duì)是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進(jìn)行下一步； 第4步:視差連續(xù)性判斷，即定義一個(gè)閾值，判斷最佳子集中相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者，返回第I步，重新獲得最佳子集；如果小于，則進(jìn)入步驟五； 步驟五:針對(duì)左影像中的每一行對(duì)應(yīng)的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元； 具體做法是:利用右影像上的最佳子集中設(shè)定鄰域內(nèi)的像元，計(jì)算出其與左影像中對(duì)應(yīng)的像元的相關(guān)系數(shù)，將相關(guān)系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對(duì)應(yīng)的X、Y值作為最佳匹配像元的坐標(biāo)； 步驟六:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對(duì)的姿態(tài)參數(shù)進(jìn)行前方交會(huì)獲得三維點(diǎn)云完成三維重建。
【文檔編號(hào)】G06T17/00GK103544732SQ201310455294
【公開日】2014年1月29日 申請(qǐng)日期:2013年9月29日 優(yōu)先權(quán)日:2013年9月29日
【發(fā)明者】吉龍, 李傳榮, 金鵬, 王芳, 張旺軍, 廖小超, 黎荊梅, 王瓊 申請(qǐng)人:北京空間飛行器總體設(shè)計(jì)部, 中國科學(xué)院光電研究院