專利名稱：視差計(jì)算方法和視差計(jì)算裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對(duì)于本車輛前方的車輛、或者步行者、墻壁、柵欄、樹叢等存在于道路環(huán)境中的物體進(jìn)行測距、檢測的車載立體照相機(jī)進(jìn)行立體匹配(Stero matching)視差計(jì)算的方法和裝置的領(lǐng)域。
背景技術(shù)：
所謂立體匹配，是在通過安裝了兩個(gè)透鏡的立體照相機(jī)拍攝測距對(duì)象的立體圖像數(shù)據(jù)中，從參照?qǐng)D像數(shù)據(jù)的搜索區(qū)域，搜索與基準(zhǔn)圖像數(shù)據(jù)的各個(gè)點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，其中，上述基準(zhǔn)圖像數(shù)據(jù)是用一方的透鏡拍攝到的立體圖像數(shù)據(jù)，上述參照?qǐng)D像數(shù)據(jù)是用另一方的透鏡拍攝到的立體圖像數(shù)據(jù)。作為對(duì)應(yīng)點(diǎn)的判定方法，一般使用以下的方法，即 以作為基準(zhǔn)圖像數(shù)據(jù)的各個(gè)點(diǎn)的基準(zhǔn)點(diǎn)為中心提取小區(qū)域，比較提取了的小區(qū)域與搜索區(qū)域內(nèi)的小區(qū)域，使用圖像亮度的差分絕對(duì)值和(SAD:Sum of absolute differences)、 差分平方和(SSD:Sum of squared differences)、以及歸一化互相關(guān)(NCC :Normalized Cross-correlation)等的評(píng)價(jià)值的基準(zhǔn)判定各個(gè)小區(qū)域的圖像亮度圖案(pattern)是否相似。但是，在測距對(duì)象物包含人行橫道、柵欄等棒狀、矩形的模樣反復(fù)出現(xiàn)這樣的、連續(xù)的相似圖案的物體時(shí)，對(duì)于SAD、SSD、NCC而言，要計(jì)算多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)，難以在原理上計(jì)算準(zhǔn)確的對(duì)應(yīng)點(diǎn)。作為計(jì)算出多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)的現(xiàn)有技術(shù)的對(duì)策，存在以該基準(zhǔn)點(diǎn)的對(duì)應(yīng)點(diǎn)不明為由不輸出的方法(例如，參照專利文獻(xiàn)1)。另外，存在根據(jù)預(yù)防碰撞(Precrash)控制、與前方車輛之間的車距控制、停車輔助控制等的應(yīng)用的控制形態(tài)，選擇對(duì)應(yīng)點(diǎn)的方法(例如， 參照專利文獻(xiàn)幻。圖12表示專利文獻(xiàn)2記載的現(xiàn)有技術(shù)的立體匹配方式。在圖12中，立體圖像數(shù)據(jù)獲取單元1202獲取用一方的透鏡拍攝的基準(zhǔn)圖像數(shù)據(jù)、 和用另一方的透鏡拍攝的參照?qǐng)D像數(shù)據(jù)作為用安裝了兩個(gè)透鏡的立體照相機(jī)同時(shí)拍攝的一對(duì)圖像數(shù)據(jù)。立體匹配單元1203通過SAD計(jì)算出基準(zhǔn)圖像數(shù)據(jù)的各個(gè)點(diǎn)、與參照?qǐng)D像數(shù)據(jù)的搜索區(qū)域內(nèi)的搜索點(diǎn)之間的圖像亮度的差異度，計(jì)算搜索區(qū)域內(nèi)的相似度的集合作為評(píng)價(jià)值分布。存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)判定單元1204從評(píng)價(jià)值分布，判定是否存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)。評(píng)價(jià)值極小對(duì)應(yīng)點(diǎn)計(jì)算單元1205對(duì)于判定為不存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)， 計(jì)算作為圖像亮度的差異度的評(píng)價(jià)值為極小的搜索點(diǎn)，作為對(duì)應(yīng)點(diǎn)候補(bǔ)?？刂菩螒B(tài)數(shù)據(jù)獲取單元1206獲取表示控制形態(tài)的模式的控制形態(tài)數(shù)據(jù)?？刂菩螒B(tài)對(duì)應(yīng)點(diǎn)計(jì)算單元1207對(duì)于判定為存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)，在控制形態(tài)為預(yù)防碰撞控制時(shí)選擇距離最遠(yuǎn)的對(duì)應(yīng)點(diǎn)候補(bǔ)，在控制形態(tài)為車距控制時(shí)選擇距離最近的對(duì)應(yīng)點(diǎn)候補(bǔ)，在控制形態(tài)為停車輔助控制時(shí)選擇距離最近的對(duì)應(yīng)點(diǎn)候補(bǔ)。視差數(shù)據(jù)輸出單元1208對(duì)于判定為不存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)，代入評(píng)價(jià)值最小的對(duì)應(yīng)點(diǎn)，對(duì)于判定為存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)，代入通過控制形態(tài)選擇的對(duì)應(yīng)點(diǎn)，計(jì)算對(duì)基準(zhǔn)圖像的視差數(shù)據(jù)。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 日本專利特開2001-351200號(hào)公報(bào)專利文獻(xiàn)2 日本專利特開2007-85773號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問題但是，在現(xiàn)有技術(shù)的結(jié)構(gòu)中，是通過控制形態(tài)確定對(duì)應(yīng)點(diǎn)的位置，因此，難以測量準(zhǔn)確的距離。例如，實(shí)際上，存在于距離本車5. 7m的位置上的物體中包含的、連續(xù)的相似圖案的間隔為IOcm的情況下，在假設(shè)構(gòu)成立體照相機(jī)的兩個(gè)透鏡之間的距離(基線長度) 為0. 12m，照相機(jī)的焦距為lOOOpixel時(shí)，在搜索區(qū)域內(nèi)的相似圖案位置上為極小，因此，計(jì)算出視差為5、21、37的多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)。在上述情況下，根據(jù)三角測量的原理，(視差)= (基線長度)X (焦距)/(距離)的關(guān)系成立，所以視差為0. 12X1000/5. 7 = 21的對(duì)應(yīng)點(diǎn)是準(zhǔn)確的對(duì)應(yīng)點(diǎn)。但是，在選擇距離最近的對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，是選擇視差為37的對(duì)應(yīng)點(diǎn)候補(bǔ)，因此，錯(cuò)誤計(jì)算為距離是0. 12X 1000/37 = 3. 2m，另一方面，在選擇距離最遠(yuǎn)的對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，是選擇視差為5的對(duì)應(yīng)點(diǎn)候補(bǔ)，因此，錯(cuò)誤計(jì)算為距離是0. 12X1000/5 = 24m0因此，在柵欄這樣、棒狀的物體以IOcm間隔配置，在由視差檢測裝置識(shí)別為相似圖像圖案連續(xù)的物體時(shí)，即使有控制形態(tài)的預(yù)防碰撞控制，也存在剎車控制不充分動(dòng)作的可能性。另外，在控制形態(tài)為車距控制時(shí)，存在不充分減速的可能性，在控制形態(tài)為停車輔助控制時(shí)，有可能難以停車在適當(dāng)?shù)奈恢?。進(jìn)而，還具有以下的課題，即當(dāng)存在柵欄這樣的、包含連續(xù)的相似圖案的物體時(shí)， 難以進(jìn)行柵欄的檢測，因此，有時(shí)行駛路徑的判定不充分。本發(fā)明的目的在于，提供即使在存在包含連續(xù)的相似圖案的物體的情況下，也計(jì)算出準(zhǔn)確的視差的視差計(jì)算方法和裝置。解決問題的方案本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置，包括立體圖像數(shù)據(jù)獲取單元，具有第1攝像系統(tǒng)和第2攝像系統(tǒng)，獲取使用第1攝像系統(tǒng)拍攝對(duì)象物所得的基準(zhǔn)圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝對(duì)象物所得的參照?qǐng)D像的數(shù)據(jù)；立體匹配單元，計(jì)算評(píng)價(jià)值分布，該評(píng)價(jià)值分布表示基準(zhǔn)圖像具有的基準(zhǔn)點(diǎn)、與參照?qǐng)D像具有的多個(gè)搜索點(diǎn)之間的、圖像亮度的差異度；對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元，從評(píng)價(jià)值分布包含的搜索點(diǎn)中，檢測評(píng)價(jià)值為極小的搜索點(diǎn)，在檢測到的搜索點(diǎn)的數(shù)量為多個(gè)時(shí)，輸出檢測到的多個(gè)搜索點(diǎn)作為對(duì)應(yīng)點(diǎn)候補(bǔ)；極小值分布計(jì)算單元，從包含對(duì)應(yīng)點(diǎn)候補(bǔ)的評(píng)價(jià)值分布，計(jì)算表示對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，該第1極小值分布對(duì)應(yīng)于第1基準(zhǔn)點(diǎn)，該第2 極小值分布對(duì)應(yīng)于存在于包含第1基準(zhǔn)點(diǎn)的基準(zhǔn)圖像的周圍區(qū)域中的一個(gè)或者多個(gè)第2基準(zhǔn)點(diǎn)；評(píng)價(jià)值圖計(jì)算單元，基于第1極小值分布和第2極小值分布，計(jì)算表示第1基準(zhǔn)點(diǎn)和第2基準(zhǔn)點(diǎn)與多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)變動(dòng)值的關(guān)系的評(píng)價(jià)值圖；對(duì)應(yīng)點(diǎn)判定單元，在評(píng)價(jià)值圖中，將坐標(biāo)變動(dòng)值為最小的對(duì)應(yīng)點(diǎn)候補(bǔ)判定為對(duì)應(yīng)點(diǎn)；以及視差數(shù)據(jù)輸出單元，輸出視差值，該視差值是對(duì)應(yīng)點(diǎn)在參照?qǐng)D像中的坐標(biāo)點(diǎn)與第1基準(zhǔn)點(diǎn)在參照?qǐng)D像中的坐標(biāo)點(diǎn)的差分。由此，具有以下的效果，S卩通過在基準(zhǔn)圖像中，將存在于基準(zhǔn)點(diǎn)的周圍區(qū)域中的其他基準(zhǔn)點(diǎn)的信息重疊，對(duì)于包含連續(xù)的相似圖案的物體的情況，也能夠計(jì)算出準(zhǔn)確的視差。另外，在本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置中，周圍區(qū)域的范圍是基于第1基準(zhǔn)點(diǎn)的極小值分布中包含的評(píng)價(jià)值為極小的搜索點(diǎn)的數(shù)、以及間隔而確定的范圍。由此，具有以下的效果，S卩對(duì)于在基準(zhǔn)圖像內(nèi)存在多個(gè)包含連續(xù)的相似圖案的物體，并且各個(gè)物體的距離不同的情況，能夠更高精度地計(jì)算出各個(gè)物體的大小。另外，在本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置中，對(duì)應(yīng)點(diǎn)判定單元在第1基準(zhǔn)點(diǎn)涉及的對(duì)應(yīng)點(diǎn)候補(bǔ)的數(shù)量與第2基準(zhǔn)點(diǎn)涉及的對(duì)應(yīng)點(diǎn)候補(bǔ)的數(shù)量不同時(shí)，去除僅包含在第1 基準(zhǔn)點(diǎn)和第2基準(zhǔn)點(diǎn)涉及的極小值分布的任一個(gè)中的對(duì)應(yīng)點(diǎn)候補(bǔ)，判定對(duì)應(yīng)點(diǎn)。由此，具有以下的效果，即減輕帶給視差計(jì)算裝置的信息處理的負(fù)荷，能夠計(jì)算出準(zhǔn)確的視差。另外，在本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置中，對(duì)應(yīng)點(diǎn)判定單元通過對(duì)評(píng)價(jià)值圖進(jìn)行霍夫變換，提取坐標(biāo)變動(dòng)值為最小的對(duì)應(yīng)點(diǎn)候補(bǔ)作為對(duì)應(yīng)點(diǎn)。由此，具有以下的效果，S卩對(duì)于包含連續(xù)的相似圖案的物體以一條直線狀存在的情況，能夠更高精度地計(jì)算出距離。另外，在本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置中，在第1攝像系統(tǒng)具有第1透鏡，第 2攝像系統(tǒng)具有第2透鏡，周圍區(qū)域是在第1透鏡與第2透鏡的排列方向上具有任意的寬度的區(qū)域時(shí)，評(píng)價(jià)值圖計(jì)算單元基于第1評(píng)價(jià)值分布、第2評(píng)價(jià)值分布、以及對(duì)應(yīng)于第3基準(zhǔn)點(diǎn)的極小值分布，計(jì)算評(píng)價(jià)值圖，第3基準(zhǔn)點(diǎn)對(duì)于存在于周圍區(qū)域中的基準(zhǔn)點(diǎn)，存在于第 1透鏡與第2透鏡的排列方向的垂直方向上。由此，具有以下的效果，即通過在重疊存在于與第1透鏡和第2透鏡的排列方向垂直的方向上的其他基準(zhǔn)點(diǎn)的極小值分布后，基于有關(guān)存在于周圍區(qū)域的各個(gè)基準(zhǔn)點(diǎn)的極小值分布計(jì)算評(píng)價(jià)值圖，提高了對(duì)應(yīng)點(diǎn)提取的準(zhǔn)確度。另外，在本發(fā)明的一個(gè)形態(tài)的視差計(jì)算裝置中，周圍區(qū)域的范圍是基于對(duì)應(yīng)于第1 基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布和對(duì)應(yīng)于第2基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的、對(duì)應(yīng)于多個(gè)搜索點(diǎn)的圖像亮度的差異度的差分和而確定的范圍。由此，具有以下的效果，S卩通過包含相同視差(距離)的基準(zhǔn)點(diǎn)作為周圍區(qū)域，提高了估計(jì)準(zhǔn)確的視差值的準(zhǔn)確度。另外，本發(fā)明的一個(gè)形態(tài)的視差計(jì)算方法包括以下步驟獲取使用第1攝像系統(tǒng)拍攝對(duì)象物所得的基準(zhǔn)圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝對(duì)象物所得的參照?qǐng)D像的數(shù)據(jù)；計(jì)算評(píng)價(jià)值分布，該評(píng)價(jià)值分布表示基準(zhǔn)圖像具有的基準(zhǔn)點(diǎn)與參照?qǐng)D像具有的多個(gè)搜索點(diǎn)之間的圖像亮度的差異度；從評(píng)價(jià)值分布包含的搜索點(diǎn)中，檢測評(píng)價(jià)值為極小的搜索點(diǎn)，在檢測到的搜索點(diǎn)的數(shù)量為多個(gè)時(shí)，輸出檢測到的多個(gè)搜索點(diǎn)作為對(duì)應(yīng)點(diǎn)候補(bǔ)；從包含對(duì)應(yīng)點(diǎn)候補(bǔ)的評(píng)價(jià)值分布，計(jì)算表示對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，該第1極小值分布對(duì)應(yīng)于第1基準(zhǔn)點(diǎn)，該第2極小值分布對(duì)應(yīng)于存在于包含第1基準(zhǔn)點(diǎn)的基準(zhǔn)圖像的周圍區(qū)域中的一個(gè)或者多個(gè)第2基準(zhǔn)點(diǎn)；基于第1極小值分布和第2極小值分布，計(jì)算表示第1基準(zhǔn)點(diǎn)和第2基準(zhǔn)點(diǎn)與多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)變動(dòng)值的關(guān)系的評(píng)價(jià)值圖；在評(píng)價(jià)值圖中，將坐標(biāo)變動(dòng)值為最小的對(duì)應(yīng)點(diǎn)候補(bǔ)判定為對(duì)應(yīng)點(diǎn)； 以及輸出視差值，該視差值是對(duì)應(yīng)點(diǎn)在參照?qǐng)D像中的坐標(biāo)點(diǎn)與第1基準(zhǔn)點(diǎn)在參照?qǐng)D像中的坐標(biāo)點(diǎn)的差分。由此，具有以下的效果，S卩通過在基準(zhǔn)圖像中，將存在于基準(zhǔn)點(diǎn)的周圍區(qū)域中的其他基準(zhǔn)點(diǎn)的信息重疊，對(duì)于包含連續(xù)的相似圖案的物體的情況，也能夠計(jì)算出準(zhǔn)確的視差。發(fā)明的效果根據(jù)本發(fā)明，在立體匹配中，通過不是以小區(qū)域的比較進(jìn)行對(duì)應(yīng)點(diǎn)搜索，而是還附加周圍區(qū)域的比較信息來判定對(duì)應(yīng)點(diǎn)，從而對(duì)于通過立體匹配難以計(jì)算的、包含連續(xù)的相似圖像圖案的物體，能夠計(jì)算出準(zhǔn)確的視差，能夠穩(wěn)定地測量在交通環(huán)境中大量存在的護(hù)欄、在停車場等大量存在的柵欄等的距離，因此，本車輛的控制、警報(bào)等也能夠準(zhǔn)確地動(dòng)作。


圖1是表示本發(fā)明的實(shí)施方式1的視差計(jì)算裝置的塊結(jié)構(gòu)的圖。圖2是表示視差計(jì)算方法的處理流程的圖。圖3A 圖;3B是表示立體圖像中的對(duì)象物的位置的圖。圖4A 圖4C是用于說明有關(guān)基準(zhǔn)圖像的任意的范圍中的各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的圖。圖5A 圖5C是用于說明有關(guān)基準(zhǔn)圖像的任意的范圍中的各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的圖。圖6A 圖6D是用于說明有關(guān)基準(zhǔn)圖像的任意的范圍中的各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的圖。圖7A 圖7E是表示存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)的極小值分布Hm、與在基準(zhǔn)圖像中與基準(zhǔn)點(diǎn)相鄰的其他基準(zhǔn)點(diǎn)的極小值分布Hm的關(guān)系的示意圖。圖8A 圖8D是表示計(jì)算評(píng)價(jià)值圖的步驟的示意圖。圖9A 圖9D是表示在Hm(xbn)中的極小值的數(shù)、與Hm(xbl)中的極小值的數(shù)不同時(shí)的極小值分布的關(guān)系的示意圖。圖IOA 圖IOC是表示反映在基準(zhǔn)圖像中的柵欄的物體、與獲得的評(píng)價(jià)值圖的例子的示意圖。圖IlA 圖IlD是表示本發(fā)明的實(shí)施方式2的評(píng)價(jià)值分布的重疊的示意圖。圖12是表示現(xiàn)有技術(shù)的視差計(jì)算裝置的塊結(jié)構(gòu)的圖。標(biāo)號(hào)說明100視差計(jì)算裝置101視差計(jì)算單元102立體圖像數(shù)據(jù)獲取單元103視差數(shù)據(jù)輸出單元104立體匹配單元105對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元
106極小值分布計(jì)算單元107評(píng)價(jià)值圖計(jì)算單元108對(duì)應(yīng)點(diǎn)判定單元1201視差計(jì)算單元1202立體圖像數(shù)據(jù)獲取單元1203立體匹配單元1204存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)判定單元1025評(píng)價(jià)值極小對(duì)應(yīng)點(diǎn)計(jì)算單元1206控制形態(tài)數(shù)據(jù)獲取單元1207控制形態(tài)對(duì)應(yīng)點(diǎn)計(jì)算單元1208視差數(shù)據(jù)輸出單元
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式。(實(shí)施方式1)圖1是表示本發(fā)明的實(shí)施方式1的視差計(jì)算裝置100的方框圖。圖1所示的視差計(jì)算單元100包括視差計(jì)算單元101、立體圖像數(shù)據(jù)獲取單元102、以及視差數(shù)據(jù)輸出單元 103。并且，視差計(jì)算單元101包括立體匹配單元104、對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105、極小值分布計(jì)算單元106、評(píng)價(jià)值圖計(jì)算單元107、以及對(duì)應(yīng)點(diǎn)判定單元108。在視差計(jì)算裝置100中，基于立體圖像數(shù)據(jù)獲取單元102獲取的立體圖像，視差計(jì)算單元101進(jìn)行視差計(jì)算，視差數(shù)據(jù)輸出單元103輸出視差數(shù)據(jù)。圖2是表示圖1所示的視差計(jì)算裝置100的視差計(jì)算方法的處理流程圖。以下， 進(jìn)行本實(shí)施方式1的視差計(jì)算方法、以及視差計(jì)算裝置的說明。在立體圖像數(shù)據(jù)獲取單元102中，獲取通過安裝了左右排列的兩個(gè)透鏡的立體照相機(jī)同時(shí)拍攝到的、一對(duì)立體圖像數(shù)據(jù)(S201)。立體圖像數(shù)據(jù)包括作為由一方的透鏡拍攝到的基準(zhǔn)圖像的數(shù)據(jù)的基準(zhǔn)圖像數(shù)據(jù)，以及作為由另一方的透鏡拍攝到的參照?qǐng)D像的數(shù)據(jù)的參照?qǐng)D像數(shù)據(jù)。再者，雖然說明了立體照相機(jī)是安裝了左右排列的兩個(gè)透鏡的照相機(jī)， 但本發(fā)明并不限于此，也可以用兩個(gè)照相機(jī)代替。圖3是測距對(duì)象物為前方的車體時(shí)的立體圖像，圖3A表示基準(zhǔn)圖像，圖;3B表示參照?qǐng)D像。在兩個(gè)透鏡中，將使用哪個(gè)透鏡拍攝到的圖像作為基準(zhǔn)圖像是任意的，在以下的說明中，面向測距對(duì)象物，以用右透鏡拍攝到的圖像作為基準(zhǔn)圖像，用左透鏡拍攝到的圖像作為參照?qǐng)D像進(jìn)行說明。在參照?qǐng)D像中拍攝的測距對(duì)象物的位置與在基準(zhǔn)圖像中拍攝的測距對(duì)象物的位置比較，為偏右的位置。該偏差就是視差，根據(jù)測距的對(duì)象物的距離而發(fā)生變化。具體而言， 在設(shè)基準(zhǔn)圖像中的測距對(duì)象物的左端的坐標(biāo)為xb，參照?qǐng)D像中的測距對(duì)象物的左端的坐標(biāo)為xr時(shí)，測距對(duì)象物的左端的視差d是作為坐標(biāo)位置的差的xr-xb。將獲取的立體圖像數(shù)據(jù)進(jìn)行透鏡的失真校正和光軸的平行化校正，變換為校正后的立體圖像數(shù)據(jù)。進(jìn)行透鏡的失真校正的方法，能通過使用了透鏡的設(shè)計(jì)值的校正變換表進(jìn)行失真校正的方法、通過使用了半徑方向的畸變的模型的參數(shù)估計(jì)進(jìn)行校正的方法等， 校正透鏡的失真的所有的方法來實(shí)現(xiàn)，本發(fā)明不受其限制。另外，光軸的平行化校正可以通過進(jìn)行立體照相機(jī)的光軸平行化的、所有的方法來實(shí)現(xiàn)，本發(fā)明不受其限制。例如，通過在立體照相機(jī)的公共視野中設(shè)置柵格圖案，從進(jìn)行了對(duì)應(yīng)關(guān)聯(lián)的柵格點(diǎn)位置計(jì)算立體照相機(jī)的相對(duì)關(guān)系，進(jìn)行光軸的平行化校正的方法，也能夠進(jìn)行平行化校正。在視差計(jì)算單元101中，由立體匹配單元104在通過立體圖像數(shù)據(jù)獲取單元102 獲取的基準(zhǔn)圖像與參照?qǐng)D像之間進(jìn)行立體匹配(S202)。立體匹配單元104計(jì)算表示各個(gè)基準(zhǔn)圖像的任意的范圍中包含的各個(gè)基準(zhǔn)點(diǎn)、與在參照?qǐng)D像中包含對(duì)應(yīng)于基準(zhǔn)圖像的基準(zhǔn)點(diǎn)的坐標(biāo)點(diǎn)的搜索區(qū)域中包含的搜索點(diǎn)之間的、 圖像亮度的差異度的評(píng)價(jià)值分布。這里，搜索區(qū)域是具有任意的范圍的區(qū)域。有關(guān)計(jì)算出的各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布被記錄在內(nèi)置于立體匹配單元104的存儲(chǔ)器中。對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105在各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布中，判定是否存在多個(gè)評(píng)價(jià)值為極小的對(duì)應(yīng)點(diǎn)候補(bǔ)(S203)。關(guān)于在基準(zhǔn)圖像中的各個(gè)基準(zhǔn)點(diǎn)中、判定為僅存在一個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)，視差數(shù)據(jù)輸出單元103將對(duì)應(yīng)點(diǎn)候補(bǔ)位置、與在參照?qǐng)D像中與該基準(zhǔn)值位于同一坐標(biāo)點(diǎn)的坐標(biāo)點(diǎn)的差分記錄為該基準(zhǔn)點(diǎn)的視差值。然后，視差數(shù)據(jù)輸出單元103輸出視差數(shù)據(jù)(S208)。另一方面，關(guān)于在基準(zhǔn)圖像中的各個(gè)基準(zhǔn)點(diǎn)中、判定為存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)，極小值分布計(jì)算單元106計(jì)算在評(píng)價(jià)值分布中評(píng)價(jià)值為極小的對(duì)應(yīng)點(diǎn)候補(bǔ)，計(jì)算極小值分布(S204)。評(píng)價(jià)值圖計(jì)算單元107計(jì)算評(píng)價(jià)值圖(S20O。評(píng)價(jià)值圖是，基于判定為存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)的極小值分布和在基準(zhǔn)圖像中位于包含了該基準(zhǔn)點(diǎn)的周圍區(qū)域的其他基準(zhǔn)點(diǎn)的極小值分布，表示與對(duì)各個(gè)基準(zhǔn)點(diǎn)的各個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的視差值的每個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的變動(dòng)值的圖。對(duì)應(yīng)點(diǎn)判定單元108在評(píng)價(jià)值圖中，提取最為直線狀連續(xù)的線段(S206)，將提取到的對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)點(diǎn)判定為對(duì)應(yīng)點(diǎn)(S207)。以下，詳細(xì)地說明視差計(jì)算單元101的結(jié)構(gòu)要素的各個(gè)部分的功能、以及效果。立體匹配單元104在基準(zhǔn)圖像與參照?qǐng)D像之間進(jìn)行立體匹配。也就是說，計(jì)算基準(zhǔn)圖像的任意的范圍中包含的各個(gè)基準(zhǔn)點(diǎn)、與在參照?qǐng)D像中包含與各個(gè)基準(zhǔn)點(diǎn)相同的坐標(biāo)點(diǎn)的、搜索區(qū)域內(nèi)的各個(gè)搜索點(diǎn)之間的、圖像亮度的差異度的評(píng)價(jià)值分布(S202)。這里，搜索區(qū)域的范圍是任意的，由包含測量的物體的距離的范圍、立體照相機(jī)的基線長度、照相機(jī)的焦距的幾何學(xué)參數(shù)決定。圖4是有關(guān)基準(zhǔn)圖像的任意范圍中的各個(gè)基準(zhǔn)點(diǎn)，圖4A表示計(jì)算評(píng)價(jià)值分布時(shí)的基準(zhǔn)圖像，圖4B表示參照?qǐng)D像，圖4C表示評(píng)價(jià)值分布。以下，說明有關(guān)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的計(jì)算步驟。再者，在說明中，基準(zhǔn)圖像的任意的范圍如圖示那樣說明一部分范圍，但也可以是全部范圍。另外，將計(jì)算評(píng)價(jià)值分布的基準(zhǔn)點(diǎn)的坐標(biāo)設(shè)為(xbl、ybl)，立體圖像數(shù)據(jù)進(jìn)行了平行化校正而進(jìn)行說明。在立體圖像數(shù)據(jù)進(jìn)行了平行化校正的情況下，基準(zhǔn)圖像中的對(duì)象物的Y坐標(biāo)、與參照?qǐng)D像中的對(duì)象物的Y坐標(biāo)相同。再者，在圖4中，以四邊形符號(hào)表示的區(qū)域?yàn)?像素，1像素為基準(zhǔn)點(diǎn)。在以下的說明中也同樣。立體匹配單元104將參照?qǐng)D像中位于與基準(zhǔn)點(diǎn)(xbl、ybl)相同坐標(biāo)(xrl = xbl、 yrl = ybl)的坐標(biāo)點(diǎn)，作為對(duì)應(yīng)于基準(zhǔn)圖像中的基準(zhǔn)點(diǎn)(xbl、ybl)的搜索點(diǎn)，將從該坐標(biāo)點(diǎn)到X坐標(biāo)方向的一定的范圍(搜索寬度)，設(shè)定為圖4B所示的搜索區(qū)域。搜索區(qū)域是在參照?qǐng)D像中，在ft 軸上、也就是橫方向具有一定的寬度的區(qū)域。將搜索區(qū)域設(shè)為參照?qǐng)D像的橫方向，是因?yàn)榱Ⅲw照相機(jī)在橫方向排列透鏡的緣故。具體而言，在對(duì)于作為基準(zhǔn)圖像上的基準(zhǔn)點(diǎn)的坐標(biāo)的(xbl，ybl)，將基于應(yīng)用所需要的測距對(duì)象的距離的最小值/最大值確定的搜索寬度設(shè)為R時(shí)，參照?qǐng)D像上的搜索點(diǎn)的范圍為(xrl、yrl)、(xrl+l、yrl)、(xrl+2、yrl)、· · ·、(xrl+R、yrl)。再者，基準(zhǔn)圖像上的坐標(biāo)(xbl、ybl)、與參照?qǐng)D像上的坐標(biāo)(xrl、yrl)在圖像上的坐標(biāo)位置相同。然后，計(jì)算搜索區(qū)域內(nèi)的各個(gè)搜索點(diǎn)與基準(zhǔn)點(diǎn)xbl之間的圖像亮度的差異度，計(jì)算基于差異度的評(píng)價(jià)值分布H(xbl)。這里，評(píng)價(jià)值分布H(xbl)的D軸(Depth軸)、與)(b軸和)(r軸的關(guān)系是，以&軸為原點(diǎn)偏移到xbl的位置的是D軸，D軸、脅軸、&軸的次元均為像素。再者，在以上的說明中，說明了立體圖像數(shù)據(jù)被進(jìn)行了平行化校正，在立體圖像數(shù)據(jù)未進(jìn)行平行化校正時(shí)，無法進(jìn)行立體圖像的上下方向的定位，因此，在基準(zhǔn)圖像的基準(zhǔn)點(diǎn) (xbl、ybl)拍攝的測距對(duì)象物的點(diǎn)，在參照?qǐng)D像中不被拍攝在與該基準(zhǔn)點(diǎn)的坐標(biāo)的Y坐標(biāo)相同的Y坐標(biāo)，因此，還包含基準(zhǔn)點(diǎn)的Y軸方向的定位，設(shè)定為搜索區(qū)域。通過立體匹配獲得的評(píng)價(jià)值分布H(xbl)是表示橫軸為D軸，縱軸為基準(zhǔn)點(diǎn)、與相對(duì)于此的搜索點(diǎn)之間的圖像亮度的差異度的一次元的分布。對(duì)于基準(zhǔn)點(diǎn)與搜索點(diǎn)之間的圖像亮度的差異度，使用以基準(zhǔn)點(diǎn)為中心的8X8的小區(qū)域和以各個(gè)搜索點(diǎn)位中心的8X8的小區(qū)域之間的、圖像亮度的差分絕對(duì)值和(SAD)。再者，用作評(píng)價(jià)值的圖像亮度的差異度可以用差分平方和(SSD)等、在完全一致時(shí)值為最小的、所有的差異度來代替。另外，在用作評(píng)價(jià)值的圖像亮度的差異度為歸一化互相關(guān)(NCC)等、完全一致時(shí)，也可以將值為最大的相似度的指標(biāo)反極性而使用。再者，以上的處理對(duì)于各個(gè)基準(zhǔn)點(diǎn)進(jìn)行，有關(guān)計(jì)算出的各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布存儲(chǔ)在內(nèi)置于立體匹配單元104的存儲(chǔ)器中。對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105在評(píng)價(jià)值分布H(xbl)中，搜索極小值。在對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105搜索極小值的結(jié)果為存在一個(gè)極小值時(shí)，將評(píng)價(jià)值為極小的搜索點(diǎn)判定為對(duì)應(yīng)點(diǎn)(S203 “否”)，將該對(duì)應(yīng)點(diǎn)候補(bǔ)位置記錄為該基準(zhǔn)點(diǎn)的視差值，輸出視差數(shù)據(jù)(S208)。圖5表示測距對(duì)象物是位于前方的車體的情況，圖5A表示基準(zhǔn)圖像，圖5B表示參照?qǐng)D像，圖5C表示評(píng)價(jià)值分布。在車體這樣不是包含連續(xù)的相似圖案的物體的情況下，圖像亮度與包含基準(zhǔn)點(diǎn)(xbl、ybl)的小區(qū)域?yàn)橄嗤潭鹊膶?duì)應(yīng)點(diǎn)候補(bǔ)如圖5C所示，在參照畫面上僅存在一個(gè)。另一方面，在對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105搜索極小值的結(jié)果是在評(píng)價(jià)值分布中檢測到多個(gè)極小值時(shí)，將評(píng)價(jià)值為極小的多個(gè)搜索點(diǎn)判定為多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)(S203 “是”)。
圖6表示測距對(duì)象物是位于前方的柵欄的情況，圖6A表示基準(zhǔn)圖像，圖6B表示參照?qǐng)D像，圖6C表示評(píng)價(jià)值分布，圖6D表示后述的極小值分布Hm(xbl)。在是柵欄這樣的包含連續(xù)的相似圖案的物體的情況下，圖像亮度與基準(zhǔn)圖像中的、基準(zhǔn)點(diǎn)(xbl、ybl)為相同程度的對(duì)應(yīng)點(diǎn)候補(bǔ)如圖6C所示，在參照畫面中存在多個(gè)。再者，判定是否存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的判定方法，通過計(jì)算評(píng)價(jià)值分布的極小值， 判斷存在幾個(gè)極小值等，從一次元的分布判定是否為周期性的分布的其他方法也能夠?qū)崿F(xiàn)。在對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元105搜索極小值所得的結(jié)果是在評(píng)價(jià)值分布中檢測到多個(gè)極小值時(shí)，極小值分布計(jì)算單元106提取評(píng)價(jià)值為極小的對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)，計(jì)算僅表示極小值的分布的極小值分布Hm(xbl) (S204)。以下，使用圖6說明極小值分布Hm(xbl)的計(jì)算步驟。如圖6A所示，由于測距對(duì)象為包含連續(xù)的相似圖案的柵欄，因此，評(píng)價(jià)值分布 H(xbl)如圖6C所示，為在多個(gè)位置具有極小值的分布。極小值分布計(jì)算單元106計(jì)算在評(píng)價(jià)值分布H(xbl)中僅提取了多個(gè)極小值的位置的分布，如圖6D所示，在計(jì)算出的評(píng)價(jià)值分布的極小值的位置代入一 1的值，除此之外的位置代入0的值，計(jì)算極小值分布Hm(xbl)。這里，圖6D所示的極小值分布Hm(xbl)的極小值的位置以對(duì)基準(zhǔn)點(diǎn)(xbl、ybl)的搜索區(qū)域的左端為原點(diǎn)，表示參照?qǐng)D像中的對(duì)應(yīng)點(diǎn)候補(bǔ)的位置。再者，關(guān)于計(jì)算極小值分布時(shí)使用的極小值的位置的常數(shù)、以及除此之外的位置的常數(shù)的值只是一個(gè)例子，本發(fā)明不受其限制。再者，有關(guān)對(duì)于基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布，進(jìn)行是否存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的判定，在存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，對(duì)于存儲(chǔ)器中存儲(chǔ)的所有的基準(zhǔn)點(diǎn)的各個(gè)實(shí)施計(jì)算極小值分布這一系列的步驟。再者，也可以在將評(píng)價(jià)值為極小的多個(gè)搜索點(diǎn)判定為對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，在評(píng)價(jià)值軸上設(shè)定規(guī)定的閾值，將規(guī)定的閾值以下的搜索點(diǎn)作為對(duì)應(yīng)點(diǎn)候補(bǔ)。由此，能夠?qū)⒉町惗雀摺?并且為極小點(diǎn)的搜索點(diǎn)從對(duì)應(yīng)點(diǎn)候補(bǔ)中去除，能夠提高對(duì)應(yīng)點(diǎn)候補(bǔ)的判定精度。圖7是表示存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的基準(zhǔn)點(diǎn)(xbl、ybl)的極小值分布Hm(xbl)和在基準(zhǔn)圖像中與基準(zhǔn)點(diǎn)(xbl、ybl)相鄰的另一基準(zhǔn)點(diǎn)(讓2、計(jì)2)的極小值分布Hm(xb2)之間的關(guān)系的示意圖。圖7A表示基準(zhǔn)圖像，圖7B表示參照?qǐng)D像，圖7C表示基準(zhǔn)點(diǎn)(xbl、ybl) 的極小值分布Hm(xbl)，圖7D表示基準(zhǔn)點(diǎn)(xb2、yb2)的極小值分布Hm(xb2)，圖7E表示對(duì)圖7B所示的參照?qǐng)D像中的基準(zhǔn)點(diǎn)(xbl、ybl)的對(duì)應(yīng)點(diǎn)候補(bǔ)，以及對(duì)于基準(zhǔn)點(diǎn)(xb2、yb2)的對(duì)應(yīng)點(diǎn)候補(bǔ)。以下，說明基準(zhǔn)點(diǎn)(xbl、ybl)和與其相鄰的基準(zhǔn)點(diǎn)(xb2、yb2)的極小值分布之間的關(guān)系。再者，圖7A、以及圖7E所示的基準(zhǔn)點(diǎn)(xbl、ybl)的對(duì)應(yīng)點(diǎn)候補(bǔ)為圖7B所示的對(duì)應(yīng)點(diǎn)候補(bǔ)1到對(duì)應(yīng)點(diǎn)候補(bǔ)4，圖7A、以及圖7E所示的基準(zhǔn)點(diǎn)(xb2、yb2)的對(duì)應(yīng)點(diǎn)候補(bǔ)設(shè)為圖7B所示的對(duì)應(yīng)點(diǎn)候補(bǔ)5到對(duì)應(yīng)點(diǎn)候補(bǔ)8而進(jìn)行說明。另外，對(duì)應(yīng)點(diǎn)候補(bǔ)1到對(duì)應(yīng)點(diǎn)候補(bǔ) 4用虛線表示。在圖7A所示的基準(zhǔn)圖像中，基準(zhǔn)點(diǎn)(xb2、yb2)被選擇為與基準(zhǔn)點(diǎn)(xbl、ybl)相鄰的基準(zhǔn)點(diǎn)。如圖7B所示，對(duì)基準(zhǔn)點(diǎn)(xb2、yb2)的搜索區(qū)域是，使對(duì)基準(zhǔn)點(diǎn)(xbl、ybl)的搜索區(qū)域在)(r軸位移了讓2與xbl之差的區(qū)域。這里，在比較圖7C所示的、基準(zhǔn)點(diǎn)(xbl、ybl)的極小值分布Hm(xbl)的D軸上的各個(gè)極小值的位置，與圖7D所示的、基準(zhǔn)點(diǎn)(xb2、yb2)的極小值分布HmOA2)的D軸上的各個(gè)極小值的位置時(shí)，既存在相當(dāng)于在D軸上位移了 xb2與xbl之差的極小值，另一方面， 也存在位移了大于、或者小于xb2與xbl之差的極小值。使用圖7E進(jìn)行說明，在從對(duì)基準(zhǔn)點(diǎn)(xbl、ybl)的對(duì)應(yīng)點(diǎn)候補(bǔ)3的坐標(biāo)，在&軸上位移了 xb2與xbl之差的位置上，存在對(duì)基準(zhǔn)點(diǎn)(讓2、計(jì)2)的對(duì)應(yīng)點(diǎn)候補(bǔ)7，可以認(rèn)為在相鄰的基準(zhǔn)點(diǎn)所拍攝的點(diǎn)的距離大致相等，因此，意味著各個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)是準(zhǔn)確的對(duì)應(yīng)點(diǎn)的可能性較高。另一方面，在從對(duì)圖7E的基準(zhǔn)點(diǎn)(xbl、ybl)的對(duì)應(yīng)點(diǎn)候補(bǔ)1的坐標(biāo)，在&軸上位移了讓2與xbl之差的位置上，不存在對(duì)基準(zhǔn)點(diǎn)(xb2、yl^)的對(duì)應(yīng)點(diǎn)候補(bǔ)5，因此，意味著對(duì)應(yīng)點(diǎn)候補(bǔ)不是準(zhǔn)確的對(duì)應(yīng)點(diǎn)。在上述情況下，對(duì)應(yīng)點(diǎn)候補(bǔ)3與對(duì)應(yīng)點(diǎn)候補(bǔ)7的區(qū)域?yàn)闇?zhǔn)確的對(duì)應(yīng)點(diǎn)的位置，是準(zhǔn)確的視差，對(duì)應(yīng)點(diǎn)候補(bǔ)1與對(duì)應(yīng)點(diǎn)候補(bǔ)5的區(qū)域不是準(zhǔn)確的對(duì)應(yīng)點(diǎn)的位置。評(píng)價(jià)值圖計(jì)算單元107基于由極小值分布單元106計(jì)算出極小值分布的基準(zhǔn)點(diǎn) (xbl、ybl)和在基準(zhǔn)圖像中存在于該基準(zhǔn)點(diǎn)xbl的周圍區(qū)域的位置、或多個(gè)其他基準(zhǔn)點(diǎn) Xbn(n 自然數(shù))的極小值分布，計(jì)算評(píng)價(jià)值圖(S205)。這里，所謂周圍區(qū)域，是在基準(zhǔn)圖像中包含基準(zhǔn)點(diǎn)(讓1、7131)，在％軸方向具有任意的寬度的區(qū)域。原則上，周圍區(qū)域中包含的各個(gè)基準(zhǔn)點(diǎn)是％坐標(biāo)相同的區(qū)域。將周圍區(qū)域在基準(zhǔn)圖像中設(shè)為橫方向，是因?yàn)榇嬖谝韵碌目赡苄缘木壒剩磳?duì)于各個(gè)基準(zhǔn)點(diǎn)，將搜索區(qū)域設(shè)定為參照?qǐng)D像的橫方向，由此產(chǎn)生在橫方向上錯(cuò)誤檢測相似圖案的可能性。再者，將搜索區(qū)域設(shè)為參照?qǐng)D像的橫方向，是因?yàn)樵跈M方向排列立體照相機(jī)的緣故，在縱方向排列立體照相機(jī)的情況下，搜索區(qū)域?yàn)閰⒄請(qǐng)D像的縱方向，基準(zhǔn)圖像的周圍區(qū)域也是縱方向。圖8是基于基準(zhǔn)點(diǎn)(xbl、ybl)的極小值分布Hm(xbl)和位于基準(zhǔn)點(diǎn)(xbl、ybl)的周圍區(qū)域的各個(gè)基準(zhǔn)點(diǎn)(xbruybn) (η:自然數(shù))的極小值分布Hm(Xbn)，計(jì)算評(píng)價(jià)值圖的步驟的示意圖。圖8Α表示基準(zhǔn)圖像，圖8Β表示參照?qǐng)D像，圖8C表示各個(gè)基準(zhǔn)點(diǎn)(xbn、ybn) 的極小值分布Hm(xbn)的關(guān)系，圖8D表示通過重疊基準(zhǔn)點(diǎn)(xbruybn)的極小值分布而計(jì)算出的評(píng)價(jià)值圖。以下，說明圖8所示的評(píng)價(jià)值圖的計(jì)算方法。在圖8A所示的基準(zhǔn)圖像中，從存儲(chǔ)器中讀出存在于基準(zhǔn)點(diǎn)(xbl、ybl)的周圍區(qū)域中的、對(duì)于其他基準(zhǔn)點(diǎn)(xb2、yl^)、(xb3, yb3), (xb4、yb4)的每個(gè)計(jì)算出的評(píng)價(jià)值分布 Hm(xbn)。這里，設(shè)各個(gè)基準(zhǔn)點(diǎn)的對(duì)應(yīng)點(diǎn)候補(bǔ)存在四個(gè)來進(jìn)行說明，但本發(fā)明不受其限制。如圖8C所示，在分布于各個(gè)極小值分布Hm(Xbn) (η :1到4的整數(shù))的四個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)中，存在距原點(diǎn)的距離對(duì)每個(gè)極小值分布不同的對(duì)應(yīng)點(diǎn)候補(bǔ)。在圖8C中，以線a、b、d 所劃的線上的對(duì)應(yīng)點(diǎn)候補(bǔ)距原點(diǎn)的距離對(duì)每個(gè)極小值分布而不同。這意味著對(duì)于各個(gè)基準(zhǔn)點(diǎn)的視差值發(fā)生變動(dòng)。評(píng)價(jià)值圖M(D、Xb)是將圖8C所示的各個(gè)極小值分布Hm(Xbn) (η :1到4的整數(shù)) 的D軸合在一起，以對(duì)脅軸的線表示D軸上的各個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)相對(duì)于脅軸的變動(dòng)值、也就是視差值的變動(dòng)值。作為信息處理，增加稱為脅軸的次元，將對(duì)應(yīng)點(diǎn)候補(bǔ)的位置作為三次元分布進(jìn)行了處理。也就是說，評(píng)價(jià)值圖M(D、Xb)是基于圖8C所示的各個(gè)極小值分布，表示各個(gè)基準(zhǔn)點(diǎn)與多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)變動(dòng)值之間的關(guān)系的圖。在評(píng)價(jià)值圖M(D、Xb)中，線c上的對(duì)應(yīng)點(diǎn)候補(bǔ)表示對(duì)各個(gè)基準(zhǔn)點(diǎn)的各個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的視差值沒有變動(dòng)，也就是說各個(gè)基準(zhǔn)點(diǎn)存在于相同的視差，也就是說存在于相同的距離，表示準(zhǔn)確的視差值。這里，在xbl表示基準(zhǔn)點(diǎn)的X坐標(biāo)，xId2.....xbn表示對(duì)于基準(zhǔn)點(diǎn)在左右方向相鄰
的基準(zhǔn)點(diǎn)的X坐標(biāo)時(shí)，計(jì)算評(píng)價(jià)值圖M(D、Xb)的數(shù)式為以下的數(shù)式(1)。M(D,Xb) = (Xm(Xb1)jHm(Xb2)jHm(Xb3),…，Hm(xbN)}... (1)再者，在以上的說明中，將Y坐標(biāo)(ybl)的圖像橫一列的任意的區(qū)域設(shè)定為基準(zhǔn)點(diǎn) (xbUybl)的周圍區(qū)域，但也可以包含基準(zhǔn)圖像中的Y坐標(biāo)(ybl)在脅軸上的所有的基準(zhǔn)點(diǎn)ο再者，周圍區(qū)域的設(shè)定方法，例如能夠?qū)⒌交鶞?zhǔn)點(diǎn)的評(píng)價(jià)值分布的特征量、也就是極小值的數(shù)或極小值之間的間隔，與存在于周圍區(qū)域的其他基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的特征量的差為一定范圍的周圍基準(zhǔn)點(diǎn)為止作為選擇范圍。通過限制選擇范圍，在存在多個(gè)包含連續(xù)的相似圖案的物體，并且是位置相互不連續(xù)的物體時(shí)，能夠計(jì)算出各個(gè)物體的準(zhǔn)確的視差。對(duì)應(yīng)點(diǎn)判定單元108計(jì)算出在評(píng)價(jià)值圖M(D、Xb)中所示的線a到d中、直線性最強(qiáng)的線，也就是在各個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)中，視差值的坐標(biāo)變動(dòng)值最小的對(duì)應(yīng)點(diǎn)候補(bǔ)作為對(duì)應(yīng)點(diǎn)。 在圖8D所示的評(píng)價(jià)值M(DJb)中，在線a到線d中，線c是直線分量最強(qiáng)的直線。具體而言，為了提取柵欄等在直線上連續(xù)存在的物體，在評(píng)價(jià)值圖M(D、)(b)中，通過霍夫變換提取評(píng)價(jià)值較小的點(diǎn)在一條直線上連續(xù)的、直線分量最強(qiáng)的線(S206)。所謂霍夫變換，是提取圖像上的直線分量的基本的圖像處理之一。這里，作為對(duì)于評(píng)價(jià)值圖整體進(jìn)行了霍夫變換的結(jié)果，提取直線分量最強(qiáng)的線。在物理層面的含義上，當(dāng)在現(xiàn)實(shí)空間呈直線狀排列著包含連讀的相似圖案的物體時(shí)，在評(píng)價(jià)值圖上，獲得對(duì)應(yīng)點(diǎn)分布在直線性最強(qiáng)的線上的結(jié)果。評(píng)價(jià)值圖中的評(píng)價(jià)值較小的點(diǎn)是表示物體的存在位置的點(diǎn)，對(duì)于柵欄等包含連續(xù)的相似圖案的物體而言，基準(zhǔn)圖像與參照?qǐng)D像并不能使所有相同位置的支柱部分對(duì)應(yīng)關(guān)聯(lián)，因此，產(chǎn)生多個(gè)物體存在位置的候補(bǔ)。在存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，在評(píng)價(jià)值圖上獲得多個(gè)線，但在不是真實(shí)的視差的位置的直線中，在評(píng)價(jià)值圖上存在一部分直線性紊亂的部分，發(fā)生不呈直線性分布的部位。該部分是在現(xiàn)實(shí)空間中，柵欄的粗細(xì)有少許不同的支柱的部分，另外，在為人行橫道標(biāo)示時(shí)，是顏色較淺的部分。也就是說，柵欄等包含連續(xù)的相似圖案的物體，實(shí)際上存在周期性的紊亂，該部分的多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的位置，與不存在周期性紊亂的部分的多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的位置不同。因此，在柵欄等、包含連續(xù)的相似圖案的物體的存在周期性紊亂的部分與不存在周期性紊亂的部分之間，比較多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的位置時(shí)，存在僅在真實(shí)的視差一致的對(duì)應(yīng)點(diǎn)，其在真實(shí)的視差之外不一致。在表現(xiàn)為評(píng)價(jià)值圖時(shí)，僅在真實(shí)的視差的位置保持直線性，在除此之外的視差的位置，得到直線性紊亂了的結(jié)果。
這里，在對(duì)于圖8A中的基準(zhǔn)點(diǎn)位置(xbl、ybl)、也就是評(píng)價(jià)值圖中的xb = xbl的位置，設(shè)應(yīng)求的真實(shí)的對(duì)應(yīng)點(diǎn)位置為DCorrect(Xbl)，評(píng)價(jià)值極小的位置為DM (xbl)，計(jì)算出的直線的位置為Dline(Xbl)時(shí)，真實(shí)的對(duì)應(yīng)點(diǎn)可以用以下的數(shù)式(2)表示。計(jì)算出的直線的位置Dline (xbl)表示圖8D中的線c為xb = xbl的D軸的值。
權(quán)利要求
1.視差計(jì)算裝置，包括立體圖像數(shù)據(jù)獲取單元，具有第ι攝像系統(tǒng)和第2攝像系統(tǒng)，獲取使用所述第1攝像系統(tǒng)拍攝對(duì)象物所得的基準(zhǔn)圖像的數(shù)據(jù)、以及使用所述第2攝像系統(tǒng)拍攝所述對(duì)象物所得的參照?qǐng)D像的數(shù)據(jù)；立體匹配單元，計(jì)算評(píng)價(jià)值分布，該評(píng)價(jià)值分布表示所述基準(zhǔn)圖像具有的基準(zhǔn)點(diǎn)與所述參照?qǐng)D像具有的多個(gè)搜索點(diǎn)之間的圖像亮度的差異度；對(duì)應(yīng)點(diǎn)候補(bǔ)數(shù)判定單元，從所述評(píng)價(jià)值分布包含的搜索點(diǎn)中，檢測所述評(píng)價(jià)值為極小的搜索點(diǎn)，在所述檢測到的搜索點(diǎn)的數(shù)量為多個(gè)時(shí)，輸出所述檢測到的多個(gè)搜索點(diǎn)作為對(duì)應(yīng)點(diǎn)候補(bǔ)；極小值分布計(jì)算單元，在所述評(píng)價(jià)值分布中包含所述對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，計(jì)算表示所述對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，所述第1極小值分布對(duì)應(yīng)于第1基準(zhǔn)點(diǎn)，所述第2極小值分布對(duì)應(yīng)于存在于包含所述第1基準(zhǔn)點(diǎn)的所述基準(zhǔn)圖像的周圍區(qū)域中的一個(gè)或者多個(gè)第2基準(zhǔn)點(diǎn)；評(píng)價(jià)值圖計(jì)算單元，基于所述第1極小值分布和所述第2極小值分布，計(jì)算表示所述第 1基準(zhǔn)點(diǎn)和所述第2基準(zhǔn)點(diǎn)與所述多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)變動(dòng)值的關(guān)系的評(píng)價(jià)值圖；對(duì)應(yīng)點(diǎn)判定單元，在所述評(píng)價(jià)值圖中，將所述坐標(biāo)變動(dòng)值為最小的所述對(duì)應(yīng)點(diǎn)候補(bǔ)判定為對(duì)應(yīng)點(diǎn)；以及視差數(shù)據(jù)輸出單元，輸出視差值，該視差值是所述對(duì)應(yīng)點(diǎn)在所述參照?qǐng)D像中的坐標(biāo)點(diǎn)與所述第1基準(zhǔn)點(diǎn)在所述參照?qǐng)D像中的坐標(biāo)點(diǎn)的差分。
2.如權(quán)利要求1所述的視差計(jì)算裝置，所述周圍區(qū)域的范圍是基于所述第1基準(zhǔn)點(diǎn)的所述極小值分布中包含的評(píng)價(jià)值為極小的搜索點(diǎn)的數(shù)、以及間隔而確定的范圍。
3.如權(quán)利要求1所述的視差計(jì)算裝置，所述對(duì)應(yīng)點(diǎn)判定單元在所述第1基準(zhǔn)點(diǎn)涉及的所述對(duì)應(yīng)點(diǎn)候補(bǔ)的數(shù)量與所述第2基準(zhǔn)點(diǎn)涉及的所述對(duì)應(yīng)點(diǎn)候補(bǔ)的數(shù)量不同時(shí)，去除僅包含在所述第1基準(zhǔn)點(diǎn)和所述第2基準(zhǔn)點(diǎn)涉及的所述極小值分布的任一個(gè)中的所述對(duì)應(yīng)點(diǎn)候補(bǔ)，判定所述對(duì)應(yīng)點(diǎn)。
4.如權(quán)利要求1所述的視差計(jì)算裝置，所述對(duì)應(yīng)點(diǎn)判定單元通過對(duì)所述評(píng)價(jià)值圖進(jìn)行霍夫變換，提取所述坐標(biāo)變動(dòng)值為最小的所述對(duì)應(yīng)點(diǎn)候補(bǔ)作為對(duì)應(yīng)點(diǎn)。
5.如權(quán)利要求1所述的視差計(jì)算裝置，在所述第1攝像系統(tǒng)具有第1透鏡，所述第2攝像系統(tǒng)具有第2透鏡，所述周圍區(qū)域是在所述第1透鏡與所述第2透鏡的排列方向上具有任意的寬度的區(qū)域時(shí)，所述評(píng)價(jià)值圖計(jì)算單元基于所述第1評(píng)價(jià)值分布、所述第2評(píng)價(jià)值分布、以及對(duì)應(yīng)于第 3基準(zhǔn)點(diǎn)的極小值分布，計(jì)算所述評(píng)價(jià)值圖，所述第3基準(zhǔn)點(diǎn)，對(duì)于存在于所述周圍區(qū)域中的基準(zhǔn)點(diǎn)，存在于所述第1透鏡與所述第2透鏡的排列方向的垂直方向上。
6.如權(quán)利要求1所述的視差計(jì)算裝置，所述周圍區(qū)域的范圍是基于對(duì)應(yīng)于所述第1基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布和對(duì)應(yīng)于所述第2基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布的、對(duì)應(yīng)于所述多個(gè)搜索點(diǎn)的圖像亮度的差異度的差分和而確定的范圍。
7.視差計(jì)算方法，包括以下步驟獲取使用第1攝像系統(tǒng)拍攝對(duì)象物所得的基準(zhǔn)圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝所述對(duì)象物所得的參照?qǐng)D像的數(shù)據(jù)；計(jì)算評(píng)價(jià)值分布，該評(píng)價(jià)值分布表示所述基準(zhǔn)圖像具有的基準(zhǔn)點(diǎn)與所述參照?qǐng)D像具有的多個(gè)搜索點(diǎn)之間的圖像亮度的差異度；從所述評(píng)價(jià)值分布包含的搜索點(diǎn)中，檢測所述評(píng)價(jià)值為極小的搜索點(diǎn)，在所述檢測到的搜索點(diǎn)的數(shù)量為多個(gè)時(shí)，輸出所述檢測到的多個(gè)搜索點(diǎn)作為對(duì)應(yīng)點(diǎn)候補(bǔ)；在所述評(píng)價(jià)值分布中包含所述對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，計(jì)算表示所述對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，所述第1極小值分布對(duì)應(yīng)于第1基準(zhǔn)點(diǎn)， 所述第2極小值分布對(duì)應(yīng)于存在于包含所述第1基準(zhǔn)點(diǎn)的所述基準(zhǔn)圖像的周圍區(qū)域中的一個(gè)或者多個(gè)第2基準(zhǔn)點(diǎn)；基于所述第1極小值分布和所述第2極小值分布，計(jì)算表示所述第1基準(zhǔn)點(diǎn)和第2基準(zhǔn)點(diǎn)與所述多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)的坐標(biāo)變動(dòng)值的關(guān)系的評(píng)價(jià)值圖；在所述評(píng)價(jià)值圖中，將所述坐標(biāo)變動(dòng)值為最小的所述對(duì)應(yīng)點(diǎn)候補(bǔ)判定為對(duì)應(yīng)點(diǎn)；以及輸出視差值，該視差值是所述對(duì)應(yīng)點(diǎn)在所述參照?qǐng)D像中的坐標(biāo)點(diǎn)與所述第1基準(zhǔn)點(diǎn)在所述參照?qǐng)D像中的坐標(biāo)點(diǎn)的差分。
全文摘要
公開了實(shí)現(xiàn)包含連續(xù)的相似圖案的物體的距離測量的立體照相機(jī)。在使用了立體照相機(jī)的立體匹配中，在對(duì)基準(zhǔn)點(diǎn)的SAD等的評(píng)價(jià)值分布中存在多個(gè)對(duì)應(yīng)點(diǎn)候補(bǔ)時(shí)，重疊被判定為存在多個(gè)對(duì)應(yīng)點(diǎn)的基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布和存在于該基準(zhǔn)點(diǎn)的周圍區(qū)域中的其他各個(gè)基準(zhǔn)點(diǎn)的評(píng)價(jià)值分布，生成評(píng)價(jià)值圖。由此，表現(xiàn)被判定為存在多個(gè)對(duì)應(yīng)點(diǎn)的基準(zhǔn)點(diǎn)的周圍的現(xiàn)實(shí)空間中的物體的形狀，通過提取評(píng)價(jià)值圖上直線性最強(qiáng)的線段，能夠計(jì)算在一條直線上連續(xù)的柵欄等的準(zhǔn)確距離。
文檔編號(hào)G08G1/16GK102203552SQ20108000312
公開日2011年9月28日 申請(qǐng)日期2010年9月2日 優(yōu)先權(quán)日2009年9月7日
發(fā)明者南里卓也, 西村洋文 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社