立體圖像處理裝置和立體圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算立體圖像的參照圖像的對應(yīng)點相對立體圖像的基準(zhǔn)圖像的基準(zhǔn) 點的視差的立體圖像處理裝置和立體圖像處理方法。
【背景技術(shù)】
[0002] 以往，已知有基于立體圖像測量至對象物的距離的立體圖像處理裝置。這樣的立 體圖像處理裝置（以下僅稱為"立體圖像處理裝置"）從參照圖像提取相對基準(zhǔn)圖像的對應(yīng) 點。這里，"對應(yīng)點"是指參照圖像中的拍攝到與基準(zhǔn)圖像的基準(zhǔn)點相同的對象物的點。并 且，立體圖像處理裝置基于照相機參數(shù)和對應(yīng)點相對基準(zhǔn)點的偏移量即視差，計算至對象 物的距離。
[0003] 已在研究將立體圖像處理裝置適用于安全裝置等，該安全裝置測量至車載攝像機 所拍攝的前方車輛或行人的距離。另外，近年來，這樣的安全裝置也逐步向小型車普及。因 此，要求立體圖像處理裝置中所使用的立體照相機小型化。
[0004] 立體照相機小型化后，拍攝基準(zhǔn)圖像的照相機和拍攝參照圖像的照相機之間的間 隔變窄，視差減小。因此，要求立體圖像處理裝置高精度地計算視差。
[0005] 作為高精度地計算視差的技術(shù)，例如已有專利文獻1中記載的現(xiàn)有技術(shù)。該現(xiàn)有 技術(shù)使用一維POC(Phase Only Correlation,僅相位相關(guān)性）方式計算視差。
[0006] 具體而言，現(xiàn)有技術(shù)使用漢寧窗，分別從基準(zhǔn)圖像和參照圖像剪切一維的像素數(shù) 據(jù)串，對剪切出的像素數(shù)據(jù)串實施一維傅立葉變換并進行合成。接著，現(xiàn)有技術(shù)對合成的數(shù) 據(jù)串的振幅成分進行標(biāo)準(zhǔn)化，并進行一維逆傅立葉變換，由此求相位限定相關(guān)系數(shù)。然后， 現(xiàn)有技術(shù)基于求得的相位限定相關(guān)系數(shù)的相關(guān)峰值，計算上述視差。
[0007] 現(xiàn)有技術(shù)文獻
[0008] 專利文獻
[0009] 專利文獻1 :日本特開2008-123141號公報

【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的問題
[0011] 然而，現(xiàn)有技術(shù)有以下的問題：對于基線長度方向的圖像區(qū)域大小小的對象物，難 以高精度地計算視差。這里，"基線長度方向的圖像區(qū)域大小"是指基線長度方向上的圖像 區(qū)域在立體圖像上所占的大小。
[0012] 作為基線長度方向的圖像區(qū)域大小小的對象物，例如可舉出處于遠離照相機的位 置的行人。特別是在將立體圖像處理裝置應(yīng)用于上述安全裝置的情況下，優(yōu)選對于基線長 度方向的圖像區(qū)域大小小的對象物，也能夠更高精度地計算視差。
[0013] 本發(fā)明的目的在于，提供立體圖像處理裝置和立體圖像處理方法，其對于基線長 度方向的圖像區(qū)域大小小的對象物，也能夠高精度地計算視差。
[0014] 解決問題的方案
[0015] 本發(fā)明的立體圖像處理裝置包括：立體圖像獲取單元，獲取立體圖像的基準(zhǔn)圖像 和參照圖像；圖像剪切單元，分別從所述基準(zhǔn)圖像和所述參照圖像剪切與所述立體圖像的 基線長度方向平行的局部圖像，并獲取一維像素數(shù)據(jù)串，該一維像素數(shù)據(jù)串表示該局部圖 像的所述基線長度方向上的像素值的分布；相位校正單元，分別對于基準(zhǔn)像素數(shù)據(jù)和參照 像素數(shù)據(jù)進行相位校正處理，該基準(zhǔn)像素數(shù)據(jù)是從所述基準(zhǔn)圖像獲取的所述一維像素數(shù)據(jù) 串，該參照像素數(shù)據(jù)是從所述參照圖像獲取的所述一維像素數(shù)據(jù)串，所述相位校正處理是 在對于所述基準(zhǔn)像素數(shù)據(jù)進行處理時，使該基準(zhǔn)像素數(shù)據(jù)的值更加左右對稱的處理；開窗 單元，分別對于相位校正完畢基準(zhǔn)像素數(shù)據(jù)和相位校正完畢參照像素數(shù)據(jù)進行開窗，所述 相位校正完畢基準(zhǔn)像素數(shù)據(jù)是對于所述基準(zhǔn)像素數(shù)據(jù)進行所述相位校正處理所得的數(shù)據(jù)， 所述相位校正完畢參照像素數(shù)據(jù)是對于所述參照像素數(shù)據(jù)進行所述相位校正處理所得的 數(shù)據(jù)；相位相關(guān)單元，計算表示開窗完畢基準(zhǔn)像素數(shù)據(jù)和開窗完畢參照像素數(shù)據(jù)之間的相 關(guān)程度的相位相關(guān)值，所述開窗完畢基準(zhǔn)像素數(shù)據(jù)是對于所述相位校正完畢基準(zhǔn)像素數(shù)據(jù) 進行所述開窗所得的數(shù)據(jù)，所述開窗完畢參照像素數(shù)據(jù)是對于所述相位校正完畢參照像素 數(shù)據(jù)進行所述開窗所得的數(shù)據(jù)；以及峰值位置檢測單元，基于所述相位相關(guān)值，計算所述參 照圖像的對應(yīng)點相對于所述基準(zhǔn)圖像的基準(zhǔn)點的視差。
[0016] 本發(fā)明的立體圖像處理方法包括以下步驟：獲取立體圖像的基準(zhǔn)圖像和參照圖像 的步驟；分別從所述基準(zhǔn)圖像和所述參照圖像剪切與所述立體圖像的基線長度方向平行的 局部圖像，并獲取一維像素數(shù)據(jù)串的步驟，該一維像素數(shù)據(jù)串表示該局部圖像的所述基線 長度方向上的像素值的分布；分別對于基準(zhǔn)像素數(shù)據(jù)和參照像素數(shù)據(jù)進行相位校正處理的 步驟，該基準(zhǔn)像素數(shù)據(jù)是從所述基準(zhǔn)圖像獲取的所述一維像素數(shù)據(jù)串，該參照像素數(shù)據(jù)是 從所述參照圖像獲取的所述一維像素數(shù)據(jù)串，所述相位校正處理是在對于所述基準(zhǔn)像素數(shù) 據(jù)進行處理時，使所述基準(zhǔn)像素數(shù)據(jù)的值更加左右對稱的處理；分別對于相位校正完畢基 準(zhǔn)像素數(shù)據(jù)和相位校正完畢參照像素數(shù)據(jù)進行開窗的步驟，所述相位校正完畢基準(zhǔn)像素數(shù) 據(jù)是對于所述基準(zhǔn)像素數(shù)據(jù)進行所述相位校正處理所得的數(shù)據(jù)，所述相位校正完畢參照像 素數(shù)據(jù)是對于所述參照像素數(shù)據(jù)進行所述相位校正處理所得的數(shù)據(jù)；計算表示開窗完畢基 準(zhǔn)像素數(shù)據(jù)和開窗完畢參照像素數(shù)據(jù)之間的相關(guān)程度的相位相關(guān)值的步驟，所述開窗完畢 基準(zhǔn)像素數(shù)據(jù)是對于所述相位校正完畢基準(zhǔn)像素數(shù)據(jù)進行所述開窗所得的數(shù)據(jù)，所述開窗 完畢參照像素數(shù)據(jù)是對于所述相位校正完畢參照像素數(shù)據(jù)進行所述開窗所得的數(shù)據(jù)；以及 基于所述相位相關(guān)值，計算所述參照圖像的對應(yīng)點相對于所述基準(zhǔn)圖像的基準(zhǔn)點的視差的 步驟。
[0017] 發(fā)明的效果
[0018] 根據(jù)本發(fā)明，對于基線長度方向的圖像區(qū)域大小小的對象物，也能夠高精度地計 算出視差。
【附圖說明】
[0019] 圖1是表示實施方式1的立體圖像處理裝置的結(jié)構(gòu)的一例的方框圖。
[0020] 圖2是表示實施方式2的立體圖像處理裝置的結(jié)構(gòu)的一例的方框圖。
[0021] 圖3是表示實施方式2的立體圖像處理裝置的動作的一例的流程圖。
[0022] 圖4是表示實施方式2中的相位校正完畢數(shù)據(jù)生成處理的一例的流程圖。
[0023] 圖5是表示實施方式3的立體圖像處理裝置的結(jié)構(gòu)的一例的方框圖。
[0024] 圖6是用于說明實施方式3中的微分濾波器的效果的圖。
[0025] 圖7是表示實施方式3的立體圖像處理裝置的動作的一例的流程圖。
[0026] 圖8是表示實施方式3中的相位校正完畢數(shù)據(jù)生成處理的一例的流程圖。
[0027] 圖9是表示實施方式4的立體圖像處理裝置的結(jié)構(gòu)的一例的方框圖。
[0028] 圖10是表示實施方式4的立體圖像處理裝置的動作的一例的流程圖。
[0029] 圖11是表示實施方式4中的至檢測出匹配度最大的位置為止的處理的概要的示 意圖。
[0030] 圖12是表示實施方式4中的子像素推測處理的動作的一例的流程圖。
[0031] 圖13是表示實施方式4中的從剪切局部圖像到計算出反相濾波器系數(shù)為止的處 理的概要的示意圖。
[0032] 圖14是用于說明實施方式4中的利用反相濾波器系數(shù)進行的濾波的概念的示意 圖。
[0033] 圖15是表示實施方式4中的使用了 sine函數(shù)的峰值位置檢測處理的一例的概要 的示意圖。
[0034] 圖16是表示實施方式4中的使用了二次曲線近似的峰值位置檢測處理的一例的 概要的示意圖。
【具體實施方式】
[0035] 本發(fā)明涉及以下的立體圖像處理，在對從基準(zhǔn)圖像獲取的像素數(shù)據(jù)串開窗所得的 數(shù)據(jù)和對從參照圖像獲取的像素數(shù)據(jù)串開窗所得的數(shù)據(jù)之間，比較相位特性，由此求立體 圖像的視差。更具體而言，本發(fā)明涉及以下的立體圖像處理：計算基準(zhǔn)像素數(shù)據(jù)和參照像素 數(shù)據(jù)之間的相位差，并基于計算結(jié)果求視差。
[0036] 在以上述方式計算相位差的情況下，用于上述開窗的窗函數(shù)的最佳形狀是左右對 稱且兩端相連的零形狀。但是在像素數(shù)據(jù)的兩端，作為開窗對象的像素數(shù)據(jù)的值大不相同 時，由這樣的窗函數(shù)開窗產(chǎn)生的對于像素數(shù)據(jù)的相位特性的影響變得顯著。在像素數(shù)據(jù)的 兩端大不相同的像素數(shù)據(jù)的一例是像素數(shù)據(jù)左端的（最初的）亮度值為〇,而右端的（最后 的）亮度值成為255的邊緣信號（對應(yīng)于對象物邊緣部分的像素數(shù)據(jù)）。
[0037] 關(guān)于這一內(nèi)容，本發(fā)明人發(fā)現(xiàn)通過使像素數(shù)據(jù)的值左右對稱，該像素數(shù)據(jù)的值在 像素數(shù)據(jù)的兩端會一致。即，本發(fā)明人發(fā)現(xiàn)作為開窗對象的像素數(shù)據(jù)的值越接近于左右對 稱，則由開窗產(chǎn)生的對相位特性的影響越小。
[0038] 另外，本發(fā)明人發(fā)現(xiàn)作為開窗對象的像素數(shù)據(jù)的像素數(shù)據(jù)數(shù)（等于開窗的數(shù)據(jù) 數(shù)）會大幅度地影響開窗后的像素數(shù)據(jù)串的相位特性。若像素數(shù)據(jù)數(shù)大，則由開窗產(chǎn)生的 對相位特性的影響小。但是，由開窗產(chǎn)生的對相位特性的影響會隨著像素數(shù)據(jù)數(shù)減小而急 劇增大。
[0039] 因此，本發(fā)明對于從基準(zhǔn)圖像獲取的像素數(shù)據(jù)串和從參照圖像獲取的像素數(shù)據(jù)串 均進行相位校正處理，該相位校正處理是使從基準(zhǔn)圖像獲取的像素數(shù)據(jù)的值進一步左右對 稱的處理。即，本發(fā)明保留兩個像素數(shù)據(jù)串之間的相位差，并且使兩個像素數(shù)據(jù)串各自進一 步左右對稱。
[0040] 由此，本發(fā)明即使在像素數(shù)據(jù)數(shù)小的情況下，仍能夠?qū)⒂砷_窗產(chǎn)生的對相位特性 的影響抑制得較小。對于基線長度方向的圖像區(qū)域大小小的對象物而言，該效果特別大。 艮P，本發(fā)明通過進行上述相位校正處理，能夠抑制視差計算精度的下降，且對于基線長度方 向的圖像區(qū)域大小小的對象物，也能夠高精度地計算出視差。
[0041] 以下，參照附圖詳細地說明本發(fā)明的實施方式。
[0042] (實施方式1)
[0043] 本發(fā)明的實施方式1是本發(fā)明的基本方式的一例。
[0044] 圖1是表示本實施方式的立體圖像處理裝置的結(jié)構(gòu)的一例的方框圖。
[0045] 在圖1中，立體圖像處理裝置100具有立體圖像獲取單元101、圖像剪切單元102、 相位校正單元103、開窗單元104、相位相關(guān)單元105及峰值位置檢測單元106。
[0046] 立體圖像獲取單元101獲取立體圖像的基準(zhǔn)圖像和參照圖像。
[0047] 圖像剪切單元102分別從基準(zhǔn)圖像和參照圖像，剪切與立體圖像的基線長度方向 平行的局部圖像。接著，圖像剪切單元102獲取一維像素數(shù)據(jù)串，該一維像素數(shù)據(jù)串表示剪 切出的局部圖像的基線長度方向上的像素值的分布。
[0048] 在以下的說明中，從基準(zhǔn)圖像獲取的一維像素數(shù)據(jù)串被稱為"基準(zhǔn)像素數(shù)據(jù)"。另 外，從參照圖像獲取的一維像素數(shù)據(jù)串被稱為"參照像素數(shù)據(jù)"。
[0049] 相位校正單元103分別對于基準(zhǔn)像素數(shù)據(jù)和參照像素數(shù)據(jù)進行相位校正處理，該 相位校正處理是對于基準(zhǔn)像素數(shù)據(jù)進行處理時，使該基準(zhǔn)像素數(shù)據(jù)的值進一步左右對稱的 處理。
[0050] 在以下的說明中，對于基準(zhǔn)像素數(shù)據(jù)進行相位校正處理所得的數(shù)據(jù)被稱為"相位 校