配置視差值的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種配置視差值的方法和系統(tǒng)，該方法包括：根據(jù)關(guān)于參考圖像的包括所述初始視差值的空間變化特性的特征，將所述參考圖像分割為多個(gè)塊，所述多個(gè)塊的至少一個(gè)塊中的至少一部分點(diǎn)的所述特征符合預(yù)定規(guī)則；以及分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值。根據(jù)本發(fā)明的各個(gè)實(shí)施例，可以更準(zhǔn)確地配置視差值。
【專利說明】配置視差值的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般涉及圖像處理領(lǐng)域，且更具體地，涉及一種在立體匹配中配置視差值 的方法和系統(tǒng)。

【背景技術(shù)】
[0002] 立體視覺近年來成為計(jì)算機(jī)視覺領(lǐng)域最熱門的研究課題之一。立體視覺的基本原 理是結(jié)合兩個(gè)(雙目）或更多視點(diǎn)的信息，以獲得不同視角下同一物體的圖像，并利用三角 測量原理來計(jì)算圖像的像素點(diǎn)之間的位置偏差，從而獲得物體的立體信息。該立體視覺包 括圖像獲取、攝像機(jī)定標(biāo)、特征提取、立體匹配、深度及內(nèi)插等處理，其中，立體匹配的目的 是尋求同一空間中的物體在不同視點(diǎn)下拍攝的圖像的像素點(diǎn)之間的對(duì)應(yīng)關(guān)系。通過立體匹 配技術(shù)得到的視差信息(深度信息)可用來估量攝像機(jī)和物體之間的相對(duì)距離。這些視差信 息能夠應(yīng)用于諸多場合，例如諸如三維電影、機(jī)器人、監(jiān)控、基于三維技術(shù)的道路檢測、行人 檢測、自動(dòng)駕駛、智能車輛等等。以智能車輛為例，基于由視差信息組成的視差圖，能夠容易 地檢測到行人、車輛、路面、白線和柵欄等對(duì)象，從而可以檢測目標(biāo)或?qū)δ繕?biāo)進(jìn)行分類，由此 控制和管理車輛的行駛狀況?？梢?，獲得魯棒和準(zhǔn)確的視差圖在立體視覺中起著重要的作 用。
[0003] 當(dāng)前的立體匹配的技術(shù)大致分為兩類，一類是基于像素的算法，另一類是基于分 割的算法。
[0004] 基于像素的算法單獨(dú)考慮每個(gè)像素。例如在XU LI-QUN等人的2011年8月30日 授權(quán)的另一美國專利號(hào)US8009897B2中公開了一種基于像素的立體匹配方法，其根據(jù)灰度 相似性對(duì)當(dāng)前待匹配像素構(gòu)造連通像素序列，以此作為匹配元素。在該專利中，匹配算法是 基于像素級(jí)別的處理方法。由于一些目標(biāo)的內(nèi)部缺少紋理信息，例如，道路，單獨(dú)考慮每個(gè) 像素而得到的這些目標(biāo)的視差圖存在有無效區(qū)域和噪聲過多等問題(如圖1A所示)，因此獲 得的視差圖不夠準(zhǔn)確。
[0005] 為了解決基于像素的算法出現(xiàn)的問題，出現(xiàn)了基于分割的立體匹配算法，其首先 基于彩色信息或灰度信息將圖像分割為多個(gè)區(qū)域塊，這些區(qū)域塊具有類似的彩色信息或灰 度信息。分割區(qū)域塊的目的是使得每個(gè)區(qū)域塊盡可能地對(duì)應(yīng)于實(shí)際場景中的每個(gè)平面。然 后，利用每個(gè)區(qū)域塊中的有效視差值來估計(jì)該區(qū)域塊中的無效視差值，從而估計(jì)該區(qū)域塊 的視差分布圖。如圖1B所示，通常，P1是一個(gè)有效像素，因?yàn)楹蚉2相比，P1距離邊緣(區(qū)域 塊的邊界)較近，從而可以很容易并正確找到與它相對(duì)應(yīng)的像素?；诜指畹乃惴ㄔ诤艽蟪?度上解決了基于像素的算法所存在的問題。盡管基于分割的算法可以解決基于像素的算法 所存在的問題，它帶來一個(gè)新問題：在一些區(qū)域存在嚴(yán)重錯(cuò)誤的視差值，具體見圖1C，路面 區(qū)域的視差圖向右傾斜，存在錯(cuò)誤。路面區(qū)域正確的視差圖應(yīng)該是由很多水平線組成，因?yàn)?對(duì)于路面區(qū)域來說，每條水平線上的深度值是恒定的。出現(xiàn)上述錯(cuò)誤的原因是典型的基于 分割的立體匹配算法假設(shè)每個(gè)區(qū)域塊都是實(shí)際場景中的一個(gè)平面，但在圖1C的分割結(jié)果 中，兩個(gè)平面(路面和柵欄）被錯(cuò)誤地分割到一個(gè)區(qū)域塊中，因此基于分割的算法的立體匹 配是否準(zhǔn)確很大程度上取決于區(qū)域塊的分割是否準(zhǔn)確?？梢?，魯棒和準(zhǔn)確的區(qū)域塊的分割 在立體匹配和生成視差圖中也起著重要作用。
[0006] 例如在HONG LI等人的2008年2月12日授權(quán)的美國專利號(hào)US7330593B2中公開 了一種基于分割的立體匹配和生成視差圖的方法。其用彩色信息對(duì)參考圖像進(jìn)行分割，然 后，用基本的局部立體匹配算法生成初始視差圖，然后用平面擬合方法對(duì)每個(gè)分割的區(qū)域 塊建立平面模型，最后用置信傳播方法生成優(yōu)化的視差圖。但是，該專利只采用彩色信息進(jìn) 行圖像分割，有時(shí)彩色信息并不能完全指示像素點(diǎn)是否處于同一平面，例如在彩色信息相 同的兩個(gè)點(diǎn)有可能來自不同的平面，因此通過該方法分割圖像得到的區(qū)塊塊并非都是實(shí)際 場景中的一個(gè)平面，因此通過該方法獲得的視差圖也不夠準(zhǔn)確。
[0007] 因此，現(xiàn)有的圖像分割和生成視差圖的技術(shù)無法獲得較準(zhǔn)確的視差圖。因此，需要 提供更準(zhǔn)確地配置視差圖中的視差值的方法和系統(tǒng)。


【發(fā)明內(nèi)容】

[0008] 鑒于上述現(xiàn)有技術(shù)中的問題，本發(fā)明的目的在于提供更準(zhǔn)確地配置視差圖中的視 差值的方法和系統(tǒng)。
[0009] 根據(jù)本發(fā)明的一個(gè)方面，提供一種配置視差值的方法，包括：根據(jù)關(guān)于參考圖像的 包括所述初始視差值的空間變化特性的特征，將所述參考圖像分割為多個(gè)塊，所述多個(gè)塊 的至少一個(gè)塊中的至少一部分點(diǎn)的所述特征符合預(yù)定規(guī)則；以及分析所述多個(gè)塊的至少一 個(gè)塊中的各個(gè)初始視差值，向所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值。
[0010] 在一個(gè)實(shí)施例中，所述初始視差值的空間變化特性可以包括如下中的一種或多 種：所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)；根據(jù)所述初始視差值在兩個(gè)或更多方向 上的導(dǎo)數(shù)，計(jì)算得到的視差梯度幅值信息；以及根據(jù)所述初始視差值在兩個(gè)或更多方向上 的導(dǎo)數(shù)，計(jì)算得到的視差梯度角度信息。
[0011] 在一個(gè)實(shí)施例中，所述特征還可以包括灰度信息、彩色信息、紋理信息中的至少一 種。
[0012] 在一個(gè)實(shí)施例中，所述預(yù)定規(guī)則可以包括相同、相差的差值小于預(yù)定閾值中的至 少一種。
[0013] 在一個(gè)實(shí)施例中，分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至 少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值的步驟可以包括：根據(jù)所述至少一個(gè)塊中的各 個(gè)有效的初始視差值，對(duì)所述至少一個(gè)塊進(jìn)行平面擬合；以及根據(jù)平面擬合的結(jié)果，對(duì)所述 至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)計(jì)算新的視差值。
[0014] 在一個(gè)實(shí)施例中，分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至 少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值的步驟可以包括：根據(jù)所述至少一個(gè)塊中的各 個(gè)有效的初始視差值，計(jì)算所述至少一個(gè)塊的視差值的平均值；以及用所計(jì)算的平均值，作 為所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)的視差值。
[0015] 在一個(gè)實(shí)施例中，所述一個(gè)或多個(gè)點(diǎn)可以包括具有無效的初始視差值的點(diǎn)。
[0016] 在一個(gè)實(shí)施例中，所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)可以通過如下方式 計(jì)算：針對(duì)一個(gè)點(diǎn)，通過所述一個(gè)或多個(gè)方向上的第一預(yù)定范圍內(nèi)的一個(gè)或多個(gè)點(diǎn)的有效 初始視差值與所述點(diǎn)的有效初始視差值的差，計(jì)算所述點(diǎn)相對(duì)于所述預(yù)定范圍內(nèi)的一個(gè)或 多個(gè)點(diǎn)的各個(gè)導(dǎo)數(shù)；將所述各個(gè)導(dǎo)數(shù)求平均以得到所述點(diǎn)處的所述初始視差值在一個(gè)或多 個(gè)方向上的初步導(dǎo)數(shù)。
[0017] 在一個(gè)實(shí)施例中，所述初始視差值在一個(gè)或多個(gè)方向上的初步導(dǎo)數(shù)還可以通過如 下方式來優(yōu)化：對(duì)于第二預(yù)定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)進(jìn)行均值濾波，并使用均值濾波后的 導(dǎo)數(shù)作為所述點(diǎn)處的所述初始視差值在一個(gè)或多個(gè)方向上的優(yōu)化導(dǎo)數(shù)，其中，所述第二預(yù) 定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)包括所述各個(gè)點(diǎn)的初步導(dǎo)數(shù)或優(yōu)化導(dǎo)數(shù)。
[0018] 根據(jù)本發(fā)明的另一方面，提供一種配置視差值的系統(tǒng)，包括：分割單元，被配置為 根據(jù)關(guān)于參考圖像的包括所述初始視差值的空間變化特性的特征，將所述參考圖像分割為 多個(gè)塊，所述多個(gè)塊的至少一個(gè)塊中的至少一部分點(diǎn)的所述特征符合預(yù)定規(guī)則；以及分配 單元，被配置為分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至少一個(gè)塊中 的一個(gè)或多個(gè)點(diǎn)重新分配視差值。
[0019] 在一個(gè)實(shí)施例中，所述初始視差值的空間變化特性可以包括如下中的一種或多 種：所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)；根據(jù)所述初始視差值在兩個(gè)或更多方向 上的導(dǎo)數(shù)，計(jì)算得到的視差梯度幅值信息；以及根據(jù)所述初始視差值在兩個(gè)或更多方向上 的導(dǎo)數(shù)，計(jì)算得到的視差梯度角度信息。
[0020] 在一個(gè)實(shí)施例中，所述特征還可以包括灰度信息、彩色信息、紋理信息中的至少一 種。
[0021] 在一個(gè)實(shí)施例中，所述預(yù)定規(guī)則可以包括相同、相差的差值小于預(yù)定閾值中的至 少一種。
[0022] 在一個(gè)實(shí)施例中，所述分配單元可以包括：根據(jù)所述至少一個(gè)塊中的各個(gè)有效的 初始視差值，對(duì)所述至少一個(gè)塊進(jìn)行平面擬合的裝置；以及根據(jù)平面擬合的結(jié)果，對(duì)所述至 少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)計(jì)算新的視差值的裝置。
[0023] 在一個(gè)實(shí)施例中，所述分配單元可以包括：根據(jù)所述至少一個(gè)塊中的各個(gè)有效的 初始視差值，計(jì)算所述至少一個(gè)塊的視差值的平均值的裝置；以及用所計(jì)算的平均值，作為 所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)的視差值的裝置。
[0024] 在一個(gè)實(shí)施例中，所述一個(gè)或多個(gè)點(diǎn)可以包括具有無效的初始視差值的點(diǎn)。
[0025] 在一個(gè)實(shí)施例中，所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)可以通過如下方式 計(jì)算：針對(duì)一個(gè)點(diǎn)，通過所述一個(gè)或多個(gè)方向上的第一預(yù)定范圍內(nèi)的一個(gè)或多個(gè)點(diǎn)的有效 初始視差值與所述點(diǎn)的有效初始視差值的差，計(jì)算所述點(diǎn)相對(duì)于所述預(yù)定范圍內(nèi)的一個(gè)或 多個(gè)點(diǎn)的各個(gè)導(dǎo)數(shù)；將所述各個(gè)導(dǎo)數(shù)求平均以得到所述點(diǎn)處的所述初始視差值在一個(gè)或多 個(gè)方向上的初步導(dǎo)數(shù)。
[0026] 在一個(gè)實(shí)施例中，所述初始視差值在一個(gè)或多個(gè)方向上的初步導(dǎo)數(shù)還可以通過如 下方式來優(yōu)化：對(duì)于第二預(yù)定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)進(jìn)行均值濾波，并使用均值濾波后的 導(dǎo)數(shù)作為所述點(diǎn)處的所述初始視差值在一個(gè)或多個(gè)方向上的優(yōu)化導(dǎo)數(shù)，其中，所述第二預(yù) 定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)包括所述各個(gè)點(diǎn)的初步導(dǎo)數(shù)或優(yōu)化導(dǎo)數(shù)。
[0027] 根據(jù)本發(fā)明的各個(gè)方面，可以更準(zhǔn)確地配置視差圖中的視差值。

【專利附圖】

【附圖說明】
[0028] 圖1A-1C示出了現(xiàn)有技術(shù)中的圖像分割和視差圖生成的方法的示意圖。
[0029] 圖2示出了應(yīng)用本發(fā)明的實(shí)施例的方法和系統(tǒng)的硬件框圖。
[0030] 圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的配置視差值的方法的流程圖。
[0031] 圖4示出了如圖3所示的配置視差值的方法中的步驟S301的一個(gè)可選實(shí)施例的 流程圖。
[0032] 圖5更詳細(xì)地示出了如圖4所示的可選實(shí)施例中的步驟S402的流程圖。
[0033] 圖6A和6B分別示出了用于說明計(jì)算X方向上的導(dǎo)數(shù)和計(jì)算y方向上的導(dǎo)數(shù)的過 程的示意圖。
[0034] 圖7示出了根據(jù)本發(fā)明的實(shí)施例的采用新特征而得到的分割算法的示例結(jié)果。
[0035] 圖8示出了圖3所示的配置視差值的方法300中的步驟S302的一個(gè)可選實(shí)施例 的流程圖。
[0036] 圖9示出了使用根據(jù)可選實(shí)施例所得到的配置視差值后的視差圖的示例示意圖。
[0037] 圖10示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的配置視差值的系統(tǒng)的方框圖。

【具體實(shí)施方式】
[0038] 現(xiàn)在將詳細(xì)參照本發(fā)明的具體實(shí)施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié) 合具體實(shí)施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實(shí)施例。相反，想要覆 蓋由所附權(quán)利要求限定的在本發(fā)明的精神和范圍內(nèi)包括的變更、修改和等價(jià)物。應(yīng)注意，這 里描述的方法步驟都可以由任何功能塊或功能布置來實(shí)現(xiàn)，且任何功能塊或功能布置可被 實(shí)現(xiàn)為物理實(shí)體或邏輯實(shí)體、或者兩者的組合。
[0039] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說明。
[0040] 圖2示出了應(yīng)用本發(fā)明的實(shí)施例的方法和系統(tǒng)的硬件框圖。
[0041] 圖2所示的硬件包括：立體相機(jī)11，用于從兩個(gè)或更多視點(diǎn)拍攝兩個(gè)或更多圖像； 解碼器12,用于從立體相機(jī)11拍攝的圖像中提取與像素相關(guān)的圖像信息、例如灰度信息、 彩色信息等；數(shù)字信號(hào)處理器13,用于對(duì)解碼器12輸出的各種信息進(jìn)行數(shù)字信號(hào)處理；存 儲(chǔ)器14,與數(shù)字信號(hào)處理器13耦合，用于存儲(chǔ)數(shù)字信號(hào)處理器處理的數(shù)據(jù)或向數(shù)字信號(hào)處 理器提供數(shù)據(jù)；以及與應(yīng)用相同的其他模塊15,用于利用數(shù)字信號(hào)處理器13處理的結(jié)果進(jìn) 行進(jìn)一步的動(dòng)作。
[0042] 根據(jù)本發(fā)明的實(shí)施例的方法和系統(tǒng)可以應(yīng)用于圖2所示的數(shù)字信號(hào)處理器13中。 當(dāng)然，這種應(yīng)用僅是示例，而非限制。
[0043] 圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的配置視差值的方法300的流程圖。
[0044] 該配置視差值的方法300包括：步驟S301，根據(jù)關(guān)于參考圖像的包括所述初始視 差值的空間變化特性的特征，將所述參考圖像分割為多個(gè)塊，所述多個(gè)塊的至少一個(gè)塊中 的至少一部分點(diǎn)的所述特征符合預(yù)定規(guī)則；以及步驟S302,分析所述多個(gè)塊的至少一個(gè)塊 中的各個(gè)初始視差值，向所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值。
[0045] 此處的初始視差值可以通過任何已知的得到視差值的技術(shù)來得到、例如在背景技 術(shù)中提到的基于像素的算法和利用灰度或彩色信息來進(jìn)行的基于分割的算法來得到的初 始視差圖中的視差值。在此不詳細(xì)描述。而本發(fā)明的實(shí)施例可以在用已知方法得到的初始 視差值的基礎(chǔ)上通過重新分配視差值來進(jìn)一步優(yōu)化視差值。
[0046] 由于假設(shè)分割得到的每個(gè)塊對(duì)應(yīng)于實(shí)際場景中的一個(gè)平面，因此，同一平面內(nèi)的 像素的視差值的空間變化特性應(yīng)該是一致的，而處在不同平面內(nèi)的像素的視差值的空間變 化特性應(yīng)該是不同的。由此，通過尋找具有符合預(yù)定規(guī)則(例如，相同或相似)的視差的空間 變化特性的像素點(diǎn)，可以更準(zhǔn)確地將更可能實(shí)際上處于同一平面的像素點(diǎn)分割為一個(gè)塊， 從而根據(jù)各個(gè)塊的平面特點(diǎn)，分析所分割的各個(gè)塊中的初始視差值來重新分配部分視差 值，能夠更準(zhǔn)確地配置視差圖中的各個(gè)視差值。
[0047] 根據(jù)一個(gè)實(shí)施例，所述初始視差值的空間變化特性可以包括如下中的一種或多 種：所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)；根據(jù)所述初始視差值在兩個(gè)或更多方向 上的導(dǎo)數(shù)，計(jì)算得到的視差梯度幅值信息；以及根據(jù)所述初始視差值在兩個(gè)或更多方向上 的導(dǎo)數(shù)，計(jì)算得到的視差梯度角度信息。當(dāng)然，除了上述一種或多種以外，該初始視差值的 空間變化特性還可以包括其他空間變化特性，例如，初始視差值的空間分布、直方圖、頻譜 信息等等體現(xiàn)初始視差值在空間上的變化特性的參數(shù)?？蛇x地，根據(jù)一個(gè)實(shí)施例，所述初始 視差值的空間變化特性可以包括根據(jù)初始視差值在橫軸（X)方向上的導(dǎo)數(shù)和在縱軸（y)方 向上的導(dǎo)數(shù)而計(jì)算得到的視差梯度幅值信息以及視差梯度角度信息兩者。以下參考圖4-6 還將更詳細(xì)地描述生成視差梯度幅值信息和視差梯度角度信息的過程。
[0048] 根據(jù)一個(gè)實(shí)施例，所述特征還可以包括灰度信息、彩色信息、紋理信息中的至少一 種。當(dāng)然，上述特征還可以包括其他有助于區(qū)分處于不同平面的塊的特征。可選地，可以利 用諸如視差梯度幅值信息、視差梯度角度信息的空間變化特性以及灰度信息作為特征。這 樣，相比于只使用包括灰度信息作為特征，或只使用諸如視差梯度幅值信息和視差梯度角 度信息的空間變化特性作為特征，通過諸如視差梯度幅值信息、視差梯度角度信息的空間 變化特性以及灰度信息的特征來尋找具有相同或相似的特征的像素點(diǎn)，可以更準(zhǔn)確地找到 更可能實(shí)際上處于同一平面的像素點(diǎn)，并將它們作為一個(gè)塊來分割。
[0049] 根據(jù)一個(gè)實(shí)施例，所述預(yù)定規(guī)則可以包括相同、相差的差值小于預(yù)定閾值中的至 少一種。當(dāng)然，上述預(yù)定規(guī)則還可以包括根據(jù)所選擇的特征而制定的其他規(guī)則。
[0050] 根據(jù)一個(gè)實(shí)施例，S302的步驟可以包括：根據(jù)所述至少一個(gè)塊中的各個(gè)有效的初 始視差值，對(duì)所述至少一個(gè)塊進(jìn)行平面擬合；以及根據(jù)平面擬合的結(jié)果，對(duì)所述至少一個(gè)塊 中的一個(gè)或多個(gè)點(diǎn)計(jì)算新的視差值?？蛇x地，對(duì)于分割的較大的塊，可以進(jìn)行平面擬合；以 及根據(jù)平面擬合的結(jié)果、例如平面方程，對(duì)該較大的塊中的一個(gè)或多個(gè)點(diǎn)(例如，具有無效 視差值的點(diǎn)或全部點(diǎn)）計(jì)算新的視差值。
[0051] 根據(jù)一個(gè)實(shí)施例，S302的步驟可以包括：根據(jù)所述至少一個(gè)塊中的各個(gè)有效的初 始視差值，計(jì)算所述至少一個(gè)塊的視差值的平均值；以及用所計(jì)算的平均值，作為所述至少 一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)的視差值?？蛇x地，對(duì)于分割的較小的塊，可以計(jì)算該較小的塊的 視差值的平均值；以及用所計(jì)算的平均值，作為該較小的塊中的一個(gè)或多個(gè)點(diǎn)(例如，具有 無效視差值的點(diǎn)或全部點(diǎn)）的視差值。
[0052] 根據(jù)一個(gè)實(shí)施例，所述一個(gè)或多個(gè)點(diǎn)可以包括具有無效的初始視差值的點(diǎn)（S卩，初 始視差值為零的點(diǎn))。當(dāng)然，所述一個(gè)或多個(gè)點(diǎn)也可以是該塊內(nèi)的全部的點(diǎn)。
[0053] 根據(jù)一個(gè)實(shí)施例，所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)可以通過如下方式 計(jì)算：針對(duì)一個(gè)點(diǎn)，通過所述一個(gè)或多個(gè)方向上的第一預(yù)定范圍內(nèi)的一個(gè)或多個(gè)點(diǎn)的有效 初始視差值與所述點(diǎn)的有效初始視差值的差，計(jì)算所述點(diǎn)相對(duì)于所述預(yù)定范圍內(nèi)的一個(gè)或 多個(gè)點(diǎn)的各個(gè)導(dǎo)數(shù)；將所述各個(gè)導(dǎo)數(shù)求平均以得到所述點(diǎn)處的所述初始視差值在一個(gè)或多 個(gè)方向上的初步導(dǎo)數(shù)。通過這樣做，可以在考慮計(jì)算誤差的情況下考慮第一預(yù)定范圍內(nèi)的 各個(gè)點(diǎn)與當(dāng)前點(diǎn)的有效初始視差值的差而求得的導(dǎo)數(shù)來更準(zhǔn)確地估計(jì)一個(gè)點(diǎn)處的初步導(dǎo) 數(shù)。
[0054] 根據(jù)一個(gè)實(shí)施例，所述初始視差值在一個(gè)或多個(gè)方向上的初步導(dǎo)數(shù)還可以通過如 下方式來優(yōu)化：對(duì)于第二預(yù)定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)進(jìn)行均值濾波，并使用均值濾波后的 導(dǎo)數(shù)作為所述點(diǎn)處的所述初始視差值在一個(gè)或多個(gè)方向上的優(yōu)化導(dǎo)數(shù)，其中，所述第二預(yù) 定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)包括所述各個(gè)點(diǎn)的初步導(dǎo)數(shù)或優(yōu)化導(dǎo)數(shù)。這樣，通過這樣做，可以 在考慮計(jì)算誤差的情況下利用第二預(yù)定范圍內(nèi)的多個(gè)點(diǎn)的如上所述地(考慮第一預(yù)定范圍 內(nèi)的各個(gè)點(diǎn)與當(dāng)前點(diǎn)的有效初始視差值而）求得的各個(gè)初步導(dǎo)數(shù)(或已優(yōu)化的優(yōu)化導(dǎo)數(shù)）的 平均值來更準(zhǔn)確地得到一個(gè)點(diǎn)處的優(yōu)化導(dǎo)數(shù)。
[0055] 由于對(duì)于實(shí)際場景中的每個(gè)平面來說，其視差分布應(yīng)該滿足平面約束，因此其視 差的空間變化特性應(yīng)該保持恒定。從而，根據(jù)圖3所示的配置視差值的方法300,通過利 用包括所述初始視差值的空間變化特性的特征來尋找具有相同或相似的特征的像素點(diǎn)，例 如，是否具有相同或相似的視差的空間變化特性，可以更準(zhǔn)確地將更可能實(shí)際上處于同一 平面的像素點(diǎn)分割為一個(gè)塊。另外，對(duì)于分割的塊，可以通過平面擬合或計(jì)算視差值的平均 值等的方式；以及根據(jù)該平面擬合的結(jié)果或該視差值的平均值，重新分配該塊中的一個(gè)或 多個(gè)點(diǎn)(例如，具有無效視差值的點(diǎn)或全部點(diǎn)）的視差值。這使得能夠更準(zhǔn)確地配置視差圖 中的各個(gè)視差值。
[0056] 下面參考圖4-7來描述根據(jù)本發(fā)明的配置視差值的方法的一個(gè)可選實(shí)施例。
[0057] 可選地，所述初始視差值的空間變化特性可以包括根據(jù)初始視差值在橫軸（X)方 向上的導(dǎo)數(shù)和在縱軸（y)方向上的導(dǎo)數(shù)而計(jì)算得到的視差梯度幅值信息以及視差梯度角度 信息兩者。可選地，而用來確定像素點(diǎn)是否具有相同或相似的特征的特征包括該視差梯度 幅值信息以及視差梯度角度信息以及參考圖像的灰度值。
[0058] 參考圖4,圖4示出了如圖3所示的配置視差值的方法中的步驟S301的一個(gè)可 選實(shí)施例的流程圖。該步驟S301可以包括：步驟S401，接收參考圖像和初始視差圖；步驟 S402,生成初始視差圖的X方向和y方向的導(dǎo)數(shù)圖；步驟S403,根據(jù)視差導(dǎo)數(shù)圖來生成梯度 幅值圖和梯度角度圖；步驟S404,將參考圖像的灰度值和視差梯度幅值和角度信息作為特 征，將參考圖像分割為每個(gè)塊的各個(gè)點(diǎn)的特征相同或相似的多個(gè)塊。
[0059] 圖5更詳細(xì)地示出了如圖4所示的可選實(shí)施例中的步驟S402的流程圖。參考圖 5所示，步驟S402可以包括：步驟S4021，接收參考圖像的初始視差值圖像；步驟S4022,計(jì) 算X方向?qū)?shù)；步驟S4023,計(jì)算y方向?qū)?shù)；步驟S4024,對(duì)X方向?qū)?shù)進(jìn)行均值濾波；步 驟S4025,對(duì)y方向?qū)?shù)進(jìn)行均值濾波；步驟S4026,得到X方向?qū)?shù)圖和y方向?qū)?shù)圖。
[0060] 具體地，在步驟S4021中，接收參考圖像的相應(yīng)的初始視差圖?？梢圆捎萌魏我阎?的立體匹配算法來得到初始視差圖。
[0061] 在步驟S4022和S4023中，對(duì)初始視差圖中的每一個(gè)像素計(jì)算X方向?qū)?shù)和y方 向?qū)?shù)。在一個(gè)實(shí)施例中，可以使用處在一定范圍(例如，第一預(yù)定范圍）內(nèi)并與該像素具有 相同y坐標(biāo)(即，X方向上)的有效像素來計(jì)算該像素在X方向上的導(dǎo)數(shù)；可以使用處在一定 范圍(例如，第一預(yù)定范圍）內(nèi)并與該像素具有相同X坐標(biāo)(即，y方向上）的有效像素來計(jì)算 該像素在y方向上的導(dǎo)數(shù)。當(dāng)然，考慮一定范圍內(nèi)的其他像素可以加強(qiáng)計(jì)算的χ方向上的 導(dǎo)數(shù)和y方向上的導(dǎo)數(shù)的有效性和準(zhǔn)確性，但是這是可選的，而不是限制的。
[0062] 具體地，假設(shè)d(x，y)是初始視差圖，Dx(x，y)和Dy(x，y)分別是d(x，y)的χ方向 導(dǎo)數(shù)圖像和y方向?qū)?shù)圖像，Dx(x，y)和Dy(x，y)的計(jì)算公式如下公式（1)和（2)所示：

【權(quán)利要求】
1. 一種配置視差值的方法，包括： 根據(jù)關(guān)于參考圖像的包括所述初始視差值的空間變化特性的特征，將所述參考圖像分 割為多個(gè)塊，所述多個(gè)塊的至少一個(gè)塊中的至少一部分點(diǎn)的所述特征符合預(yù)定規(guī)則；以及 分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至少一個(gè)塊中的一個(gè)或多 個(gè)點(diǎn)重新分配視差值。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述初始視差值的空間變化特性包括如下中的 一種或多種： 所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)； 根據(jù)所述初始視差值在兩個(gè)或更多方向上的導(dǎo)數(shù)，計(jì)算得到的視差梯度幅值信息；以 及 根據(jù)所述初始視差值在兩個(gè)或更多方向上的導(dǎo)數(shù)，計(jì)算得到的視差梯度角度信息。
3. 根據(jù)權(quán)利要求1所述的方法，其中，所述特征還包括灰度信息、彩色信息、紋理信息 中的至少一種。
4. 根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)定規(guī)則包括相同、相差的差值小于預(yù)定閾 值中的至少一種。
5. 根據(jù)權(quán)利要求1所述的方法，其中，分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視 差值，向所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值的步驟包括： 根據(jù)所述至少一個(gè)塊中的各個(gè)有效的初始視差值，對(duì)所述至少一個(gè)塊進(jìn)行平面擬合； 以及 根據(jù)平面擬合的結(jié)果，對(duì)所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)計(jì)算新的視差值。
6. 根據(jù)權(quán)利要求1所述的方法，其中，分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視 差值，向所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值的步驟包括： 根據(jù)所述至少一個(gè)塊中的各個(gè)有效的初始視差值，計(jì)算所述至少一個(gè)塊的視差值的平 均值；以及 用所計(jì)算的平均值，作為所述至少一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)的視差值。
7. 根據(jù)權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)點(diǎn)包括具有無效的初始視差值 的點(diǎn)。
8. 根據(jù)權(quán)利要求2所述的方法，其中，所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)通 過如下方式計(jì)算： 針對(duì)一個(gè)點(diǎn)，通過所述一個(gè)或多個(gè)方向上的第一預(yù)定范圍內(nèi)的一個(gè)或多個(gè)點(diǎn)的有效初 始視差值與所述點(diǎn)的有效初始視差值的差，計(jì)算所述點(diǎn)相對(duì)于所述預(yù)定范圍內(nèi)的一個(gè)或多 個(gè)點(diǎn)的各個(gè)導(dǎo)數(shù)； 將所述各個(gè)導(dǎo)數(shù)求平均以得到所述點(diǎn)處的所述初始視差值在一個(gè)或多個(gè)方向上的初 步導(dǎo)數(shù)。
9. 根據(jù)權(quán)利要求8所述的方法，其中，所述初始視差值在一個(gè)或多個(gè)方向上的導(dǎo)數(shù)還 通過如下方式計(jì)算： 對(duì)于第二預(yù)定范圍內(nèi)的各個(gè)點(diǎn)的導(dǎo)數(shù)進(jìn)行均值濾波，并使用均值濾波后的導(dǎo)數(shù)作為所 述點(diǎn)處的所述初始視差值在一個(gè)或多個(gè)方向上的優(yōu)化導(dǎo)數(shù)，其中，所述第二預(yù)定范圍內(nèi)的 各個(gè)點(diǎn)的導(dǎo)數(shù)包括所述各個(gè)點(diǎn)的初步導(dǎo)數(shù)或優(yōu)化導(dǎo)數(shù)。
10. -種配置視差值的系統(tǒng)，包括： 分割單元，被配置為根據(jù)關(guān)于參考圖像的包括所述初始視差值的空間變化特性的特 征，將所述參考圖像分割為多個(gè)塊，所述多個(gè)塊的至少一個(gè)塊中的至少一部分點(diǎn)的所述特 征符合預(yù)定規(guī)則；以及 分配單元，被配置為分析所述多個(gè)塊的至少一個(gè)塊中的各個(gè)初始視差值，向所述至少 一個(gè)塊中的一個(gè)或多個(gè)點(diǎn)重新分配視差值。
【文檔編號(hào)】G06T7/00GK104123715SQ201310152896
【公開日】2014年10月29日 申請(qǐng)日期:2013年4月27日 優(yōu)先權(quán)日:2013年4月27日
【發(fā)明者】劉振華, 劉媛, 師忠超, 王剛 申請(qǐng)人:株式會(huì)社理光