根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及生成視差圖的方法和裝置，更具體地，本發(fā)明涉及根據(jù)立體相機(jī)拍攝 的圖像幀生成視差圖的方法和裝置。
【背景技術(shù)】
[0002] 隨著三維重建、虛擬現(xiàn)實(shí)等技術(shù)的發(fā)展，指示相機(jī)和所拍攝的特定對(duì)象之間距離 的視差信息已經(jīng)在例如輔助駕駛等應(yīng)用中被廣泛使用。通過對(duì)立體相機(jī)對(duì)同一場(chǎng)景拍攝 的基準(zhǔn)圖像和參考圖像進(jìn)行圖像匹配，可在基準(zhǔn)圖像和參照?qǐng)D像中找到匹配的像素點(diǎn)對(duì)， 并且計(jì)算出每個(gè)像素點(diǎn)坐標(biāo)對(duì)應(yīng)的視差。進(jìn)而可利用視差來準(zhǔn)確地描述場(chǎng)景的三維空間信 肩、。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明實(shí)施例的目的在于提供一種根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖的方 法和裝置的方法和裝置，通過利用歷史幀的增強(qiáng)直方圖加權(quán)和生成目標(biāo)直方圖，以解決上 述過度增強(qiáng)的問題。
[0004] 本發(fā)明的一個(gè)實(shí)施例提供了一種根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖的方法， 其中每個(gè)圖像幀包括基準(zhǔn)圖像和參考圖像。所述方法包括：根據(jù)第一圖像幀的第一基準(zhǔn) 圖像的預(yù)定區(qū)域生成初始基準(zhǔn)灰度直方圖，并且根據(jù)第一圖像幀的第一參考圖像的預(yù)定區(qū) 域生成初始參考灰度直方圖，其中第一圖像幀是立體相機(jī)在第一時(shí)刻拍攝的；根據(jù)第二圖 像幀的歷史信息，生成第一基準(zhǔn)圖像的預(yù)定區(qū)域的目標(biāo)基準(zhǔn)灰度直方圖和第一參考圖像的 預(yù)定區(qū)域的目標(biāo)參考灰度直方圖，其中第二圖像幀是立體相機(jī)在第一時(shí)刻之前的時(shí)刻拍攝 的；計(jì)算從初始基準(zhǔn)灰度直方圖到目標(biāo)基準(zhǔn)灰度直方圖的基準(zhǔn)映射函數(shù)，并且計(jì)算從初始 參考灰度直方圖到目標(biāo)參考灰度直方圖的參考映射函數(shù)；對(duì)第一基準(zhǔn)圖像的預(yù)定區(qū)域執(zhí)行 基準(zhǔn)映射函數(shù)以獲得第一圖像幀的增強(qiáng)基準(zhǔn)圖像，并且對(duì)第一參考圖像的預(yù)定區(qū)域執(zhí)行參 考映射函數(shù)以獲得第一圖像幀的增強(qiáng)參考圖像；以及根據(jù)第一圖像幀的增強(qiáng)基準(zhǔn)圖像和增 強(qiáng)參考圖像，生成對(duì)應(yīng)于第一圖像幀的第一視差圖。
[0005] 本發(fā)明的另一實(shí)施例提供了一種根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖的裝置， 其中每個(gè)圖像幀包括基準(zhǔn)圖像和參考圖像。所述裝置包括：初始直方圖生成單元，配置來根 據(jù)第一圖像幀的第一基準(zhǔn)圖像的預(yù)定區(qū)域生成初始基準(zhǔn)灰度直方圖，并且根據(jù)第一圖像幀 的第一參考圖像的預(yù)定區(qū)域生成初始參考灰度直方圖，其中第一圖像幀是立體相機(jī)在第一 時(shí)刻拍攝的；目標(biāo)直方圖生成單元，配置來根據(jù)第二圖像幀的歷史信息，生成第一基準(zhǔn)圖像 的預(yù)定區(qū)域的目標(biāo)基準(zhǔn)灰度直方圖和第一參考圖像的預(yù)定區(qū)域的目標(biāo)參考灰度直方圖，其 中第二圖像幀是立體相機(jī)在第一時(shí)刻之前的時(shí)刻拍攝的；函數(shù)計(jì)算單元，配置來計(jì)算從初 始基準(zhǔn)灰度直方圖到目標(biāo)基準(zhǔn)灰度直方圖的基準(zhǔn)映射函數(shù)，并且計(jì)算從初始參考灰度直方 圖到目標(biāo)參考灰度直方圖的參考映射函數(shù)；映射單元，配置來對(duì)第一基準(zhǔn)圖像的預(yù)定區(qū)域 執(zhí)行基準(zhǔn)映射函數(shù)以獲得第一圖像幀的增強(qiáng)基準(zhǔn)圖像，并且對(duì)第一參考圖像的預(yù)定區(qū)域執(zhí) 行參考映射函數(shù)以獲得第一圖像幀的增強(qiáng)參考圖像；以及視差圖生成單元，配置來根據(jù)第 一圖像幀的增強(qiáng)基準(zhǔn)圖像和增強(qiáng)參考圖像，生成對(duì)應(yīng)于第一圖像幀的第一視差圖。
[0006] 在上述發(fā)明實(shí)施例提供的根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖的方法和裝置 中，通過使用根據(jù)立體相機(jī)所拍攝的圖像幀的歷史信息和當(dāng)前信息計(jì)算的映射函數(shù)對(duì)該相 機(jī)在當(dāng)前時(shí)刻拍攝的圖像幀中的基準(zhǔn)圖像和增強(qiáng)基準(zhǔn)圖像的預(yù)定區(qū)域的像素進(jìn)行映射，可 獲得更易于獲得準(zhǔn)確視差圖的增強(qiáng)基準(zhǔn)圖像和增強(qiáng)參考圖像，并且根據(jù)增強(qiáng)基準(zhǔn)圖像和增 強(qiáng)參考圖像得到準(zhǔn)確的視差圖，以便于為用戶提供更多有效的信息。
【附圖說明】
[0007] 圖1是描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖 的方法的流程圖。
[0008] 圖2是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的示意性像素距離直方圖。
[0009] 圖3是描述了根據(jù)本發(fā)明一個(gè)實(shí)施例，根據(jù)第二圖像幀的歷史信息生成目標(biāo)基準(zhǔn) 灰度直方圖和目標(biāo)參考灰度直方圖的方法的流程圖。
[0010] 圖4是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的根據(jù)立體相機(jī)拍攝的圖像幀生成視差 圖的裝置的示范性結(jié)構(gòu)框圖。
[0011] 圖5是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的函數(shù)計(jì)算單元的示范性結(jié)構(gòu)框圖。
[0012] 圖6是示出按照本發(fā)明實(shí)施例的生成視差圖的硬件系統(tǒng)600的總體硬件框圖。
【具體實(shí)施方式】
[0013] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí) 施例。注意，在本說明書和附圖中，具有基本上相同步驟和元素用相同的附圖標(biāo)記來表示， 且對(duì)這些步驟和元素的重復(fù)解釋將被省略。
[0014] 圖1是描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)立體相機(jī)拍攝的圖像幀生成視差圖 的方法的流程圖。下面，將參照?qǐng)D1來描述根據(jù)本發(fā)明實(shí)施例的根據(jù)立體相機(jī)拍攝的圖像 幀生成視差圖的方法（以下簡(jiǎn)稱為"生成視差圖的方法"）100。在根據(jù)本發(fā)明的實(shí)施例中， 立體相機(jī)的具體形式包括但不限于雙目相機(jī)。立體相機(jī)所拍攝的每個(gè)圖像幀包括基準(zhǔn)圖像 和參考圖像。例如，在立體相機(jī)為雙目相機(jī)的情況下，每個(gè)圖像幀中的基準(zhǔn)圖像可以是雙目 相機(jī)拍攝的左眼圖像，而參考圖像可以是雙目相機(jī)拍攝的右眼圖像。
[0015] 如圖1所示，在步驟S101中，根據(jù)第一圖像幀的第一基準(zhǔn)圖像的預(yù)定區(qū)域生成初 始基準(zhǔn)灰度直方圖，并且根據(jù)第一圖像幀的第一參考圖像的預(yù)定區(qū)域生成初始參考灰度直 方圖，其中第一圖像幀是立體相機(jī)在第一時(shí)刻拍攝的。根據(jù)本發(fā)明的一個(gè)示例，第一時(shí)刻可 以是當(dāng)前時(shí)刻，并且第一圖像幀可以是立體相機(jī)拍攝的當(dāng)前圖像幀。此外，在步驟S101中， 可根據(jù)第一基準(zhǔn)圖像的預(yù)定區(qū)域中像素的灰度值生成初始參考灰度直方圖，并且類似地， 可根據(jù)第一參考圖像的預(yù)定區(qū)域中像素的灰度值生成初始參考灰度直方圖。在根據(jù)本發(fā)明 的實(shí)施例中，灰度直方圖的縱坐標(biāo)軸可以指示像素的個(gè)數(shù)并且灰度直方圖的橫坐標(biāo)軸可以 指示灰度值，反之亦然。
[0016] 此外，預(yù)定區(qū)域可以是第一基準(zhǔn)圖像中的一部分，可替換地，預(yù)定區(qū)域也可以是第 一基準(zhǔn)圖像中的全部。優(yōu)選地，預(yù)定區(qū)域可以是立體相機(jī)所拍攝的目標(biāo)對(duì)象（例如，正在行 駛的車輛等）在圖像幀的基準(zhǔn)圖像或參考圖像中所在的區(qū)域。例如，可根據(jù)通過先前對(duì)目 標(biāo)對(duì)象追蹤所獲得的目標(biāo)對(duì)象的運(yùn)動(dòng)信息來確定預(yù)定區(qū)域。又例如，可根據(jù)目標(biāo)對(duì)象的運(yùn) 動(dòng)信息分別在基準(zhǔn)圖像和參考圖像中確定預(yù)定區(qū)域，可替換地，也可根據(jù)目標(biāo)對(duì)象的運(yùn)動(dòng) 信息在基準(zhǔn)圖像和參考圖像中的一個(gè)圖像中確定預(yù)定區(qū)域并將另一圖像中的相應(yīng)區(qū)域確 定為該另一圖像的預(yù)定區(qū)域。
[0017] 在步驟S102中，根據(jù)第二圖像幀的歷史信息，生成第一基準(zhǔn)圖像的預(yù)定區(qū)域的目 標(biāo)基準(zhǔn)灰度直方圖和第一參考圖像的預(yù)定區(qū)域的目標(biāo)參考灰度直方圖，其中第二圖像幀是 立體相機(jī)在第一時(shí)刻之前的時(shí)刻拍攝的。例如，歷史信息可包括根據(jù)第二圖像幀中的基準(zhǔn) 圖像和參考圖像生成的灰度直方圖等，稍后將對(duì)此進(jìn)行詳細(xì)描述。應(yīng)注意，步驟S101和步 驟S102不必按照?qǐng)D1所示的順序執(zhí)行。可以顛倒或并行地執(zhí)行步驟S101和步驟S102。
[0018] 然后在步驟S103中，計(jì)算從初始基準(zhǔn)灰度直方圖到目標(biāo)基準(zhǔn)灰度直方圖的基準(zhǔn) 映射函數(shù)，并且計(jì)算從初始參考灰度直方圖到目標(biāo)參考灰度直方圖的參考映射函數(shù)。根據(jù) 本發(fā)明的一個(gè)示例，可對(duì)在步驟S101獲得的第一圖像幀的初始基準(zhǔn)灰度直方圖進(jìn)行直方 圖均衡化，以獲得從第一圖像幀的初始基準(zhǔn)灰度直方圖到該圖像幀的均衡化的或基本均衡 化的基準(zhǔn)灰度直方圖E的映射函數(shù)G(p);并且對(duì)在步驟S102獲得的第一圖像幀的目標(biāo)基 準(zhǔn)灰度直方圖進(jìn)行直方圖均衡化，以獲得從第一圖像幀的目標(biāo)基準(zhǔn)灰度直方圖到上述均衡 化的或基本均衡化的基準(zhǔn)灰度直方圖E的映射函數(shù)F(p)。然后，可通過以下公式（1)計(jì)算 從初始基準(zhǔn)灰度直方圖到目標(biāo)基準(zhǔn)灰度直方圖的基準(zhǔn)映射函數(shù)D (p):
[0019] D (p) = F 1 (G (p)) ......(1)
[0020] 此外，可以與計(jì)算基準(zhǔn)映射函數(shù)類似的方式，計(jì)算從初始參考灰度直方圖到目標(biāo) 參考灰度直方圖的參考映射函數(shù)。
[0021] 接下來，在步驟S104中，對(duì)第一基準(zhǔn)圖像的預(yù)定區(qū)域執(zhí)行基準(zhǔn)映射函數(shù)以獲得第 一圖像幀的增強(qiáng)基準(zhǔn)圖像，并且對(duì)第一參考圖像的預(yù)定區(qū)域執(zhí)行參考映射函數(shù)以獲得第一 圖像幀的增強(qiáng)參考圖像。具體地，在步驟S104中，可通過將第一基準(zhǔn)圖像的預(yù)定區(qū)域中的 每個(gè)像素的灰度值代入上述基準(zhǔn)映射函數(shù)來執(zhí)行灰度映射，以獲得該像素的增強(qiáng)灰度值。 然后，根據(jù)所獲得的各個(gè)像素的增強(qiáng)灰度值生成第一圖像幀的增強(qiáng)基準(zhǔn)圖像。此外