全景圖像的獲取方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及全景圖像的獲取方法和裝置。
【背景技術(shù)】
[0002] 隨著科技的發(fā)展，人們對(duì)于分辨率的追求達(dá)到一個(gè)新的高度，尤其是顯示設(shè)備的 屏幕越來(lái)愈大，這也客觀上要求采集設(shè)備有更高的分辨率。
[0003] 目前超高清的視頻（圖像）采集設(shè)備的價(jià)格十分昂貴，于是通過(guò)相對(duì)廉價(jià)的較低 分辨率的相機(jī)組成相機(jī)陣列就成了一種自然的替代方案?，F(xiàn)有的全景拼接技術(shù)，將多個(gè)相 機(jī)的光心重合（或者近似重合），從而得到大的視場(chǎng)的全景圖像。
[0004] 然而，這些技術(shù)需要精密的光學(xué)設(shè)備以實(shí)現(xiàn)多個(gè)相機(jī)的光心重合，實(shí)現(xiàn)過(guò)程比較 復(fù)雜、所需成本較高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種全景圖像的獲取方法和裝置，從而實(shí)現(xiàn)無(wú)需相機(jī)之間共光心，只 需要通過(guò)標(biāo)定獲得相機(jī)的內(nèi)外參數(shù)便可得到大的視場(chǎng)的高分辨率全景圖像。
[0006] 第一方面，本發(fā)明實(shí)施例提供一種全景圖像的獲取方法，包括：獲取至少兩張第一 圖像；分別提取所述第一圖像的背景圖像和前景圖像；確定至少兩張所述第一圖像的背景 圖像形成的第一重疊圖像和第一非重疊圖像，以及確定至少兩張所述第一圖像的前景圖像 形成的第二重疊圖像和第二非重疊圖像；對(duì)所述第一重疊圖像進(jìn)行分割得到多個(gè)第一分割 子圖像，對(duì)所述第二重疊圖像進(jìn)行分割得到多個(gè)第二分割子圖像；為每個(gè)所述第一分割子 圖像在至少兩張所述第一圖像的背景圖像中選取對(duì)應(yīng)第一拼接子圖像，為每個(gè)所述第二分 割子圖像在至少兩張所述第一圖像的前景圖像中選取對(duì)應(yīng)的第二拼接子圖像；對(duì)多個(gè)所述 第一分割子圖像對(duì)應(yīng)的第一拼接子圖像進(jìn)行拼接得到目標(biāo)背景圖像，對(duì)多個(gè)所述第二分割 子圖像對(duì)應(yīng)的第二拼接子圖像進(jìn)行拼接得到目標(biāo)前景圖像；對(duì)所述目標(biāo)背景圖像、所述目 標(biāo)前景圖像、所述第一非重疊圖像和所述第二非重疊圖像進(jìn)行合成，得到目標(biāo)全景圖像。
[0007] 結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像的深 度值確定所述第一圖像的前景模板；所述第一圖像的前景模板為〇, 1組成的矩陣，在同一 像素點(diǎn)處，提取前景模板1所對(duì)應(yīng)的所述第一圖像的像素點(diǎn)，構(gòu)成所述第一圖像的前景圖 像；在同一像素點(diǎn)處，提取前景模板的補(bǔ)中1所對(duì)應(yīng)的所述第一圖像的像素點(diǎn)，構(gòu)成所述第 一圖像的背景圖像。
[0008] 結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的 實(shí)現(xiàn)方式中，所述確定至少兩張所述第一圖像形成的背景圖像的第一重疊圖像和第一非重 疊圖像，以及確定至少兩張所述第一圖像形成的前景圖像的第二重疊圖像和第二非重疊圖 像，具體包括：通過(guò)單應(yīng)變換將每個(gè)所述背景圖像轉(zhuǎn)換為背景虛擬圖像，通過(guò)單應(yīng)變換將每 個(gè)所述前景圖像轉(zhuǎn)換為前景虛擬圖像；根據(jù)所述背景虛擬圖像計(jì)算各個(gè)所述背景圖像的所 述第一重疊圖像和所述第一非重疊圖像，根據(jù)所述前景虛擬圖像計(jì)算各個(gè)所述前景圖像的 所述第二重疊圖像和所述第二非重疊圖像。
[0009] 結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的 實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述對(duì)所述第一重疊圖像進(jìn)行分割得 到多個(gè)第一分割子圖像，包括：計(jì)算所述第一重疊圖像在各個(gè)顏色通道上的第一差值，對(duì)所 述第一差值依次進(jìn)行拉普拉斯濾波變換和平滑處理，得到第一摩爾斯函數(shù)值；根據(jù)所述第 一摩爾斯函數(shù)值確定所述第一重疊圖像上的所述第一分割子圖像；對(duì)所述第二重疊圖像進(jìn) 行分割得到多個(gè)第二分割子圖像，具體包括：計(jì)算所述第二重疊圖像在各個(gè)顏色通道上的 第二差值圖像，對(duì)所述第二差值圖像依次進(jìn)行拉普拉斯濾波變換和平滑處理，得到第二摩 爾斯函數(shù)值；根據(jù)所述第二摩爾斯函數(shù)值確定所述第二重疊圖像上的所述第二分割子圖 像。
[0010] 結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第一方面的第四種可能的實(shí)現(xiàn)方式 中，所述根據(jù)所述第一摩爾斯函數(shù)值確定所述第一重疊圖像上的所述第一分割子圖像，具 體包括：根據(jù)所述第一重疊圖像上的像素點(diǎn)的第一摩爾斯函數(shù)值確定所述第一重疊圖像上 的第一局部最小值點(diǎn)、第一局部最大值點(diǎn)和第一鞍點(diǎn)；根據(jù)每一個(gè)所述第一局部最小值點(diǎn)、 一個(gè)第一局部最大值點(diǎn)和兩個(gè)所述第一鞍點(diǎn)確定一個(gè)第一分割子圖像；所述根據(jù)所述第二 摩爾斯函數(shù)值確定所述第二重疊圖像上的所述第二分割子圖像，具體包括：根據(jù)所述第二 重疊圖像上的像素點(diǎn)的第二摩爾斯函數(shù)值確定所述第二重疊圖像上的第二局部最小值點(diǎn)， 第二局部最大值點(diǎn)和第二鞍點(diǎn)；根據(jù)每一個(gè)所述第二局部最小值點(diǎn)，一個(gè)第二局部最大值 點(diǎn)和兩個(gè)所述第二鞍點(diǎn)確定一個(gè)第二分割子圖像。
[0011] 結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，在第一方面的第五種可能的實(shí)現(xiàn)方式 中，所述根據(jù)所述第一摩爾斯函數(shù)值確定所述第一重疊圖像上的所述第一分割子圖像之 后，還包括：確定每個(gè)所述第一分割子圖像的第一最大值點(diǎn)，使用區(qū)域算法，根據(jù)所述第一 最大值點(diǎn)確定所述第一重疊圖像對(duì)應(yīng)的第一對(duì)偶分割子圖像；所述根據(jù)所述第二摩爾斯函 數(shù)值確定所述第二重疊圖像上的所述第二分割子圖像之后，還包括：確定每個(gè)所述第二分 割子圖像的第二最大值點(diǎn)，使用區(qū)域算法，根據(jù)所述第二最大值點(diǎn)確定所述第二重疊圖像 對(duì)應(yīng)的第二對(duì)偶分割子圖像。
[0012] 結(jié)合第一方面的第五種可能的實(shí)現(xiàn)方式，在第一方面的第六種可能的實(shí)現(xiàn)方式 中，所述為每個(gè)所述第一分割子圖像在至少兩個(gè)所述第一圖像的背景圖像中選取對(duì)應(yīng)第一 拼接子圖像，具體包括：根據(jù)相連的所述第一對(duì)偶分割子圖像的最大顏色差的平均值計(jì)算 光滑開(kāi)銷(xiāo)，根據(jù)所述第一重疊圖像的圖像中心到所述第一對(duì)偶分割子圖像的距離計(jì)算數(shù)據(jù) 開(kāi)銷(xiāo)；根據(jù)所述光滑開(kāi)銷(xiāo)和所述數(shù)據(jù)開(kāi)銷(xiāo)為每個(gè)所述第一對(duì)偶分割子圖像選取對(duì)應(yīng)的所述 第一拼接子圖像；所述為每個(gè)所述第二分割子圖像在至少兩個(gè)所述第一圖像的前景圖像中 選取對(duì)應(yīng)的第二拼接子圖像，具體包括：根據(jù)相連的所述第二對(duì)偶分割子圖像的最大顏色 差的平均值計(jì)算光滑開(kāi)銷(xiāo)，根據(jù)所述第二重疊圖像的圖像中心到所述第二對(duì)偶分割子圖像 的距離計(jì)算數(shù)據(jù)開(kāi)銷(xiāo)；根據(jù)所述光滑開(kāi)銷(xiāo)和所述數(shù)據(jù)開(kāi)銷(xiāo)為每個(gè)所述第二對(duì)偶分割子圖像 選取對(duì)應(yīng)的所述第二拼接子圖像。
[0013] 結(jié)合第一方面的第六種可能的實(shí)現(xiàn)方式，在第一方面的第七種可能的實(shí)現(xiàn)方式 中，所述根據(jù)所述光滑開(kāi)銷(xiāo)和所述數(shù)據(jù)開(kāi)銷(xiāo)為每個(gè)所述第一對(duì)偶分割子圖像選取對(duì)應(yīng)的所 述第一拼接子圖像，包括：根據(jù)所述第一對(duì)偶分割子圖像構(gòu)造第一圖；根據(jù)所述光滑開(kāi)銷(xiāo) 和所述數(shù)據(jù)開(kāi)銷(xiāo)確定所述第一圖每條邊的權(quán)值；根據(jù)所述第一圖每條邊的權(quán)值采用圖切割 方法對(duì)所述第一對(duì)偶分割子圖像進(jìn)行分類(lèi)，根據(jù)分類(lèi)結(jié)果為每個(gè)所述第一對(duì)偶分割子圖像 選取對(duì)應(yīng)的所述第一拼接子圖像；所述根據(jù)所述光滑開(kāi)銷(xiāo)和所述數(shù)據(jù)開(kāi)銷(xiāo)為每個(gè)所述第二 對(duì)偶分割子圖像選取對(duì)應(yīng)的所述第二拼接子圖像，包括：根據(jù)所述第二對(duì)偶分割子圖像構(gòu) 造第二圖；根據(jù)所述光滑開(kāi)銷(xiāo)和所述數(shù)據(jù)開(kāi)銷(xiāo)確定所述第二圖每條邊的權(quán)值；根據(jù)所述第 二圖每條邊的權(quán)值采用圖切割方法對(duì)所述第二對(duì)偶分割子圖像進(jìn)行分類(lèi)，根據(jù)分類(lèi)結(jié)果為 每個(gè)所述第二對(duì)偶分割子圖像選取對(duì)應(yīng)的所述第二拼接子圖像。
[0014] 第二方面，本發(fā)明實(shí)施例提供一種全景圖像的獲取裝置，包括：獲取模塊，用于獲 取至少兩張第一圖像；提取模塊，用于提取所述第一圖像的背景圖像和前景圖像；確定模 塊，用于確定所述至少兩張第一圖像第一圖像的背景圖像的第一重疊圖像和第一非重疊圖 像，以及確定所述至少兩張第一圖像第一圖像的前景圖像的第二重疊圖像和第二非重疊圖 像；分割模塊，用于對(duì)所述第一重疊圖像進(jìn)行分割得到多個(gè)第一分割子圖像，對(duì)所述第二重 疊圖像進(jìn)行分割得到多個(gè)第二分割子圖像；選取模塊，用于為每個(gè)所述第一分割子圖像在 至少兩個(gè)所述第一圖像的背景圖像中選取對(duì)應(yīng)第一拼接子圖像，為每個(gè)所述第二分割子圖 像在至少兩個(gè)所述第一圖像的前景圖像中選取對(duì)應(yīng)的第二拼接子圖像；拼接模塊，用于對(duì) 多個(gè)所述第一分割子圖像對(duì)應(yīng)的第一拼接子圖像進(jìn)行拼接得到目標(biāo)背景圖像，對(duì)多個(gè)所述 第二分割子圖像對(duì)應(yīng)的第二拼接子圖像進(jìn)行拼接得到目標(biāo)前景圖像；合成模塊，用于對(duì)所 述目標(biāo)背景圖像、所述目標(biāo)前景圖像、所述第一非重疊圖像和所述第二非重疊圖像進(jìn)行合 成，得到目標(biāo)全景圖像。
[0015] 結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一圖像的深 度值確定所述第一圖像的前景模板；所述第一前景模板為〇, 1組成的矩陣，在同一像素點(diǎn) 處，提取前景模板1所對(duì)應(yīng)的所述第一圖像的像素點(diǎn)，構(gòu)成所述第一圖像的前景圖像；在同 一像素點(diǎn)處，提取前景模板的補(bǔ)中1所對(duì)應(yīng)的所述第一圖像的像素點(diǎn)，構(gòu)成所述第一圖像 的背景圖像。
[0016] 結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的 實(shí)現(xiàn)方式中，所述確定模塊具體用于：通過(guò)單應(yīng)轉(zhuǎn)換將每個(gè)所述第一背景圖像轉(zhuǎn)換為第一 背景虛擬圖像，通過(guò)單應(yīng)轉(zhuǎn)換將每個(gè)所述第一前景圖像轉(zhuǎn)換為第一前景虛擬圖像；根據(jù)所 述第一背景虛擬圖像計(jì)算各個(gè)所述第一背景圖像的所述第一重疊圖像和所述第一非重疊 圖像，根據(jù)所述第一前景虛擬圖像計(jì)算各個(gè)所述第一前景圖像的所述第二重疊圖像和所述 第二非重疊圖像。
[0017] 結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式或第二方面的第二種可能的 實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式中，所述分割模塊具體用于：計(jì)算所述第一 重疊圖像在各個(gè)顏色通道上的第一差值，對(duì)所述第一差值依次進(jìn)行拉普拉斯濾波變換和平 滑處理，得到第一摩爾斯函數(shù)值；根據(jù)所述第一摩爾斯函數(shù)值確定所述第一重疊圖像上的 所述第一分割子圖像；計(jì)算所述第二重疊圖像在各個(gè)顏色通道上的第二差值圖像，對(duì)所述 第二差值圖像依次進(jìn)行拉普拉斯濾波變換和平滑處理，得到第二摩爾斯函數(shù)值；根據(jù)所述 第二摩爾斯函數(shù)值確定所述第二重疊圖像上的所述第二分割子圖像。
[0018] 結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第二方面的第四種可能的實(shí)現(xiàn)方式 中，所述分割模塊還用于：根據(jù)所述第一重疊圖像上的像素點(diǎn)的第一摩爾斯函數(shù)值確定所 述第一重疊圖像上的第一局部最小值點(diǎn)、第一局部最大值點(diǎn)和第一鞍點(diǎn)；根據(jù)每一個(gè)所述 第一局部最小值點(diǎn)、一個(gè)第一局部最大值點(diǎn)和兩個(gè)所述第一鞍點(diǎn)確定一個(gè)第一分割子圖 像；根據(jù)所述第二重疊圖像上的像素點(diǎn)的第二摩爾斯函數(shù)值確定所述第二重疊圖像上的第 二局部最小值點(diǎn)，第二局部最大值點(diǎn)和第二鞍點(diǎn)；根據(jù)每一個(gè)所述第二局部最小值點(diǎn)，一個(gè) 第二局部最大值點(diǎn)和兩個(gè)所述第二鞍點(diǎn)確定一個(gè)第二分割子圖像。
[0019] 結(jié)合第二方面的第四種可能的實(shí)現(xiàn)方式，在第