相機(jī)系統(tǒng)及其圖像配準(zhǔn)方法
【專利說明】
[0001] 本申請(qǐng)要求于2014年11月3日提交到韓國知識(shí)產(chǎn)權(quán)局的第10-2014-0151584號(hào) 韓國專利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)的公開通過引用全部合并于此。
技術(shù)領(lǐng)域
[0002] 與示例性實(shí)施例一致的方法和設(shè)備涉及相機(jī)系統(tǒng)及其圖像配準(zhǔn)方法。
【背景技術(shù)】
[0003] 最近，已經(jīng)對(duì)使用兩個(gè)或更多個(gè)傳感器的互補(bǔ)信息融合進(jìn)行了大量的研究以提高 應(yīng)用在許多技術(shù)應(yīng)用（例如，監(jiān)控系統(tǒng)和醫(yī)學(xué)成像系統(tǒng)）中的圖像處理算法（諸如，變化檢 測、運(yùn)動(dòng)檢測、超分辨率圖像恢復(fù)和目標(biāo)識(shí)別/追蹤）的準(zhǔn)確性和可靠性。

【發(fā)明內(nèi)容】

[0004] -個(gè)或多個(gè)示例性實(shí)施例提供在以一體的方式（從而使多個(gè)相機(jī)以相同的方式 運(yùn)動(dòng)（例如，平移或傾斜））安裝有多個(gè)相機(jī)的多相機(jī)系統(tǒng)（例如，立體相機(jī)系統(tǒng)）中更容 易和更準(zhǔn)確地執(zhí)行圖像配準(zhǔn)的方法。
[0005] 本發(fā)明構(gòu)思的各個(gè)方面將在下面的描述中部分闡述，部分從該描述將是清楚的， 或者可以通過呈現(xiàn)的實(shí)施例的實(shí)踐而獲知。
[0006] 根據(jù)一個(gè)示例性實(shí)施例，提供一種由處理器執(zhí)行的用于配準(zhǔn)由以相同方式運(yùn)動(dòng)的 多個(gè)相機(jī)拍攝的圖像的圖像配準(zhǔn)方法，所述圖像配準(zhǔn)方法包括：獲取參考對(duì)象的多組圖像， 其中，所述多組圖像中的每組圖像包括由面向相同方向的所述多個(gè)相機(jī)拍攝的圖像，不同 組的圖像使用面向不同方向的所述多個(gè)相機(jī)來拍攝；使用所述多組圖像執(zhí)行圖像配準(zhǔn)；并 提供示出圖像配準(zhǔn)結(jié)果的結(jié)果圖像。
[0007] 執(zhí)行圖像配準(zhǔn)的步驟可包括：通過合成從所述多組圖像選擇的并由同一相機(jī)拍攝 的圖像來對(duì)所述多個(gè)相機(jī)中的每個(gè)生成參考圖像；通過對(duì)在包括所述參考圖像的多個(gè)參考 圖像之間匹配的相應(yīng)的特征點(diǎn)進(jìn)行匹配來估計(jì)轉(zhuǎn)換模型。
[0008] 所述多組圖像中的每組圖像可包括示出參考對(duì)象的不同波長特性的兩個(gè)圖像。
[0009] 執(zhí)行圖像配準(zhǔn)的步驟可包括：通過在所述多組圖像中遮蔽參考對(duì)象外部的區(qū)域來 生成特征點(diǎn)圖像；通過合成從特征點(diǎn)圖像選擇的并由同一相機(jī)拍攝的圖像，來為所述多個(gè) 相機(jī)中的每個(gè)生成參考圖像。
[0010] 根據(jù)示例性實(shí)施例的另一方面，提供一種由處理器執(zhí)行的用于配準(zhǔn)由以相同方式 運(yùn)動(dòng)的多個(gè)相機(jī)拍攝的圖像的圖像配準(zhǔn)方法，所述圖像配準(zhǔn)方法包括：將第一相機(jī)的視角 與第二相機(jī)的視角進(jìn)行比較；當(dāng)?shù)谝幌鄼C(jī)的視角與第二相機(jī)的視角之間的差大于參考值 時(shí)，根據(jù)第一配準(zhǔn)算法執(zhí)行圖像配準(zhǔn)，當(dāng)?shù)谝幌鄼C(jī)的視角與第二相機(jī)的視角之間的差小于 或等于參考值時(shí)，根據(jù)與第一配準(zhǔn)算法不同的第二配準(zhǔn)算法來執(zhí)行圖像配準(zhǔn)；提供示出根 據(jù)第一配準(zhǔn)算法或第二配準(zhǔn)算法所執(zhí)行的圖像配準(zhǔn)的結(jié)果的結(jié)果圖像。
[0011] 根據(jù)第一配準(zhǔn)算法執(zhí)行圖像配準(zhǔn)的步驟可包括：獲取參考對(duì)象的多組圖像，其 中，所述多組中的每組圖像包括由面向相同方向的所述多個(gè)相機(jī)拍攝的圖像，不同組的圖 像使用面向不同方向的所述多個(gè)相機(jī)來拍攝；使用所述多組圖像執(zhí)行圖像配準(zhǔn)。
[0012] 執(zhí)行圖像配準(zhǔn)的步驟可包括：通過合成從所述多組圖像選擇的并由同一相機(jī)拍攝 的圖像來對(duì)所述多個(gè)相機(jī)中的每個(gè)生成參考圖像；通過對(duì)包括所述參考圖像的多個(gè)參考圖 像之間的匹配的相應(yīng)的特征點(diǎn)進(jìn)行匹配來估計(jì)轉(zhuǎn)換模型。
[0013] 參考圖像中的參考對(duì)象的中心坐標(biāo)可被用作為參考圖像的特征點(diǎn)的坐標(biāo)。
[0014] 執(zhí)行圖像配準(zhǔn)的步驟可包括：通過在所述多組圖像中遮蔽參考對(duì)象外部的區(qū)域來 生成特征點(diǎn)圖像；通過合成從特征點(diǎn)圖像選擇的并由同一相機(jī)拍攝的圖像來對(duì)多個(gè)相機(jī)中 的每個(gè)生成參考圖像。
[0015] 根據(jù)第二配準(zhǔn)算法執(zhí)行圖像配準(zhǔn)的步驟可包括：獲取參考對(duì)象的多個(gè)圖像，其中， 所述多個(gè)圖像中的每個(gè)通過面向相同方向的所述多個(gè)相機(jī)中的每個(gè)來拍攝；通過匹配所述 多個(gè)圖像之間的相應(yīng)的特征點(diǎn)來估計(jì)轉(zhuǎn)換模型。
[0016] 根據(jù)示例性實(shí)施例的另一方面，提供一種相機(jī)系統(tǒng)，包括：多個(gè)相機(jī)，被配置為： 以相同的方式運(yùn)動(dòng)；以及控制器，被配置為：獲取參考對(duì)象的多組圖像，使用所述多組圖像 執(zhí)行圖像配準(zhǔn)，并執(zhí)行示出圖像配準(zhǔn)的結(jié)果的結(jié)果圖像；其中，所述多組中的每組包括由面 向相同方向的所述多個(gè)相機(jī)拍攝的圖像，不同組的圖像使用面向不同方向的所述多個(gè)相機(jī) 來拍攝。
[0017] 控制器還可被配置為：通過合成從所述多組圖像選擇的并由同一相機(jī)拍攝的圖像 來對(duì)所述多個(gè)相機(jī)中的每個(gè)生成參考圖像，并且通過對(duì)在包括所述參考圖像的多個(gè)參考圖 像之間匹配的相應(yīng)的特征點(diǎn)進(jìn)行匹配來估計(jì)轉(zhuǎn)換模型。
[0018] 參考圖像中的參考對(duì)象的中心坐標(biāo)可被用作為參考圖像的特征點(diǎn)的坐標(biāo)。
[0019] 控制器還可被配置為：通過在所述多組圖像中遮蔽參考對(duì)象外部的區(qū)域來生成特 征點(diǎn)圖像，并且通過合成從特征點(diǎn)圖像選擇的并由同一相機(jī)拍攝的圖像來對(duì)所述多個(gè)相機(jī) 中的每個(gè)生成參考圖像。
[0020] 根據(jù)示例性實(shí)施例的另一方面，提供一種相機(jī)系統(tǒng)，包括：多個(gè)相機(jī)，被配置為： 以相同的方式運(yùn)動(dòng)；以及控制器，被配置為：比較第一相機(jī)的視角和第二相機(jī)的視角，當(dāng)?shù)?一相機(jī)的視角與第二相機(jī)的視角之間的差大于參考值時(shí)，根據(jù)第一配準(zhǔn)算法執(zhí)行圖像配 準(zhǔn)，當(dāng)?shù)谝幌鄼C(jī)的視角與第二相機(jī)的視角之間的差小于或等于參考值時(shí)，根據(jù)與第一配準(zhǔn) 算法不同的第二配準(zhǔn)算法來執(zhí)行圖像配準(zhǔn)，并且執(zhí)行示出根據(jù)第一配準(zhǔn)算法或第二配準(zhǔn)算 法所執(zhí)行的圖像配準(zhǔn)的結(jié)果的結(jié)果圖像的提供。
[0021] 控制器還可被配置為：獲取參考對(duì)象的多組圖像，并且使用所述多組圖像執(zhí)行圖 像配準(zhǔn)，其中，所述多組中的每組包括由面向相同方向的所述多個(gè)相機(jī)拍攝的圖像，不同組 的圖像使用面向不同方向的所述多個(gè)相機(jī)來拍攝。
[0022] 控制器還可被配置為：通過合成從所述多組圖像選擇的并由同一相機(jī)拍攝的圖像 來對(duì)所述多個(gè)相機(jī)中的每個(gè)生成參考圖像，并且通過對(duì)在包括所述參考圖像的多個(gè)參考圖 像之間匹配的相應(yīng)的特征點(diǎn)進(jìn)行匹配來估計(jì)轉(zhuǎn)換模型。
[0023] 參考圖像中的參考對(duì)象的中心坐標(biāo)可被用作為參考圖像的特征點(diǎn)的坐標(biāo)。
[0024] 控制器還可被配置為：通過在所述多組圖像中遮蔽參考對(duì)象外部的區(qū)域來生成特 征點(diǎn)圖像，并且通過合成從特征點(diǎn)圖像選擇的并由同一相機(jī)拍攝的圖像來對(duì)所述多個(gè)相機(jī) 中的每個(gè)生成參考圖像。
[0025] 控制器還可被配置為：獲取參考對(duì)象的多個(gè)圖像，并且通過匹配所述多個(gè)圖像之 間的相應(yīng)的特征點(diǎn)來估計(jì)轉(zhuǎn)換模型，其中，所述多個(gè)圖像中的每個(gè)由面向相同方向的所述 多個(gè)相機(jī)中的每個(gè)來拍攝。
【附圖說明】
[0026] 從以下結(jié)合附圖對(duì)示例性實(shí)施例的描述，這些和/或其他方面將變得清楚和更容 易理解，其中：
[0027] 圖1示出根據(jù)示例性實(shí)施例的用于設(shè)置圖像配準(zhǔn)算法的立體相機(jī)系統(tǒng)；
[0028] 圖2是示意性地示出根據(jù)示例性實(shí)施例的圖像配準(zhǔn)方法的流程圖；
[0029] 圖3示出根據(jù)示例性實(shí)施例的針對(duì)參考圖像獲取特征點(diǎn)圖像的方法；
[0030] 圖4示出根據(jù)示例性實(shí)施例的特征點(diǎn)圖像；
[0031] 圖5是示出根據(jù)示例性實(shí)施例的圖像配準(zhǔn)的處理的流程圖；
[0032] 圖6示出根據(jù)示例性實(shí)施例的參考圖像；
[0033] 圖7是示出根據(jù)示例性