用于校準圖像的方法和設(shè)備的制造方法
【專利說明】
[0001 ] 本申請要求于2014年11月20日提交到韓國知識產(chǎn)權(quán)局的第10-2014-0162651號韓 國專利申請的優(yōu)先權(quán)，該韓國專利申請的全部內(nèi)容通過引用其全部合并于此。
技術(shù)領(lǐng)域
[0002] 至少一個示例實施例設(shè)及一種用于校準多視點圖像的方法和/或設(shè)備。
【背景技術(shù)】
[0003] 通常，顯示=維(3D)圖像的3D顯示設(shè)備可使用從包括左視點圖像和右視點圖像的 立體圖像產(chǎn)生多視點圖像的方法來產(chǎn)生將被顯示的圖像。在運種產(chǎn)生多視點圖像的方法 中，可基于左視點圖像和右視點圖像產(chǎn)生深度圖像，并可執(zhí)行圖像校準W均衡左視點圖像 與右視點圖像之間的所有相應(yīng)像素的高度值。通常，基于對極幾何(邱ipoIar geometry)的 圖像校準可被應(yīng)用于調(diào)整左視點圖像與右視點圖像之間的高度差。

【發(fā)明內(nèi)容】

[0004] 至少一個示例實施例設(shè)及一種校準圖像的方法。
[0005] 根據(jù)至少一個示例實施例，所述方法可包括:從包括第一視點圖像和第二視點圖 像的多視點圖像提取特征點，從包括在第一視點圖像的當前圖像帖中的特征點之中選擇與 第一視點圖像的在前圖像帖的特征點相應(yīng)的第一特征點;從第一特征點之中選擇與包括在 第二視點圖像的當前圖像帖中的特征點相應(yīng)的第二特征點;基于第二特征點對第二視點圖 像的當前圖像帖執(zhí)行圖像校準。
[0006] 選擇第一特征點的步驟可包括:確定第一視點圖像的當前圖像帖與第一視點圖像 的在前圖像帖之間的相應(yīng)特征點對;使用第一視點圖像的當前圖像帖與第一視點圖像的在 前圖像帖之間的基礎(chǔ)矩陣，從所述相應(yīng)特征點對之中選擇第一特征點。
[0007] 選擇第一特征點的步驟可包括:從確定的相應(yīng)特征點對之中隨機選擇多對特征點 對;基于選擇所述多對特征點對的位置信息來確定所述基礎(chǔ)矩陣。
[0008] 執(zhí)行圖像校準的步驟可包括:基于第二特征點和第二視點圖像的當前圖像帖中的 與第二特征點相應(yīng)的第=特征點，對第二視點圖像的當前圖像帖執(zhí)行圖像校準。
[0009] 執(zhí)行圖像校準的步驟可包括:基于第二特征點的位置信息和第=特征點的位置信 息，確定第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的單應(yīng)矩陣;通過 將所述單應(yīng)矩陣應(yīng)用于第二視點圖像的當前圖像帖來調(diào)整包括在第二視點圖像的當前圖 像帖中的像素的位置。
[0010] 執(zhí)行圖像校準的步驟可包括:基于捜索區(qū)域?qū)Φ诙卣鼽c和第=特征點進行篩 選;基于通過篩選剩余的第二特征點和剩余的第=特征點對第二視點圖像的當前圖像帖執(zhí) 行圖像校準。
[0011] 所述方法還可包括:基于第一視點圖像的當前圖像帖與第二視點圖像的當前圖像 帖之間的單應(yīng)矩陣，調(diào)整包括在第二視點圖像的當前圖像帖中的像素的顏色值。
[0012] 調(diào)整顏色值的步驟可包括:使用所述單應(yīng)矩陣來使第二視點圖像的當前圖像帖變 形;將第二視點圖像的經(jīng)過變形的當前圖像帖映射到第一視點圖像的當前圖像帖；識別第 二視點圖像的當前圖像帖與映射了第二視點圖像的當前圖像帖的第一視點圖像的當前圖 像帖中的相應(yīng)像素;基于識別出的像素的顏色值來確定顏色變換矩陣;通過將顏色變換矩 陣應(yīng)用于第二視點圖像的當前圖像帖來調(diào)整包括在第二視點圖像的當前圖像帖中的像素 的顏色值。
[0013] 提取特征點的步驟可包括:對第一視點圖像的當前圖像帖進行下采樣;從下采樣 的當前圖像帖提取特征點。
[0014] 其它示例實施例設(shè)及一種用于校準圖像的設(shè)備。
[0015] 根據(jù)至少一個示例實施例，所述設(shè)備可包括:特征點提取器，被配置為從包括第一 視點圖像和第二視點圖像的多視點圖像提取特征點；特征點確定器，被配置為基于包括在 第一視點圖像的在前圖像帖中的特征點，從第一視點圖像的當前圖像帖和第二視點圖像的 當前圖像帖選擇將被用于圖像校準的特征點；圖像校準器，被配置為基于選擇的特征點執(zhí) 行圖像校準。
[0016] 圖像校準器可包括:幾何校準器，被配置為基于將被用于圖像校準的特征點的位 置信息調(diào)整包括在第二視點圖像的當前圖像帖中的像素的位置。
[0017] 圖像校準器可包括:顏色校正器，被配置為基于第一視點圖像的當前圖像帖與第 二視點圖像的當前圖像帖之間的單應(yīng)矩陣，調(diào)整包括在第二視點圖像的當前圖像帖中的像 素的顏色值。
[0018] 顏色校正器可基于所述單應(yīng)矩陣確定顏色變換矩陣，并通過將所述顏色變換矩陣 應(yīng)用于第二視點圖像的當前圖像帖來調(diào)整包括在第二視點圖像的當前圖像帖中的像素的 顏色值。
[0019] 根據(jù)至少一個示例實施例，一種用于校準包括第一視點圖像和第二視點圖像的多 視點圖像的設(shè)備包括:特征點確定器，被配置為通過將第一視點圖像的當前帖的特征點與 第一視點圖像的在前帖的特征點進行匹配W產(chǎn)生第一匹配特征點，來對第一視點圖像的當 前帖執(zhí)行第一篩選操作。特征點確定器被配置為通過將第一匹配特征點與第二視點圖像的 當前帖的特征點進行匹配W產(chǎn)生第二匹配特征點，來對第二視點圖像的當前帖執(zhí)行第二篩 選操作。所述設(shè)備包括圖像校準器，其中，圖像校準器被配置為基于第二匹配特征點來校準 多視點圖像。
[0020] 根據(jù)至少一個示例實施例，特征點確定器被配置為通過W下操作來執(zhí)行在第一篩 選操作中的匹配:確定第一視點圖像的當前帖與第一視點圖像的在前帖之間的特征點對； 使用第一視點圖像的當前帖與第一視點圖像的在前帖之間的基礎(chǔ)矩陣，從所述特征點對選 擇特征點。
[0021 ]根據(jù)至少一個示例實施例，圖像校準器包括:幾何校準器，被配置為基于第二匹配 特征點的位置信息，調(diào)整第二視點圖像的當前帖中的像素的位置。
[0022] 根據(jù)至少一個示例實施例，幾何校準器被配置為:基于第二匹配特征點的位置信 息來確定第一視點圖像的當前帖與第二視點圖像的當前帖之間的單應(yīng)矩陣，并使用所述單 應(yīng)矩陣來調(diào)整第二視點圖像的當前帖中的像素的位置。
[0023] 根據(jù)至少一個示例實施例，圖像校準器包括:顏色校正器，被配置為基于第一視點 圖像的當前帖與第二視點圖像的當前帖之間的單應(yīng)矩陣來調(diào)整第二視點圖像的當前帖中 的像素的顏色值。
[0024] 根據(jù)至少一個示例實施例，顏色校正器被配置為:基于所述單應(yīng)矩陣來確定顏色 變換矩陣，并使用所述顏色變換矩陣來調(diào)整第二視點圖像的當前帖中的像素的顏色值。
[0025] 根據(jù)至少一個示例實施例，一種用于校準包括第一視點圖像和第二視點圖像的多 視點圖像的設(shè)備包括:特征點提取器，被配置為從第一視點圖像的當前帖提取特征點。所述 設(shè)備可包括特征點確定器，其中，所述特征點確定器被配置為:確定提取的特征點與第一視 點圖像的在前帖的初始特征點之間的相應(yīng)特征點對，使用所述相應(yīng)特征點對來產(chǎn)生基礎(chǔ)矩 陣，并基于所述基礎(chǔ)矩陣和條件來確定第一視點圖像的在前帖與第一視點圖像的當前帖之 間是否已經(jīng)發(fā)生場景改變。
[0026] 根據(jù)至少一個示例實施例，特征點確定器被配置為通過W下操作來確定所述相應(yīng) 特征點對:基于提取的特征點的坐標與所述初始特征點的坐標之間的距離將提取的特征點 與所述初始特征點進行匹配，W產(chǎn)生匹配特征點對，并使用具有小于或等于闊值的距離值 的匹配特征點對來產(chǎn)生所述相應(yīng)特征點對。
[0027] 根據(jù)至少一個示例實施例，特征點確定器被配置為通過W下操作來產(chǎn)生所述基礎(chǔ) 矩陣：隨機提取多對相應(yīng)特征點對，并使用提取的所述多對相應(yīng)特征點對的位置信息來產(chǎn) 生所述基礎(chǔ)矩陣。
[0028] 根據(jù)至少一個示例實施例，所述設(shè)備包括圖像校準器，其中，所述圖像校準器被配 置為:如果未發(fā)生改變場景，則使用所述相應(yīng)特征點對來校準多視點圖像，如果已經(jīng)發(fā)生場 景改變，則在不使用所述相應(yīng)特征點對的情況下校準多視點圖像。
[0029] 根據(jù)至少一個示例實施例，特征點確定器被配置為:將第一視點圖像的當前帖劃 分為包括提取的特征點的捜索區(qū)域，并通過在每個捜索區(qū)域中選擇具有最大分數(shù)的提取的 特征點來減小提取的特征點的數(shù)量，其中，分數(shù)指示提取的特征點在所述相應(yīng)特征點對中 的可能性。
[0030] 根據(jù)至少一個示例實施例，一種用于校準包括第一視點圖像和第二視點圖像的多 視點圖像的設(shè)備包括:特征點確定器，被配置為從第一視點圖像的當前圖像帖中的提取的 特征點之中選擇與第一視點圖像的在前圖像帖的特征點相應(yīng)的第一特征點。特征點確定器 被配置為從第一特征點之中選擇與第二視點圖像的當前圖像帖中的特征點相應(yīng)的第二特 征點。所述設(shè)備包括圖像校準器，其中，圖像校準器被配置為基于第二特征點來對第二視點 圖像的當前圖像帖執(zhí)行圖像校準。
[0031] 根據(jù)至少一個示例實施例，特征點確定器被配置為通過W下操作來選擇第一特征 點：確定第一視點圖像的當前圖像帖與第一視點圖像的在前圖像帖之間的相應(yīng)特征點對， 并使用第一視點圖像的當前圖像帖與第一視點圖像的在前圖像帖之間的基礎(chǔ)矩陣來在所 述相應(yīng)特征點對之中選擇第一特征點。
[0032] 根據(jù)至少一個示例實施例，特征點確定器被配置為:通過從確定的相應(yīng)特征點對 之中隨機選擇多對特征點對，并基于選擇的所述多對特征點對的位置信息來確定所述基礎(chǔ) 矩陣，來選擇第一特征點。
[0033] 根據(jù)至少一個示例實施例，特征點確定器被配置為通過W下操作來確定所述相應(yīng) 特征點對:基于指示特征點的鄰域?qū)傩缘奶卣鼽c描述符的差異來確定所述相應(yīng)特征點對。
[0034] 根據(jù)至少一個示例實施例，圖像校準器被配置為:基于第二特征點和第二視點圖 像的當前圖像帖中的與第二特征點相應(yīng)的第=特征點，對第二視點圖像的當前圖像帖執(zhí)行 圖像校準。
[0035] 根據(jù)至少一個示例實施例，圖像校準器被配置為通過W下操作來執(zhí)行圖像校準： 基于第二特征點的位置信息和第=特征點的位置信息來確定第一視點圖像的當前圖像帖 與第二視點圖像的當前圖像帖之間的單應(yīng)矩陣，并通過將所述單應(yīng)矩陣應(yīng)用于第二視點圖 像的當前圖像帖來調(diào)整第二視點圖像的當前圖像帖中的像素的位置。
[0036] 根據(jù)至少一個示例實施例，圖像校準器被配置為通過W下操作來執(zhí)行圖像校準： 基于捜索區(qū)域?qū)Φ诙卣鼽c進行篩選;基于第二特征點之中的在篩選之后剩余的第二特征 點對第二視點圖像的當前圖像帖執(zhí)行圖像校準。
[0037] 根據(jù)至少一個示例實施例，圖像校準器被配置為通過W下操作來執(zhí)行圖像校準： 通過基于第二特征點的位置信息和第=特征點的位置信息，調(diào)整第二視點圖像的當前圖像 帖中的像素的縱坐標值。
[0038] 示例實施例的另外的方面將在下面描述中部分進行闡述，部分從該描述將是清楚 的，或者可W通過本公開的實踐而獲知。
【附圖說明】
[0039] 從W下結(jié)合附圖對示例實施例進行的描述，運些和/或其它方面將變得明顯且更 容易理解，其中：
[0040] 圖1是示出根據(jù)至少一個示例實施例的用于校準圖像的設(shè)備的整體操作的示圖；
[0041] 圖2示出根據(jù)至少一個示例實施例的基于第一視點圖像和第二視點圖像由用于校 準圖像的設(shè)備執(zhí)行圖像校準的操作的示例；
[0042] 圖3是示出根據(jù)至少一個示例實施例的用于校準圖像的設(shè)備的配置的示圖；
[0043] 圖4示出根據(jù)至少一個示例實施例的確定參考特征點的操作的示例；
[0044] 圖5示出根據(jù)至少一個示例實施例的執(zhí)行局部最大檢測的操作的示例；
[0045] 圖6示出根據(jù)至少一個示例實施例的基于參考特征點來執(zhí)行圖像校準的操作的示 例；
[0046] 圖7是示出根據(jù)至少一個示例實施例的校準圖像的方法的流程圖；
[0047] 圖8是示出根據(jù)至少一個示例實施例的基于基礎(chǔ)矩陣來確定匹配特征點的操作是 否成功的過程的流程圖；
[0048] 圖9是示出根據(jù)至少一個示例實施例的執(zhí)行顏色校正的過程的流程圖。
【具體實施方式】
[0049] 現(xiàn)在將參照附圖更充分地描述本發(fā)明構(gòu)思，在附圖中示出了本發(fā)明構(gòu)思的示例實 施例。提供運些示例實施例使得本公開將是徹底和完整的，并且運些示例實施例將向本領(lǐng) 域的技術(shù)人員充分傳達本公開的發(fā)明構(gòu)思。本發(fā)明構(gòu)思可W W具有各種修改的許多不同形 式來實施，并且一些實施例將在附圖中被示出并被詳細解釋。然而，運不應(yīng)該被解釋為受限 于在此闡述的示例實施例，相反，應(yīng)該理解:在不脫離本發(fā)明構(gòu)思的原理和精神的情況下， 可對運些示例實施例做改變，本發(fā)明構(gòu)思的范圍在權(quán)利要求及其等同物中被限定。相同的 標號始終表示相同的元件。在附圖中，為了清楚起見，夸大了層和區(qū)域的厚度。
[0050]將理解，雖然術(shù)語"第一"、"第二"等可在此用于描述各種元件，但是運些元件不應(yīng) 受運些術(shù)語