此可 能期望執(zhí)行圖像校準。當在第一視點圖像的在前圖像帖與當前圖像帖之間對特征點的跟蹤 被確定為失敗時，圖像校準設備300不應用在在前圖像帖與當前圖像帖之間對特征點的跟 蹤結(jié)果，而是使用在第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間對特征 點進行匹配的結(jié)果來執(zhí)行圖像校準。
[0115] 當在第一視點圖像的在前圖像帖與當前圖像帖之間對特征點的跟蹤被確定為成 功時，特征點確定器320可基于在前圖像帖與當前圖像帖之間的相應特征點來更新特征點 集。通過運樣的時間篩選或時間匹配，可從包括在第一視點圖像的當前圖像帖中的特征點 之中選擇出與在前圖像帖的特征點相應的第一特征點。
[0116] 特征點確定器320可從包括在第一視點圖像的當前圖像帖中的第一特征點之中選 擇與第二視點圖像的當前圖像帖的特征點相應的第二特征點。在包括在第二視點圖像的當 前圖像帖中的特征點之中，與第一視點圖像的第二特征點相應的特征點可被稱為第=特征 點。例如，特征點確定器320可將第一特征點和第二特征點之中描述符之間的L2距離值滿足 期望的（或者可選地，預定的）參考的特征點確定為相應特征點。在相應特征點之中，特征點 確定器320可使用第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的基礎矩 陣來確定第二特征點和第=特征點。
[0117] 在示例中，當在時間匹配操作中被確定為內(nèi)點的包括在第一視點圖像的當前圖像 帖中的第一特征點是"?時，特征點確定器320可從包括在第二視點圖像的當前圖像帖 中的特征點之中選擇描述符與》球，非勺描述符具有最小L2距離的特征點心，，u
[0118] 之后，特征點確定器320可基于第一視點圖像的mi.巧日第二視點圖像的確定第 一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的基礎矩陣。例如，特征點確 定器320可基于等式3計算第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間 的基礎矩陣。當通過隨機采樣一致性(RANSAC)方法而具有最大內(nèi)點值的在第一視點圖像的 當前圖像帖與第二視點圖像的當前圖像帖之間的相應特征點分別是"扔!,,:，，和。柏時， 扔If;可與包括在第一視點圖像的當前圖像帖中的第二特征點相應，Pli;可與包括在第二視 點圖像的當前圖像帖中的第=特征點相應。特征點確定器320可確定和1?^，;，并將確定 的Pu和始r添加到特征集。
[0119] 在另一示例中，特征點確定器可調(diào)整特征集的大小?？稍谔卣骷写鎯Φ谝灰朁c 圖像的圖像帖之間的匹配特征點W及第一視點圖像與第二視點圖像之間的匹配特征點，從 而將存儲在特征集中的特征點的數(shù)量可隨匹配特征點的操作的進行而增加。為了減小(或 者可選地，防止)特征集的大小過度增加，特征點確定器320可基于捜索區(qū)域確定從特征集 排除的特征點。
[0120] 特征點確定器320可基于捜索區(qū)域篩選第二特征點，并將篩選之后剩余的特征點 確定為將被用于圖像校準的特征點。例如，特征點確定器320可基于第二特征點設置捜索區(qū) 域，保持包括在每個捜索區(qū)域中的第二特征點之中的具有最大分數(shù)值的第二特征點，并排 除其余第二特征點。分數(shù)可指示當特征點被提取時針對該特征點的可靠度值。捜索區(qū)域的 大小可W是預先確定的，或者可W是基于在第一視點圖像的當前圖像帖中確定的第二特征 點的數(shù)量或第二特征點的分布而自適應地確定的。
[0121] 特征點確定器320可基于捜索區(qū)域篩選與第一視點圖像的第二特征點相應的第二 視點圖像的第=特征點，并將篩選之后剩余的第=特征點確定為將被用于圖像校準的特征 點。運里，將被應用于第二視點圖像的當前圖像帖的捜索區(qū)域的大小可與將被應用于第一 視點圖像的當前圖像帖的捜索區(qū)域的大小相等。
[0122] 例如，特征點確定器320可使用捜索區(qū)域?qū)Πㄔ诘谝灰朁c圖像的當前圖像帖中 的第二特征點和包括在第二視點圖像的當前圖像帖中的第S特征點Pii?執(zhí)行局部最大 檢測。局部最大檢測可用于減?。ɑ蛘呖蛇x地，防止)包括在現(xiàn)有特征集中的特征點與新添 加到特征集的特征點的重疊。
[0123] 特征點確定器320可將全部第二特征點添加到特征集，并從包括在特征集中的 第二特征點之中選擇捜索區(qū)域中具有最大分數(shù)的第二特征點。例如，當從第i第二特征點 的位置起具有半徑r的捜索區(qū)域中存在的第二特征點的索引集是"j"時，特征點確定器 320可基于等式4和5執(zhí)行局部最大檢測。
[0124] [等式 4]
[0126] 在等式4中，"S(X)"表示特征點X的分數(shù)/'G(xl，x2)"表示當x2具有比Xl大的分數(shù) 時輸出結(jié)果值1并且在其它情況下輸出結(jié)果值0的函數(shù)。
[0127] [等式引
[0129] 在等式5中，。aU'），，表示當包括在捜索區(qū)域中的第二特征點具有比包括在捜 索區(qū)域中的另一第二特征點P;,;大的分數(shù)時輸出結(jié)果值1并且在其它情況下輸出結(jié)果值0的 函數(shù)。
[0130] 基于等式4，G(xl，x2)可具有結(jié)果值1或0。當在包括在捜索區(qū)域中的第二特征點之 中特征點具有最大分數(shù)時，可具有結(jié)果值1，并且特征點確定器320可確定第二特 征點戶;的分數(shù)為局部最大。特征點確定器320可從特征集去除捜索區(qū)域中的除第二特征點 ^，^之外的其它第二特征點。
[0131] 特征點確定器320可管理特征集。例如，特征點確定器320可將新的特征點添加到 特征集并可從特征集去除已有特征點。特征點確定器320可通過從特征集去除已有特征點 來緩解(或者可選地，防止)特征集過度增加。當特征集的大小增加時，新添加的特征點可能 對圖像校準具有較小的影響。因此，特征集可W W隊列的形式被配置。
[0132] 當通過局部最大檢測篩選出的特征集的大小變得大于期望的（或者可選地，預定 的）大小時，由于最初存儲的特征點具有最低的被用于針對當前圖像帖的圖像校準的可能 性，因此特征點確定器320可從特征集去除最初存儲的特征點。此外，在執(zhí)行時間匹配之后， 特征點確定器320可將包括在特征集中的特征點的分數(shù)減小期望的（或者可選地，預定的） 比率，例如10%。因此，從與當前圖像帖較少關(guān)聯(lián)的先前圖像帖提取的特征點的可靠度可降 低。
[0133] 特征點確定器320可將通過W上描述的操作確定的并且被用于圖像校準的特征點 發(fā)送到圖像校準器330。
[0134] 圖像校準器330可基于第一視點圖像的第二特征點和第二視點圖像的第=特征點 執(zhí)行圖像校準。圖像校準器330可基于運樣的參考特征點之間的位置關(guān)系來執(zhí)行圖像校準 并隨后執(zhí)行顏色校正。參考特征點可指示將被用于圖像校準的特征點，諸如第二特征點和 第=特征點。圖像校準器330可包括幾何校準器340和顏色校正器350。
[0135] 幾何校準器340可基于第一視點圖像和第二視點圖像的參考特征點的位置信息來 執(zhí)行圖像校準。例如，基于相應特征點存在于不同視點圖像中的核線上的事實，幾何校準器 340可通過將核線在視點圖像之間水平對齊的圖像校準來改變第二視點圖像的當前圖像 帖，W減小第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的垂直視差。
[0136] 幾何校準器340可使用基于對極幾何的圖像變換矩陣來執(zhí)行圖像校準。作為指示 將在通過在A視點圖像的位置處觀察點P獲得的3D相機坐標與通過在B視點圖像的位置處觀 察點P獲得的3D相機的坐標之間建立的線性變換關(guān)系的矩陣的單應矩陣可被用作圖像變換 矩陣。幾何校準器340可基于參考特征點的位置信息確定第一視點圖像的當前圖像帖與第 二視點圖像的當前圖像帖之間的單應矩陣。幾何校準器340可通過將確定的單應矩陣應用 于第二視點圖像的當前圖像帖來調(diào)整包括在第二視點圖像的當前圖像帖中的像素的位置。
[0137] 例如，幾何校準器340可基于通過對特征點進行匹配而獲得的參考特征點和 據(jù)，||的位置信息來執(zhí)行圖像校準。運里，成和雜々別指示在第一視點圖像的當前圖像帖 中確定的參考特征點和在第二視點圖像的當前圖像帖中確定的參考特征點。
[013引當特征點分別是/1,沖/1，《（在所述特征點/1占和/?處，參考特征點巧沖庇 的y坐標值被調(diào)整并且高度被互相匹配)時，和/It，可滿足等式6，/?和.f ?可滿足等 式7。
[0139][等式 6]
[0141] 在等式6中，"F"表示基礎矩陣。
[0142] [等式 7]
[0144] 在等式7中，"[i]"表示矩陣的第i行。原始參考特征點與執(zhí)行了圖像校準的參考特 征點之間的關(guān)系可被表示為等式8。
[0145] [等式引
[0147] 在等式8中，"敍f"和是W分別表示第一幾何單應矩陣和第二幾何單應矩陣。
[0148] 在一個示例中，可通過將第一視點圖像設置為與原始圖像相同而將第一幾何單應 矩陣固定為單位矩陣W提高穩(wěn)定性。幾何校準器WO可基于等式9計算第二幾何單應矩陣 締
[0149] [等式 9]
[0151]在等式9中，可確立龍x'i' x(/k^.>'!' ====八/k如且的-y(城.V'hii" 至"h33"表示第二幾何單應矩陣勺元素，幾何校準器340可通過最小二乘法計算第二幾何 單應矩陣片f的元素。幾何校準器340可通過將第二幾何單應矩陣村f應用于第二視點圖像 的當前圖像帖來執(zhí)行圖像校準。
[0152] 在等式10中，"xi"和"yi"分別表示包括在第二視點圖像的當前圖像帖中的所有像 素之中的第i像素的X坐標值和y坐標值。表示將被應用于第二視點圖像的當前圖像帖的 第二幾何單應矩陣。"X ' i"和"y ' i"分別表示通過應用第二幾何單應矩陣H而調(diào)整的第i像素 的X坐標值和y坐標值。
[0153] [等式 10]
[0155] 通過第二單應矩陣，第一視點圖像的當前圖像帖和第二視點圖像的當前圖像帖中 的相應像素之間的y坐標值上的差可被減小(或者可選地，最小化）。
[0156] 在執(zhí)行圖像校準之后，顏色校正器350可執(zhí)行用于減小視點圖像之間的顏色上的 差異的顏色校正。在示例中，顏色校正器350可基于第一視點圖像的當前圖像帖的顏色值使 用最小二乘法來調(diào)整第二視點圖像的當前圖像帖的顏色值。圖像校準器350可基于參考特 征點來最小化第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的相應特征 點之間顏色上的差異。
[0157] 顏色校正器350可使用包括在第一視點圖像的當前圖像帖中的像素與包括在第二 視點圖像的當前圖像帖中的像素之間的顏色上的差異來確定顏色變換矩陣，并通過將確定 的顏色變換矩陣應用于第二視點圖像的當前圖像帖來調(diào)整第二視點圖像的當前圖像帖的 顏色。
[0158] 例如，顏色校正器350可使用通過執(zhí)行幾何校準而調(diào)整的參考特征點/Xi?和/?. 來確定第一視點圖像的當前圖像帖與第二視點圖像的當前圖像帖之間的單應矩陣HP。將被 用于顏色校正的HP可被稱為光度單應矩陣，并且顏色校正器350可基于等式10計算光度單 應矩陣HP。在等式10中，"hir至"h33"表示光度單應矩陣HP的元素。
[0159] 顏色校正器350可通過將HP的反函數(shù)應用于第二視點圖像的當前圖像帖來使第二 視點圖像的當前圖像帖變形，并基于包括在第一視點圖像的當前圖像帖與第二視點圖像的 經(jīng)過變形的當前圖像帖之間的重疊區(qū)域中的像素的顏色信息（例如，紅色、綠色和藍色 (RGB)值)來確定顏色變換矩陣。例如，顏色校正器350可基于等式11確定顏色變換矩陣叩'。
[0160] [等式 11]
[0162] 在等式11中，《為1，;.>"、"錢、,。，，和"游，，f嚴分別指示包括在重疊區(qū)域中的第二視 點圖像的當前圖像帖的像素的紅色（R)顏色值、綠色（G)顏色值和藍色（B)顏色值。 "游,的"、"巧U"和礙，W)"分別指示包括在重疊區(qū)域中的第一視點圖像的當前圖像帖 的像素的R顏色值、G顏色值和B顏色值。"h"和V'是用于標識包括RGB子像素的像素的位置 的索引。
[0163] 顏色校正器350可基于等式11使用最小二乘法來計算顏色變換矩陣T，并通過將顏 色變換矩陣T應用于包括在第二視點圖像的當前圖像帖中的所有像素的RGB值來校準第二 視點圖像的當前圖像帖的顏色值。通過運樣的顏色校正，可減小第一視點圖像的當前圖像 帖與第二視點圖像的當前圖像帖之間的顏色視差。
[0164] 已經(jīng)執(zhí)行了幾何校準和顏色校正的第二視點圖像可從圖像校準設備300被輸出， 校準的第二視點圖像連同第一視點圖像一起可被用于產(chǎn)生諸如立體圖像的3D內(nèi)容。
[0165] 圖4示出根據(jù)至少一個示例實施例的確定參考特征點的操作的示例。
[0166] 參照圖4,圖像帖430指示第一視點圖像的當前圖像帖，圖像帖