410指示第一視點圖 像的在前圖像帖。相似地，圖像帖440指示第二視點圖像的與圖像帖430相應(yīng)的當(dāng)前圖像帖， 圖像帖420指示第二視點圖像的與圖像帖410相應(yīng)的在前圖像帖。
[0167] 圖像校準(zhǔn)設(shè)備可跟蹤第一視點圖像的圖像帖410與圖像帖430之間的相應(yīng)特征點。 圖像校準(zhǔn)設(shè)備可從自圖像帖430提取的特征點之中選擇與圖像帖410的特征點相應(yīng)的第一 特征點。如圖4的示例中所示，特征點412之間的實線指示圖像帖410與圖像帖430之間的特 征點的匹配成功的情況。相反地，特征點414之間的虛線指示特征點的匹配不成功的情況。 在圖4的示例中，從圖像帖430提取了總共八個特征點，并且只有六個特征點與圖像帖410的 特征點相應(yīng)。
[0168] 圖像校準(zhǔn)設(shè)備可使用基礎(chǔ)矩陣確定在圖像帖410與圖像帖430之間對特征點的跟 蹤是否成功。當(dāng)圖像帖410與圖像帖430之間的相應(yīng)特征點的數(shù)量大于期望的(或者可選地， 預(yù)定的)數(shù)量時，圖像校準(zhǔn)設(shè)備可確定在圖像帖410與圖像帖430之間對特征點的跟蹤成功。 相反地，當(dāng)圖像帖410與圖像帖430之間的相應(yīng)特征點的數(shù)量小于或等于期望的（或者可選 地，預(yù)定的)數(shù)量時，圖像校準(zhǔn)設(shè)備可確定在圖像帖410與圖像帖430之間對特征點的跟蹤失 敗。
[0169] 當(dāng)在圖像帖410與圖像帖430之間對特征點的跟蹤被確定為失敗時，圖像校準(zhǔn)設(shè)備 不考慮從圖像帖410提取的特征點，而是基于圖像帖430與圖像帖440之間的相應(yīng)特征點對 來校準(zhǔn)圖像帖440。
[0170] 當(dāng)在圖像帖410與圖像帖430之間對特征點的跟蹤被確定為成功時，圖像校準(zhǔn)設(shè)備 可確定圖像帖410與圖像帖430之間的基礎(chǔ)矩陣，并基于確定的基礎(chǔ)矩陣來確定圖像帖410 與圖像帖430之間的相應(yīng)特征點對。
[0171] 當(dāng)從自圖像帖430提取的特征點之中選擇了與圖像帖410的特征點相應(yīng)的第一特 征點時，圖像校準(zhǔn)設(shè)備可基于從作為第二視點圖像的當(dāng)前圖像帖的圖像帖440提取的特征 點對第一特征點進行篩選。圖像校準(zhǔn)設(shè)備可從在圖像帖430中選擇的第一特征點之中選擇 與圖像帖440的特征點相應(yīng)的第二特征點。圖像校準(zhǔn)設(shè)備可確定圖像帖430與圖像帖440之 間的基礎(chǔ)矩陣，并基于確定的基礎(chǔ)矩陣來確定圖像帖430與圖像帖440之間的相應(yīng)特征點 對。
[0172] 如圖4的示例中所示，特征點450之間的實線指示在圖像帖430與圖像帖440之間匹 配特征點成功的情況。特征點460之間的虛線指示匹配特征點不成功的情況。在圖4的示例 中，在圖像430中總共選擇了六個第一特征點，所述六個第一特征點中僅五個第一特征點與 圖像帖440的特征點相應(yīng)并被選為第二特征點。
[0173] 第二特征點和從圖像帖440提取的特征點之中的與第二特征點相應(yīng)的第=特征點 可被用于圖像校準(zhǔn)。例如，圖像校準(zhǔn)設(shè)備可基于圖像帖430的第二特征點和圖像帖440的第 =特征點的位置信息來確定圖像帖430與圖像帖440之間的單應(yīng)矩陣，并通過將確定的單應(yīng) 矩陣應(yīng)用于圖像帖440來減小圖像帖430與圖像帖440之間圖像高度上的差異。
[0174] 圖5示出根據(jù)至少一個示例實施例的執(zhí)行局部最大檢測的操作的示例。
[0175] 在第一視點圖像的圖像帖中被確定為彼此相應(yīng)的特征點可在特征集中被累積，特 征集的大小可隨時間逐漸增大。圖像校準(zhǔn)設(shè)備可通過局部最大檢測來調(diào)整將被用于圖像校 準(zhǔn)的特征點的數(shù)量，W保持特征集的恒定大小。
[0176] 圖像校準(zhǔn)設(shè)備可使用捜索區(qū)域來篩選第一視點圖像的第二特征點和第二視點圖 像的第=特征點。在圖5的示例中，還示出由圖像校準(zhǔn)設(shè)備減小包括在第一視點圖像的當(dāng)前 圖像帖中的第二特征點的數(shù)量的操作。
[0177] 參照圖5,圖像校準(zhǔn)設(shè)備可基于包括在第一視點圖像的當(dāng)前圖像帖510中的每個第 二特征點520的位置來設(shè)置捜索區(qū)域，并從捜索區(qū)域選擇具有最大分?jǐn)?shù)的特征點。捜索區(qū)域 的大小可W是基于實驗證據(jù)的和/或是用戶定義的。圖像帖530指示通過對圖像帖510執(zhí)行 局部最大檢測而獲得的圖像帖。例如，圖像校準(zhǔn)設(shè)備可將第二特征點（例如，包括在捜索區(qū) 域540中的第二特征點550、第二特征點555和第二特征點560)之中具有最大分?jǐn)?shù)的第二特 征點560確定為局部最大，并從特征集中排除除第二特征點560之外的其它第二特征點550 和555。因此，在第二特征點550、555和560之中僅第二特征點560被確定為參考特征點并被 用于圖像校準(zhǔn)。
[0178] 圖6示出根據(jù)至少一個示例實施例的基于參考特征點執(zhí)行圖像校準(zhǔn)的操作的示 例。
[0179] 參照圖6,圖像帖610指示第一視點圖像的當(dāng)前圖像帖，圖像帖620指示第二視點圖 像的當(dāng)前圖像帖。圖像校準(zhǔn)設(shè)備可基于在圖像帖610中選擇的參考特征點630和在圖像帖 620中選擇的參考特征點640來調(diào)整包括在圖像帖620中的像素的位置。參考特征點630與參 考特征點640可彼此相應(yīng)。
[0180] 圖像校準(zhǔn)設(shè)備可對圖像坐標(biāo)執(zhí)行基于單應(yīng)矩陣的圖像校準(zhǔn)。圖像校準(zhǔn)設(shè)備可基于 參考特征點630和參考特征點640的位置信息來確定圖像帖610與圖像帖620之間的單應(yīng)矩 陣。圖像校準(zhǔn)設(shè)備可通過將確定的單應(yīng)矩陣應(yīng)用于圖像帖620來調(diào)整包括在圖像帖620中的 像素的位置。對于詳細(xì)描述，可對參照圖3提供的描述做參考。
[0181] 穿過每個參考特征點630的線指示核線，圖像校準(zhǔn)設(shè)備可調(diào)整包括在圖像帖620中 的像素的V'位置值。例如，當(dāng)圖像帖610與圖像帖620之間的單應(yīng)矩陣被應(yīng)用于圖像帖620 時，參考特征點640中的參考特征點的V'位置可被調(diào)整到位置650。
[0182] 圖7是示出根據(jù)至少一個示例實施例的校準(zhǔn)圖像的方法的流程圖?？捎蓤D像校準(zhǔn) 設(shè)備執(zhí)行所述校準(zhǔn)圖像的方法。
[0183] 參照圖7,在操作710,圖像校準(zhǔn)設(shè)備(例如，圖像校準(zhǔn)設(shè)備300)從包括第一視點圖 像和第二視點圖像的多視點圖像提取特征點。例如，圖像校準(zhǔn)設(shè)備可使用化rris角點方法、 SIFT方法或FAST方法從多視點圖像提取特征點。
[0184] 在操作720,圖像校準(zhǔn)設(shè)備從包括在第一視點圖像的當(dāng)前圖像帖中的特征點之中 選擇與在前圖像帖的特征點相應(yīng)的第一特征點?？苫诿枋龇牟町悂泶_定第一視點圖像 的當(dāng)前圖像帖與在前圖像帖之間的相應(yīng)特征點對。例如，可從第一視點圖像的當(dāng)前圖像帖 和在前圖像帖的特征點之中將特征點描述符之間的L2距離值滿足期望的（或者可選地，預(yù) 定的)標(biāo)準(zhǔn)的特征點選為相應(yīng)特征點對。在所述特征點對之中，圖像校準(zhǔn)設(shè)備可使用第一視 點圖像的當(dāng)前圖像帖與在前圖像帖之間的基礎(chǔ)矩陣來選擇第一特征點。
[0185] 在操作730,圖像校準(zhǔn)設(shè)備從在操作720確定的第一特征點之中選擇與包括在第二 視點圖像的當(dāng)前圖像帖中的特征點相應(yīng)的第二特征點。例如，圖像校準(zhǔn)設(shè)備可從第一特征 點和第二視點圖像的當(dāng)前圖像帖的特征點之中選擇特征點描述符之間的L2距離值滿足期 望的(或者可選地，預(yù)定的)標(biāo)準(zhǔn)的特征點作為相應(yīng)特征點對。在所述特征點對之中，圖像校 準(zhǔn)設(shè)備可使用第一視點圖像的當(dāng)前圖像帖與第二視點圖像的當(dāng)前圖像帖之間的基礎(chǔ)矩陣 來選擇第二特征點。
[0186] 在操作740,圖像校準(zhǔn)設(shè)備基于在操作730確定的第一視點圖像的第二特征點來調(diào) 整包括在第二視點圖像的當(dāng)前圖像帖中的像素的位置。圖像校準(zhǔn)設(shè)備可基于第二特征點和 第二視點圖像的當(dāng)前圖像帖的特征點之中與第二特征點相應(yīng)的第=特征點的位置信息確 定第一視點圖像的當(dāng)前圖像帖與第二視點圖像的當(dāng)前圖像帖之間的單應(yīng)矩陣，并通過將確 定的單應(yīng)矩陣應(yīng)用于第二視點圖像的當(dāng)前圖像帖來調(diào)整包括在第二視點圖像的當(dāng)前圖像 帖中的像素的位置。
[0187] 圖像校準(zhǔn)設(shè)備可選擇性地執(zhí)行操作750。在操作750,圖像校準(zhǔn)設(shè)備調(diào)整包括在第 二視點圖像的當(dāng)前圖像帖中的像素的顏色值。圖像校準(zhǔn)設(shè)備可使用包括在第一視點圖像的 當(dāng)前圖像帖中的像素與包括在第二視點圖像的當(dāng)前圖形帖中的像素之間的顏色上的差異 來估計顏色變換矩陣。圖像校準(zhǔn)設(shè)備可通過將第一視點圖像的當(dāng)前圖像帖與第二視點圖像 的當(dāng)前圖像帖之間的顏色變換矩陣應(yīng)用于第二視點圖像的當(dāng)前圖像帖來調(diào)整第二視點圖 像的當(dāng)前圖像帖的顏色。將參照圖9進一步詳細(xì)描述操作750。對于參照圖7未提供的描述， 可對參照圖3提供的描述做參考。
[0188] 雖然圖7示出兩個不同視點圖像的示例，但是具有=個或更多個不同視點的多視 點圖像可適用于所述校準(zhǔn)圖像的方法。例如，在多視點圖像具有=個不同視點的情況下，圖 像校準(zhǔn)設(shè)備可從第一視點圖像的第一特征點之中選擇與包括在第二視點圖像的當(dāng)前圖像 帖中的特征點相應(yīng)的特征點，并從第一視點圖像的第一特征點之中選擇與包括在第=視點 圖像的當(dāng)前圖像帖中的特征點相應(yīng)的特征點?？勺詣訄?zhí)行在第一視點圖像與第二視點圖像 之間匹配特征點的操作W及在第一視點圖像與第=視點圖像之間匹配特征點的操作。可與 參照圖3和圖7描述的操作同樣地執(zhí)行其它操作。
[0189] 圖8是示出根據(jù)至少一個示例實施例的基于基礎(chǔ)矩陣確定匹配特征點的操作是否 成功的過程的流程圖。
[0190] 參照圖8,在操作810,圖像校準(zhǔn)設(shè)備(例如，圖像校準(zhǔn)設(shè)備300)對第一視點圖像的 在前圖像帖與當(dāng)前圖像帖之間的被確定為彼此相應(yīng)的特征點對進行采樣。圖像校準(zhǔn)設(shè)備可 在第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間確定的特征點對之中隨機采樣期望的(或 者可選地，預(yù)定的)數(shù)量的特征點對。
[0191] 在操作820,圖像校準(zhǔn)設(shè)備確定第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間的 基礎(chǔ)矩陣。圖像校準(zhǔn)設(shè)備可基于在第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間確定的特 征點對的位置信息來確定基礎(chǔ)矩陣。例如，圖像校準(zhǔn)設(shè)備可通過最小二乘法基于前面提供 的等式2和等式3來確定基礎(chǔ)矩陣。
[0192] 在操作830,圖像校準(zhǔn)設(shè)備確定應(yīng)用基礎(chǔ)矩陣的結(jié)果是否滿足第一條件。例如，圖 像校準(zhǔn)設(shè)備可基于每對特征點對的位置信息和基礎(chǔ)矩陣來確定Sampson距離，并確定 Sampson距離小于或等于特定距離的特征點的比率是否滿足期望的（或者可選地，預(yù)定的） 范圍。
[0193] 在操作840,當(dāng)應(yīng)用基礎(chǔ)矩陣的結(jié)果不滿足第一條件時，圖像校準(zhǔn)設(shè)備確定重復(fù)次 數(shù)是否大于或等于期望的(或者可選地，預(yù)定的)重復(fù)次數(shù)。例如，圖像校準(zhǔn)設(shè)備可確定重復(fù) 次數(shù)是否超過10000次。
[0194] 當(dāng)重復(fù)次數(shù)的數(shù)量小于期望的（或者可選地，預(yù)定的）重復(fù)次數(shù)時，圖像校準(zhǔn)設(shè)備 可返回操作810,并在第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間確定的所有特征點對 中隨機采樣期望的（或者可選地，預(yù)定的）數(shù)量的特征點對。在操作850,當(dāng)重復(fù)次數(shù)大于或 等于期望的（或者可選地，預(yù)定的）重復(fù)次數(shù)時，圖像校準(zhǔn)設(shè)備確定應(yīng)用基礎(chǔ)矩陣的結(jié)果是 否滿足期望的(或者可選地，預(yù)定的)第二條件。
[01M]在操作860,當(dāng)應(yīng)用基礎(chǔ)矩陣的結(jié)果滿足第一條件或第二條件時，圖像校準(zhǔn)設(shè)備確 定在第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間匹配特征的操作點成功。當(dāng)匹配特征點 的操作被確定為成功時，圖像校準(zhǔn)設(shè)備可基于匹配的結(jié)果對第二視點圖像的當(dāng)前圖像帖執(zhí) 行圖像校準(zhǔn)。第一條件和第二條件可指針對圖3描述的內(nèi)點率。
[0196] 在操作870,當(dāng)在操作850應(yīng)用基礎(chǔ)矩陣的結(jié)果不滿足第二條件時，圖像校準(zhǔn)設(shè)備 確定在第一視點圖像的在前圖像帖與當(dāng)前圖像帖之間匹配特征點的操作失敗。當(dāng)匹配特征 點的操作被確定為失敗時，圖像校準(zhǔn)設(shè)備可確定在第一視點圖像的當(dāng)前圖像帖中發(fā)生場景 改變，并在不使用匹配結(jié)果的情況下執(zhí)行圖像校準(zhǔn)。例如，圖像校準(zhǔn)設(shè)備不考慮第一視點圖 像的在前圖像帖，而是基于通過在第一視點圖像的當(dāng)前圖像帖與第二視點圖像的當(dāng)前圖像 帖之間匹配特征點而確定的特征點對來執(zhí)行圖像校準(zhǔn)。
[0197] 圖9是示出根據(jù)至少一個示例實施例的執(zhí)行顏色校正的步驟的流程圖。
[0198] 參照圖9,在操作910,圖像校準(zhǔn)設(shè)備(例如，圖像校準(zhǔn)設(shè)備910)確定第一視點圖像 的當(dāng)前圖像帖與第二視點圖像的當(dāng)前圖像帖之間的單應(yīng)矩陣。例如，圖像校準(zhǔn)設(shè)備可基于 前面提供的等式9確定第一視點圖像的當(dāng)前圖像帖與第二視點圖像的當(dāng)前圖像帖之間的單 應(yīng)矩陣。
[0199] 在操作920,圖像校準(zhǔn)設(shè)備基于在操作910確定的單應(yīng)矩陣來使第二視點圖像的當(dāng) 前圖像帖變形。例如，圖像校準(zhǔn)設(shè)備可通過將單應(yīng)矩陣的反函數(shù)應(yīng)用于第二視點圖像的當(dāng) 前圖像帖來使第二視點圖像的當(dāng)前圖像帖變形。
[0200] 在操作930,圖像校準(zhǔn)設(shè)備確定顏色變換矩陣。圖像校準(zhǔn)設(shè)備可將第二視點圖像的 經(jīng)過變形的當(dāng)前圖像帖映射到第一視點圖像的當(dāng)前圖像帖。圖像校準(zhǔn)設(shè)備可識別第二視點 圖像的當(dāng)前圖像帖與被映射了第二視點圖像的經(jīng)過變形的當(dāng)前圖像帖的第一視