專利名稱：校準(zhǔn)照相機(jī)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及校準(zhǔn)照相機(jī)系統(tǒng)的方法、具有校準(zhǔn)裝置的照相機(jī)系 統(tǒng)、用于照相機(jī)系統(tǒng)中的校準(zhǔn)裝置以及用于實(shí)現(xiàn)所述方法的軟件。
背景技術(shù)：
計(jì)算機(jī)視覺系統(tǒng)通常包括用于捕獲立體圖像的立體照相機(jī)系統(tǒng)， 所述立體圖像隨后以數(shù)字的方式進(jìn)行處理。這樣的照相機(jī)系統(tǒng)要經(jīng)過 校準(zhǔn)，使得圖像數(shù)據(jù)是進(jìn)一步處理的正確輸入。照相機(jī)校準(zhǔn)的目的是
確定從三維(3D)世界坐標(biāo)到二維(2D)圖像坐標(biāo)的變換。 一旦該 變換已知，那么就可以根據(jù)一幅或多幅圖像中的2D信息獲得有關(guān)真 實(shí)世界的3D信息。
在"Camera Self-Calibration: Theory and Experiments", /Voc. 5Warnd五wo/;e"w CVm/ 。附/7她/* WwV rt, pp. 321-334， May 1992中，O. Faugeras、 T. Luong和S. Maybank描述了 一種校準(zhǔn)方法，該方法僅需要 來自圖像序列的點(diǎn)匹配。作者們宣稱僅僅通過使照相機(jī)指向環(huán)境、選 擇感興趣點(diǎn)并且隨著照相機(jī)的運(yùn)動(dòng)在圖像中跟蹤這些點(diǎn)來校準(zhǔn)照相 機(jī)是可能的。無需知道照相機(jī)的運(yùn)動(dòng)。他們的照相機(jī)校準(zhǔn)在兩個(gè)步驟 中進(jìn)行計(jì)算.第一步，找出核(印ipolar)變換.第二步，使用Kruppa 方程將核變換與絕對錐(absolute cone )的圖像關(guān)聯(lián)。
在"Maintaining Stereo Calibration by Tracking Image Points", CT尸/ ,iVewKwA，/""e/9W中，J. Crawley、 P. Bobet和C. Schmid探討了 當(dāng)照相機(jī)的聚焦、捕獲、縮放或聚散角動(dòng)態(tài)改變時(shí)更新照相機(jī)校準(zhǔn)矩 陣的主動(dòng)3D視覺中的問題。作者們提出了 一種無需進(jìn)行矩陣求逆的 根據(jù)場景中的五個(gè)半點(diǎn)計(jì)算投影矩陣的技術(shù)。然后，他們提出了一種 通過跟蹤參考點(diǎn)來校正投影變換矩陣的技術(shù)。實(shí)驗(yàn)表明，聚焦的變化 可以通過跟蹤三個(gè)點(diǎn)獲得的仿射變換(affine transform)來校正。對于 照相機(jī)聚散度的改變，基于跟蹤四個(gè)像點(diǎn)的投影校正比仿射校正矩陣 稍精確些。他們還展示了立體重建如何使得參考框架從一個(gè)目標(biāo)"跳 躍"到另一個(gè)目標(biāo)成為可能。場景中的四個(gè)非共面點(diǎn)的任何集合可以定義這種參考框架。他們展示了如何在立體頭平移或旋轉(zhuǎn)時(shí)保持參考
框架被鎖定到四點(diǎn)集合上。這些技術(shù)使得在目標(biāo)的本征坐標(biāo)內(nèi)重建目
標(biāo)的形狀而不必使新的觀察與部分重建的描述匹配成為可能。
在"Online Stereo Camera Calibration", 7 m Afe挑o iV汰79"-卯2， wprffl^/ 6/9/2卯5中，N. Thacker和P. Courtney指出立體視覺在真實(shí)世界 應(yīng)用中的成功實(shí)現(xiàn)需要自調(diào)諧系統(tǒng)。他們描述了一種用于組合許多信 息源以便校準(zhǔn)立體照相機(jī)系統(tǒng)的統(tǒng)計(jì)框架，其導(dǎo)致允許在照相機(jī)的正 常使用期間持續(xù)進(jìn)行重新校準(zhǔn)的校準(zhǔn)系統(tǒng)。這些作者借助工作視覺系 統(tǒng)中所測量的3D目標(biāo)、精確的機(jī)器人運(yùn)動(dòng)以及匹配的立體特征展示 了這點(diǎn)。更具體而言，Thacker等人使用用于等效匹配的特征點(diǎn)進(jìn)行 變換的迭代估計(jì)過程以及照相機(jī)參數(shù)來校準(zhǔn)立體照相機(jī)系統(tǒng)。

發(fā)明內(nèi)容
以上Faugeras和Crawley的出版物中提及的系統(tǒng)依賴于跟蹤運(yùn)動(dòng) 的參考目標(biāo)以進(jìn)行其照相機(jī)校準(zhǔn)。Thacker的出版物中的系統(tǒng)使用方 法中的參數(shù)采用迭代過程中使用特征點(diǎn)來估計(jì)。
本發(fā)明人提出了可替換的方法，該方法不需要選擇適當(dāng)?shù)膮⒖?點(diǎn)。本發(fā)明提供了無需直接求解投影參數(shù)的校準(zhǔn)照相機(jī)系統(tǒng)的方法。 該方法包括處理第一對圖像的步驟。該處理步驟包括通過平面上的投 影圖或投影映射對所述笫一對的笫一和第二圖像中的至少一幅進(jìn)行 變換。該圖取決于一個(gè)或多個(gè)參數(shù)值，以便將所述第一對的第一圖像 中的核線與該對的第二圖像中的相應(yīng)核線對準(zhǔn)，進(jìn)而得到第二對圖 像。然后，針對視差估計(jì)對應(yīng)的值，這些值將沿著所述第二對的第一
圖像中的第一核線的對應(yīng)第一像素與沿著所述第二對的第二圖像中 的相應(yīng)第二核線的對應(yīng)第二像素關(guān)聯(lián).視差指示深度。隨后，依照對
應(yīng)像素的視差的對應(yīng)值使所述第二固像對的第一圖像中的第一核線 的對應(yīng)像素移位。然后，確定所述第二圖像對的第一和第二圖像之間 的誤差度量。該誤差度量取決于所述一個(gè)或多個(gè)參數(shù)值.接下來，確 定用于所述一個(gè)或多個(gè)參數(shù)值的更新以便降低誤差度量的值，并且使 用這樣確定的更新來更新所述一個(gè)或多個(gè)參數(shù)值.
在本發(fā)明中，深度估計(jì)結(jié)果與所述移位的匹配的質(zhì)量用作照相機(jī) 校準(zhǔn)參數(shù)的更新準(zhǔn)則。因此，使用深度估計(jì)以高效的方式執(zhí)行所述操 作。本發(fā)明因而提供了無需直接方式求解投影參數(shù)的校準(zhǔn)照相機(jī)系統(tǒng)的方法，并且以無需選擇適當(dāng)?shù)膮⒖键c(diǎn)的方式實(shí)現(xiàn)了這點(diǎn)。
依照本發(fā)明的第一實(shí)施例，所述變換步驟包括通過所述第一對的 第一和第二圖像中的某幅圖像的平面上的投影圖矯正所述第一對的 第一和第二圖像中的另一圖像。通過這種方式，可以校準(zhǔn)照相機(jī)，并 且此外只需要矯正所述第一對的單幅圖像，從而降低了處理的量.
依照本發(fā)明的第二實(shí)施例，所述變換步驟包括通過在同一平面上 的單獨(dú)的投影圖矯正所述笫一對的第一和第二圖像，以便水平對準(zhǔn)所 述第二對的圖像中的對應(yīng)核線。盡管矯正兩幅圖像需要額外的處理， 但是兩幅圖像中核線的水平放置有助于進(jìn)一步的處理，
依照本發(fā)明的方法優(yōu)選地包括使下一對圖像經(jīng)過所述處理操作 的步驟，以便在照相機(jī)系統(tǒng)的操作使用時(shí)在進(jìn)行的迭代過程中校準(zhǔn)該 照相機(jī)系統(tǒng)。
本發(fā)明的實(shí)施例涉及包括用于校準(zhǔn)照相機(jī)系統(tǒng)的校準(zhǔn)裝置的照 相機(jī)系統(tǒng)、用于這種系統(tǒng)中的校準(zhǔn)裝置以及用于實(shí)現(xiàn)本發(fā)明的方法的 軟件，它們?nèi)吭谒降臋?quán)利要求中進(jìn)行限定。


下面將通過舉例的方式并且參照附圖進(jìn)一步詳細(xì)地解釋本發(fā)明，
其中
圖1為說明根據(jù)3D世界中的目標(biāo)建立2D圖像的圖示； 圖2為說明從不同的位置并且以不同的取向建立目標(biāo)的兩幅2D圖 像的圖示；
圖3為說明用于匹配不同圖像中圖像位置的幾何配置圖示；
圖4給出了解釋本發(fā)明中的處理的公式；
圖5和圖6為解釋視差估計(jì)的圖示和公式；
圖7為依照本發(fā)明第一實(shí)施例的系統(tǒng)的圖示；
圖8為依照本發(fā)明第二實(shí)施例的系統(tǒng)的圖示；
圖9為標(biāo)識本發(fā)明方法的步驟的過程圖。
在所有附圖中，相似或相應(yīng)的特征由相同的附圖標(biāo)記表示。
具體實(shí)施例方式
在計(jì)算機(jī)視覺中，可以使用多個(gè)照相機(jī)通過立體成像來獲得深度估計(jì)。然后，從不同角度的相同目標(biāo)拍攝的立體對的對應(yīng)圖像之間的 視差可以用于測量距離或深度。人類視覺系統(tǒng)使用視差作為雙眼線索， 以便通過使用左右眼觀看的視差來確定深度。在機(jī)器視覺中，類似的 技術(shù)用于諸如機(jī)器人導(dǎo)航和困像分析之類的應(yīng)用領(lǐng)域中。
存在若干種從一對二維圖像中提取三維結(jié)構(gòu)的方法。在稱為校準(zhǔn) 方法的第一種方法中，需要針對某個(gè)世界坐標(biāo)系統(tǒng)來校準(zhǔn)照相機(jī)。然 后，通過提取該系統(tǒng)的"本質(zhì)"矩陣來計(jì)算對極幾何結(jié)構(gòu)(參見下面
的圖2和圖3)。這允許計(jì)算成像場景的三維歐幾里德(Euclidean) 結(jié)構(gòu).之后，可以通過僅僅搜索核線上的等效物來估計(jì)視差。稱為非 校準(zhǔn)方法的第二種方法相應(yīng)于其中生物系統(tǒng)根據(jù)視覺確定三維結(jié)構(gòu)的 方式。在非校準(zhǔn)系統(tǒng)中，根據(jù)圖像的相應(yīng)關(guān)系計(jì)算稱為基本矩陣的量， 并且其然后用來確定成像場景的投影三維結(jié)構(gòu)。本發(fā)明涉及校準(zhǔn)方法。
典型地，視差估計(jì)基于核線上可獲得的信息，以便建立詳細(xì)的深 度圖。"核線(epipolar line)"的概念將參照圖2和圖3更加詳細(xì)地 加以描述。為了確保核線方法正確地工作，必須適當(dāng)?shù)貙?zhǔn)(即校準(zhǔn)) 照相機(jī)，以便使得對應(yīng)圖像的對應(yīng)像素行與對應(yīng)照相機(jī)的核線重合。
機(jī)械照相機(jī)校準(zhǔn)是一個(gè)棘手的過程，其典型地需要操作者的手工 干預(yù)，有時(shí)如果照相機(jī)在操作使用時(shí)受到抖動(dòng)或震動(dòng)，甚至需要連續(xù) 地或周期地進(jìn)行手工干預(yù)。
本發(fā)明中使用的術(shù)語"校準(zhǔn)"指的是通過僅僅使用由照相機(jī)系統(tǒng) 拍攝的圖像中可獲得的信息計(jì)算該照相機(jī)系統(tǒng)的本征參數(shù)的過程。無 需校準(zhǔn)框架或已知的目標(biāo)用于立體照相機(jī)系統(tǒng)，因?yàn)閮煞鶊D像反映了 相同時(shí)刻的場景。使相同場景的兩個(gè)不同視點(diǎn)彼此關(guān)聯(lián)的幾何信息完 全包含在稱為本質(zhì)矩陣的數(shù)學(xué)構(gòu)造中。這兩個(gè)視點(diǎn)可以是立體對的圖 像或者時(shí)間對的圖像，在后一種情況下，兩幅圖像在不同的時(shí)間拍攝， 照相機(jī)在圖像采集之間移動(dòng)。首先參照圖2和圖3考慮相同場景的兩 幅不同圖像的幾何結(jié)構(gòu)，其稱為核幾何結(jié)構(gòu)。它基于三角測量。
圖1為說明建立3D世界中的目標(biāo)的2D圖像的圖示。3D世界中 的目標(biāo)102由2D圖像104中的照相機(jī)捕獲。3D坐標(biāo)中目標(biāo)102的位 置給定為M(X，Y，Z)，其中X、 Y和Z為該位置相對于某個(gè)參考坐標(biāo)系 106的笛卡爾坐標(biāo)值。圖像104包括目標(biāo)102在位置m(u,v)處的像， 其中u和v為目標(biāo)102的像的位置相對于坐標(biāo)系108的笛卡爾坐標(biāo)值。為了方便起見，坐標(biāo)系108使其原點(diǎn)位于光軸與圖像104平面的交點(diǎn) 處，圖像104中的位置m(u，v)由目標(biāo)102沿投影中心110的方向在圖 像104平面上的投影確定。
圖2為說明從不同位置并且以不同取向拍4菱的目標(biāo)102的兩幅2D 圖像建立的圖示，目標(biāo)102現(xiàn)在由左邊的照相機(jī)和右邊的照相機(jī)捕獲， 給出左邊由投影中心204確定的圖像202以及右邊由投影中心208確 定的圖像206。目標(biāo)102的3D位置通過三角測量的確定取決于將圖像 202中的目標(biāo)102的圖像位置210與圖像206中的目標(biāo)102的位置212 匹配，
圖3為說明用于使圖像位置210和212彼此匹配的幾何配置的圖 示。目標(biāo)102以及投影中心204和208確定3D世界中的平面302。平 面302與圖像202具有交線304，其由圖像位置210和中心204、 208 決定。交線304是線段.類似地，平面302還與圖像206具有交線306， 其由圖像位置210和中心204、 208決定.其中線段304和306與連接 中心204和208的基線312相交的位置308和310稱為"核(epipolar)"。 線段304和306稱為"核線"，核308可以看作中心208在左邊照相 機(jī)中的像。類似地，核310可以看作中心204在右邊照相機(jī)中的像。 平面302稱為"核平面"，
因此， 一旦具有有關(guān)圖像位置210和212其中之一的信息，比如 說位置210，以及有關(guān)核308和310的信息，那么平面302已知并且 因而核線304和306已知。結(jié)果，能夠獲得在核線306上的另一圖像 位置，即位置212。
依照本發(fā)明，如果圖像首先經(jīng)過稱為矯正的步驟，那么可以有效 得多地解決所述立體匹配問題，以及立體圖像中的位置匹配的問題， 這個(gè)步驟包括對圖像進(jìn)行變換，使得核線彼此對準(zhǔn)，優(yōu)選地水平對準(zhǔn)。 然后，將圖像的平面映射到包括投影中心之間的直線的另外的平面上. 參照圖3,將圖像202和206的平面映射到包括基線312的平面上. 在這種情況下，立體匹配算法可以利用核約束并且將搜索空間減小到 一維(即矯正圖像的相應(yīng)行).所述核約束于是將匹配問題約簡為沿 著共輒核線的一維搜索。優(yōu)選地，不通過將一幅圖像的核線上的單個(gè) 像素與另一幅圖像的核線上的單個(gè)像素進(jìn)行比較來執(zhí)行所述搜索。相 反地，比較沿著核線的像素窗口以尋找最佳匹配.在本發(fā)明中，通過將圖像206直接映射到圖像202平面上來實(shí)現(xiàn) 所述矯正步驟，因?yàn)楸景l(fā)明中的系統(tǒng)通過其光軸近似平行的照相機(jī)來 使用立體視覺。本發(fā)明通過調(diào)節(jié)照相機(jī)圖像之一使得兩幅圖像中的核 線重合來校準(zhǔn)所述系統(tǒng)，可選地，調(diào)節(jié)兩幅照相機(jī)圖像，使得核線相 應(yīng)于兩幅圖像中的水平像素行.
參照圖4，等式(402) - (410)具體說明了所述變換，其用圖像 202平面的坐標(biāo)x和y表示圖像206平面中的坐標(biāo)x，和y，。表達(dá)式(406) 中量m的陣列中的值代表照相機(jī)的校準(zhǔn)參數(shù)。在G(x，y，m)的表達(dá)式中， 由參數(shù)ni4引入豎直平移(vertical shift)，而從F(x，y,m)的表達(dá)式中 省略了水平平移(horizontal shift)，因?yàn)橐獙⒁暡钭鳛閱为?dú)的實(shí)體 (entity)來考慮。
現(xiàn)在可以根據(jù)估計(jì)的視差圖和校準(zhǔn)參數(shù)建立圖像202與矯正的圖 像206之間誤差的度量。估計(jì)的視差圖包括對應(yīng)像素(x,y)的估計(jì)的視 差值d(x,y),下文將描述視差估計(jì)過程.關(guān)于表達(dá)式(406)的校準(zhǔn)參 數(shù)最小化該誤差給出所搜索的校準(zhǔn)值。
表達(dá)式(412)中給出了誤差度量E(m)的實(shí)例。該誤差度量E(m) 是特定項(xiàng)的平方和，每個(gè)特定項(xiàng)是左邊圖像202的核線上坐標(biāo)x、 y處 的特定窗口 Aleft中的像素與右邊圖像206中沿x方向估計(jì)的視差值 d(x，y)移位的坐標(biāo)(x，,y)處的特定窗口 Aright中的像素之間的差值。應(yīng)當(dāng) 指出的是，由于核線與水平對準(zhǔn)，y坐標(biāo)對于左邊的窗口 Aw和右邊 的窗口 Aright是相同的。通過對所有窗口最小差值平方求和形成總和 E(m).術(shù)語"最小"將在下文進(jìn)一步進(jìn)行解釋.然后，和E(m)用作更 新投影參數(shù)的標(biāo)準(zhǔn)。
存在若干種通過數(shù)值方法尋找最小平方和的問題的解的方法。 Levenberg-Marquardt算法提供了最小化若干通常為非線性的依賴于 公共的參數(shù)集合的函數(shù)的平方和這一數(shù)學(xué)問題的數(shù)值求解方案。這種 最小化問題尤其出現(xiàn)在最小二乘曲線擬合中，Levenberg-Marquardt 算法(LMA)介于高斯-牛頓算法(GNA)和梯度下降法之間。 一方 面，LMA比GNA魯棒性更強(qiáng)，這意味著在許多情況下，即使它開始 時(shí)非常遠(yuǎn)離最終的最小值，它也能找到解。另一方面，對于表現(xiàn)良好 的函數(shù)以及合理的起始參數(shù)而言，LMA傾向于比GNA稍慢。LMA 是最為流行的曲線擬合算法之一；欲知更多的信息，參見，Levenberg,K.的"A Method for the Solution of Certain Problems in Least Squares." Quart. Appl. Math. 2， 164-168， 1944或者Gill， P. E.和 Murray, W.的"Algorithms for the solution of the nonlinear least-squares problem", SIAM J. Numer. Anal. 15] 977-992， 1978， 兩篇論文都通過援引的方式納入本說明書。
參照圖5和圖6描述了用于估計(jì)單獨(dú)的像素(x，y)的視差的過程的 實(shí)例.首先，考慮左邊圖像202中的比如3x3像素的窗口 502以及右 邊圖像206中的類似的窗口 504。窗口 502以像素坐標(biāo)(x，y)為中心環(huán)繞， 并且窗口 504以像素坐標(biāo)(x+d，y)為中心環(huán)繞，其中表達(dá)式x+d估計(jì)值 在0與N之間，N為圖像的寬度.例如根據(jù)圖6中的公式602將窗口 502的像素值與窗口 504的像素值進(jìn)行比較。基本上，公式602針對 特定視差值d給出坐標(biāo)(x，y)處絕對差值(SAD)的和。下一步是確定 使表達(dá)式602最小的值d，該值d可以用作像素(x，y)的視差d(x，y)的估 計(jì)。SAD(x，y;d)的最小值用SAD^(x，y)表示。
對于所有對應(yīng)的像素依次求取SAD^n(x，y)的和，得到公式(412) 的表達(dá)式表示的誤差度量E(m)。
現(xiàn)在，可以通過使用如圖7所示的系統(tǒng)700的配置來快速執(zhí)行圖 4中示出的程序。系統(tǒng)700分別包括左邊和右邊的照相機(jī)704和702。 系統(tǒng)700還包括深度估計(jì)器706，其從照相機(jī)702和704拍攝的立體 圖像中提取出深度圖708。這種提取器在本領(lǐng)域中是已知的，并且不 必在這里進(jìn)一步進(jìn)行詳細(xì)的描述。深度估計(jì)基于視差。L. Falkenhagend發(fā)表在 Proc. of European Workshop on combined Real and Synthetic Image Processing for Broadcast and Video Production, Hamburg, November 1994的"Depth Estimation from Stereoscopic Image Pairs Assuming Piecewise Continuous Surfaces", 中提出了從視差獲取深度估計(jì)的詳細(xì)的描述.參照圖4、圖5和圖6 描述基于視差導(dǎo)出誤差度量E(m)。在最小化器710中，通過計(jì)算陣列 m712中的校準(zhǔn)參數(shù)的更新值來最小化誤差度量E(m).在上面，參照 圖4描述了最小化器710的操作的一個(gè)實(shí)例.然后，在校準(zhǔn)單元714 中使用校準(zhǔn)參數(shù)的更新以便改變來自照相機(jī)702的圖像的像素的坐 標(biāo)。深度估計(jì)器706、誤差最小化器710、陣列m712和校準(zhǔn)單元714 是校準(zhǔn)裝置716的一部分。在本發(fā)明的一個(gè)實(shí)施例中，校準(zhǔn)單元714是來自照相機(jī)702的數(shù)據(jù)路徑中的軟件模塊。于是，所述校準(zhǔn)以純軟 件實(shí)現(xiàn)。另一個(gè)實(shí)施例至少對于照相機(jī)702使用全景-傾斜-縮放照相 機(jī)。在該實(shí)施例中，校準(zhǔn)單元714包括在最小化器710的控制下調(diào)節(jié) 照相機(jī)702的全景、傾斜和縮放的全景-傾斜-縮放單元。于是，校準(zhǔn) 單元714的全景-傾斜-縮放單元包括例如實(shí)現(xiàn)照相機(jī)702處的調(diào)節(jié)的 步進(jìn)電機(jī)或另一換能器。
當(dāng)啟動(dòng)系統(tǒng)700的操作使用時(shí)，利用陣列m中的某一參數(shù)值初始 化系統(tǒng)700。初始化陣列m方法如下。將參數(shù) mo、 ni3 和ni7i殳為單位 1.如果沒有傾斜，則將m7設(shè)為單位1,將參數(shù)n^、 m2、 m4、 ins和 ni6設(shè)為0。
參照圖8，系統(tǒng)800表示一種照相機(jī)系統(tǒng)，其能夠同時(shí)記錄至少 兩幅圖像并且包括構(gòu)成立體照相機(jī)系統(tǒng)的兩個(gè)照相機(jī)702和704以及 經(jīng)過設(shè)置處理來自對應(yīng)照相機(jī)的第一對圖像的校準(zhǔn)裝置716。系統(tǒng)800 進(jìn)一步包括校準(zhǔn)單元814，該校準(zhǔn)單元經(jīng)過設(shè)置能夠在深度估計(jì)器706 處理之前對從對應(yīng)照相機(jī)獲得的第一對圖像的第一和第二圖像進(jìn)行變 換。
圖9為說明系統(tǒng)700的迭代操作的過程圖900,在步驟卯2中， 利用初始值設(shè)置等式402的陣列m.在步驟904中，捕獲一對圖像(202， 206),在步驟906中，對所述對的第一圖像進(jìn)行變換，以便將該對的 第一圖像中的核線(304)與該對的第二圖像中的相應(yīng)核線(306)對 準(zhǔn).該變換使用了通過第二圖像的平面上的投影圖(402， 404)來矯 正第一圖像。該圖取決于當(dāng)前存儲(chǔ)在陣列m中的一個(gè)或多個(gè)參數(shù)值。 在步驟卯8中，確定視差值。所使用的視差值優(yōu)選地為將沿著第一核 線的對應(yīng)第一像素與沿著第二核線的對應(yīng)第二像素關(guān)聯(lián)，如參照圖5 和圖6所描述的。在步驟910中，在經(jīng)過變換的第一圖像中將經(jīng)過變 換的核線的像素或者將以經(jīng)過變換的核線為中心的窗口中的像素按照 這些像素的視差的值進(jìn)行移位.在步驟912中，確定經(jīng)過變換的笫一 和第二圖像之間的誤差度量(412).該誤差取決于陣列m中的一個(gè) 或多個(gè)參數(shù)。在步猓914中，減少該度量，從而確定陣列m中的所述 一個(gè)或多個(gè)參數(shù)值的更新。在步驟916中，這樣確定的更新用來更新 陣列m中的一個(gè)或多個(gè)參數(shù)值.然后，該過程返回到步驟904從而獲 取要利用陣列m中的更新值進(jìn)行處理的下一對圖像.應(yīng)當(dāng)指出的是，上述實(shí)施例說明了而不是限制了本發(fā)明，并且本 領(lǐng)域技術(shù)人員應(yīng)當(dāng)能夠設(shè)計(jì)出許多可替換的實(shí)施例而不脫離所附權(quán)利 要求的范圍。
在權(quán)利要求中，置于括號中的任何附圖標(biāo)記都不應(yīng)當(dāng)被視為對權(quán) 利要求的限制。動(dòng)詞"包括"及其變體的使用并沒有排除權(quán)利要求中 未列出的元件或步驟的存在。元件之前的冠詞"一"并沒有排除多個(gè) 這樣的元件的存在。
本發(fā)明可以借助于包括若干不同元件的硬件以及借助于經(jīng)過適當(dāng) 編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝 置中的一些可以由同一硬件項(xiàng)實(shí)施 在相互不同的從屬權(quán)利要求中陳 述某些技術(shù)措施這一事實(shí)并不意味著這些技術(shù)措施的組合不可以加以 利用。
權(quán)利要求
1.一種校準(zhǔn)照相機(jī)系統(tǒng)(700)的方法，所述照相機(jī)系統(tǒng)能夠同時(shí)記錄至少兩幅圖像，該方法包括處理第一對圖像(202，206)的步驟，其中該處理步驟包括通過平面上的投影圖(402，404)對所述第一對的第一和第二圖像中的至少一幅進(jìn)行變換(906)，該投影圖取決于一個(gè)或多個(gè)參數(shù)值(406)，以便將第一對的第一圖像中的核線(304)與第一對的第二圖像中的相應(yīng)核線(306)對準(zhǔn)，從而得到第二對圖像；估計(jì)(908)視差對應(yīng)的值，這些值將沿著所述第二對的第一圖像中的第一核線的對應(yīng)第一像素與沿著所述第二對的第二圖像中的相應(yīng)第二核線的對應(yīng)第二像素關(guān)聯(lián)；依照對應(yīng)像素的視差的對應(yīng)值將第二圖像對的第一圖像中第一核線的對應(yīng)像素移位(910)；確定(912)所述第二圖像對的第一和第二圖像之間的誤差度量(412)，該誤差度量取決于一個(gè)或多個(gè)參數(shù)；確定(914)所述一個(gè)或多個(gè)參數(shù)值的更新，以便降低所述誤差度量值；以及使用所述更新來更新(916)所述一個(gè)或多個(gè)參數(shù)值。
2. 權(quán)利要求l的方法，其中所述變換步驟包括通過第一對的第一 和第二圖像中一個(gè)圖像的平面上的投影圖(402， 404)矯正所述第一 對的第一和第二圖像中的另一幅圖像。
3. 權(quán)利要求l的方法，其中所述變換步驟包括通過在同一平面上 的單獨(dú)的投影圖(402， 404)矯正笫一對的第一和第二圖像，以便水 平對準(zhǔn)第二對的圖像中的對應(yīng)核線.
4. 權(quán)利要求l的方法，包括使下一對圖像經(jīng)過所述處理操作的步
5. 權(quán)利要求1或2的方法，其中所述照相機(jī)系統(tǒng)包括立體照相機(jī)系統(tǒng)。
6. 用于校準(zhǔn)照相機(jī)系統(tǒng)(700 )的軟件，所述照相機(jī)系統(tǒng)能夠同 時(shí)記錄至少兩幅圖像，該軟件包括用于處理第一對圖像(202， 206) 的指令，操作這些指令用來執(zhí)行以下步驟通過平面上的投影圖(402， 404)對笫一對的笫一和第二圖像中的至少一幅進(jìn)行變換(卯6)，該圖取決于一個(gè)或多個(gè)參數(shù)值(406)， 以便將第一對的第一圖像中的核線(304)與該第一對的第二圖像中 的相應(yīng)核線(306)對準(zhǔn)，從而得到笫二對圖像；估計(jì)(908)視差對應(yīng)的值，這些值將沿著所述第二對的第一圖 像中第一核線的對應(yīng)第一像素與沿著所述第二對的第二圖像中相應(yīng) 的笫二核線的對應(yīng)第二像素關(guān)聯(lián)；依照對應(yīng)像素的視差的對應(yīng)值將第二圖像對的第一圖像中第一 核線的對應(yīng)像素移位(910);確定(912)所述第二圖像對的第一和第二圖像之間的誤差度量 (412),該誤差度量取決于所述一個(gè)或多個(gè)參數(shù)；確定(914)用于所述一個(gè)或多個(gè)參數(shù)值的更新以便降低所述誤 差度量的值；以及使用所述更新來更新(916)所述一個(gè)或多個(gè)參數(shù)值.
7. —種計(jì)算機(jī)程序產(chǎn)品，包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的程序 代碼裝置，其用于當(dāng)所述程序代碼在計(jì)算機(jī)上執(zhí)行時(shí)，執(zhí)行權(quán)利要求 l-5中任何一項(xiàng)的方法。
8. —種能夠同時(shí)記錄至少兩幅圖像的照相機(jī)系統(tǒng)(700)，該照 相機(jī)系統(tǒng)包括照相機(jī)和校準(zhǔn)裝置(716)，該校準(zhǔn)裝置經(jīng)過設(shè)置用于處 理第一對圖像(202， 206)用以校準(zhǔn)所述照相機(jī)系統(tǒng)，其中所述校準(zhǔn) 裝置包括矯正器裝置，設(shè)置用于對所述第一對的第一和第二圖像中的至少 一幅進(jìn)行變換，以便將笫一對的第一圖像中的核線(304)與該第一 對的第二圖像中的相應(yīng)核線(306)對準(zhǔn)，從而得到第二對圖像；估計(jì)裝置，設(shè)置用于估計(jì)(卯8)視差的對應(yīng)值，這些值將沿著 所述第二對的第一圖像的第一核線的對應(yīng)第一像素與沿著所述第二 對的第二圖像的相應(yīng)第二核線的對應(yīng)第二像素關(guān)聯(lián)；移位裝置，設(shè)置用于依照對應(yīng)像素的視差對應(yīng)值使所述第二圖像 對的第一圖像中的第一核線的對應(yīng)像素移位(910);誤差確定裝置，設(shè)置用于確定(912)所述第二圖像對的第一和 第二圖像之間的誤差度量(412 )，該誤差度量取決于一個(gè)或多個(gè)參數(shù)；誤差減小裝置(710)，用于確定(914) 一個(gè)或多個(gè)參數(shù)值的更 新，以降低所述誤差度量值；以及更新裝置，用于使用所述更新來更新(916)所述一個(gè)或多個(gè)參 數(shù)值.
9. 權(quán)利要求8的系統(tǒng)，包括用于獲取由所述校準(zhǔn)裝置處理的另一 對圖像的獲取裝置.
10. 權(quán)利要求8或9的照相機(jī)系統(tǒng)，包括立體照相機(jī)系統(tǒng)。
11. 校準(zhǔn)裝置(714)，用于權(quán)利要求8的照相機(jī)系統(tǒng)中。
全文摘要
描述了一種校準(zhǔn)照相機(jī)系統(tǒng)的方法，所述照相機(jī)系統(tǒng)能夠同時(shí)記錄至少兩幅圖像。該方法包括處理第一對圖像的步驟，其中該處理步驟包括通過平面上的投影圖對所述第一對的第一和第二圖像中的至少一幅進(jìn)行變換，該圖取決于一個(gè)或多個(gè)參數(shù)值，以便將所述第一對的第一圖像中的核線與該第一對的第二圖像中的相應(yīng)核線對準(zhǔn)，從而得到第二對圖像。該方法還包括針對視差估計(jì)對應(yīng)的值，這些值將沿著所述第二對的第一圖像中的第一核線的對應(yīng)第一像素與沿著所述第二對的第二圖像中的相應(yīng)第二核線的對應(yīng)第二像素關(guān)聯(lián)；以及依照對應(yīng)像素的視差的對應(yīng)值使所述第二圖像對的第一圖像中的第一核線的對應(yīng)像素移位。該方法還包括確定所述第二圖像對的第一和第二圖像之間的誤差度量，該誤差度量取決于所述一個(gè)或多個(gè)參數(shù)；確定用于所述一個(gè)或多個(gè)參數(shù)值的更新以便降低所述誤差度量的值；以及使用所述更新來更新所述一個(gè)或多個(gè)參數(shù)值。
文檔編號G06T7/00GK101563709SQ200780046895
公開日2009年10月21日 申請日期2007年12月14日 優(yōu)先權(quán)日2006年12月18日
發(fā)明者R·P·克萊霍斯特 申請人:皇家飛利浦電子股份有限公司