專利名稱：車輛用圖像生成設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使駕駛者容易地辨別車輛周圍的狀況的車輛用圖像生成設(shè)備和其方法。
背景技術(shù)：
例如在日本特開1997-159442號公報(bào)中說明了用于校正車輛周圍的圖像的光學(xué)系統(tǒng)失真的技術(shù)。對于其中所述的車輛用環(huán)境識別設(shè)備，當(dāng)基于從圖像存儲(chǔ)器讀取的圖像數(shù)據(jù)對左/右圖像對稱地進(jìn)行算術(shù)運(yùn)算時(shí)，設(shè)置校正坐標(biāo)表以存儲(chǔ)校正坐標(biāo)(Δx，Δy)。基于當(dāng)由光學(xué)部和攝像裝置拍攝作為被攝體的方格圖案的圖像時(shí)得到的圖像失真數(shù)據(jù)準(zhǔn)備這些坐標(biāo)。然后，通過用校正坐標(biāo)(Δx，Δy)校正掃描坐標(biāo)(X，Y)得到校正的坐標(biāo)(X+Δx，Y+Δy)，從圖像存儲(chǔ)器生成讀取圖像存儲(chǔ)地址。其結(jié)果是，可以避免基于光學(xué)系統(tǒng)中的失真不能處理圖像失真的情況。
在此基準(zhǔn)文獻(xiàn)中，當(dāng)通過讀取與從校正坐標(biāo)表讀取的地址校正坐標(biāo)(Δx，Δy)相加而得到的坐標(biāo)(X+Δx，Y+Δy)來校正光學(xué)系統(tǒng)的失真時(shí)，可以以正確的位置坐標(biāo)來讀取圖像。然后，在已知的空間位置安裝電燈泡，將來自未失真位置的偏差作為地址相關(guān)坐標(biāo)(Δx，Δy)寫入表中。從測量的數(shù)據(jù)而不是從計(jì)算得出地址校正坐標(biāo)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供一種圖像生成設(shè)備和其使用方法，用于容易地校正攝像機(jī)安裝誤差。該圖像生成設(shè)備可以用在車輛上，該車輛具有至少一個(gè)攝像機(jī)和顯示器，該顯示器顯示從由該至少一個(gè)攝像機(jī)生成的圖像而得到的圖像。該圖像生成設(shè)備包括輸入幀緩沖器，用于接收表示由至少一個(gè)攝像機(jī)生成的圖像的像素?cái)?shù)據(jù)；重新排列表，其描述用于重新排列像素?cái)?shù)據(jù)的規(guī)則；誤差校正表，其描述用于調(diào)整像素?cái)?shù)據(jù)以校正至少一個(gè)攝像機(jī)的安裝誤差的規(guī)則；輸出幀緩沖器，其用于接收重新排列過的、用于作為圖像顯示在顯示器上的像素?cái)?shù)據(jù)；以及控制器，其用于從輸入幀緩沖器讀取像素?cái)?shù)據(jù)，以基于重新排列表和誤差校正表中的至少一個(gè)重新排列像素?cái)?shù)據(jù)，并且將重新排列過的像素?cái)?shù)據(jù)存儲(chǔ)在輸出幀緩沖器中。
根據(jù)本發(fā)明另一方面，提供一種車輛用圖像生成方法，該車輛含有圖像生成設(shè)備，該圖像生成設(shè)備從至少一個(gè)攝像機(jī)接收車輛周圍的圖像，并且對駕駛者顯示合成圖像，所述方法包括準(zhǔn)備對應(yīng)于所述至少一個(gè)攝像機(jī)的安裝誤差的大小的多個(gè)誤差校正表；顯示所述合成圖像；以及對用于創(chuàng)建所述合成圖像的各圖像，使用所述多個(gè)誤差校正表中的至少一個(gè)作為參考來校正各攝像機(jī)的安裝誤差。
該圖像生成方法可以用在車輛中，該車輛含有圖像生成設(shè)備，該圖像生成設(shè)備從至少一個(gè)攝像機(jī)接收車輛周圍的圖像，并且對駕駛者顯示合成圖像。該方法可以包括，例如準(zhǔn)備對應(yīng)于至少一個(gè)攝像機(jī)的安裝誤差的大小的多個(gè)誤差校正表；顯示合成圖像；以及對用于創(chuàng)建合成圖像的各圖像，使用多個(gè)誤差校正表中的至少一個(gè)作為參考來校正各攝像機(jī)的安裝誤差。


說明書在此參考附圖，在附圖的全部視圖中，相同的附圖標(biāo)記表示相同的部分，其中圖1是示出使用本發(fā)明實(shí)施例的車輛圖像處理器的框圖；
圖2是示出用于重新配置地址變換表的配置的框圖；圖3是示出通過對由沿不同拍攝方向安裝的攝像機(jī)所捕獲的圖像數(shù)據(jù)施加透視變換來生成全景圖像的處理的圖；圖4是示出當(dāng)攝像機(jī)模塊具有安裝誤差時(shí)，在用于通過對沿不同拍攝方向捕獲的攝像機(jī)圖像數(shù)據(jù)施加透視變換以生成全景圖像的處理期間的問題的圖；圖5是示出用于攝像機(jī)模擬的一般數(shù)學(xué)坐標(biāo)系的圖；圖6是示出用于攝像機(jī)模擬的坐標(biāo)系中的攝像機(jī)位置的圖；圖7是示出關(guān)于根據(jù)圖6的圖的俯仰角(pitch)的圖；圖8是示出關(guān)于根據(jù)圖6的圖的首搖角(yaw)的圖；圖9是示出關(guān)于根據(jù)圖6的圖的橫搖角(roll)的圖；圖10是示出在攝像機(jī)模擬中的基準(zhǔn)方向和入射到攝像機(jī)上的光線的圖；圖11是攝像機(jī)的簡化的輸出圖像；圖12是根據(jù)圖11的幀緩沖器與表的坐標(biāo)和地址的示圖；圖13是示出視點(diǎn)變換的概念的圖；圖14是示出實(shí)施例中車輛用圖像生成設(shè)備的框圖；以及圖15是示出另一個(gè)實(shí)施例中車輛用圖像生成設(shè)備的框圖。
具體實(shí)施例方式
對于拍攝車輛周圍的照片作為輸入、將輸入圖像作為像素的集合存儲(chǔ)在用于輸入的幀緩沖器中、在圖像變換(輸入圖像數(shù)據(jù)的重新排列)后將所存儲(chǔ)的像素?cái)?shù)據(jù)輸出、并將圖像呈現(xiàn)給駕駛者的車輛用圖像生成設(shè)備，當(dāng)攝像機(jī)的方向由于安裝誤差(關(guān)于方向的誤差俯仰角、首搖角和橫搖角)而與假定的方向不同時(shí)，可能會(huì)影響輸出圖像。
可能難以校正這些安裝誤差。例如，當(dāng)在生產(chǎn)線上進(jìn)行校正，即通過物理變化的方式來校正攝像機(jī)本身的方向時(shí)，很難進(jìn)行細(xì)微調(diào)整，并且耗費(fèi)大量時(shí)間。物理調(diào)整機(jī)構(gòu)也增加成本。另外，當(dāng)重新計(jì)算圖像變換規(guī)則(即重新排列)時(shí)，計(jì)算本身耗費(fèi)時(shí)間。這些因素導(dǎo)致生產(chǎn)過程的延遲，而這是不希望見到的。
以下實(shí)施例提供一種能夠容易地校正攝像機(jī)安裝誤差的車輛用圖像生成設(shè)備和其方法。下面基準(zhǔn)附圖給出實(shí)施例的詳細(xì)說明。在這些附圖中，相同的部分全部使用相同的附圖標(biāo)記，并且對其只說明一次。
圖1示出根據(jù)第一實(shí)施例的車輛圖像處理器1。在車輛圖像處理器1的情況下，將由攝像機(jī)模塊2A、2B、2C和2D在車輛周圍捕獲的攝像機(jī)圖像數(shù)據(jù)輸入到對應(yīng)于各攝像機(jī)模塊2A、2B、2C和2D的輸入緩沖器12A、12B、12C和12D。由CPU 13和圖像變換部14使用存儲(chǔ)在表存儲(chǔ)器部15中的缺省或非重新配置表施加透視變換，使得生成車輛周圍的全景圖像。將有關(guān)全景圖像的數(shù)據(jù)存儲(chǔ)在輸出緩沖器16中，并輸出到顯示器3。為了在顯示器3上以較小的全景圖像失真或組成全景圖像的各圖像之間的任何偏移(deviation)來顯示全景圖像，車輛圖像處理器1使用例如如圖2所示的功能部41～43來重新配置或者校準(zhǔn)缺省地址變換表，以校正攝像機(jī)模塊2A、2B、2C和2D的影響?；谠跀z像機(jī)模塊2A、2B、2C和2D中沒有安裝誤差的假設(shè)，缺省或非重新配置地址變換表提供地址變換信息以生成全景圖像。
更具體地，如圖3所示，為了生成車輛周圍的全景圖像30，由攝像機(jī)模塊2A捕獲前攝像機(jī)圖像31A，由攝像機(jī)模塊2B捕獲后攝像機(jī)圖像31B，由攝像機(jī)模塊2C捕獲左側(cè)攝像機(jī)圖像31C，并由攝像機(jī)模塊2D捕獲右側(cè)攝像機(jī)圖像31D。這里，攝像機(jī)圖像31A包括車體33和畫在路面上的白線L1、L3和L5。攝像機(jī)圖像31B包括車體33和白線L2、L3和L5。攝像機(jī)圖像31C包括車體33和白線L3和L4。攝像機(jī)圖像31D包括車體33和白線L5和L6。為了說明在全景圖像中出現(xiàn)的圖像之間的失真和偏移，出現(xiàn)在全景圖像30中的白線被畫在路面上，并且由攝像機(jī)模塊2A、2B、2C和2D捕獲。
在理想狀況(即假設(shè)攝像機(jī)模塊2A、2B、2C和2D在其安裝位置中沒有誤差)下，車輛圖像處理器1生成排列在車輛被攝體33′周圍的全景圖像30，在使用前圖像32A、后圖像32B、左側(cè)圖像32C和右側(cè)圖像32D的全景圖像30的組成像素之間沒有任何偏移。正如從頂端看到的，通過變換各攝像機(jī)圖像31A、31B、31C和31D得到這些圖像。
另一方面，如圖4所示，如果攝像機(jī)模塊2A、2B、2C和2D在其安裝位置中包含誤差，則在透視變化后前圖像32A中的白線L1將與車輛被攝體33′不匹配，白線L3變得失真，或者白線L1、L2和L3被移到跨過組成全景圖像30的像素32A、32B和32C。然而，在以下說明的車輛圖像處理器1的情況下，進(jìn)行處理以校正由于用于生成全景圖像30的攝像機(jī)模塊2A、2B、2C和2D的安裝誤差而產(chǎn)生的全景圖像30中的偏移和失真。通過此處理，即使攝像機(jī)模塊2A、2B、2C和2D包含安裝誤差時(shí)，全景圖像30中的偏移和失真也得到抑制。
下面說明用于生成從各攝像機(jī)圖像31A、31B、31C和31D消除失真和/或偏移的全景圖像30的結(jié)構(gòu)和運(yùn)算。
1-1、攝像機(jī)模擬的概念攝像機(jī)的位置和方向圖5～11是示出攝像機(jī)模擬的圖。圖5示出一般數(shù)學(xué)坐標(biāo)系。
如圖5所示，一般數(shù)學(xué)坐標(biāo)系用于表示(x，y，z)。x軸、y軸和z軸彼此互相正交?？梢宰杂傻剡x取單位，只要其統(tǒng)一即可。一般使用毫米單位。定義攝像機(jī)位置為此空間中的一個(gè)點(diǎn)。
如圖6所示，在攝像機(jī)位置(xc，yc，zc)處繪制x′軸、y′軸和z′軸，并且分別與x軸、y軸和z軸平行?；鶞?zhǔn)方向(俯仰角＝0，首搖角＝0)為y′軸的正方向。在圖6中，較粗的箭頭表示基準(zhǔn)方向。此外，指定俯仰角、首搖角和橫搖角的單位是度。
圖7是示出俯仰角的圖，圖8是示出首搖角的圖，圖9是示出橫搖角的圖。
如圖6和7所示，俯仰角表示圍繞x′軸旋轉(zhuǎn)的角。0°值平行于x-y平面。正方向包括向上的角，而負(fù)方向包括向下的角。當(dāng)從x′軸的正方向看y′-z′平面時(shí)，正號是逆時(shí)針旋轉(zhuǎn)，負(fù)號是順時(shí)針旋轉(zhuǎn)。值+90°朝向正上方(z′軸的正方向)，值-90°朝向正下方(z′軸的負(fù)方向)。接受到±180°的值。
如圖6和8所示，首搖角表示圍繞z′軸旋轉(zhuǎn)的角。當(dāng)從z′軸的正方向看x′-y′平面時(shí)，順時(shí)針為正值，逆時(shí)針為負(fù)值。
如圖9所示，橫搖角表示圍繞表示由俯仰角和首搖角定義的攝像機(jī)方向的軸的旋轉(zhuǎn)。當(dāng)從后面看攝像機(jī)時(shí)，順時(shí)針為正，逆時(shí)針為負(fù)。
對于攝像機(jī)方向的處理，首先處理俯仰角方向。然后處理首搖角方向。最后處理橫搖角方向。因此，當(dāng)俯仰角＝90或俯仰角＝-90時(shí)，首搖角方向的賦值變成橫搖角方向的運(yùn)算。另外，當(dāng)俯仰角是例如俯仰角＞90或者俯仰角＜-90時(shí)，攝像機(jī)被倒轉(zhuǎn)。
x、y、z、俯仰角、首搖角和橫搖角這六個(gè)參數(shù)用于指定攝像機(jī)的設(shè)定狀態(tài)。
1-2、攝像機(jī)模擬的概念攝像機(jī)模擬如圖10所示，點(diǎn)C表示攝像機(jī)并且取作原點(diǎn)。定義基準(zhǔn)方向Dc和垂直于方向Dc的方向Dcv。方向Dc表示攝像機(jī)的方向，方向Dcv表示攝像機(jī)的向上方向。這里，Sv表示由Dcv圍繞Dc旋轉(zhuǎn)所定義的平面。
考慮入射到攝像機(jī)(點(diǎn)C)上的光線A。光線A和方向Dc之間的夾角為角α。此外，通過將A平行于Dc投影到Sv上而得到的A′與Dcv之間形成的夾角為β。在這種情況下，角α總是在0.0deg≤α≤180.0deg的范圍內(nèi)。對于角β，當(dāng)沿Dc方向看平面Sv時(shí)，順時(shí)針方向?yàn)?方向。在圖10中，光線A可以表示為(α，-β)。
在以下說明中，定義如何將光線r映射到攝像機(jī)的輸出圖像上。
圖11表示攝像機(jī)的輸出圖像。將輸出圖像設(shè)置在x-y平面上。設(shè)置圖像的中心點(diǎn)91與x-y平面的原點(diǎn)一致。此外，線段92從點(diǎn)91開始向上垂直地延伸(在y軸上y＞0)。以點(diǎn)91和線段92為基準(zhǔn)來考慮極坐標(biāo)(L，θ)。認(rèn)為從線段92開始的順時(shí)針方向?yàn)棣鹊恼较颉？梢杂蓌-y坐標(biāo)(x，y)或極坐標(biāo)(L，θ)來表示輸出圖像上的點(diǎn)。
如果光線從攝像機(jī)的前側(cè)(α＝0.0°，β＝任意值)垂直入射，則可以考慮當(dāng)從輸出圖像的中心，即點(diǎn)91拍攝圖像時(shí)的情況。此外，對于光線(α，β)，當(dāng)角β固定在0.0，并且從0.0開始增加角α?xí)r，因?yàn)樽兓浅驈臄z像機(jī)的上面入射，所以可以認(rèn)為在攝像機(jī)的輸出圖像上存在在線段92上向y的正方向的運(yùn)動(dòng)。這里，由于認(rèn)為表示攝像機(jī)的向上方向(參見圖10)的方向Dcv與線段92相關(guān)，并且因?yàn)槿肷浣铅僚c在輸出圖像上從原點(diǎn)91開始的距離L彼此相關(guān)，因此有L＝fc(α)，θ＝β。
為了方便，總結(jié)表達(dá)式如下(L，θ)＝fc(α，β)。
作為fc的反函數(shù)，fci定義如下α＝fci(L)，β＝θ；并且此公式也可以總結(jié)和表示如下(α，β)＝fci(L，θ)。
用這些公式，圖像上的點(diǎn)(L，θ)和入射到攝像機(jī)上的光線(α，β)彼此關(guān)聯(lián)。
為了限制攝像機(jī)的攝像范圍，在圖11中的平面上設(shè)置攝像區(qū)95(拍攝平面)。認(rèn)為在該區(qū)內(nèi)的位置是攝像區(qū)域，認(rèn)為在該區(qū)外的位置是在攝像區(qū)域外。當(dāng)將攝像機(jī)的水平圖像角表示為h_max°時(shí)，可以在圖11中將光線(α＝(h_max/2)°，β＝90.0°)繪制為點(diǎn)93。同樣地，可以將光線(α＝(h_max/2)°，β＝-90.0°)繪制為點(diǎn)94。因此，當(dāng)水平圖像角為h_max°時(shí)沿?cái)z像區(qū)95的橫向方向的范圍變成x坐標(biāo)范圍中的-fc(h_m ax/2)～fc(h_max/2)。將此設(shè)為-w～w?？梢詮臄z像平面的寬高比和沿橫向方向的范圍得出沿?cái)z像區(qū)95的縱向方向的范圍。例如，如果屏幕的寬高比為3∶4，當(dāng)由y軸表示時(shí)，攝像區(qū)95沿縱向方向的范圍變成-3w/4～3w/4。當(dāng)然，也可以從垂直圖像角來計(jì)算該范圍。將此范圍設(shè)為-h～h。
如上所述，可以得出攝像區(qū)95的范圍。
圖12是示出以圖11的部分像素化表示的幀緩沖器以及表的坐標(biāo)和地址的圖。
如圖12所示，和傳統(tǒng)的CG通常采用的相同，可以將圖11所示的攝像區(qū)95劃分為沿橫向方向W個(gè)像素和沿垂直方向H個(gè)像素。通常在這種情況下，由XY坐標(biāo)(0，0)表示左上角的像素，右下角的像素是(W-1，H-1)。用于變換圖12所示的XY坐標(biāo)和圖11所示的(L，θ)坐標(biāo)的公式定義如下(X，Y)＝fs(L，θ)。
此外，函數(shù)fs的反函數(shù)fsi定義如下(L，θ)＝fsi(X，Y)。
可以從參數(shù)w、h、W和H得出函數(shù)fs和fsi。
函數(shù)fc表示鏡頭的特性。例如，在鏡頭具有fθ系統(tǒng)的光學(xué)特性的情況下，有L＝k×θ，其中k為常數(shù)，θ為入射角。因?yàn)楹瘮?shù)fc用于定義攝像區(qū)，所以只要k具有0.0或更大的值，對于任意值可以得到相同的結(jié)果。在針孔攝像機(jī)的情況下，有L＝tan(θ)。
還可以采用從多組入射角θ和圖像高度Y的數(shù)據(jù)得出近似公式Y(jié)＝F(θ)的方案，并且在L＝fc(θ)中同樣地采用該方案。
如上所述，可以在輸出圖像的入射光線(α，β)和像素單元(cell)坐標(biāo)(X，Y)之間定義如下關(guān)系(X，Y)＝fs(fc(α，β))；以及(α，β)＝fci(fsi(X，Y))。
在XY坐標(biāo)系中，因?yàn)閄和Y各自舍入為正整數(shù)，而不是完全的反函數(shù)，所以這是近似計(jì)算。當(dāng)X、Y兩個(gè)都是實(shí)數(shù)時(shí)，可以計(jì)算完全的反函數(shù)。
1-3、攝像機(jī)模擬的概念空間中的點(diǎn)的攝像在以下說明中，基于如第1-1節(jié)所述的攝像機(jī)的位置和方向，以及第1-2節(jié)中定義的攝像機(jī)模擬，可以得出空間點(diǎn)(xp，yp，zp)和攝像機(jī)的輸出圖像上的像素(Xp，Yp)之間的關(guān)系。如果攝像機(jī)的位置是(xc，yc，zc)，則攝像機(jī)的方向變成(pitch，yaw，roll)(俯仰角，首搖角，橫搖角)。
利用作為偏移量的攝像機(jī)位置(xc，yc，zc)，定義以下沿空間坐標(biāo)x、y、z的方向分別位移-xc、-yc、-zc的函數(shù)，使得攝像機(jī)位置位于原點(diǎn)(sx，sy，sz)＝fo((x，y，z)，(xc，yc，zc))。
此外，定義以下反函數(shù)(x，y，z)＝foi((sx，sy，sz)，(xc，yc，zc))。
將其應(yīng)用到空間點(diǎn)(xp，yp，zp)，有fo((xp，yp，zp)，(xc，yc，zc))。
然后，當(dāng)認(rèn)為z軸為中心，并且以順時(shí)針方向?yàn)檎较蜓貜膠軸的+方向到-方向的方向看x-y平面時(shí)，定義以下函數(shù)用于將空間坐標(biāo)旋轉(zhuǎn)θ°(rzx，rzy，rzz)＝rollZ((x，y，z)，θ)。
將上述算術(shù)運(yùn)算結(jié)果圍繞z軸旋轉(zhuǎn)-yaw°。這得到
rollZ(fo((xp，yp，zp)，(xc，yc，zc))，-yaw)。
然后，當(dāng)認(rèn)為x軸為中心，并且以順時(shí)針方向?yàn)檎较蜓貜膞軸從+方向到-方向的方向看y-z平面時(shí)，定義用于將空間坐標(biāo)旋轉(zhuǎn)θ°的函數(shù)如下(rxx，rxy，rxz)＝rollX((x，y，z)，θ)。
將以上進(jìn)行的算術(shù)運(yùn)算的結(jié)果圍繞x軸旋轉(zhuǎn)-pitch°。這里，結(jié)果變成rollX(rollZ(fo((xp，yp，zp)，(xc，yc，zc))，-yaw)，-pitch)。
然后，當(dāng)認(rèn)為y軸為中心，并且以順時(shí)針方向?yàn)檎较蜓貜膟軸-方向到+方向的方向看x-z平面時(shí)，定義以下將空間坐標(biāo)(x，y，z)旋轉(zhuǎn)θ°的函數(shù)如下(ryx，ryy，ryz)＝rollY((x，y，z)，θ)。
將以上進(jìn)行的算術(shù)運(yùn)算的結(jié)果圍繞y軸旋轉(zhuǎn)-roll°。結(jié)果變?yōu)閞ollY(rollX(rollZ(fo((xp，yp，zp)，(xc，yc，zc))，-yaw)，-pitch)，-roll)。
作為此計(jì)算的結(jié)果，當(dāng)以攝像機(jī)的方向?yàn)榛鶞?zhǔn)看空間點(diǎn)(xp，yp，zp)時(shí)，可以得出坐標(biāo)(xp′，yp′，zp′)。總結(jié)此運(yùn)算，并定義下式(x′，y′，z′)＝fd((x，y，z)，(xc，yc，zc)，(pitch，yaw，roll))。
此外，定義以下反函數(shù)(x，y，z)＝fdi((x′，y′，z′)，(xc，yc，zc)，(pitch，yaw，roll))。
然后，從(xp′，yp′，zp′)，得出到攝像機(jī)(原點(diǎn))的入射方向(α，β)。定義此運(yùn)算如下(α，β)＝fa(x，y，z)。
因?yàn)榉春瘮?shù)是坐標(biāo)的方向的函數(shù)，所以不能定義反函數(shù)(x，y，z)＝fai(α，β)。然而，可以定義計(jì)算表示該方向的坐標(biāo)(xd，yd，zd)的函數(shù)如下
(xd，yd，zd)＝fb(α，β)；其中xd＝t×x，yd＝t×y，zd＝t×z，t是大于0.0的實(shí)數(shù)。如果將函數(shù)fa應(yīng)用到((xp′，yp′，zp′)，αp，βp)，則得到fa(xp′，yp′，zp′)。
從這些結(jié)果以及以上討論，可以表示空間點(diǎn)(xp，yp，zp)和輸出圖像上的像素的坐標(biāo)(Xp，Yp)之間的關(guān)系如下(Xp，Yp)＝fs(fc(fa(fd((xp，yp，zp)，(xc，yc，zc)，(pitch，yaw，roll)))))；并且可以進(jìn)行攝像機(jī)模擬。因?yàn)椴荒芏x函數(shù)fai，所以不能定義純粹的反函數(shù)。然而，可以得出用于估計(jì)攝像原點(diǎn)的空間坐標(biāo)的點(diǎn)的坐標(biāo)(xv，yv，zv)。
可以用下式表示(xv，yv，zv)＝fdi(fb(fci(fsi(Xp，Yp))))，(xc，yc，zc)，(pitch，yaw，roll))。
通過被認(rèn)為是開始點(diǎn)的(xc，yc，zc)，(xp，yp，zp)在經(jīng)過(xv，yv，zv)的線段附近。因?yàn)閷p和Yp舍入為正整數(shù)，所以不可逆。結(jié)果可以不在線段上，但是會(huì)在其附近。
2、視點(diǎn)變換(vicwpoint conversion)的概念下面給出關(guān)于使用以上1-1至1-3節(jié)中所述的攝像機(jī)模擬的概念的視點(diǎn)變換的說明。圖13是示出視點(diǎn)變換的圖。假設(shè)在空間中有實(shí)體攝像機(jī)R和虛擬攝像機(jī)V。使用來自實(shí)體攝像機(jī)R的圖像來生成虛擬攝像機(jī)V的圖像。
以上已經(jīng)定義了攝像機(jī)R和攝像機(jī)V的各種參數(shù)(位置、方向、鏡頭特性等)。攝像機(jī)R的位置表示為(x_r，y_r，z_r)，方向表示為(pitch_r，yaw_r，roll_rr)，各種函數(shù)表示為fxx_r()。此外，對于攝像機(jī)V，可以用_v同樣地表示各種參數(shù)和函數(shù)。即由(x_v，y_v，z_v)表示攝像機(jī)V的位置，方向可以表示為(pitch_v，yaw_v，roll_v)，函數(shù)可以表示為fxx_v()。
當(dāng)使用攝像機(jī)R的圖像來生成攝像機(jī)V的圖像時(shí)，攝像機(jī)V的圖像的像素和攝像機(jī)R的像素之間的對應(yīng)關(guān)系計(jì)算簡單。
現(xiàn)在，考慮攝像機(jī)V的像素(X_v，Y_v)。因?yàn)閺囊陨?-1至1-3節(jié)中討論的攝像機(jī)模擬的概念的結(jié)果得出形成此像素的入射光線的方向，所以有(tx，ty，tz)＝fdi_v(fb_v(fci_v(fsi_v(X_v，Y_v)))，(x_v，y_v，z_v)，(pitch_v，yaw_v，roll_v))。
坐標(biāo)(tx，ty，tz)表示方向而不是絕對位置，并且當(dāng)?shù)贸鲈撟鴺?biāo)時(shí)，需要一定的基準(zhǔn)。這里，認(rèn)為x-y平面是基準(zhǔn)平面?？梢缘贸鲇?x_v，y_v，z_v)和(tx，ty，tz)得出的方向和基準(zhǔn)平面之間的交點(diǎn)C(x_c，y_c，0)。當(dāng)z_v＜tz時(shí)沒有交點(diǎn)。稍后說明在這種情況下的處理。下面給出關(guān)于交點(diǎn)C在由攝像機(jī)R拍攝的圖像中的情況的說明。
當(dāng)攝像機(jī)R的圖像上的交點(diǎn)C的坐標(biāo)為(X_r，Y_r)時(shí)，有(X_r，Y_r)＝fs_r(fc_r(fa_r(fd_r((x_c，y_c，0)，(x_r，y_r，z_r)，(pitch_r，yaw_r，roll_r)))))。
在以上運(yùn)算中，可以得到來自虛擬攝像機(jī)V的圖像的像素(X_v，Y_v)和來自實(shí)體攝像機(jī)R的圖片的像素(X_r，Y_r)之間的對應(yīng)關(guān)系。實(shí)體攝像機(jī)R的像素(X_r，Y_r)的信息被復(fù)制到來自虛擬攝像機(jī)V的圖像的像素(X_v，Y_v)。當(dāng)來自實(shí)體攝像機(jī)R的圖像信息具有例如RGB的值時(shí)，復(fù)制RGB的值。
以上已經(jīng)對沒有得出交點(diǎn)C的情況以及攝像機(jī)R未拍攝到交點(diǎn)C的圖像的情況進(jìn)行了說明。在這些情況下，因?yàn)閬碜蕴摂M攝像機(jī)V的圖像的像素(X_v，Y_v)不具有與來自實(shí)體攝像機(jī)R的圖像相對應(yīng)的像素，所以用例如黑色的值等已知值作為臨時(shí)像素值(X_v，Y_v)代入來自虛擬攝像機(jī)V的圖像中。
對于來自虛擬攝像機(jī)V的圖像的全部像素，進(jìn)行上述處理以建立來自虛擬攝像機(jī)V的圖像。此外，如果有多個(gè)實(shí)體攝像機(jī)R，則可以進(jìn)行相同的處理。在這種情況下，來自虛擬攝像機(jī)V的圖像的像素(X_v，Y_v)的對應(yīng)目的地跨越實(shí)體攝像機(jī)R的多個(gè)像素。
當(dāng)攝像機(jī)V和攝像機(jī)R的各種參數(shù)和各種函數(shù)沒有變化時(shí)，以上得出的攝像機(jī)V和攝像機(jī)R的圖像之間的關(guān)系恒定。即使在處理運(yùn)動(dòng)圖像時(shí)，也只是存儲(chǔ)一個(gè)計(jì)算的結(jié)果。因此，可以進(jìn)行高速處理。因?yàn)榇鎯?chǔ)內(nèi)容是(X_v，Y_v)和(X_r，Y_r)之間的關(guān)系，所以當(dāng)來自虛擬攝像機(jī)V的圖像由W_v橫向像素和H_v縱向像素構(gòu)成時(shí)，可以只保持表示二者關(guān)系的((W_v)×(H_v))數(shù)據(jù)。這稱為重新排列表。
下面給出關(guān)于重新排列表的例子的說明。首先，用圖12所示的規(guī)則，將地址編號分配給攝像機(jī)的圖像的像素。地址編號從1開始，并且到W×H(這取決于攝像機(jī)的分辨率)結(jié)束。當(dāng)攝像機(jī)編號被附在該地址時(shí)，可以存取每一個(gè)攝像機(jī)的各像素的信息。例如，如果攝像機(jī)R的攝像機(jī)編號為1，則為了存取攝像機(jī)R的像素(xr，yr)，僅需要存取像素1((xr+yr)×(Wr+1))。這稱為參考目的地址。在建立來自虛擬攝像機(jī)V的圖像的重新排列表中，描述具有與來自虛擬攝像機(jī)V的圖像的像素的數(shù)量相同的數(shù)量的參考目的地址((W_v)×(H_v))?？梢砸耘c存取像素相同的方式來存取重新排列表的信息。為了確定來自虛擬攝像機(jī)V的圖像的像素(xv，yv)的信息，存取重新排列表中的信息的地址((xv+yv)×(W_v+1))，獲得參考目的地址，并且得到表示參考目的地址的像素的影響。
3、圖像角變換的概念圖像角變換是視點(diǎn)變換的一種特殊解。圖像角變換和視點(diǎn)變換的不同之處在于必須有一個(gè)攝像機(jī)R，并且攝像機(jī)V和攝像機(jī)R的位置相同。在這種狀況下，可以直接使用(tx，ty，tz)來進(jìn)行變換運(yùn)算而不用算出交點(diǎn)C。因?yàn)?x_r，y_r，z_r)＝(x_v，y_v，z_v)＝(xA，yA，zA)，所以有以下公式(tx，ty，tz)＝fdi_v(fb_v(fci_v(fsi_v(X_v，Y_v)))，(xA，yA，zA)，(pitch_v，yaw_v，roll_v))；以及(X_r，Y_r)＝fs_r(fc_r(fa_r(fd_r((tx，ty，tz)，(xA，yA，zA)，(pitch_r，yaw_r，roll_r)))))。
通過使用以上所列的公式，可以計(jì)算(X_v，Y_v)和(X_r，Y_r)之間的對應(yīng)關(guān)系。
在視點(diǎn)變換的情況下，因?yàn)榛鶞?zhǔn)平面用于進(jìn)行變換處理，所以將除了z＝0以外的被攝體攝像點(diǎn)投影到該基準(zhǔn)平面上，可能發(fā)生特定的失真。然而，在圖像角變換的情況下，因?yàn)闆]有使用基準(zhǔn)平面，并且只有方向用于進(jìn)行變換，所以可以沒有失真地改變攝像范圍和方向、圖像角、以及鏡頭特性。
此外，在圖像角變換的情況下，因?yàn)橹挥蟹较蛴糜谶M(jìn)行變換，所以只有攝像機(jī)R和攝像機(jī)V的方向之間的差成為問題，不管絕對方向?yàn)楹?，結(jié)果是相同的。因此，如果攝像機(jī)R和攝像機(jī)V的俯仰角方向相差5°，并且攝像機(jī)R和攝像機(jī)V具有相同的分辨率，則通過采用N輪使用攝像機(jī)R→攝像機(jī)V的重新排列表的重新排列，可以得到偏移(N×5)度的圖像。
接下來討論可選擇的實(shí)施例。圖14是示出圖像生成設(shè)備的另一個(gè)框圖。在此圖中示出前述攝像機(jī)2、用于輸入的幀緩沖器12、用于輸出的幀緩沖器16和顯示設(shè)備3。還包括重新排列設(shè)備17、誤差校正表6、用于誤差校正的表保持設(shè)備(誤差校正表保持區(qū)域)7、重新排列表8和重新排列表保持設(shè)備(重新排列表保持區(qū)域)9。
使用誤差校正表6和重新排列表8，重新排列設(shè)備17將原來在輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中。在沒有誤差校正功能的傳統(tǒng)系統(tǒng)中，只有重新排列表8用于將原來在輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中。
誤差校正表6是用于校正攝像機(jī)2的方向的誤差的表。其在具有與輸入幀緩沖器12的大小相同的大小的虛擬幀緩沖器內(nèi)進(jìn)行重新排列。此外，在重新排列設(shè)備17中有虛擬幀緩沖器。因?yàn)檩斎霂彌_器12和重新排列設(shè)備17中的虛擬幀緩沖器與其中所保持的信息具有相同的大小，所以可以以與對輸入幀緩沖器12的存取相同的方式來進(jìn)行對虛擬幀緩沖器的存取。因此，對于誤差校正表6中的重新排列的結(jié)果，可以使用相同或者不同的誤差校正表6。誤差校正表6使用以第1-3節(jié)中說明的概念生成的表，并且因?yàn)檎`差校正表6用于校正攝像機(jī)2的方向，所以使用在第3節(jié)中所說明的圖像角變換。
攝像機(jī)2的安裝誤差包括方向誤差(pitch，yaw，roll)和位置誤差。根據(jù)安裝在車體上的攝像機(jī)的特定狀況，方向誤差包括攝像機(jī)自身的誤差，為±3°，以及位置誤差為約±3mm。尤其在使用廣角攝像機(jī)在呈現(xiàn)給駕駛者的圖像的寬范圍中進(jìn)行攝像的系統(tǒng)中，因?yàn)檫h(yuǎn)離攝像被攝體(幾米遠(yuǎn))，并且攝像范圍寬，所以出現(xiàn)明顯的方向誤差。然而，在許多情況下，位置誤差忽略不計(jì)。因此，即使誤差校正表的校正內(nèi)容限于方向也沒有問題，可以提高系統(tǒng)的整體性能。
誤差校正表6可以具有以下形式將預(yù)先計(jì)算的若干結(jié)果保持在誤差校正表保持設(shè)備7中，使用者在所希望的校正狀態(tài)中選擇要使用的結(jié)果。
還可以采用多輪應(yīng)用誤差校正表6以進(jìn)行校正的方案。例如，當(dāng)存儲(chǔ)將首搖角方向校正1°的誤差校正表時(shí)，通過將此表應(yīng)用三次，誤差校正表變成用于校正3°的表。三輪校正的結(jié)果可以作為新的誤差校正表被生成并設(shè)置在誤差校正表6中。此外，在重新排列表8中，也可以采用三輪應(yīng)用的模式。另外，可以以如下方式若干輪應(yīng)用不同的誤差校正表在應(yīng)用一次校正俯仰角的誤差校正表之后，應(yīng)用一次校正首搖角的誤差校正表。
因?yàn)閿z像機(jī)2沿俯仰角和首搖角方向的誤差校正表取決于鏡頭特性，所以為了避免復(fù)雜的計(jì)算，必須保持預(yù)先計(jì)算的結(jié)果。另一方面，攝像機(jī)2沿橫搖角方向的誤差與鏡頭特性無關(guān)，該誤差變成簡單的圖像旋轉(zhuǎn)。因?yàn)檫@涉及很簡單的計(jì)算，所以通過生成用于橫搖角校正的內(nèi)部表，然后應(yīng)用該表，可以減少在誤差校正表保持設(shè)備7中預(yù)存的誤差校正表6的個(gè)數(shù)。
還有一種從誤差校正表保持設(shè)備7中的多個(gè)誤差校正表6生成誤差校正表的方法。例如，有一種從校正一次俯仰角的表和校正三次俯仰角的表生成用于校正兩次俯仰角的表的方法。假設(shè)用于校正一次俯仰角的表是表1，用于校正三次俯仰角的表是表2。使用用于公共存取的地址A從表1和2得到參考目的地址1和參考目的地址2。其兩者都示出輸入幀緩沖器12上的像素。將參考目的地址1的輸入幀緩沖器12中的坐標(biāo)指定為(x1，y1)，將參考目的地址2的輸入幀緩沖器12中的坐標(biāo)指定為(x2，y2)。得到這兩套坐標(biāo)之間的中間坐標(biāo)((x1+x2)/2，(y1+y2)/2)作為生成表的地址A的值。如果對全部像素的地址進(jìn)行計(jì)算，則可以生成表1和表2之間的中間表。此表可用作用于對誤差校正表6的兩輪校正的表的近似。如果得到用于將俯仰角校正1.5°的表的近似表，則可以采用((x1×3+x2)/4，(y1×3+y2)/4)作為如上所述的用于計(jì)算中間坐標(biāo)的公式。另外，由((x1×m×x2×n)/(m+n)，(y1×m×y2×n)/(m+n))表示以m∶n劃分的中間坐標(biāo)。當(dāng)表1和表2之間的部分窄時(shí)，實(shí)現(xiàn)校正近似。另一方面，當(dāng)表1和表2之間的部分寬時(shí)，變得不準(zhǔn)確。因此，在窄范圍中得到調(diào)整值時(shí)，這種近似有效。
重新排列設(shè)備17在將原來在輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中時(shí)，使用以上得到的誤差校正表6和重新排列表8。例如，重新排列表保持設(shè)備9是從車輛上部拍攝且使用節(jié)2說明的方法從不同視點(diǎn)生成的全景視像的重新排列表。
下面給出關(guān)于得到輸出幀緩沖器16的像素(x0，y0)的像素?cái)?shù)據(jù)的過程的說明。首先，用(x0，y0)計(jì)算用于存取的地址B。如第1-3節(jié)所述，當(dāng)輸出幀緩沖器16具有橫向W_0和縱向H_0時(shí)，可以通過(x0+y0)×(W_0+1)得到地址B。然后，通過用于存取的地址B來存取重新排列表8以得到參考目的地址C。通過參考目的地址C來存取誤差校正表6以得到參考目的地址D。參考目的地址D用于存取輸入幀緩沖器12以得到像素?cái)?shù)據(jù)。當(dāng)對輸出幀緩沖器16的全部像素進(jìn)行此操作過程時(shí)，得到輸出幀緩沖器16中的數(shù)據(jù)。
因?yàn)檎`差校正表6是用于校正攝像機(jī)2的方向誤差的表，所以即使當(dāng)由另一個(gè)重新排列表代替重新排列表8時(shí)，仍然不需要改變該誤差校正的應(yīng)用。
此外，當(dāng)存在多個(gè)攝像機(jī)2時(shí)，對每一個(gè)攝像機(jī)2應(yīng)當(dāng)有相同數(shù)目的輸入幀緩沖器12和誤差校正表6。然而，處理的要求相同。當(dāng)存在具有相同要求的多個(gè)攝像機(jī)2時(shí)，可以共用誤差校正表保持設(shè)備7中的誤差校正表6的源(source)。這是因?yàn)檎`差校正表6由包含圖像角的鏡頭特性得出，并且其不依賴于安裝位置和方向。然而，因?yàn)椴煌臄z像機(jī)2具有不同的方向誤差，所以誤差校正表6需要關(guān)于各攝像機(jī)2獨(dú)立。
如上所述，預(yù)先準(zhǔn)備對應(yīng)于攝像機(jī)2的安裝誤差的大小的多個(gè)誤差校正表6，可以通過選擇合適的校正表沿固有的圖像拍攝操作的方向重建圖像。此外，誤差校正表6對應(yīng)于攝像機(jī)2的方向即俯仰角、首搖角和橫搖角的偏移，并且該表定義用于改變地址的規(guī)則。如果將俯仰角、首搖角和橫搖角分別移位0.5°、1°和1.5°，則表可以定義將例如(12，12)的像素改變?yōu)橄袼?13，14)的對應(yīng)關(guān)系。對全部像素定義該對應(yīng)關(guān)系以建立攝像機(jī)2的俯仰角、首搖角和橫搖角方向的對應(yīng)性。此外，可以從像素的坐標(biāo)找到地址編號。以此例子，當(dāng)安裝輸入幀攝像機(jī)2時(shí)，安裝者可以在觀看顯示器等的同時(shí)選擇合適的校正表，可以簡化用于校正再現(xiàn)圖像的攝像機(jī)2的安裝操作(安裝誤差校正操作)。
以下更詳細(xì)說明誤差校正表。通過節(jié)3中的公式，可以將實(shí)體攝像機(jī)R和虛擬攝像機(jī)V的方向(pitch_r，yaw_r，roll_r)、(pitch_v，yaw_v，roll_v)與虛擬攝像機(jī)V的位置(x_v，y_v，z_v)分離。其結(jié)果是，可以建立攝像機(jī)V的像素(X_v，Y_v)和攝像機(jī)R的像素(X_r，Y_r)之間的對應(yīng)關(guān)系。當(dāng)建立像素之間的該對應(yīng)關(guān)系時(shí)，可以建立攝像機(jī)R的特定像素的地址和攝像機(jī)V的地址之間的對應(yīng)關(guān)系。
這里，如果虛擬攝像機(jī)V是攝像機(jī)基準(zhǔn)，當(dāng)在攝像機(jī)V的位置和方向上安裝攝像機(jī)2時(shí)，由攝像機(jī)2自身得出其位置和方向。此外，因?yàn)閷?shí)際安裝的實(shí)體攝像機(jī)R含有相對于虛擬攝像機(jī)V的方向誤差，所以如果在實(shí)體攝像機(jī)R和虛擬攝像機(jī)V的經(jīng)過誤差校正的像素之間存在對應(yīng)關(guān)系，則可以沿固有安裝方向再現(xiàn)與用虛擬攝像機(jī)V看到的圖像相同的圖像。關(guān)于實(shí)際安裝的實(shí)體攝像機(jī)R的誤差，如果實(shí)體攝像機(jī)的方向(pitch_r，yaw_r，roll_r)與虛擬攝像機(jī)V的方向(pitch_v，yaw_v，roll_v)不同，則差值成為誤差。
對應(yīng)于全部像素的誤差大小準(zhǔn)備用于校正誤差的多個(gè)誤差校正表6，并且通過選擇適合于實(shí)際誤差的表，可以不依賴于誤差的大小沿固有安裝方向再現(xiàn)圖像。
如上所述，對于此實(shí)施例中的車輛用圖像生成設(shè)備，由攝像機(jī)2拍攝的車輛周圍的圖像經(jīng)過圖像變換(即將輸入像素?cái)?shù)據(jù)重新排列并輸出)，被顯示給駕駛者。在此設(shè)備中，預(yù)先準(zhǔn)備對應(yīng)于攝像機(jī)2的安裝誤差的大小的多個(gè)誤差校正表6。當(dāng)進(jìn)行圖像變換時(shí)，認(rèn)為誤差校正表6是用于顯示的基準(zhǔn)，從而校正圖像方向的誤差。此外，在此實(shí)施例中的車輛用圖像生成方法中，預(yù)先準(zhǔn)備對應(yīng)于攝像機(jī)1的安裝誤差的大小的多個(gè)誤差校正表6。當(dāng)進(jìn)行圖像變換時(shí)，認(rèn)為誤差校正表是用于顯示的基準(zhǔn)，從而校正圖像方向的誤差。在此例子中，可以容易地校正攝像機(jī)2的安裝誤差，可以消除由攝像機(jī)2的安裝誤差引起的輸入圖像的偏移，可以重新排列輸入圖像的像素，并可以正確地維持所生成的輸出圖像。
如上所述，日本特開1997-159442號公報(bào)中的校正坐標(biāo)表用于對每一個(gè)攝像機(jī)校正光學(xué)系統(tǒng)的固有失真，而不是用于校正在安裝攝像機(jī)時(shí)產(chǎn)生的方向誤差等。此外，因?yàn)槭褂脺y量的值得到光學(xué)系統(tǒng)失真的校正坐標(biāo)，所以很難準(zhǔn)備用于校正方向誤差等的多個(gè)表。因此，不能在安裝期間校正方向誤差。另外，因?yàn)槎鄠€(gè)誤差校正表不是對應(yīng)于方向誤差的多個(gè)表，所以不能對應(yīng)于安裝攝像機(jī)時(shí)產(chǎn)生的任意誤差來選擇合適的表。
在此實(shí)施例中的車輛用圖像生成設(shè)備包括至少一個(gè)攝像機(jī)2，將攝像機(jī)2的圖像作為像素?cái)?shù)據(jù)輸入的輸入幀緩沖器12，重新排列記錄在輸入幀緩沖器12中的像素?cái)?shù)據(jù)的重新排列設(shè)備17，記錄由重新排列設(shè)備17重新排列的像素?cái)?shù)據(jù)的輸出幀緩沖器16，將記錄在輸出幀緩沖器16中的像素?cái)?shù)據(jù)顯示為圖像的顯示設(shè)備3，記錄用于將原來記錄在輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中的規(guī)則的重新排列表8，以及描述用于校正攝像機(jī)2的安裝誤差的規(guī)則的誤差校正表6。重新排列設(shè)備17使用重新排列表8和誤差校正表6將原來記錄在輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中。通過使用誤差校正表6和重新排列表8，重新排列像素以生成輸出圖像。因此，可以容易地校正攝像機(jī)2的安裝誤差，而不用重新計(jì)算重新排列表8。
此外，可以將誤差校正表6用作用于校正一個(gè)攝像機(jī)2的安裝誤差的表。當(dāng)誤差校正表6用于重新排列作為輸入的一個(gè)相片時(shí)，可以用甚至更小的容量來表示該表。
也可以將誤差校正表6用作用于僅校正攝像機(jī)2的方向的安裝誤差的表。除了校正攝像機(jī)2的位置誤差之外，通過只用誤差校正表6來進(jìn)行攝像機(jī)2的方向的校正，在誤差校正表6的生成中可以采用圖像角變換代替視點(diǎn)變換。因此，可以由具有相同鏡頭特性的攝像機(jī)2共用誤差校正表6。其結(jié)果是，可以用較少的表內(nèi)容進(jìn)行更多的校正。
此外，可以采用誤差校正表6作為用于校正至少攝像機(jī)2的俯仰角方向和首搖角方向的安裝誤差的表。其結(jié)果是，可以容易地校正至少沿俯仰角方向和首搖角方向的攝像機(jī)2的安裝誤差。
可以通過對橫搖角方向計(jì)算誤差校正表6、然后對校正使用誤差校正表6來進(jìn)行攝像機(jī)2的至少橫搖角方向的校正。以這種方式，對于攝像機(jī)1的至少橫搖角方向的誤差校正，可以通過內(nèi)部計(jì)算的結(jié)果用更少的表來實(shí)現(xiàn)校正。
誤差校正表6用于校正攝像機(jī)2的俯仰角方向和首搖角方向的安裝誤差，可以通過計(jì)算或者通過生成橫搖角方向的誤差校正表、然后對校正使用該誤差校正表進(jìn)行攝像機(jī)2的橫搖角方向的校正。以這種方式，可以通過內(nèi)部計(jì)算的結(jié)果用更少的表來實(shí)現(xiàn)攝像機(jī)2的橫搖角方向的誤差的校正。
誤差校正表6僅用于校正攝像機(jī)2的方向安裝誤差，重新排列設(shè)備17允許通過多輪應(yīng)用誤差校正表6來進(jìn)行校正。即分別給出用于校正至少沿俯仰角和首搖角方向的誤差的誤差校正表6，并且通過多輪應(yīng)用誤差校正表6，誤差被校正。因?yàn)檎`差校正表6用于校正攝像機(jī)2的方向，所以輸入幀緩沖器12的大小和輸出幀緩沖器16的大小相同。因此可以將誤差校正表6應(yīng)用到由誤差校正表6的應(yīng)用而得到的結(jié)果，可用更少的表為更多的偏移狀態(tài)建立對應(yīng)關(guān)系。
此外，重新排列設(shè)備17可以通過從兩個(gè)誤差校正表6的計(jì)算來生成誤差校正表6。即分別給出校正至少俯仰角和首搖角方向的誤差的多個(gè)基準(zhǔn)誤差校正表6。從這兩個(gè)誤差校正表6，可以計(jì)算和生成新的誤差校正表6。其結(jié)果是，可以用更少的表為更細(xì)微的校正建立對應(yīng)關(guān)系。
圖15還示出了車輛用圖像生成設(shè)備的另一個(gè)實(shí)施例。在此圖中示出了合并表10。
如圖15所示，可以采用以下方案。在得到誤差校正表6和重新排列表8時(shí)，生成和保存誤差校正表6和重新排列表8的合并表10，并且重新排列設(shè)備17在運(yùn)算中使用合并表10。在先前的說明中，從用于存取的地址B得到參考目的地址C，從參考目的地址C得到參考目的地址D，存取輸入幀緩沖器12。合并表10保持用于從用于存取的地址B得到參考目的地址D的對應(yīng)關(guān)系。在這種情況下，因?yàn)閰⒖紲p少了一級，所以對存儲(chǔ)器存取的輪數(shù)減少。因此，可以通過總線以及更低速度的處理器來實(shí)現(xiàn)重新排列。當(dāng)由另一個(gè)重新排列表代替重新排列表8，必須重新計(jì)算合并表10。
如上所述，在本實(shí)施例中，重新排列表17使用通過合并誤差校正表6和重新排列表8所生成的合并表10，將輸入幀緩沖器12中的像素?cái)?shù)據(jù)重新排列到輸出幀緩沖器16中。即選擇誤差校正表6之后，將誤差校正表6與重新排列表8合并，用得到的合并表10進(jìn)行直接的重新排列。以這種方式，由于有從誤差校正表6和重新排列表8生成合并表10的功能，可以在重新排列中使用所生成的結(jié)果，因此可以用簡單的計(jì)算重新構(gòu)造重新排列表8，并且可以用更簡單的處理機(jī)制來進(jìn)行重新排列。
本申請基于于2005年6月24日提交日本專利局的日本專利申請第2005-184491號，其全部內(nèi)容在此引入作為基準(zhǔn)。
此外，說明了上述實(shí)施例以便易于理解本發(fā)明，這些實(shí)施例不限制本發(fā)明。相反，本發(fā)明旨在覆蓋包含在所附權(quán)利要求書的范圍內(nèi)的各種變形和等同配置。所附權(quán)利要求書的范圍符合最寬的解釋，使得包括法律所允許的全部變形和等同結(jié)構(gòu)。
權(quán)利要求
1.一種車輛用圖像生成設(shè)備，具有至少一個(gè)攝像機(jī)和顯示器，該顯示器顯示從由該至少一個(gè)攝像機(jī)生成的圖像而得到的圖像，其特征在于，所述車輛用圖像生成設(shè)備包括輸入幀緩沖器，其用于接收表示由所述至少一個(gè)攝像機(jī)生成的圖像的像素?cái)?shù)據(jù)；重新排列表，其存儲(chǔ)用于重新排列像素?cái)?shù)據(jù)的規(guī)則；誤差校正表，其存儲(chǔ)用于調(diào)整像素?cái)?shù)據(jù)以校正所述至少一個(gè)攝像機(jī)的安裝誤差的規(guī)則；輸出幀緩沖器，其用于接收重新排列過的、用于作為圖像顯示在所述顯示器上的像素?cái)?shù)據(jù)；以及控制器，其用于從所述輸入幀緩沖器讀取像素?cái)?shù)據(jù)，以基于所述重新排列表和所述誤差校正表中的至少一個(gè)重新排列像素?cái)?shù)據(jù)，并且將重新排列過的像素?cái)?shù)據(jù)存儲(chǔ)在所述輸出幀緩沖器中。
2.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，還包括合并表，其通過合并所述重新排列表和所述誤差校正表而生成；其中，所述控制器使用所述合并表來重新排列像素?cái)?shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述誤差校正表是用于校正單個(gè)攝像機(jī)的安裝誤差的表。
4.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述誤差校正表是用于僅校正所述至少一個(gè)攝像機(jī)的攝像方向的安裝誤差的表。
5.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述誤差校正表是用于校正所述至少一個(gè)攝像機(jī)的俯仰方向和首搖方向中的至少一個(gè)的安裝誤差的表。
6.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，還包括用于校正橫搖方向的誤差的裝置。
7.根據(jù)權(quán)利要求6所述的車輛用圖像生成設(shè)備，其特征在于，所述用于校正橫搖方向的誤差的裝置還包括用于計(jì)算橫搖方向的誤差校正表的裝置；所述控制器使用所述橫搖方向的誤差校正表重新排列像素?cái)?shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述誤差校正表是用于校正所述至少一個(gè)攝像機(jī)的俯仰方向和首搖方向中的至少一個(gè)的安裝誤差的表，所述設(shè)備還包括用于計(jì)算橫搖方向的誤差校正表的裝置；所述控制器使用所述橫搖方向的誤差校正表重新排列像素?cái)?shù)據(jù)。
9.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述輸入幀緩沖器的大小與所述輸出幀緩沖器的大小相同；所述誤差校正表是用于僅校正所述至少一個(gè)攝像機(jī)的攝像方向的安裝誤差的表；所述控制器使用所述誤差校正表進(jìn)行多輪校正。
10.根據(jù)權(quán)利要求1所述的車輛用圖像生成設(shè)備，其特征在于，所述控制器從兩個(gè)誤差校正表生成所述誤差校正表。
11.一種車輛用圖像生成方法，該車輛含有圖像生成設(shè)備，該圖像生成設(shè)備從至少一個(gè)攝像機(jī)接收車輛周圍的圖像，并且對駕駛者顯示合成圖像，所述方法包括準(zhǔn)備對應(yīng)于所述至少一個(gè)攝像機(jī)的安裝誤差的大小的多個(gè)誤差校正表；顯示所述合成圖像；以及對用于創(chuàng)建所述合成圖像的各圖像，使用所述多個(gè)誤差校正表中的至少一個(gè)作為參考來校正各攝像機(jī)的安裝誤差。
12.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，還包括使用描述用于重新排列像素?cái)?shù)據(jù)的規(guī)則的重新排列表來重新排列用于創(chuàng)建所述合成圖像的各圖像的像素?cái)?shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的車輛用圖像生成方法，其特征在于，還包括將所述重新排列表和所述多個(gè)誤差校正表中的至少一個(gè)合并為合并表；以及在校正安裝誤差時(shí)使用所述合并表。
14.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，所述多個(gè)誤差校正表中的至少一個(gè)是用于僅校正各攝像機(jī)的攝像方向的安裝誤差的表，校正安裝誤差還包括校正各攝像機(jī)的方向誤差。
15.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，校正各攝像機(jī)的安裝誤差還包括校正俯仰方向的誤差和首搖方向的誤差中的至少一個(gè)。
16.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，還包括計(jì)算至少橫搖方向的誤差校正表；其中，校正各攝像機(jī)的安裝誤差還包括校正各攝像機(jī)的至少橫搖方向的誤差。
17.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，所述多個(gè)誤差校正表中的至少一個(gè)是用于校正各攝像機(jī)的俯仰方向和首搖方向的安裝誤差的表，所述方法還包括計(jì)算用于橫搖方向的誤差校正表；以及使用所述用于橫搖方向的誤差校正表校正橫搖方向的誤差。
18.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，還包括在校正各攝像機(jī)的安裝誤差時(shí)，順序使用所述多個(gè)誤差校正表中的至少一個(gè)。
19.根據(jù)權(quán)利要求11所述的車輛用圖像生成方法，其特征在于，還包括使用所述多個(gè)誤差校正表中的兩個(gè)來計(jì)算所述多個(gè)誤差校正表中的至少一個(gè)。
全文摘要
一種車輛用圖像生成設(shè)備和方法，用于容易地校正車輛中的攝像機(jī)安裝誤差。該設(shè)備包括輸入幀緩沖器，用于接收表示由攝像機(jī)生成的圖像的像素?cái)?shù)據(jù)；重新排列表，描述用于重新排列像素?cái)?shù)據(jù)的規(guī)則；誤差校正表，描述用于調(diào)整像素?cái)?shù)據(jù)以校正攝像機(jī)的安裝誤差的規(guī)則；輸出幀緩沖器，用于接收重新排列過的用于顯示的像素?cái)?shù)據(jù)；以及控制器，用于從輸入幀緩沖器讀取像素?cái)?shù)據(jù)，基于重新排列表和/或誤差校正表重新排列像素?cái)?shù)據(jù)，并且將重新排列過的像素?cái)?shù)據(jù)存儲(chǔ)在輸出幀緩沖器中。該方法包括準(zhǔn)備對應(yīng)于安裝誤差的大小的多個(gè)誤差校正表；顯示合成圖像；以及對用于創(chuàng)建合成圖像的各圖像，使用誤差校正表中的至少一個(gè)作為參考來校正安裝誤差。
文檔編號H04N7/18GK1884968SQ20061008648
公開日2006年12月27日 申請日期2006年6月23日 優(yōu)先權(quán)日2005年6月24日
發(fā)明者大泉謙 申請人:日產(chǎn)自動(dòng)車株式會(huì)社