專利名稱：圖像處理方法、圖像處理設(shè)備和成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理由具有廣角和大的倍率色^^差(chromatic aberration of magnification)的魚眼(fisheye )光學(xué)系統(tǒng)所捕獲的圖像的技術(shù)。
背景技術(shù)：
在近些年，對于例如交通工具的倒車監(jiān)視器的應(yīng)用，廣角成像設(shè)備的需求 曰益增加。然而，隨著角度變得更寬，倍率色像差和失真變得更大，使得設(shè)計(jì) 具有小色像差的光學(xué)系統(tǒng)變得困難。由此，需要結(jié)合圖像處理來改進(jìn)性能。
在使用具有倍率色像差和失真的光學(xué)系統(tǒng)的成像設(shè)備中，用于校正失真的 傳統(tǒng)技術(shù)包括一種同時(shí)校正倍率色像差和失真的方法，如日本專利申請公開第 2006-345054號所述，關(guān)于由例如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半 導(dǎo)體(CMOS)傳感器的成像裝置在后續(xù)級獲得的R信號、G信號和B信號， 通過對紅色(R)、綠色(G)和藍(lán)色(B)的每個(gè)顏色分量獨(dú)立執(zhí)行坐標(biāo)變換， 來同時(shí)校正倍率色像差和失真。而且，存在一種方法，通過對RGB的各個(gè)顏 色分量一起執(zhí)行坐標(biāo)變換，而忽略倍率色像差來僅校正失真。
在校正失真的時(shí)候，例如，如Deguchi在"Recent Trend of Camera Calibration Method" ， Information Processing Society of Japan, Study group material CV-82-1,1993中描述的那樣，已提出了基于下面的等式校正失真的一 種方法
y = x + iCx:(x2 + _y2) x義
y =少+ A:少(x2 +_y2)x_y 其中〗叚:沒坐標(biāo)變換的目的地(原始坐標(biāo))是(x， y)，坐標(biāo)變換的源(由于色 差導(dǎo)致的在目的地的坐標(biāo))是(X， Y),并且在x和y的各自方向確定失真量的參數(shù)是Kx和Ky。
雖然在RGB的各個(gè)顏色分量中失真是一致的，但倍率色像差對于每個(gè)顏 色分量是不同的。此外，倍率色像差小于失真。由此，期望分開校正倍率色像 差和失真。
根據(jù)通過對RGB的每個(gè)顏色分量獨(dú)立執(zhí)行坐標(biāo)變換來同時(shí)校正倍率色像 差和失真的傳統(tǒng)方法，需要在隨機(jī)存取時(shí)具有大容量和小等待時(shí)間的存儲器以 處理RGB的各個(gè)顏色，例如靜態(tài)隨機(jī)存取存儲器(SRAM)或多端口存儲器。 然而，大容量SRAM和具有多個(gè)端口的存儲器十分貴，特別是在需要大容量 存儲器的高分辨率的情況下，這樣的設(shè)備變得更貴。
同時(shí)，通過對RGB的各個(gè)顏色共同執(zhí)行坐標(biāo)變換來僅^f交正失真的方法需 要大容量存儲器，但是也可以使用具有單芯片配置的便宜的動(dòng)態(tài)RAM (DRAM)。然而，如果在具有不能忽略倍率色像差的廣角的情況下，不能應(yīng) 用該方法。
對于每個(gè)顏色分量需要獨(dú)立的校正電路來校正倍率色像差，并且需要以最 小的電路大小來執(zhí)行倍率色像差的校正以降低成本。然而，由于復(fù)雜的多項(xiàng)式 之類通常被用作坐標(biāo)變換的公式，因此存在電路大小增加的問題。例如，根據(jù) "Recent Trend of Camera Calibration"中描述的方法，由于包括了二次項(xiàng)或更 高次項(xiàng)，需要模擬乘法器來進(jìn)行計(jì)算。此外，在具有大的倍率色像差的魚眼光 學(xué)系統(tǒng)的情況下，模擬乘法器需要大規(guī)模電路，因?yàn)橛捎谟?jì)算精度的問題需要 大的比特?cái)?shù)。
魚眼光學(xué)系統(tǒng)指的是執(zhí)行例如立體投影少^2/tan(^/2)、等距投影 _y = /<9 、等立體角(equisolidangle )投影y = 2/sin(P/2)以及正交投影_y = /sin^ 的投影方法，而不執(zhí)行正常透鏡;^/tan0的投影方法的光學(xué)系統(tǒng)，其中圖像 高度是^，焦距是/，以及半視角是P。
本發(fā)明的目的在于至少部分地解決現(xiàn)有技術(shù)中的問題。 根據(jù)本發(fā)明的一個(gè)方面，提供了 一種處理包括倍率色像差的圖像數(shù)據(jù)的方法，
該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的。該方法包括通過基于公式p = x + ^對
發(fā)明內(nèi)容該圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心 為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐 標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
此外，根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于處理包括倍率色像差的圖像數(shù) 據(jù)的設(shè)備，該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的。該設(shè)備包括倍率色像差校
正單元，基于公式{X = X + ^通過對該圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像
差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示 以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
此外，根據(jù)本發(fā)明的另一個(gè)方面，提供一種成像設(shè)備，包括成像裝置， 使用具有大的倍率色像差的魚眼光學(xué)系統(tǒng)來捕獲圖像，并且輸出包括倍率色像 差的圖像數(shù)據(jù)；以及，根據(jù)本發(fā)明的圖像處理設(shè)備。
通過結(jié)合附圖閱讀下面本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述會(huì)更好地理解本 發(fā)明的上述及其他目的、特征、優(yōu)點(diǎn)以及技術(shù)和工業(yè)意義。


圖1是根據(jù)本發(fā)明的實(shí)施例的成像設(shè)備的框圖； 圖2A是用于G信號的Bayer彩色濾波器陣列的示意圖； 圖2B是用于R信號的Bayer彩色濾波器陣列的示意圖； 圖2C是用于B信號的Bayer彩色濾波器陣列的示意圖； 圖3是根據(jù)實(shí)施例的MTF校正單元的框圖； 圖4是用于說明FIR濾波器的例子的示意圖； 圖5是用于解釋倍率色像差和失真的示意圖； 圖6是用于解釋校正倍率色像差和失真的一般方法的示意圖； 圖7A和7B是用于解釋根據(jù)本發(fā)明的校正倍率色像差和失真的方法的示 意圖8是根據(jù)實(shí)施例的倍率色像差校正單元的結(jié)構(gòu)圖； 圖9A到9C是倍率色像差校正坐標(biāo)變換計(jì)算器的例子；以及 圖IO是根據(jù)實(shí)施例的失真校正單元的結(jié)構(gòu)圖。
具體實(shí)施例方式
6下面將參考附圖詳細(xì)描述本發(fā)明的示意性實(shí)施例。實(shí)施例說明了通過使用 具有大的倍率色像差和失真的光學(xué)系統(tǒng)以廣角捕獲對象的成像設(shè)備，并且說明 了具有除了校正倍率色像差之外還校正失真的配置的圖像處理系統(tǒng)。然而，本 發(fā)明的主要特征是倍率色像差的校正，并且圖像需要是由至少具有廣角和大的 倍率色像差的魚眼光學(xué)系統(tǒng)捕獲的圖像。雖然圖像的顏色分量是加法三原色的
紅(R)、綠(G)和藍(lán)(B)，它們也可以是減法三原色的黃(Y)、紅紫(M) 和藍(lán)綠(C )。
圖1是根據(jù)本發(fā)明的實(shí)施例的成像設(shè)備中的圖像處理系統(tǒng)的功能框圖。除 了圖1所示的元件之外，根據(jù)本實(shí)施例的成像設(shè)備還包括圖1中沒有顯示的操 作單元、圖像存儲單元以及圖像顯示單元。例如，成像設(shè)備被用作車載攝像機(jī)， 但這不是限制本發(fā)明的唯一應(yīng)用。
如圖1所示，控制單元100向各個(gè)單元提供所需的控制信號(時(shí)鐘、水平 /垂直同步信號等)，以流水線的形式控制單元的操作。
例如，成像裝置110包括CCD或CMOS傳感器，以將光學(xué)圖像轉(zhuǎn)換為電 子信號(像素?cái)?shù)據(jù))，該光學(xué)圖像是使用具有廣角以及大的倍率色像差和失真 的魚眼光學(xué)系統(tǒng)(未顯示)所捕獲的。在成像裝置110中提供Bayer彩色濾波 器陣列，并且基于從控制單元100給出的坐標(biāo)數(shù)據(jù)(x, y)順序地輸出Bayer 陣列布置的RGB像素?？刂茊卧?00通過偏移(shifting)預(yù)定時(shí)間將賦予成 像裝置110的坐標(biāo)數(shù)據(jù)(x， y)順序地賦予后續(xù)級。坐標(biāo)數(shù)據(jù)(x， y)可以在 成像裝置110中生成，并且順序地被賦予后續(xù)級。
模數(shù)(A/D)轉(zhuǎn)換器120將Bayer陣列排列的RGB像素?cái)?shù)據(jù)轉(zhuǎn)換為數(shù)字 信號，并將該數(shù)字信號輸出至Bayer補(bǔ)償單元130,該Bayer陣列排列的RGB 像素?cái)?shù)據(jù)是從成像裝置110輸出的模擬信號。在本實(shí)施例中，假設(shè)對于RGB 中的每個(gè)，該數(shù)字信號包括8比特。通常，在A/D轉(zhuǎn)換器120的先前級提供 AGC電路，然而，在此省略了AGC電路。
Bayer補(bǔ)償單元130接收被轉(zhuǎn)換成數(shù)字信號的Bayer陣列排列的RGB像素 數(shù)據(jù)，通過線性內(nèi)插生成整個(gè)坐標(biāo)位置的圖像數(shù)據(jù)，并且將該像素?cái)?shù)據(jù)輸出至 倍率色像差校正單元140。
圖2A到2C是Bayer彩色濾波器陣列的示意圖，其中由等式(l)到(6)獲得GQ、 R2、 R4、 R6、 Rs和Ro。
Go = ( G2 + G4 + G6 + G8) /4 (1 )
R2 = (+ R3) /2 ( 2 )
R4 = ( R3 + R5) /2 ( 3 )
R6= (R5 + R7) /2 (4)
R8= (R, +R7) /2 (5)
Ro= (R+R3 + R5 + R7) /4 (6)
B2、 B4、 B6、 Bg和B。與R2、 R4、 Re、 Rs和Ro的情況相同。 雖然該實(shí)施例是關(guān)于采用Bayer彩色濾波器陣列的成^f象裝置，但對于采用 其他類型的CMYG陣列或RGB + Ir (紅外)的彩色濾波器陣列的成像裝置也 可以獲得相同的效果。特別地，與具有例如RGB的三色類型的彩色濾波器陣 列的成像裝置相比，具有四色的彩色濾波器陣列的成^f象裝置需要短等待時(shí)間 存儲器或4端口RAM,以期望好的效果。
倍率色像差校正單元140接收Bayer補(bǔ)償?shù)腞GB像素?cái)?shù)據(jù)，根據(jù)預(yù)定等 式對于RGB的顏色分量單獨(dú)執(zhí)行坐標(biāo)變換(倍率色像差坐標(biāo)變換)，并且輸出 倍率色像差校正的RGB像素?cái)?shù)據(jù)。稍后將和失真校正單元160 —起描述倍率 色像差校正單元140。然而，小容量和短等待時(shí)間存儲器或具有多個(gè)端口的小 容量存儲器(例如SRAM)可以被用于坐標(biāo)變換，以校正倍率色像差。
調(diào)制傳遞函數(shù)(MTF)校正單元150接收倍率色像差校正的RGB像素?cái)?shù) 據(jù)，使用FIR文件執(zhí)行MTF校正，并且輸出MTF校正的RGB像素?cái)?shù)據(jù)。 圖3是MTF校正單元150的框圖。轉(zhuǎn)換單元152基于等式(7 )到(9 )
將RGB圖像數(shù)據(jù)轉(zhuǎn)換為YCbCr圖像數(shù)據(jù)。
Y = 0.299R + 0.587G + 0.114B ( 7 )
Cr = 0.500R - 0.419G - 0.081B ( 8 )
Cb = -0.169R-0.332G + 0.500B (9)
FIR濾波器(5x5濾波器)154僅接受YCbCr的亮度信號Y，并且執(zhí)行 預(yù)定MTF校正。通過僅對Y信號濾波(執(zhí)行MTF校正)可以獲得具有顏色 噪聲的放大被壓縮的高質(zhì)量信號。圖4是用于說明FIR濾波器的例子的示意圖。 因?yàn)闉V除了Y信號，需要在倍率色像差校正之后執(zhí)行MTF校正。然而，當(dāng)在失真校正之后執(zhí)行MTF校正時(shí)，如下面所述，在失真校正中坐標(biāo)變換的變換
距離是大的，并且容易發(fā)生算術(shù)誤差。如在本實(shí)施例所述，在倍率色像差的校
正的后續(xù)級和失真才交正的先前級優(yōu)選地4丸行MTF校正，以避免誤差^皮MTF
校正方法放大而惡化圖像質(zhì)量。
逆轉(zhuǎn)換單元156接收CbCr信號和MTF校正的Y信號，并且基于等式(10)
到(12 )輸出逆轉(zhuǎn)換的RGB圖像數(shù)據(jù)。
R = Y+ 1.402Cr (10) G = Y-0.714Cr-0.344Cb (11) B = Y+ 1.772Cb (12) 失真校正單元160接收倍率色像差校正的和MTF校正的RGB ^f象素?cái)?shù)據(jù)，
根據(jù)預(yù)定等式對RGB的各個(gè)顏色分量共同執(zhí)行坐標(biāo)變換(失真坐標(biāo)變換)，并
且輸出失真校正的RGB像素?cái)?shù)據(jù)。
伽瑪校正單元170接收從失真校正單元160輸出的RGB像素?cái)?shù)據(jù)，通過
使用RGB的各自的查找表等來執(zhí)行預(yù)定的伽瑪校正，并且輸出伽瑪校正的
RGB像素?cái)?shù)據(jù)。
上面解釋了圖i所示的本實(shí)施例中的全部操作。下面詳細(xì)描述作為本實(shí)施 例主要元件的倍率色像差校正單元140和失真校正單元160。
首先解釋校正倍率色像差和失真的原理。如圖5所示，當(dāng)使用具有倍率色 像差和失真的光學(xué)系統(tǒng)來執(zhí)行成像時(shí)，處于屏幕右上方由1指示的位置(像素) 的像素?cái)?shù)據(jù)由于失真而偏離原始位置，并且由于倍率色像差對RGB的顏色分 量造成不同的偏離。由此，對于RGB,成像裝置實(shí)際捕獲的位置變成2 (R)、 3 (G)、 4 (B)的位置。通過將處于位置(像素)2 (R)、 3 (G)和4 (B) 的RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)復(fù)制到作為原始位置的位置(像素)1 ，即， 通過坐標(biāo)變換，來執(zhí)行倍率色像差和失真的校正。位置2、 3和4是源的坐標(biāo)， 位置l是目的地的坐標(biāo)。
因?yàn)榭梢愿鶕?jù)光學(xué)系統(tǒng)的統(tǒng)計(jì)數(shù)據(jù)來發(fā)現(xiàn)失真的大小和倍率色像差的大 小，因此可以計(jì)算相對于原始位置，RGB的各個(gè)顏色分量偏移到什么位置。
圖6是校正倍率色像差和失真的通用方法的示意圖。即，在位置(像素) 2(R)、 3(G)和4(B)的RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)通常被復(fù)制到作為原始位置的位置(像素)1。即，通過坐標(biāo)變換同時(shí)校正倍率色像差和失真。
然而，根據(jù)本方法，需要對于RGB的每個(gè)顏色分量具有大容量的存儲器，和 短等待時(shí)間或多端口存儲器。例如，在圖6的情況下，對于RGB的每個(gè)顏色 的坐標(biāo)變換需要具有六行的高速存儲器。
圖7A和7B是單獨(dú)校正倍率色像差和失真的方法的示意圖。對于每個(gè)顏 色分量倍率色像差是不同的，然而，其偏差很小。另一方面，雖然失真的偏差 是大的，但是對于每個(gè)顏色分量偏差是相同的。關(guān)于這點(diǎn)，通過對于RGB的 各個(gè)顏色分量的像素?cái)?shù)據(jù)分別執(zhí)行坐標(biāo)變換(坐標(biāo)變換RG的顏色分量并且將 顏色分量復(fù)制到G分量的位置)來校正倍率色像差，此后，倍率色像差校正 的RGB像素?cái)?shù)據(jù)被共同地位置變換以校正失真。由此，用于坐標(biāo)變換的存儲 器可以被分成校正倍率色像差所需的小容量和高速(短等待時(shí)間或多端口 ) RGB兼容的存儲器，以及校正失真所需的RGB共用的通常大容量和低速(長 等待時(shí)間和單端口)的存儲器，由此以減少整體成本。本發(fā)明通過簡化特別是 用于校正倍率色像差的坐標(biāo)變換的公式，以及以簡單和小的電路執(zhí)行倍率色像 差的校正來實(shí)現(xiàn)整體成本的進(jìn)一步減少。
在圖7A中，對在位置(像素)2 (R)和4 (B)的顏色分量的像素?cái)?shù)據(jù) 執(zhí)行坐標(biāo)變換，以將數(shù)據(jù)復(fù)制到G分量的位置(像素)3 (G)。通過這個(gè)操作 校正倍率色像差。在圖7B中，對在位置(像素)3的倍率色像差校正的RGB 的顏色分量的像素?cái)?shù)據(jù)共同地執(zhí)行坐標(biāo)變換，以將數(shù)據(jù)復(fù)制到作為原始位置的 位置(像素)1。通過這個(gè)操作來校正失真。
在圖7A和7B所示的例子中，RGB兼容的三行存儲器對于用于校正倍率 色像差的高速存儲器是足夠的。需要五行存儲器以分開校正失真，然而，對于 RGB可以共同使用低速存儲器，并且與圖6的情況相比可以實(shí)現(xiàn)整體成本的 減少。通過以簡單和小的電路執(zhí)行倍率色像差的校正可以進(jìn)一步實(shí)現(xiàn)整體成本 的減少。
失真指的是透鏡對于期望的投影方法的失真，例如，期望的投影方法包括 其中如從上面的照相機(jī)向下看而得到的圖像的投影方法，或者其中某部分被放 大顯示的投影方法。
圖8是根據(jù)本實(shí)施例的倍率色像差校正單元140的結(jié)構(gòu)圖。在本發(fā)明中，下面的等式被用作坐標(biāo)變換的公式以校正倍率色像差(倍率色像差的校正公 式)
其中x和y表示當(dāng)屏幕的中心被指定為原點(diǎn)時(shí)，目的地的坐標(biāo)(原始坐標(biāo))， X和Y表示源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。在x和y方向的像素偏 移量Ax和Ay (校正量)由Ax = ax和Ay = by表示。已經(jīng)確認(rèn)，即使倍率色 像差的公式被簡化為等式(13)而不是復(fù)雜的多項(xiàng)式等，也可以獲得和使用復(fù) 雜的多項(xiàng)式等時(shí)所獲得的校正效果相同的校正效果。具體地，在具有大的倍率 色像差的魚眼光學(xué)系統(tǒng)的情況下，由于計(jì)算精度的問題需要高的比特?cái)?shù)，以及 需要大規(guī)模電路。然而，根據(jù)本方法，因?yàn)閷τ趚和y的每一個(gè)僅需要一次乘 法，所以存在電路尺寸的大的減少效果。特別地，由于這里使用的模擬乘法器 僅需要執(zhí)行"常數(shù)x變量"的乘法，可以使用小規(guī)模的模擬乘法器，并且不需 要用于計(jì)算平方項(xiàng)的"變量x變量"的大規(guī)才莫模擬乘法器，這在"RecentTrend of Camera Calibration Method"等公開的方法中是需要的。
在圖8中，附圖標(biāo)記142表示用于校正倍率色像差的坐標(biāo)變換存儲器(行 緩存器)，并且142(R)、 142 (G)和142 (B)分別對應(yīng)于RGB的顏色分量。 附圖標(biāo)記144表示倍率色像差校正坐標(biāo)變換計(jì)算器，其根據(jù)等式(13 )的坐標(biāo) 變換的公式計(jì)算用于校正每個(gè)RGB的倍率色像差的變換坐標(biāo)，并且146表示 坐標(biāo)變換系數(shù)表，該坐標(biāo)變換系數(shù)表存儲在坐標(biāo)變換的公式中使用的系數(shù)a和 bo
對于倍率色像差的校正，需要RGB的小容量三端口存儲器或短等待時(shí)間 存儲器作為行緩存器。這里假設(shè)坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B)分別包括20行的SRAM，假設(shè)在y方向倍率色像差的最大偏差量是20 行。通過分辨率確定x方向的尺寸。例如，在分辨率VGA (640x480)的情 境下，x方向的尺寸是640點(diǎn)。色深度是RGB8比特，并且以8比特為單位執(zhí) 行關(guān)于坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B)的讀寫。
由此，因?yàn)橛糜谛Ｕ堵噬癫畹淖鴺?biāo)變換存儲器(行緩存器)142(R)、 142 (G)和142 (B)具有小的容量，所以通過使用在成像設(shè)備的圖像處理芯
li片中準(zhǔn)備的三端口 SRAM，期望分別確保20行的存儲器區(qū)域。在例如SRAM 的短等待時(shí)間的存儲器的情況下，通過時(shí)間共享可以使用單端口存儲器作為三 端口存儲器。
具有倍率色像差和失真的捕獲圖像的RGB的各個(gè)像素?cái)?shù)據(jù)根據(jù)坐標(biāo)數(shù)據(jù) (x， y)從頭行被順序地分別寫入到坐標(biāo)變換存儲器142 (R)、 142 (G)和 142 (B)。當(dāng)20行的圖像數(shù)據(jù)被分別寫入時(shí)，從頭行順序地丟棄像素?cái)?shù)據(jù)， 并且新寫入隨后行的像素?cái)?shù)據(jù)。坐標(biāo)變換以校正倍率色像差所分別需要的最多 20行的RGB像素?cái)?shù)據(jù)被順序存儲在坐標(biāo)變換存儲器142 (R)、 142 (G)和 142 (B)中。
坐標(biāo)數(shù)據(jù)(x， y)表示一幀的捕獲圖像的讀取位置。另一方面，因?yàn)樽鴺?biāo) 變換存儲器142 (R)、 142 (G)和142 (B)是20行的行緩存器，并且寫入行 被周期地改變，因此坐標(biāo)數(shù)據(jù)(x, y)不可以被直接用作坐標(biāo)變換存儲器142
(R)、 142 (G)和142 (B)的寫入地址。由此，坐標(biāo)數(shù)據(jù)(x， y)的值需要 被改變成坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B)的實(shí)際地址。然而， 在圖8中省略用于變換的配置。對于稍后描述的讀取操作中的源的坐標(biāo)數(shù)據(jù)
(X， Y)和坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B)的讀取地址之間 的關(guān)系應(yīng)用相同的變換。
倍率色像差校正坐標(biāo)變換計(jì)算器144根據(jù)等式(13 )的坐標(biāo)變換公式計(jì)算 變換坐標(biāo)，以校正每個(gè)RGB的倍率色像差，指定目的地的坐標(biāo)數(shù)據(jù)(x， y) 作為輸入，并且輸出作為每個(gè)RGB的源的坐標(biāo)數(shù)據(jù)(X, Y)。如圖7A所示， 在本實(shí)施例中，RG的顏色分量被坐標(biāo)變換，并且被復(fù)制到G分量的位置。由 此，倍率色像差校正坐標(biāo)變換計(jì)算器144直接輸出輸入的坐標(biāo)數(shù)據(jù)(X， Y) 作為G分量的坐標(biāo)數(shù)據(jù)(X, Y)，并且將使用等式(13)的坐標(biāo)變換公式分 別輸入的坐標(biāo)數(shù)據(jù)(x， y)轉(zhuǎn)換為RG分量的坐標(biāo)數(shù)據(jù)(X， Y)，并且輸出該 坐標(biāo)數(shù)據(jù)(X， Y)。對于每個(gè)坐標(biāo)數(shù)據(jù)(x, y)重復(fù)該操作。
坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B)基于從倍率色像差校正 坐標(biāo)變換計(jì)算器144輸出的坐標(biāo)數(shù)據(jù)(X, Y)(實(shí)際上，基于通過變換坐標(biāo)數(shù) 據(jù)(X, Y)的地址而獲得的值)，與上一個(gè)寫入操作并行(實(shí)際上，延長預(yù)定 時(shí)間)來分別順序地讀取RGB像素?cái)?shù)據(jù)。從坐標(biāo)變換存儲器142 (G)讀取在與寫入時(shí)間相同的位置的G分量像素?cái)?shù)據(jù)。另一方面，從坐標(biāo)變換存儲器142 (R)和142 (B)讀取從寫入時(shí)間的位置偏差了預(yù)定位置的RB分量像素?cái)?shù)據(jù) (△x, Ay),即，從坐標(biāo)變換存儲器142 (R)和142 (B)讀耳又偏差了部分倍 率色像差的RB分量像素?cái)?shù)據(jù)。
通過執(zhí)行上述處理，從坐標(biāo)變換存儲器142 (R)、 142 (G)和142 (B) 分別輸出倍率色像差校正的RGB像素?cái)?shù)據(jù)。即，源的RGB像素?cái)?shù)據(jù)(X， Y) 被輸出作為目的地的RGB像素(x， y )。
圖9A到9C是倍率色像差校正坐標(biāo)變換計(jì)算器144的三個(gè)特定例子。圖 9A是一個(gè)例子，其中對于G的顏色分量不執(zhí)行坐標(biāo)變換，并且輸入的坐標(biāo)數(shù) 據(jù)(x， y)被直接輸出作為G的坐標(biāo)數(shù)據(jù)(X， Y)，而通過使用等式(13) 通過坐標(biāo)變換計(jì)算器1441和1442來僅對R和B的顏色分量的輸入坐標(biāo)數(shù)據(jù) (x， y)分別執(zhí)行坐標(biāo)變換，并且輸出R的坐標(biāo)數(shù)據(jù)(X， Y)和B的坐標(biāo)數(shù) 據(jù)(X， Y)。由于等式(13)具有簡單的結(jié)構(gòu)，可以減少坐標(biāo)變換計(jì)算器的電 路大小，并且此外，僅需要對R和B的顏色分量來執(zhí)行坐標(biāo)變換，由此能夠 進(jìn)一步減少電路大小。
圖9B和9C針對以下事實(shí)由于R和B的顏色分量對于G是實(shí)質(zhì)上對稱 地偏移(見圖5)，通常會(huì)發(fā)生倍率色像差。圖9B是一個(gè)例子，其中坐標(biāo)變換 計(jì)算器1443獲得坐標(biāo)數(shù)據(jù)(x， y)的校正量(Ax和Ay)，并且由減法器1444 從坐標(biāo)數(shù)據(jù)(x， y)減去該校正量而獲得的值被指定為B的坐標(biāo)數(shù)據(jù)(X， Y), 同時(shí)由加法器1445將該校正量加到坐標(biāo)數(shù)據(jù)(x， y)而獲得的值被指定為R 的坐標(biāo)數(shù)據(jù)(X， Y)。如圖9A所示，對于G的坐標(biāo)數(shù)據(jù)(X, Y),直接輸出 坐標(biāo)數(shù)據(jù)(x， y)。
圖9C是一個(gè)例子，其中考慮對稱位置的偏移，由增益電路1446來調(diào)整R 的校正量?？梢栽贐側(cè)提供增益電路。根據(jù)圖9B和9C所示的例子，坐標(biāo)變 換計(jì)算器可以僅為一個(gè)，由此能夠進(jìn)一步減少電路大小。
取代圖9A中的坐標(biāo)變換計(jì)算器1441和1442，可以準(zhǔn)備存儲了輸入坐標(biāo) 數(shù)據(jù)(x， y)和輸出坐標(biāo)數(shù)據(jù)(X, Y)之間的對應(yīng)關(guān)系的查找表(LUT)，使 得通過使用LUT可以直接獲得關(guān)于目的地的坐標(biāo)數(shù)據(jù)(x, y)的源的坐標(biāo)數(shù) 據(jù)(X， Y)。同樣地，取代圖9B和9C中的坐標(biāo)變換計(jì)算器1443,可以準(zhǔn)備
13存儲了輸入坐標(biāo)數(shù)據(jù)(x， y)和校正量之間的對應(yīng)關(guān)系的查找表，使得通過使 用LUT可以直接獲得對應(yīng)于坐標(biāo)數(shù)據(jù)(x， y)的校正量。由此，可以忽略坐 標(biāo)變換的計(jì)算，并且僅通過存儲器芯片可以基本實(shí)現(xiàn)倍率色像差的校正。
圖IO是失真校正單元160的結(jié)構(gòu)圖。下面的等式被用作坐標(biāo)變換的公式 (失真校正公式)以校正失真。即，魚眼圖像通過僅對x軸的坐標(biāo)變換被轉(zhuǎn)換 為人眼容易看到的圖像。
其中x和y表示當(dāng)屏幕的中心被指定為原點(diǎn)時(shí)，目的地的坐標(biāo)(原始坐標(biāo))， X和Y表示源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。在x方向的像素偏移量Ax 由Ax-x士 (a + by"x表示。
在圖10中，附圖標(biāo)記161表示RGB合成單元，RGB合成單元將RGB的 三個(gè)像素?cái)?shù)據(jù)合成為一個(gè)像素?cái)?shù)據(jù)，162表示用于校正RGB像素?cái)?shù)據(jù)共有的 失真的坐標(biāo)變換存儲器，163表示RGB分開單元，RGB分開單元將RGB像 素?cái)?shù)據(jù)分開為原始顏色分量，164表示失真校正坐標(biāo)變換計(jì)算器，失真校正坐 標(biāo)變換計(jì)算器根據(jù)等式(14)的坐標(biāo)變換的公式，關(guān)于合成的RGB像素?cái)?shù)據(jù) 計(jì)算變換坐標(biāo)以校正失真，以及165表示坐標(biāo)變換系數(shù)表，坐標(biāo)變換系數(shù)表存 儲了在坐標(biāo)變換公式中使用的系數(shù)a和b。
RGB合成單元161順序地接收各個(gè)倍率色像差校正的RGB像素?cái)?shù)據(jù)(8 比特，分別地)，將這些數(shù)據(jù)合成到一個(gè)像素?cái)?shù)據(jù)(24比特)，并且輸出合成 的像素?cái)?shù)據(jù)。合成的RGB像素?cái)?shù)據(jù)根據(jù)各自坐標(biāo)數(shù)據(jù)(x， y)從頭行被順序 地寫入到坐標(biāo)變換存儲器162。
另一方面，失真校正坐標(biāo)變換計(jì)算器164根據(jù)等式(14)的坐標(biāo)變換的公 式來計(jì)算變換坐標(biāo)，以校正RGB共有的失真，指定坐標(biāo)數(shù)據(jù)(x， y)作為輸 入，并且輸出變換后的坐標(biāo)數(shù)據(jù)(X， Y)。具體地，失真校正坐標(biāo)變換計(jì)算器 164根據(jù)等式(14 )計(jì)算x方向的變換坐標(biāo)，并且輸出該變換后的坐標(biāo)數(shù)據(jù)(X, Y),而不對y方向進(jìn)行處理。用于等式(14)中計(jì)算的坐標(biāo)變換系數(shù)預(yù)先保 存在坐標(biāo)變換系數(shù)表165中。因?yàn)榈仁?14)用于坐標(biāo)變換的公式以校正失真， 因此可以減小失真校正坐標(biāo)變換計(jì)算器164的電路大小。坐標(biāo)變換存儲器162基于從失真校正坐標(biāo)變換計(jì)算器164輸出的坐標(biāo)數(shù)據(jù) (X, Y),與上一個(gè)RGB合成的像素?cái)?shù)據(jù)(24比特)的寫入揭:作并行(實(shí)際 上，從寫入操作延長預(yù)定時(shí)間)來順序地讀取RGB合成的像素?cái)?shù)據(jù)。RGB分 開單元163將從坐標(biāo)變換存儲器162讀取的RGB合成的像素?cái)?shù)據(jù)(24比特) 分開為RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)(8比特)。通過使用等式(14)，像 素偏移僅在x方向上。由此，坐標(biāo)變換存儲器162最多僅需要一行，由此能夠 很大地減少所需的存儲器大小。
根據(jù)上述處理，RGB分開單元163輸出具有被校正的倍率色像差和失真 的各個(gè)RGB像素?cái)?shù)據(jù)。即，各個(gè)RGB像素?cái)?shù)據(jù)被復(fù)制到原始位置(x， y )。
此外在失真校正中，可以準(zhǔn)備存儲了輸入坐標(biāo)數(shù)據(jù)(x， y)和輸出坐標(biāo)數(shù) 據(jù)(X， Y)之間的對應(yīng)關(guān)系的查找表(LUT)，使得通過使用LUT可以直接 獲得關(guān)于坐標(biāo)數(shù)據(jù)(x， y)的變換后的坐標(biāo)數(shù)據(jù)(X， Y)。由此，可以省略坐 標(biāo)變換的計(jì)算，并且僅通過存儲器芯片就可以基本實(shí)現(xiàn)失真的校正。
用于校正失真的坐標(biāo)變換的公式不需要是等式(14),例如，該公式可以 表示為
義=x + [a(l) + a(2) x flfo(x) + fl(3) x血(力+ fl(4) x_y2]xx (15) y = ^ +工柳+ 6(2) x 。fo(力+ 6(3) x+ 6(4) x x2 ] x ;;
其中abs ()襲^遂對疽，以岌a (1)到a (4)以及b (1)到b (4)是坐標(biāo) 變換系數(shù)。根據(jù)等式(15)，雖然電路變得復(fù)雜，但在x和y方向的校正變得 可能。此外，因?yàn)閷τ诿總€(gè)顏色分量僅需要一個(gè)計(jì)算電路，所以可以抑制電路 尺寸的復(fù)雜性。用于校正失真的坐標(biāo)變換存儲器162需要相對大的容量。由于 基于成本的考慮在圖像處理芯片中包括SRAM是困難的，并且單端口存儲器 對于RGB是不足夠的，因此期望使用圖像處理芯片之外準(zhǔn)備的DRAM。
即使在根據(jù)等式(1 )執(zhí)行關(guān)于圖像數(shù)據(jù)的坐標(biāo)變換的情況下，可以獲得 通過使用復(fù)雜的多項(xiàng)式等獲得的效果相同的校正效果。根據(jù)本發(fā)明的圖像處理 方法和圖像處理設(shè)備，可以以最小的電路尺寸來執(zhí)行倍率色像差的校正，而不 惡化性能。此外，根據(jù)本發(fā)明的成像設(shè)備，進(jìn)一步的成本減少是可能的。
雖然為了完整和清楚的公開而對于特定實(shí)施例描述了本發(fā)明，附帶的權(quán)利 要求并不由此受限，而應(yīng)被解釋為包含了本領(lǐng)域的普通技術(shù)人員可以進(jìn)行的完 全落入在此描述的基本教導(dǎo)中的所有變型和替換結(jié)構(gòu)。
權(quán)利要求
1. 一種處理包括倍率色像差的圖像數(shù)據(jù)的方法，所述圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的，所述方法包括通過基于公式對所述圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其中，校正包括 從坐標(biāo)變換中排除特定顏色分量；以及執(zhí)行除了所述特定顏色分量之外的顏色分量的坐標(biāo)變換。
3. 根據(jù)權(quán)利要求2所述的方法，其中，所述校正包括 基于所述特定顏色分量的坐標(biāo)，分別獲得在x方向和y方向上的校正量Ax=ax和Ay = ay; 以及通過使用所述校正量來執(zhí)行除了所述特定顏色分量之外的顏色分量的坐 標(biāo)變換。
4. 根據(jù)權(quán)利要求2或3所述的方法，其中 以紅色、綠色、藍(lán)色信號形成所述顏色分量，以及 以綠色信號形成所述特定顏色分量。
5. —種用于處理包括倍率色像差的圖像數(shù)據(jù)的設(shè)備，所述圖像數(shù)據(jù)是從 魚眼光學(xué)系統(tǒng)獲得的，所述設(shè)備包括倍率色像差校正單元(140)，通過基于公式[^ = "^對所述圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示 以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，倍率色像差校正單元(140)從坐 標(biāo)變換中排除特定顏色分量，并且執(zhí)行除了所述特定顏色分量之外的顏色分量的坐標(biāo)變換。
7. 根據(jù)權(quán)利要求6所述的設(shè)備，其中，倍率色像差校正單元(140)基于 所述特定顏色分量的坐標(biāo)，分別獲得在x方向和y方向上的校正量Ax = ax和 △y = ay，并且通過使用所述校正量來執(zhí)行除了所述特定顏色分量之外的顏色分 量的坐標(biāo)變換。
8. 根據(jù)權(quán)利要求6或7所述的設(shè)備，其中 以紅色、綠色、藍(lán)色信號形成所述顏色分量，以及 以綠色信號形成所述特定顏色分量。
9. 一種成像設(shè)備，包括成像裝置，使用具有大的倍率色像差的魚眼光學(xué)系統(tǒng)來捕獲圖像，并且輸 出包括倍率色像差的圖像數(shù)據(jù)；以及根據(jù)權(quán)利要求5到8的任一項(xiàng)所述的設(shè)備。
全文摘要
本發(fā)明提供涉及圖像處理方法、圖像處理設(shè)備和成像設(shè)備。通過基于公式X=x+ax Y=y+by對包括倍率色像差的圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的，其中x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
文檔編號H04N5/243GK101500088SQ20091000323
公開日2009年8月5日 申請日期2009年1月21日 優(yōu)先權(quán)日2008年1月28日
發(fā)明者笠原亮介 申請人:株式會(huì)社理光