一種圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)及方法
【專利說明】
【背景技術(shù)】
[0001]數(shù)字成像系統(tǒng)通常包括一個(gè)或多個(gè)透鏡和數(shù)字圖像傳感器。該數(shù)字圖像傳感器從經(jīng)由透鏡被成像的對(duì)象或場(chǎng)景而將光加以捕捉，并將光轉(zhuǎn)換成電子信號(hào)。前述電子信號(hào)被數(shù)字化并被儲(chǔ)存在半導(dǎo)體內(nèi)存中的作為數(shù)字圖像數(shù)據(jù)。這樣的數(shù)字成像系統(tǒng)被用于在各種消費(fèi)性產(chǎn)品、工業(yè)和科學(xué)應(yīng)用，包括移動(dòng)電話、數(shù)字靜止圖像和視頻攝影機(jī)、網(wǎng)絡(luò)攝影機(jī)以及其他設(shè)備，以產(chǎn)生靜止圖像和/或視頻。
[0002]現(xiàn)今大多數(shù)的圖像傳感器是由互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器或電荷耦合裝置(CCD)圖像傳感器所組成的二維像素陣列?，F(xiàn)今的數(shù)字圖像傳感器可包括數(shù)以百萬計(jì)的像素，以提供高分辨率的圖像。
[0003]數(shù)字圖像，包括由數(shù)字成像系統(tǒng)所產(chǎn)生的靜態(tài)圖像和視頻圖像，其質(zhì)量可取決于各種因素。在具有廣角攝影鏡(例如魚眼鏡頭)的數(shù)字成像系統(tǒng)，鏡頭扭曲可顯著影響數(shù)字圖像的質(zhì)量。鏡頭扭曲會(huì)造成在場(chǎng)景中被拍攝到的直線或物體于影像中出現(xiàn)彎曲。扭曲最常見的形式是徑向?qū)ΨQ，徑向?qū)ΨQ是從透鏡的對(duì)稱性而產(chǎn)生。徑向扭曲可被分類為兩種主要類型中之一者:桶形失真和枕形失真。桶形失真是由廣角鏡頭所拍攝的常見圖像，而枕形失真通常是存在于由縮放或遠(yuǎn)攝鏡頭所拍攝的圖像。
[0004]在桶形失真中，圖像的放大倍數(shù)隨著至光軸的距離而減小。其效果是圖像看起來被映射至球體或桶之周圍。在枕形失真中，圖像放大倍率隨著至光軸的距離而增大。視覺上的效果是未經(jīng)過圖像中心的線條會(huì)向內(nèi)彎、朝向圖像的中心，就像一個(gè)針墊。復(fù)合失真，其為桶形失真和枕形失真的組合，始于如靠近圖像中心發(fā)生的桶形失真，且逐漸變?yōu)槌驁D像邊緣的枕形失真。
[0005]在一般的數(shù)字成像系統(tǒng)中，由透鏡失真所產(chǎn)生的誤差可借由形成于半導(dǎo)體芯片晶粒上的圖像信號(hào)處理器(ISP)進(jìn)行信號(hào)處理而校正。ISP接收來自數(shù)字圖像傳感器的數(shù)字圖像數(shù)據(jù)，數(shù)字圖像傳感器也普遍地形成在半導(dǎo)體芯片晶粒上。為啟動(dòng)失真數(shù)字圖像數(shù)據(jù)的校正程序，大量的緩沖內(nèi)存用于儲(chǔ)存幾百行的失真圖像數(shù)據(jù)。所需的內(nèi)存必須夠大且不能被包括在作為ISP的芯片的一部分里。因此，額外的內(nèi)存芯片是必要的，例如動(dòng)態(tài)隨機(jī)存取內(nèi)存(DRAM)裝置。前述附加裝置會(huì)影響數(shù)字圖像系統(tǒng)的大小與成本。另外，前述附加裝置存取內(nèi)存時(shí)會(huì)造成延遲，并使內(nèi)存存取帶寬問題復(fù)雜化。

【發(fā)明內(nèi)容】

[0006]在一實(shí)施例中，圖像轉(zhuǎn)換和多視圖輸出方法是從原始圖像產(chǎn)生輸出視圖。原始圖像被接收，且輸出視圖中的每個(gè)像素的坐標(biāo)是借由使用坐標(biāo)映射而被逆映射到原始圖像的位置。坐標(biāo)映射校正原始圖像中(a)透視和(b)失真中的至少一者。輸出視圖中每個(gè)像素的強(qiáng)度是根據(jù)原始圖像相應(yīng)的映射像素位置信息而決定的。
[0007]在另一實(shí)施例中，圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)是從原始圖像產(chǎn)生輸出視圖。該系統(tǒng)包括查找表，其儲(chǔ)存在非揮發(fā)性記憶器中，包含將輸出視圖坐標(biāo)映射至原始圖像；以及逆映射器，其供借由查找表的使用從原始圖像產(chǎn)生輸出視圖。坐標(biāo)映射校正原始圖像中的(a)透視和(b)失真中的至少一者。
[0008]在另一實(shí)施例中，提供一種用以產(chǎn)生儲(chǔ)存在查找表中且被圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)所使用之坐標(biāo)映射的方法，前述系統(tǒng)具有成像透鏡；圖像傳感器，用于從透鏡捕捉的原始圖像；以及輸出裝置，用于顯示校正后的圖像。接收包括成像透鏡的失真曲線和失真中心之圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)的參數(shù)。逆透視校正是根據(jù)攝影鏡頭的光軸相對(duì)于主光線從透鏡視野中的物體入射到透鏡的角度方位而決定的。逆失真校正是根據(jù)失真曲線和失真中心的一或兩者而決定。根據(jù)逆透視校正和逆失真校正產(chǎn)生坐標(biāo)映射；其中坐標(biāo)映射包括供轉(zhuǎn)換和多視圖輸出系統(tǒng)使用的逆轉(zhuǎn)換，借以從原始圖像產(chǎn)生輸出視圖。
【附圖說明】
[0009]圖1顯示在一個(gè)實(shí)施例中配置有具有后視攝影機(jī)、顯示器以及可選多視圖選擇開關(guān)之一車輛的示例性圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)。
[0010]圖2更詳細(xì)地顯示在圖1實(shí)施例中的圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)的示意圖。
[0011]圖3顯示由圖1的攝影機(jī)所成像且由圖1的圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)所處理的示例性線柵。
[0012]圖4顯示成像配置圖，其中圖1的攝影機(jī)是捕捉物體的原始圖像數(shù)據(jù)。
[0013]圖5顯示由圖4的攝影機(jī)所捕捉到圖3物體的原始圖像。
[0014]圖6顯示借由圖1的圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)從圖5的原始圖像所產(chǎn)生的輸出視圖。
[0015]圖7顯示在一實(shí)施例中一種示例性的圖像轉(zhuǎn)換和多視圖輸出方法。
[0016]圖8顯示由圖1的圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)所產(chǎn)生的示例性原始圖像和三個(gè)示例性輸出視圖。
[0017]圖9顯示一失真的原始圖像和由圖1系統(tǒng)執(zhí)行圖7的透視和失真校正方法所產(chǎn)生的輸出視圖。
[0018]圖10系為顯示一實(shí)施例中供產(chǎn)生圖2的查找表所使用的坐標(biāo)映射產(chǎn)生器之示意圖。
[0019]圖11顯不在一實(shí)施例中用于產(chǎn)生圖2查找表的方法。
【具體實(shí)施方式】
[0020]在采用寬視角的透鏡視頻成像系統(tǒng)中，例如對(duì)汽車駕駛輔助攝影機(jī)，圖框與圖框間的延遲會(huì)降低系統(tǒng)的實(shí)用性。延遲會(huì)降低觀看者適當(dāng)響應(yīng)由系統(tǒng)所捕捉圖像的能力。從這樣的延遲所造成的不連貫或?yàn)R射視頻流會(huì)阻止?jié)撛谑褂谜撸珩{駛，觀看到完整的圖像。因此，如配合圖1到圖11與下文所述者，校正失真圖像的同時(shí)又能以「平穩(wěn)」的圖框速率顯示圖像的能力，是該等視頻技術(shù)所具有價(jià)值的功能。
[0021]已有涉及逆映射的失真去除方法輔助視頻技術(shù)。逆映射將輸出圖像中的像素映射回原始失真圖像的位置。在正向映射算算法中，在失真圖像中的每個(gè)像素被映射到在校正后圖像中的像素。然而，這樣的算法在計(jì)算上的效率并不高，因?yàn)樵S多失真圖像中的像素不會(huì)被映射到校正后的圖像?？紤]到在原始圖像中只映射像素的情況，逆映射法不僅更有效、更快速，且比正向映射法需要更少的計(jì)算資源。
[0022]一種在成像系統(tǒng)中加快失真移除的方式是將逆映射預(yù)先進(jìn)行計(jì)算且將結(jié)果儲(chǔ)存查找表上。例如，包括一個(gè)CMOS圖像傳感器的成像系統(tǒng)可在的芯片上對(duì)每一拍攝圖像執(zhí)行映射算法(正向或逆向)，然后將轉(zhuǎn)換后的圖像加以顯示。用包含前述算法結(jié)果的查找表替換前述算法能減少圖像失真修正的所需時(shí)間，且能應(yīng)用于其他的圖像轉(zhuǎn)換。
[0023]對(duì)于從具有失真的拍攝圖像，例如那些由魚眼攝影透鏡捕捉的圖像，產(chǎn)生直播無失真視頻串流的快速圖像轉(zhuǎn)換是重要的。對(duì)于某些成像應(yīng)用，如下所述，具有一種“多視圖”功能的優(yōu)點(diǎn)在于此功能可讓用戶選擇和查看一個(gè)原始圖像中一個(gè)或多個(gè)轉(zhuǎn)換的區(qū)域。例如，汽車后視攝影機(jī)和監(jiān)視視頻系統(tǒng)，其因使用廣角攝像透鏡而造成明顯的失真將會(huì)從此等選擇和轉(zhuǎn)換所得益。以計(jì)算昂貴的失真移除算法，從被捕捉視頻提供一多視圖的功能將會(huì)限制視頻框率，因而導(dǎo)致不連貫的視頻輸出。此不連貫的輸出會(huì)使觀看視頻的質(zhì)量降低且妨礙用戶對(duì)現(xiàn)有信息快速反應(yīng)的能力。先前技術(shù)的圖像失真修正系統(tǒng)缺乏多個(gè)可轉(zhuǎn)換圖像與動(dòng)態(tài)(或「實(shí)時(shí)」)可重組多視圖輸出的組合。
[0024]本發(fā)明所揭露是關(guān)于供將原始數(shù)字圖像加以轉(zhuǎn)換以去除圖像偽影的方法和相關(guān)系統(tǒng)，例如與由廣角鏡頭如魚眼鏡頭所拍攝的圖像有關(guān)的失真和透視誤差。一個(gè)能實(shí)現(xiàn)多視圖視頻串流的圖像校正且選擇子視圖區(qū)域的示例性方法，使得多個(gè)顯示視圖的選擇能實(shí)時(shí)更改。
[0025]圖1顯不配置成具有后視攝影機(jī)110、顯不器120和可選多視圖選擇開關(guān)122的汽車102的示例性圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)100。攝影機(jī)110具有成像透鏡112和圖像傳感器116。成像透鏡112是廣角鏡頭，例如以魚眼鏡頭為例。圖像傳感器116例如可在CMOS中加以實(shí)施，但也可以其他技術(shù)而不悖離本發(fā)明范圍的情況下加以實(shí)施。系統(tǒng)100例如可在單個(gè)集成電路中加以實(shí)施，其中其可被配置于攝影機(jī)110或顯示器120中。
[0026]在一操作實(shí)例中，成像透鏡112將其視野113中的物體成像至圖像傳感器116，其產(chǎn)生原始圖像數(shù)據(jù)117并將其發(fā)送至圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)100。圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)100將原始圖像數(shù)據(jù)117的至少一部分轉(zhuǎn)換為輸出視圖數(shù)據(jù)121，其是作為輸出視圖123而被顯示于顯示器120。若包括于其中，可選多視圖選擇開關(guān)122可使用在對(duì)由圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)100所產(chǎn)生的視圖作替代輸出視圖的選擇，且將相應(yīng)原始圖像數(shù)據(jù)117的轉(zhuǎn)換版本顯示在顯示器120上。圖像轉(zhuǎn)換和多視圖輸出系統(tǒng)100還可從原始圖像數(shù)據(jù)117同時(shí)將輸出視圖123中的多個(gè)視圖產(chǎn)生且顯示于顯示器120。
[0027]數(shù)字圖像數(shù)據(jù)可借由含有二維像素陣列的圖像傳感器加以捕捉。圖