專利名稱：適用于計算機圖像觀看的實時廣角圖像校正系統(tǒng)和方法
技術領域：
本發(fā)明主要涉及利用計算機觀看圖像，尤其涉及實時校正廣角攝像機拍攝的圖像以減少與這樣的圖像關聯(lián)的變形和感覺問題。
背景技術：
廣角攝像機常常用于拍攝大場景。廣角攝像機一般具有比大約60度更大的視野。廣角攝像機也包括全景攝像機，這是具有高達360度的視野的廣角攝像機。
能用至少兩種類型的投影觀看廣角圖像。線性透視投影是由廣角鏡拍攝的、投影到平面膠片上的圖像。線性透視投影保持直線筆直而損害形狀的保持。這引起透視變形。如果圖像的觀眾將它們的眼睛放在投影中心則這幅圖像將顯得正確且沒有變形?？墒?，在以較小的視野觀看廣角圖像時，觀眾期望物體旋轉(zhuǎn)時在圖像平面中既要圖像的尺寸增加較少還要變形量較小。這就是為什么物體在邊緣出現(xiàn)拉伸。尺寸上比期望的變化大和在圖像平面上的變形使用戶感到場景不是固定的，好象場景在圍繞觀眾漂浮，特別是在觀看全景圖像時。
柱面投影是用具有彎曲的薄膜和旋轉(zhuǎn)式棱鏡制作的。柱面投影在保持形狀上比線性投影好。此外，柱面投影減輕任何明顯的漂浮運動。即使柱面投影與線性投影相比是一個觀看的改進，但仍存在變形和感覺問題。特別地，柱面投影將直線彎曲得比所需要的更多。此外，柱面投影在觀看全景圖像時幾乎完全地去除了轉(zhuǎn)動頭部的錯覺。
在廣角圖像中的變形和彎曲問題是由于視野失配引起的。特別地，由于在計算機顯示器上限制觀看的尺寸和標準觀看距離，在觀看時對著圖像的角度比將場景最初投影到圖像平面的攝像機視野小得多。這種失配是許多變形和感覺問題的起因。
由在觀看時較小的視野所引起的一個相關的問題是深度的錯覺。廣角圖像放大了在近的和遠的物體之間深度差異。在場景中物體深度的一個重要視覺暗示是位于近與遠位置的相似物體的圖像尺寸之間的比例(被稱為深度透視縮短比)。較小的視野導致較小的透視縮短比。例如，假定一場景包括兩個人彼此挨著站在一起，其中一人離攝像機比另一個人稍遠些。如果該場景是采用常規(guī)的(大約60度)視野的攝像機拍攝的以及利采用廣角視野的攝像機拍攝相同的場景，那么場景中物體的尺寸會顯得不同。特別地，用常規(guī)視野的攝像機，離攝像機較遠的人會顯得比另一個人離攝像機稍微更遠一些。不過，用廣角視野的攝像機，離攝像機較遠的人會顯得比另一個人更小。因為這放大的尺寸是不同的，離攝像機較遠的人顯得比他實際的位置更遠些。當在計算機顯示器觀看廣角圖像的深場景(如視頻會議場景)時，一般而言，觀眾的視野比實際圖像的視野要小得多。因此，觀眾感覺的深度比實際深度大得多。
一種暴露這些變形和感覺問題的應用是在視頻會議系統(tǒng)中，在視頻會議中經(jīng)常使用廣角攝像機拍攝和傳送包含在會議室中所有與會者的圖像。可是在觀看視頻會議時的一個問題是廣角圖像放大了會議室的深度。這使在圖像中間的人(離攝像機最遠的人)與會議室中的其它人相比顯得非常小，這是由于極度透視縮短。
在用目前全景觀看軟件觀看廣角圖像時，這些變形和感覺問題更為明顯。當用戶(在視覺上)轉(zhuǎn)動他的頭部，在一邊出現(xiàn)的物體已經(jīng)拉長，然后隨它們經(jīng)過中間的距離而縮小。最后，該物體在另一邊時再次拉長。這使固體物體隨著視野旋轉(zhuǎn)而出現(xiàn)變形和遠近的漂浮著。
因此，這就需要能實時校正由廣角攝像機拍攝的圖像以減輕與這樣的圖像關聯(lián)的變形和感覺問題的系統(tǒng)和方法。
發(fā)明概述這里公開的本發(fā)明包括用于提供對廣角攝像機所拍攝的廣角圖像進行實時校正變形和感覺的系統(tǒng)和方法。實時廣角圖像校正系統(tǒng)和方法使用一類參量彎曲函數(shù)有效地和高效地校正在廣角圖像中的變形和感覺錯誤。此外，該系統(tǒng)校正深度錯誤，如在視頻會議應用程序中出現(xiàn)的。校正深度錯誤可以得到更有用的和有意義和視頻會議顯示。此外，參量彎曲函數(shù)能用于在觀看廣角圖像時消除漂浮運動的人工痕跡。
一般而言，實時廣角圖像校正方法輸入一有缺陷的廣角圖像，校正放大的深度和水平變形，并輸出經(jīng)校正的廣角圖像。使用一類彎曲函數(shù)執(zhí)行校正，這可以設計為對所引入新的變形最小化同時克服與廣角攝像機關聯(lián)的大多數(shù)問題。這類新的彎曲函數(shù)包括空間變化均勻縮放函數(shù)。通常，在局部程度上執(zhí)行縮放同時保持整體環(huán)境。對于視頻會議應用來說，這意味著彎曲放大遠處的人而不是變形每個人并保持會議室的背景。
實時廣角圖像校正方法包括接收一廣角圖像的象素坐標并對廣角圖像的象素坐標執(zhí)行垂直和水平縮放。使用參量圖像彎曲函數(shù)執(zhí)行縮放。這個縮放產(chǎn)生對應于一保持垂直線筆直但水平線可能變形的圖像的一初級彎曲表。為了校正這個變形，該方法包括對該初級彎曲表執(zhí)行一水平變形校正函數(shù)。其結(jié)果輸出是一將經(jīng)校正的圖像象素坐標映射到原圖的象素坐標的彎曲表。換言之，彎曲表為每個原象素坐標指出在一新的經(jīng)校正的廣角圖像中的位置。使用彎曲表，實時地從原廣角圖像構(gòu)成經(jīng)校正的廣角圖像。經(jīng)校正的廣角圖像在視覺上免除了變形和感覺問題。
使用參量圖像彎曲函數(shù)和一彎曲系數(shù)單獨地對圖像中每條垂直掃描線執(zhí)行垂直縮放。使用源曲線、彎曲系數(shù)和由源曲線和彎曲系數(shù)計算出的目標曲線計算主縮放系數(shù)。本發(fā)明的一個方面具有由用戶定義的源曲線和彎曲系數(shù)。主縮放系數(shù)用于在垂直方向上縮放象素坐標。在實際上，這個垂直縮放用主縮放系數(shù)量垂直地“拉伸”廣角圖像中所選擇垂直掃描線。同樣對垂直掃描線執(zhí)行水平縮放并使用相同的主縮放系數(shù)以保持縱橫比。與垂直縮放相似，水平縮放在實際上可被認為用主縮放系數(shù)量局部地垂直地“拉伸”廣角圖像的垂直掃描線。在虛擬感覺中，對原廣角圖像應用垂直和水平縮放，我們就獲得一經(jīng)初級校正的圖像。為了加快計算，我們產(chǎn)生一初級彎曲表，將經(jīng)初級校正的圖像的初級象素坐標映射到原圖的象素坐標。
通過將初級彎曲表按照象素坐標的位置分割成部分來校正水平變形。使用不同縮放系數(shù)垂直地縮放每個部分。在本發(fā)明的一個方面，第一部分被定義為包含對應位于底部源曲線和頂部源曲線之間象素的那些象素坐標。然后使用主縮放系數(shù)垂直地縮放這個部分的象素坐標。使用一與主縮放系數(shù)不同值的第二縮放系數(shù)垂直地縮放其它部分中的象素坐標。為了保持連續(xù)性，用平滑函數(shù)連接每個部分。一旦對初級彎曲表中的象素坐標完成水平變形校正函數(shù)過程，產(chǎn)生一彎曲表。使用這個彎曲表，對一廣角圖像執(zhí)行實時變形以實時地產(chǎn)生一經(jīng)校正的廣角圖像。
本發(fā)明的一實時廣角圖像校正系統(tǒng)使用上述的方法以提供實時校正和觀看廣角圖像。


參考下面說明本發(fā)明的方面的說明和附圖能進一步理解本發(fā)明。從下面以實例說明本發(fā)明原理并結(jié)合附圖的本發(fā)明詳細說明中，其它特點和優(yōu)勢將是顯而易見的。
現(xiàn)在參照附圖，在所有附圖中相似的參考數(shù)字代表相應的部分
圖1是說明本發(fā)明的實時廣角圖像校正系統(tǒng)的總體概觀的一方框圖。
圖2是說明適于進行本發(fā)明一個計算設備的方框圖。
圖3是詳細說明圖1所示的實時廣角圖像校正系統(tǒng)的彎曲表生成模塊的方框圖。
圖4是說明圖1所示的實時廣角圖像校正系統(tǒng)的操作的總體流程圖，。
圖5是詳細說明圖3所示的垂直縮放模塊的流程圖。
圖6說明由兩組曲線確定的彎曲函數(shù)。
圖7是詳細說明圖3所示的水平縮放模塊的流程圖。
圖8是詳細說明圖3所示的水平變形校正函數(shù)模塊的流程圖。
圖9說明了垂直縮放函數(shù)和初級象素坐標分成三部分的概念圖。
圖10A示出未經(jīng)任何校正的舞廳的透視圖。
圖10B示出與圖10A相同的、在應用SVU縮放函數(shù)后的場景。
圖11示出由工作實例的廣角攝像機所產(chǎn)生的最終柱面廣角圖像。
圖12示出都具有彎曲系數(shù)α＝0.3的源曲線和目標曲線。
圖13示出工作實例的經(jīng)初級校正的圖像，這是應用SVU縮放彎曲函數(shù)而沒有水平變形校正函數(shù)的結(jié)果。
圖14示出應用SVU縮放函數(shù)和水平變形校正函數(shù)的結(jié)果。
圖15示出使用彎曲系數(shù)α＝0.2的工作實例的經(jīng)校正的廣角圖像。
圖16示出使用彎曲系數(shù)α＝0.4的工作實例的經(jīng)校正的廣角圖像。
圖17說明一矩形物體繞攝像機旋轉(zhuǎn)的透視投影。
圖18A說明深度錯覺概念和示出用普通視野攝像機拍攝的場景。
圖18B示出與圖18A相同的場景，是用廣角攝像機拍攝的。
圖19說明了正圓柱面和橢圓柱面的橫截面的二維圖。
圖20說明圖4所示的實時廣角圖像校正方法的操作實例。
發(fā)明詳細說明在本發(fā)明的以下說明中參照構(gòu)成說明一部分的附圖，并且為了說明本發(fā)明借以實現(xiàn)的特殊實例而示出的。應當理解在不脫離本發(fā)明的范圍內(nèi)可利用其它的實施例并作出結(jié)構(gòu)改變。
I.概述本發(fā)明包括一實時廣角圖像校正系統(tǒng)和方法，以獲得和處理廣角圖像從而輸出非失真的正確的廣角圖像。實時廣角圖像校正系統(tǒng)和方法能被用于觀看廣角圖像且不存在拉長、彎曲失真和放大深度這些困擾傳統(tǒng)廣角圖像的問題觀看廣角圖像。利用一新的參量彎曲函數(shù)類完成廣角圖像的校正。在本發(fā)明的一個方面，這些參量彎曲函數(shù)是保持局部縮放透視并校正深度錯覺的空間變化均勻(SVU)縮放函數(shù)。SVU縮放函數(shù)和縮放系數(shù)用于對圖像的象素坐標進行垂直縮放和水平縮放。這產(chǎn)生一個將經(jīng)初級校正的圖像的象素位置映射到原象素坐標的初級彎曲表。該經(jīng)初級校正的圖像是一虛擬的圖像而不是實際創(chuàng)建的。不過，經(jīng)初級校正的圖像保持垂直線為直但扭曲垂直線。通過執(zhí)行使用SVU縮放函數(shù)和至少兩個不同的縮放系數(shù)的水平變形校正函數(shù)來校正這個水平變形。這一處理產(chǎn)生一彎曲表。彎曲表將經(jīng)校正的廣角圖像的位置映射到被扭曲的廣角圖像的原象素坐標。利用彎曲表，原廣角圖實時創(chuàng)建經(jīng)校正的廣角圖像。
圖1是說明本發(fā)明的實時廣角圖像校正系統(tǒng)100的總體概觀的方框圖。通常，系統(tǒng)100獲得廣角圖像110并輸入對應于廣角圖像中每個象素坐標的廣角象素圖像坐標120。廣角象素圖像坐標120由實時廣角圖像校正系統(tǒng)100處理并輸出經(jīng)校正的廣角圖像130。
廣角圖像110可能是單一的圖像(如來自一靜態(tài)照相機)或一圖像序列的一部分(如來自一攝像機)。獲得廣角圖像110的每個象素坐標，就可以產(chǎn)生廣角象素圖像坐標120。例如，在一直線坐標幀中，象素坐標120是廣角圖像110中每個象素的(x，y)位置。實時廣角圖像校正系統(tǒng)100包括一彎曲表生成模塊140、一彎曲表150和一實時圖像彎曲系統(tǒng)160。
彎曲表生成模塊140常利用參量圖像彎曲函數(shù)來產(chǎn)生彎曲表150。廣角象素圖像坐標120經(jīng)處理產(chǎn)生彎曲表150。關于彎曲表生成模塊140的詳細內(nèi)容在下面討論。彎曲表150包含對應經(jīng)校正的廣角圖像130中位置方式所排列的廣角象素圖像坐標120。因此，彎曲表150為廣角象素圖像坐標120確定在經(jīng)校正的廣角圖像130中的新位置。
一旦產(chǎn)生了彎曲表150，則接收廣角圖像110且作為實時彎曲系統(tǒng)160的輸入。實時圖像彎曲系統(tǒng)160將彎曲表150應用于廣角圖像110以創(chuàng)建經(jīng)校正的廣角圖像130。實時彎曲系統(tǒng)160通過為經(jīng)校正的廣角圖像130中的每個位置得到廣角圖像110在彎曲表150中象素坐標位置上的RGB值而創(chuàng)建廣角圖像130。在廣角象素坐標120上的RGB值于是重新定位在經(jīng)校正的廣角圖像130中。于是使用彎曲表150確定新的位置。
因為彎曲表的產(chǎn)生意味著創(chuàng)建經(jīng)校正的廣角圖像130所要求的所有一切就是將彎曲表150應用于廣角圖像110，這能夠快速地完成的，所以可實時地進行彎曲處理?？傊瑢崟r廣角圖像校正系統(tǒng)100通過處理廣角象素圖像坐標120產(chǎn)生一彎曲表，并隨后利用彎曲表150從廣角圖像110創(chuàng)建經(jīng)校正的廣角圖像130。
II.典型運行環(huán)境本發(fā)明的實時廣角圖像校正系統(tǒng)100被設計運行在計算環(huán)境。下面的討論試圖提供適合于實現(xiàn)本發(fā)明的計算環(huán)境的簡要全面的說明。
圖2是說明適于實現(xiàn)本發(fā)明的一個計算裝置的方框圖。盡管不是必需的，本發(fā)明將在計算機可執(zhí)行指令如由計算機執(zhí)行的程序模塊的背景中描述。通常，程序模塊包括執(zhí)行特定的任務或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。此外，本領域的技術人員將意識到本發(fā)明可以在各種各樣的計算機系統(tǒng)配置中實行，包括個人計算機、服務器計算機、手持設備、多處理器系統(tǒng)、基于微處理器或可編程的消費電子設備、網(wǎng)絡PC、小型機、大型機等等。本發(fā)明也可以在由通過通信網(wǎng)絡連接的遠程處理設備執(zhí)行任務的分布式計算環(huán)境中實行。在一分布式計算機環(huán)境中，程序模塊可以設置在本地和遠程計算機包括存貯器存儲設備在內(nèi)的存儲介質(zhì)中。
參照圖2，實現(xiàn)本發(fā)明的一個典型系統(tǒng)包括一通用計算設備200。特別地，計算設備202包括處理單元202、系統(tǒng)存貯器204、以及將包括系統(tǒng)存貯器204在內(nèi)的各種系統(tǒng)部件連接至處理單元202的系統(tǒng)總線206。系統(tǒng)總線206可以幾種類型的總線結(jié)構(gòu)的任意一種，它包括存貯器總線或存貯器控制器、外部總線和使用各種總線結(jié)構(gòu)的任意一種的本地總線。系統(tǒng)存貯器包括只讀存貯器(ROM)210和隨機存取存貯器(RAM)212。基本輸入/輸出系統(tǒng)(BIOS)214存貯在ROM210中，它包含基本例程，它幫助在啟動時計算設備200中部件之間傳輸信息。計算設備200還包括用于讀寫硬盤的硬盤驅(qū)動器216(未顯示)、用于讀寫可移動磁盤220的磁盤驅(qū)動器218、和用于讀寫可移動光盤224如CD-ROM或其它光學介質(zhì)的光盤驅(qū)動器222。硬盤驅(qū)動器216、磁盤驅(qū)動器228和光盤驅(qū)動器222通過硬盤驅(qū)動器接口226、磁盤驅(qū)動器接口228和光盤驅(qū)動器接口230分別連接至系統(tǒng)總線206。驅(qū)動器和它們的關聯(lián)的計算機可讀介質(zhì)提供了適用于計算設備200的計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的非易失的存儲。
盡管這里所描述的典型環(huán)境使用硬盤、可移動磁盤220和可移動光盤224，但本技術領域的技術人員應該意識到能存儲計算機可訪問的數(shù)據(jù)的其它類型的計算機可讀介質(zhì)，諸如磁帶、閃存卡、數(shù)字視頻盤、伯努利盒、隨機存貯存貯器(RAM)、只讀存貯器(ROM)等等，也可用在此典型運行環(huán)境中。
許多程序模塊可以存儲在硬盤、磁盤220、光盤224、ROM210或RAM212中，程序模塊包括操作系統(tǒng)232、一個或多個應用程序234、其它程序模塊236(如廣角圖像去除彎曲系統(tǒng)100)和程序數(shù)據(jù)238。用戶(未示出)可以通過輸入設備(如，鍵盤240和定位設備242)向計算設備200輸入命令和信息。另外，攝像機243(如攝像機)可以和其它輸入設備(未示出)一樣連接至計算設備200，包括例如話筒、操縱桿、游戲墊、衛(wèi)星電視天線、掃描儀等等。這些其它輸入設備常常通過連接至系統(tǒng)總線206的串行接口244連接到處理單元202，但可以通過其它接口連接，如并行口、游戲口或通用串行總線(USB)。監(jiān)視器246(或其它類型顯示設備)通過一個接口如視頻適配器248也連接到系統(tǒng)總線206。除監(jiān)視器246之外，計算設備如個人計算機一般包括其它外部輸出設備(未示出)如揚聲器和打印機。
計算設備200可以運行于網(wǎng)絡環(huán)境中使用邏輯連接至一或多個遠程計算機如遠程計算機250。遠程計算機250可能是另一臺個人計算機、服務器、路由器、網(wǎng)絡PC、對等設備或其它普通網(wǎng)絡節(jié)點，并且一般包括上面有關計算設備200描述的許多或全部部件，盡管圖2只圖示一個存貯器存儲設備252。圖2所示的邏輯連接包括局域網(wǎng)(LAN)254和廣域網(wǎng)(WAN)256。這樣的網(wǎng)絡環(huán)境在辦公室、企業(yè)級計算機網(wǎng)絡、企業(yè)內(nèi)部互聯(lián)網(wǎng)和國際互聯(lián)網(wǎng)中是普遍的。
當在LAN網(wǎng)絡環(huán)境中使用時，計算設備200通過網(wǎng)絡接口或適配器258連接到本地網(wǎng)絡254。當在wAN網(wǎng)絡環(huán)境中使用時，計算設備200一般包括與廣域網(wǎng)256如互聯(lián)網(wǎng)建立通信的調(diào)制解調(diào)器260或其它設備。調(diào)制解調(diào)器260，可以是內(nèi)置的或外置的，通過串行接口244連接至系統(tǒng)總線206。在網(wǎng)絡化環(huán)境中，有關計算設備200所描述的程序模塊或其部分可以存貯在遠程存貯器存儲設備252?？梢砸庾R到所示的網(wǎng)絡連接只是用于舉例，并且也可以使用在計算機之間建立通信連接的其它設備。
III.系統(tǒng)細節(jié)一般而言，實時廣角圖像校正系統(tǒng)100提供廣角圖像100的實時校正。系統(tǒng)100校正在垂直和水平方向上的彎曲和變形。另外，系統(tǒng)100校正諸如深度和眩暈運動等感覺問題。
圖3是詳細說明圖1所示的彎曲表生成模塊140的方框圖。特別地，彎曲表生成模塊140包括用于輸入廣角象素圖像坐標120的輸入模塊300。這些象素坐標120代表在廣角圖像110中每個象素的位置。應該注意圖像110可以是單一圖像或一個圖像序列，例如來自攝像機的視頻序列。模塊140也包括垂直縮放模塊310。垂直縮放模塊310用彎曲函數(shù)處理廣角象素圖像坐標120的每個垂直掃描線，使得廣角象素圖像坐標120在垂直方向縮放。概念上，這可以被認為在垂直方向上“拉伸”廣角圖像110。這個垂直縮放部分地校正了廣角圖像110中放大的深度。
彎曲表生成模塊140也包括一個水平縮放模塊320，使用參量圖像彎曲函數(shù)在水平方向縮放廣角象素圖像坐標120。與垂直縮放相似，概念上這可以被認為在水平方向上“拉伸”廣角圖像110。另外，對每個垂直掃描線單獨地進行水平縮放，從而保持廣角圖像110的縱橫比。
垂直縮放模塊310和水平縮放模塊320建立一個初級彎曲表，它將初級象素坐標映射至原象素坐標。能用初級彎曲表創(chuàng)建初級校正的圖像。實際上并沒有這么做，初級校正的圖像只是虛擬的圖像。初級校正的圖像具有垂直線保持垂直但水平線被變形的性質(zhì)。
為了校正這種水平變形，水平變形模塊330也被包括在彎曲表生成模塊140中。水平變形模塊330根據(jù)初級彎曲表中的初級象素坐標的位置以不同的量縮放初級象素坐標。彎曲表生成模塊140的輸出是彎曲表150。彎曲表將校正的廣角圖像130中的象素坐標映射到原廣角圖像素坐標120。
IV.廣角圖像校正操作概述本發(fā)明的實時廣角圖像校正方法使用了參量類圖像彎曲函數(shù)。這些參量圖像彎曲函數(shù)試圖將具有比圖像設備更小的視野的觀察器所引起的圖像感覺問題最小化。參量類圖像彎曲函數(shù)被稱為空間變化均勻縮放函數(shù)或SVU縮放函數(shù)。盡管SVU縮放函數(shù)可以局部地重建一個均勻縮放函數(shù)以保持縱橫比，但是在要產(chǎn)生彎曲的圖像上縮放系數(shù)是變化的。此外，保角投影類能提供局部均勻縮放，但這些函數(shù)引入了可視干擾的旋轉(zhuǎn)?？臻g變化均勻縮放函數(shù)在觀看全景圖像時避免旋轉(zhuǎn)并去除了漂浮運動。
圖4是說明圖1所示實時廣角圖像校正系統(tǒng)100的實時廣角圖像校正方法的操作主流程圖。一般而言，該方法由廣角象素圖像坐標產(chǎn)生一個彎曲表并用彎曲表處理廣角圖像以創(chuàng)建經(jīng)校正的廣角圖像。更特別地，來自廣角圖像110的廣角象素圖像坐標120作為輸入接收(方框400)。下一步，產(chǎn)生彎曲表150(方框410)。彎曲表150被用于確定在廣角象素圖像坐標120中經(jīng)校正的廣角圖像象素坐標130的位置。
如下面詳細討論，彎曲表150的產(chǎn)生包括垂直縮放、水平縮放和水平變形校正函數(shù)。垂直縮放校正廣角圖像110的放大的深度。為了校正放大的深度，在廣角圖像110中心的遠距離物體或人相對于那些離攝像機近的物體或人需要被放大。換言之，彎曲函數(shù)應該這樣，在模擬統(tǒng)一縮放時它們中間比邊上要多放大一些。SVU縮放函數(shù)保持垂直線垂直。
為了保持廣角圖像110的縱橫比，同樣執(zhí)行水平縮放。特別地，參量圖像彎曲函數(shù)(如SVU縮放函數(shù))被用于執(zhí)行水平縮放為廣角圖像110的每個垂直掃描線產(chǎn)生新的寬度。當SVU縮放函數(shù)保持垂直線垂直時，它們將引入一個垂直剪切的確定量。在視覺上，會感覺到象是水平線的傾斜和變形。場景常常在圖像的頂部或底部包含水平面，如桌子或房間的天花板，對于這些的變形可能是最值得注意的。
為了校正這個垂直剪切，實時廣角圖像校正方法進一步包括執(zhí)行水平變形校正函數(shù)以校正廣角圖像110的水平變形。一般而言，這是通過放松垂直縮放的一致性并非線性地縮放廣角圖像110的垂直位置(如沿著一條垂直掃描線)。在垂直縮放、水平縮放和水平變形校正函數(shù)后，產(chǎn)生的彎曲表150將經(jīng)校正的廣角圖像130中的一個象素映射到廣角圖像110。
一旦已經(jīng)產(chǎn)生彎曲表150，廣角圖像110作為輸入被接收(方框420)。廣角圖像110隨后被實時地彎曲以創(chuàng)建經(jīng)校正的廣角圖像130。所建立的彎曲表可在校正的廣角圖像130的每個位置能找到廣角圖像110中的一個象素以創(chuàng)建免除變形的廣角圖像。
為了更充分地理解本發(fā)明的實時廣角圖像校正方法，介紹一個實例。圖20說明如圖4所示的實時廣角圖像校正方法的操作的一個實例。特別地，接收包含由一廣角攝像機(未示出)拍攝到的視頻會議場景的廣角圖像110進行處理。
接著，確定在廣角圖像110中各個像素的坐標。在這個例子中，將所建立的具有垂直軸Y和水平軸X的直線坐標系統(tǒng)應用于廣角圖像110。源廣角圖像的寬度是w。來自廣角圖像110的象素2000由廣角象素圖像坐標120用象素坐標(x，y)表示(方框2010)。應該注意，x表示象素2000沿X軸的水平位置，且y表示象素2000沿Y軸的垂直位置。
隨后產(chǎn)生彎曲表150，以確定象素坐標2010在校正的圖像150中的位置。如圖20所示，彎曲表具有一第二直線坐標系統(tǒng)，它具有垂直軸Y’和水平軸X’。經(jīng)校正的圖像150的寬度是w’。使用下面詳述參量圖像彎曲函數(shù)和的縮放系數(shù)，象素坐標2010在經(jīng)校正的圖像中的一個位置表示在經(jīng)校正的圖像150中的象素坐標的位置。如圖20所示，在彎曲表中，用經(jīng)校正的象素坐標(x’，y’)給出象素坐標2010的位置。同樣，應該注意，x’表示象素2010沿X’軸的水平位置，且y’表示象素2010沿Y’軸的垂直位置。
通過使用彎曲表將(廣角圖像110的)象素2000映射經(jīng)校正的圖像150中的經(jīng)校正的象素2020來實時創(chuàng)建經(jīng)校正的圖像150。一旦確定了在經(jīng)校正的圖像150中的象素2000位置，就能將象素2000的RGB值應用于經(jīng)校正的圖像150中的經(jīng)校正的象素2020。在這種方式中，能實時地校正廣角圖像110，以創(chuàng)建經(jīng)校正的圖像150，它在視覺上沒有通常與廣角圖像關聯(lián)的變形和其它感覺問題。
V.操作細節(jié)實時廣角圖像校正方法實時地處理廣角圖像以校正與廣角圖像關聯(lián)的變形和感覺問題。使用具有縮放系數(shù)的參量類圖像彎曲函數(shù)進行校正處理。使用這些參量圖像彎曲函數(shù)和縮放系數(shù)來產(chǎn)生直接應用于廣角圖像的彎曲表。在本發(fā)明的一個方面，廣角圖像是一個柱面投影。同樣，在本發(fā)明的一個方面參量圖像彎曲函數(shù)是SVU縮放函數(shù)。
垂直縮放圖5是詳細說明圖3所示的垂直縮放模塊310的流程圖。廣角象素坐標120作為輸入接收(方框500)。下一步，用一組曲線和縮放系數(shù)來確定參量圖像彎曲函數(shù)(如SVU縮放函數(shù))。特別地，連同彎曲系數(shù)(方框520)一起指定源曲線(方框510)。使用這些源曲線和彎曲系數(shù)就可能計算目標曲線(方框530)。
圖6說明彎曲函數(shù)是由兩組曲線確定的(1)源曲線；和(2)目標曲線。在本發(fā)明的一個方面，源曲線是由用戶通過一簡單的用戶接口提供的。這些源曲線提供參量圖像彎曲函數(shù)的參數(shù)。通過用戶接口，用戶可以定義二條立方曲線。這兩條源曲線定義共同的(真實世界)水平特征，例如人們頭部的頂部和桌子的邊界。如圖6所示，指定了一條頂部源曲線St和一條底部源曲線Sb。
也可由用戶選擇的彎曲系數(shù)α確定圖像的彎曲程度。彎曲系數(shù)α處于0和1之間，其中a＝0為無彎曲而a=1為最大彎曲。概念上，指定a＝0將使圖像不被改變，而指定a＝1將把源曲線上象素拉到終點之間的直線上。一般地，理想的彎曲系數(shù)放在0和1之間大約一半的地方。
一旦指定源曲線和彎曲系數(shù)，就能計算目標曲線(方框530)。設y＝St(x)和y＝Sb(x)分別是頂部和底部源曲線的方程。兩條(源曲線上的點將移動至的)目標曲線由源曲線和確a定。特別地，定義了一條頂部目標曲線Tt和一條底部目標曲線Tb。如果在St(x)終點之間定義的曲線方程為y＝y(tǒng)t(x)，且連接底部源曲線終點的曲線方程為y＝y(tǒng)b(x)，那么Tt(x)＝(1-a)St(x)+a yt(x)，以及Tb(x)＝(1-a)Sb(x)+a yb(x)。
隨后用源曲線和目標曲線計算主縮放系數(shù)r(x)(方框540)。特別地，圖6所示給定任何垂直掃描線x，設A、B表示它與源曲線的交叉點，而A’、B’為與目標曲線的交叉點。SVU縮放函數(shù)將AB縮放至A’B’。設r(x)=||A′B′||||AB||---(1)]]>=Tt(x)-Tb(x)St(x)-Sb(x)]]>這個比例r(x)就是位于水平位置x的垂直掃描線的主縮放系數(shù)。隨后在垂直方向用主縮放系數(shù)r(x)縮放該垂直掃描線的廣角象素坐標120(方框550)。
水平縮放為了保持縱橫比，也同樣在水平方向上縮放廣角象素坐標120。水平縮放使用相同的主縮放系數(shù)r(x)。換言之，就象垂直縮放垂直掃描線一樣，同樣用主縮放系數(shù)r(x)水平地縮放它，以保持縱橫比。
圖7是詳細說明圖3所示的水平縮放模塊的流程圖。接受垂直縮放的廣角象素坐標作為輸入(方框700)。使用主縮放系數(shù)r(x)在水平方向縮放經(jīng)垂直縮放的廣角象素坐標(方框710)。一旦經(jīng)垂直縮放的廣角象素坐標120縮放之后，經(jīng)初級校正的圖像的總寬度w’變成w′=∫0wr(x)dx---(2)]]>其中w是廣角圖像(或源圖)110的寬度。
接著，產(chǎn)生初級彎曲表(方框720)。初級彎曲表包含初級象素坐標。初級象素坐標是已經(jīng)被垂直和水平縮放后的廣角象素坐標。概念上，初級象素坐標可以用于構(gòu)成經(jīng)初級校正的圖像。因此，對于廣角圖像110中任意象素(x，y)，設(X’，y’)表示在經(jīng)初級校正的圖像中的新位置。這產(chǎn)生x′=∫0xr(x)dx---(3)]]>y′=Tt(x)+r(x)*(y-St(x))]]>方程式(3)是SVU縮放函數(shù)的前向映射方程式。SVU縮放函數(shù)不是在所有位置完全均勻的縮放。容易證明在所有位置完全均勻的縮放的函數(shù)是一個均勻球面縮放函數(shù)。
SVU縮放函數(shù)與在一般的圓柱表面上的投影相似。不過，如附錄II所示，這樣一個簡單的投影不會產(chǎn)生局部均勻縮放。所需要的是局部一致縮放，而缺少局部一致縮放引起經(jīng)初級校正的圖像中出現(xiàn)的物體象被拉伸過一樣。
水平變形校正一旦已經(jīng)在垂直和水平方向上縮放了廣角象素坐標120，就要校正結(jié)果初級彎曲表的水平變形。需要水平變形校正函數(shù)因為參量類圖像彎曲函數(shù)(如SVU縮放函數(shù))保持垂直線垂直時卻使水平線變形。要最小化這個問題，放松縮放的靈活地和線性地縮放每條垂直掃描線。
圖8是詳細說明圖3所示的水平變形模塊330的流程圖。一般而言，模塊330將初級彎曲表中的初級象素坐標分成部分并根據(jù)適用于每個部分所指定的縮放系數(shù)在垂直方向上縮放該部分。部分之間的縮放系數(shù)可以不同，且至少與一個部分不同。
特別地，水平變形校正模塊330首先將初級彎曲表分成部分(方框800)。在本發(fā)明的一個方面，如圖9所示在概念上分割經(jīng)初級校正的圖像。圖9說明垂直縮放函數(shù)和將經(jīng)初級校正的圖像分割為三個部分的概念圖。應該注意圖9中，y是垂直方向。參照圖9，第一部分900定義在底部源曲線Sb和頂部源曲線St之間。其它部分包括源曲線外面的部分，包括低于源曲線的第二部分910和高于源曲線的第三部分。
在垂直方向上使用主縮放系數(shù)r(x)縮放位于源曲線之間的第一部分900的初級象素坐標(方框810)。如上所述，執(zhí)行在垂直方向上的縮放。在垂直方向上較小地縮放位于源曲線的外面部分(第二部分910和第三部分920)。首先指定第二縮放系數(shù)(方框820)來執(zhí)行這個。圖9所示的第二縮放系數(shù)s低于主縮放系數(shù)r(x)。下一步，在垂直方向上使用第二縮放系數(shù)縮放位于源曲線的外面的其它部分910、920的初級象素坐標(方框830)。應該注意，水平縮放保持相同(換言之，使用主縮放系數(shù)r(x))，從而保持垂直線的筆直。為了在各部分之間保持連續(xù)，在各部分之間通過應用一個平滑參數(shù)w產(chǎn)生過渡(方框840)。平滑參數(shù)平滑垂直縮放函數(shù)并在垂直縮放函數(shù)經(jīng)過源曲線時平滑地連接全離的縮放系數(shù)。
參考圖6和9，考慮位于圖6所示x的垂直線。如圖9所示，g(y)是垂直縮放函數(shù)，它能被定義成在這條垂直線上的任意點y的垂直縮放系數(shù)。應該注意，g(y)信賴于x。函數(shù)g(y)是由兩個參數(shù)控制，第二縮放系數(shù)s和平滑參數(shù)w。在源曲線之間的距離源曲線超過w/2的垂直掃描線部分按主縮放系數(shù)r(x)縮放，在源曲線外面的按第二縮放系數(shù)s縮放。這三個常數(shù)段用兩個立方樣條函數(shù)在[St-0.5w，St+0.5w]中粘合在一起。每個立方樣條函數(shù)結(jié)束于值s和r(x)并在終點的斜率為0。
平滑參數(shù)w控制源曲線處的連續(xù)性。例如，如果在源曲線處不連續(xù)，人們可以選擇一個非常小的不值得注意人工制造的w。當在s＝r(x)的特殊情況下，g(y)變成一個常數(shù)，這就是導出方程式(3)所假定的。一旦將水平變形校正函數(shù)應用于初級彎曲表，產(chǎn)生包含在經(jīng)校正的廣角圖像130中廣角象素坐標位置的彎曲表150(方框850)。隨后彎曲表150作為輸出發(fā)出(方框860)。彎曲表用于從廣角圖像110構(gòu)成經(jīng)校正的廣角圖像130。
校正廣角圖像的觀察錯覺漂浮運動可被認為是一種特殊類型的深度錯覺。如場景旋轉(zhuǎn)時，采用較小視野的觀察器，當物體經(jīng)過視野時會感到它們的尺寸發(fā)生意外的變化。當一個物體第一進入觀察器時因幾何變形而顯得太大，隨后因放大的透視在觀察器的中央太小，最后在它離開觀察器時再次太大。這個結(jié)果是該物體看來好象移離觀察器而隨后移回到觀察器。換言之，該物體看來好象在“漂浮”。
SVU縮放函數(shù)有助于校正深度錯覺的問題。這是通過對觀看的全景圖像使用對稱SVU縮放函數(shù)完成的。底部源曲線構(gòu)成了頂部源曲線的鏡像。源曲線經(jīng)過圖像的邊角并在中央的垂直掃描線上具有一個最小值(或最大值)。一個參數(shù)指定中央點的高度以及另一個參數(shù)是彎曲系數(shù)α，如上所述。
為了可視地說明實時廣角圖像校正系統(tǒng)和方法去除漂浮運動的效果，出示圖10A和10B。圖10A和10B所示的都是用透視投影和100度視野全景觀看一個舞廳時的快照。圖10A所示的是沒有任何校正的舞廳透視圖。圖10B所示的是在與圖10A相同的圖應用SVU縮放函數(shù)之后。從圖10A和10B中，能看到在用SVU縮放函數(shù)后圖像變形較小。更重要地，當用透視投影旋轉(zhuǎn)圖10A的場景時，觀察到墻和桌子嚴重的拉伸和漂浮運動。在應用SVU縮放函數(shù)后，觀察到很小的拉伸并且在視覺上消除了漂浮運動。這個結(jié)果在旋轉(zhuǎn)場景時會使場景看上去更為穩(wěn)定。
VI.工作實例和結(jié)果下面的工作實例用于說明本發(fā)明的操作細節(jié)。工作實例包括圖4的方法的實現(xiàn)。應該注意，工作實例只是本發(fā)明可以操作和使用的一種方式，且只是為了說明的目的而提供的。
在這個工作實例中，在一個視頻會議環(huán)境中實現(xiàn)本發(fā)明的系統(tǒng)和方法。視頻會議系統(tǒng)需要能顯示一組寬闊的視圖允許遠程觀眾看見所有的與會者。一般地，這些與會者圍繞桌子坐著。當前系統(tǒng)使用一個傾斜/全景/變焦攝像機為觀看房間不同部分的可能性。可是，這些當前系統(tǒng)并不能提供一個全景的觀察。他們也要忍受搖動鏡頭以覆蓋新的發(fā)言人的潛在性。為了減少這些問題，可使用本發(fā)明的實時廣角圖像校正系統(tǒng)和方法。
在視頻會議的場景直接使用一個廣角攝像機得到具有一個柱面投影的廣角圖像。圖11說明了由廣角攝像機產(chǎn)生的結(jié)果圓柱廣角圖像。在圖11中，值得注意是在桌子遠端的人極小。盡管柱面投影可以校正圍繞邊緣的幾何變形，但在深和小的感覺方面卻只有很少的改進。在桌子遠端的人們與靠近攝像機的人們相比仍看上去非常小。
在圖12-16中，示出了用實時廣角圖像校正系統(tǒng)和方法處理圖11的圖像后的結(jié)果。圖12說明了具有彎曲系數(shù)α＝0.3的源曲線和目標曲線。圖13說明了經(jīng)初級校正的圖像，它使用沒有水平變形校正函數(shù)的SVU縮放函數(shù)的進行垂直縮放和水平縮放的結(jié)果。圖14說明另應用具有水平變形校正函數(shù)的SVU縮放函數(shù)的結(jié)果。
此外，有些結(jié)果使用不同的彎曲系數(shù)α＝0.2。圖16說明了彎曲系數(shù)α＝0.4的結(jié)果。應該注意，α＝0的彎曲系數(shù)是最小彎曲而α＝1的彎曲系數(shù)是最大彎曲。
為了說明和描述的目的，已經(jīng)呈現(xiàn)了本發(fā)明的前述說明。不要窮舉的或?qū)⒈景l(fā)明限制在所披露的精確格式內(nèi)。很多修改方案和變化方案可能是按照上面教導的。本發(fā)明的詳細說明以及這里所附的權(quán)利要求書并不試圖限制本發(fā)明的范圍。
附錄I下面的討論是想提供有關廣角圖像中明顯變形原因的更多的數(shù)學上的細節(jié)。
形狀變形和非固定的后果隨著一廣角圖像中物體從中央移動至邊緣時，會出現(xiàn)變形。圖17說明一繞著攝像機旋轉(zhuǎn)的矩形物體的透視投影。O是投影中心，π是投影平面，且f是焦距。設w和h是物體的寬度和長度。假定物體從P1旋轉(zhuǎn)到P2，其中OP1與圖像平面垂直且θ是0P2與0P1之間的角度。設d＝‖OP1‖＝‖OP2‖.在P1位置，它在圖像平面上的寬度和高度是w1=fwd---(4)]]>h1=fhd---(5)]]>在P2位置，它在圖像平面上的寬度和高度(與P2相鄰的兩條邊的長度)是w2=fwd·cos2θ---(6)]]>h2=fhd·cosθ---(7)]]>這導出w2=1cos2θ·w1---(8)]]>h2=1cosθ·h1---(9)]]>和w2h2=1cosθw1h1---(10)]]>方程式(5)和(6)說明隨著物體從圖像中央轉(zhuǎn)到邊緣時，其寬度和高度都增加了。視角越大，增加的量就越大。方程式7說明當物體從圖像中央到邊緣時，其物體的圖像也變形(拉伸)了。視角越大，變形量就越大。當視角接近90度時，變形比w2/h2接近無窮大。
如果圖像的觀眾將他們的眼睛放在O處則透視變形仍然正確，圖像將不會出現(xiàn)變形?？墒?，當用較小的視野觀看廣角圖像時觀眾期望當物體旋轉(zhuǎn)時圖像尺寸增加較小而且變形量較小。這就是為什么物體在邊緣時顯得拉伸?，F(xiàn)在沒有兩個相等的角度可以用于觀看。在圖像平面上尺寸和變形的變化比期望的大使用戶感到場景不是固定的，好象在繞著用戶漂浮。
深度錯覺用較小的視野觀看時引起的一個相關的問題是深度的錯覺。廣角圖像在靠近和遠離物體時放大了深度的差異。在場景中物體深度的一個重要的視覺暗示是在放置在近處與遠處的相似物體的圖像尺寸的比例(被稱為深度透視縮短比)。較小的視野導致較小的透視縮短比。在兩個人的兩張照片中這是明顯的，一個人比另一個人離攝像機稍遠。圖18A和18B說明了深度錯覺的概念。圖18A中，是用普通視野的攝像機拍攝的場景。在圖18B中，是用廣角攝像機拍攝的相同場景。如通過比較圖18A和18B能看到的那樣，廣角攝像機(圖18B所示)放大了兩個人的尺寸之間的差異并因此在用廣角攝像機拍攝的照片中顯得兩人之間的距離增加了。在視頻會議應用程序中，廣角攝像機圖像導致場景中遠處的與會者極小。
附錄II以下討論說明在普通圓柱表面上的投影不會產(chǎn)生局部均勻的縮放?？疾鞂⒁粋€正圓柱視圖投影到橢圓柱面(橫截面是橢圓)的例子。圖19示出正圓柱面和橢圓柱面的橫截面的兩維圖。用a和b表示橢圓的短軸與長軸。那么橢圓的方程式為x＝a cos(θ)和z＝b sin(θ)。圓的方程式為x＝a cos(θ)和z＝a sin θ)。分別用s’和s表示橢圓和圓的弧長度。那么，ds′dθ=(dxdθ)2+(dxdθ)2---(11)]]>=a2sin2θ+b2cos2θ---(12)]]>dsdθ=a.---(13)]]>給定一個無限小dθ，圓和橢圓的弧長度分別是ds和ds’。因此，局部水平縮放為ds’/ds＝sqrt(a2sin2θ+b2cos2θ)/a。當θ＝π/2，局部水平縮放ds’/ds＝1而垂直縮放(y軸)為b/a。因此，垂直縮放比水平縮放大且物體會顯得垂直拉伸。在θ＝0時準確的相反是真的。它的垂直縮放是1而水平縮放是b/a。因此，物體靠近θ＝0時將出現(xiàn)水平拉伸。
權(quán)利要求
1.實現(xiàn)廣角圖像的實時校正的方法，包括從廣角圖像獲得象素坐標，下文稱之為廣角象素圖像坐標；通過對象素坐標應用參量圖像彎曲函數(shù)產(chǎn)生彎曲表；以及使用彎曲表實時變形廣角圖像以創(chuàng)建經(jīng)校正的廣角圖像。
2.如權(quán)利要求1所述的方法，其特征在于，參量圖像彎曲函數(shù)是空間變化均勻(SVU)縮放函數(shù)。
3.如權(quán)利要求1所述的方法，其特征在于，產(chǎn)生彎曲表進一步包括使用參量圖像彎曲函數(shù)垂直縮放廣角象素圖像坐標以創(chuàng)建經(jīng)垂直縮放的廣角圖像象素坐標；使用參量圖像彎曲函數(shù)水平縮放經(jīng)垂直縮放的廣角圖像象素坐標以創(chuàng)建包含初級象素坐標的初級彎曲表；以及使用參量圖像彎曲函數(shù)對初級彎曲表進行水平變形校正以創(chuàng)建彎曲表。
4.如權(quán)利要求3所述的方法，其特征在于，垂直縮放每條垂直掃描線進一步包括在垂直方向上使用主縮放系數(shù)縮放廣角象素圖像坐標。
5.如權(quán)利要求4所述的方法，其特征在于，進一步包括使用源曲線和目標曲線計算主縮放系數(shù)。
6.如權(quán)利要求5所述的方法，進一步包括指定源曲線；指定彎曲系數(shù)；以及使用源曲線和彎曲系數(shù)計算目標曲線。
7.如權(quán)利要求6所述的方法，其特征在于，源曲線進一步包括底部源曲線和頂部源曲線。
8.如權(quán)利要求6所述的方法，其特征在于，目標曲線進一步包括底部目標曲線和頂部目標曲線。
9.如權(quán)利要求3所述的方法，其特征在于，水平縮放進一步包括在水平方向上對每條垂直掃描線使用主縮放系數(shù)縮放廣角象素圖像坐標。
10.如權(quán)利要求9所述的方法，其特征在于，使用源曲線和目標曲線計算主縮放系數(shù)。
11.如權(quán)利要求4所述的方法，其特征在于，水平縮放進一步包括使用主縮放系數(shù)垂直地縮放經(jīng)垂直縮放的廣角圖像象素坐標。
12.如權(quán)利要求3所述的方法，其特征在于，進行水平變形校正進一步包括將初級彎曲表分成多個部分；以及在垂直方向上使用至少兩個不同的縮放系數(shù)縮放包含在每個部分中的初級象素坐標。
13.如權(quán)利要求12所述的方法，其特征在于，至少兩個不同的縮放系數(shù)包括主縮放系數(shù)和第二縮放系數(shù)。
14.具有實現(xiàn)權(quán)利要求1所述方法的計算機可執(zhí)行指令的計算機可讀介質(zhì)。
15.適用于校正由廣角攝像機拍攝到的廣角圖像的變形的方法，包括輸入相應于廣角圖像象素坐標廣角象素坐標；使用具有縮放系數(shù)的空間變化均勻(SVU)縮放函數(shù)產(chǎn)生包含經(jīng)校正的廣角象素坐標的彎曲表；以及創(chuàng)建適用于校正廣角圖像中放大深度的經(jīng)校正的廣角圖像。
16.如權(quán)利要求15所述的方法，進一步包括校正縮放系數(shù)以校正水平變形。
17.如權(quán)利要求15的所述的方法，進一步包括定義源曲線和目標曲線以確定SVU縮放函數(shù)。
18.如權(quán)利要求17所述的方法，其特征在于，由用戶定義源曲線。
19.如權(quán)利要求15所述的方法，進一步包括讓用戶定義指定應用于廣角圖像變形量的彎曲系數(shù)。
20.如權(quán)利要求16所述的方法，其特征在于，調(diào)整縮放系數(shù)進一步包括定義垂直縮放系數(shù)以控制水平縮放。
21.具有用于實時校正和觀看廣角圖像的計算機可執(zhí)行指令的計算機可讀介質(zhì)，包括產(chǎn)生包含廣角圖像中的象素的坐標的彎曲表，進一步包括在廣角圖像上指定源曲線；指定對應于應用在廣角象素圖像坐標上的變形量的彎曲系數(shù)；使用源曲線和彎曲系數(shù)計算目標曲線；使用源曲線和目標曲線計算主縮放系數(shù)；使用主縮放系數(shù)縮放廣角象素圖像坐標以產(chǎn)生彎曲表；以及將彎曲表應用于廣角圖像以創(chuàng)建經(jīng)校正的廣角圖像；
22.如權(quán)利要求21所述的計算機可讀介質(zhì)，其特征在于，使用主縮放系數(shù)進一步包括使用主縮放系數(shù)垂直地縮放廣角象素圖像坐標的每條垂直掃描線；以及使用主縮放系數(shù)水平地縮放廣角象素圖像坐標。
23.如權(quán)利要求21所述的計算機可讀介質(zhì)，其特征在于彎曲系數(shù)是一個在0和1之間并包括0和1的數(shù)字。
24.如權(quán)利要求21所述的計算機可讀介質(zhì)，其特征在于源曲線包括頂部源曲線和底部源曲線，頂部源曲線定義在廣角圖像頂部的水平特征且底部源曲線定義在廣角圖像底部的水平特征。
25.變形廣角圖像的方法，包括使用參量圖像彎曲函數(shù)和主縮放系數(shù)垂直地縮放廣角圖像的每條垂直掃描線的象素坐標；使用參量圖像彎曲函數(shù)和主縮放系數(shù)水平地縮放廣角圖像的象素坐標；產(chǎn)生包含初級象素坐標的初級彎曲表；以及通過對初級彎曲表應用參量圖像彎曲函數(shù)和主縮放系數(shù)校正水平變形以產(chǎn)生彎曲表。
26.如權(quán)利要求25所述的方法，進一步包括將彎曲表應用于廣角圖像，以確定在經(jīng)校正的廣角圖像中廣角圖像的象素坐標的位置；以及將廣角圖像的每個象素坐標的RGB值應用于經(jīng)校正的廣角圖像。
27.如權(quán)利要求25所述的方法，其特征在于，使用由用戶指定的源曲線和根據(jù)源曲線計算得到的目標曲線計算主縮放系數(shù)。
28.如權(quán)利要求25所述的方法，其特征在于，校正水平變形進一步包括應用第二縮放系數(shù)。
29.校正廣角圖像中的變形和感覺問題的方法，包括使用空間變化均勻(SVU)縮放函數(shù)和主縮放系數(shù)垂直地和水平地縮放廣角圖像的象素坐標以產(chǎn)生包含初級象素坐標的初級彎曲表；將初級彎曲表分成多個部分，每個部分至少包含一些初級象素坐標；指定不同于主縮放系數(shù)的第二縮放系數(shù)；以及對于多個部分中的第一組部分的初級象素坐標使用主縮放系數(shù)、對于多個部分中的第二組部分的初級象素坐標使用第二縮放系數(shù)進行垂直縮放多個部分中的各個部分以校正水平變形。
30.如權(quán)利要求29所述的方法，進一步包括使用底部源曲線、頂部源曲線、底部目標曲線和頂部目標曲線計算主縮放系數(shù)。
31.如權(quán)利要求30所述的方法，其特征在于，底部源曲線、頂部源曲線、底部目標曲線和頂部目標曲線是立方曲線。
32.如權(quán)利要求30所述的方法，其特征在于，分割進一步包括創(chuàng)建包含對應于位于頂部源曲線和底部源曲線之間廣角圖像中象素的初級象素坐標的第一部分。
33.如權(quán)利要求32所述的方法，其特征在于，部分的第一組是第一部分，以及其特征在于，垂直地縮放進一步包括在垂直方向上使用主縮放系數(shù)縮放第一部分。
34.如權(quán)利要求33所述的方法，其特征在于，部分的第二組包括除第一部分以外的多個部分的每個部分，并且其特征在于，垂直地縮放進一步包括使用第二縮放系數(shù)在垂直方向上縮放第二組部分。
35.如權(quán)利要求29所述的方法，進一步包括使用平滑函數(shù)連接多個部分中的每個部分。
36.如權(quán)利要求29所述的方法，進一步包括對初級彎曲表進行水平變形校正函數(shù)以產(chǎn)生彎曲表。
37.如權(quán)利要求36所述的方法，進一步包括由廣角圖像使用彎曲表創(chuàng)建經(jīng)校正的廣角圖像。
38.校正廣角圖像中的變形和感覺缺陷的實時廣角圖像校正系統(tǒng)，包括彎曲表在廣角圖像中為其中的每個象素指定位置；使用參量圖像彎曲函數(shù)的彎曲表生成模塊；由彎曲表生成模塊產(chǎn)生的包含廣角象素圖像坐標的彎曲表；以及將彎曲表應用于廣角圖像以創(chuàng)建經(jīng)校正的廣角圖像的實時圖像彎曲系統(tǒng)。
39.如權(quán)利要求38所述的實時廣角圖像校正系統(tǒng)，其特征在于，參量圖像彎曲函數(shù)是空間變化均勻(SVU)縮放函數(shù)。
40.如權(quán)利要求38所述的實時廣角圖像校正系統(tǒng)，其特征在于，彎曲表生成模塊進一步包括用于進行垂直和水平縮放的的主縮放系數(shù)。
41.如權(quán)利要求40所述的實時廣角圖像校正系統(tǒng)，進一步包括用于計算主縮放系數(shù)的源曲線和目標曲線。
42.如權(quán)利要求38所述的實時廣角圖像校正系統(tǒng)，其特征在于，彎曲表生成模塊進一步包括用于進行垂直縮放和水平縮放的主縮放系數(shù)；以及用于進行水平變形校正函數(shù)的第二縮放系數(shù)。
43.如權(quán)利要求38所述的實時廣角圖像校正系統(tǒng)，其特征在于，彎曲表生成模塊進一步包括接收廣角象素圖像坐標的輸入模塊；使用參量圖像彎曲函數(shù)在垂直方向上縮放廣角象素圖像坐標的垂直縮放模塊；使用參量圖像彎曲函數(shù)在水平方向上縮放廣角象素圖像坐標的水平縮放模塊。
44.如權(quán)利要求43所述的實時廣角圖像校正系統(tǒng)，進一步包括根據(jù)位置的不同量垂直地縮放初級彎曲表中初級象素坐標的水平變形校正函數(shù)模塊。
全文摘要
本發(fā)明包括實時廣角圖像校正系統(tǒng)和方法，它適用于減輕由廣角攝像機拍攝的圖像中變形和感覺問題。一般而言，實時廣角圖像校正方法由廣角圖像的象素坐標產(chǎn)生彎曲表并將彎曲表應用于廣角圖像以創(chuàng)建經(jīng)校正的廣角圖像。使用包括空間變化均勻(SVU)縮放函數(shù)的參量類彎曲函數(shù)進行校正。SVU縮放函數(shù)和縮放系數(shù)用于對廣角象素圖像坐標的進行垂直縮放和水平縮放。使用SVU縮放函數(shù)和至少兩個不同縮放系數(shù)進行水平變形校正。該處理產(chǎn)生彎曲表，它能應用于廣角圖像以產(chǎn)生經(jīng)校正的廣角圖像。
文檔編號G06T3/00GK1477597SQ03145729
公開日2004年2月25日 申請日期2003年6月30日 優(yōu)先權(quán)日2002年6月28日
發(fā)明者劉自成, M·科恩 申請人:微軟公司