專利名稱：內(nèi)容感知的廣角圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像。
圖像捕獲設(shè)備，例如照相機(jī)，可被用來(lái)捕獲部分視場(chǎng)的圖像。此外，這樣的圖像捕獲設(shè)備可以具有變化的視場(chǎng)。由特定照相機(jī)捕獲的視場(chǎng)部分取決于照相機(jī)鏡頭的焦距和底片大小。廣角鏡頭的焦距小于普通鏡頭(例如，鏡頭的焦距基本上等于底片大小的對(duì)角線長(zhǎng)度)。對(duì)于不變的底片大小，相對(duì)于較大焦距的鏡頭而言，廣角鏡頭能捕獲更大的視場(chǎng)。
任何由輸入設(shè)備捕獲的圖像經(jīng)常包括一些失真。例如，照相機(jī)
可能使得在圖像中所描述的目標(biāo)的大小失真，以致于遠(yuǎn)處目標(biāo)看起來(lái)比近處目標(biāo)小。特別地，捕獲圖像導(dǎo)致部分視場(chǎng)的投影。該投影可以根據(jù)圖像捕獲設(shè)備的視點(diǎn)來(lái)改變，這導(dǎo)致了在捕獲圖像之間的
透視失真。
一些廣角圖像提供具有大視場(chǎng)的直線圖像(例如，用于35mm照相機(jī)的24mm廣角鏡頭)。其它廣角鏡頭不能提供矩形圖像，例如一些魚(yú)眼鏡頭。魚(yú)眼鏡頭提供廣角半球圖像，其可以被修剪成一個(gè)傳統(tǒng)的矩形圖像。
此外，廣角鏡頭固有地會(huì)產(chǎn)生額外的失真，特別是在接近邊緣處，例如在現(xiàn)實(shí)世界中看起來(lái)是直的線在此處看起來(lái)是彎的，而圓形則被拉伸成橢圓形。
另一種形式的廣角圖像是將兩個(gè)或更多的分量圖像拼合到 一起形成的合成圖像(例如全景圖像)。因此，為了形成更大視場(chǎng)的圖像，可以獲取多個(gè)部分視場(chǎng)的重疊圖像，并且這些圖像可以拼合到一起以形成合成圖像。該合成圖像也可能包含失真，包括透視失真。發(fā)明內(nèi)容本說(shuō)明書(shū)描述了涉及數(shù)字圖像的技術(shù)。
總體上，本i^明書(shū)中描述的主題的 一方面可以實(shí)施為包括以下
動(dòng)作的方法接收源廣角圖像；標(biāo)識(shí)源廣角圖像中的一個(gè)或多個(gè)局部顯著特征；利用所標(biāo)識(shí)的一個(gè)或多個(gè)顯著特征來(lái)計(jì)算從源廣角圖像到二維映射廣角圖像的空間上可變的映射；利用計(jì)算出的映射來(lái)繪制映射后的廣角圖像，以使得映射后的廣角圖像相對(duì)于源廣角圖像的失真而言降低了所述局部顯著特征的失真。這方面的其它實(shí)施方式包括相應(yīng)的系統(tǒng)、裝置以及計(jì)算機(jī)程序產(chǎn)品。
這些以及其它實(shí)施方式可選4奪地包括一個(gè)或多個(gè)下述特征。接收源廣角圖像包括接收與源廣角圖像相關(guān)聯(lián)的照相機(jī)的一個(gè)或多個(gè)特性，還包括利用照相機(jī)的一個(gè)或多個(gè)特性將源廣角圖像投影到球表面上；標(biāo)識(shí)局部顯著特征包括檢測(cè)源廣角圖像中的線；標(biāo)識(shí)局部顯著特征包括檢測(cè)源廣角圖像中的面部；計(jì)算映射包括將離散限制方程的線性系統(tǒng)定義為局部顯著性的函數(shù)；線性系統(tǒng)定義保形'性(conformality)約束、直線約束和平滑度約束；計(jì)算映射包括利用最小二乘法限制方程求解。該方法還包括存儲(chǔ)映射后的廣角圖像。
下一個(gè)或多個(gè)優(yōu)點(diǎn)。源廣角圖像可被映射到表面上，使得固有的照相機(jī)失真降低。圖像內(nèi)容可被用來(lái)計(jì)算最優(yōu)映射，為了降低顯著圖像內(nèi)容的失真，該最優(yōu)映射針對(duì)不同的圖像區(qū)域而改變。所生成的映射后的廣角圖像降低了失真，以提供比由源廣角圖像提供的視圖的表示更進(jìn)一步匹配相對(duì)應(yīng)的現(xiàn)實(shí)世界的視圖。
本發(fā)明的一個(gè)或多個(gè)實(shí)施方式的細(xì)節(jié)在下附的附圖以及描述中得以闡述。本發(fā)明的其它特征、方面以及優(yōu)點(diǎn)將從實(shí)施方式、附圖及權(quán)利要求中變得明顯。


圖1是用于以降低的失真映射廣角圖像的的示例方法的流程圖；圖2A是廣角圖像的示例；圖2B是另一個(gè)源廣角圖像的示例；
圖3是投影在一個(gè)球體上的廣角圖像的示例；
圖4是示例線段的示圖5是非平滑廣角圖像映射的示例；
圖6是映射后的廣角圖像的示例；
圖7是示例性的用戶系統(tǒng)結(jié)構(gòu)框圖。
在不同附圖中同樣的附圖標(biāo)記及名稱表示同樣的元件。
具體實(shí)施例方式
圖1是用于以降低的失真映射廣角圖像的示例方法100的流程圖。為了方便起見(jiàn)，針對(duì)執(zhí)行方法100的系統(tǒng)來(lái)描述該方法100。
系統(tǒng)接收102源廣角圖像。源廣角圖像可以是利用廣角鏡頭(例如魚(yú)眼鏡頭)捕獲的圖像或是由兩個(gè)或更多個(gè)分量圖像形成的合成圖像。系統(tǒng)可以本地或者遠(yuǎn)程地從存儲(chǔ)設(shè)備接收源廣角圖像。此外，可以響應(yīng)于圖像的用戶標(biāo)識(shí)(例如，從用戶界面的用戶選擇)而獲取源廣角圖像。在一些實(shí)施方式中，源廣角圖像包括附加信息(例如，作為與廣角圖像相關(guān)聯(lián)的元數(shù)據(jù))，例如，與源廣角圖像相關(guān)聯(lián)的照相機(jī)參數(shù)(例如焦距、照相才幾視角)。
圖2A是一個(gè)源廣角圖像200的示例。源廣角圖像200是通過(guò)具有特殊焦距的魚(yú)眼鏡頭捕獲的圖像。此外，源廣角圖像200可以被修剪成矩形圖像，而不是半球圖像。在源廣角圖像200中可以看見(jiàn)圖像失真。例如，廣角圖像中的失真包括直線的彎曲、局部拉伸和剪切、縮放變化以及朝向變化。例如，在源廣角圖像200中，表示窗戶的框202的垂直線是彎曲的。此外，在源廣角圖像200中，前景中的個(gè)人204被拉伸。拉伸是由不均勻的縮放造成的(例如，沿著一個(gè)方向的縮放大于另一方向)。不均勻的縮放是損失保形性的原因之一，這將在下面詳細(xì)介紹。
圖2B是另一個(gè)源廣角圖像201的示例。源廣角圖像201是一個(gè)廣角直線透視圖像。拉伸失真在源廣角圖像201的邊緣清晰可見(jiàn)。
7系統(tǒng)根據(jù)特定的球面投影將接收到的源廣角圖像投影104到球表面。廣角圖像的球面變換是一種幾何變換，其提供了從廣角圖像的參考系到球表面上的投影圖像的廣角圖像的變換。特別地，球面
變換提供從平面坐標(biāo)系統(tǒng)(例如，笛卡爾x、 y坐標(biāo)或者平面極坐標(biāo)半徑p和角度e)到標(biāo)識(shí)球面上的點(diǎn)的球坐標(biāo)系，或者更特別的是，到地理坐標(biāo)(例如，經(jīng)度X和煒度O)的廣角圖像的變換。
在一些實(shí)施方式中，系統(tǒng)利用與源廣角圖像相關(guān)聯(lián)的照相機(jī)屬性，特別是焦距，將源廣角圖像投影到球面上。在一些可選擇的實(shí)施方式中，系統(tǒng)利用柱狀投影將源廣角圖像投影到柱面上。
對(duì)一個(gè)由X和O參數(shù)化表示的球面投影，圖像上的每個(gè)點(diǎn)都可
_義—
義=
由諸如 L"的矢量符號(hào)標(biāo)識(shí)。球面可根據(jù)在？u O)空間中的均勻柵
格被離散化。柵格可由i和j來(lái)表征，其中i表示X方向上的步進(jìn)移動(dòng)(例如象素的指定數(shù)目)，j表示O方向的相應(yīng)步進(jìn)。這產(chǎn)生了球表面上的四邊形網(wǎng)格，其中每個(gè)四邊形的大小取決于i和j的具體范圍，例如，0<i<w，并且(Kj〈h。變量w和h對(duì)應(yīng)于四邊形網(wǎng)才各在水平和豎直維度上的步進(jìn)數(shù)，其取決于輸入圖像的大小。
圖3是投影到一個(gè)球上的投影的廣角圖像300示例。此外，柵格206在球表面以及投影的廣角圖像300上表示出來(lái)。示出的柵格206具有相對(duì)于經(jīng)線O202和綿線人204的線。此外，當(dāng)投影到球上時(shí)，廣角圖像300的局部是無(wú)失真的。例如，在球上，圖像內(nèi)容(例如兩個(gè)人)以自然、無(wú)失真的形式被顯示。因此，圖1中的廣角圖像100顯示的失真沒(méi)有在球面投影的廣角圖像300中出現(xiàn)。
系統(tǒng)標(biāo)識(shí)106廣角圖像的顯著特征。顯著特征是在映射后的二維廣角圖像中不應(yīng)該失真的圖像局部特征。例如，標(biāo)識(shí)廣角圖像的顯著區(qū)域，以保留諸如臉部形狀/縮放或者要保持為直線的線。類似地，廣角圖像的其它區(qū)域可以較為不顯著。例如，表示空墻的區(qū)域可被標(biāo)識(shí)為較少局部顯著，因?yàn)榇颂幍木植渴д鎸?duì)映射后的二維廣角圖像的影響小。此外，圖像里高對(duì)比度的區(qū)域或者尖銳的區(qū)域也可標(biāo)識(shí)顯著特征。
在一些實(shí)施方式中，局部顯著特征是人工標(biāo)識(shí)的。例如，系統(tǒng)可以顯示廣角圖像，用戶可以標(biāo)識(shí)圖像中的臉部或者要保持為直線的線(例如，通過(guò)標(biāo)識(shí)一個(gè)線段的端點(diǎn))。在一些其它的實(shí)施方式中，顯著特征是自動(dòng)標(biāo)識(shí)的。例如，可以利用不同的線檢測(cè)技術(shù)，
比如霍夫變換(Hough-transform)。類似地，臉部4企測(cè)技術(shù)可被用來(lái)標(biāo)識(shí)圖像中的臉，之后其可被標(biāo)識(shí)為顯著特征。
基于所標(biāo)識(shí)的顯著特征，廣角圖像的球面投影被用來(lái)計(jì)算從球到二維平面的映射，其中該二維平面由u和v來(lái)參數(shù)化。這個(gè)映射后的廣角圖像根據(jù)局部顯著性可變地降低源廣角圖像中顯示的失
的矢
真。二維平面中的映射后的廣角圖像上的每個(gè)點(diǎn)都可在如
量符號(hào)中標(biāo)識(shí)。
系統(tǒng)計(jì)算108廣角圖像到如下二維平面的最優(yōu)映射，該二維平面降低了圖像中顯著特征的失真。特別地，系統(tǒng)標(biāo)識(shí)從球表面上的點(diǎn)、」到二維面上的點(diǎn)U,，j的映射。為了計(jì)算映射，系統(tǒng)試圖滿足定義從球到二維平面的投影的具體微分方程。然而，由于具體的約束，這些方程通常不能在廣角圖像的所有點(diǎn)上得到滿足。因此，不存在從球到二維平面的沒(méi)有失真的全局投影。然而，多種技術(shù)可用來(lái)計(jì)算空間變換的映射(也稱為空間變換投影)，其近似滿足由微分方程定義的約束。例如，最小二乘法技術(shù)可被用來(lái)計(jì)算根據(jù)微分方程約束來(lái)逼近投影的特定映射。
定義投影約束的微分方程可被離散化，以產(chǎn)生對(duì)球表面上的每個(gè)點(diǎn)具有已知變量(K )V" y'、而對(duì)二維平面上的每個(gè)映射點(diǎn)具有未知變量("'.,'v)v^'的線性方程系統(tǒng)。在下面將更詳細(xì)地描述，對(duì)這個(gè)
線性系統(tǒng)進(jìn)行求解，以便基于局部圖像顯著性來(lái)計(jì)算具有降低的失真的廣角圖像的映射。
在一些實(shí)施方式中，有與從人、O到u、 v空間的映射相關(guān)聯(lián)的四個(gè)特定約束保形性約束、直線約束、平滑度約束、正則性約束，
9將依次對(duì)其進(jìn)行描述。根據(jù)局部圖像顯著性，可以對(duì)約束值進(jìn)行修改從而空間地改變。特別地，保形性、直線和平滑度的離散值可根據(jù)顯著性而改變。
保形性描述了確保球表面上所有的角都在二維平面中局部保持的特性。因此，保形性確保圖像沒(méi)有作為從球到平面的投影結(jié)果的
局部切變或不均勻縮;改。才艮據(jù)柯西-黎曼(Cauchy-Riemann )方程，保形性通常被描述成<formula>formula see original document page 10</formula>具有非零導(dǎo)數(shù)的滿足柯西-黎曼方程的函數(shù)保持角度。因此，柯
西-黎曼方程表示保持保形性所需要的條件?？挛?黎曼方程與那些用于平面到平面的映射近似。然而，因?yàn)槭褂昧藷樁染€大小不均勻的球坐標(biāo)，上述公式引入了 cosO項(xiàng)。通過(guò)由于偏導(dǎo)數(shù)而造成的距離上的極小改變而定義的柯西-黎曼方程，可相對(duì)于O、 u和v被離散化，以形成線性限制方程
<formula>formula see original document page 10</formula>根據(jù)廣角圖像的局部?jī)?nèi)容，所標(biāo)識(shí)的顯著特征可被用來(lái)對(duì)這些約束進(jìn)行加權(quán)。例如，對(duì)屬于臉部的廣角圖像的部分實(shí)施更強(qiáng)的保
形性。線性限制方程的加權(quán)形式可被表示成<formula>formula see original document page 10</formula>其中，W,.是基于權(quán)重的局部地(空間地)變化的顯著性?？蛇x擇地，在一些實(shí)施方式中，『是針對(duì)所有點(diǎn)的固定權(quán)重。cosO)和W的值在直線約束中是已知的，所以只有W和V的值是未知的。
直線段的彎曲是圖像投影中很普遍的顯而易見(jiàn)的失真。線性約束控制從球表面到二維平面的投影中針對(duì)線產(chǎn)生的彎曲量。直線彎曲在廣角圖像的特殊類型(例如魚(yú)眼或者柱狀全景圖像)中更普遍。標(biāo)識(shí)的顯著線是那些(例如在三維現(xiàn)實(shí)世界中)直的線段并且當(dāng)投影到二維平面時(shí)也應(yīng)該保持其是直的(例如，從直線立體圖像中標(biāo)識(shí)出的或者由投影球上的弧形標(biāo)識(shí)的)。根據(jù)局部顯著性，也就是廣角圖像中的點(diǎn)，直線約束的應(yīng)用在空間上發(fā)生變化，尤其是在線虧皮標(biāo)識(shí)為特4正的纟也方。
線可由在線上的任意點(diǎn)以及來(lái)自線的標(biāo)準(zhǔn)矢量n定義。根據(jù)直線約束，線上的任意點(diǎn)u".都要滿足
其中，是線的中點(diǎn)。根據(jù)該約束，對(duì)投影到二維平面的線上的任意點(diǎn)，該點(diǎn)在該線的標(biāo)準(zhǔn)矢量上的投影應(yīng)該為零。因此，二維的線同樣被限制為直線。
圖4是線段400的示例圖。線段400具有起點(diǎn)Ustart、終點(diǎn)Uend、
中點(diǎn)和標(biāo)準(zhǔn)矢量n。此外，圖4圖示了從點(diǎn)ug到標(biāo)準(zhǔn)矢量n的投影。在標(biāo)準(zhǔn)矢量上的投影到線的長(zhǎng)度提供了該點(diǎn)到線的距離，其被定義為(",.廣")""。因此，如果點(diǎn)u^在該線上，這個(gè)值就為零。
為了保持應(yīng)用直線約束的方程的線性系統(tǒng)，要確定投影線的方向。在一些實(shí)施方式中，系統(tǒng)通過(guò)選擇在直線透視圖像中線所具有的線的方向來(lái)確定方向。在一些其它的實(shí)施方式中，方向選自其它投影。
柵格線可被用來(lái)標(biāo)識(shí)投影線的方向。然而，由于線以有限的分
離而離散，因此線可能與柵格的頂點(diǎn)對(duì)不準(zhǔn)。然而，如果線與投影
柵格的四邊形相交，系統(tǒng)在線-四邊形相交的中點(diǎn)處會(huì)限制雙線性
插值的點(diǎn)。這將直線約束修改為
<formula>formula see original document page 11</formula>
其中，(",，"2，"3,"4)形成四邊形，(",6，c,o0是使得fl + "c + "l的雙線
-=丄 +
性映射系數(shù)。此外，是線段的中點(diǎn)。對(duì)線性系統(tǒng)而言，
n和("》，c，")的值是已知的，只有u和v的值是未知的。
保形性約束和直線約束沒(méi)有考慮投影的縮放和旋轉(zhuǎn)失真。因此，為了符合其它需要的約束條件，投影可以在圖像的空間上顯著地改變。
圖5是一個(gè)非平滑廣角圖像投影500的示例。在縮放或者旋轉(zhuǎn)方面沒(méi)有限制的廣角圖像500顯示柵格線以直角交叉，這意味著保形性。然而，縮放的變化很大，特別在邊緣處，這是不理想的。例如，如廣角圖像投影500所示，中央四邊形502的縮放與邊緣處的四邊形504的縮放顯著不同。
為了限制這些失真效應(yīng)，平滑度約束可被應(yīng)用到沿著球表面的經(jīng)線及平行線進(jìn)行指向的單位矢量。單位矢量分別被指代為h和k。更具體地，它們—皮定義為<formula>formula see original document page 12</formula>
為了避免縮放或旋轉(zhuǎn)的突變(例如使得h和k緩慢變化)
k被限制為不應(yīng)該改變。約束纟皮定義為
<formula>formula see original document page 12</formula>
以及
<formula>formula see original document page 12</formula><formula>formula see original document page 13</formula>
由于無(wú)法始終該方程，將其設(shè)定為等于零可以降低它們逼近解的時(shí)候所能夠改變的量(例如當(dāng)利用最小二乘法求解線性方程系統(tǒng)時(shí))。對(duì)于線性系統(tǒng)，這些約束再次被離散化。特別是，它們被離散化以形成下面的線性方程
<formula>formula see original document page 13</formula>這些平滑度約束可以以與上述保形性約束相類似的方式通過(guò)顯著性測(cè)量而被加權(quán)。平滑度權(quán)重可基于局部顯著性而在投影中進(jìn)行空間上的變化。例如，可在圖像中的高細(xì)節(jié)區(qū)域?qū)τ陉P(guān)于平滑度的局部顯著性進(jìn)行標(biāo)識(shí)，例如在圖像中繪制的臉部。其它區(qū)域?qū)⒕哂械惋@著性，例如，旋轉(zhuǎn)失真具有很小影響的表示空墻的局部區(qū)域。
既然(D的值是已知的，線性方程中僅有的未知項(xiàng)仍然是u和v
的投影值。
還可以對(duì)現(xiàn)行系統(tǒng)應(yīng)用正則性約束。正則性約束#:用來(lái)防止廣角圖像到一個(gè)單獨(dú)點(diǎn)的映射的平凡解。為了防止這種可能性，系統(tǒng)
可以應(yīng)用弱Tikhonov正則化法，優(yōu)選墨卡托(Mercator )投影法，因此<formula>formula see original document page 14</formula>
其中，似(D")是墨卡托投影，『small非常小(值是基于應(yīng)用于其它約束條件的權(quán)重而發(fā)生變化的，更特別地，權(quán)重『相對(duì)于線權(quán)
重小，例如，可應(yīng)用相對(duì)于線斗又重500的0.0001的斗又重)。這個(gè)正則性約束防止沒(méi)有顯著影響投影的總體形狀的平凡解。在一些實(shí)施方式中，使用其它投影，例如立體攝影投影。
廣角圖像從球表面到w、 v平面的最優(yōu)映射是通過(guò)求解限制方程的線性系統(tǒng)來(lái)計(jì)算的。特別地，線性方程的形式為矩陣-矢量方程。未知項(xiàng)(例如，""和 )排列在單列矢量x中。因此，任意線性約束方程，a,,可被寫(xiě)作"^ = ~的形式，其中a^是一個(gè)表示特殊約束方程的行矢量，t^是矢量的標(biāo)量積。
例如，具有線性方程 (v'+" _ v" — cos l (""+' — "")) = 0的保形性約束的約束方程可被寫(xiě)作矩陣-矢量方程<formula>formula see original document page 14</formula>
其中已知項(xiàng)的行矢量，a^，被簡(jiǎn)寫(xiě)為列矢量的轉(zhuǎn)置矩陣。每個(gè)線性約束方程都可被寫(xiě)作^" = ~的形式。因此，如果相對(duì)于特殊線性約束方程的每個(gè)aj皮疊加成矩陣A,并且相應(yīng)的h標(biāo)量為矢量b,則線性系統(tǒng)可被表示為爿x =
、
=6
由于矩陣的行多于列，線性系統(tǒng)的合成矩陣形式是超定(overdetermined )的。然而，w、 v的值可利用通過(guò)形成正態(tài)方程^厶=^6的最小二乘法來(lái)計(jì)算，對(duì)其進(jìn)行x求解，得到
x-(力)-
X的解可通過(guò)包括一個(gè)或多個(gè)計(jì)算才幾應(yīng)用的標(biāo)準(zhǔn)數(shù)學(xué)方法來(lái)計(jì)
算。例如，利用由The Math Works公司提供的Matlab 中的"V，算符來(lái)求解x。因此，不需要明確地倒置矩陣丫^。 x的值可^皮有效地計(jì)算，因?yàn)楫?dāng)」^大時(shí)，其每行的非零條目的數(shù)目很少。x的解提供所有w和v的值，這些值是根據(jù)約束將廣角圖像映射到二維平面所必需的，其中約束是內(nèi)容感知的，例如，約束說(shuō)明了圖像中的可變的顯著性。因此，對(duì)球表面上的每個(gè)圖像點(diǎn)坐標(biāo)^"、 l,可以計(jì)算特定的映射坐標(biāo)""、v"，以生成映射后的廣角圖像。
如圖1中所示，系統(tǒng)繪制110映射后的廣角圖像。特別地，x的解被用來(lái)標(biāo)識(shí)二維平面的坐標(biāo)，其對(duì)應(yīng)于空間投影的廣角圖像的X、O坐標(biāo)。此外，因?yàn)閤的解是基于說(shuō)明圖像中局部顯著性的約束的(例如約束是內(nèi)容感知的)，映射后的廣角圖像具有基于顯著性的降低的失真。
在一些實(shí)施方式中，該呈現(xiàn)包括將分辨率縮放到特定大小，并且掃描繪制所得到的w、 v柵格的每個(gè)四邊形。圖像紋理的分辨率取
決于方程的線性系統(tǒng)。因此，從相對(duì)小的系統(tǒng)可產(chǎn)生高分辨率的繪制。在一些實(shí)施方式中，利用從輸出四邊形到相關(guān)聯(lián)的輸入四邊形的雙線性映射來(lái)繪制圖像紋理。
圖6是映射后的廣角圖像600的示例。映射后的廣角圖像600是根據(jù)最優(yōu)映射關(guān)系映射到二維平面的廣角圖像，其降低了來(lái)自源廣角圖像(例如圖2中的廣角圖像200)的失真。特別地，最優(yōu)映射是內(nèi)容感知的，以使廣角圖像的特殊顯著性特征被標(biāo)識(shí)并且被用以限制映射，從而使失真降低。
例如，在映射后的廣角圖像600中包括無(wú)失真的個(gè)人602，其對(duì)應(yīng)于圖2中的源廣角圖像200的失真?zhèn)€人204。類似地，在源廣角圖像200中彎曲的線在映射后的廣角圖像600中是直的(例如，源廣角圖像200中的線202是彎的，而其相對(duì)應(yīng)的線604是直的)。
圖7是示例性的用戶系統(tǒng)架構(gòu)700的框圖。系統(tǒng)架構(gòu)700能夠主處理電子接收、顯示、編輯一個(gè)或多個(gè)音頻信號(hào)的音頻處理應(yīng)用程序。架構(gòu)700包括一個(gè)或多個(gè)處理器702(例如IBM PowerPC,IntelPentium 4等等)、 一個(gè)或多個(gè)顯示設(shè)備704 (例如CRT、 LCD)、圖形處理單元706 (例如NVIDIA GeForce等)、網(wǎng)絡(luò)接口 708 (例如Ethernet、 Fire Wire、 USB等)、輸入設(shè)備710 (例如鍵盤(pán)、鼠標(biāo)等)以及一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)712。這些部件通過(guò)一個(gè)或多個(gè)總線714 (例如EISA、 PCI、 PCI Express等)交換通信信息和數(shù)據(jù)。
術(shù)語(yǔ)"計(jì)算機(jī)可讀介質(zhì)，，指的是參與提供指令到處理器702用以執(zhí)行的任意介質(zhì)。計(jì)算機(jī)可讀介質(zhì)712還包括操作系統(tǒng)716 (例如Mac OS 、 Windows 、 Linux等)、網(wǎng)絡(luò)通信模塊718、瀏覽器720( <列長(zhǎng)口 Safari 、 Microsoft Internet Explorer、 Netscape⑧等)、成^象應(yīng)用程序722和其它應(yīng)用程序724。
操作系統(tǒng)716可以是多用戶、多進(jìn)程、多任務(wù)、多線程、實(shí)時(shí)以及類似的。操作系統(tǒng)716執(zhí)行基本任務(wù)，包括但不限于識(shí)別來(lái)自輸入設(shè)備710的輸入；發(fā)送輸出到顯示設(shè)備704;在計(jì)算機(jī)可讀介質(zhì)712 (例如內(nèi)存或者存儲(chǔ)設(shè)備)上保持文件和目錄的軌道；控制外圍設(shè)備(例如盤(pán)驅(qū)動(dòng)器、打印機(jī)等)；并且管理一個(gè)或多個(gè)總線714上的通信。網(wǎng)絡(luò)通信模塊718包括用于建立和保持網(wǎng)絡(luò)連接的多種元件(例如用于實(shí)現(xiàn)諸如TCP/IP、HTTP、以太網(wǎng)等通信協(xié)議的軟件)。瀏覽器720能夠使用戶在網(wǎng)絡(luò)(例如Internet)上搜索信息(例如數(shù)字媒體項(xiàng)目)。
成像應(yīng)用程序722提供各種軟件成分，用來(lái)執(zhí)行如圖1-圖6中所描述的以下各種功能從廣角圖像標(biāo)識(shí)顯著內(nèi)容、利用顯著內(nèi)容
計(jì)算廣角圖像的映射、繪制校正圖像。
說(shuō)明書(shū)中描述的主題和函數(shù)運(yùn)算的實(shí)施方式可由數(shù)字電子電路或者計(jì)算機(jī)軟件、固件或硬件來(lái)實(shí)現(xiàn)，包括說(shuō)明書(shū)中揭示的結(jié)構(gòu)以及它們的結(jié)構(gòu)上的等價(jià)物，或者它們中一個(gè)或多個(gè)的組合。說(shuō)明書(shū)中描述的主題的實(shí)施方式可實(shí)現(xiàn)為一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，例如， 一個(gè)或多個(gè)計(jì)算機(jī)程序指令模塊，其編碼在計(jì)算機(jī)可讀介質(zhì)上，由數(shù)據(jù)處理裝置執(zhí)行或者控制處理處理裝置的操作。計(jì)算機(jī)可讀介質(zhì)可以是可機(jī)讀的存儲(chǔ)設(shè)備、可機(jī)讀存儲(chǔ)基體、內(nèi)存設(shè)備、影響可機(jī)讀傳播信號(hào)的合成物或者是它們中的一個(gè)或多個(gè)的組合。術(shù)語(yǔ)"數(shù)據(jù)處理裝置"包括用于處理數(shù)據(jù)的所有裝置、設(shè)備和機(jī)器，包括作為示例的可編程處理器、計(jì)算機(jī)或者多個(gè)處理器或計(jì)算機(jī)。除硬件之外，裝置可以包括向當(dāng)前計(jì)算機(jī)程序創(chuàng)建執(zhí)行環(huán)境的編碼，例如組成處理器固件、協(xié)議堆棧、數(shù)據(jù)庫(kù)管理系統(tǒng)、操作系統(tǒng)或者它們中一個(gè)或多個(gè)組合的編碼。傳播的信號(hào)是人工產(chǎn)生信號(hào)，例如機(jī)器產(chǎn)生的電、光或者電磁信號(hào)，其被生成從而編碼信息以用于傳送到適當(dāng)?shù)慕邮掌餮b置。
計(jì)算機(jī)程序(也已知為程序、軟件、軟件應(yīng)用程序、腳本或者代碼)可以編程語(yǔ)言的任何形式寫(xiě)入，包括匯編或者翻譯語(yǔ)言，它也可以任何形式配置，包括作為獨(dú)立程序或者作為模塊、組件、子例程或者其它適用于計(jì)算環(huán)境的單元。計(jì)算機(jī)程序并非必須對(duì)應(yīng)于文件系統(tǒng)中的文件。程序可被存儲(chǔ)在也保存其它程序或數(shù)據(jù)(例如，一個(gè)或多個(gè)存儲(chǔ)在標(biāo)記語(yǔ)言文檔中的腳本)的文件的一部分中、當(dāng)前程序的專用單獨(dú)文件中或者多個(gè)配套文件中(例如存儲(chǔ)一個(gè)或多個(gè)模塊、子程序或者代碼部分的文件)。計(jì)算機(jī)程序可被配置在一個(gè)計(jì)算機(jī)或位于一個(gè)現(xiàn)場(chǎng)或者分布在多個(gè)現(xiàn)場(chǎng)并且通過(guò)通信網(wǎng)絡(luò)互相連接的多個(gè)計(jì)算機(jī)上執(zhí)行。
說(shuō)明書(shū)中描述的過(guò)程和邏輯流可由一個(gè)或多個(gè)可編程處理器來(lái)完成，所述可編程處理器執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序，以通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行操作以及生成輸出來(lái)完成操作。過(guò)程和邏輯流也可以由專用邏輯電路完成，并且裝置也可通過(guò)專用邏輯電路來(lái)實(shí)現(xiàn)，例如
FPGA (現(xiàn)場(chǎng)可編程門(mén)陣列)或者ASIC (專用集成電路)。
適用于執(zhí)行計(jì)算機(jī)程序的處理器例如包括，通用和專用微處理器以及任意種類的數(shù)字計(jì)算機(jī)的任意一個(gè)或多個(gè)處理器。通常，處理器接收來(lái)自只讀存儲(chǔ)器或者隨機(jī)存取存儲(chǔ)器亦或二者的指令和數(shù)據(jù)。計(jì)算機(jī)的主要元件是用于執(zhí)行指令的處理器以及用于存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。通常，計(jì)算機(jī)也包括一個(gè)或多個(gè)海量存儲(chǔ)設(shè)備，或者可操作地連接到 一 個(gè)或多個(gè)海量存儲(chǔ)設(shè)備以接收和/或發(fā)送數(shù)據(jù)，所述海量存儲(chǔ)設(shè)備用于存儲(chǔ)數(shù)據(jù)，例如為磁盤(pán)、磁光盤(pán)或者光盤(pán)。然而，計(jì)算機(jī)并非必需這樣的裝置。此外，計(jì)算機(jī)可被嵌入到其它設(shè)備中，例如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、移動(dòng)音頻播放器、全球定位系統(tǒng)(GPS)接收器，這里僅列舉幾個(gè)。適用于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包括所有類型的非易失存儲(chǔ)器、介質(zhì)和存儲(chǔ)裝置，包括例如EPROM、 EEPROM和閃存裝置的半導(dǎo)體存儲(chǔ)設(shè)備；例如內(nèi)部硬盤(pán)或移動(dòng)硬盤(pán)的磁盤(pán)；磁光盤(pán)；以及CD-ROM和DVD-ROM盤(pán)。處理器和存儲(chǔ)器可由專用邏輯電^4卜充或并入專用邏輯電^^。
為提供與用戶交互，說(shuō)明書(shū)中描述的主題的實(shí)施方式可通過(guò)帶有諸如CRT (陰極射線管)或LCD (液晶顯示器)監(jiān)視器的顯示設(shè)備的計(jì)算機(jī)來(lái)實(shí)現(xiàn)，用于向用戶顯示信息，用戶可通過(guò)鍵盤(pán)和諸如鼠標(biāo)或軌跡球的指向設(shè)備向計(jì)算機(jī)提供輸入。其它種類的設(shè)備也可用來(lái)提供與用戶交互，例如，提供給用戶的反饋可為諸如視覺(jué)反饋、聽(tīng)覺(jué)反饋或者觸覺(jué)反饋的任意形式的可感測(cè)的反饋；來(lái)自用戶的輸入也可以以包括聲音、語(yǔ)音或觸覺(jué)輸入的任意形式#皮接收。
說(shuō)明書(shū)中描述的主題的實(shí)施方式可以實(shí)施在計(jì)算系統(tǒng)中，該計(jì)算機(jī)系統(tǒng)包括例如數(shù)據(jù)服務(wù)器的后端組件，或者包括例如應(yīng)用程序服務(wù)器的中間設(shè)備組件，或者包括例如帶有用戶可通過(guò)其與說(shuō)明書(shū)中描述的主題設(shè)備進(jìn)行交互的圖形用戶接口或者網(wǎng)絡(luò)瀏覽器的客戶計(jì)算機(jī)的前端組件，或者這樣的后端組件、中間設(shè)備、前端組件中的 一 個(gè)或多個(gè)的任意組合。系統(tǒng)的組件可以通過(guò)任何形式或者諸如通信網(wǎng)絡(luò)的數(shù)字?jǐn)?shù)據(jù)通信介質(zhì)互聯(lián)。通信網(wǎng)絡(luò)的例子包括局域網(wǎng)
("LAN")和廣域網(wǎng)("WAN")，例如因特網(wǎng)。
計(jì)算系統(tǒng)可以包括客戶機(jī)和服務(wù)器?？蛻魴C(jī)和服務(wù)器通常彼此距離很遠(yuǎn)并且典型地通過(guò)通信網(wǎng)絡(luò)進(jìn)行交互?？蛻魴C(jī)和服務(wù)器的關(guān)系出現(xiàn)是由于運(yùn)行在各自計(jì)算機(jī)上并且彼此具有客戶機(jī)-服務(wù)器關(guān)
系的計(jì)算機(jī)程序。
說(shuō)明書(shū)包含許多細(xì)節(jié)，尤其是發(fā)明的特殊實(shí)施方式的具體特征的描述，這些不應(yīng)該被解釋為對(duì)發(fā)明范圍或者權(quán)利要求的限制。在說(shuō)明書(shū)各個(gè)實(shí)施方式的上下文中描述的某些特征也可以組合在一個(gè)單獨(dú)的實(shí)施方式中來(lái)實(shí)現(xiàn)。與之相反地，在一個(gè)單獨(dú)實(shí)施方式上下文中的描述的各種特征也可以在多個(gè)實(shí)施方式分別實(shí)現(xiàn)，或者在任意適當(dāng)?shù)淖咏M合中實(shí)現(xiàn)。此外，雖然這些特征被上文描述成在特定的組合中進(jìn)行動(dòng)作并且對(duì)此進(jìn)行了要求，但是來(lái)自所要求的組合的一個(gè)或多個(gè)特征在某些情形下也可以從組合中分離，所要求的組合可被導(dǎo)向子組合或者子組合的變化。
類似地，雖然在附圖中描述的操作是按特定順序的，這不應(yīng)該被理解為為達(dá)到期望結(jié)果，需要操作以圖示特定順序或者順次執(zhí)行，或者所有舉例說(shuō)明的操作都應(yīng)該執(zhí)行。在某些環(huán)境下，多任務(wù)和并行處理是有利的。此外，上文描述的實(shí)施方式中多種系統(tǒng)組件的分離不應(yīng)該被理解為在所有實(shí)施方式中都需要這樣的分離，它應(yīng)該被理解為描述的程序組件和系統(tǒng)通常被集成在單獨(dú)的軟件產(chǎn)品或者打
包在多個(gè)軟件產(chǎn)品中。
因此，已經(jīng)描述了本發(fā)明的特殊實(shí)施方式。其它實(shí)施方式在下面權(quán)利要求的范圍內(nèi)。例如，權(quán)利要求列舉的動(dòng)作可按照不同順序執(zhí)行并且仍然能獲得期望結(jié)果。
權(quán)利要求
1.一種方法，包括接收源廣角圖像；標(biāo)識(shí)所述源廣角圖像的一個(gè)或多個(gè)局部顯著特征；利用所標(biāo)識(shí)的一個(gè)或多個(gè)顯著特征來(lái)計(jì)算從所述源廣角圖像到二維映射廣角圖像的、空間上可變的映射；利用計(jì)算出的映射來(lái)繪制映射后的廣角圖像，使得映射后的廣角圖像相對(duì)于所述源廣角圖像的失真而言降低了所述局部顯著特征的失真。
2. 如權(quán)利要求l所述的方法，其中接收源廣角圖像包括接收與源廣角圖像相關(guān)聯(lián)的照相機(jī)的一個(gè)或多個(gè)特性，該方法還包括利用照相機(jī)的一個(gè)或多個(gè)特性將所述源廣角圖像投影在球表面上。
3. 如權(quán)利要求1所述的方法，其中標(biāo)識(shí)局部顯著特征包招"險(xiǎn)測(cè)所述源廣角圖像中的線。
4. 如權(quán)利要求1所述的方法，其中標(biāo)識(shí)局部顯著特征包括檢測(cè)所述源廣角圖像中的面部。
5. 如權(quán)利要求1所述的方法，其中計(jì)算映射包括將離散約束方程的線性系統(tǒng)定義為局部顯著性的函數(shù)。
6. 如權(quán)利要求5所述的方法，其中線性系統(tǒng)定義保形性約束、直線約束和平滑度約束。
7. 如權(quán)利要求1所述的方法，其中計(jì)算映射包括利用最小二乘法對(duì)約束方程求解。
8. 如權(quán)利要求l所述的方法，還包括存儲(chǔ)映射后的廣角圖像。
9. 一種計(jì)算機(jī)程序產(chǎn)品，其編碼在計(jì)算機(jī)可讀介質(zhì)上，可操作使得數(shù)據(jù)處理裝置執(zhí)行以下操作接收源廣角圖像；標(biāo)識(shí)所述源廣角圖像的 一 個(gè)或多個(gè)局部顯著特征；利用所標(biāo)識(shí)的 一 個(gè)或多個(gè)顯著特征來(lái)計(jì)算從所述源廣角圖像至)J二維映射廣角圖像的、空間上可變的映射；利用計(jì)算出的映射來(lái)繪制映射后的廣角圖像，以使得映射后的廣角圖像相對(duì)于所述源廣角圖像的失真而言降低了所述局部顯著特征的失真。
10. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中接收源廣角圖像包括接收與所述源廣角圖像相關(guān)聯(lián)的照相機(jī)的一個(gè)或多個(gè)特性，該計(jì)算機(jī)程序產(chǎn)品還可操作使得數(shù)據(jù)處理裝置執(zhí)行以下操作利用照相機(jī)的一個(gè)或多個(gè)特性將所述源廣角圖像投影在球表面上。
11. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中標(biāo)識(shí)局部顯著特征包括檢測(cè)所述源廣角圖像中的線。
12. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中標(biāo)識(shí)局部顯著特征包括;險(xiǎn)測(cè)所述源廣角圖中的面部。
13. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算映射包括將離散約束方程的線性系統(tǒng)定義為局部顯著性的函數(shù)。
14. 如權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中線性系統(tǒng)定義保形性約束、直線約束和平滑度約束。
15. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算映射包括利用最小二乘法對(duì)限制方程求解。
16. 如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，還可操作使得數(shù)據(jù)處理裝置執(zhí)行包括存儲(chǔ)映射后的廣角圖像的操作。
17. —種系統(tǒng)，包括用戶接口設(shè)備；以及一個(gè)或多個(gè)計(jì)算機(jī)，其可操作與用戶接口設(shè)備進(jìn)行交互，并且肯b 執(zhí)行包括以下的操作接收源廣角圖像；標(biāo)識(shí)所述源廣角圖像的 一 個(gè)或多個(gè)局部顯著特征；利用所標(biāo)識(shí)的 一 個(gè)或多個(gè)顯著特征來(lái)計(jì)算從所述源廣角圖像到二維映射廣角圖像的空間上可變的映射；利用計(jì)算出的映射來(lái)繪制映射后的廣角圖像，以使得映射后的 廣角圖像相對(duì)于所述源廣角圖像的失真而言降低了所述局部顯著特征的失真。
18. 如權(quán)利要求17所述的系統(tǒng)，其中接收源廣角圖像包括接收與所述源廣角圖像相關(guān)聯(lián)的照相機(jī)的一個(gè)或多個(gè)特性，并且還可操作以執(zhí)行以下操作利用照相機(jī)的 一 個(gè)或多個(gè)特性將所述源廣角圖像投影在球表面上。
19. 如權(quán)利要求17所述的系統(tǒng)，其中標(biāo)識(shí)局部顯著特征包括檢 測(cè)所述源廣角圖像中的線。
20. 如一又利要求17所述的系統(tǒng)，其中標(biāo)識(shí)局部顯著特征包括斗全 測(cè)所述源廣角圖像中的面部。
21. 如權(quán)利要求17所述的系統(tǒng)，其中計(jì)算映射包括將離散約束 方程的線性系統(tǒng)定義為局部顯著'性的函數(shù)。
22. 如權(quán)利要求21所述的系統(tǒng)，其中線性系統(tǒng)定義保形性約束、 直線約束和平滑度約束。
23. 如權(quán)利要求17所述的系統(tǒng)，其中計(jì)算映射包括利用最小二 乘法對(duì)約束方程求解。
24. 如權(quán)利要求17所述的系統(tǒng)，還包括存儲(chǔ)映射后的廣角圖像。
全文摘要
本發(fā)明涉及內(nèi)容感知的廣角圖像，描述了涉及數(shù)字圖像的技術(shù)?？傮w上，本發(fā)明中所描述的主題的一方面可以實(shí)施為一種方法，所述方法包括以下動(dòng)作接收源廣角圖像；標(biāo)識(shí)該源廣角圖像的一個(gè)或多個(gè)局部顯著特征；根據(jù)利用了所標(biāo)識(shí)的一個(gè)或多個(gè)空間上可變的顯著特征的約束來(lái)計(jì)算從源廣角圖像到二維映射廣角圖像的映射；利用計(jì)算出的映射來(lái)繪制映射后的廣角圖像以使得映射后的廣角圖像相對(duì)于源廣角圖像的失真而言降低了局部顯著特征的失真。
文檔編號(hào)G06T5/00GK101673394SQ20091020572
公開(kāi)日2010年3月17日 申請(qǐng)日期2009年8月10日 優(yōu)先權(quán)日2008年8月8日
發(fā)明者A·阿加瓦拉, R·卡羅爾 申請(qǐng)人:奧多比公司