09包括諸如包括快門按鈕、上/下/左/右方向鍵、輸入鍵和取消鍵之類的硬件按鍵，操作旋鈕，觸摸面板和變焦桿，檢測攝影者(用戶)的輸入操作，并把檢測到的輸入操作提供給控制部分108?？刂撇糠?08按照用戶的輸入操作，決定圖像拍攝設(shè)備50的操作，并按照各個部分進(jìn)行必要操作的方式，施加控制。
[0175]傳感器部分110包括陀螺傳感器，加速度傳感器，地磁傳感器和全球定位系統(tǒng)(GPS)傳感器，檢測各種信息。這些各種信息作為元數(shù)據(jù)，被添加到捕捉的圖像數(shù)據(jù)中，進(jìn)一步用于各種圖像處理和控制處理。
[0176][3-2:全景合成處理]
[0177]下面，詳細(xì)說明由圖像拍攝設(shè)備50進(jìn)行的全景合成處理。
[0178]圖8圖解說明作為功能構(gòu)成，對于全景合成處理，由圖像處理部分102和控制部分108進(jìn)行的處理，以及在功能構(gòu)成組件中執(zhí)行的處理(算法流)。
[0179]如圖中圖解所示，對于全景合成處理，進(jìn)行預(yù)處理200，圖像配準(zhǔn)處理201，運動對象檢測處理202，檢測和識別處理203，再投影處理204，接縫決定處理205，和拼接處理208。
[0180]下面說明各個處理。
[0181]如參考圖1所述，待經(jīng)歷預(yù)處理200的輸入圖像組FMS代表在攝影者利用圖像拍攝設(shè)備50拍攝全景圖像時，依次獲得的幀圖像數(shù)據(jù)FM#0、FM#1、FM#2...。
[0182]首先，全景合成部分10對通過攝像者的全景圖像拍攝操作而拍攝的圖像(各個幀圖像數(shù)據(jù))，進(jìn)行用于全景合成的預(yù)處理200。另外，這里假定幀圖像數(shù)據(jù)FM已經(jīng)過和當(dāng)拍攝通常圖像時進(jìn)行的圖像處理相同的圖像處理。
[0183]輸入圖像受到基于鏡頭單元100的特性的像差的影響。特別地，鏡頭的畸變像差消極地影響圖像配準(zhǔn)處理201，降低對準(zhǔn)的精度。此外，在合成的全景圖像中的接縫周圍，發(fā)生偽像，因而在預(yù)處理200中校正畸變像差?；兿癫畹男Ｕ欣卦龃筮\動對象檢測處理202，以及檢測和識別處理203的精度。
[0184]之后，對經(jīng)過預(yù)處理200的幀圖像數(shù)據(jù)，進(jìn)行圖像配準(zhǔn)處理201、運動對象檢測處理202，及檢測和識別處理203。
[0185]對于全景合成，必須把各個幀圖像數(shù)據(jù)變換成單一坐標(biāo)系中的坐標(biāo)，所述單一坐標(biāo)系被稱為全景坐標(biāo)系。
[0186]在圖像配準(zhǔn)處理201中，輸入并在全景坐標(biāo)系中對準(zhǔn)兩個連續(xù)的幀圖像數(shù)據(jù)。在圖像配準(zhǔn)處理201中獲得的關(guān)于所述兩個幀圖像數(shù)據(jù)的信息僅僅是這兩個圖像的坐標(biāo)之間的關(guān)系。不過，如果選擇圖像的坐標(biāo)系之一(例如，第一個幀圖像數(shù)據(jù)的坐標(biāo)系)，并把選擇的坐標(biāo)系固定為全景坐標(biāo)系，那么所有幀圖像數(shù)據(jù)的坐標(biāo)系可被變換成全景坐標(biāo)系。
[0187]在圖像配準(zhǔn)處理201進(jìn)行的具體處理可被大致分成如下的兩類處理:
[0188]1.檢測圖像中的局部移動，和
[0189]2.根據(jù)檢測的局部移動信息，獲得整個圖像的全局移動。
[0190]在處理I中，通常利用:
[0191]*塊匹配，和
[0192]*諸如Harris, Hessian, SIFT, SURF和FAST之類的特征點提取和特征點匹配。
[0193]另外，獲得圖像的特征點的局部向量。
[0194]在處理I中獲得的局部向量組被用作處理2中的輸入，使用以下的魯棒估計技術(shù):
[0195]*最小二乘法，
[0196]* M-Estimator,
[0197]*最小中位平方(LMedS)法，和
[0198]*隨機(jī)抽樣一致算法(RANSAC)。
[0199]獲得最佳地描述兩個幀圖像數(shù)據(jù)的坐標(biāo)系之間的關(guān)系的仿射變換矩陣或投影變換矩陣(單應(yīng)矩陣)。這里，這些種類的信息將被稱為圖像配準(zhǔn)信息。
[0200]作為全景合成處理的特性，合成各個幀圖像數(shù)據(jù)。因而，拍攝場景中的運動對象使運動對象的一部分被分?jǐn)嗷蛘咦兊媚：?，結(jié)果產(chǎn)生圖像的破綻，或者降低的畫質(zhì)。從而理想的是檢測運動對象，隨后決定避開運動對象的全景的接縫(接合處)。
[0201]在運動對象檢測處理202中，輸入兩個或者更多連續(xù)的幀圖像數(shù)據(jù)，并檢測運動對象。具體地，例如，如果根據(jù)在圖像配準(zhǔn)處理201中獲得的圖像配準(zhǔn)信息，實際對準(zhǔn)的兩個幀圖像數(shù)據(jù)的像素之間的差分值大于或等于給定閾值，那么所述像素被判定為運動對象。
[0202]另一方面，在圖像配準(zhǔn)處理201中的魯棒估計中，被判定為外點的特征點信息可用于進(jìn)行判定。
[0203]在檢測和識別處理203中，檢測關(guān)于拍攝的幀圖像數(shù)據(jù)中的人臉或身體、動物等的位置信息。人和動物很可能是運動對象。即使人和動物未移動，與在其它對象上決定的接縫相比，在人和動物上決定的全景接縫在視覺上更常常覺得奇怪。因而，理想的是決定避開這些對象的接縫。即，在檢測和識別處理203中獲得的信息用于補(bǔ)充來自運動對象檢測處理202的信息。
[0204]根據(jù)在運動對象檢測處理202及檢測和識別處理203中獲得的信息，在下面說明的接縫決定處理207中，決定接縫。
[0205]在再投影處理204中，根據(jù)在圖像配準(zhǔn)處理201中獲得的圖像配準(zhǔn)信息，把所有的幀圖像數(shù)據(jù)投影到單一的平面或單一的曲面，比如柱面和球面上。同時，根據(jù)運動對象信息及檢測和識別信息，在相同的平面或曲面上進(jìn)行投影處理。可根據(jù)拍攝圖像的視角等，自動選擇投影面，或者也可按照用戶操作，設(shè)定投影面。
[0206]可作為在拼接處理206之前的處理，或者作為拼接處理206的一部分，根據(jù)像素處理的優(yōu)化，對幀圖像數(shù)據(jù)進(jìn)行再投影處理204。可簡單地在圖像配準(zhǔn)處理201之前(例如，作為預(yù)處理200的一部分)，進(jìn)行再投影處理204。更簡單地，不必進(jìn)行再投影處理204，但可把再投影處理204視為圓柱投影處理的近似。
[0207]在接縫決定處理205中，來自再投影處理204的圖像數(shù)據(jù)，來自圖像配準(zhǔn)處理201的圖像配準(zhǔn)信息，來自運動對象檢測處理202的運動對象信息，及來自檢測和識別處理203的檢測和識別信息被用作輸入，決定在全景圖像中導(dǎo)致較少破綻的適當(dāng)接縫SM(參考圖2和3說明的接縫SMO?SM (n-2))。
[0208]首先，在接縫決定處理205中，根據(jù)輸入信息，定義相鄰的幀圖像數(shù)據(jù)之間的重疊區(qū)域的成本函數(shù)。
[0209]例如，通過按照來自運動對象檢測處理202的運動對象信息，及來自檢測和識別處理203的檢測和識別信息，適當(dāng)?shù)丶訖?quán)重疊區(qū)域中的各個像素而獲得的合計值被用作函數(shù)值。
[0210]這種情況下，較高的成本函數(shù)值意味在該點存在諸如運動對象和人體之類的更多對象。因而，為了最大程度地防止全景圖像中的破綻，使用具有較低成本函數(shù)值的一組點作為接縫。
[0211]如果把η個圖像(幀圖像數(shù)據(jù))用于全景圖像合成，那么存在η-1個重疊區(qū)域。因而，定義η-1個成本函數(shù)。從而為了選擇作為整個全景圖像的最佳接縫，獲得其中使這些η-1個成本函數(shù)最小化的組合。這通常被稱為組合優(yōu)化問題，已知以下解法:
[0212]*獲得精確解的方法
[0213]-分支定界
[0214]-記憶
[0215]-動態(tài)規(guī)劃
[0216]-圖害J
[0217]*獲得近似解的方法
[0218]-局部搜索(爬山法)
[0219]-模擬退火
[0220]-禁忌搜索
[0221]-遺傳算法
[0222]利用這些方法任意之一，可以獲得所有接縫SMl?SM (n-2)。
[0223]在拼接處理206中，利用按照這種方式?jīng)Q定的所有接縫SMl?SM(n_2)，和各個幀圖像數(shù)據(jù)FM#0?FM#(n-l)合成最終的全景圖像。
[0224]對接縫周圍的區(qū)域，進(jìn)行混合處理，以便改善接合處的不自然，對于其它區(qū)域，簡單地復(fù)制像素值，或者其它區(qū)域僅僅被再采樣到全景坐標(biāo)系。另外，所有圖像被接合。
[0225]最后，根據(jù)照相機(jī)抖動量，裁剪合成圖像的在與掃描方向垂直的方向的不必要部分，從而得到把掃描方向作為長邊方向的廣角全景圖像(全景圖像數(shù)據(jù)ro)。
[0226][3-3:縮略圖圖像生成和種類]
[0227]下面說明縮略圖圖像數(shù)據(jù)(TMl和TM2)的生成。
[0228]對于如上所述生成的全景圖像數(shù)據(jù)PD，創(chuàng)建高速地簡單顯示全景圖像，或者尺寸縮小地顯示全景圖像的縮略圖圖像數(shù)據(jù)。特別地，在本實施例中，對于單個全景圖像數(shù)據(jù)PD，創(chuàng)建通?？s略圖圖像數(shù)據(jù)TMl和寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。通過主要利用圖像處理部分102、圖形處理部分103和控制部分108，進(jìn)行圖9中圖解所示的處理，圖像拍攝設(shè)備50可生成縮略圖圖像數(shù)據(jù)TMl和TM2。另一方面，必要時，圖像拍攝設(shè)備50也可生成縮略圖圖像數(shù)據(jù)TMl和TM2之一。
[0229]圖9圖解說明縮略圖創(chuàng)建流程的概況。
[0230]如圖9A中圖解所示，在縮小處理300中，對于全景圖像數(shù)據(jù)H)，進(jìn)行把高分辨率全景圖像數(shù)據(jù)ro的分辨率縮小到以致全景圖像數(shù)據(jù)ro更易于簡單地顯示，或者尺寸縮小地顯示的分辨率的處理，從而創(chuàng)建通常縮略圖圖像數(shù)據(jù)TMl。
[0231]考慮到一般的寬高比為4:3，16:9，3:2等，在例如640像素X480像素或1920像素X 1080像素的范圍內(nèi)，定義縮略圖分辨率。
[0232]可以單獨創(chuàng)建單個通常縮略圖圖像數(shù)據(jù)TM1，或者可以按照使用目的，創(chuàng)建具有多種分辨率的多個通?？s略圖圖像。
[0233]按照這種方式創(chuàng)建的通常縮略圖圖像數(shù)據(jù)TMl被顯示在具有4:3，16:9，3:2等的一般寬高比的顯示區(qū)域中。不過，由于全景圖像的像素數(shù)在其短邊和長邊極其不同，因此如圖4B中圖解所示，全景圖像變得非常細(xì)長且小，從而可視性降低。存在什么也不顯示的許多區(qū)域，導(dǎo)致顯示區(qū)域的使用效率極差。
[0234]作為這種情況的準(zhǔn)備，在本實施例中，還創(chuàng)建寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。
[0235]S卩，如圖9A中圖解所示，對全景圖像數(shù)據(jù)H)進(jìn)行寬高比調(diào)整變換處理301。例如，在寬高比調(diào)整變換處理301中，具有較大寬高比的全景圖像數(shù)據(jù)ro被變換成具有4:3，16:9，3:2，1:1等的適當(dāng)寬高比的圖像。
[0236]下面說明寬高比調(diào)整變換處理301的幾個具體例子。
[0237]*處理例子I
[0238]首先，說明繪制通過把全景圖像紋理映射到全景圖像數(shù)據(jù)的投影面的三維模型而獲得的圖像的處理。
[0239]通過把全景圖像紋理映射到諸如在再投影處理204中使用的柱面或球面之類的再投影面的3D模型，并進(jìn)行把全景圖像繪制到具有一般寬高比4:3等的屏幕上的處理，可獲得具有變換的寬高比的圖像。
[0240]按照從外部俯瞰3D模型的方式，設(shè)定繪制時的視點位置。例如，圖1OA和1B分別是圓柱投影和球面投影時的3D模型配置的示意圖。圓柱投影時，從圖1OA中圖解所示的視點位置Pl進(jìn)行繪制，以致能夠創(chuàng)建如圖1lA中圖解所示的具有一般寬高比的圖像。球面投影時，從圖1OB中圖解所示的視點位置Pl進(jìn)行繪制，以致能夠創(chuàng)建如圖1lB中圖解所示的具有一般寬高比的圖像。
[0241]*處理例子II
[0242]可以設(shè)想對全景圖像，進(jìn)行應(yīng)用極坐標(biāo)變換的處理。
[0243]已知全景圖像的坐標(biāo)系從直角坐標(biāo)系(x，y)被變換成極坐標(biāo)變換(r，Θ)的正方形圖像，從而使得能夠把全景圖像變換成如圖1lC中圖解所示的行星狀圖像。這種處理能夠把全景圖像變換成具有1:1寬高比的圖像。
[0244]*處理例子III
[0245]可以設(shè)想進(jìn)行通過利用全景圖像中的像素的重要性的判定結(jié)果，縮小全景圖像的處理。
[0246]Seam Carving for Content-Aware Image Resizing(ACM Transact1ns onGraphics-Proceedings of ACM SIGGRAPH 2007, Volume 26Issue 3, July 2007)把像素的重要性定義成能量函數(shù)，并提供一種除去像素，以致使能量損失最小化，并在保持內(nèi)容的同時降低分辨率的技術(shù)。
[0247]這種技術(shù)使得能夠在保持全景圖像的內(nèi)容的同時，創(chuàng)建具有變成4:3等的寬高比的圖像。
[0248]圖12B圖解說明在所述處理中，從圖12A中圖解所示的全景圖像，把寬高比調(diào)整為4:3的圖像的例子。這不是簡單的縮小，而是按照盡可能多地保留重要性高的像素的方式，優(yōu)先除去諸如天空和大地之類特征較差的像素。這提供具有反映圖像內(nèi)容的特征部分的縮小圖像。
[0249]*處理例子IV
[0250]在寬高比調(diào)整和變換處理中，理想的是如關(guān)于處理例子1-1II所述，保留整個全景圖像上的信息，隨后變更寬高比。不過，這種處理需要一定的計算資源。如果不能向?qū)捀弑茸儞Q處理分配計算資源，那么也可通過按期望的寬高比，切掉全景圖像的部分區(qū)域，創(chuàng)建具有調(diào)整的寬高比的圖像。
[0251]例如，作為創(chuàng)建如圖12C中圖解所示的圖像的處理，切掉(裁剪)圖12B中圖解所示的全景圖像的一部分。
[0252]另外，在該裁剪的圖像中，不能保留整個全景圖像上的信息。不過，如果從全景圖像切掉的部分包括通過諸如面部檢測，人體檢測，一般物體檢測和主要對象檢測之類的處理而檢測的區(qū)域，那么可生成包括盡可能多的看來重要的區(qū)域的裁剪圖像。
[0253]作為處理例子1-1V，表示了寬高比調(diào)整變換處理301的具體例子。在所有這些例子中，可獲得寬高比被調(diào)整為作為顯示設(shè)備的通常寬高比的4:3，16:9，3:2等的圖像數(shù)據(jù)。
[0254]在處理例子1、II和III中，能夠生成與比經(jīng)過諸如簡單地切掉全景圖像的一部分之類寬高比調(diào)整處理的圖像相比，具有更高的有益視覺效果的縮略圖圖像數(shù)據(jù)。
[0255]在寬高比調(diào)整變換處理301中生成的圖像數(shù)據(jù)將經(jīng)歷圖9A中圖解所示的縮小處理 302。
[0256]在縮小處理302中，在寬高比調(diào)整變換處理301中處理的圖像數(shù)據(jù)被縮小，從而創(chuàng)建寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。進(jìn)行和縮小處理300相同的處理，以降低分辨率。
[0257]通過圖9A中圖解所示的處理，生成通?？s略圖圖像數(shù)據(jù)TMl和寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。
[0258]另外，也可利用如圖9B中圖解說明的處理。即，全景圖像數(shù)據(jù)H)首先在縮小處理302中被縮小，隨后經(jīng)歷寬高比調(diào)整變換處理301，以便生成寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。
[0259]上面說明了寬高比調(diào)整變換處理301的一些具體例子?？梢詣?chuàng)建單個寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2，或者也可按照目的，創(chuàng)建一些種類的寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。例如，創(chuàng)建按照處理例子I的寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2，和按照處理例子III的寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2。
[0260]按照和通?？s略圖圖像數(shù)據(jù)TMl相同的方式，作為相同種類的寬高比調(diào)整縮略圖圖像數(shù)據(jù)TM2，可以生成具有給定分辨率的單個寬高比調(diào)整縮略圖圖像數(shù)據(jù)，或者具有不同分辨率的多個寬高比調(diào)整縮略圖圖像數(shù)據(jù)。
[0261]利用寬高比調(diào)整變換處理301的處理例子I中的3D模型創(chuàng)建的縮略圖圖像是從特定視點繪制的圖像。另外，可以創(chuàng)建與連續(xù)視點移動對應(yīng)的多個繪制圖像，以使整個全景圖像