專利名稱：能夠生成廣角圖像的圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及數(shù)碼相機或具有拍攝功能的便攜電話等圖像處理裝置、圖像處理方法以及記錄介質。
背景技術：
在數(shù)碼相機或具有拍攝功能的便攜電話等中，拍攝視場角的界限依賴于鏡頭的焦點距離、拍攝單元的尺寸等裝置主體所具有的硬件規(guī)格。并且，對于這樣的拍攝視場角的界限問題，通過如下方式來應對，即在拍攝裝置中，將廣角拍攝用的轉換鏡頭(conversionlens)等安裝到現(xiàn)有的鏡頭前(例如參考日本特開2004-191897號公報、日本特開2005-027142號公報、日本特開2005-057548號公報)，或者預先準備多個鏡頭，根據(jù)拍攝目、標來切換鏡頭(例如參考日本特開2007-081473號公報)。但是，在上述現(xiàn)有技術中，為進行廣角拍攝，必須逐個安裝廣角拍攝用的轉換鏡頭或根據(jù)拍攝目標來切換鏡頭，在操作性及成本方面存在問題。此外，即使采用了這些廣角拍攝用的轉換鏡頭或可切換的鏡頭，也存在難以獲得拍攝者所希望的廣角圖像的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于，提供一種不進行鏡頭交換也能夠容易且有效地獲得廣角圖像的生成所需的圖像的圖像處理裝置、圖像處理方法以及記錄介質。本發(fā)明的圖像處理裝置，其特征在于，具備取得機構，取得在一個方向上延伸的多個全景圖像；以及廣角圖像生成機構，在與所述一個方向正交的方向上，將由所述取得機構取得的所述多個全景圖像彼此合成，生成一個廣角圖像。


圖I是表示本發(fā)明第I實施方式的數(shù)碼相機的結構的框圖。圖2是用于說明通常的拍攝模式的概念圖。圖3是用于說明該第I實施方式的數(shù)碼相機I的全景拍攝模式的概念圖。圖4是表示該第I實施方式的數(shù)碼相機I的全景拍攝模式下的數(shù)碼相機I的運動(基于用戶的運動方法)的概念圖。圖5是用于說明該第I實施方式的數(shù)碼相機I的動作的流程圖。圖6是用于說明該第I實施方式的數(shù)碼相機I的連拍處理動作的流程圖。圖7是用于說明該第I實施方式的數(shù)碼相機I的合成處理動作的流程圖。圖8是用于說明該第I實施方式的數(shù)碼相機I的合成處理動作的概念圖。圖9是用于說明第2實施方式的數(shù)碼相機I的連拍處理動作的流程圖。圖10是用于說明該第2實施方式的數(shù)碼相機I的連拍處理動作的概念圖。圖11是用于說明第3實施方式的數(shù)碼相機I的連拍處理動作的流程圖。圖12是用于說明該第3實施方式的數(shù)碼相機I的連拍處理動作的概念圖。
圖13是表示全景拍攝時的數(shù)碼相機I的運動方法的其它例的概念圖。圖14是表示示出拍攝范圍的拍攝框及移動方向的其它顯示例的概念圖。
具體實施例方式下面，參考

本發(fā)明的實施方式。A.第I實施方式A-1.第I實施方式的結構圖I是表示本發(fā)明第I實施方式的數(shù)碼相機的結構的框圖。圖中，數(shù)碼相機I具備拍攝鏡頭2、鏡頭驅動部3、光圈兼用快門(絞>9兼用'> Y 夕)4、CCD 5 (拍攝機構)、TG (Timing Generator) 6、單元電路(unit circuit) 7、圖像處理部8 (廣角圖像生成機構、全景圖像生成機構)、CPU 11 (取得機構、檢測機構、存儲控制機構、比較機構)、DRAM 12 (存儲 機構)、存儲器13、閃存14、圖像顯示部15、鍵(key)輸入部16 (指定機構)、卡I/F 17以及存儲卡18。拍攝鏡頭2包含對焦鏡頭(focus lens)、變焦鏡頭(zoom lens)等，連接有鏡頭驅動部3。鏡頭驅動部3包括馬達，將構成拍攝鏡頭2的對焦鏡頭、變焦鏡頭分別沿光軸方向驅動；對焦馬達驅動器、變焦馬達驅動器，根據(jù)來自CPUll的控制信號，驅動對焦馬達、變焦馬達。光圈4包含未圖示的驅動電路，驅動電路根據(jù)從CPU 11送來的控制信號使光圈4動作。該光圈4控制從拍攝鏡頭2進來的光的量。CCD (拍攝元件)5將經(jīng)由拍攝鏡頭2、光圈4而投影的被攝體的光變換為電信號，作為拍攝信號輸出到單元電路7。此外，CCD 5根據(jù)由TG 6生成的規(guī)定頻率的定時信號而被驅動。單元電路7 包括CDS (Correlated Double Sampling)電路，將從 CCD 5 輸出的拍攝信號進行相關雙米樣(correlated double sampling)并保持；AGC(Automatic GainControl)電路，進行該采樣后的拍攝信號的自動增益調(diào)整；A/D變換器，將該自動增益調(diào)整后的模擬拍攝信號變換為數(shù)字信號。CCD 5的拍攝信號經(jīng)單元電路7而作為數(shù)字信號被送到圖像處理部8。另外，單元電路7根據(jù)由TG 6生成的規(guī)定頻率的定時信號而被驅動。圖像處理部8進行以下等處理從單元電路7送來的圖像數(shù)據(jù)的圖像處理(像素插值處理(pixel interpolation processing)、Y修正、亮度色差信號的生成、白平衡處理、曝光修正處理等)、圖像數(shù)據(jù)的壓縮/擴展(例如，JPEG形式、M-JPEG形式或MPEG形式的壓縮/擴展)處理、合成多個拍攝圖像的處理。另外，圖像處理部8根據(jù)由TG 6生成的規(guī)定頻率的定時信號而被驅動。CPU 11是對數(shù)碼相機I的各部進行控制的單片機。特別是，在本第I實施方式中，在用戶使數(shù)碼相機I運動的期間，CPU 11對各部進行控制，以使得按規(guī)定周期(時間間隔)連拍多個圖像，將拍攝到的多個圖像進行合成使得其一部分重復(例如，使用α混合(blend))，生成如以廣角進行拍攝那樣的一個合成圖像。另外，對于圖像合成的詳細內(nèi)容在后面進行敘述。DRAM 12作為緩沖存儲器來使用，暫時存儲由CXD 5進行拍攝后被送到CPU 11的圖像數(shù)據(jù)，并且，還作為CPU 11的工作存儲器來使用。存儲器13存儲CPU 11進行的數(shù)碼相機I的各部的控制所需的程序、以及各部的控制所需的數(shù)據(jù)，CPU 11根據(jù)該程序進行處理。閃存14及存儲卡18是保存由CXD 5所拍攝的圖像數(shù)據(jù)等的記錄介質。圖像顯示部15包含彩色IXD及其驅動電路，在拍攝等待狀態(tài)時，將由(XD5拍攝的被攝體作為實時圖像(real-time image)來顯示,在再現(xiàn)記錄圖像時,顯示從閃存14、存儲卡23讀出并被擴展的記錄圖像。鍵輸入部16包含快門SW、變焦SW、模式鍵、SET鍵、十字鍵等多個操作鍵，向CPU 11輸出與用戶的鍵操作對應的操作信號?？↖/F 17經(jīng)由數(shù)碼相機I主體的未圖示的卡插槽而裝拆自如地安裝有存儲卡18。圖2是用于說明通常的拍攝模式的概念圖。數(shù)碼相機I在以通常拍攝模式進行拍攝的情況下，如圖2所示，只能以該數(shù)碼相機I的拍攝系統(tǒng)的視場角S進行拍攝。圖3是用于說明本第I實施方式的數(shù)碼相機I的全景拍攝模式的概念圖。圖4是表示本第I實施方式的數(shù)碼相機I的全景拍攝模式下的數(shù)碼相機I的運動(基于用戶的運動方法)的概念圖。在該模式下，相對于所希望的景色，用戶以使視場角的長度方向為縱向的方式在縱向上放置數(shù)碼相機1，在左上端按下快門SW(SWitch)(半按一全按)，如圖3所示的箭頭那樣，首先，按下快門SW并沿第I方向(水平方向)運動(狀態(tài)#1 :參考圖4)，在規(guī)定位置沿與第I方向正交的第2方向(垂直方向)運動(狀態(tài)#2 :參考圖4)，進而，在另一規(guī)定位置沿第3方向(水平方向)運動(狀態(tài)#3 :參考圖4)。在用戶進行該運動的期間，數(shù)碼相機I按規(guī)定的定時依次拍攝圖像。數(shù)碼相機I根據(jù)以沿水平方向運動的狀態(tài)#1拍攝到的多個圖像合成第I全景圖像，根據(jù)以同樣沿水平方向運動的狀態(tài)#3拍攝到的多個圖像合成第2全景圖像，將第I全景圖像和第2全景圖像合成，最終生成所希望的廣角圖像(圖3的下側)。另外，以沿垂直方向運動的狀態(tài)#2拍攝到的圖像對于全景圖像的生成而言不是必要的，因此不被保存。A-2.第I實施方式的動作下面，說明上述第I實施方式的動作。圖5是用于說明第I實施方式的數(shù)碼相機I的動作的流程圖。首先，若半按快門SW (步驟S10) JlJCPU 11執(zhí)行AF (auto focus)處理(步驟S12)，若全按快門SW (步驟S14)，則CPU 11以規(guī)定的周期(時間間隔)連拍多個圖像(步驟S16)。另外，對于連拍處理的詳細內(nèi)各在后面敘述。此時，如圖3所示，相對于所希望的景色，用戶以使視場角的長度方向為縱向的方式在縱向上放置數(shù)碼相機1，在左上按下快門SW(半按一全按)，如圖3所示的箭頭那樣，首先使數(shù)碼相機I沿水平方向(從左端向右方向)運動(狀態(tài)#1 :參考圖4)，在規(guī)定位置沿垂直方向(下方向)運動(狀態(tài)#2:參考圖4)，進而沿水平方向(左方向)運動(狀態(tài)#3:參考圖4)。然后，判斷連拍是否結束，即判斷全景拍攝是否結束(步驟S18)，若連拍未結束，則返回到步驟S16，繼續(xù)連拍處理。另一方面，在連拍結束的情況下，即全景拍攝結束的情況下(步驟S 18為“是”)，根據(jù)以從左端向右方向運動的狀態(tài)#1拍攝的多個圖像合成第I全景圖像，根據(jù)以從右端向左方向運動的狀態(tài)#3拍攝的多個圖像合成第2全景圖像，將第I全景圖像和第2全景圖像進行合成，最終生成所希望的廣角圖像(步驟S20)。另外，對于合成處理的詳細內(nèi)容在后面敘述。圖6是用于說明第I實施方式的數(shù)碼相機I的連拍處理動作的流程圖。首先，CPU11進行前一個拍攝圖像和當前拍攝圖像之間的位置對照(步驟S30)，判斷當前狀態(tài)是狀態(tài)#1、#2、#3中的哪個(步驟S32)。并且，在用戶使數(shù)碼相機I沿水平方向(從左端向右方向)運動的狀態(tài)#1的情況下(步驟S32的狀態(tài)#1)，將該當前拍攝圖像保存為用于制作全景圖像的圖像(步驟S34)。接著，判斷數(shù)碼相機I是否到達規(guī)定位置(該情況下，是狀態(tài)#1的結束位置即右端)(步驟S36)。并且，在沒有到達規(guī)定位置的情況下(步驟S36的“否”)，不變更當前的狀態(tài)#1而結束該處理，返回到圖5所示主程序(main outine)。此后，在數(shù)碼相機I到達規(guī)定位置(該情況下，是狀態(tài)#1的結束位置即右端)之前，反復步驟S34，將拍攝到的圖像保存為用于制作全景圖像的圖像。并且，若數(shù)碼相機I到達規(guī)定位置(步驟S36的“是”)，則由于從狀態(tài)#1向狀態(tài)#2轉移，因此將當前的狀態(tài)變更為狀態(tài)#2 (步驟S38)。接著，若轉移為用戶使數(shù)碼相機I沿垂直方向(下方向)運動的狀態(tài)#2 (步驟S32的狀態(tài)#2)，則不將拍攝圖像保存為用于制作全景圖像的圖像而進入到步驟S42(步驟S40)，判斷數(shù)碼相機I是否到達規(guī)定位置(該情況下，是狀態(tài)#2的結束位置即下部右端)(步驟S42)。并且，在沒有到達規(guī)定位置的情況下(步驟S42的“否”)，不變更當前的狀態(tài)#2而結束該處理，返回圖5所示的主程序。此后，在數(shù)碼相機I到達規(guī)定位置(該情況下是狀態(tài)#2的結束位置即下部右端)之前，不保存拍攝圖像而是按原樣地繼續(xù)拍攝，若數(shù)碼相機I到達規(guī)定位置(步驟S42的“是”)，則由于從狀態(tài)#2向狀態(tài)#3轉移，因此將當前的狀態(tài)變更為狀態(tài)#3(步驟S44)。接著，若轉移為用戶使數(shù)碼相機I沿水平方向(從右向左方向)運動的狀態(tài)#3(步驟S32的狀態(tài)#3)，則將拍攝到的圖像保存為用于制作全景圖像的圖像(步驟S46)。并且，判斷數(shù)碼相機I是否到達規(guī)定位置(該情況下，是狀態(tài)#3的結束位置即左端)(步驟S48)。在沒有到達規(guī)定位置的情況下(步驟S48的“否”)，不變更當前的狀態(tài)#3而結束該處理，返回到圖5所示的主程序。此后，在數(shù)碼相機I到達規(guī)定位置(該情況下，是狀態(tài)#3的結束位置即左端)之前，反復步驟S46，將拍攝到的圖像保存為用于制作全景圖像的圖像。若數(shù)碼相機I到達規(guī)定位置(步驟S48的“是”)，結束連拍(步驟S50)。進行上述動作從而用戶可獲得在使數(shù)碼相機I從左端向右方向運動的狀態(tài)#1下拍攝的多個圖像、以及在使數(shù)碼相機I從右向左方向運動的狀態(tài)#3下拍攝的多個圖像。下面，說明使用這些拍攝到的多個圖像來獲得最終的廣角圖像的方法。圖7是用于說明第I實施方式的數(shù)字合成處理動作的流程圖。圖8是用于說明第I實施方式的數(shù)字合成處理動作的概念圖。首先，CPU 11取得用于制作全景圖像的圖像(步驟S60)，判別拍攝該圖像時的狀態(tài)(步驟S62)。在拍攝該圖像時的狀態(tài)為狀態(tài)#1的情況下，對該圖像進行用于制作全景圖像#1的合成處理(步驟S64)。此后，判斷全景合成是否結束(步驟S68)，若未結束，返回到步驟S60。以下，如圖8A所示，進行合成以使得在狀態(tài)#1下拍攝的多個圖像FRl FR6的一部分重復(例如，使用α混合)，制作全景圖像#1。另一方面，在取得的全景制作用的圖像是在狀態(tài)#3下拍攝的圖像的情況下，對該圖像進行用于制作全景圖像#2的合成處理(步驟S66)。之后，判斷全景合成是否結束(步驟S68)，若未結束，返回到步驟S60。以下，如圖SB所示，進行合成以使得在狀態(tài)#3下拍攝的多個圖像FLl FL6部分重復(例如，使用α混合)，制作全景圖像#2。接著，在全景合成結束的情況下(步驟S68的“是”)，如圖SC所示，進行合成以使得上述全景圖像#1的下側的規(guī)定區(qū)域和全景圖像#2的上側的規(guī)定區(qū)域部分重復(例如，使用α混合)，制作一個廣角圖像(步驟S70)。另外，在上述第I實施方式中，也可以是，若從鍵輸入部16預先指定廣角圖像的拍攝范圍，則生成基于所指定的拍攝范圍的尺寸的全景圖像。另外，也可以是，在圖像處理部8中，比較應合成的全景圖像彼此的拍攝范圍，使其它全景圖像的拍攝范圍匹配于拍攝范圍小的全景圖像來合成，從而生成最終的廣角圖像。根據(jù)上述第I實施方式，不用交換鏡頭就能夠容易且高效地獲得廣角圖像的生成所需的圖像。B.第2實施方式 下面，說明本發(fā)明的第2實施方式。第2實施方式中，特征在于，將作為相機因素的移動量、方位傳感器或加速度傳感器等的信息、以及作為用戶因素的移動方向指示操作、快門鍵等的鍵操作、用戶的姿勢、聲音等用作觸發(fā)(trigger)，來檢測全景拍攝時用戶使數(shù)碼相機I運動時的從狀態(tài)#1向狀態(tài)#2、從狀態(tài)#2向狀態(tài)#3的移動方向的變化。另外，第2實施方式的數(shù)碼相機I的結構與圖I相同，因此省略說明。此外，全景拍攝模式的主程序與圖5相同，合成處理與圖7相同，因此省略說明。圖9是用于說明第2實施方式的數(shù)碼相機I的連拍處理動作的流程圖。圖10是用于說明第2實施方式的數(shù)碼相機I的連拍處理動作的概念圖。在第2實施方式中，為了伴隨觸發(fā)檢測而判別當前數(shù)碼相機I處于狀態(tài)#1、#2、#3中的哪個狀態(tài)，準備了每當檢測到觸發(fā)則進行反轉的標志、和每當檢測到觸發(fā)則逐一增加的狀態(tài)#N(系數(shù))。標志的初始值為“0”，每當檢測到觸發(fā)則進行反轉。另外，狀態(tài)#N的初始值為“1”，是表示當前數(shù)碼相機I處于狀態(tài)#1、#2、#3中的哪個狀態(tài)的系數(shù)。狀態(tài)#N在檢測出第I次觸發(fā)之前成為“I”而表示狀態(tài)#1，若檢測出第I次觸發(fā)則成為“2”而表示狀態(tài)#2。并且，若檢測到下個觸發(fā)則成為“3”而表示狀態(tài)#3。首先，CPU 11進行前一個拍攝圖像和當前拍攝圖像之間的位置對照(步驟S80)，判斷是否檢測到觸發(fā)(步驟S82)。在沒有檢測到觸發(fā)的情況下，如圖10所示，判斷為未從狀態(tài)#1向狀態(tài)#2轉移、即處于沿水平方向(從左端向右方向)運動的狀態(tài)#1，判斷標志是否為“I”(步驟S88)。該情況下，因為還沒有檢測到觸發(fā)，因此際志為“0”，狀態(tài)并且，由于標志為“0”(步驟S88的“否”)，因此將拍攝到的圖像保存為狀態(tài)#N(=I)的用于制作全景圖像的圖像(步驟S90)。之后，結束該處理，返回到圖5所示的主程序。此后，在檢測到觸發(fā)之前，反復步驟S90，將拍攝到的圖像保存為狀態(tài)#N(= I)的用于制作全景圖像的圖像。接著，如圖10所示，在從狀態(tài)#1向狀態(tài)#2轉移時，例如通過作為相機因素的移動量及方位傳感器的信息、作為用戶因素的移動方向、快門鍵等的鍵操作、用戶的姿勢、聲音等，檢測到數(shù)碼相機I已到達狀態(tài)#1的終點的情況下，將其檢測為觸發(fā)(步驟S82的“是”)。若檢測到觸發(fā)，則使標志反轉(步驟S84)，使狀態(tài)#N為N+1 (步驟S86)。該情況下，標志成為“1”，狀態(tài)#N成為“2”。接著，判斷標志是否為“1”(步驟S86)。在此情況下，由于標志為“1”，因此不將拍攝圖像保存為制作全景圖像用的圖像而結束該處理(步驟S92)，返回到圖5所示的主程序。此后，在檢測到下次觸發(fā)之前(在數(shù)碼相機I的移動方向成為狀態(tài)#3之前)，反復進行不保存拍攝圖像并結束該處理、返回到圖5所示的主程序的動作。因此，不保存以狀態(tài)#2拍攝的圖像。接著，如圖10所示，當從狀態(tài)#2向狀態(tài)#3轉移時，例如，通過作為相機因素的移動量及方位傳感器的信息、作為用戶因素的移動方向、快門鍵等的鍵操作、用戶的姿勢、聲音等，檢測到數(shù)碼相機I已到達狀態(tài)#2的終點的情況下(檢測到向規(guī)定方向的連續(xù)拍攝結束的情況下)，將其檢測為觸發(fā)(步驟S82的“是”)。若檢測到觸發(fā)，則使標志反轉(步驟S84)，使狀態(tài)#Ν成為N+1 (步驟S86)。在此情況下，標志成為“O”，狀態(tài)謝成為“3”。接著，判斷標志是否為“1”(步驟S86)。在此情況下，由于標志為“0”，因此將拍攝、到的圖像保存為狀態(tài)#N( = 3)的制作全景圖像用的圖像(步驟S90)。此后，結束該處理，返回到圖5所示的主程序。之后，在檢測到下次觸發(fā)之前，反復進行步驟S90，將拍攝到的圖像保存為狀態(tài)#N( = 3)的制作全景圖像用的圖像。進行上述動作，從而獲得在用戶使數(shù)碼相機I從左端向右方向運動的狀態(tài)#1下拍攝的多個圖像、以及在用戶使數(shù)碼相機I從右下向左方向運動的狀態(tài)#3下拍攝的多個圖像。接著，通過與上述第I實施方式相同的方法(參考圖7)，合成在狀態(tài)#1下拍攝的多個圖像來制作全景圖像#1，合成在狀態(tài)#3下拍攝的多個圖像來制作全景圖像#2，進一步將全景圖像#1下側的規(guī)定區(qū)域和全景圖像#2上側的規(guī)定區(qū)域合成以使其部分重復(例如，使用α混合)，來制作一個廣角圖像。根據(jù)上述第2實施方式，不進行鏡頭交換就能夠容易且高效地獲得廣角圖像的生成所需的圖像。C.第3實施方式下面，說明本發(fā)明的第3實施方式。在上述第I、第2實施方式中，用戶為了拍攝用于得到廣視場角的合成圖像所需的全部圖像，如圖3的箭頭所示那樣地，相對于所希望的景色，使視場角的長度方向成為縱方向而在縱方向上放置數(shù)碼相機I，在左上按下快門SW (半按一全按)，首先，沿水平方向(從左端向右方向)運動(狀態(tài)#1)，在規(guī)定位置沿垂直方向(下方向)運動(狀態(tài)#2)，進而在另一規(guī)定位置沿水平方向(左方向)運動(狀態(tài)#3)。然而，對于用戶而言，難以得知如何移動數(shù)碼相機I較好、或者是否已可靠地獲得所需要的圖像。因此，在本第3實施方式中，在全景拍攝模式下，若用戶按下快門SW，則在圖像顯示部15中顯示拍攝框及移動方向，拍攝框示出數(shù)碼相機I應拍攝的范圍，移動方向示出向哪個方向移動較好，從而對用戶進行引導。此外，在全景拍攝模式中，將當前成像于數(shù)碼相機I的CCD 5的圖像作為預覽圖像(低分辨率)在圖像顯示部15中進行實時顯示，并且在圖像顯示部15中半透明地(透射率50% )顯示使用預覽圖像合成的合成圖像。這樣，在全景拍攝模式中，在圖像顯示部15中顯示出表示接下來應拍攝的拍攝區(qū)域的拍攝框、表示向哪個方向移動較好的移動方向、以及將已拍攝的圖像合成后的縮小圖像，因此用戶能夠容易地識別向哪個方向移動數(shù)碼相機I較好。并且，第3實施方式的數(shù)碼相機I的結構與圖I相同，因此省略其說明。此外，全景拍攝模式的主程序與圖5相同，合成處理與圖7相同，因此省略其說明。圖11是用于說明第3實施方式的數(shù)碼相機I的連拍處理動作的流程圖。圖12是用于說明第3實施方式的數(shù)碼相機I的連拍處理動作的概念圖。首先，CPU 11進行前一個拍攝圖像與當前拍攝圖像之間的位置對照(步驟S100)，判斷當前狀態(tài)是狀態(tài)#1、#2、#3中的哪個(步驟S102)。并且，在處于用戶使數(shù)碼相機I從左端向右方向運動的狀態(tài)#1的情況下(步驟S102的狀態(tài)#1)，如圖12所示，顯示拍攝框FR1、移動方向Ml (步驟S104)。并且，將該當前的拍攝圖像保存為在狀態(tài)#1下的制作全景圖像用的圖像(步驟S106)，根據(jù)在該時刻之前保存的拍攝圖像的縮小圖像來制作簡易合成圖像IMG并半透明地(透射率50% )顯示(步驟S108)。接著，判斷數(shù)碼相機I是否到達規(guī)定位置Pl (該情況下，是狀態(tài)#1的結束位置 '參 考圖12)(步驟S110)。并且，在沒有到達規(guī)定位置Pl的情況下(步驟SllO的“否”)，不改變當前的狀態(tài)#1而結束該處理，返回到主程序。此后，反復進行步驟S106和步驟S108直到數(shù)碼相機I到達規(guī)定位置Pl，每當將拍攝到的圖像保存為狀態(tài)#1的制作全景圖像用的圖像，就半透明(透射率50% )地顯示該時刻的合成圖像。并且，若數(shù)碼相機I到達規(guī)定位置Pl (步驟SllO的“是”)，則由于從狀態(tài)#1向狀態(tài)#2轉移，因此將當前的狀態(tài)變更為狀態(tài)#2 (步驟S112)。接著，若當前的狀態(tài)向使數(shù)碼相機I從狀態(tài)#1的結束位置向下方向運動的狀態(tài)#2轉移(步驟S102的狀態(tài)#2)，如圖12所示，顯示拍攝框FR2、移動方向M2 (步驟SI 14)。并且，不將拍攝圖像保存為制作全景圖像用的圖像，進入步驟S118(步驟S116)，判斷數(shù)碼相機I是否到達規(guī)定位置P2(該情況下，是狀態(tài)#2的結束位置參考圖12)(步驟S118)。并且，在沒有到達規(guī)定位置P2的情況下(步驟S118的“否”)，不改變當前的狀態(tài)#2，結束該處理，返回到圖5所示的主程序。此后，不保存拍攝圖像并按原樣繼續(xù)進行拍攝，直到數(shù)碼相機I到達規(guī)定位置P2，若數(shù)碼相機I到達規(guī)定位置P2(步驟S118的“是”)，則由于從狀態(tài)#2向狀態(tài)#3轉移，因此將當前的狀態(tài)變更為狀態(tài)#3 (步驟S120)。接著，若當前的狀態(tài)向使數(shù)碼相機I從狀態(tài)#2向左方向運動的狀態(tài)#3轉移(步驟S102的狀態(tài)#3)，則如圖12所示，顯示拍攝框FR3、移動方向M3(步驟S122)。并且，將拍攝到的圖像保存為狀態(tài)#3的制作全景圖像用的圖像(步驟S 124)，根據(jù)在該時刻之前保存的拍攝圖像的縮小圖像來制作簡易合成圖像，并半透明(透射率50% )地進行顯示(步驟S126)。此后，反復進行步驟S124以及步驟S126直到數(shù)碼相機I到達規(guī)定位置P3 (終點)，每當將拍攝到的圖像保存為狀態(tài)#3的制作全景圖像用的圖像，就半透明(透射率50%)地顯示該時刻的合成圖像。并且，若數(shù)碼相機I到達規(guī)定位置P3(步驟S128的“是”)，則結束連拍(步驟S130)。進行上述操作，從而獲得在用戶使數(shù)碼相機I從左端向右方向運動的狀態(tài)#1下拍攝的多個圖像、以及在用戶使數(shù)碼相機I從右下向左方向運動的狀態(tài)#3下拍攝的多個圖像。
接著，通過與上述第I、第2實施方式相同的方法(參考圖7)，將在狀態(tài)#1下拍攝的多個圖像合成來制作全景圖像#1，將在狀態(tài)#3下拍攝的多個圖像合成來制作全景圖像#2，進而將全景圖像#1下側的規(guī)定區(qū)域和全景圖像#2上側的規(guī)定區(qū)域合成(例如，使用α混合)以使其部分重復，來制作一個廣角圖像。另外，在上述第3實施方式中，在圖像顯示部15所顯示的拍攝框FRl FR3中，如圖12所示，優(yōu)選采用設有余量MG、S卩比實際拍攝的圖像范圍稍大的拍攝框。通過設置余量MG，在使數(shù)碼相機I運動的范圍內(nèi)產(chǎn)生裕度，能夠減輕使數(shù)碼相機I運動的用戶的壓力。此外，在上述第3實施方式中，通過是否到達規(guī)定位置來判斷從狀態(tài)#I向狀態(tài)#2、從狀態(tài)#2向狀態(tài)#3的移動方向的變化，但不限于此，也可以與上述第2實施方式同樣地，將作為相機因素的移動量、方位傳感器及加速度傳感器等的信息、以及作為用戶因素的移動方向指示操作、快門鍵等的鍵操作、用戶的姿勢、聲音等用作觸發(fā)來進行判斷。根據(jù)上述第3實施方式，實時地在圖像顯示部15中顯示合成圖像，并且顯示應使 數(shù)碼相機I移動的拍攝框及移動方向，因此用戶可以一邊觀看拍攝框及移動方向一邊使數(shù)碼相機I運動，因此能夠容易且高效地拍攝一次拍攝所不能獲得的生成廣視場角圖像所需的多個圖像，能夠容易地生成廣視場角圖像。另外，在上述第I到第3實施方式中，在全景拍攝時，使數(shù)碼相機I從左向右、從上向下、進而從右向左移動，但不限于此，例如也可以如圖13A所示，在向一個方向運動的期間拍攝多個圖像，將其合成來生成一個廣角圖像?；蛘咭部梢匀鐖D13B所示，使數(shù)碼相機I從左向右、從上向下、從右向左、從上向下、然后從左向右這樣，反復進行三次以上的橫方向移動，還可以合成三個以上的全景圖像來生成廣角圖像。此外，在上述第3實施方式中，顯示示出拍攝范圍的拍攝框及移動方向，但不限于此，也可以如圖14所示，對最終的廣角圖像的整體框20填涂拍攝到的部分30。以上說明了本發(fā)明的幾個實施方式，但本發(fā)明不限于此，還包括在權利要求的范圍內(nèi)記載的發(fā)明及其等同的范圍。
權利要求
1.一種圖像處理裝置，其特征在于， 具備 取得機構，取得在一個方向上延伸的多個全景圖像；以及 廣角圖像生成機構，在與所述一個方向正交的方向上，將由所述取得機構取得的所述多個全景圖像彼此合成，生成一個廣角圖像。
2.如權利要求I所述的圖像處理裝置，其特征在于 該圖像處理裝置還具有 拍攝機構；以及 全景圖像生成機構，將由所述拍攝機構依次拍攝的多個圖像合成來生成全景圖像； 所述取得機構取得由所述全景圖像生成機構生成的多個全景圖像。
3.如權利要求2所述的圖像處理裝置，其特征在于 該圖像處理裝置還具有檢測規(guī)定的觸發(fā)的檢測機構； 若由所述檢測機構檢測到規(guī)定的觸發(fā)，則所述全景圖像生成機構在檢測到該觸發(fā)的時刻之前將由所述拍攝機構依次拍攝的多個圖像合成來生成全景圖像； 所述廣角圖像生成機構將由所述全景圖像生成機構生成的多個全景圖像彼此合成，來生成所述一個廣角圖像。
4.如權利要求3所述的圖像處理裝置，其特征在于 該圖像處理裝置還具備 存儲機構，依次存儲由所述拍攝機構依次拍攝的多個圖像；以及存儲控制機構，若由所述檢測機構檢測到規(guī)定的觸發(fā)，則控制所述存儲機構來存儲所述多個圖像； 所述全景圖像生成機構根據(jù)在所述存儲機構中存儲的多個圖像，生成所述全景圖像。
5.如權利要求3所述的圖像處理裝置，其特征在于 所述檢測機構，將移動量、或方位傳感器的信息、或移動方向的變化、或用戶進行的規(guī)定的指示操作、或基于用戶聲音的指示、或基于用戶動作的指示檢測為所述規(guī)定的觸發(fā)。
6.如權利要求4所述的圖像處理裝置，其特征在于 所述存儲控制機構禁止所述存儲機構存儲在由所述檢測機構檢測到規(guī)定的觸發(fā)后所拍攝的圖像， 在所述存儲處于禁止的期間，若由所述檢測機構檢測到其它規(guī)定的觸發(fā)，則所述存儲控制機構許可所述存儲機構存儲所拍攝的圖像。
7.如權利要求2所述的圖像處理裝置，其特征在于 所述全景圖像生成機構根據(jù)所述拍攝機構一邊在規(guī)定的方向上移動一邊依次拍攝的多個圖像，生成所述多個全景圖像。
8.如權利要求2所述的圖像處理裝置，其特征在于 所述全景圖像生成機構根據(jù)所述拍攝機構的拍攝區(qū)域一邊在規(guī)定的方向上多次移動一邊依次拍攝的多個圖像，生成所述多個全景圖像。
9.如權利要求8所述的圖像處理裝置，其特征在于 所述全景圖像生成機構，分別根據(jù)所述拍攝機構的拍攝區(qū)域在一個方向上移動的過程中依次拍攝的多個圖像、以及所述拍攝機構的拍攝區(qū)域在與所述一個方向相反的方向上移動的過程中依次拍攝的多個圖像，生成所述多個全景圖像。
10.如權利要求9所述的圖像處理裝置，其特征在于 在所述拍攝機構的拍攝區(qū)域在Iv方向上移動的過程中，若所述拍攝機構拍攝了規(guī)定時間、或規(guī)定數(shù)目、或規(guī)定范圍的量的圖像，則所述全景圖像生成機構根據(jù)這些圖像生成一個全景圖像； 在所述拍攝機構的拍攝區(qū)域在與所述一個方向相反的方向上移動的過程中，若所述拍攝機構拍攝了規(guī)定時間、或規(guī)定數(shù)目、或規(guī)定范圍的量的圖像，則所述全景圖像生成機構根據(jù)這些圖像生成一個全景圖像。
11.如權利要求2所述的圖像處理裝置，其特征在于 該圖像處理裝置還具有預先指定廣角圖像的拍攝范圍的指定機構；所述全景圖像生成機構根據(jù)由所述指定機構指定的拍攝范圍，生成所述全景圖像。
12.如權利要求I所述的圖像處理裝置，其特征在于 該圖像處理裝置還具有比較應合成的全景圖像彼此的拍攝范圍的比較機構； 所述廣角圖像生成機構，根據(jù)所述比較機構的比較結果，使較大的拍攝范圍匹配于較小的拍攝范圍來將所述全景圖像彼此合成，從而生成所述一個廣角圖像。
13.如權利要求I所述的圖像處理裝置，其特征在于 所述廣角圖像生成機構將由所述取得機構取得的所述多個全景圖像的上側的規(guī)定區(qū)域和下側的規(guī)定區(qū)域彼此進行合成，生成所述一個廣角圖像。
14.一種圖像處理方法，其特征在于，包含以下步驟 取得步驟，取得在一個方向上延伸的多個全景圖像；以及 廣角圖像生成步驟，在與所述一個方向正交的方向上，將由所述取得步驟取得的所述多個全景圖像彼此合成，生成一個廣角圖像。
15.一種記錄介質，可由進行圖像處理的圖像處理裝置的計算機讀取，記錄有用于使所述計算機執(zhí)行以下功能的程序，所述功能包含 取得功能，取得在一個方向上延伸的多個全景圖像；以及廣角圖像生成功能，在與所述一個方向正交的方向上，將由所述取得能夠取得的所述 多個全景圖像彼比合成，生成一個廣角圖像。
全文摘要
一種圖像處理裝置，本發(fā)明的數(shù)碼相機的CPU取得多個全景圖像，將該取得的多個全景圖像彼此合成來生成一個廣角圖像。
文檔編號G03B37/00GK102739962SQ20121015710
公開日2012年10月17日 申請日期2012年4月6日 優(yōu)先權日2011年4月6日
發(fā)明者宮本直知, 小野澤將, 松本康佑 申請人:卡西歐計算機株式會社