專(zhuān)利名稱(chēng)：能夠合成圖像的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像裝置、圖像合成裝置以及圖像合成方法。
背景技術(shù)：
作為現(xiàn)有技術(shù)，用戶按照一邊維持對(duì)快門(mén)開(kāi)關(guān)進(jìn)行了按下操作的狀態(tài)，一邊在將數(shù)碼相機(jī)在垂直方向上大致固定了的狀態(tài)下使數(shù)碼相機(jī)在水平方向上轉(zhuǎn)動(dòng)的方式來(lái)移動(dòng)數(shù)碼相機(jī)，從而進(jìn)行拍攝。由此，公知數(shù)碼相機(jī)按照將上述進(jìn)行了拍攝得到的圖像彼此的一部分區(qū)域進(jìn)行拼接(join)的方式來(lái)合成，從而生成全景圖像的技術(shù)(參照例如專(zhuān)利文獻(xiàn)I)。專(zhuān)利文獻(xiàn)I :日本特開(kāi)平6-303562號(hào)公報(bào)但是，在上述專(zhuān)利文獻(xiàn)I的技術(shù)中，在對(duì)圖像進(jìn)行拍攝時(shí)使按下快門(mén)的時(shí)刻和攝像元件的曝光的時(shí)刻完全一致這一點(diǎn)一般來(lái)說(shuō)是困難的，因此進(jìn)行了攝像所得到的圖像的曝光值ー個(gè)ー個(gè)都不同。由于上述那樣的理由，在上述專(zhuān)利文獻(xiàn)I中，存在有在被合成的全景圖像中產(chǎn)生亮度等不平衡之類(lèi)的問(wèn)題。

發(fā)明內(nèi)容
在此，本發(fā)明的目的在于，提供一種在對(duì)連續(xù)地拍攝得到的圖像進(jìn)行合成時(shí)，通過(guò)按照使合成圖像彼此的重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式進(jìn)行調(diào)整，從而能夠減小合成后的圖像的不協(xié)調(diào)感的攝像裝置、圖像合成裝置以及圖像合成方法。為了解決上述課題，本發(fā)明的攝像裝置，其特征在于，具備攝像單元，其連續(xù)地拍攝圖像；重復(fù)區(qū)域確定單元，其確定通過(guò)上述攝像單元所連續(xù)地拍攝到的圖像彼此的重復(fù)區(qū)域；紋理判定単元，其判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理；調(diào)整単元，其基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像彼此的像素值；和合成単元，其按照使上述重復(fù)區(qū)域一致的方式來(lái)合成通過(guò)上述調(diào)整單元調(diào)整了像素值的上述圖像彼此。另外，本發(fā)明的攝像裝置優(yōu)選的是，還具備比例判定単元，其判定通過(guò)上述紋理判定單元判定的上述重復(fù)區(qū)域中所占的紋理少的區(qū)域的比例是否為預(yù)定的閾值以上，上述調(diào)整単元，在通過(guò)上述比例判定単元判定為紋理少的區(qū)域的比例為預(yù)定的閾值以上的情況下，按照使上述紋理少的區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像的像素值。另外，本發(fā)明的攝像裝置優(yōu)選的是，上述調(diào)整單元，在通過(guò)上述比例判定単元判定為紋理少的區(qū)域的比例為預(yù)定的閾值以上的情況下，與具有紋理的區(qū)域相比，増大上述紋理少的區(qū)域的寬度，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式調(diào)整上述圖像的像素值。另外，本發(fā)明的攝像裝置優(yōu)選的是，上述比例判定単元檢測(cè)上述重復(fù)區(qū)域的特征點(diǎn)，基于上述重復(fù)區(qū)域中的特征點(diǎn)的分布狀態(tài)，判定存在紋理的區(qū)域和紋理少的區(qū)域的比、例是否為預(yù)定值以上。另外，本發(fā)明的攝像裝置優(yōu)選的是，上述像素值為亮度值。本發(fā)明的圖像合成裝置，其特征在于，重復(fù)區(qū)域確定單元，其確定連續(xù)拍攝到的圖像彼此的重復(fù)區(qū)域；紋理判定単元，其判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理；調(diào)整單元，其基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像的像素值；和合成単元，其按照上述重復(fù)區(qū)域一致的方式來(lái)合成通過(guò)上述調(diào)整單元調(diào)整了像素值的上述圖像彼此。本發(fā)明的圖像合成方法，其特征在于，包括圖像取得步驟，取得連續(xù)地拍攝到的圖像；重復(fù)區(qū)域確定步驟，確定在上述圖像取得步驟中所取得的圖像彼此的重復(fù)區(qū)域 ’紋理判定步驟，判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理；調(diào)整步驟，基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式調(diào)整上述圖像彼此的像素值；合成步驟，按照使上述重復(fù)區(qū)域一致的方式來(lái)合成在上述調(diào)整步驟中調(diào)整了像素值的上述圖像彼此。


圖I為表示本發(fā)明的第I實(shí)施方式的數(shù)碼相機(jī)的結(jié)構(gòu)的框圖。圖2為用于說(shuō)明通常的攝像模式的概念圖。圖3為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I中的全景攝像模式的概念圖。 圖4為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I的動(dòng)作的流程圖。圖5為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I的連拍處理&合成處理的動(dòng)作的流程圖。圖6為用于說(shuō)明本第I實(shí)施方式的、合成處理下的動(dòng)作的概念圖。圖7為用于說(shuō)明本第I實(shí)施方式的、合成處理下的動(dòng)作的概念圖。圖8為用于說(shuō)明本第2實(shí)施方式的動(dòng)作的概念圖。圖9為用于說(shuō)明本第2實(shí)施方式的動(dòng)作的概念圖。圖10為用于說(shuō)明本第2實(shí)施方式的動(dòng)作的概念圖。圖11為表示本發(fā)明的合成處理的效果的模式図。
具體實(shí)施例方式以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。A.第I實(shí)施方式圖I為表示本發(fā)明的第I實(shí)施方式的數(shù)碼相機(jī)的結(jié)構(gòu)的框圖。在圖I中，數(shù)碼相機(jī)I具備攝像部2、攝像控制部3、圖像處理部4、移動(dòng)距離測(cè)量部5、CPU7、RAM8、R0M9、記錄部10、顯示部11以及按鍵輸入部12。攝像部2包括聚焦透鏡、變焦透鏡等的透鏡組、攝像元件((XD等)，按照來(lái)自攝像控制部3的控制信號(hào)來(lái)調(diào)整聚焦、光圈、變焦等。而且，攝像部2將通過(guò)攝像元件而經(jīng)由透鏡組所投影的被攝體的光變換為電信號(hào)，作為攝像信號(hào)輸出。攝像控制部3在CPU7的控制下，控制攝像部2的拍攝動(dòng)作。圖像處理部4進(jìn)行由攝像部2拍攝到的圖像數(shù)據(jù)的圖像處理(像素插值處理、Y校正、亮度色差信號(hào)的生成、白平衡處理、曝光校正處理等)、圖像數(shù)據(jù)的壓縮·解壓(例如JPEG形式、Motion-JPEG形式或者M(jìn)PEG形式的壓縮·解壓)的處理，合成多個(gè)攝像圖像的
處理等。尤其，在本第I實(shí)施方式中，圖像處理部4具備重復(fù)區(qū)域確定部20、特征點(diǎn)判定部21、亮度調(diào)整部22、圖像位置調(diào)整部23和圖像合成部24。重復(fù)區(qū)域確定部20對(duì)在全景攝影時(shí)以預(yù)定的時(shí)間間隔(例如7fp s、10fps等)依次拍攝到的圖像(并非全部作為合成用圖像而被獲得)的重復(fù)區(qū)域進(jìn)行確定，除此之外，對(duì)在水平移動(dòng)中在預(yù)定的位置(合成用圖像的獲得位置)拍攝的合成用圖像彼此的重復(fù)區(qū)域進(jìn)行確定。作為具體的重復(fù)區(qū)域的確定的方法，根據(jù)合成用圖像彼此的共通區(qū)域設(shè)定多個(gè)長(zhǎng)條狀的區(qū)域(未圖示)，算出該設(shè)定的多個(gè)長(zhǎng)條狀的區(qū)域的亮度差的二次方和(SSD Sum ofSquared Differece),將該SSD為最小的位置確定為上述的重復(fù)區(qū)域。特征點(diǎn)確定部21根據(jù)上述重復(fù)區(qū)域中的特征點(diǎn)來(lái)確定紋理(texture)(像素值(level)具有變化的區(qū)域)沒(méi)有(較少)的區(qū)域。作為特征點(diǎn)的抽出，也可采用DOG、H0G、Harris法、采用了主曲率法等的相角檢測(cè)或其它手法。亮度調(diào)整部22，在上述重復(fù)區(qū)域中沒(méi)有紋理的區(qū)域存在有預(yù)定的閾值以上的情況下，按照沒(méi)有該紋理的區(qū)域的亮度大致相同的方式(按照使雙方的亮度的平均值處于預(yù)定的允許范圍的方式)，調(diào)整合成用圖像彼此的亮度。圖像位置調(diào)整部23基于上述重復(fù)區(qū)域的特征點(diǎn)來(lái)調(diào)整相鄰圖像彼此的位置。圖像合成部24對(duì)調(diào)整了位置的相鄰圖像彼此進(jìn)行合成，生成一個(gè)相連的合成圖像(全景圖像)。移動(dòng)距離測(cè)量部5測(cè)量在全景攝影時(shí)使數(shù)碼相機(jī)按照使在垂直方向上大致固定的狀態(tài)下在水平方向上轉(zhuǎn)動(dòng)的方式進(jìn)行移動(dòng)時(shí)的數(shù)碼相機(jī)的移動(dòng)距離。在全景攝影時(shí)，數(shù)碼相機(jī)I以預(yù)定的時(shí)間間隔(例如7fps、10fps等)依次進(jìn)行拍攝。實(shí)際上為了合成全景圖像，也可在依次拍攝得到的圖像中、每次數(shù)碼相機(jī)I到達(dá)預(yù)定的位置時(shí)，將在該時(shí)間點(diǎn)拍攝到的圖像作為合成用圖像，獲取并保存到RAM8中。因此，需要檢知數(shù)碼相機(jī)I到達(dá)了預(yù)定的位置或者移動(dòng)到了預(yù)定的位置，即需要測(cè)量數(shù)碼相機(jī)I的移動(dòng)距離。所以，作為移動(dòng)距離測(cè)量部5，也可采用能檢測(cè)數(shù)碼相機(jī)I的移動(dòng)的陀螺儀傳感器、加速度傳感器、或者預(yù)定的圖像處理(例如算出圖像彼此的運(yùn)動(dòng)矢量的方法)。在本第I實(shí)施方式中，采用預(yù)定的圖像處理，檢測(cè)數(shù)碼相機(jī)I達(dá)到了預(yù)定的位置。在全景攝影時(shí)，數(shù)碼相機(jī)I以預(yù)定的時(shí)間間隔(例如7fps、10fps等)進(jìn)行依次拍攝。在此，通過(guò)CPU7對(duì)依次拍攝得到的圖像的共通區(qū)域的大小逐次判定，從而判定數(shù)碼相機(jī)I是否移動(dòng)到了預(yù)定的位置(合成圖像取得位置)。例如，在一個(gè)之前的合成用圖像的1/3程度重疊的圖像被拍攝的情況下，CPU7判定為數(shù)碼相機(jī)I移動(dòng)到了預(yù)定的位置(合成圖像取得位置)，CPU7也可將該攝像圖像作為合成用圖像在RAM8中獲取。如上那樣，通過(guò)判定依次拍攝到的圖像的共通區(qū)域的大小，在數(shù)碼相機(jī)I達(dá)到預(yù)定的位置(合成圖像取得位置)時(shí)，也可將在該時(shí)間點(diǎn)拍攝得到的圖像作為合成用圖像而獲取到RAM8中。CPU7為對(duì)數(shù)碼相機(jī)I的各部分進(jìn)行控制的單片機(jī)。尤其，在本第I實(shí)施方式中，CPU7在全景攝影時(shí)用戶移動(dòng)數(shù)碼相機(jī)I的期間，以預(yù)定的時(shí)間間隔(例如7fps、10fps等)依次進(jìn)行拍攝，為了在毎次到達(dá)了終端、或者全景攝影結(jié)束之前、到達(dá)了預(yù)定的位置(合成圖像取得位置)時(shí)將攝像圖像作為合成用圖像而獲取到RAM8中，對(duì)攝像控制部3、圖像處理部4、移動(dòng)距離測(cè)量部5等進(jìn)行控制。此外，CPU7將該獲取的多個(gè)攝像圖像按照一部分重復(fù)的方式(例如改變透明度)合成，為了生成以廣角進(jìn)行了拍攝那樣的I張合成圖像(全景圖像)而控制各部。此時(shí)，按照使重復(fù)區(qū)域中的亮度不均消失的方式，調(diào)整進(jìn) 行合成的圖像彼此的亮度。另外，關(guān)于圖像合成的詳細(xì)情況在后面敘述。RAM8用作暫時(shí)存儲(chǔ)通過(guò)攝像部2拍攝到的圖像數(shù)據(jù)的緩沖存儲(chǔ)器，并且用作CPU7的工作存儲(chǔ)器。R0M9記錄有CPU7所進(jìn)行的數(shù)碼相機(jī)I的各部的控制中必需的程序、以及在各部的控制中必需的數(shù)據(jù)。CPU7按照該程序進(jìn)行處理。記錄部10記錄基于多次拍攝而合成的合成圖像(全景圖像)。顯示部11包括彩色LCD及其驅(qū)動(dòng)電路，在處于拍攝待機(jī)狀態(tài)時(shí)，將通過(guò)攝像部2拍攝的被攝體作為實(shí)時(shí)取景(live view)圖像進(jìn)行顯示,在記錄圖像的再生時(shí),顯示從記錄部10讀出并被解壓的記錄圖像。按鍵輸入部12包括快門(mén)SW(開(kāi)關(guān))、變焦SW、模式鍵、SET鍵、十字鍵等多個(gè)操作鍵，將與用戶的按鍵操作相對(duì)應(yīng)的操作信號(hào)輸出到CPU7。圖2為用于說(shuō)明通常的攝像模式的概念圖。在由數(shù)碼相機(jī)I以通常的攝像模式進(jìn)行攝影的情況下，如圖2所示，只能拍攝該數(shù)碼相機(jī)I的拍攝系統(tǒng)所具有的視角的范圍的圖像30。圖3為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I的全景攝像模式的概念圖。用戶對(duì)期望的景色準(zhǔn)備數(shù)碼相機(jī)1，例如在左端按下快門(mén)sw(半按壓一全按壓)，如圖3所示的箭頭那樣，從按下了快門(mén)SW的左端沿右方向移動(dòng)。數(shù)碼相機(jī)I以預(yù)定的時(shí)間間隔(例如7fps、IOfps等)依次拍攝，將在毎次到達(dá)終端或者在全景攝影結(jié)束之前、到達(dá)預(yù)定的位置時(shí)所拍攝得到的圖像(合成用圖像)獲取到RAM8中。而且，數(shù)碼相機(jī)I通過(guò)對(duì)所獲取的合成用圖像進(jìn)行依次合成，生成ー個(gè)合成圖像(全景圖像)31。接下來(lái)，對(duì)上述的第I實(shí)施方式的動(dòng)作進(jìn)行說(shuō)明。圖4為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I的動(dòng)作的流程圖。首先，如果CPU7在半按壓快門(mén)SW(步驟S10)吋，則按照?qǐng)?zhí)行AF(自動(dòng)聚焦)處理的方式控制攝像控制部3(步驟S12)。用戶在全按壓快門(mén)SW之后，使數(shù)碼相機(jī)I按照使在水平方向上轉(zhuǎn)動(dòng)的方式進(jìn)行移動(dòng)(參照?qǐng)D3)。CPU7，在全按壓了快門(mén)SW時(shí)(步驟S14)，控制攝像控制部3，使以預(yù)定的時(shí)間間隔(例如7fps、IOfps等)依次拍攝。而且，CPU7將每次數(shù)碼相機(jī)I到達(dá)預(yù)定的位置時(shí)所拍攝到的圖像獲取到RAM8中，并且計(jì)算相機(jī)移動(dòng)速度。之后，CPU7通過(guò)對(duì)所獲取的圖像依次合成，從而生成ー個(gè)合成圖像(全景圖像)31(步驟S18)。另外，關(guān)于連拍處理&合成處理的詳細(xì)內(nèi)各在后面敘述。接下來(lái)，CPU7判斷是否連拍結(jié)束(步驟S20)。連拍結(jié)束例如以通過(guò)用戶(用戶操作)而產(chǎn)生了結(jié)束信號(hào)的情況、相機(jī)移動(dòng)偏離較大等而在圖像取得中產(chǎn)生了錯(cuò)誤的情況、超過(guò)全景圖像的最大尺寸等、朝向圖像取得方向的移動(dòng)距離超過(guò)了閾值的情況等作為契機(jī)。而且，在連拍沒(méi)有結(jié)束的情況下(步驟S20的“否”)，CPU7所進(jìn)行的處理返回到步驟S18，繼續(xù)連拍處理&合成處理。另ー方面，在連拍結(jié)束了的情況下(步驟S20的“是”)，結(jié)束該處理。
圖5為用于說(shuō)明本第I實(shí)施方式的數(shù)碼相機(jī)I的連拍處理&合成處理的動(dòng)作的流程圖。此外，圖6以及圖7為用于說(shuō)明本第I實(shí)施方式的合成處理中的動(dòng)作的概念圖。另夕卜，該連拍處理&合成處理的執(zhí)行中，CPU7控制攝像控制部3，使攝像部2以預(yù)定的時(shí)間間隔(例如7fps、10fps等)依次拍攝被攝體。該攝像圖像未必全部作為合成用圖像獲取到RAM8中，如果不是在獲取位置上拍攝到的圖像，則被廢棄。首先，CPU7判斷數(shù)碼相機(jī)I是否移動(dòng)了固定距離(步驟S30)。此外，CPU7通過(guò)判定以預(yù)定的時(shí)間間隔依次拍攝到的圖像的共通區(qū)域的大小，從而判斷被拍攝到的圖像是否為應(yīng)作為合成用圖像而獲取到RAM8中的圖像。所謂應(yīng)作為合成用圖像獲取的圖像是指在一個(gè)圖像前獲取的合成用圖像和所拍攝到的圖像僅在預(yù)定的區(qū)域(例如1/3等)共通的圖
像。 S卩，如果為應(yīng)作為合成用圖像獲取的圖像，則表明數(shù)碼相機(jī)I到達(dá)了預(yù)定的位置， CPU7判斷數(shù)碼相機(jī)I移動(dòng)了固定距離。換句話說(shuō)，如果共通的區(qū)域越大，則數(shù)碼相機(jī)I仍未 到達(dá)預(yù)定的位置，如果共通的區(qū)域越小，則超過(guò)了預(yù)定的位置。而且，在數(shù)碼相機(jī)I沒(méi)有移動(dòng)固定距離的情況下(步驟S30的“否”)，由此數(shù)碼相機(jī)I仍未到達(dá)預(yù)定的位置，因此CPU7反復(fù)執(zhí)行步驟S30。另ー方面，在數(shù)碼相機(jī)I移動(dòng)了固定距離的情況下(步驟S30的“是”)，CPU7將此時(shí)的攝像圖像獲取到RAM8中來(lái)進(jìn)行保存(步驟S32)。接下來(lái)，特征點(diǎn)判定部21通過(guò)在圖像彼此的重復(fù)區(qū)域中判定有無(wú)特征點(diǎn)，來(lái)判定有無(wú)紋理(步驟S34)。此外，特征點(diǎn)判定部21，如果重復(fù)區(qū)域中的預(yù)定范圍中的特征點(diǎn)的數(shù)目在預(yù)定的閾值以下，則判定該范圍的區(qū)域的紋理較少(沒(méi)有)，如果預(yù)定范圍中的特征點(diǎn)的數(shù)目比預(yù)定的閾值多，則判定該范圍的區(qū)域的紋理多(存在)。如圖6所示，圖像合成部24按照使重復(fù)區(qū)域41-1、41_2重疊的方式合成合成用圖像40-1和合成用圖像40-2。重復(fù)區(qū)域41-1和重復(fù)區(qū)域41-2中，在其上部存在沒(méi)有紋理的區(qū)域(像素值平坦的區(qū)域)。接下來(lái)，特征點(diǎn)判定部21判斷沒(méi)有紋理的區(qū)域是否在預(yù)定的閾值(例如全體的1/3)以上(步驟S36)。這是因?yàn)樵跊](méi)有紋理的區(qū)域小的情況下，不太能得到亮度平滑化效果的緣故。而且，在沒(méi)有紋理的區(qū)域未在預(yù)定的閾值(例如全體的1/3)以上的情況下，圖像合成部24直接合成一個(gè)之前的合成用圖像和本次獲取的合成用圖像(步驟S40)。之后，處理返回到圖4所示的主程序。另ー方面，如圖7所示，沒(méi)有紋理的區(qū)域42-1、42_2具有大致全體一半程度的情況下、即沒(méi)有紋理的區(qū)域在預(yù)定的閾值(例如全體的1/3)以上的情況下，亮度調(diào)整部22通過(guò)按照沒(méi)有紋理的區(qū)域42-1、42-2的亮度大致相同的方式進(jìn)行平滑化(通過(guò)使雙方的亮度的平均值處于預(yù)定的允許范圍的程度而成為相同)，來(lái)調(diào)整合成用圖像彼此(或者后來(lái)拍攝的合成用圖像)的亮度(步驟S38)。之后，圖像合成部24直接合成一個(gè)之前的合成用圖像和本次獲取的合成用圖像(步驟S40)。此后，處理返回到圖4所示的主程序。而且，在全景攝影的連拍結(jié)束之前，圖像合成部24針對(duì)依次獲取的多個(gè)合成用圖像分別進(jìn)行合成用圖像的亮度調(diào)整、亮度調(diào)整后的合成用圖像的合成，得到一個(gè)相連的合成圖像(全景圖像)。根據(jù)上述的第I實(shí)施方式，圖像合成部24在使合成用圖像的一部分重復(fù)來(lái)進(jìn)行合成吋，亮度調(diào)整部22通過(guò)按照使重復(fù)區(qū)域內(nèi)的沒(méi)有紋理的區(qū)域的亮度大致相同的方式進(jìn)行平滑化(雙方的亮度的平均值處于預(yù)定的允許范圍的程度而成為相同的方式)，來(lái)調(diào)整合成用圖像彼此(或者后拍攝的合成用圖像)的亮度。此后，圖像合成部24合成合成用圖像彼此，在合成連續(xù)地進(jìn)行拍攝所得到的圖像時(shí)，能夠減小合成后的圖像的不協(xié)調(diào)感。B.第2實(shí)施方式接下來(lái)，對(duì)本發(fā)明的第2實(shí)施方式進(jìn)行說(shuō)明。在本第2實(shí)施方式中，其特征在于，在進(jìn)行圖像合成時(shí)，通過(guò)以紋理存在的區(qū)域和紋理不存在的區(qū)域來(lái)改變重復(fù)區(qū)域的寬度(混合寬度)，從而更加緩和重復(fù)區(qū)域的亮度差。從圖8到圖10，為用于說(shuō)明本第2實(shí)施方式的動(dòng)作的概念圖。如圖8所示，圖像合成部24與前述的圖6同樣，按照使重復(fù)區(qū)域41-1、41-2重疊的方式合成合成用圖像40_1和合成用圖像40-2。在重復(fù)區(qū)域41-1和重復(fù)區(qū)域41-2中，在其上部存在沒(méi)有紋理的區(qū)域 (天空部分)。紋理多(存在)或少(沒(méi)有)也能夠以預(yù)定范圍中的特征點(diǎn)的數(shù)目的不同來(lái)判斷。即，如果重復(fù)區(qū)域中的預(yù)定范圍中的特征點(diǎn)的數(shù)目在預(yù)定的閾值以下，則判斷該范圍的區(qū)域的紋理少(沒(méi)有)，如果預(yù)定范圍中的特征點(diǎn)的數(shù)目比預(yù)定的閾值多，則判斷為該范圍的區(qū)域的紋理多(存在)。而且,如圖9所示，在紋理少的部分中，增大重復(fù)區(qū)域41-1、41-2的寬度(混合寬度)，在紋理多的部分中，相對(duì)地減小重復(fù)區(qū)域41-1、41-2的寬度(混合寬度)。而且，如圖10所示，亮度調(diào)整部22通過(guò)按照使重復(fù)區(qū)域41-1、41_2的亮度大致成為相同的方式進(jìn)行平滑化(通過(guò)使雙方的亮度的平均值處于預(yù)定的允許范圍的程度而成為相同)，在調(diào)整了合成用圖像彼此(或者后拍攝的合成用圖像)的亮度之后，圖像合成部24合成合成用圖像彼此。根據(jù)上述的第2實(shí)施方式，在進(jìn)行圖像合成時(shí)，基于紋理多的區(qū)域和紋理少的區(qū)域來(lái)改變重復(fù)區(qū)域的寬度(混合寬度)，能夠進(jìn)ー步緩和重復(fù)區(qū)域的亮度差。圖11為表示本發(fā)明的合成處理的效果的模式図。如圖11所示，如現(xiàn)有技術(shù)那樣，如果單純地進(jìn)行圖像合成，則使在攝像圖像時(shí)按下快門(mén)的時(shí)刻和攝像元件的受光時(shí)刻完全一致一般是困難的，因此在合成后的全景圖像50中重合的部分中產(chǎn)生明暗差。與此相對(duì)，在本發(fā)明中，在圖像合成部24使合成用圖像的一部分重復(fù)來(lái)進(jìn)行合成吋，亮度調(diào)整部22通過(guò)按照使重復(fù)區(qū)域內(nèi)的沒(méi)有紋理的(紋理少的)區(qū)域的亮度大致成為相同的方式進(jìn)行平滑化(通過(guò)使雙方的亮度的平均值處于預(yù)定的允許范圍的程度而成為相同)，從而調(diào)整合成用圖像彼此(或者后拍攝的合成用圖像)的亮度。之后，由于圖像合成部24對(duì)合成用圖像彼此進(jìn)行合成，因此能夠減小在合成后的全景圖像60中重合的部分的不協(xié)調(diào)感。另外，在上述的第I、第2實(shí)施方式中，雖然在實(shí)際的全景攝影中的連拍中每次合成合成用圖像，但也可在每次數(shù)碼相機(jī)I到達(dá)預(yù)定的位置時(shí)將所拍攝到的圖像作為合成用圖像來(lái)獲取并保存之后，合成該合成用圖像。此時(shí)，在得到所有的合成用圖像的時(shí)間點(diǎn)，特征點(diǎn)判定部21判別全體的亮度的偏差，例如亮度調(diào)整部22將具有其中的中間的亮度的合成用圖像作為基準(zhǔn)，通過(guò)按照使各個(gè)重復(fù)區(qū)域內(nèi)的沒(méi)有紋理的區(qū)域的亮度大致成為相同的方式進(jìn)行平滑化(通過(guò)使雙方的亮度的平均值處于預(yù)定的允許范圍的程度而成為相同)，來(lái)調(diào)整合成用圖像的亮度。此后，圖像合成部24合成合成用圖像彼此。以上，雖然針對(duì)本發(fā)明的幾個(gè)實(shí)施方式進(jìn)行了說(shuō)明，但本發(fā)明不限于這些內(nèi)容，包括專(zhuān)利請(qǐng)求的范圍中記載的發(fā)明和其均等的范圍。權(quán)利要求
1.一種攝像裝置，其特征在于，具備 攝像單元，其連續(xù)地拍攝圖像； 重復(fù)區(qū)域確定單元，其確定通過(guò)上述攝像單元所連續(xù)地拍攝到的圖像彼此的重復(fù)區(qū)域； 紋理判定単元，其判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理；調(diào)整單元，其基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像彼此的像素值；和 合成単元，其按照使上述重復(fù)區(qū)域一致的方式來(lái)合成通過(guò)上述調(diào)整單元調(diào)整了像素值的上述圖像彼此。
2.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在干， 還具備比例判定単元，其判定通過(guò)上述紋理判定単元判定的上述重復(fù)區(qū)域中所占的紋理少的區(qū)域的比例是否為預(yù)定的閾值以上， 上述調(diào)整單元，在通過(guò)上述比例判定単元判定為紋理少的區(qū)域的比例為預(yù)定的閾值以上的情況下，按照使上述紋理少的區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像的像素值。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在干， 上述調(diào)整單元，在通過(guò)上述比例判定単元判定為紋理少的區(qū)域的比例為預(yù)定的閾值以上的情況下，與具有紋理的區(qū)域相比，増大上述紋理少的區(qū)域的寬度，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式調(diào)整上述圖像的像素值。
4.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在干， 上述比例判定単元檢測(cè)上述重復(fù)區(qū)域的特征點(diǎn)，基于上述重復(fù)區(qū)域中的特征點(diǎn)的分布狀態(tài)，判定具有紋理的區(qū)域和紋理少的區(qū)域的比例是否為預(yù)定值以上。
5.根據(jù)權(quán)利要求I 4中任一項(xiàng)所述的攝像裝置，其特征在干， 上述像素值為亮度值。
6.一種圖像合成裝置，其特征在于，包括 重復(fù)區(qū)域確定單元，其確定連續(xù)地拍攝到的圖像彼此的重復(fù)區(qū)域； 紋理判定単元，其判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理；調(diào)整單元，其基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像的像素值；和 合成単元，其按照使上述重復(fù)區(qū)域一致的方式來(lái)合成通過(guò)上述調(diào)整單元調(diào)整了像素值的上述圖像彼此。
7.一種圖像合成方法，其特征在于，包括 圖像取得步驟，取得連續(xù)地拍攝到的圖像； 重復(fù)區(qū)域確定步驟，確定在上述圖像取得步驟中所取得的圖像彼此的重復(fù)區(qū)域； 紋理判定步驟，判定通過(guò)上述重復(fù)區(qū)域確定單元所確定的重復(fù)區(qū)域內(nèi)的紋理； 調(diào)整步驟，基于上述紋理判定単元所得到的判定結(jié)果，按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式來(lái)調(diào)整上述圖像彼此的像素值；以及 合成步驟，按照使上述重復(fù)區(qū)域一致的方式來(lái)合成在上述調(diào)整步驟中調(diào)整了像素值的上述圖像彼此。
全文摘要
本發(fā)明提供一種能夠合成圖像的攝像裝置。數(shù)碼相機(jī)(1)具備攝像部(2)、重復(fù)區(qū)域確定部(20)、特征點(diǎn)判定部(21)、亮度調(diào)整部(22)和圖像合成部(24)。攝像部(2)連續(xù)地拍攝圖像。重復(fù)區(qū)域判定部(20)確定連續(xù)地拍攝到的圖像彼此的重復(fù)區(qū)域。特征點(diǎn)判定部(21)判定所確定的重復(fù)區(qū)域內(nèi)的紋理。亮度調(diào)整部(22)基于紋理的判定結(jié)果按照使上述重復(fù)區(qū)域中的像素值處于預(yù)定的范圍的方式調(diào)整上述圖像彼此的像素值。圖像合成部(24)按照使上述重復(fù)區(qū)域一致的方式合成所調(diào)整的上述圖像彼此。
文檔編號(hào)H04N5/937GK102739954SQ20121008242
公開(kāi)日2012年10月17日 申請(qǐng)日期2012年3月26日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者宮本直知, 松本康佑 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社