專利名稱：圖像拾取設(shè)備和方法、再現(xiàn)控制設(shè)備和方法、及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在移動圖像拾取設(shè)備的同時拍攝圖像以生 成全景圖像的圖像拾取設(shè)備、圖像拾取方法、再現(xiàn)控制設(shè)備、再現(xiàn)控 制方法和程序。
背景技術(shù)：
為了拍攝圖像，廣泛使用的電子靜止照相機可以通過鏡頭接收來
自被攝體的光，并且使用諸如電荷耦合器件(CCD)之類的固態(tài)圖像 拾取元件將所接收到的光轉(zhuǎn)換為成像信號。隨后，電子靜止照相機可 以將成像信號記錄在記錄介質(zhì)上并再現(xiàn)所記錄的圖像信號。另外，大 量的電子靜止照相機包括顯示所拍攝的靜止圖像的監(jiān)視器。電子靜止 照相機選擇所記錄的靜止圖像中的特定的一個靜止圖像，并在監(jiān)視器 上顯示所選擇的圖像。在這樣的電子靜止照相機中，在一次拍攝中拍 攝的圖像拍攝區(qū)域是受鏡頭的視場限制的窄區(qū)域。因此，難以拍攝比 鏡頭的視場寬的拍攝區(qū)域。因此，近年來，開發(fā)了可以拍攝全景圖像 的多種照相機系統(tǒng)。
例如，這些照相機系統(tǒng)分為兩類使用多個鏡頭同時拍攝寬角度 圖像的多鏡頭照相機系統(tǒng)；以及在順序地改變圖像拍攝方向的同時使 用一個鏡頭連續(xù)地拍攝圖像的單鏡頭照相機系統(tǒng)。該多鏡頭照相機系 統(tǒng)的優(yōu)點是，可以按與普通照相機基本上相同的方式拍攝整個全景圖 像。然而，該多鏡頭照相機系統(tǒng)的缺點是，整個系統(tǒng)的成本增加了。
相反，單鏡頭照相機系統(tǒng)可以用相對較低的成本拍攝全景圖像。 開發(fā)了幾種在改變圖像拍攝方向的同時拍攝圖像的技術(shù)。例如，開發(fā) 了一種用手以恒定的速度移動(shift)或旋轉(zhuǎn)圖像拍攝系統(tǒng)的技術(shù)(例 如，參見日本未審專利申請公開No. 11-88754)。另外，開發(fā)了一種
5用手反復(fù)地移動或旋轉(zhuǎn)并停止圖像拍攝系統(tǒng)的技術(shù)(例如，參見曰本
未審專利申請公開No. 11-88811)。此外，開發(fā)了一種使用步進電機 移動或旋轉(zhuǎn)并停止圖像拍攝系統(tǒng)的技術(shù)(例如，參見日本未審專利申 請公開No. 2005-333396 )。
為了欣賞觀看使用上述技術(shù)之一拍攝的全景圖像，開發(fā)了風(fēng)景打 印方'法(landscape printing method)(命J:fip，參見曰本未審專利中 請公開No. 7-212693 )和使用電視監(jiān)視器的滾動再現(xiàn)方法(scroll playback method )(例ft口 ， 參見曰本未審專利申請^>開No. 2002-77800)。例如，當(dāng)在電視監(jiān)視器上顯示整個全景圖像時，在電 視屏幕的部分區(qū)域中顯示的是很小的風(fēng)景圖像。因此，用戶難以觀看 到詳細的圖像。另外，當(dāng)用戶想要順序地、自動地顯示多個全景圖像 時，用戶難以觀看到詳細的圖像，因為在電視屏幕的部分區(qū)域中顯示 小的風(fēng)景圖像。因此，當(dāng)在電視監(jiān)視器上連續(xù)地顯示多個全景圖像時， 可以通過滾動所再現(xiàn)的全景圖像來檢查整個全景圖像的細節(jié)。

發(fā)明內(nèi)容
然而，在日本未審專利申請/〉開No. 11-88754、 11-88811和 2005-333396中所描述的技術(shù)中，組合在不同時間拍攝的圖j象。因此， 在組合的全景圖像的屏幕中出現(xiàn)時間差。從而，甚至在與組合的全景 圖像相關(guān)聯(lián)地記錄一個圖像拍攝時間時，也沒有記錄拍攝全景圖像的 精確時間。結(jié)果，難以識別組合全景圖像的時間變化和圖像拍攝方向 的變化。
另外，因為在現(xiàn)有技術(shù)中僅僅使用一種方法確定要滾動再現(xiàn)的圖 像，所以難以有效地欣賞觀看全景圖像。
因此，本發(fā)明提供用于生成能夠指示圖像拍攝時間和成像方向的 變化的組合全景圖像的圖像拾取設(shè)備和圖像拾取方法，并且提供適合 允許用戶連續(xù)地、有效地欣賞觀看全景圖像的再現(xiàn)控制設(shè)備、再現(xiàn)控 制方法和程序。
根據(jù)本發(fā)明的實施例， 一種圖像拾取設(shè)備包括圖像拾取單元，
6被配置為將通過透鏡系統(tǒng)輸入的圖像轉(zhuǎn)換為圖像數(shù)據(jù)；拼接單元 (stitching unit)，被配置為由在從全景圖像拍攝開始到全景圖像拍 攝結(jié)束的時間段期間拍攝的圖像的多個圖像數(shù)據(jù)項生成全景圖像；圖 像拾取方向檢測單元，被配置為檢測在從全景圖像拍攝開始到全景圖 像拍攝結(jié)束的時間段期間的成像方向；時鐘單元，被配置為檢測關(guān)于 全景圖像的圖像拍攝時間的圖像拍攝時間信息；以及記錄單元，被配 置為將由時鐘單元檢測的圖像拍攝時間信息和由圖像拾取方向檢測 單元檢測的在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期 間的成像方向與由拼接單元生成的全景圖像相關(guān)聯(lián)地記錄。
根據(jù)本發(fā)明的另一實施例，提供一種用于拍攝圖像的方法。該方 法包括下述步驟將通過透鏡系統(tǒng)輸入的圖像轉(zhuǎn)換為圖像數(shù)據(jù)；由在 從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間拍攝的圖像 的多個圖像數(shù)據(jù)項生成全景圖像；檢測關(guān)于全景圖像的圖像拍攝時間 的圖像拍攝時間信息；檢測在從全景圖像拍攝開始到全景圖像拍攝結(jié) 束的時間段期間的成像方向；以及將圖像拍攝時間信息和在從全景圖 像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的成像方向與所生成 的全景圖像相關(guān)聯(lián)地記錄。
根據(jù)本發(fā)明的另一實施例， 一種再現(xiàn)控制設(shè)備包括記錄單元， 被配置為將在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期 間的全景圖像的成像方向和通過提取全景圖像的特征而檢測的被攝 體的坐標(biāo)信息中的 一 個與全景圖像相關(guān)聯(lián)地記錄，所述全景圖像是通 過組合從在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間 拍攝和通過透鏡系統(tǒng)輸入的多個圖像轉(zhuǎn)換的多個圖像數(shù)據(jù)項而生成 的；以及滾動方向確定單元，被配置為基于成像方向和坐標(biāo)信息中的 一個確定再現(xiàn)全景圖像的滾動方向。
根據(jù)本發(fā)明的另一實施例，提供一種再現(xiàn)控制方法。該方法包括 下述步驟將在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期 間的全景圖像的成像方向和通過提取全景圖像的特征而檢測的被攝 體的坐標(biāo)信息中的一個與全景圖像相關(guān)聯(lián)地記錄，所述全景圖像是通
7過組合從在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間 拍攝和通過透鏡系統(tǒng)輸入的多個圖像轉(zhuǎn)換的多個圖像數(shù)據(jù)項而生成
的；以及基于成像方向和坐標(biāo)信息中的一個確定再現(xiàn)全景圖像的滾動 方向。
根據(jù)本發(fā)明的實施例，可以與在從拍攝圖像的開始時間到結(jié)束時 間的時間段期間的成像方向和圖像拍攝時間信息相關(guān)聯(lián)地記錄在屏 幕中顯示的具有時間差的組合全景圖像。因此，觀看者可以在短時間 內(nèi)有效地觀看到期望的圖像。


圖1是示出根據(jù)本發(fā)明的實施例的圖像拾取設(shè)備的示例配置的
框圖2是示意性地示出修整過程的例子的視圖； 圖3A是示意性地示出在開始拍攝被攝體的圖像時的成像方向的
視圖3B是示意性地示出緊挨在結(jié)束對被攝體的圖像的拍攝之前的 成4象方向的視圖4是示出根據(jù)本發(fā)明的實施例的圖像拾取設(shè)備的示例配置的
框圖5是示出生成全景圖像的處理過程的流程圖6是示出根據(jù)本發(fā)明的實施例的再現(xiàn)控制設(shè)備的示例配置的
框圖7是示出用于滾動全景圖像的方法的例子的流程圖； 圖8是示出用于滾動全景圖像的方法的例子的示意圖； 圖9是示出用于滾動全景圖像的方法的例子的示意圖； 圖IO是示出用于滾動全景圖像的方法的例子的示意圖； 圖ll是示出用于滾動全景圖像的方法的例子的示意圖； 圖12是示出用于滾動全景圖像的方法的例子的示意圖；以及 圖13是示意性地示出用于滾動全景圖像的方法的視圖。
8
具體實施例方式
下面參照附圖描述本發(fā)明的各個示例實施例。如圖l所示，圖像
拾取設(shè)備1包括透鏡系統(tǒng)10、圖像拾取元件11、圖像隨機存取存儲 器(圖像RAM) 12、圖像拾取方向檢測單元13、全景拼接單元14、 時鐘單元15和記錄介質(zhì)16。圖像拾取設(shè)備1還包括驅(qū)動源(未示出)， 例如步進電機。該驅(qū)動源使圖像拾取單元旋轉(zhuǎn)。
例如，CCD或CMOS (互補金屬氧化物半導(dǎo)體)傳感器用于圖 像拾取元件11。圖像拾取元件11接收通過透鏡系統(tǒng)10發(fā)射到其上的 被攝體圖像，并將被攝體圖像轉(zhuǎn)換為電信號。另外，圖像拾取元件ll 包括預(yù)定信號處理電路(未示出)，該信號處理電路將電信號形式的 被攝體圖像進一步轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。然后，圖像拾取元件11將 數(shù)字圖像數(shù)據(jù)輸出到圖像RAM 12 。
圖像RAM 12接收從圖像拾取元件11輸出的圖像數(shù)據(jù)。圖像 RAM12存儲多個圖像的圖像數(shù)據(jù)。其后，圖像RAM12將所存儲的 圖像數(shù)據(jù)供應(yīng)到圖像拾取方向檢測單元13和全景拼接單元14。
圖像拾取方向檢測單元13接收從圖像RAM 12供應(yīng)的圖像數(shù)據(jù)。 為了執(zhí)行全景生成過程，圖像拾取方向檢測單元13檢測多個連續(xù)的 圖像數(shù)據(jù)項的成像方向和每兩個圖像數(shù)據(jù)項的運動量，即，兩個圖像 數(shù)據(jù)項之間的運動矢量。然后，圖像拾取方向檢測單元13將所檢測 的運動矢量供應(yīng)到全景拼接單元14。例如，通過比較兩個相鄰的按時 間順序的場的圖像數(shù)據(jù)項，圖像拾取方向檢測單元13檢測運動矢量。
當(dāng)檢測每兩個圖像數(shù)據(jù)項的運動量時，為了將在從拍攝圖像的開 始時間到結(jié)束時間的時間段期間的成^f象方向作為一個方向檢測，圖4象 拾取方向檢測單元13對運動量求平均。此時，在圖像拾取方向檢測 單元13排除大于或等于預(yù)定值的運動量之后，圖像拾取方向檢測單 元13可以對運動量求平均。另外，圖像拾取方向檢測單元13對所有 的圖像數(shù)據(jù)項中的每兩個相鄰圖像數(shù)據(jù)項之間的運動量進行累積。此 時，圖像拾取方向檢測單元13可以排除大于或等于預(yù)定值的運動量。圖像拾取方向檢測單元13基于所檢測的運動矢量檢測在從拍攝 圖像的開始時間到結(jié)束時間的時間段期間的成像方向。其后，圖像拾 取方向檢測單元13將所檢測的成^f象方向編碼為幾個方向上的代碼。 也就是說，圖像拾取方向檢測單元13將成像方向分離為幾個方向。 例如，圖像拾取方向檢測單元13將所檢測的成像方向編碼為向上、 向下、左和右方向的四個值。通過用這樣的方式對所檢測的成像方向 進行編碼，可以減少供應(yīng)到記錄介質(zhì)16的數(shù)據(jù)量。
隨后，圖像拾取方向檢測單元13將在從拍攝圖像的開始時間到 結(jié)束時間的時間段期間的一個已編碼的成像方向與由全景拼接單元 14生成的全景圖像相關(guān)聯(lián)地供應(yīng)到記錄介質(zhì)16。
如上所述，圖像拾取方向檢測單元13可以用于生成組合的全景 圖像和檢測成像方向。因此，對于圖像拾取設(shè)備l,可以低成本地制 造用于生成組合的全景圖像和與該全景圖像相關(guān)聯(lián)地記錄成像方向 和成像時間信息的單元。
全景拼接單元14接收來自圖像RAM12的圖像數(shù)據(jù)。另外，全 景拼接單元14從圖像拾取方向檢測單元13接收用于組合全景生成過 程的圖像數(shù)據(jù)項之間的運動矢量。全景拼接單元14使用從圖像拾取 方向檢測單元13供應(yīng)的運動矢量和從圖像RAM 12供應(yīng)的多個圖像 數(shù)據(jù)項來生成全景圖像。
例如，全景拼接單元14拼接兩個圖像，使得在圖像拾取元件的 成像平面上獲得的圖像中的具有相同預(yù)定寬度的讀出范圍中的相同 部分圖像重疊。因此，生成組合圖像(例如，參見日本未審專利申請 公開No. 2005-333396 )。全景拼接單元14將組合圖像供應(yīng)到記錄介 質(zhì)16。
另外，全景拼接單元14對從多個圖像的圖像數(shù)據(jù)項生成的全景 圖像執(zhí)行修整過程。修整過程是用于提取圖像數(shù)據(jù)的部分圖像區(qū)域例 如圖像的中心區(qū)域的過程。例如，通過對圖2A和2B所示的圖像數(shù)據(jù) 20、圖像數(shù)據(jù)21和圖像數(shù)據(jù)22執(zhí)行修整過程，全景拼接單元14提 取圖像數(shù)據(jù)的必要部分，以便生成優(yōu)質(zhì)的全景圖像。例如，如圖2A中示出的區(qū)域23所示，全景拼接單元14執(zhí)行修 整過程，以便提取矩形的全景圖像。如果連續(xù)的圖像數(shù)據(jù)項包括傾斜 的圖像，也就是說，如果在圖像拾取設(shè)備l相對于水平面傾斜時用戶 拍攝圖像，則全景拼接單元14可以沿著如圖2B中示出的區(qū)域24所 示的對角方向執(zhí)行修整過程。
時鐘單元15充當(dāng)檢測在從拍攝圖像的開始時間到結(jié)束時間的時 間段期間的各種圖像拍攝時間信息的時間測量單元。例如，時鐘單元 15檢測圖像拍攝開始的圖像拍攝開始時間和圖像拍攝結(jié)束的圖像拍 攝結(jié)束時間。其后，時鐘單元15將所檢測的圖像拍攝開始時間和圖 像拍攝結(jié)束時間與由全景拼接單元14生成的全景圖像相關(guān)聯(lián)，并且 將圖像拍攝開始時間和圖像拍攝結(jié)束時間供應(yīng)到記錄介質(zhì)16。然而， 對于圖像拍攝時間信息，時鐘單元15可以檢測每一個拍攝圖像的拍 攝時間或某些圖像拍攝時間之間的時間間隔。
記錄介質(zhì)16可以記錄數(shù)字信號。記錄介質(zhì)16的例子包括硬盤、 磁光盤、DVD、迷你盤(mini disc, MD)(商標(biāo)名)、半導(dǎo)體存儲 器和磁帶。記錄介質(zhì)16接收由全景拼接單元14生成的全景圖像、由 圖像拾取方向檢測單元13檢測的在從拍攝圖像的開始時間到結(jié)束時 間的時間段期間的圖像拾取方向、以及由時鐘單元15檢測的圖像拍 攝開始時間和圖像拍攝結(jié)束時間。隨后，記錄介質(zhì)16將在從拍攝圖 像的開始時間到結(jié)束時間的時間段期間的一個圖像拾取方向以及圖 像拍攝開始時間和圖像拍攝結(jié)束時間與全景圖像相關(guān)聯(lián)地記錄。也就 是說，記錄介質(zhì)16記錄組合全景圖像的一個圖像拾取方向。
以這樣的方式，除了圖像拍攝開始時間和圖像拍攝結(jié)束時間以 外，記錄介質(zhì)16還將在從拍攝圖像的開始時間到結(jié)束時間的時間段 期間的一個圖像拾取方向與全景圖像相關(guān)聯(lián)地記錄。因此，可以獲得 拍攝全景圖像的精確時間。也就是說，通過除了圖像拍攝開始時間和 圖像拍攝結(jié)束時間以外還將全景圖像的圖像拾取方向記錄到記錄介 質(zhì)16上，圖像拾取設(shè)備1可以獲得拍攝全景圖像的更加精確的時間。 因此，如圖3B所示，當(dāng)觀看者在例如TV監(jiān)視器上的屏幕中對具有時間差的全景圖像26執(zhí)行滾動再現(xiàn)時，觀看者可以在短時間中有效 地觀看到期望的圖像。
也就是說，圖像拾取設(shè)備1允許觀看者通過根據(jù)圖像拍攝開始時 間和結(jié)束時間以及全景圖像的圖像拾取方向適當(dāng)?shù)馗淖儩L動再現(xiàn)的 方向和起始點來在短時間中有效地觀看到期望的圖像。例如，假設(shè)當(dāng) 開始拍攝圖像時，用戶想要拍攝圖3A所示的全景圖像25。然而，如 圖3B所示，無意地拍攝了緊挨在圖像拍攝的結(jié)束時間之前出現(xiàn)的被 攝體27的圖像。在這種情況中，圖像拾取設(shè)備1可以通過適當(dāng)?shù)馗?變滾動再現(xiàn)方向和起始點而防止從不想要的被攝體27起滾動再現(xiàn)全 景圖像26。也就是說，當(dāng)再現(xiàn)全景圖像26時，圖像拾取設(shè)備l可以 容易地沿著由圖3B所示的箭頭指示的圖像拾取方向滾動全景圖像 26。
另外，在記錄介質(zhì)16中，圖像拍攝的開始時間、圖像拍攝的結(jié) 束時間和全景圖像的圖像拾取方向被記錄在由EXIF (可交換的圖像 文件格式)標(biāo)準(zhǔn)限定的用戶區(qū)域中。除了用于攝影條件的用戶區(qū)域以 外，EXIF標(biāo)準(zhǔn)允許提供用于附加信息的另一用戶區(qū)域。因此，用戶 可以記錄用戶限定的或裝置限定的信息。請注意，圖像拾取設(shè)備l可 以在除了用戶區(qū)域以外的區(qū)域中，即，在未限定的區(qū)域中，限定關(guān)于 圖像拍攝的開始時間、圖像拍攝的結(jié)束時間和全景圖像的圖像拾取方 向的新項目和記錄信息。
另外，例如，記錄介質(zhì)16可以除了由時鐘單元15檢測的圖像拍 攝開始時間以外還存儲記錄時間，但不記錄圖像拍攝結(jié)束時間。此外， 除了用于在全景拼接單元14中生成全景圖像的拍攝圖像(圖像數(shù)據(jù) 項)的數(shù)目以外，記錄介質(zhì)16還可以存儲各個圖像的拍攝時間的平 均值或拍攝時間之間的平均時間。此外，記錄介質(zhì)16可以存儲用于 在全景拼接單元14中生成全景圖像的所有的圖像數(shù)據(jù)項的圖像拍攝 時間。記錄介質(zhì)16還可以存儲在圖像拾取設(shè)備1固定時拍攝的圖像 數(shù)據(jù)。此外，可以提取包含在圖像數(shù)據(jù)中的被攝體的特征，并且可以 檢測關(guān)于被攝體的坐標(biāo)信息。其后，可以將坐標(biāo)信息與全景圖像相關(guān)聯(lián)地記錄在記錄介質(zhì)16中。例如，除了關(guān)于圖像拍攝開始時間、圖 像拍攝結(jié)束時間和圖像拾取方向的信息以外，還可以將基于由面部檢 測單元(未示出)檢測的被攝體的面部圖像的面部坐標(biāo)與全景圖像相 關(guān)聯(lián)地存儲在記錄介質(zhì)16中。
接下來參照圖4描述圖像拾取設(shè)備1的另一實施例。請注意，與 上面描述圖l所使用的編號方式一樣，使用相同的編號方式來描述圖 4
例如，可變光軸元件28屬于偏移透鏡型(shift lens type)或反 射鏡體型(mirror block type )?？勺児廨S元件28由驅(qū)動器35控制。 透鏡系統(tǒng)IO控制諸如可變光闌(iris)、聚焦和變焦等的光學(xué)系統(tǒng)。 在透鏡系統(tǒng)10中，由透鏡系統(tǒng)驅(qū)動電路36對這些光學(xué)系統(tǒng)執(zhí)行控制。 例如，當(dāng)拍攝全景圖像時，改變光軸，使得至少在圖像拾取元件11 的電子快門打開時，抵償圖像拾取設(shè)備l的運動。另外，當(dāng)電子快門 關(guān)閉時，執(zhí)行控制，使得光軸基本上返回到圖像拾取設(shè)備1的運動的 中心。在下述的系統(tǒng)控制器42的控制下自動地執(zhí)行這樣的控制。請 注意，可以自動地執(zhí)行對光學(xué)系統(tǒng)的控制。在圖像拾取設(shè)備l中，基 于這種控制，控制信息從透鏡系統(tǒng)驅(qū)動電路36輸出并供應(yīng)到系統(tǒng)控 制器42和記錄介質(zhì)30?？刂菩畔⒌睦影勺児怅@值、聚焦值和 變焦值，并且，這些值從透鏡系統(tǒng)驅(qū)動電路36輸出。
被攝體的圖像通過可變光軸元件28和透鏡系統(tǒng)IO發(fā)射到圖<象拾 取元件11上。例如，對于圖像拾取元件ll，使用CCD或CMOS傳 感器。圖像拾取元件11將所發(fā)射的被攝體圖像轉(zhuǎn)換為電信號。圖像 拾取元件11包括預(yù)定信號處理電路(未示出)，該信號處理電路將 所轉(zhuǎn)換的電信號進一步轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。該數(shù)字圖像數(shù)據(jù)被輸出 到開關(guān)32的REC端子和壓縮電路29。
壓縮電路29接收圖像拾取元件11的輸出。運動檢測電路38與 壓縮電路29連接。另外，壓縮電路29接收來自全景拼接單元14的 合成圖像信息。壓縮電路29壓縮從圖像拾取元件ll輸出的數(shù)字圖像 數(shù)據(jù)和從全景拼接單元14輸出的合成圖像信息，以生成壓縮圖像數(shù)據(jù)。然后，壓縮電路29將生成的壓縮圖像數(shù)據(jù)供應(yīng)到記錄介質(zhì)30。
運動檢測電路38通過比較兩個在時間上相鄰的場中的圖像數(shù)據(jù) 項來計算運動矢量。然后，運動檢測電路38基于所計算的運動矢量 來檢測圖像數(shù)據(jù)項的運動。運動檢測電路38的輸出供應(yīng)到壓縮電路 29和混合電路37。在圖像拾取設(shè)備l中，可以使用運動檢測電路38 來生成全景圖像和檢測圖像拾取方向。因此，可以較小規(guī)模地、有效 地制造用于檢測圖像拾取方向的電路，即，圖像拾取方向檢測單元13。
混合電路37混合從積分電路40 (下面更加詳細地描述)供應(yīng)的 運動信息和運動檢測電路38的輸出，并且將混合結(jié)果供應(yīng)到驅(qū)動器 35和記錄介質(zhì)30。
記錄介質(zhì)30可以記錄數(shù)字信號。記錄介質(zhì)30的例子包括硬盤、 磁光盤、DVD、 MD (商標(biāo)名)、半導(dǎo)體存儲器和磁帶。記錄介質(zhì)30 接收來自壓縮電路29的壓縮圖像數(shù)據(jù)、來自透鏡系統(tǒng)驅(qū)動電路36的 控制信息、以及來自混合電路37的混合結(jié)果。另外，記錄介質(zhì)30接 收來自圖像拾取方向檢測單元13的圖像拾取方向信息和來自時鐘單 元15的時間信息。
記錄介質(zhì)30以子碼數(shù)據(jù)的形式記錄針對每一個壓縮圖像數(shù)據(jù)項 供應(yīng)的控制信息和混合結(jié)果。壓縮圖像數(shù)據(jù)項和子碼數(shù)據(jù)從記錄介質(zhì) 30讀取并供應(yīng)到解壓縮電路31。記錄介質(zhì)30可以具有包括圖1中W 出的圖4象RAM 12和記錄介質(zhì)16的結(jié)構(gòu)。
解壓縮電路31接收從記錄介質(zhì)30讀取的壓縮圖像數(shù)據(jù)項和子碼 數(shù)據(jù)。解壓縮電路31對在將圖像數(shù)據(jù)記錄到記錄介質(zhì)30上時所壓縮 或編碼的圖像數(shù)據(jù)進行解壓縮或解碼。解壓縮電路31將解壓縮的圖 像數(shù)據(jù)供應(yīng)到全景拼接單元14。解壓縮圖像數(shù)據(jù)充當(dāng)再現(xiàn)圖像數(shù)據(jù)。
全景拼接單元14接收來自解壓縮電路31的再現(xiàn)圖像數(shù)據(jù)、以及 來自記錄介質(zhì)30的透鏡系統(tǒng)驅(qū)動電路36的透鏡控制信息和混合電路 37的子碼數(shù)據(jù)(混合結(jié)果)。然后，全景拼接單元14生成全景圖像 并將生成的全景圖像供應(yīng)到開關(guān)32的PB端子和壓縮電路29。
圖像拾取方向檢測單元13接收來自記錄介質(zhì)30的關(guān)于混合多個檢測運動的結(jié)果的信息。圖像拾取方向檢測單元13基于所供應(yīng)的關(guān) 于混合多個檢測運動的結(jié)果的信息來檢測全景圖像的在從拍攝圖像 的開始時間到結(jié)束時間的時間段期間的圖像拾取方向。然后，圖像拾 取方向檢測單元13將關(guān)于在從拍攝圖像的開始時間到結(jié)束時間的時 間段期間的圖像拾取方向的信息與關(guān)于由全景拼接單元14組合的圖 像的信息相關(guān)聯(lián)地供應(yīng)到記錄介質(zhì)30。
時鐘單元15檢測包括圖像拍攝開始時間和圖像拍攝結(jié)束時間的 圖像拍攝時間信息。然后，時鐘單元15將所檢測的時間信息與由全 景拼接單元14組合的全景圖像相關(guān)聯(lián)地供應(yīng)到記錄介質(zhì)30。
在拍攝圖像時，開關(guān)32選擇端子REC。因此，在取景器33中 顯示由圖像拾取元件11正在拍攝的圖像。另外，開關(guān)32允許由圖像 拾取元件11正在拍攝的圖像被發(fā)送到視頻輸出端子34，從而在例如 外部視頻監(jiān)視器上顯示圖像。當(dāng)生成全景圖像或再現(xiàn)全景圖像時，開 關(guān)32選擇PB端子。因此，將再現(xiàn)的圖像數(shù)據(jù)發(fā)送到視頻輸出端子 34。同時，將再現(xiàn)的圖像數(shù)據(jù)發(fā)送到取景器33。通過在生成全景圖像 或再現(xiàn)全景圖像時選擇PB端子，開關(guān)32使得取景器33顯示從記錄 介質(zhì)30供應(yīng)的再現(xiàn)圖像。請注意，當(dāng)顯示全景圖# 時，停止對全景 拼接單元14的處理。
角加速度傳感器39由例如陀螺儀傳感器(gyro sensor)形成。 角加速度傳感器39檢測圖像拾取方向的變化。例如，用于圖像穩(wěn)定 且安裝在圖像拾取設(shè)備1中的傳感器可以用作角加速度傳感器39。通 過使用來自角加速度傳感器39的輸出，甚至在用戶在運動檢測電路 38中不能獲得正確的運動矢量時，用戶也可以識別拍攝圖像的相對位 置。
積分電路40對來自角加速度傳感器39的輸出進行積分，以獲得 運動信息。通過對從角加速度傳感器39接收的角加速度的檢測結(jié)果 求平均，積分電路40可以生成關(guān)于平均運動的信息。也就是+兌，積 分電路40忽略小的運動，并且生成運動信息。然后，積分電路40將 生成的運動信息輸出到混合電路37。鍵輸入單元41包括用于配置圖像拾取設(shè)備1的各種設(shè)置的開關(guān) 和用于在全景攝影模式的開和關(guān)之間切換的開關(guān)。通過這些設(shè)置鍵配 置的設(shè)置信息從鍵輸入單元41輸入到系統(tǒng)控制器42。其后，設(shè)置信 息存儲在例如RAM中。例如，當(dāng)準(zhǔn)備進行全景攝影時，攝影者接通 設(shè)置在鍵輸入單元41中的全景攝影模式開/關(guān)設(shè)置開關(guān)。隨后，通過 在跟隨被攝體移動透鏡系統(tǒng)10并進行攝影，攝影者可以記錄全景圖 像和關(guān)于圖像拍攝開始和結(jié)束時間以及在從圖像拍攝開始時間到圖 像拍攝結(jié)束時間的時間段期間的圖像拾取方向的信息。
系統(tǒng)控制器42包括中央處理單元(CPU) 、 RAM和只讀存儲 器(ROM)。系統(tǒng)控制器42控制圖像拾取設(shè)備1的操作。例如，系 統(tǒng)控制器42基于通過鍵輸入單元41的各種設(shè)置鍵配置的設(shè)置信息來 控制圖像拾取設(shè)備1的操作。系統(tǒng)控制器42還包括用于設(shè)置預(yù)定時 段的定時器(未示出)。另外，系統(tǒng)控制器42可以執(zhí)行控制，使得 在取景器33的液晶屏幕中顯示用于維持圖像的運動方向恒定的指示。 可供選擇的是，通過提供聲音裝置，可以使該指示設(shè)置有語音指導(dǎo)。
接下來參照圖5所示的流程圖描述使用圖1所示的配置生成全景 圖像的示例處理過程。請注意，圖4所示的系統(tǒng)控制器42控制圖1 的各部件。
首先，圖像拾取設(shè)備l診斷和初始化硬件。在步驟S1中，圖像 拾取設(shè)備l執(zhí)行各種圖像拍攝參數(shù)處理。例如，圖像拾取設(shè)備l獲取 關(guān)于由膝光計(未示出)檢測的亮度的信息，并且計算圖像拍攝參數(shù)， 例如，孔徑值和快門速度。
在步驟S2中，系統(tǒng)控制器42確定是否按下了快門按鈕。也就是 說，系統(tǒng)控制器42根據(jù)是否生成了基于快門按鈕的按下操作的操作 信息而確定圖像拍攝開始時間。更具體地說，如果系統(tǒng)控制器42能 夠識別操作信號的生成(真)，則該處理進入步驟S3。然而，如果系 統(tǒng)控制器42不能識別操作信號的生成(假)，則該處理進入步驟S1。
在步驟S3中，記錄介質(zhì)16從時鐘單元15獲取圖像拍攝開始時間。
16在步驟S4中，圖像拾取設(shè)備l拍攝多個圖像。例如，系統(tǒng)控制 器42使用在步驟Sl獲得的參數(shù)來控制透鏡系統(tǒng)10的孔徑系統(tǒng)驅(qū)動 單元，并且使用圖像拾取元件ll來拍攝圖像。圖像拾取元件ll將拍 攝的被攝體圖像轉(zhuǎn)換為電信號，例如，成像信號C1。將成像信號C1 供應(yīng)到圖^f象RAM 12。
在步驟S5中，圖像拾取方向檢測單元13檢測運動矢量。更具體 地說，圖像拾取方向檢測單元13計算存儲在圖像RAM 12中的成像 信號Cl與從在先前的圖像拍攝中提取的成像信號生成的組合圖像之 間的相對位移。以這樣的方式，圖像拾取方向檢測單元13檢測拍攝 圖像之間的運動方向和拍攝圖像之間的運動量，即，運動矢量。
在步驟S6中，全景拼接單元14執(zhí)行全景拼接過程。更具體地說， 全景拼接單元14基于在步驟S5中檢測的運動矢量而順序地組合在步 驟S4中存儲在圖像RAM12中的成像信號Cl，以生成全景圖像。
在步驟S7中，系統(tǒng)控制器42確定快門按鈕當(dāng)前是否正被按下。 更具體地說，系統(tǒng)控制器42基于從鍵輸入單元41接收的操作信號來 檢測圖像拍攝結(jié)束時間。如果系統(tǒng)控制器42確定按下操作繼續(xù)(真)， 則該處理返回到步驟S4，以繼續(xù)圖像拍攝操作。其后，重復(fù)被攝體圖 像拍攝操作。然而，如果系統(tǒng)控制器42確定按下操作完成(假)， 則該處理進入步驟S8，以執(zhí)行圖像拍攝完成操作。
在步驟S8中，記錄介質(zhì)16從時鐘單元15獲取圖像拍攝結(jié)束時間。
在步驟S9中，全景拼接單元14對在步驟S6中生成的全景圖像 執(zhí)行修整過程。
在步驟S10中，圖像拾取方向檢測單元13基于在步驟S5中獲 得的多個運動矢量檢測在從拍攝圖像的開始時間到結(jié)束時間的時間 段期間的圖像拾取方向。也就是說，圖像拾取方向檢測單元13基于 多個運動矢量檢測在從拍攝圖像的開始時間到結(jié)束時間的時間段期 間的一個圖像拾取方向。
在步驟Sll中，記錄介質(zhì)16將在步驟S9中獲得的全景圖像與關(guān)于在步驟S10中獲得的在從拍攝圖像的開始時間到結(jié)束時間的時間 段期間的圖像拾取方向、在步驟S3沖獲得的圖像拍攝開始時間和在 步驟S8中獲得的圖像拍攝結(jié)束時間的信息相關(guān)聯(lián)。然后，記錄介質(zhì) 16存儲這些信息項。
以這樣的方式，根據(jù)本實施例，圖像拾取設(shè)備l可以將全景組合 圖像與在從拍攝圖像的開始時間到結(jié)束時間的時間段期間的圖像拾 取方向和時間點一起記錄，該全景組合圖像包括在拍攝圖像的開始時 間與結(jié)束時間之間的不同時間點處拍攝的圖像。隨后，根據(jù)本實施例， 當(dāng)觀察者對多個全景圖像執(zhí)行滾動再現(xiàn)時，圖像拾取設(shè)備1允許觀察 者在短時間內(nèi)有效地觀看到期望的全景圖像。
另外，根據(jù)本實施例，如果緊挨在圖像拍攝操作完成之前拍攝攝 影者在圖像拍攝開始時間不想拍攝的被攝體(例如，人)的圖像，則 圖像拾取設(shè)備1可以防止從包括不想要的被攝體的圖像起滾動再現(xiàn)該 全景圖像。也就是說，例如，當(dāng)觀察者使用TV監(jiān)視器對存儲在記錄 介質(zhì)16中的全景圖像執(zhí)行滾動再現(xiàn)時，圖像拾取設(shè)備1允許觀察者 在短時間內(nèi)有效地觀看到期望的全景圖像。
此外，根據(jù)本實施例的圖像拾取設(shè)備l，當(dāng)用戶想要有效地刪除 包括無意地拍攝的被攝體(例如，人)的圖像的圖像數(shù)據(jù)時，用戶可 以通過沿著與圖像拾取方向相反的方向開始滾動再現(xiàn)來有效地刪除 不想要的圖像數(shù)據(jù)。
雖然參照圖5所示的流程圖描述了用于在拍攝圖像的同時(即， 實時地)生成全景圖像的示例處理，但是本申請不局限于該示例處理。 例如，在從拍攝圖像的開始時間到結(jié)束時間的時間段期間獲得的所有 的圖像數(shù)據(jù)項都被存儲在記錄介質(zhì)16中之后，全景拼接單元14可以 生成全景圖像。
接下來描述根據(jù)本實施例的用于對全景圖像執(zhí)行滾動再現(xiàn)的示 例再現(xiàn)控制設(shè)備。如圖6所示，再現(xiàn)控制設(shè)備50包括記錄介質(zhì)51、 壓縮/解壓縮電路52、 RAM 53、提取電路54、控制微計算機55、顯 示驅(qū)動器56和顯示單元57。記錄介質(zhì)51的例子包括硬盤、磁光盤、DVD、 MD (商標(biāo)名)、 半導(dǎo)體存儲器和磁帶。記錄介質(zhì)51將使用例如JPEG格式壓縮的全 景圖像與關(guān)于全景攝影的圖像拍攝信息相關(guān)聯(lián)地記錄。
關(guān)于全景攝影的圖像拍攝信息的例子包括在從拍攝圖像的開始 時間到結(jié)束時間的時間段期間的圖像拾取方向；通過特征提取而獲得 的被攝體的坐標(biāo)信息；以及全景圖像拍攝時間信息。例如，作為指示 在從拍攝圖像的開始時間到結(jié)束時間的時間段期間的圖像拾取方向 的信息，指示向上、向下、左和右方向的四個值被記錄在記錄介質(zhì)51 中。作為通過特征提取而獲得的被攝體的坐標(biāo)信息，通過面部檢測而 獲得的被攝體圖像的面部坐標(biāo)，更具體地說，眼睛的位置、鼻子的位 置、嘴的位置、或諸如眼睛或鼻子的多個部位的位置，被存儲在記錄 介質(zhì)51中。請注意，如果被攝體具有指示面部例如眼睛、鼻子和嘴 的信息，則被攝體并不局限于人。例如，被攝體可以是狗或貓。例如， 作為全景圖像拍攝時間信息，拍攝全景圖像的開始時間和結(jié)束時間被 記錄在記錄介質(zhì)51中。這種圖像拍攝信息;故記錄在由EXIF標(biāo)準(zhǔn)限定 的記錄介質(zhì)51的用戶區(qū)域中。記錄介質(zhì)51將全景圖像供應(yīng)到壓縮/ 解壓縮電路52,并且將與全景圖像相關(guān)聯(lián)的圖像拍攝信息供應(yīng)到控制 微計算機55。
壓縮/解壓縮電路52從記錄介質(zhì)51接收使用例如JPEG格式壓 縮的全景拼接圖像。然后，壓縮/解壓縮電路52對從記錄介質(zhì)51供應(yīng) 的全景組合圖像執(zhí)行壓縮/解壓縮過程。其后，壓縮/解壓縮電路52將 解壓縮的全景圖像數(shù)據(jù)供應(yīng)到RAM 53。
RAM 53從壓縮/解壓縮電路52接收由壓縮/解壓縮電路52解壓 縮的全景圖像數(shù)據(jù)。在控制微計算機55的控制下，RAM53將從壓縮 /解壓縮電路52供應(yīng)的全景圖像數(shù)據(jù)的部分供應(yīng)到提取電路54。
為了在顯示單元57上顯示全景圖像，提取電路54放大或縮小從 RAM53供應(yīng)的全景圖像數(shù)據(jù)，使得該全景圖像具有期望的尺寸。然 后，提取電路54將生成的圖像數(shù)據(jù)供應(yīng)到顯示驅(qū)動器56。
控制孩史計算機55與記錄介質(zhì)51、壓縮/解壓縮電路52、RAM 53、
19提取電路54、顯示驅(qū)動器56和顯示單元57連接。控制微計算機55 控制這些單元的操作?？刂莆⒂嬎銠C55接收與記錄在記錄介質(zhì)51中 的全景圖像數(shù)據(jù)相關(guān)聯(lián)的圖像拍攝信息。隨后，控制微計算機55將 全景圖像數(shù)據(jù)的提取區(qū)域和關(guān)于放大因子或縮小因子的信息供應(yīng)到 提取電路54。
例如，作為關(guān)于提取區(qū)域的信息，控制微計算機55將用于通過 在水平方向或垂直方向上順序地偏移提取圖〗象的坐標(biāo)而在顯示單元 上滾動顯示提取圖像的指示值供應(yīng)到提取電路54。以這樣的方式，如 下面更詳細地描述的那樣，控制微計算機55基于相關(guān)聯(lián)的在從拍攝 圖像的開始時間到結(jié)束時間的時間段期間的圖像拾取方向和被攝體 的坐標(biāo)信息來確定在再現(xiàn)全景圖像時所使用的滾動方向。另外，控制 微計算機55基于相關(guān)聯(lián)的在從拍攝圖像的開始時間到結(jié)束時間的時 間段期間的圖像拾取方向和被攝體的坐標(biāo)信息來確定在再現(xiàn)全景圖 像時所使用的滾動起始點。此外，控制微計算機55基于被攝體的坐 標(biāo)信息來確定在再現(xiàn)全景圖像時所使用的滾動速度。
也就是說，再現(xiàn)控制設(shè)備50基于與全景圖像相關(guān)的圖像拍攝信 息確定在再現(xiàn)全景圖像時所使用的滾動方向、滾動起始點和滾動速 度。因此，在觀看者連續(xù)地滾動再現(xiàn)多個全景圖像時，再現(xiàn)控制設(shè)備 50允許觀看者有效地欣賞觀看全景圖像。
當(dāng)關(guān)于被攝體的坐標(biāo)信息沒有與全景圖像相關(guān)聯(lián)地記錄在記錄 介質(zhì)51中時，控制微計算機55檢測坐標(biāo)信息。例如，控制微計算機 55將在全景圖像的面部子圖像中的眼睛位置檢測作為參考位置。隨 后，控制微計算機55基于眼睛的位置歸一化面部子圖像，并且將面 部的每一部位的亮度提取作為面部的特征。其后，控制微計算機55 使用面部圖像的每一個提取部分的亮度和預(yù)先記錄的確定信息來執(zhí) 行各種確定過程。例如，控制微計算機55確定被攝體是成人還是孩
子，面部是否為帶笑的面部，以及被攝體是否預(yù)先登記。雖然針對充 當(dāng)參考位置的眼睛描述了上述實例，但是除了眼睛以外的面部的部位 可以用于參考位置。例如，包含在面部中的鼻子的位置，或者諸如眼
20睛和鼻子的多個部位的位置可以用于參考位置。
顯示驅(qū)動器56從提取電路54接收要在顯示單元57上顯示的全 景圖像數(shù)據(jù)的部分。顯示驅(qū)動器56將從提取電路54供應(yīng)的圖像數(shù)據(jù) 供應(yīng)到顯示單元57。
顯示單元57由例如LCD形成。顯示單元57顯示從顯示驅(qū)動器 56供應(yīng)的圖像數(shù)據(jù)。
接下來，參照圖7所示的流程圖描述用于控制由圖6所示的再現(xiàn) 控制器設(shè)備50執(zhí)行的再現(xiàn)的示例方法。
首先，再現(xiàn)控制設(shè)備50診斷和初始化硬件。在步驟S20中，控 制微計算機選擇要再現(xiàn)的全景圖像。
在步驟S21中，控制微計算機55確定操作單元的再現(xiàn)按鈕(未 示出)是否被按下。也就是說，控制微計算機55根據(jù)是否生成了基 于再現(xiàn)按鈕按下操作的操作信號來識別再現(xiàn)開始定時。如果控制-微計 算機55可以識別操作信號的生成(在步驟S21中"真")，則該處 理進入步驟S22。然而，如果控制微計算機55沒有識別操作信號的生 成(在步驟S21中"假")，則該處理進入步驟S20，在該步驟S20 中，再次執(zhí)行該過程。
在步驟S22中，控制微計算機55讀取所選擇的全景圖像。更具 體地說，使用壓縮/解壓縮電路52，控制微計算機55對在步驟S20中 從記錄在記錄介質(zhì)51中的壓縮全景圖像中選擇的全景圖像進行解壓 縮。其后，控制微計算機55將由壓縮/解壓縮電路52解壓縮的全景圖 4象存儲在RAM 53中。
在步驟S23中，控制微計算機55選擇在再現(xiàn)全景圖像時所使用 的滾動方向。更具體地說，控制微計算機55基于關(guān)于與在步驟S22 中從RAM 53讀取的全景圖像相關(guān)聯(lián)的圖像拾取方向的信息和被攝體 的坐標(biāo)信息來確定滾動方向。
作為確定滾動方向的方法的例子，參照圖8至IO描述用于在全 景圖像的長度方向再現(xiàn)全景圖像的方法。
當(dāng)在從拍攝全景圖像的開始時間到結(jié)束時間的時間段期間的圖
21像拾取方向與全景圖像相關(guān)聯(lián)時，確定滾動方向與圖像拾取方向相
同。例如，在圖8所示的全景圖像60中，如指示圖像拾取方向61的 箭頭所示，指示圖像拍攝從左邊開始并在右邊結(jié)束的信息與全景圖像 60相關(guān)聯(lián)。因此，控制微計算機55確定再現(xiàn)方向62與圖像拾取方向 61相同。也就是說，控制微計算機55確定滾動方向與圖像拾取方向 61相同。
可選擇的是，當(dāng)充當(dāng)被攝體的坐標(biāo)信息的面部的坐標(biāo)與全景圖像 相關(guān)聯(lián)或者預(yù)先檢測面部的坐標(biāo)時，確定滾動方向是這樣的方向在 全景圖像的在左右方向上從與面部的坐標(biāo)更靠近的一端到另一端。也 就是說，控制微計算機55通過從全景圖像的在長度方向上與面部的 坐標(biāo)更靠近的一端滾動到另一端來再現(xiàn)全景圖像。例如，對于圖9所 示的全景圖像60，控制微計算機55確定再現(xiàn)方向65是從與面部中心 的坐標(biāo)64的位置更靠近的右端到左端的方向。
可選擇的是，當(dāng)面部的坐標(biāo)和在從拍攝全景圖像的開始時間到結(jié) 束時間的時間段期間的圖像拾取方向與全景圖像相關(guān)聯(lián)時，基于面部 的坐標(biāo)確定滾動再現(xiàn)方向?？刂莆⒂嬎銠C55使用優(yōu)先于關(guān)于圖像拾 取方向的信息的面部坐標(biāo)來確定滾動再現(xiàn)方向。例如，對于圖10所 示的全景圖像60，由于圖像拾取方向67和面部坐標(biāo)68與全景圖像 60相關(guān)聯(lián)，所以控制孩i計算機55確定再現(xiàn)方向69是從與面部坐標(biāo) 68的位置更靠近的右端到左端的方向。也就是說，控制微計算機55 使用優(yōu)先于圖像拾取方向67的面部坐標(biāo)68來確定滾動方向。
此外，可選擇的是，當(dāng)多個面部坐標(biāo)與全景圖像相關(guān)聯(lián)時，如果 關(guān)于面部坐標(biāo)的權(quán)重信息被記錄，則控制微計算機55基于面部坐標(biāo) 中的具有最高權(quán)重的面部坐標(biāo)來確定滾動方向。例如，控制微計算機 55確定從全景圖像的在長度方向上與具有最高權(quán)重的面部的中心點 更靠近的一端到另一端的方向是再現(xiàn)方向。例如，當(dāng)將權(quán)重分配給成 人和孩子的面部坐標(biāo)時，可以將較高的權(quán)重賦予給孩子。當(dāng)將權(quán)重分 配給帶笑的面部或不帶笑的面部坐標(biāo)時，可以將較高的權(quán)重賦予給帶 笑的面部。當(dāng)將權(quán)重分配給預(yù)先登記的面部和非預(yù)先登記的面部的坐
22標(biāo)時，可以將較高的權(quán)重賦予給預(yù)先登記的面部?？蛇x擇的是，例如，
控制微計算機55可以確定從全景圖像的在長度方向上更靠近或更遠 離多個面部的坐標(biāo)的中心點的一端到另一端的方向是再現(xiàn)方向。
此外，可選擇的是，當(dāng)關(guān)于全景圖像的圖像拍攝時間信息與全景 圖像60相關(guān)聯(lián)時，控制微計算機55可以基于圖像拾取方向和圖像拍 攝時間信息確定滾動方向。例如，控制微計算機55可以確定從具有 早圖像拍攝時間的圖像到具有晚圖像拍攝時間的圖像的方向是滾動 方向。
另外，根據(jù)設(shè)置，例如，控制微計算機55可以確定與圖8所示 的圖像拾取方向61、圖9所示的再現(xiàn)方向65和圖10所示的再現(xiàn)方向 69中的一個相反的方向是再現(xiàn)方向。此外，控制^:計算才幾55可以確 定從具有晚圖像拍攝時間的圖像到具有早圖像拍攝時間的圖像的方 向是滾動方向。
在步驟S24中，控制微計算機55計算初始顯示區(qū)域，以便從整 個全景圖像提取在再現(xiàn)開始時間處顯示的區(qū)域。例如，如圖11所示， 控制微計算機55基于與在步驟S22中讀取的全景圖像60相關(guān)聯(lián)的面 部的坐標(biāo)72或者在執(zhí)行全景攝影時檢測的面部坐標(biāo)來確定滾動起始 點，即，顯示區(qū)域71。顯示區(qū)域71中的圖像在顯示單元57中被顯示 為顯示圖像73。
更具體地說，由于指示從左到右拍攝圖像的圖像拾取方向61與 圖8所示的全景圖像60相關(guān)聯(lián)，所以控制微計算機55確定滾動再現(xiàn) 的起始點是最左圖像。也就是說，控制微計算機55確定再現(xiàn)起始圖 像63是滾動再現(xiàn)的初始顯示區(qū)域。然而，控制微計算機55也可以根 據(jù)設(shè)置確定圖像拾取方向61上的最終區(qū)域為再現(xiàn)起始圖像。
更具體地說，當(dāng)面部的坐標(biāo)與全景圖像相關(guān)聯(lián)或者預(yù)先檢測到面 部的坐標(biāo)時，控制孩i計算機55可以將在長度方向上靠近面部的坐標(biāo) 的全景圖像的一端確定為滾動起始點。例如，對于圖9所示的全景圖 像，由于坐標(biāo)64的位置在長度方向上靠近右端，所以控制微計算機 55將右端確定為再現(xiàn)起始圖像66。然而，控制微計算機55也可以根據(jù)設(shè)置確定更遠離坐標(biāo)64的位置的右端和左端之一是再現(xiàn)起始圖像 66。
此外，可選擇的是，當(dāng)面部的坐標(biāo)和關(guān)于圖像拾取方向的信息與 全景圖像相關(guān)聯(lián)時，控制微計算機55基于面部坐標(biāo)確定滾動起始點。 也就是說，控制微計算機55使用優(yōu)先于關(guān)于圖像拾取方向的信息的 面部坐標(biāo)來確定滾動起始點。例如，對于圖10所示的全景圖像60， 由于存在圖像拾取方向67和面部坐標(biāo)68,所以控制微計算機55確定， 全景圖像60的在長度方向上更靠近坐標(biāo)68的位置的一端是再現(xiàn)起始 圖像70。然而，控制孩B十算機55也可以根據(jù)設(shè)置確定更遠離坐標(biāo)68 的位置的一端是再現(xiàn)起始圖像。
此外，可選擇的是，多個面部坐標(biāo)與全景圖像相關(guān)聯(lián)，如果記錄 關(guān)于坐標(biāo)的權(quán)重信息，則控制微計算機55基于多個面部坐標(biāo)中具有 最高權(quán)重的面部坐標(biāo)確定滾動起始點。例如，控制微計算機55確定， 具有最高權(quán)重的面部坐標(biāo)，即，全景圖像的在長度方向上靠近具有較 高優(yōu)先權(quán)的面部坐標(biāo)的一端是滾動起始點。例如，如上所述，當(dāng)將權(quán) 重分配給成人和孩子的面部坐標(biāo)時，將較高權(quán)重賦予給孩子。當(dāng)將權(quán) 重分配給帶笑的面部和不帶笑的面部的坐標(biāo)時，將較高權(quán)重賦予給帶 笑的面部。當(dāng)將權(quán)重分配給預(yù)先登記的面部和非預(yù)先登記的面部的坐 標(biāo)時，將較高權(quán)重分配給預(yù)先登記的面部。然而，例如，控制微計算 才幾55可以確定，在長度方向上最遠離多個面部中的中心點面部的全 景圖像的 一端是滾動起始點。
在步驟S25中，控制微計算機55確定是否按下再現(xiàn)停止按鈕， 以識別全景圖像再現(xiàn)停止定時。也就是說，如果控制微計算機55能 夠識別操作信號的生成(在步驟S25中"真，，)，則控制微計算機55 停止對全景圖像的再現(xiàn)。因此，該處理完成。然而，如果控制微計算 機55未能識別操作信號的生成(在步驟S25中"假，，)，該處理進 入步驟S26。
在步驟S26中，控制微計算機55確定是否按下用于指示跳躍到 對下一個圖像的處理的操作單元的按鈕。因此，控制微計算機55識
24別定時，以跳躍到對下一個全景圖像的處理。也就是說，如果控制微
計算機55能夠識別操作信號的生成(在步驟S26中"真，，)，則該 處理進入到步驟S27。控制微計算機55停止對當(dāng)前正顯示的全景圖像 的再現(xiàn)，并且開始讀取下一個圖像。然而，如果控制微計算機55未 能識別操作信號的生成(在步驟S26中"假")，則該處理進入到步 驟S28。也就是說，控制微計算機55開始顯示當(dāng)前選擇的全景圖像。
在步驟S27中，控制微計算機55讀取在當(dāng)前選擇的全景圖像之 后的全景圖像。術(shù)語"之后的全景圖像"是指具有比當(dāng)前選擇的全景 圖像的文件編號大一的文件編號的全景圖像。如果不存在比當(dāng)前選擇 的全景圖像的文件編號大一的文件編號的全景圖像，則術(shù)語"之后的 全景圖像"是指具有比當(dāng)前選擇的全景圖像的文件編號大二的文件編 號的全景圖像。如果不存在比當(dāng)前選擇的全景圖像的文件編號大二的 文件編號的全景圖像，則術(shù)語"之后的全景圖像"是指具有比當(dāng)前選 擇的全景圖像的文件編號大三的文件編號的全景圖像。對于大于三以 上的編號，使用類似的定義。當(dāng)執(zhí)行這種選擇操作時，如果文件編號 到達可選擇的最大文件編號，則將具有最小文件編號的全景圖像選擇 作為之后的圖像的候選者。如在步驟S22中一樣，在步驟S27中，使 用壓縮/解壓縮電路52，控制微計算機55對存儲在記錄介質(zhì)51中的 壓縮全景圖像中的先前選擇的全景圖像之后的全景圖像進行解壓縮。 其后，控制微計算機55將由壓縮/解壓縮電路52解壓縮的全景圖像存 儲在RAM 53中。
在步驟S28中，顯示全景圖像的提取圖像?？刂莆⒂嬎銠C55指 示提取電路54，以從RAM53讀取提取區(qū)域中的全景圖像的部分。其 后，提取電路54放大或縮小全景圖像，使得全景圖像具有顯示單元 57的最佳尺寸。當(dāng)再現(xiàn)高清晰度圖像時，術(shù)語"顯示單元57的最佳 尺寸"是指標(biāo)準(zhǔn)格式尺寸，例如1920乘以1080。由顯示驅(qū)動器56對 由提取電路54轉(zhuǎn)換為標(biāo)準(zhǔn)格式尺寸的全景圖像進行D/A轉(zhuǎn)換。其后， 在顯示單元57上顯示全景圖像的部分。請注意，當(dāng)在步驟S28中顯 示第一圖像時，使用在步驟S24中計算的全景提取區(qū)域。然而，當(dāng)顯
25示第一圖像之后的圖像(第二圖像或更后的圖像)時，使用在步驟S29 中計算的區(qū)域。
在步驟S29中，對提取圖像進行偏移。也就是說，通過控制提取 圖像的移動量和移動定時，控制微計算機55對在步驟S23中選擇的 向上、向下、左和右方向之一中的當(dāng)前選擇的提取圖像進行偏移。
當(dāng)在選擇的提取圖像中包含面部坐標(biāo)時，控制微計算機55將偏 移量減少為小于在正常情況中使用的值。例如，如圖12所示，當(dāng)在 選擇的提取圖像中包含面部坐標(biāo)74時，控制微計算機55可以在面部 坐標(biāo)74正包含在顯示區(qū)域75中時延遲偏移定時，從而緩慢地執(zhí)行滾 動顯示。以這樣的方式，通過在正在顯示用戶想要X)l看的圖^f象的同時 降低滾動速度，控制微計算機55可以向用戶提供有效的觀看方法。
另外，為了控制滾動速度，控制微計算機55可以顯示各種方法。 例如，當(dāng)正在顯示單元57上顯示面部的同時，控制孩史計算機55可以 逐漸地降低滾動速度，直到顯示屏幕的中心。在顯示屏幕的中心之后， 控制微計算機55可以逐漸增加滾動速度?？晒┻x擇的是，當(dāng)正在顯 示單元57上顯示面部的同時，控制樣B十算機55可以逐漸地降低滾動 速度和放大面部部位的圖像，直到顯示屏幕的中心。在顯示屏幕的中 心之后，控制孩B十算才幾55可以逐漸地增加滾動速度和逐漸地縮小面 部部位的圖像。另外，可供選擇的是，當(dāng)正在顯示單元57上顯示面 部的同時，控制;敝計算機55可以逐漸地增加滾動速度和放大面部部 位的圖像，直到顯示屏幕的中心。在顯示屏幕的中心之后，控制微計 算機55可以逐漸地降低滾動速度和逐漸地縮小面部部位的圖像。
在步驟S30中，檢測全景圖像的末端。更具體地說，在步驟S29 中對提取坐標(biāo)進行偏移之后，控制微計算機55確定顯示區(qū)域是否到 達全景圖像的向上、向下、左或右端。例如，如果顯示區(qū)域76到達 圖13所示的全景圖像60的末端(在步驟S30中"真")，則該處理 進入步驟S27，在步驟S27中讀取之后的全景圖像。然而，如果顯示 區(qū)域76沒有到達全景圖像60的末端(在步驟S30中"假")，則該 處理進入步驟S25,在步驟S25中，確定是否按下再現(xiàn)停止按鈕。如上所述，根據(jù)再現(xiàn)控制設(shè)備50，當(dāng)用戶對多個全景圖像連續(xù) 地執(zhí)行滾動再現(xiàn)時，用戶可以在短時間內(nèi)有效地觀看到用戶期望的全 景圖像。
更具體地說，假設(shè)在用戶開始拍攝圖像時用戶想要拍攝圖3A所 示的全景圖像25。然而，如圖3B所示，緊挨在停止拍攝圖像之前， 無意地拍攝了被攝體27。在這種情況中，通過適當(dāng)?shù)馗淖儩L動再現(xiàn)方 向或滾動起始點，控制微計算機55可以防止從不想要的被攝體27起 滾動再現(xiàn)全景圖像26。
另外，根據(jù)再現(xiàn)控制設(shè)備50，當(dāng)用戶想要有效地刪除包含不想 要的被攝體或人的圖像的圖像時，通過沿著與圖像拾取方向相反的方 向開始滾動顯示，可以有效地刪除包含被:攝體或人的圖像。如上所述， 當(dāng)刪除了錯誤攝影(miss shot)時，可以刪除整個全景圖像，或者可 以刪除用戶指定的局部圖像。
此外，根據(jù)再現(xiàn)控制設(shè)備50,通過在正顯示用戶想要仔細地觀 看的圖像(例如，面部圖像)時降低滾動速度，用戶可以不受挫折地 欣賞觀看全景圖像。
根據(jù)本實施例的上述系列過程可以通過硬件、軟件或二者的組合 來執(zhí)行。在使用軟件執(zhí)行上述系列過程的情況中，可以將描述過程的 順序的程序安裝在嵌入專用硬件中的計算機的存儲器或可執(zhí)行各種 過程的通用計算機中。隨后，可以執(zhí)行上述系列過程。
例如，程序可以被預(yù)先記錄在諸如硬盤或ROM的記錄介質(zhì)中。 可供選擇的是，程序可以被臨時或永久地存儲(記錄)在諸如軟盤、 CD-ROM (壓縮盤-只讀存儲器)、MO (磁光)盤、DVD (數(shù)字通用 盤)、磁盤或半導(dǎo)體存儲器的可移動盤中。這樣可移動盤可以用所謂 的封裝軟件的形式提供。
除了將程序從上述可移動記錄介質(zhì)安裝在計算機中之外，還可以 按如下的那樣將程序安裝在計算機上。無線地或者使用網(wǎng)絡(luò)(例如， 局域網(wǎng)(LAN)或因特網(wǎng))將程序從下載網(wǎng)站傳送到計算機。計算機 接收傳送的程序。因此，可以將程序安裝在諸如硬盤的內(nèi)部記錄介質(zhì)
27中。另外，實施例中描述的各種過程不僅可以按上述順序執(zhí)行，而且 可以并行或獨立地執(zhí)行。另外，在本實施例中，術(shù)語"系統(tǒng)"是指多 個裝置的邏輯組合，所述多個裝置不必一定包含在一個主體中。
本申請包含與2008年5月20日在日本專利局提交的日本在先專 利申請JP 2008-132319中所公開的主題相關(guān)的主題，該專利申請的全 部內(nèi)容通過引用而并入本文中。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計要求和其它因素，可以進行 各種變形、組合、子組合和替換，只要它們在所附的保護范圍或其等同 形式的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像拾取設(shè)備，包括圖像拾取單元，被配置為將通過透鏡系統(tǒng)輸入的圖像轉(zhuǎn)換為圖像數(shù)據(jù)；拼接單元，被配置為由在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間所拍攝的圖像的多個圖像數(shù)據(jù)項生成全景圖像；圖像拾取方向檢測單元，被配置為檢測在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的圖像拾取方向；時鐘單元，被配置為檢測關(guān)于全景圖像的圖像拍攝時間的圖像拍攝時間信息；以及記錄單元，被配置為將由時鐘單元檢測的圖像拍攝時間信息和由圖像拾取方向檢測單元檢測的在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的圖像拾取方向與由拼接單元生成的全景圖像相關(guān)聯(lián)地記錄。
2. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，還包括 運動矢量檢測單元，被配置為檢測所述多個圖像數(shù)據(jù)項中的每兩個相鄰圖像數(shù)據(jù)項之間的運動矢量；其中，圖像拾取方向檢測單元基于由運動矢量檢測單元檢測的所 述多個圖像數(shù)據(jù)項中的每兩個相鄰圖像數(shù)據(jù)項之間的運動矢量，來檢 測在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的圖像 拾取方向。
3. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中，時鐘單元將圖 像拍攝開始時間和圖像拍攝結(jié)束時間檢測作為圖像拍攝時間信息。
4. 根據(jù)權(quán)利要求l所述的圖像拾取設(shè)備，還包括坐標(biāo)信息檢測單元，被配置為通過提取包含在圖像數(shù)據(jù)中的被攝 體的特征來檢測被攝體的坐標(biāo)信息；其中，記錄單元將由坐標(biāo)信息檢測單元檢測的坐標(biāo)信息與由拼接 單元生成的全景圖像相關(guān)聯(lián)地記錄。
5. —種拍攝圖像的方法，包括下述步驟 將通過透鏡系統(tǒng)輸入的圖像轉(zhuǎn)換為圖像數(shù)據(jù)；由在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間拍 攝的圖像的多個圖像數(shù)據(jù)項生成全景圖像；檢測關(guān)于全景圖像的圖像拍攝時間的圖像拍攝時間信息；檢測在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間 的圖像拾取方向；以及將圖像拍攝時間信息和在從全景圖像拍攝開始到全景圖像拍攝 結(jié)束的時間段期間的圖像拾取方向與所生成的全景圖像相關(guān)聯(lián)地記 錄。
6. —種再現(xiàn)控制設(shè)備，包括記錄單元，被配置為將在從全景圖像拍攝開始到全景圖像拍攝結(jié) 束的時間段期間的全景圖像的圖像拾取方向和通過提取全景圖像的 特征而檢測的被攝體的坐標(biāo)信息中的 一 個與全景圖像相關(guān)聯(lián)地記錄， 所述全景圖像是通過組合由在從全景圖像拍攝開始到全景圖像拍攝 結(jié)束的時間段期間拍攝和通過透鏡系統(tǒng)輸入的多個圖像轉(zhuǎn)換而成的 多個圖像數(shù)據(jù)項而生成的；以及滾動方向確定單元，被配置為基于圖像拾取方向和坐標(biāo)信息中的 一個確定再現(xiàn)全景圖^f象的滾動方向。
7. 根據(jù)權(quán)利要求6所述的再現(xiàn)控制設(shè)備，其中，記錄單元將在 圖像數(shù)據(jù)中檢測的被攝體的面部圖像的坐標(biāo)作為與全景圖像相關(guān)聯(lián) 的坐標(biāo)信息記錄。
8. 根據(jù)權(quán)利要求7所述的再現(xiàn)控制設(shè)備，其中，當(dāng)圖像拾取方 向和面部圖像的坐標(biāo)與全景圖像相關(guān)聯(lián)時，滾動方向確定單元基于面 部圖#>的坐標(biāo)確定滾動方向。
9. 根據(jù)權(quán)利要求7所述的再現(xiàn)控制設(shè)備，其中，當(dāng)多個面部圖 像的坐標(biāo)與全景圖像相關(guān)聯(lián)，并且，記錄了與面部圖像的坐標(biāo)相關(guān)的 權(quán)重信息時，滾動方向確定單元基于具有最高權(quán)重的面部圖像的坐標(biāo) 來確定; 袞動方向。
10. 根據(jù)權(quán)利要求6所述的再現(xiàn)控制設(shè)備，還包括 滾動起始點確定單元，被配置為基于圖像拾取方向和坐標(biāo)信息中的 一個確定開始再現(xiàn)全景圖像的滾動起始點。
11. 根據(jù)權(quán)利要求10所述的再現(xiàn)控制設(shè)備，其中，記錄單元將 基于從圖像數(shù)據(jù)中檢測的被攝體的面部圖像的坐標(biāo)信息作為坐標(biāo)信 息與全景圖像相關(guān)聯(lián)地記錄。
12. 根據(jù)權(quán)利要求11所述的再現(xiàn)控制設(shè)備，其中，當(dāng)圖像拾取 方向和面部圖像的坐標(biāo)與全景圖像相關(guān)聯(lián)時，滾動起始點確定單元基 于面部圖像的坐標(biāo)確定滾動起始點。
13. 根據(jù)權(quán)利要求11所述的再現(xiàn)控制設(shè)備，其中，當(dāng)多個面部 圖像的坐標(biāo)與全景圖像相關(guān)聯(lián)，并且，記錄了與面部圖像的坐標(biāo)相關(guān) 的權(quán)重信息時，滾動起始點確定單元基于具有最高權(quán)重的面部圖像的 坐標(biāo)來確定滾動起始點。
14. 根據(jù)權(quán)利要求6所述的再現(xiàn)控制設(shè)備，還包括 滾動速度確定單元，被配置為基于坐標(biāo)信息確定在再現(xiàn)全景圖像時所使用的滾動速度。
15. —種再現(xiàn)控制方法，包括下述步驟將在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的 全景圖像的圖像拾取方向和通過提取全景圖像的特征而檢測的被攝 體的坐標(biāo)信息中的 一個與全景圖像相關(guān)聯(lián)地記錄，所述全景圖像是通 過組合由在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間 拍攝和通過透鏡系統(tǒng)輸入的多個圖像轉(zhuǎn)換而成的多個圖像數(shù)據(jù)項而 生成的；以及基于圖像拾取方向和坐標(biāo)信息中的一個確定再現(xiàn)全景圖像的滾 動方向。
全文摘要
本發(fā)明提供一種圖像拾取設(shè)備、圖像拾取方法、再現(xiàn)控制設(shè)備、再現(xiàn)控制方法和程序。該圖像拾取設(shè)備包括圖像拾取單元，被配置為將通過透鏡系統(tǒng)輸入的圖像轉(zhuǎn)換為圖像數(shù)據(jù)；拼接單元，被配置為由在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間所拍攝的圖像的多個圖像數(shù)據(jù)項生成全景圖像；圖像拾取方向檢測單元，被配置為檢測在從全景圖像拍攝開始到全景圖像拍攝結(jié)束的時間段期間的圖像拾取方向；時鐘單元，被配置為檢測關(guān)于全景圖像的圖像拍攝時間的圖像拍攝時間信息；以及記錄單元，被配置為將由時鐘單元檢測的圖像拍攝時間信息和由圖像拾取方向檢測單元檢測的圖像拾取方向與由拼接單元生成的全景圖像相關(guān)聯(lián)地記錄。
文檔編號H04N5/14GK101588451SQ200910134299
公開日2009年11月25日 申請日期2009年4月16日 優(yōu)先權(quán)日2008年5月20日
發(fā)明者林直樹 申請人:索尼株式會社