顯示控制設(shè)備、顯示控制方法和程序的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種顯示控制設(shè)備、顯示控制方法和程序。所述顯示控制設(shè)備：在被布置了通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空間中，將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫(huà)到縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置上，并且畫(huà)出按照所述縮略圖像被拾取的順序關(guān)聯(lián)所述縮略圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，所述鳥(niǎo)瞰顯示圖像提供對(duì)包含三維模型和縮略圖像的虛擬三維空間的鳥(niǎo)瞰繪圖；并且使得顯示單元顯示鳥(niǎo)瞰顯示圖像。
【專利說(shuō)明】顯示控制設(shè)備、顯示控制方法和程序
[0001]本申請(qǐng)是2009年10月10日提交的申請(qǐng)?zhí)枮?00910179365.4的題為“顯示控制
設(shè)備、顯示控制方法和程序”的申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及顯示控制設(shè)備、顯示控制方法和程序。
【背景技術(shù)】
[0003]常規(guī)回放顯示和菲林膠卷顯示(film roll display)可用作顯示利用諸如視頻相機(jī)之類的成像裝置所拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的視頻顯示方法。常規(guī)回放顯示方法將通過(guò)沿時(shí)間軸t從頭開(kāi)始依次再現(xiàn)其攝錄下來(lái)的運(yùn)動(dòng)圖像來(lái)顯示視頻(成像屏幕的X軸和y軸)。用戶可以通過(guò)觀看這樣常規(guī)地再現(xiàn)的視頻來(lái)把握成像內(nèi)容(imaged content),但是需要相當(dāng)長(zhǎng)一段時(shí)間。為了減少時(shí)間，一種方法可用于在回放顯示中使運(yùn)動(dòng)圖像快進(jìn)，但是在某一程度上仍然需要一段時(shí)間以便在整體上把握運(yùn)動(dòng)圖像的成像內(nèi)容。
[0004]另一方面，菲林膠卷顯示方法將以預(yù)定時(shí)間間隔從攝錄下來(lái)的運(yùn)動(dòng)圖像中選擇多個(gè)幀圖像并且按時(shí)間順序依次將幀圖像顯示為縮略圖像(例如，見(jiàn)日本專利申請(qǐng)?zhí)亻_(kāi)2007-134771號(hào)公報(bào)和特開(kāi)2008-166988號(hào)公報(bào))。根據(jù)菲林膠卷顯示方法，如果從以列表顯示的縮略圖像中選擇任意一個(gè)縮略圖像，則也可以通過(guò)從與該縮略圖像相對(duì)應(yīng)的回放位置開(kāi)始常規(guī)地再現(xiàn)這些運(yùn)動(dòng)圖像來(lái)顯示它們。根據(jù)這樣的菲林膠卷顯示，用戶可以比常規(guī)回放顯示更容易地在整體上理解運(yùn)動(dòng)圖像的成像內(nèi)容。

【發(fā)明內(nèi)容】

[0005]然而，在菲林膠卷顯示方法的情況中，如果拾取縮略圖像的時(shí)間間隔太短，則用戶需要觀看許多縮略圖像因而花費(fèi)長(zhǎng)時(shí)間來(lái)把握成像內(nèi)容。另一方面，如果時(shí)間間隔太長(zhǎng)，則縮略圖像之間的相互關(guān)系減少，因此使得用戶難以把握成像內(nèi)容。此外，通過(guò)菲林膠卷顯示方法，縮略圖像僅按時(shí)間順序被布置在兩維平面上，所以很難理解例如拍攝時(shí)成像裝置的位置以及該成像裝置與拍攝對(duì)象之間的相對(duì)位置關(guān)系之類的成像狀況。
[0006]已經(jīng)鑒于以上問(wèn)題做出了本發(fā)明，并且希望提供能夠以易于理解的方式顯示所拾取的運(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況的、新穎和改進(jìn)的顯示控制設(shè)備、顯示控制方法和程序。
[0007]根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種顯示控制設(shè)備，包括:存儲(chǔ)單元，該存儲(chǔ)單元存儲(chǔ)通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的運(yùn)動(dòng)圖像；顯示圖像生成單元，該顯示圖像生成單元在布置了所述運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空間中，將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫(huà)到這些縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置上，并且在虛擬三維空間中畫(huà)出按照縮略圖像被拾取的順序來(lái)關(guān)聯(lián)縮略圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，該鳥(niǎo)瞰顯示圖像提供對(duì)包含三維模型和所述縮略圖像的所述虛擬三維空間的鳥(niǎo)瞰繪圖；以及顯示控制單元，所述顯示控制單元使得所述顯示單元顯示所述鳥(niǎo)瞰顯示圖像。
[0008]該存儲(chǔ)單元可以存儲(chǔ)運(yùn)動(dòng)軌跡信息作為運(yùn)動(dòng)圖像的附加信息，運(yùn)動(dòng)軌跡信息表示成像裝置在拾取所述運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡；并且該顯示圖像生成單元可基于運(yùn)動(dòng)軌跡信息在虛擬三維空間中縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置處畫(huà)出縮略圖像。
[0009]按照縮略圖像被拾取的順序關(guān)聯(lián)縮略圖像的信息可以是表示成像裝置在拾取運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡的運(yùn)動(dòng)軌跡線，并且該顯示圖像生成單元可基于運(yùn)動(dòng)軌跡信息、以按照縮略圖像被拾取的順序連接縮略圖像的方式在虛擬三維空間中畫(huà)出運(yùn)動(dòng)軌跡線。
[0010]顯示圖像生成單元可以根據(jù)縮略圖之間的運(yùn)動(dòng)圖像的內(nèi)容或成像狀況、以各種線的類型畫(huà)出連接縮略圖像的運(yùn)動(dòng)軌跡線。
[0011]顯示圖像生成單元可以將表示所述縮略圖像中的至少一些縮略圖像的內(nèi)容或成像狀況的替換圖像畫(huà)到所述縮略圖像的繪圖位置來(lái)替代所述縮略圖像。
[0012]顯示圖像生成單元可以根據(jù)虛擬三維空間中的縮略圖像的繪圖位置來(lái)改變要被畫(huà)出的縮略圖像的大??；并且如果要被畫(huà)出的縮略圖像的大小是預(yù)定的大小或更小，則可以畫(huà)出替換圖像來(lái)替代所述縮略圖像。
[0013]顯示圖像生成單元可以在元數(shù)據(jù)與縮略圖像相關(guān)聯(lián)的條件下，在虛擬三維空間中畫(huà)出有關(guān)縮略圖像的元數(shù)據(jù)。
[0014]顯示控制設(shè)備還可以包括圖像編輯單元，該圖像編輯單元響應(yīng)于對(duì)顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的三維模型或縮略圖像的用戶操作來(lái)編輯運(yùn)動(dòng)圖像。
[0015]顯示控制設(shè)備還可以包括圖像編輯單元,該圖像編輯單元響應(yīng)于顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的角度的指定，生成在所指定的角度觀看到的運(yùn)動(dòng)圖像。
[0016]顯示控制設(shè)備還可以包括圖像檢索單元，該圖像檢索單元檢索包含與從所述顯示單元上所顯示的鳥(niǎo)瞰顯示圖像中選出的三維模型相同或相似的三維模型或與該三維模型相對(duì)應(yīng)的物體的圖像。
[0017]根據(jù)本發(fā)明另一實(shí)施例，提供了一種顯示控制方法，包括以下步驟:將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫(huà)到虛擬三維空間中所述縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置上，運(yùn)動(dòng)圖像是通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的，運(yùn)動(dòng)圖像中所包含的物體的三維模型被布置在虛擬三維空間中，并且在虛擬三維空間中畫(huà)出按照縮略圖像被拾取的順序關(guān)聯(lián)縮略圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，鳥(niǎo)瞰顯示圖像提供對(duì)包含三維模型和所述縮略圖像的虛擬三維空間的鳥(niǎo)瞰繪圖；以及使得顯示單元顯示所述鳥(niǎo)瞰顯示圖像。
[0018]根據(jù)本發(fā)明另一實(shí)施例，提供了 一種程序，使得計(jì)算機(jī)執(zhí)行以下步驟:將從運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像畫(huà)到虛擬三維空間中所述縮略圖像被拾取時(shí)成像裝置的相應(yīng)位置上，運(yùn)動(dòng)圖像是通過(guò)使用成像裝置執(zhí)行一次連續(xù)的成像操作所拾取的，運(yùn)動(dòng)圖像中所包含的物體的三維模型被布置在虛擬三維空間中，并且在虛擬三維空間中畫(huà)出按照縮略圖像被拾取的順序關(guān)聯(lián)縮略圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，鳥(niǎo)瞰顯示圖像提供對(duì)包含三維模型和所述縮略圖像的虛擬三維空間的鳥(niǎo)瞰繪圖；以及使得顯示單元顯示所述鳥(niǎo)瞰顯示圖像。
[0019]根據(jù)以上配置，在顯示通過(guò)成像裝置的一系列成像操作所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模型的虛擬三維空間中，從所述運(yùn)動(dòng)圖像中所提取的多個(gè)縮略圖像被畫(huà)到這些縮略圖像被拾取時(shí)其相應(yīng)的成像裝置的位置處。此外，按照縮略圖像被拾取的順序關(guān)聯(lián)縮略圖像的信息被畫(huà)出。結(jié)果，提供對(duì)包含三維模型和縮略圖像的虛擬三維空間的鳥(niǎo)瞰繪圖的鳥(niǎo)瞰顯示圖像被生成。此外，鳥(niǎo)瞰顯示圖像被顯示在顯示單元上。因此，通過(guò)使用一個(gè)圖像來(lái)適當(dāng)?shù)乇硎具\(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況的鳥(niǎo)瞰顯示圖像可以被顯示。
[0020]因此，根據(jù)本發(fā)明，可以以其內(nèi)容和成像狀況能夠被容易地把握的方式來(lái)顯示所拾取的運(yùn)動(dòng)圖像。
【專利附圖】

【附圖說(shuō)明】
[0021]圖1示出顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示裝置；
[0022]圖2示出顯示了根據(jù)該實(shí)施例的常規(guī)回放顯示圖像的顯示裝置；
[0023]圖3示出顯示了根據(jù)該實(shí)施例的菲林膠卷顯示圖像的顯示裝置；
[0024]圖4示出根據(jù)本發(fā)明第一實(shí)施例的顯示鳥(niǎo)瞰顯示圖像的成像裝置；
[0025]圖5是示出根據(jù)該實(shí)施例的成像裝置的硬件結(jié)構(gòu)的框圖；
[0026]圖6是示出根據(jù)該實(shí)施例的成像裝置的功能結(jié)構(gòu)的框圖；
[0027]圖7是示出根據(jù)該實(shí)施例的用于顯示鳥(niǎo)瞰顯示圖像的方法的流程圖；
[0028]圖8示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例I ;
[0029]圖9示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例2 ；
[0030]圖10示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例3 ；
[0031]圖11示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例4 ；
[0032]圖12示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例5 ；
[0033]圖13示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例6 ；
[0034]圖14示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例7 ；
[0035]圖15示出根據(jù)本發(fā)明第二實(shí)施例的顯示鳥(niǎo)瞰顯示圖像的信息處理設(shè)備；
[0036]圖16是示出根據(jù)該實(shí)施例的信息處理設(shè)備的硬件結(jié)構(gòu)的框圖；
[0037]圖17是示出根據(jù)該實(shí)施例的信息處理設(shè)備的功能結(jié)構(gòu)的框圖；
[0038]圖18示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例I ;
[0039]圖19示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例2 ；
[0040]圖20示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例3 ；
[0041]圖21示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例4 ；
[0042]圖22示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例5 ;以及
[0043]圖23示出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像的顯示示例6。
【具體實(shí)施方式】
[0044]以下，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在說(shuō)明書(shū)和附圖中，用相同的標(biāo)號(hào)表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。
[0045]將按以下順序給出描述。
[0046]1.鳥(niǎo)瞰顯示的概覽[0047]2.第一實(shí)施例(在通過(guò)成像裝置成像時(shí)的鳥(niǎo)瞰顯示)
[0048]3.第二實(shí)施例(在通過(guò)信息處理設(shè)備進(jìn)行回放時(shí)的鳥(niǎo)瞰顯示)
[0049]〈1.鳥(niǎo)瞰顯示的概覽>
[0050]首先，將參考圖1給出對(duì)根據(jù)本發(fā)明第一實(shí)施例的鳥(niǎo)瞰顯示的概覽的描述。圖1示出顯示裝置I的示例，在顯示裝置I上顯示根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示圖像3。
[0051]根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示是一種視頻顯示方法，其用于在利用成像裝置所拾取的視頻(運(yùn)動(dòng)圖像)被顯示在顯示裝置I上時(shí)，輔助用戶把握該視頻的拾取內(nèi)容和成像狀況。
[0052]如圖1中所示，在顯示裝置I的顯示屏幕2上，顯示鳥(niǎo)瞰顯示圖像3。鳥(niǎo)瞰顯示圖像3是示意性地表示通過(guò)成像裝置的一系列成像操作拾取的成像圖像的內(nèi)容的靜止圖像。一系列成像操作例如是指從成像裝置上的成像開(kāi)始按鈕被按下的時(shí)間點(diǎn)到成像裝置上的成像停止按鈕被按下的時(shí)間點(diǎn)(即，“l(fā)rec”)連續(xù)地拾取對(duì)象的運(yùn)動(dòng)圖像。通過(guò)執(zhí)行這一系列成像操作，運(yùn)動(dòng)圖像數(shù)據(jù)被獲得作為一個(gè)成像單元，并且之后通常被記錄在記錄介質(zhì)中作為一個(gè)文件。鳥(niǎo)瞰顯示圖像3用作被用來(lái)把握通過(guò)這一系列成像操作拾取的運(yùn)動(dòng)圖像的整體的數(shù)據(jù)的內(nèi)容和成像狀況的索引圖像。
[0053]具體而言，如圖1中所示，鳥(niǎo)瞰顯示圖像3提供虛擬三維空間6的鳥(niǎo)瞰繪圖，虛擬三維空間6包括所拾取的運(yùn)動(dòng)圖像中的物體的三維模型4和從該運(yùn)動(dòng)圖像提取的多個(gè)縮略圖像5。虛擬三維空間6示意性地表示由成像裝置成像的現(xiàn)實(shí)世界(reality)的三維空間(成像范圍中的對(duì)象)。在虛擬三維空間6中，所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模型4被布置在現(xiàn)實(shí)世界的三維空間中的相應(yīng)位置。
[0054]物體是指所拾取的運(yùn)動(dòng)圖像中所包含的目標(biāo)(即，成像范圍內(nèi)存在的某些對(duì)象)。被表示為三維模型4的物體例如可以是諸如東兩、人、交通工具或建筑物之類的任意有形實(shí)體，但是優(yōu)選地應(yīng)至少具有一定的大小，以被顯示為在虛擬三維空間6中能夠被容易地理解的某些事物。這樣的物體的三維模型4可以被布置為與現(xiàn)實(shí)世界的三維空間中存在的成像物體具有幾乎相同的形狀、幾乎相同的位置并且在幾乎相同的方向上。在圖1的鳥(niǎo)瞰顯示圖像3的示例中，小學(xué)的健身房被表示為虛擬三維空間6，而成像時(shí)存在的多個(gè)桌子4a和一個(gè)舞臺(tái)4b被顯示為物體的三維模型4。
[0055]此外，在鳥(niǎo)瞰顯示圖像3的虛擬三維空間6中，從運(yùn)動(dòng)圖像中提取的多個(gè)縮略圖像5被畫(huà)到當(dāng)縮略圖像5被拾取時(shí)它們相應(yīng)的、成像裝置的位置和方向上。縮略圖像5是通過(guò)成像裝置的一系列成像操作而被拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的數(shù)據(jù)中提取的幀圖像(靜止圖像)。在從運(yùn)動(dòng)圖像中提取縮略圖像的一種方法中，可以以預(yù)定的時(shí)間間隔從運(yùn)動(dòng)圖像提取預(yù)定數(shù)目的縮略圖像5。此外，在不將成像裝置從固定位置移開(kāi)的情況下拾取的縮略圖像或具有良好圖像質(zhì)量的縮略圖像可以從運(yùn)動(dòng)圖像中被選擇并且被提取出。因此，可以將要顯示在鳥(niǎo)瞰顯示圖像3上的縮略圖像5限制為適當(dāng)?shù)臄?shù)目。因此，將在鳥(niǎo)瞰顯示圖像3中畫(huà)出許多縮略圖像5從而防止復(fù)雜和多余的顯示。
[0056]在圖1的示例中，在虛擬三維空間6中按照?qǐng)D像被拾取的順序畫(huà)出5個(gè)縮略圖像5a、5b、5c、5d和5e?？s略圖像5a_5e被布置在分別與縮略圖像5a_5e被拾取時(shí)成像裝置的實(shí)際位置和方向相對(duì)應(yīng)的位置和方向上。例如，運(yùn)動(dòng)圖像中開(kāi)頭的縮略圖像5a(第一縮略圖像5a)被布置在與成像裝置的成像開(kāi)始位置相對(duì)應(yīng)的位置，即，朝向用戶并且在虛擬三維空間6的左側(cè)。此外，縮略圖像5a被布置在縮略圖像5a被拾取時(shí)成像裝置的方向(從成像開(kāi)始位置朝向舞臺(tái)的三維模型4b的方向)上。
[0057]此外，縮略圖像5在虛擬三維空間6中以如下方式按照透視法被畫(huà)出，即以它們?cè)谔摂M三維空間6中可朝向前方較大、朝向后方較小的方式。例如，第一縮略圖像5a和第五縮略圖像5e是從朝向前方的實(shí)際成像位置被拾取的，并且因此在虛擬三維空間6中被畫(huà)成朝向你擴(kuò)大。另一方面，第三縮略圖像5c是從朝向最后方(朝向舞臺(tái))的實(shí)際成像位置被拾取的，并且因此在虛擬三維空間6中被畫(huà)成朝向后方縮小。
[0058]以這種方式，縮略圖像5在虛擬三維空間6中被以如下方式畫(huà)出，即以它們的位置、方向和大小可與它們被拾取時(shí)它們相應(yīng)的、成像裝置的位置和方向相對(duì)應(yīng)。
[0059]并且，在虛擬三維空間6中，成像裝置的運(yùn)動(dòng)軌跡線7被以依次互連多個(gè)縮略圖像5的方式畫(huà)出。運(yùn)動(dòng)軌跡線7是如下信息的示例，該信息按照?qǐng)D像被拾取的順序關(guān)聯(lián)多個(gè)縮略圖像5并且表示成像裝置實(shí)際拾取運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡。運(yùn)動(dòng)軌跡線7按照?qǐng)D像被拾取的順序沿時(shí)間序列互連多個(gè)縮略圖像5并且沿成像裝置的實(shí)際運(yùn)動(dòng)路徑(即，成像位置)被畫(huà)出。通過(guò)畫(huà)出這樣的運(yùn)動(dòng)軌跡線7，可以恰當(dāng)?shù)乇硎究s略圖像5的相互關(guān)系和拾取位置。因此，基于運(yùn)動(dòng)軌跡線7，用戶可以容易地理解縮略圖像5被拾取的順序以及成像裝置在拾取運(yùn)動(dòng)圖像時(shí)成像裝置的運(yùn)動(dòng)軌跡。注意，盡管沒(méi)有詳細(xì)描述，但是運(yùn)動(dòng)軌跡線7是基于利用成像裝置上所安裝的各個(gè)傳感器獲得的成像位置信息來(lái)畫(huà)出的。
[0060]以這樣的方式，在鳥(niǎo)瞰顯示圖像3和布置了所拾取的運(yùn)動(dòng)圖像中所包含的物體的三維模型4的虛擬三維空間6中，從該運(yùn)動(dòng)圖像中提取出的多個(gè)縮略圖像5被畫(huà)到成像時(shí)它們相應(yīng)的、成像裝置的位置和方向上。然后，提供包含縮略圖像5和這樣的物體的三維模型4的虛擬三維空間6的鳥(niǎo)瞰繪圖的鳥(niǎo)瞰顯示圖像3被生成并且被顯示在顯示裝置I的顯示屏幕2上。因此，在虛擬三維空間6中，鳥(niǎo)瞰顯示圖像3可以在實(shí)際拾取的運(yùn)動(dòng)圖像的縮略圖像5與運(yùn)動(dòng)圖像中出現(xiàn)的物體的三維模型4相關(guān)聯(lián)的條件下，提供縮略圖像5和三維模型4的鳥(niǎo)瞰顯示。以下，該顯示方法稱為“四維時(shí)空鳥(niǎo)瞰顯示”。
[0061]通過(guò)觀看該四維鳥(niǎo)瞰顯示中給出的鳥(niǎo)瞰顯示圖像3，用戶可以同時(shí)把握深度軸z和拍攝時(shí)間軸t以及當(dāng)運(yùn)動(dòng)圖像數(shù)據(jù)被獲得時(shí)成像平面的X軸和y軸。S卩，用戶基于鳥(niǎo)瞰顯示圖像3中的三維模型4和縮略圖像5之間的位置關(guān)系、縮略圖像5的布局、方向和大小、以及運(yùn)動(dòng)軌跡線7，不僅可以容易地把握運(yùn)動(dòng)圖像的內(nèi)容，還可以容易地把握其成像狀況。因此，用戶可以觀看提供運(yùn)動(dòng)圖像的索引顯示的鳥(niǎo)瞰顯示圖像3，從而容易地理解運(yùn)動(dòng)圖像是在哪兒以及怎樣被拾取的。
[0062]注意，用于顯示鳥(niǎo)瞰顯示圖像3的顯示裝置I可以是兩維顯示(X，y)或三維顯示(X， y， z)。
[0063]此外，用于生成物體的三維模型4的方法不限于任何預(yù)定方法，并且可以是任何進(jìn)入公知的方法，例如，以下方法(a)-(d)。
[0064](a)用于通過(guò)利用成像裝置上所安裝的各種傳感器來(lái)生成三維模型4的方法
[0065]例如，成像裝置可以裝有距離傳感器和運(yùn)動(dòng)軌跡傳感器，距離傳感器測(cè)量成像時(shí)成像裝置與物體之間的距離，運(yùn)動(dòng)軌跡傳感器測(cè)量成像時(shí)成像裝置的距離軌跡或姿勢(shì)。運(yùn)動(dòng)軌跡傳感器例如可以是角速度傳感器、加速度傳感器、磁傳感器、全球定位系統(tǒng)(GPS)傳感器等。諸如成像裝置或信息處理設(shè)備之類的顯示控制設(shè)備使用各種傳感器來(lái)測(cè)量運(yùn)動(dòng)圖像被拾取時(shí)成像裝置與物體之間的距離以及成像裝置的運(yùn)動(dòng)軌跡或姿勢(shì)。之后，顯示控制設(shè)備分析測(cè)量數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)估計(jì)成像空間中存在的物體的形狀、位置和方向，從而生成其三維模型4。
[0066](b)用于通過(guò)使用軟件從運(yùn)動(dòng)圖像數(shù)據(jù)中自動(dòng)提取三維模型4的方法
[0067]用于生成三維模型的軟件(程序)被安裝到諸如成像裝置或信息處理設(shè)備之類的顯示控制設(shè)備上。該軟件分析運(yùn)動(dòng)圖像的數(shù)據(jù)并且識(shí)別和提取由運(yùn)動(dòng)圖像數(shù)據(jù)給出的視頻中所包含的物體，來(lái)估計(jì)其形狀、位置和大小，從而生成三維模型4。注意，顯示控制設(shè)備可以被布置為經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)從任何其它裝置獲取畫(huà)該裝置類似地生成的三維模型4的數(shù)據(jù)。
[0068](c)用于手動(dòng)生成三維模型4的方法
[0069]用戶在觀看基于所再現(xiàn)的運(yùn)動(dòng)圖像數(shù)據(jù)而顯示的圖像時(shí)，手動(dòng)生成三維模型4?？梢栽谥T如成像裝置或信息處理設(shè)備之類的顯示控制設(shè)備或任何其它裝置中執(zhí)行三維模型4的于動(dòng)再現(xiàn)。在后一情況中，顯示控制設(shè)備可以經(jīng)由網(wǎng)絡(luò)從這些任何其它裝置或記錄介質(zhì)中獲取有關(guān)三維模型4的信息。
[0070](d)通過(guò)方法(a)-(c)生成的三維模型4的組合
[0071]顯示控制設(shè)備將通過(guò)方法(a)-(c)生成的三維模型4進(jìn)行組合來(lái)生成要被布置在虛擬三維空間6中的最終的三維模型4。
[0072]已經(jīng)給出對(duì)用于生成運(yùn)動(dòng)圖像中所包含的物體的三維模型4的方法的描述。注意，要在虛擬三維空間6中畫(huà)出的三維模型4可以是實(shí)際物體的忠實(shí)表示或簡(jiǎn)化表示或已經(jīng)省略了不必要的實(shí)體的簡(jiǎn)化的三維模型4。例如，在鳥(niǎo)瞰顯示圖像3中，可以簡(jiǎn)單地以黑和白顯示三維模型4。因此可以強(qiáng)調(diào)三維模型4周?chē)贾玫目s略圖像5使得可以容易地觀看縮略圖像5。注意，在鳥(niǎo)瞰顯示圖像3中，不是完全不畫(huà)出虛擬三維空間6中的三維模型4，而是可以僅畫(huà)出縮略圖像5，或者可以在不畫(huà)出三維模型4的情況下，畫(huà)出縮略圖像5和后述運(yùn)動(dòng)軌跡線7或者畫(huà)出元數(shù)據(jù)16作為替代。
[0073]此外，顯示控制設(shè)備可以根據(jù)由用戶指定的運(yùn)動(dòng)圖像中的成像時(shí)間，選擇要在鳥(niǎo)瞰顯示圖像3中畫(huà)出三維模型4的位置。例如，通過(guò)針對(duì)三維模型4選擇僅一個(gè)時(shí)間、所有時(shí)間、或周期時(shí)間，可以控制其畫(huà)出位置以及是否被畫(huà)出。
[0074]此外，盡管在鳥(niǎo)瞰顯示圖像3中不僅可以表示成像位置的水平運(yùn)動(dòng)還可以表示其垂直運(yùn)動(dòng)，但是適當(dāng)時(shí)，在繪圖中可以省略不便于俯視的、物體的三維模型(例如，屋頂或地板)。
[0075]此外，顯示控制設(shè)備能夠根據(jù)用戶選擇，任意地改變提供在以上鳥(niǎo)瞰顯示圖像3的鳥(niǎo)瞰顯示時(shí)用作基準(zhǔn)的視點(diǎn)(四維時(shí)空鳥(niǎo)瞰顯示中的視點(diǎn))。例如，顯示控制設(shè)備能夠分析運(yùn)動(dòng)圖像從而獲得最佳視點(diǎn)以在整體上把握運(yùn)動(dòng)圖像的內(nèi)容，并且將最佳視點(diǎn)作為推薦視點(diǎn)呈現(xiàn)給用戶。
[0076]將參考圖2和圖3給出鳥(niǎo)瞰顯示圖像3(圖1)、常規(guī)回放顯示的圖像8(圖2)和菲林膠卷顯示的圖像9(圖3)之間的比較。
[0077]如圖2中所示，常規(guī)回放顯示是沿時(shí)間t軸依次再現(xiàn)攝錄下來(lái)的運(yùn)動(dòng)圖像的視頻(圖像平面的X軸和y軸)的常規(guī)顯示方法。在這樣的常規(guī)回放顯示中，僅顯示被再現(xiàn)的圖像8中的一個(gè)，因此，需要較長(zhǎng)的時(shí)間來(lái)在整體上把握運(yùn)動(dòng)圖像的內(nèi)容。
[0078]此外，如圖3中所示，菲林膠卷顯示是以預(yù)定時(shí)間間隔從攝錄下來(lái)的運(yùn)動(dòng)圖像中提取多個(gè)縮略圖像(幀圖像Ula-1le并且按時(shí)間順序來(lái)依次顯示圖像Ila-1le的方法。相比于以上常規(guī)回放顯示，這樣的菲林膠卷顯示提供容易把握的成像內(nèi)容。然而，如果提取縮略圖像Ila-1le的時(shí)間間隔太短，則一次顯示多個(gè)縮略圖像Ila-1le所以復(fù)雜，因此需要較長(zhǎng)時(shí)間來(lái)把握成像內(nèi)容。另一方面，如果時(shí)間間隔太長(zhǎng)，則縮略圖像Ila-1le之間的相互關(guān)系劣化，因此使得不能把握成像內(nèi)容。
[0079]同時(shí)，如圖1中所示，在根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示圖像3中，不僅可以同時(shí)把握成像平面的X軸、y軸和深度Z軸和所拾取的運(yùn)動(dòng)圖像的拍攝時(shí)間t軸，還可以把握縮略圖像5的拍攝順序、成像位置和方向。因此，用戶可以把握他是在哪里如何拾取該運(yùn)動(dòng)圖像的，從而容易地理解成像內(nèi)容和成像狀況。
[0080]以上已經(jīng)概述了使用四維時(shí)空鳥(niǎo)瞰顯示的鳥(niǎo)瞰顯示圖像3。接著，將給出對(duì)用于顯示鳥(niǎo)瞰顯示圖像3的顯示控制設(shè)備和顯示控制方法的合適的實(shí)施例的描述。
[0081]〈2.第一實(shí)施例〉
[0082]首先，將給出對(duì)根據(jù)本發(fā)明第一實(shí)施例的顯示控制設(shè)備和方法的描述。
[0083]如圖4中所示，第一實(shí)施例可以是本發(fā)明的顯示控制設(shè)備已經(jīng)應(yīng)用到成像裝置10(例如，視頻相機(jī))的示例。作為成像裝置10進(jìn)行的成像中的實(shí)時(shí)應(yīng)用，在裝配在成像裝置10上的顯示裝置130上顯示鳥(niǎo)瞰顯示圖像3。例如，如果用戶想要在利用成像裝置10拾取并攝錄下Irec的運(yùn)動(dòng)圖像之時(shí)或之后確認(rèn)這Irec的運(yùn)動(dòng)圖像的攝錄下來(lái)的內(nèi)容,貝Ij有關(guān)該運(yùn)動(dòng)圖像的數(shù)據(jù)的鳥(niǎo)瞰顯示圖像3將被顯示在顯示裝置130上。
[0084][成像裝置的硬件結(jié)構(gòu)]
[0085]首先，將參考圖5給出對(duì)根據(jù)本實(shí)施例的成像裝置10的硬件結(jié)構(gòu)的描述。圖5是示出根據(jù)該實(shí)施例的成像裝置10的硬件結(jié)構(gòu)的框圖。
[0086]如圖5中所示，根據(jù)該實(shí)施例的成像裝置10示意性地包括成像單元110、信號(hào)處理單元120、顯示裝置130、記錄裝置140、控制單元150、操作單元160、距離傳感器170和運(yùn)動(dòng)軌跡傳感器172。
[0087]成像單元110對(duì)對(duì)象進(jìn)行成像并且輸出模擬圖像信號(hào)。成像單元110包括成像光學(xué)系統(tǒng)111、成像元件112、定時(shí)發(fā)生器113和光學(xué)元件驅(qū)動(dòng)單元114。
[0088]成像光學(xué)系統(tǒng)111包括諸如聚焦透鏡和變焦透鏡之類的各種透鏡、去除不必要的波長(zhǎng)的光濾波器以及諸如孔徑光闌(aperture diaphragm)之類的光學(xué)元件。從對(duì)象入射的光經(jīng)過(guò)成像光學(xué)系統(tǒng)111中的光學(xué)元件到達(dá)成像元件112。成像元件112包括固態(tài)成像元件，例如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)。成像元件112對(duì)經(jīng)由成像光學(xué)系統(tǒng)111導(dǎo)入的光執(zhí)行電光轉(zhuǎn)換，并且輸出表示所拾取的圖像的電信號(hào)(模擬圖像信號(hào))。
[0089]致動(dòng)器(未示出)機(jī)械地連接到成像光學(xué)系統(tǒng)111，該致動(dòng)器是用于調(diào)節(jié)孔徑光闌和移動(dòng)聚焦透鏡的驅(qū)動(dòng)機(jī)構(gòu)。致動(dòng)器還連接到控制其驅(qū)動(dòng)的光學(xué)元件驅(qū)動(dòng)單元114。光學(xué)元件驅(qū)動(dòng)單元114根據(jù)來(lái)自后述中央處理單元(CPU) 151的指令來(lái)控制對(duì)成像光學(xué)系統(tǒng)111的光學(xué)元件的驅(qū)動(dòng)。定時(shí)發(fā)生器(TG) 113根據(jù)來(lái)自CPU151的指令來(lái)生成成像元件112需要的操作脈沖。例如，TG113生成各種脈沖并且向成像元件112提供這些脈沖，所述脈沖例如是垂直傳動(dòng)(vertical transfer)所需的四相脈沖和場(chǎng)轉(zhuǎn)移脈沖(field-shift pulse)以及水平傳動(dòng)所需要的兩相脈沖和快門(mén)脈沖。TGl 13使得能夠驅(qū)動(dòng)成像元件112 (電子快門(mén)功能)。
[0090]從成像元件112輸出的圖像信號(hào)被輸入到信號(hào)處理單元120。信號(hào)處理單元120對(duì)從成像元件112提供的圖像信號(hào)執(zhí)行預(yù)定的信號(hào)處理，并且將信號(hào)處理后的圖像信號(hào)輸出給顯示裝置130和記錄裝置140。信號(hào)處理單元120包括模擬信號(hào)處理單元121、模擬/數(shù)字(A/D)轉(zhuǎn)換單元122和數(shù)字信號(hào)處理單元123。
[0091]模擬信號(hào)處理單元121是用于對(duì)圖像信號(hào)執(zhí)行預(yù)處理的所謂的模擬前端。例如，模擬信號(hào)處理單元121對(duì)作為從成像元件112輸出的所拾取的圖像的電信號(hào)執(zhí)行相關(guān)雙采樣(⑶S)處理和使用可編程增益放大器(PGA)的增益處理。然后，模擬信號(hào)處理單元121將作為該預(yù)處理的結(jié)果獲得的圖像信號(hào)提供給A/D轉(zhuǎn)換單元122。A/D轉(zhuǎn)換單元122將所提供的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)并且將數(shù)字圖像信號(hào)提供給數(shù)字信號(hào)處理單元123。數(shù)字信號(hào)處理單元123對(duì)所提供的數(shù)字圖像信號(hào)執(zhí)行數(shù)字信號(hào)處理(例如，伽馬校正處理和白平衡處理)，從而生成所拾取的圖像的視頻信號(hào)。數(shù)字信號(hào)處理單元123將這樣生成的所拾取的圖像數(shù)據(jù)的視頻信號(hào)輸出給顯示裝置130和記錄裝置140。
[0092]顯示裝置130包括液晶顯示器(IXD)或有機(jī)EL顯示器。顯示裝置130顯示提供給它的各種類型的圖像數(shù)據(jù)。例如，當(dāng)圖像數(shù)據(jù)在成像期間被實(shí)時(shí)地從信號(hào)處理單元120提供時(shí)，顯示裝置130在拾取中間顯示圖像的數(shù)據(jù)。這允許用戶在觀看正由成像裝置10拾取的圖像的同時(shí)執(zhí)行拍攝。此外，如果記錄裝置140中所記錄的、所拾取的圖像的數(shù)據(jù)被再現(xiàn)，則顯示裝置130顯示從記錄裝置140輸入的所再現(xiàn)的圖像數(shù)據(jù)。這允許用戶確認(rèn)記錄裝置140中記錄的所拾取的圖像數(shù)據(jù)的內(nèi)容。注意，顯示裝置130顯示以上鳥(niǎo)瞰顯示圖像3(見(jiàn)圖1)，稍后將描述鳥(niǎo)瞰顯示圖像3的細(xì)節(jié)。
[0093]記錄裝置140在記錄介質(zhì)中記錄各種數(shù)據(jù)，例如這樣拾取的圖像的數(shù)據(jù)及其元數(shù)據(jù)。記錄裝置140可以包括任意記錄裝置，例如，光盤(pán)驅(qū)動(dòng)或硬盤(pán)驅(qū)動(dòng)(HDD)。要使用的記錄介質(zhì)可以是可移除介質(zhì)，例如光盤(pán)、諸如存儲(chǔ)卡之類的半導(dǎo)體存儲(chǔ)器或硬盤(pán)。光盤(pán)例如可以是藍(lán)光盤(pán)、數(shù)字通用光盤(pán)(DVD)或緊致光盤(pán)(CD)。要使用的記錄介質(zhì)可以已經(jīng)被建立在成像裝置10中。
[0094]控制單元100包括微控制器并且整體上控制成像裝置10的操作?？刂茊卧?00例如包括CPU151、EEPR0M152、只讀存儲(chǔ)器(ROM) 153、隨機(jī)存取存儲(chǔ)器(RAM) 155。注意，EEPROM表示“電可擦除可編程ROM”。
[0095]CPU151控制成像單元110中的TGl 13和光學(xué)元件驅(qū)動(dòng)單元114，從而控制成像單元110的成像處理。例如，CPU151通過(guò)調(diào)節(jié)成像光學(xué)系統(tǒng)111的孔徑光闌并且設(shè)置成像元件112的電子快門(mén)速度和模擬信號(hào)處理單元121中的AGC的增益來(lái)執(zhí)行自動(dòng)曝光控制。此夕卜，CPU151例如通過(guò)驅(qū)動(dòng)成像光學(xué)系統(tǒng)111中的聚焦透鏡來(lái)執(zhí)行自動(dòng)聚焦控制以使透鏡自動(dòng)聚焦到對(duì)象上。此外，CPU151對(duì)通過(guò)使用記錄裝置140來(lái)對(duì)記錄和再現(xiàn)所拾取的圖像數(shù)據(jù)的處理進(jìn)行控制。此外，CPU151對(duì)在顯示裝置130上顯示各種類型的顯示數(shù)據(jù)執(zhí)行顯示控制。注意，CPU151執(zhí)行用來(lái)生成鳥(niǎo)瞰顯示圖像3(見(jiàn)圖1)的處理和用于在顯示裝置130上顯示鳥(niǎo)瞰顯示圖像3的顯示控制處理，稍后將描述細(xì)節(jié)。
[0096]在控制單元100的R0M153中，存儲(chǔ)用來(lái)使CPU151執(zhí)行各種類型的控制處理的程序。CPU151基于該程序進(jìn)行操作，以便在使用RAM154時(shí)執(zhí)行以上各種類型的控制所需的算術(shù)運(yùn)算和控制處理。該程序可以預(yù)先存儲(chǔ)在成像裝置中所建立的存儲(chǔ)裝置(例如，R0M153)中。此外，該程序可以在其被存儲(chǔ)在諸如CD、DVD、藍(lán)光盤(pán)或存儲(chǔ)卡之類的可移除記錄介質(zhì)上的條件下被提供給程序裝置，或者經(jīng)由諸如LAN或因特網(wǎng)之類的網(wǎng)絡(luò)被下載到成像裝置。
[0097]操作單元160和顯示裝置130用作用戶接口。操作單元160包括操作按鈕或觸摸面板，并且根據(jù)用戶操作向控制單元100輸出所指派的信息。注意，操作單元160和顯示裝置130可以各包括與成像裝置10分開(kāi)的裝置。
[0098]距離傳感器170被用來(lái)測(cè)量要被成像的對(duì)象與成像裝置10之間的距離。距離傳感器170使得能夠在成像裝置10進(jìn)行的成像期間，測(cè)量作為對(duì)象被包含在成像范圍中的物體與成像裝置10之間的距離。另一方面，運(yùn)動(dòng)軌跡傳感器172被用來(lái)測(cè)量成像期間成像裝置10的位置、運(yùn)動(dòng)軌跡和姿勢(shì)，并且例如可以包括角速度傳感器、加速度傳感器、磁傳感器或GPS傳感器。距離傳感器170和運(yùn)動(dòng)軌跡傳感器172被用來(lái)畫(huà)出鳥(niǎo)瞰顯示圖像3中存在的三維模型4和運(yùn)動(dòng)軌跡線7，稍后將描述細(xì)節(jié)。
[0099][成像裝置的功能結(jié)構(gòu)]
[0100]接著，將參考圖6詳細(xì)給出對(duì)根據(jù)該實(shí)施例的成像裝置10的功能結(jié)構(gòu)的描述。圖6是示出根據(jù)該實(shí)施例的成像裝置10的功能結(jié)構(gòu)的框圖。注意，圖6示意性地示出了用來(lái)顯示表征本實(shí)施例的特征的鳥(niǎo)瞰顯示圖像3的功能單元。
[0101]如圖6中所示,成像裝置10包括:存儲(chǔ)單元20、成像處理單元40、預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70、顯示裝置130、操作單元160、距離傳感器170和運(yùn)動(dòng)軌跡傳感器172。這些裝置中，預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70例如是由成像裝置10中所安裝的軟件實(shí)現(xiàn)的。即，例如，圖5中所示的CPU151根據(jù)R0M153等中所存儲(chǔ)的程序進(jìn)行操作，從而用作預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70。注意，該程序可以經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)提供給成像裝置10。接著，將詳細(xì)給出對(duì)各個(gè)單元的描述。
[0102]存儲(chǔ)單元20存儲(chǔ)各種信息塊21-31，例如運(yùn)動(dòng)圖像數(shù)據(jù)21和縮略圖像信息26。存儲(chǔ)單元20例如包括圖5中所示的記錄裝置140或EEPR0M152。
[0103]成像處理單元40對(duì)對(duì)象進(jìn)行成像并且獲得運(yùn)動(dòng)圖像數(shù)據(jù)21。成像處理單元40例如包括圖5中所示的成像單元110和信號(hào)處理單元120。成像處理單元40將所獲得的運(yùn)動(dòng)圖像數(shù)據(jù)21記錄在存儲(chǔ)單元20中。
[0104]預(yù)處理單元50執(zhí)行預(yù)處理以生成為產(chǎn)生例如圖1中所示的鳥(niǎo)瞰顯示圖像3所需的各種類型的信息和數(shù)據(jù)。預(yù)處理單元50包括距離估計(jì)單元51、語(yǔ)音估計(jì)單元52、運(yùn)動(dòng)軌跡估計(jì)單元53、三維形狀估計(jì)單元54、縮略圖像提取單元55、替換圖像生成單元56、成像信息鏈接單元57和對(duì)象估計(jì)單元58。
[0105]距離估計(jì)單元51執(zhí)行處理以估計(jì)成像裝置10與物體之間的距離關(guān)系。如上所述，成像裝置10裝配有例如利用激光器或聲波或毫米波雷達(dá)的距離傳感器170。距離傳感器170在成像裝置10進(jìn)行的成像期間，測(cè)量成像裝置10與作為對(duì)象存在于成像范圍中的物體之間的距離。距離估計(jì)單元51基于由距離傳感器170測(cè)量出的距離信息和之后對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)24的分析的結(jié)果來(lái)估計(jì)從成像裝置10到成像空間中存在的多個(gè)物體之間的距離和這些物體之間的距離。然后，距離估計(jì)單元51基于所估計(jì)出的距離信息來(lái)生成距離地圖22，并且將距離地圖22保存在存儲(chǔ)單元20中，距離地圖22指示成像時(shí)成像裝置10與物體之間的位置關(guān)系。注意，為了測(cè)量從成像裝置到目標(biāo)之間的距離，可以使用基于使用多個(gè)相機(jī)(成像單元)的立體觀測(cè)(雙目立體觀測(cè))的測(cè)距方法。通過(guò)使用基于立體觀測(cè)(雙目立體觀測(cè))的測(cè)距方法，距離估計(jì)單元51能夠估計(jì)出從成像裝置10到成像空間中存在的多個(gè)物體之間的距離和這些物體之間的距離。
[0106]語(yǔ)音估計(jì)單元52分析添加到運(yùn)動(dòng)圖像數(shù)據(jù)21的音頻數(shù)據(jù)，以檢測(cè)運(yùn)動(dòng)圖像中感興趣的聲音被記錄的圖像位置(圖像位置對(duì)應(yīng)于成像時(shí)間)。感興趣的聲音例如是指與運(yùn)動(dòng)圖像的內(nèi)容相關(guān)聯(lián)的聲音，例如，人所講的話(語(yǔ)音)或物體的聲音效果，不包括諸如噪聲和環(huán)境聲音之類的聲音。語(yǔ)音估計(jì)單元52生成語(yǔ)音信息23并且將其保存在存儲(chǔ)單元20中，語(yǔ)音信息23表示有意義的聲音被記錄的圖像位置。注意，盡管在圖5中示出的成像裝置的框圖中已經(jīng)省略了用來(lái)獲取成像時(shí)的聲音的聲音獲取單元(麥克風(fēng)等)，但是成像裝置10可以包括聲音獲取單元。
[0107]運(yùn)動(dòng)軌跡估計(jì)單元53基于運(yùn)動(dòng)圖像數(shù)據(jù)21的分析結(jié)果和運(yùn)動(dòng)軌跡傳感器172的測(cè)量數(shù)據(jù)來(lái)估計(jì)運(yùn)動(dòng)圖像被拾取時(shí)成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)。如上所述，成像裝置10裝配有距離傳感器170。距離傳感器170例如可以是角速度傳感器、加速度傳感器、磁傳感器或GPS傳感器。角速度傳感器和加速度傳感器分別測(cè)量在成像期間成像裝置10移動(dòng)時(shí)的角速度和角速度。磁傳感器檢測(cè)成像裝置10周?chē)拇艌?chǎng)，從而檢測(cè)出成像裝置10的方向。GPS傳感器檢測(cè)成像裝置10的位置信息(緯度和經(jīng)度)。運(yùn)動(dòng)軌跡傳感器172將例如這樣檢測(cè)出的成像裝置10的角速度、加速度、磁場(chǎng)中的變化、成像位置之類的測(cè)量數(shù)據(jù)(提供給運(yùn)動(dòng)軌跡估計(jì)單元53。運(yùn)動(dòng)軌跡估計(jì)單元53分析這樣的測(cè)量數(shù)據(jù)和以上的運(yùn)動(dòng)圖像數(shù)據(jù)21，從而估計(jì)當(dāng)運(yùn)動(dòng)圖像被拾取時(shí)成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)。然后，運(yùn)動(dòng)軌跡估計(jì)單元53將指示所估計(jì)出的成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24保存在存儲(chǔ)單元20中。
[0108]三維形狀估計(jì)單元54基于距離地圖22和有關(guān)成像裝置10的運(yùn)動(dòng)軌跡信息24，估計(jì)運(yùn)動(dòng)圖像中所包含的物體(例如，圖1中的桌子和舞臺(tái))的三維形狀和位置。運(yùn)動(dòng)圖像中所包含的物體是指成像時(shí)作為對(duì)象存在于成像范圍中的物體。然后，三維形狀估計(jì)單元54將表示所估計(jì)出的物體的三維形狀和位置的物體信息25存儲(chǔ)在存儲(chǔ)單元20中。三維形狀估計(jì)單元54可以基于所估計(jì)出的物體的三維形狀和位置來(lái)生成各個(gè)物體的三維模型4，并且將三維模型4的信息保存在存儲(chǔ)單元20中。
[0109]縮略圖像提取單元55從由成像裝置10拾取的運(yùn)動(dòng)圖像的數(shù)據(jù)中提取多個(gè)縮略圖像5?？s略圖像5是表示該運(yùn)動(dòng)圖像的特征圖像的幀圖像?？s略圖像提取單元55可以以預(yù)定的時(shí)間間隔從運(yùn)動(dòng)圖像中自動(dòng)提取預(yù)定數(shù)目的縮略圖像5或者選擇性的提取在裝置被停止的條件下拾取的縮略圖像5或具有良好圖像質(zhì)量的縮略圖像5?？s略圖像提取單元55將所提取出的多個(gè)縮略圖像5按原樣或?qū)⒅甘鞠鄳?yīng)成像位置(成像時(shí)間)的信息保存在存儲(chǔ)單元20中，作為縮略圖像信息26。
[0110]替換圖像生成單元56生成表示這樣提取的縮略圖像5的內(nèi)容或成像狀況的替換圖像。該替換圖像被顯示來(lái)代替鳥(niǎo)瞰顯示圖像3中的縮略圖像5，該替換圖像例如是圖標(biāo)、插圖、靜止圖像或文本?？s略圖像5的成像狀況例如包括:拾取縮略圖像5時(shí)成像裝置10的方向、相機(jī)的預(yù)設(shè)值(例如，縮放、焦距、曝光、圖像質(zhì)量)、成像裝置的運(yùn)動(dòng)速度、成像裝置10的操作條件和相機(jī)晃動(dòng)?？s略圖像5的內(nèi)容(成像內(nèi)容)是有關(guān)縮略圖像5中所包含的對(duì)象的信息，例如，對(duì)象的名稱、識(shí)別信息、操作、大小和成像環(huán)境。替換圖像生成單元56能夠?qū)⒖s略圖像5轉(zhuǎn)換成圖標(biāo)和插圖，從而生成縮略圖像5的內(nèi)容的圖標(biāo)和插圖(例如，縮略圖像5中所包含的人臉的插圖)。替換圖像生成單元56將這樣生成的替換圖像27保存在存儲(chǔ)單元20中。
[0111]成像信息鏈接單元57將包含成像人信息30和成像裝置信息31的成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)，從而生成成像信息的鏈接信息28。成像人信息30表示對(duì)該運(yùn)動(dòng)圖像進(jìn)行了成像的人，例如這個(gè)人的姓名、標(biāo)識(shí)信息和行為等。成像裝置信息31與給出運(yùn)動(dòng)圖像數(shù)據(jù)21的成像裝置10相關(guān)聯(lián)，因此表示例如成像裝置10的制造商名稱、型號(hào)名稱、標(biāo)識(shí)信息、相機(jī)安裝值之類的成像條件、成像裝置10的操作條件、視頻的類型、圖像的格式以及操作。成像人信息30和成像裝置信息31可以基于操作單元160上的用戶操作來(lái)生成或由成像裝置10自動(dòng)地生成。
[0112]包括這類成像人信息30和成像裝置信息31的成像信息表示通過(guò)成像獲得運(yùn)動(dòng)圖像數(shù)據(jù)21所處于的成像條件，并且用作運(yùn)動(dòng)圖像數(shù)據(jù)21的標(biāo)識(shí)信息或?qū)傩孕畔?。因此，通過(guò)將這樣的成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)，可以識(shí)別運(yùn)動(dòng)圖像數(shù)據(jù)并且更準(zhǔn)確地把握運(yùn)動(dòng)圖像數(shù)據(jù)21的內(nèi)容。因此，成像信息鏈接單元57將成像信息與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)來(lái)生成成像信息的鏈接信息28，并且將其保存在存儲(chǔ)單元20中。注意，成像信息可以與Irec運(yùn)動(dòng)圖像數(shù)據(jù)21整體相關(guān)聯(lián)，或者取決于成像信息的內(nèi)容、針對(duì)Irec運(yùn)動(dòng)圖像數(shù)據(jù)21的每個(gè)預(yù)定圖像單元(例如，每一幀)來(lái)關(guān)聯(lián)。在后一情況中，可以將成像信息與縮略圖像5中的每一個(gè)圖像相關(guān)聯(lián)，從而在鳥(niǎo)瞰顯示圖像3 (見(jiàn)圖10)中顯示縮略圖像5和指示它們的內(nèi)容或成像狀況的元數(shù)據(jù)。
[0113]對(duì)象估計(jì)單元58分析運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)估計(jì)所拾取的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而生成對(duì)象信息29。對(duì)象信息29包含該運(yùn)動(dòng)圖像中所包含的對(duì)象的名稱、行為、大小和成像環(huán)境。對(duì)象估計(jì)單元58將所生成的對(duì)象信息29保存在存儲(chǔ)單元20中。
[0114]顯示圖像生成單元60基于運(yùn)動(dòng)圖像數(shù)據(jù)21和由預(yù)處理單元50生成的各種信息塊(即，數(shù)據(jù)塊22-29)來(lái)生成鳥(niǎo)瞰顯示圖像3。具體而言，顯示圖像生成單元60基于以上距離地圖22、運(yùn)動(dòng)軌跡信息24、物體信息25等來(lái)畫(huà)出如下虛擬三維空間6，運(yùn)動(dòng)圖像數(shù)據(jù)21中所包含的物體的三維模型4被布置在所述虛擬三維空間6中。然后，顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24、縮略圖像信息26等在虛擬三維空間6中的相應(yīng)成像位置處畫(huà)出從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取出的多個(gè)縮略圖像5。此外，顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24等畫(huà)出按照縮略圖像5被拾取的順序關(guān)聯(lián)縮略圖像5的運(yùn)動(dòng)軌跡線7。結(jié)果，如圖1中所示，生成了鳥(niǎo)瞰顯示圖像3，其提供包含三維模型4和縮略圖像5的虛擬三維空間6的鳥(niǎo)瞰繪圖。
[0115]顯示圖像生成單元60基于運(yùn)動(dòng)軌跡信息24識(shí)別在成像裝置10拾取縮略圖像5時(shí)成像裝置10的位置(縮略圖像5的成像位置)和方向，并且將這些縮略圖像分別畫(huà)在虛擬三維空間6中的位置和方向上。在這種情況中，顯示圖像生成單元60根據(jù)縮略圖像5和三維模型4在虛擬三維空間6中被畫(huà)出的位置而改變它們的大小。例如，如果縮略圖像5被畫(huà)在虛擬三維空間6中的后方，則它們將比較小，而如果縮略圖像5被畫(huà)在虛擬三維空間6的前方，則它們將較大。因此，虛擬三維空間6可以被顯示為就像是從斜上方視角觀看一樣，使得可以容易地把握成像狀況。
[0116]注意，顯示圖像生成單元60可以將所生成的鳥(niǎo)瞰顯示圖像3與運(yùn)動(dòng)圖像數(shù)據(jù)21相關(guān)聯(lián)并且將其保存到存儲(chǔ)單元20中。這消除了重新生成具有相同運(yùn)動(dòng)圖像數(shù)據(jù)21的鳥(niǎo)瞰顯示圖像3的必要。此外，顯示圖像生成單元60能夠基于語(yǔ)音信息23、替換圖像27、成像信息的鏈接信息28或?qū)ο笮畔?9來(lái)畫(huà)出鳥(niǎo)瞰顯示圖像3中的各種附加信息，稍后將描述細(xì)節(jié)。
[0117]顯示控制單元70控制顯示裝置130(例如，IXD)使得顯示裝置130可以顯示由顯示圖像生成單元60生成的鳥(niǎo)瞰顯示圖像3。這使得顯示裝置130顯示鳥(niǎo)瞰顯示圖像3。注意，由顯示控制單元70進(jìn)行的顯示控制和由顯示圖像生成單元60進(jìn)行的鳥(niǎo)瞰顯示圖像3的生成可以響應(yīng)于操作單元160上的用戶操作被執(zhí)行或根據(jù)設(shè)置被自動(dòng)執(zhí)行。
[0118][顯示控制流程]
[0119]接著，將參考圖7給出對(duì)根據(jù)本實(shí)施例的用于顯示成像裝置10中的鳥(niǎo)瞰顯示圖像3的方法的描述。圖7是示出根據(jù)本實(shí)施例的用于顯示鳥(niǎo)瞰顯示圖像3的方法的流程圖。
[0120]如圖7中所示，首先成像裝置10中的CPU151分析圖6中所示的存儲(chǔ)單元20中所存儲(chǔ)的運(yùn)動(dòng)成像數(shù)據(jù)21和由距離傳感器170和運(yùn)動(dòng)軌跡傳感器172測(cè)量出的數(shù)據(jù)(SlO)。因此，獲得如圖6中所示的各種信息和數(shù)據(jù)塊22-29。
[0121]接著，CPU151基于距離地圖22、運(yùn)動(dòng)軌跡信息24和物體信息25來(lái)生成存在于所拾取的運(yùn)動(dòng)圖像中的多個(gè)物體的三維模型4(S12)。此外，CPU151根據(jù)預(yù)定的提取標(biāo)準(zhǔn)來(lái)從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取多個(gè)縮略圖像5 (S14)。
[0122]然后，CPU151畫(huà)出虛擬三維空間6，該虛擬三維空間6中，在S12生成的物體的三維模型4被布置到與物體的實(shí)際位置相對(duì)應(yīng)的位置(S16)。隨后，CPU151在虛擬三維空間6中將在S14提取出的多個(gè)縮略圖像5畫(huà)到縮略圖像5被拾取時(shí)成像裝置10的位置和方向上(S18)。此外，CPU151基于運(yùn)動(dòng)軌跡信息24等來(lái)畫(huà)出按照縮略圖像5被拾取的順序使縮略圖像5相關(guān)聯(lián)的運(yùn)動(dòng)軌跡線7 (S20)。因此，可以生成提供虛擬三維空間6的鳥(niǎo)瞰繪圖的鳥(niǎo)瞰顯示圖像3，該虛擬三維空間6包括與通過(guò)執(zhí)行一次成像操作獲得的運(yùn)動(dòng)圖像有關(guān)的三維模型4、縮略圖像5和運(yùn)動(dòng)軌跡線7 (見(jiàn)圖1)。
[0123]此外，必要時(shí)，CPU151基于語(yǔ)音信息23、替換圖像27、成像信息的鏈接信息28或?qū)ο笮畔?9來(lái)畫(huà)出鳥(niǎo)瞰顯示圖像3中的附加信息(S22)。例如，可以允許畫(huà)出例如圖標(biāo)或插圖之類的替換圖像來(lái)代替縮略圖像5，在檢測(cè)到語(yǔ)音的縮略圖像5中畫(huà)出標(biāo)記，或畫(huà)出縮略圖像5的元數(shù)據(jù)。
[0124]然后，CPU151向顯示裝置130發(fā)送這樣生成的鳥(niǎo)瞰顯示圖像3的數(shù)據(jù)使得顯示裝置130可以在其上顯示鳥(niǎo)瞰顯示圖像3 (S24)。結(jié)果，如圖1中所示的鳥(niǎo)瞰顯示圖像3出現(xiàn)在顯示裝置130上，從而允許用戶恰當(dāng)?shù)匕盐者\(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況。
[0125][鳥(niǎo)瞰顯示圖像的顯示示例]
[0126]接著，將參考圖8至圖14給出對(duì)根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示圖像3的顯示示例的描述。注意，下述鳥(niǎo)瞰顯示圖像3將由以上成像裝置10中的顯示圖像生成單元60生成并且由顯示控制單元70顯示在顯示裝置130上。
[0127](I)鳥(niǎo)瞰顯示和常規(guī)回放顯示的組合(圖8)
[0128]如圖8中所示，顯示控制單元70提供對(duì)鳥(niǎo)瞰顯示圖像3與常規(guī)回放顯示圖像8的組合的顯示。如果用戶從鳥(niǎo)瞰顯示圖像3中選出一個(gè)縮略圖像5c，則顯示控制單元70從與所選擇的縮略圖像5c相對(duì)應(yīng)的時(shí)間開(kāi)始常規(guī)地再現(xiàn)運(yùn)動(dòng)圖像數(shù)據(jù)21，從而將常規(guī)回放顯示圖像8再現(xiàn)為運(yùn)動(dòng)圖像。以這種方式，通過(guò)在鳥(niǎo)瞰顯示圖像3中選擇希望確認(rèn)的縮略圖像5c，用戶能夠從該位置開(kāi)始觀看常規(guī)回放顯示運(yùn)動(dòng)圖像8。因此，用戶可以更準(zhǔn)確地把握所拾取的運(yùn)動(dòng)圖像的內(nèi)容。
[0129]此外，常規(guī)回放顯示圖像8中的成像位置和正被再現(xiàn)的視頻將以可以與其他部分區(qū)分開(kāi)來(lái)的方式被顯示。在所示示例中，在常規(guī)回放顯示中正被再現(xiàn)的縮略圖像5c上畫(huà)出箭頭狀指針12。這使得用戶能夠識(shí)別當(dāng)前正在常規(guī)回放顯示中被再現(xiàn)的縮略圖像5c和隨后的圖像的視頻以及其再現(xiàn)位置。
[0130](2)鳥(niǎo)瞰顯示與菲林膠卷顯示的組合(圖9)
[0131]如圖9中所示，顯示控制單元70提供對(duì)鳥(niǎo)瞰顯示圖像3與菲林膠卷顯示圖像9的組合顯示。鳥(niǎo)瞰顯示圖像3的縮略圖像5a_5e分別對(duì)應(yīng)于菲林膠卷顯示圖像9的縮略圖像lla-lle。如果用戶從鳥(niǎo)瞰顯示圖像3中選擇一個(gè)縮略圖像5c，則顯示控制單元70在菲林膠卷顯示圖像9中從與所選擇的縮略圖像5c相對(duì)應(yīng)的縮略圖像Ilc的位置開(kāi)始再現(xiàn)視頻。以這種方式，通過(guò)對(duì)鳥(niǎo)瞰顯示圖像3和菲林膠卷顯示圖像9進(jìn)行組合，可以以更容易理解的方式來(lái)顯示所拾取的運(yùn)動(dòng)圖像的內(nèi)容，特別是時(shí)間軸t的信息。
[0132]此外，在菲林膠卷顯示圖像9中的成像位置和正被再現(xiàn)的視頻將以可以與其他部分區(qū)分開(kāi)來(lái)的方式被顯示。在所示示例中，鳥(niǎo)瞰顯示圖像3的縮略圖像5a與菲林膠卷顯示圖像9中的縮略圖像Ilc分別被框13和14包圍。這使得用戶能夠識(shí)別當(dāng)前正被再現(xiàn)的縮略圖像5c和隨后的圖像的視頻以及其成像位置。
[0133](3)鳥(niǎo)瞰顯示中的替換圖像和元數(shù)據(jù)的顯示(圖10)
[0134]如圖10中所示，顯示控制單元70可以在鳥(niǎo)瞰顯示圖像3中顯示指示縮略圖像5的成像狀況的內(nèi)容的替換圖像15(例如圖標(biāo)、插圖、靜止圖像或文本)來(lái)替代縮略圖像5。縮略圖像5和替換圖像15中的哪一個(gè)應(yīng)該被顯示可以由用戶任意地選擇，或者由顯示圖像生成單元60根據(jù)縮略圖像5的大小來(lái)自動(dòng)確定。
[0135]現(xiàn)在，將給出對(duì)替換圖像15的特定示例的描述。例如，替換圖像15b可以是縮略圖像5b中被部分?jǐn)U大的靜止圖像(例如，僅縮略圖像5中的人臉的剪切圖像)。另一個(gè)替換圖像15c可以是縮略圖像5c的內(nèi)容的簡(jiǎn)化插圖(例如，縮略圖像5c中對(duì)象(舞臺(tái))整體的插圖)。另一替換圖像15d可以是表示成像裝置10的圖標(biāo)。應(yīng)當(dāng)優(yōu)選以指示成像裝置10拾取縮略圖像5b時(shí)成像裝置10的方向的方式來(lái)畫(huà)出該圖標(biāo)。這使得用戶能夠觀看圖標(biāo)化的替換圖像15c，從而容易地把握該位置處的成像方向。此外，作為替換圖像15，可以顯示表示縮略圖像5的內(nèi)容的文本(未示出)。這樣的替換圖像15b、15c和15d使得用戶可以容易的把握縮略圖像5的內(nèi)容。
[0136]此外，如果縮略圖像5在鳥(niǎo)瞰顯示圖像3中被顯示得太小，則可以用替換圖像15來(lái)代替縮略圖像5。如上所述，在鳥(niǎo)瞰顯示圖像3中，給出包含縮略圖像5的虛擬三維空間6的鳥(niǎo)瞰顯示。因此，顯示圖像生成單元60根據(jù)虛擬三維空間6中縮略圖像5和三維模型4的繪圖位置來(lái)改變要畫(huà)出的相應(yīng)縮略圖像5和三維模型4的大小。例如，如果縮略圖像5的繪圖位置在虛擬三維空間6中的后方，則縮略圖像5被畫(huà)得小，而如果它在前方，則被畫(huà)得大。因此，可以三維地提供虛擬三維空間6的鳥(niǎo)瞰顯示。
[0137]然而，如圖1中所示，縮略圖像5b、5c和5d由于被畫(huà)在虛擬三維空間6的后方所以被顯示得小，使得在某些情況中，它們的內(nèi)容可能難以被把握。因此，如果縮略圖像5b、5c和5d采用預(yù)定的大小或更小，則顯示圖像生成單元60自動(dòng)畫(huà)出以上替換圖像15b、15c和15d來(lái)替代要畫(huà)出的縮略圖像5b、5c和5d。這給出了對(duì)簡(jiǎn)單地表示小的縮略圖像5b、5c和5d的內(nèi)容的替換圖像15b、15c和15d的顯示。以這種方式，用戶通過(guò)觀看鳥(niǎo)瞰顯示圖像3中顯示在前方的大的縮略圖像5a和5e以及顯示在后方的容易觀看的替換圖像15b、15c和15d，能夠容易地把握成像內(nèi)容和成像狀況。
[0138]接著，將進(jìn)一步參考圖10給出對(duì)有關(guān)縮略圖像5的元數(shù)據(jù)16的顯示的描述。如圖10中所述，顯示控制單元70在數(shù)據(jù)16與縮略圖像5相關(guān)聯(lián)的條件下，在鳥(niǎo)瞰顯示圖像3中顯示伴隨縮略圖像5的各種元數(shù)據(jù)16。元數(shù)據(jù)16是表示縮略圖像5的拾取內(nèi)容和成像狀況的信息。例如，元數(shù)據(jù)16可以是以上成像者信息30(姓名、行為等)、成像裝置信息31 (成像裝置10的制造商名稱、類型、標(biāo)識(shí)信息、相機(jī)設(shè)置值、操作)、對(duì)象信息29 (對(duì)象的名稱、大小、行為、環(huán)境等)等。在圖10的示例中，顯示成像裝置10的制造商的“制造商A”、類型“ABC123”和對(duì)象的名稱“兒子和老師”，作為元數(shù)據(jù)16。通過(guò)使用對(duì)象估計(jì)單元58來(lái)分析運(yùn)動(dòng)圖像數(shù)據(jù)21和縮略圖像5，并且執(zhí)行臉部識(shí)別處理，可以確定縮略圖像5中所包含的對(duì)象中的人。因此可以顯示縮略圖像5中的對(duì)象的名稱，作為縮略圖像5的元數(shù)據(jù)16。通過(guò)在這樣的元數(shù)據(jù)16與縮略圖像5相關(guān)聯(lián)的條件下顯示元數(shù)據(jù)16，用戶能夠更準(zhǔn)確地把握視頻內(nèi)容和成像狀況。
[0139](4)鳥(niǎo)瞰模式中運(yùn)動(dòng)軌跡線7的顯示(圖11和圖12)
[0140]如圖11中所示,顯示控制單元70減小縮略圖像5的顯示間隔，并且代替地,顯示成像裝置10的運(yùn)動(dòng)路徑信息。要使用的成像裝置10的運(yùn)動(dòng)路徑信息例如可以是互連多個(gè)縮略圖像5的運(yùn)動(dòng)軌跡線7。運(yùn)動(dòng)軌跡線7表示虛擬三維空間6中成像裝置10的運(yùn)動(dòng)軌跡，并且以按照縮略圖像5被拾取的順序來(lái)連接縮略圖像5的方式被顯示。運(yùn)動(dòng)軌跡線7是使多個(gè)縮略圖像5按照它們被拾取的順序彼此關(guān)聯(lián)的信息的一個(gè)示例。顯示圖像生成單元60例如基于由運(yùn)動(dòng)軌跡傳感器172獲得的運(yùn)動(dòng)軌跡信息24來(lái)畫(huà)出運(yùn)動(dòng)軌跡線7。在這種情況中，顯示圖像生成單元60以按照縮略圖像5被拾取的順序連接虛擬三維空間6中的縮略圖像5的方式，沿著實(shí)際成像時(shí)成像裝置10的運(yùn)動(dòng)軌跡畫(huà)出運(yùn)動(dòng)軌跡線7。
[0141]例如，運(yùn)動(dòng)軌跡線7a連接縮略圖像5a和5b，并且沿著成像裝置10拾取縮略圖像5a至5b的運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)軌跡被畫(huà)出。類似地，運(yùn)動(dòng)軌跡線7b、7c和7d分別被畫(huà)在縮略圖像5b和5c之間、縮略圖像5c和5d之間以及縮略圖像5d和5c之間。
[0142]以這種方式，不是在鳥(niǎo)瞰顯示圖像3中顯示許多縮略圖像5，而是減小縮略圖像5的顯示間隔以顯示將縮略圖像5彼此連接的運(yùn)動(dòng)軌跡線7 (成像裝置10的路徑信息)。因此，可以從鳥(niǎo)瞰顯示圖像3中排除多余的縮略圖像5和當(dāng)成像裝置10正移動(dòng)時(shí)拾取的不希望的縮略圖像5，從而以易于理解的方式在鳥(niǎo)瞰顯示圖像3中顯示縮略圖像5。并且，通過(guò)利用運(yùn)動(dòng)軌跡線7將縮略圖像5彼此連接，可以示出縮略圖像5被拾取的順序(5a — 5b — 5c — 5d — 5e)并且表不它們的相互關(guān)系。此外，以在三維模型4之間穿過(guò)的方式將運(yùn)動(dòng)軌跡線7畫(huà)為直線、曲線或折線，可以準(zhǔn)確地表示成像裝置10拾取運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)路徑。通過(guò)在鳥(niǎo)瞰顯示圖像3中利用這種運(yùn)動(dòng)軌跡線7來(lái)將縮略圖像5按照它們被拾取的順序彼此相關(guān)聯(lián)，用戶能夠更容易和更準(zhǔn)確地把握運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。
[0143]此外，鳥(niǎo)瞰顯示圖像3可以多容易地被觀看可能受到縮略圖像5要被顯示在虛擬三維空間6中的哪個(gè)成像位置以及運(yùn)動(dòng)軌跡線7要被顯示在虛擬三維空間6的哪個(gè)其他成像位置的影響。例如，如果縮略圖像5是以預(yù)定的時(shí)間間隔從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取出的，則存在這樣的可能性:縮略圖像5中的某些縮略圖像可能質(zhì)量不好。因此，在本實(shí)施例中，當(dāng)從運(yùn)動(dòng)圖像數(shù)據(jù)21中提取多個(gè)縮略圖像5時(shí)，選擇性地提取由于是由靜止的成像裝置10拾取的因此沒(méi)有相機(jī)晃動(dòng)的良好的縮略圖像5以及具有高圖像質(zhì)量的縮略圖像5。因此，可以顯示提供成像場(chǎng)景中的基點(diǎn)的(靜止時(shí)拾取的)縮略圖像5和具有高圖像質(zhì)量的縮略圖像5，從而改善鳥(niǎo)瞰顯示圖像3的易于觀看的程度。
[0144]接著，將參考圖12給出對(duì)如何通過(guò)使用運(yùn)動(dòng)軌跡線7來(lái)表示成像狀況和視頻內(nèi)容的描述。在鳥(niǎo)瞰顯示圖像3中，可以根據(jù)成像時(shí)成像裝置10的操作狀況和視頻內(nèi)容來(lái)使用線的類型、文本等恰當(dāng)?shù)乇硎具\(yùn)動(dòng)路徑信息(例如，運(yùn)動(dòng)軌跡線7)。例如，如圖12中所示，對(duì)于縮略圖像5之間的運(yùn)動(dòng)圖像的不同內(nèi)容和成像狀況，可以利用不同的線的類型來(lái)畫(huà)出將縮略圖像5彼此連接的運(yùn)動(dòng)軌跡線7。運(yùn)動(dòng)軌跡線7的類型例如包括線的形狀(直線、點(diǎn)線、虛線、滾花線等)、線的顏色、線的粗細(xì)、線的閃爍/不閃爍等。以下將參考圖12的鳥(niǎo)瞰顯示圖像3的示例，給出對(duì)根據(jù)運(yùn)動(dòng)圖像的內(nèi)容和成像狀況來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型的示例的描述。
[0145](a)根據(jù)拍攝期間成像裝置10的運(yùn)動(dòng)速度來(lái)改變線的類型的示例
[0146]如圖12中所示，縮略圖像5a和5b通過(guò)所顯示出的實(shí)線運(yùn)動(dòng)軌跡線7e和點(diǎn)線運(yùn)動(dòng)軌跡線7g來(lái)彼此連接。點(diǎn)線運(yùn)動(dòng)軌跡線7g表示成像裝置10在所顯示出的區(qū)間中的拾取該運(yùn)動(dòng)圖像時(shí)成像裝置10的運(yùn)動(dòng)速度。在顯示中，例如，點(diǎn)線越細(xì)，成像裝置10的運(yùn)動(dòng)速度越慢。此外，實(shí)線運(yùn)動(dòng)軌跡線7e表示成像裝置10在所顯示的區(qū)間中的平緩運(yùn)動(dòng)。顯示圖像生成單元60基于表示成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24(見(jiàn)圖6)，確定成像裝置10在各個(gè)區(qū)間中的運(yùn)動(dòng)速度，從而根據(jù)成像裝置10的運(yùn)動(dòng)速度來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型。
[0147](b)根據(jù)視頻的相機(jī)晃動(dòng)情況來(lái)改變線的類型的示例
[0148]如圖12中所示，縮略圖像5d和5e通過(guò)所顯示的滾花線運(yùn)動(dòng)軌跡線7f來(lái)彼此連接。滾花線運(yùn)動(dòng)軌跡線7f表示在所顯示的區(qū)間中所拾取的運(yùn)動(dòng)圖像的相機(jī)晃動(dòng)情況。在顯示中，例如，線越凹凸，相機(jī)晃動(dòng)越大。顯示圖像生成單元60基于表示成像裝置10的運(yùn)動(dòng)軌跡和姿勢(shì)的運(yùn)動(dòng)軌跡信息24(見(jiàn)圖6)，確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像的相機(jī)晃動(dòng)情況，從而根據(jù)相機(jī)晃動(dòng)情況來(lái)改變運(yùn)動(dòng)軌跡線7的線的類型。
[0149](C)根據(jù)視頻中的對(duì)象來(lái)改變線的類型(線的顏色)的示例
[0150]盡管未被示出，然而，可以使用運(yùn)動(dòng)軌跡線7的顏色來(lái)表示任何給定區(qū)間中的運(yùn)動(dòng)圖像中所出現(xiàn)的對(duì)象。例如，藍(lán)色的運(yùn)動(dòng)軌跡線7可以指示A先生，紅色的運(yùn)動(dòng)軌跡線7可以指示B先生，藍(lán)點(diǎn)和紅點(diǎn)的運(yùn)動(dòng)軌跡線7可以指示A先生和B先生都出現(xiàn)了。顯示圖像生成單元60可以基于通過(guò)分析運(yùn)動(dòng)圖像(例如，臉部識(shí)別)所獲得的對(duì)象信息29 (見(jiàn)圖6)來(lái)確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而根據(jù)對(duì)象改變運(yùn)動(dòng)軌跡線7的顏色。
[0151](d)根據(jù)視頻中的對(duì)象來(lái)改變線的類型(線的粗細(xì))的示例
[0152]盡管未被示出，然而，可以通過(guò)運(yùn)動(dòng)軌跡線7的粗細(xì)來(lái)表示在任意給定區(qū)間中的運(yùn)動(dòng)圖像中出現(xiàn)的對(duì)象的重要性。例如,運(yùn)動(dòng)軌跡線7越粗，該區(qū)間中的視頻中出現(xiàn)的對(duì)象的重要性越高。例如，粗線指示C先生出現(xiàn)了。顯示圖像生成單元60基于通過(guò)分析運(yùn)動(dòng)圖像(例如，臉部識(shí)別)所獲得的對(duì)象信息29(見(jiàn)，圖6)來(lái)確定各個(gè)區(qū)間中的運(yùn)動(dòng)圖像中所包含的對(duì)象，從而根據(jù)對(duì)象的重要性來(lái)改變運(yùn)動(dòng)軌跡線7的粗細(xì)。對(duì)象的重要性例如可以由用戶來(lái)預(yù)先設(shè)置。
[0153](e)根據(jù)成像裝置10的操作內(nèi)容來(lái)改變線的類型(閃爍/不閃爍)的示例
[0154]盡管未被示出，然而，可以用運(yùn)動(dòng)軌跡線7的顯示模式(例如，閃爍/不閃爍)來(lái)表示成像裝置10在各個(gè)區(qū)間中拾取運(yùn)動(dòng)圖像時(shí)成像裝置10的操作。例如，如果運(yùn)動(dòng)軌跡線7閃爍，則其指示成像裝置10中的透鏡在該區(qū)間的成像期間被變焦。顯示圖像生成單元60基于成像期間所獲得的成像裝置信息31 (見(jiàn)圖6)中所包含的相機(jī)安裝值來(lái)確定各個(gè)區(qū)間中成像裝置10的操作內(nèi)容，從而根據(jù)操作內(nèi)容來(lái)改變運(yùn)動(dòng)軌跡線7的顯示模式(閃爍/不閃爍)
[0155](f)根據(jù)聲音內(nèi)容來(lái)改變線的類型(附加信息被追加/不被追加到線上)的示例
[0156]盡管未被示出，然而，可以通過(guò)將或不將諸如音部記號(hào)“《1-”之類的附加信息追加到運(yùn)動(dòng)軌跡線7上來(lái)指示有意義的聲音是否被記錄到給定區(qū)間中的運(yùn)動(dòng)圖像中。例如，如果該音部記號(hào)被添加，則其指示除噪聲和環(huán)境聲音以外的有意義的聲音(例如，男人的語(yǔ)音)被記錄。顯示圖像生成單元60基于通過(guò)分析聲音數(shù)據(jù)獲得的語(yǔ)音信息23 (見(jiàn)圖6)來(lái)確定各個(gè)區(qū)間中的聲音內(nèi)容，從而根據(jù)聲音內(nèi)容將附加信息追加到運(yùn)動(dòng)軌跡線7上。
[0157]如這樣參考圖12所述，在鳥(niǎo)瞰顯示圖像3中，將根據(jù)多個(gè)縮略圖像5之間的運(yùn)動(dòng)圖像的內(nèi)容和成像狀況，以各種線的類型來(lái)顯示運(yùn)動(dòng)軌跡線7。這使得用戶能夠容易并且恰當(dāng)?shù)匕盐者\(yùn)動(dòng)圖 像被拾取的各個(gè)區(qū)間中的視頻內(nèi)容或成像狀況。
[0158](5)鳥(niǎo)瞰模式中多個(gè)運(yùn)動(dòng)圖像的顯示(圖13和圖14)
[0159]已經(jīng)參考如下情況描述了以上示例，所述情況是:通過(guò)使用一個(gè)鳥(niǎo)瞰顯示圖像3來(lái)提供對(duì)通過(guò)一系列程序操作(Irec)而成像并攝錄下來(lái)的一個(gè)文件(一個(gè)運(yùn)動(dòng)圖像文件)的運(yùn)動(dòng)圖像的鳥(niǎo)瞰顯示?，F(xiàn)在，將給出對(duì)通過(guò)使用一個(gè)鳥(niǎo)瞰顯示圖像17來(lái)顯示由不同的成像裝置10拾取的或在不同時(shí)間拾取的多個(gè)運(yùn)動(dòng)圖像的示例的描述。
[0160]如圖13中所示，顯示控制單元70可以顯示在相同地點(diǎn)由不同的多個(gè)成像裝置10(相機(jī)1-4)拾取的多個(gè)運(yùn)動(dòng)圖像的縮略圖像5f-5i。在所示示例中，顯示鳥(niǎo)瞰顯示圖像17，其示出小學(xué)的運(yùn)動(dòng)場(chǎng)上運(yùn)動(dòng)會(huì)的場(chǎng)面。鳥(niǎo)瞰顯示圖像17給出虛擬三維空間6的鳥(niǎo)瞰顯示，虛擬三維空間6包含運(yùn)動(dòng)場(chǎng)上的軌道的三維模型4c以及該場(chǎng)地上由不同的多個(gè)成像裝置10(相機(jī)1-4)拾取的四個(gè)運(yùn)動(dòng)圖像的縮略圖像5f-5i。在這些縮略圖像中，三個(gè)縮略圖像5f-5h是在2008年的運(yùn)動(dòng)會(huì)上拾取的，而剩下一個(gè)縮略圖像5i是在2007年在相同地點(diǎn)舉行的運(yùn)動(dòng)會(huì)上拾取的。
[0161]因此可以通過(guò)使用一個(gè)鳥(niǎo)瞰顯示圖像17來(lái)同時(shí)顯示在相同地點(diǎn)拾取的多個(gè)運(yùn)動(dòng)圖像的縮略圖像5f-5i，而不論成像裝置10或成像口期/時(shí)間的差別如何。因此，即使多個(gè)運(yùn)動(dòng)圖像是通過(guò)在相同地點(diǎn)執(zhí)行多次成像操作而攝錄下來(lái)的，這多個(gè)運(yùn)動(dòng)圖像在它們與成像地點(diǎn)相關(guān)的條件下也可以顯示在一個(gè)鳥(niǎo)瞰顯示圖像17中。因此，用戶能夠準(zhǔn)確地把握鳥(niǎo)瞰顯示圖像17中攝錄下來(lái)的多個(gè)運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。此外，還可以將它們與過(guò)去在相同地點(diǎn)攝錄下來(lái)的運(yùn)動(dòng)圖像相比較。
[0162]并且，顯示控制單元70可以在圖13中所示的多個(gè)運(yùn)動(dòng)圖像的鳥(niǎo)瞰顯示圖像17和如圖1中所示的一個(gè)這樣的運(yùn)動(dòng)圖像的鳥(niǎo)瞰顯示圖像3被相互切換的條件下顯示它們。例如，假定用戶已經(jīng)從圖13的鳥(niǎo)瞰顯示圖像17中所顯示的多個(gè)縮略圖像5f-5i中選擇一個(gè)縮略圖像5f。之后，顯示控制單元70顯示有關(guān)所選擇的縮略圖像5f的運(yùn)動(dòng)圖像的、如圖1中所示的這樣一個(gè)鳥(niǎo)瞰顯示圖像3，來(lái)替代圖13的鳥(niǎo)瞰顯示圖像17。這使得用戶能夠通過(guò)觀看圖13的鳥(niǎo)瞰顯示圖像17來(lái)把握多個(gè)運(yùn)動(dòng)圖像的總體圖像，從而通過(guò)觀看圖1的鳥(niǎo)瞰顯示圖像3來(lái)確認(rèn)運(yùn)動(dòng)圖像文件的細(xì)節(jié)。
[0163]此外，如圖14中所示，顯示控制單元70也可以耦合與在空間上連續(xù)的地點(diǎn)處拾取的運(yùn)動(dòng)圖像有關(guān)的多個(gè)鳥(niǎo)瞰顯示圖像3a_3c，從而顯示表示較大范圍的虛擬三維空間6的一個(gè)鳥(niǎo)瞰顯示圖像18。這使得用戶能夠更容易地把握和管理多個(gè)運(yùn)動(dòng)圖像文件。通過(guò)使用組合這樣的多個(gè)運(yùn)動(dòng)圖像文件的合成鳥(niǎo)瞰顯示圖像17和18，多個(gè)用戶能夠集體顯示在不同時(shí)間由不同成像裝置10拾取的多個(gè)運(yùn)動(dòng)圖像文件的主旨。因此可以容易地把握和管理許多運(yùn)動(dòng)圖像。
[0164]已經(jīng)參考圖8至圖14描述了根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示圖像3的以上顯示示例。通過(guò)使用根據(jù)本實(shí)施例的鳥(niǎo)瞰顯示圖像3，用戶能夠容易并且準(zhǔn)確地在整體上把握由成像裝置10拾取的運(yùn)動(dòng)圖像的拾取內(nèi)容和成像狀況。
[0165]〈3.第二實(shí)施例〉
[0166]接著，將給出對(duì)根據(jù)本發(fā)明第二實(shí)施例的顯示控制設(shè)備和方法的描述。
[0167]如圖15中所示，第二實(shí)施例可以是本發(fā)明的顯示控制設(shè)備被應(yīng)用于信息處理設(shè)備200 (例如，個(gè)人計(jì)算機(jī))的示例。作為在記錄介質(zhì)中所記錄的運(yùn)動(dòng)圖像的再現(xiàn)中的回放應(yīng)用，以上鳥(niǎo)瞰顯示圖像3被顯示在信息處理設(shè)備200中的顯示裝置209上。例如，如果用戶想要觀看或編輯由成像裝置10拾取并且攝錄下來(lái)的運(yùn)動(dòng)圖像的數(shù)據(jù)，則與該運(yùn)動(dòng)圖像的數(shù)據(jù)有關(guān)的鳥(niǎo)瞰顯示圖像3將被顯示在顯示裝置209上。此外，第二實(shí)施例提供向以上使用鳥(niǎo)瞰顯示圖像3的視頻顯示方法添加視頻再現(xiàn)操作、視頻編輯和視頻檢索的功能的視頻再現(xiàn)/編輯系統(tǒng)。
[0168][信息處理設(shè)備的硬件結(jié)構(gòu)]
[0169]首先，將參考圖16給出對(duì)根據(jù)本實(shí)施例的信息處理設(shè)備200的硬件結(jié)構(gòu)的描述。圖16是示出根據(jù)本實(shí)施例的信息處理設(shè)備200的硬件結(jié)構(gòu)的框圖。
[0170]如圖16中所示，信息處理設(shè)備200例如包括CPU201、R0M202、RAM203、主機(jī)總線204、橋接器205、外部總線206和接口 207。信息處理設(shè)備200還包括輸入裝置208、顯示裝置209、存儲(chǔ)裝置(HDD)210、驅(qū)動(dòng)器211、連接端口 212和通信裝置213。以這種方式，信息處理設(shè)備200可以包括通用計(jì)算機(jī)設(shè)備(例如，PC)。
[0171]CPU201用作根據(jù)各種程序進(jìn)行操作以控制信息處理設(shè)備200中的單元的算術(shù)處理設(shè)備和控制設(shè)備。CPU201根據(jù)R0M202中所存儲(chǔ)的程序或從存儲(chǔ)裝置210裝載到RAM203的程序來(lái)執(zhí)行各種處理。R0M202存儲(chǔ)由CPU201使用的程序和算術(shù)參數(shù)，并且用作減少?gòu)腃PU201置于存儲(chǔ)裝置210的存取的緩沖器。RAM203臨時(shí)存儲(chǔ)由CPU201在執(zhí)行處理和參數(shù)等時(shí)使用的、在執(zhí)行期間適當(dāng)改變的程序。這些裝置通過(guò)由CPU總線等構(gòu)成的主機(jī)總線204相互連接。主機(jī)總線204經(jīng)由橋接器205連接到外部總線206 (例如，外圍組件互連/接口(PCI)總線)
[0172]輸入裝置208例如包括諸如鼠標(biāo)、鍵盤(pán)、觸摸面板、按鈕、開(kāi)關(guān)或操縱桿之類的操作裝置以及用來(lái)生成輸入信號(hào)并且將輸入信號(hào)發(fā)送給CPU201的輸入控制電路。顯示裝置209例如包括液晶顯示器(IXD)、有機(jī)EL顯示器、等離子顯示器、陰極射線管(CRT)顯示器等。此外，其還裝配了諸如揚(yáng)聲器之類的聲音輸出裝置(未示出)。
[0173]存儲(chǔ)裝置210被用來(lái)存儲(chǔ)各種數(shù)據(jù)，并且例如包括外部裝置，所述外部裝置例如是HDD或內(nèi)建光盤(pán)驅(qū)動(dòng)器。存儲(chǔ)裝置210驅(qū)動(dòng)作為記錄介質(zhì)的硬盤(pán)來(lái)將由CPU201執(zhí)行的程序和各種數(shù)據(jù)存儲(chǔ)在硬盤(pán)中。驅(qū)動(dòng)器211被用來(lái)執(zhí)行對(duì)記錄介質(zhì)的讀操作和寫(xiě)操作，并且內(nèi)建在信息處理設(shè)備200中或從外部安裝到信息處理設(shè)備200。驅(qū)動(dòng)器211對(duì)可移除記錄介質(zhì)執(zhí)行各種數(shù)據(jù)的讀/寫(xiě)操作，可移除記錄介質(zhì)例如是磁盤(pán)、光盤(pán)、磁光盤(pán)或裝載在信息處理設(shè)備200中的半導(dǎo)體存儲(chǔ)器。
[0174]連接端口 212被用來(lái)連接外部外圍裝置并且具有諸如USB或IEEE1394之類的連接端子。連接端口 212經(jīng)由接口 207、外部總線206、橋接器205或主機(jī)總線204連接到CPU201等。通信裝置213是用來(lái)連接到網(wǎng)絡(luò)的、例如由通信裝置構(gòu)成的通信接口。通信裝置213經(jīng)由網(wǎng)絡(luò)向具有網(wǎng)絡(luò)通信功能的外部裝置發(fā)送各種數(shù)據(jù)或從外部裝置接收各種數(shù)據(jù)。
[0175]例如，信息處理設(shè)備200可以經(jīng)由網(wǎng)絡(luò)從具有網(wǎng)絡(luò)通信功能的成像裝置10或任何其它裝置獲得運(yùn)動(dòng)圖像數(shù)據(jù)21及其附加信息。此外，信息處理設(shè)備200可以從記錄數(shù)據(jù)的記錄介質(zhì)中獲取由成像裝置10獲得的運(yùn)動(dòng)圖像數(shù)據(jù)21及其附加數(shù)據(jù)等。
[0176][信息處理設(shè)備的功能結(jié)構(gòu)]
[0177]接著，將參考圖17詳細(xì)給出對(duì)根據(jù)本實(shí)施例的信息處理設(shè)備200的功能結(jié)構(gòu)的說(shuō)明。圖17是示出根據(jù)本實(shí)施例的信息處理設(shè)備200的功能結(jié)構(gòu)的框圖。注意，圖17示意性地示出用來(lái)顯示表征本實(shí)施例的特征的鳥(niǎo)瞰顯示圖像3的功能單元。
[0178]如圖17中所示，信息處理設(shè)備200包括存儲(chǔ)單元20、預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70、圖像處理單元80、顯示裝置209和輸入裝置208。在這些裝置中，預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70和圖像處理單元80例如是由安裝在信息處理設(shè)備200中的軟件來(lái)實(shí)現(xiàn)的。即，例如，圖16中所示的CPU201根據(jù)R0M202等中所存儲(chǔ)的程序來(lái)進(jìn)行操作，從而用作預(yù)處理單元50、顯示圖像生成單元60、顯示控制單元70和圖像處理單元80。注意，可以經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)向信息處理設(shè)備200提供程序。
[0179]與以上根據(jù)第一實(shí)施例的成像裝置10(圖5)相比，根據(jù)第二實(shí)施例的信息處理設(shè)備200圖17)沒(méi)有裝配成像處理單元40、距離傳感器170也沒(méi)有裝配運(yùn)動(dòng)軌跡傳感器172，但是包括圖像處理單元80。除了該差異以外，第二實(shí)施例與第一實(shí)施例相同，并且將省略對(duì)相同組件存儲(chǔ)單元20、預(yù)處理單元50、顯示圖像生成單元60和顯示控制單元70的重復(fù)描述。
[0180]如圖17中所示，信息處理設(shè)備200經(jīng)由記錄介質(zhì)或網(wǎng)絡(luò)從任何其它裝置(例如，成像裝置10)獲得運(yùn)動(dòng)圖像數(shù)據(jù)21、成像者信息30、成像裝置信息31和傳感器測(cè)量出的數(shù)據(jù)32，并且將它們存儲(chǔ)在存儲(chǔ)單元20中。傳感器測(cè)量出的數(shù)據(jù)32與由圖6中所述的距離傳感器170或運(yùn)動(dòng)軌跡傳感器172所測(cè)量出的數(shù)據(jù)相對(duì)應(yīng)。
[0181]與第一實(shí)施例類似，預(yù)處理單元50基于輸入數(shù)據(jù)(例如運(yùn)動(dòng)圖像數(shù)據(jù)21和傳感器測(cè)量出的數(shù)據(jù)32)生成各種信息和數(shù)據(jù)塊22-29。注意，如果信息處理設(shè)備200能夠從諸如成像裝置10之類的外部裝置獲得那些信息和數(shù)據(jù)塊22-29，則預(yù)處理單元50是不必要的。[0182]此外，如果不可以從成像裝置10獲得傳感器測(cè)量出的數(shù)據(jù)32，則預(yù)處理單元50中的運(yùn)動(dòng)軌跡估計(jì)單元53可以分析運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)估計(jì)成像時(shí)成像裝置10的運(yùn)動(dòng)軌跡、姿勢(shì)等。此外，三維形狀估計(jì)單元54可以分析運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)識(shí)別和提取由運(yùn)動(dòng)圖像數(shù)據(jù)21表示的視頻中所包含的物體，從而估計(jì)其三維形狀、位置等。
[0183]與第一實(shí)施例類似，顯示圖像生成單元60生成鳥(niǎo)瞰顯示圖像3，然后，鳥(niǎo)瞰顯示圖像3由顯示控制單元70顯示在顯示裝置209上。
[0184]圖像處理單元80響應(yīng)于輸入裝置208上由用戶進(jìn)行的輸入操作來(lái)處理(編輯、生成、檢索等)諸如運(yùn)動(dòng)圖像數(shù)據(jù)21之類的圖像。圖像處理單元80包括圖像編輯單元82和圖像檢索單元84。
[0185]圖像編輯單元82響應(yīng)于對(duì)顯示裝置209上所顯示的鳥(niǎo)瞰顯示圖像3中的三維模型4或縮略圖像5的用戶操作，編輯運(yùn)動(dòng)圖像數(shù)據(jù)21。這使得用戶能夠僅通過(guò)拖放鳥(niǎo)瞰顯示圖像3上的編輯目標(biāo)三維模型4或縮略圖像5來(lái)編輯視頻，因此輔助了編輯工作。稍后將描述這樣的編輯處理的細(xì)節(jié)(見(jiàn)圖18和圖19)。
[0186]此外，圖像編輯單元82響應(yīng)于對(duì)顯示裝置209上所顯示的鳥(niǎo)瞰顯示圖像3的用戶操作，基于運(yùn)動(dòng)圖像數(shù)據(jù)21來(lái)生成圖像。例如，如果運(yùn)動(dòng)圖像的角度是由用戶在鳥(niǎo)瞰顯示圖像3中指定的，則圖像編輯單元82根據(jù)所指定的角度來(lái)處理運(yùn)動(dòng)圖像數(shù)據(jù)21，從而生成在該角度觀看到的運(yùn)動(dòng)圖像的數(shù)據(jù)。稍后將描述這樣的角度改變處理的細(xì)節(jié)(見(jiàn)圖20)。
[0187]圖像檢索單元84檢索與由用戶從顯示裝置209上所顯示的鳥(niǎo)瞰顯示圖像3中選擇的三維模型4相同或相似的任何其它三維模型4或包含三維模型4的圖像。圖像檢索單元84可以通過(guò)不僅指定三維模型4的形狀并且指定其顏色和大小來(lái)檢索三維模型4。此夕卜，圖像檢索單元84可以在多塊運(yùn)動(dòng)圖像數(shù)據(jù)21中，通過(guò)使用三維模型4來(lái)執(zhí)行檢索。稍后將描述這樣的檢索處理的細(xì)節(jié)(見(jiàn)圖21)。
[0188][鳥(niǎo)瞰顯示圖像的顯示示例]
[0189]接著，將參考圖18至圖23來(lái)給出根據(jù)該實(shí)施例的鳥(niǎo)瞰顯示圖像3的顯示示例的描述。通常使用信息處理設(shè)備200來(lái)觀看、編輯和檢索由記錄儀(例如成像裝置10)攝錄下來(lái)的運(yùn)動(dòng)圖像。以下，將描述將鳥(niǎo)瞰顯示圖像3應(yīng)用于對(duì)這樣的運(yùn)動(dòng)圖像的觀看、編輯和檢索的顯示示例的描述。
[0190](I)用來(lái)添加/刪除圖像的視頻編輯(圖18)
[0191]如圖18中所示,顯示控制單元70在顯示裝置209上顯示有關(guān)給定運(yùn)動(dòng)圖像的鳥(niǎo)瞰顯示圖像3、指示附加圖像的圖標(biāo)220和221、以及指示場(chǎng)景的選擇或刪除的圖標(biāo)230和231。附加圖像可以是運(yùn)動(dòng)圖像或靜止圖像中的任何一種。
[0192]首先，將給出對(duì)現(xiàn)有運(yùn)動(dòng)圖像進(jìn)行圖像的添加編輯的描述。用戶能夠通過(guò)將指示希望添加的場(chǎng)景的圖像的圖標(biāo)220和221拖放到鳥(niǎo)瞰顯示圖像3中的縮略圖像5上來(lái)編輯該運(yùn)動(dòng)圖像。當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，所添加的場(chǎng)景的圖像將按照它們被添加的順序被再現(xiàn)。
[0193]更詳細(xì)地描述，圖18中所示的示例在鳥(niǎo)瞰顯示圖像3的左側(cè)顯示指示開(kāi)始場(chǎng)景的圖像的圖標(biāo)220和指示結(jié)束場(chǎng)景的圖像的圖標(biāo)221。用戶將開(kāi)始場(chǎng)景的圖標(biāo)220拖放到開(kāi)頭的縮略圖像5a上并且將結(jié)束場(chǎng)景的圖標(biāo)221拖放到結(jié)尾縮略圖像5e上。響應(yīng)于這樣的用戶操作，圖像編輯單元82將開(kāi)始場(chǎng)景的圖像添加到由縮略圖像5a_5e給出的運(yùn)動(dòng)圖像的開(kāi)頭并且將結(jié)束場(chǎng)景的圖像添加到該運(yùn)動(dòng)圖像的結(jié)尾。以這種方式，用戶可以通過(guò)在鳥(niǎo)瞰顯示圖像3中執(zhí)行簡(jiǎn)單的操作來(lái)編輯視頻。
[0194]接著，將給出對(duì)運(yùn)動(dòng)圖像中的場(chǎng)景的選擇和刪除的描述。用戶可以通過(guò)將鳥(niǎo)瞰顯示圖像3中的縮略圖像5拖放到分別指示場(chǎng)景選擇和刪除的圖標(biāo)230和231上來(lái)編輯運(yùn)動(dòng)圖像。當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，所選擇的場(chǎng)景將被再現(xiàn)，而所刪除的場(chǎng)景將不被再現(xiàn)。
[0195]更具體地描述，圖18中所示的示例在鳥(niǎo)瞰顯示圖像3的右側(cè)顯示指示場(chǎng)景選擇的圖標(biāo)230和指示場(chǎng)景刪除的圖標(biāo)231。用戶通過(guò)將縮略圖像5c拖放到選擇圖標(biāo)230上來(lái)選擇包含縮略圖像5c的場(chǎng)景。此外，用戶通過(guò)將縮略圖像5c拖放到刪除圖標(biāo)231上來(lái)刪除包含縮略圖像5c的場(chǎng)景。響應(yīng)于這樣的用戶操作，圖像編輯單元82以包含縮略圖像5c的場(chǎng)景可以被留下或被刪除的方式來(lái)編輯原始運(yùn)動(dòng)圖像。通過(guò)這樣的使用縮略圖像5的場(chǎng)景選擇和刪除，包含縮略圖像5的預(yù)定區(qū)間中的運(yùn)動(dòng)圖像被選擇或被刪除。
[0196]以這種方式，通過(guò)在鳥(niǎo)瞰顯示圖像3上進(jìn)行簡(jiǎn)單的操作來(lái)選擇和刪除運(yùn)動(dòng)圖像的場(chǎng)景，用戶可以編輯視頻。此外，在編輯后，在鳥(niǎo)瞰顯示圖像3中，可以將與所刪除的場(chǎng)景相對(duì)應(yīng)的運(yùn)動(dòng)軌跡線7用點(diǎn)線表示，或可以使該場(chǎng)景的縮略圖像5半透明。這使得用戶能夠認(rèn)識(shí)到運(yùn)動(dòng)圖像中的某些場(chǎng)景已被刪除。
[0197](2)通過(guò)使用三維模型進(jìn)行的視頻編輯(圖19)
[0198]如圖19中所示，顯示控制單元70使得顯示裝置209顯示有關(guān)給定運(yùn)動(dòng)圖像的鳥(niǎo)瞰顯示圖像3、指示對(duì)三維模型4的選擇或刪除的圖標(biāo)240以及指示希望添加的三維模型的物體的圖標(biāo)241。
[0199]首先，將使用三維模型4從鳥(niǎo)瞰顯示圖像3中的刪除來(lái)給出對(duì)視頻編輯的描述。用戶可以通過(guò)將鳥(niǎo)瞰顯示圖像3中的三維模型4d拖放到指示三維模型刪除的圖標(biāo)240上來(lái)編輯運(yùn)動(dòng)圖像。響應(yīng)于這樣的用戶操作，圖像編輯單元82刪除與所刪除的三維模型4相對(duì)應(yīng)的物體的圖像部分，以通過(guò)利用所刪除部分周?chē)膱D像以及刪除前后的圖像來(lái)補(bǔ)充適當(dāng)?shù)膱D像。結(jié)果，當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，與所刪除的三維模型4d相對(duì)應(yīng)的物體(示圖示例中右后方的桌子)的圖像不被示出，并且所產(chǎn)生的空缺部分通過(guò)使用周?chē)挠嘘P(guān)時(shí)間和有關(guān)空間的信息而被適當(dāng)?shù)膱D像的繪圖填充。通過(guò)這樣利用三維模型4來(lái)編輯視頻，可以容易地選擇和刪除拍攝期間被不希望地成像的人和物。
[0200]接著，將使用將三維模型4到鳥(niǎo)瞰顯示圖像3的添加來(lái)給出對(duì)視頻編輯的描述。用戶可以通過(guò)將指示希望添加的三維模型的物體的圖標(biāo)241拖放到鳥(niǎo)瞰顯示圖像3中任何給定的部分上來(lái)編輯運(yùn)動(dòng)圖像。響應(yīng)于這樣的用戶操作，圖像編輯單元82將與所添加的三維模型4相對(duì)應(yīng)的物體(所示示例中的圣誕樹(shù))的圖像添加到指定的位置。結(jié)果，當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，與所添加的三維模型4相對(duì)應(yīng)的圖像被畫(huà)到圖標(biāo)所放落的位置使得三維模型4可以被添加，從而避免畫(huà)出被所添加的圖像遮住的部分的背景圖像。
[0201]接著，將使用三維模型4的移動(dòng)來(lái)給出對(duì)視頻編輯的描述。用戶可以通過(guò)將鳥(niǎo)瞰顯示圖像3中的任意三維模型4a拖放到鳥(niǎo)瞰顯示圖像3的任意給定部分來(lái)編輯運(yùn)動(dòng)圖像。響應(yīng)于這樣的用戶操作，圖像編輯單元82在原來(lái)的位置刪除與所移動(dòng)的三維模型4a相對(duì)應(yīng)的物體(所示示例中的左上方的桌子)的圖像并且將它畫(huà)到移動(dòng)目的地位置。在原來(lái)的位置，圖像編輯單元82通過(guò)利用所刪除的部分周?chē)膱D像以及刪除前后的圖像來(lái)補(bǔ)充適當(dāng)?shù)膱D像。結(jié)果，當(dāng)編輯后的運(yùn)動(dòng)圖像被再現(xiàn)時(shí)，三維模型4a的物體被畫(huà)到移動(dòng)目的地位置，而不是原來(lái)的位置。
[0202]以這種的方式，通過(guò)在鳥(niǎo)瞰顯示圖像3上進(jìn)行簡(jiǎn)單的操作來(lái)添加、刪除和移動(dòng)三維模型4，用戶可以編輯視頻。
[0203](3)通過(guò)角度指定的視頻編輯(圖20)
[0204]如圖20中所示，用戶可以調(diào)節(jié)鳥(niǎo)瞰顯示圖像3中的角度指定箭頭250，從而指定與運(yùn)動(dòng)圖像被拾取時(shí)的角度(箭頭250)不同的角度(箭頭251)。該角度是指對(duì)象被成像的相機(jī)角度(視點(diǎn))。根據(jù)所指定的角度，圖像編輯單元82對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)21執(zhí)行圖像處理，從而生成以該角度觀看到的運(yùn)動(dòng)圖像的數(shù)據(jù)。結(jié)果，當(dāng)視頻被再現(xiàn)時(shí)，生成并且顯示以指定角度觀看到的運(yùn)動(dòng)圖像(常規(guī)回放顯示圖像8)。以這樣的方式，用戶可以容易地指定所希望的角度，使得信息處理設(shè)備200能夠生成并顯示將該角度作為其視點(diǎn)的運(yùn)動(dòng)圖像。通過(guò)這樣在不同角度觀看運(yùn)動(dòng)圖像，用戶能夠更準(zhǔn)確地把握運(yùn)動(dòng)圖像的內(nèi)容和成像狀況。
[0205](4)使用三維模型的圖像檢索(圖21)
[0206]如圖21中所示，用戶可以選擇鳥(niǎo)瞰顯示圖像3中的任何給定的三維模型4a，并且檢索與三維模型4a相同或相似的三維模型4e_4i。更具體地，首先，用戶選擇鳥(niǎo)瞰顯示圖像3中的一個(gè)三維模型4a。然后，圖像檢索單元84在檢索窗261中顯示所選擇的三維模型4a。如果用戶按壓檢索按鈕262，則圖像檢索單元84檢索與所選擇的三維模型4a相似的三維模型4e_4i，并且還搜索整個(gè)運(yùn)動(dòng)圖像以找出包含由所檢索出的三維模型4e_4i表示的物體的圖像部分。因此，用戶能夠容易地檢索到出現(xiàn)了所希望的物體(對(duì)象)的視頻。
[0207]此外，通過(guò)不僅指定三維模型4的形狀還指定其顏色和大小，可以檢索包含類似的三維模型4的圖像。也可以通過(guò)使用三維模型4來(lái)在多個(gè)運(yùn)動(dòng)圖像中檢索類似的圖像。
[0208]此外，用戶可以選擇鳥(niǎo)瞰顯示圖像3中的任何給定三維模型4并且給三維模型4添加元信息。圖像檢索單元84能夠基于該元信息來(lái)檢索三維模型4，從而檢索到包含三維模型4的圖像。還可以通過(guò)使用三維模型4的元信息來(lái)在多個(gè)運(yùn)動(dòng)圖像中檢索類似的圖像。
[0209]如上所述，鳥(niǎo)瞰顯示圖像3示出運(yùn)動(dòng)圖像中的物體的三維模型4使得三維模型4可以被恰當(dāng)?shù)赜米鳈z索條件。通過(guò)使用三維模型4作為檢索條件來(lái)檢索類似的圖像或相關(guān)的圖像，用戶能夠容易并且迅速地找出所希望的圖像。
[0210](5)包含移動(dòng)體的對(duì)象的鳥(niǎo)瞰顯示(圖22和圖23)
[0211]圖22示出在從固定點(diǎn)對(duì)包含移動(dòng)體(例如，火車(chē))的對(duì)象進(jìn)行成像的情況中的鳥(niǎo)瞰顯示圖像3。在該情況中，移動(dòng)體例如可以是所示出的交通工具(例如，火車(chē))、動(dòng)物、人等。顯示控制單元70顯示移動(dòng)體的三維模型4j、任何其它物體(例如，高架橋)的三維模型4k、以及包含在任意時(shí)間拍攝的一個(gè)縮略圖像5j的鳥(niǎo)瞰顯示圖像3。在該情況中，由于移動(dòng)體隨著時(shí)間消逝在運(yùn)動(dòng)圖像中移動(dòng)，所以產(chǎn)生了應(yīng)當(dāng)在虛擬三維空間6中的哪個(gè)位置畫(huà)出移動(dòng)體的三維模型4j的問(wèn)題。
[0212]在所示示例中，顯示圖像生成單元60將移動(dòng)體的三維模型4j畫(huà)到給定成像時(shí)間的位置，以畫(huà)出該成像時(shí)間的縮略圖像5j。在基于運(yùn)動(dòng)圖像整體的情況中，顯示圖像生成單元60在成像時(shí)間的縮略圖像5j中填充未出現(xiàn)的移動(dòng)體的部分271，從而畫(huà)出移動(dòng)體的三維模型4j。圖22中由實(shí)線橢圓包圍的部分272是移動(dòng)體的三維模型4j中的填充部分。以這種方式，用戶可以恰當(dāng)?shù)匕盐諒墓潭c(diǎn)拾取的運(yùn)動(dòng)圖像的內(nèi)容，特別是移動(dòng)體的位置和大小。
[0213]此外，如圖23中所示，用戶可以通過(guò)使用指針273選擇鳥(niǎo)瞰顯示圖像3中移動(dòng)體的三維模型4j并且拖動(dòng)(即，移動(dòng))三維模型4j來(lái)控制常規(guī)回放顯示圖像8中的再現(xiàn)時(shí)間。
[0214]即，如果移動(dòng)體是以這種方式成像的，則在運(yùn)動(dòng)圖像中，在移動(dòng)體的位置和再現(xiàn)時(shí)間之間存在關(guān)聯(lián)。因此，如果移動(dòng)體的三維模型4j在鳥(niǎo)瞰顯示圖像3中被用戶移動(dòng)了，則顯示控制單元70根據(jù)三維模型4j的位置、移動(dòng)方向和移動(dòng)速度來(lái)控制常規(guī)回放顯示圖像8中的再現(xiàn)時(shí)間、再現(xiàn)方向和再現(xiàn)速度。在圖23的示例中，如果三維模型4j被從右往左移動(dòng)，則在正的再現(xiàn)方向中再現(xiàn)常規(guī)回放顯示圖像8。通過(guò)這樣將移動(dòng)體的三維模型4的移動(dòng)和常規(guī)回放顯示相互聯(lián)鎖，用戶能夠通過(guò)簡(jiǎn)單的操作以希望的再現(xiàn)時(shí)間、在希望的方向上并且以希望的再現(xiàn)速度提供運(yùn)動(dòng)圖像的常規(guī)回放顯示，從而恰當(dāng)?shù)匕盐赵撨\(yùn)動(dòng)圖像的內(nèi)容。
[0215]〈效果〉
[0216]因此，已經(jīng)描述了根據(jù)本發(fā)明第一和第二實(shí)施例的用于顯示鳥(niǎo)瞰顯示圖像的顯示控制設(shè)備和顯示方法。相關(guān)技術(shù)(圖2)中的常規(guī)回放顯示和菲林膠卷顯示(圖3)具有需要許多時(shí)間和精力來(lái)把握運(yùn)動(dòng)圖像的拾取內(nèi)容并且還不能夠把握成像狀況的問(wèn)題。
[0217]相比之下，根據(jù)按照這些實(shí)施例的鳥(niǎo)瞰顯示圖像3，物體的三維模型4被畫(huà)到其在虛擬三維空間6中的實(shí)際位置并且被畫(huà)到多個(gè)縮略圖像5被拾取時(shí)的位置和方向上。此外，作為使縮略圖像5相互關(guān)聯(lián)的信息，按照縮略圖像5被拾取的順序互連多個(gè)縮略圖像5的運(yùn)動(dòng)軌跡線7被沿著成像裝置10的運(yùn)動(dòng)軌跡畫(huà)出。然后，鳥(niǎo)瞰顯示圖像3提供對(duì)包含縮略圖像5和三維模型4的虛擬三維空間6的鳥(niǎo)瞰顯示，從而使得通過(guò)利用成像裝置10的運(yùn)動(dòng)路徑和縮略圖像5之間的關(guān)聯(lián)可以容易地把握拾取內(nèi)容和成像狀況。
[0218]因此，用戶可以容易地且即時(shí)地把握成像視頻(運(yùn)動(dòng)圖像)的內(nèi)容和成像狀況兩者。因此，用戶可以有效地對(duì)由成像裝置10記錄的多個(gè)視頻進(jìn)行分類、布置和編輯。結(jié)果，可以逆轉(zhuǎn)許多視頻在用戶處囤積以致用戶不知道如何處理它們的現(xiàn)狀。
[0219]此外，除了這樣容易地把握視頻內(nèi)容以外，在視頻編輯中，用戶還可以通過(guò)諸如拖放操作之類的簡(jiǎn)單操作而容易并且快速地對(duì)視頻進(jìn)行再現(xiàn)、檢索和編輯。因此，即使由于怕麻煩而不愿編輯的用戶也能欣然使用本發(fā)明。
[0220]可以肯定地預(yù)期成像裝置未來(lái)的進(jìn)步致力于添加用于獲得三維信息的功能，而根據(jù)本實(shí)施例的視頻顯示方法對(duì)該功能具有非常高的親合力。此外，近年來(lái)信息處理設(shè)備和圖像分析技術(shù)的進(jìn)步已經(jīng)提高了從視頻中自動(dòng)提取出三維信息的能力。因此，根據(jù)本實(shí)施例的視頻顯示方法也能夠適應(yīng)相關(guān)技術(shù)中的、在拍攝時(shí)尚不能獲得其三維信息的視頻資料。
[0221]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需要和其它因素，可以進(jìn)行各種修改、組合、子組合和更改，只要它們?cè)谒綑?quán)利要求的范圍及其等價(jià)物以內(nèi)即可。
[0222]例如，以上實(shí)施例將顯示控制設(shè)備應(yīng)用到成像裝置10 (數(shù)字視頻相機(jī))或信息處理設(shè)備200 (PC)，然而，本發(fā)明不限于它們。例如，本發(fā)明的顯示控制設(shè)備可以應(yīng)用到包括數(shù)字靜止相機(jī)和監(jiān)視器相機(jī)在內(nèi)的各種成像裝置，以及具有成像功能的任何給定裝置，例如，帶攝像頭的蜂窩電話等。此外，它還可以應(yīng)用到任何給定的電子裝置，這些電子裝置盡管沒(méi)有成像功能，但是只要具有視頻再現(xiàn)功能即可。這些電子裝置可以包括視頻記錄/再現(xiàn)設(shè)備，例如藍(lán)光光盤(pán)/DVD/HDD播放器、個(gè)人數(shù)字助理(PDA)、便攜式視頻播放器、游戲機(jī)和TV接收機(jī)。
[0223]此外，已經(jīng)參考個(gè)人用戶拍攝個(gè)人內(nèi)容(自己記錄的視頻)的情況描述了以上實(shí)施例，但是本發(fā)明的鳥(niǎo)瞰顯示方法可以應(yīng)用于包括廣播節(jié)目和視頻媒體的再現(xiàn)在內(nèi)的寬范圍的領(lǐng)域。
[0224]此外，用于顯示本發(fā)明的鳥(niǎo)瞰顯示圖像3的裝置不限于兩維監(jiān)視器。例如，通過(guò)使用三維監(jiān)視器，可以以更立體的方式來(lái)再現(xiàn)鳥(niǎo)瞰顯示圖像。
[0225]此外，盡管以上實(shí)施例已經(jīng)顯示了運(yùn)動(dòng)軌跡線7作為按照縮略圖像5被拾取的順序?qū)⒖s略圖像5相互關(guān)聯(lián)的信息，但是本發(fā)明不限于此。例如，作為該信息，指示縮略圖像5被拾取的順序的文本信息可以被顯示，或者標(biāo)記和圖標(biāo)可以以沿鳥(niǎo)瞰顯示圖像3中的成像裝置10的運(yùn)動(dòng)途徑移動(dòng)的方式被顯示。
[0226]本申請(qǐng)包含與2008年10月10 口在日本專利局提交的口本優(yōu)先權(quán)專利申請(qǐng)JP2008-264112中所公開(kāi)的主題相關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用被結(jié)合于此。
【權(quán)利要求】
1.一種顯示控制設(shè)備，包括: 顯示圖像生成單元，所述顯示圖像生成單元將圖像畫(huà)到布置了所述圖像中所包含的物體的三維模型的虛擬三維空間中與所述圖像相對(duì)應(yīng)的成像裝置的位置上，并且在所述虛擬三維空間中畫(huà)出按照所述圖像被拾取的順序來(lái)關(guān)聯(lián)所述圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，所述鳥(niǎo)瞰顯示圖像提供對(duì)包含所述三維模型和所述圖像的所述虛擬三維空間的鳥(niǎo)瞰繪圖； 顯示控制單元，所述顯示控制單元使得所述顯示單元顯示所述鳥(niǎo)瞰顯示圖像；以及 存儲(chǔ)單元，所述存儲(chǔ)單元存儲(chǔ)運(yùn)動(dòng)軌跡信息作為所述圖像的附加信息，所述運(yùn)動(dòng)軌跡信息表示所述成像裝置在拾取所述圖像時(shí)的運(yùn)動(dòng)軌跡，其中 所述顯示圖像生成單元基于所述運(yùn)動(dòng)軌跡信息在所述虛擬三維空間中所述圖像被拾取時(shí)所述成像裝置的相應(yīng)位置處畫(huà)出所述圖像。
2.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中 按照所述圖像被拾取的順序關(guān)聯(lián)所述圖像的信息是表示所述成像裝置在拾取所述圖像時(shí)所述成像裝置的運(yùn)動(dòng)軌跡的運(yùn)動(dòng)軌跡線，并且 所述顯示圖像生成單元基于所述運(yùn)動(dòng)軌跡信息、以按照所述圖像被拾取的順序連接所述圖像的方式在所述虛擬三維空間中畫(huà)出所述運(yùn)動(dòng)軌跡線。
3.根據(jù)權(quán)利要求2所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元根據(jù)所述圖像之間的圖像的內(nèi)容或成像狀況、以各種線的類型畫(huà)出連接所述圖像的運(yùn)動(dòng)軌跡線。
4.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元將表示所述圖像中的至少一些圖像的內(nèi)容或成像狀況的替換圖像畫(huà)到所述圖像的繪圖位置來(lái)替代所述圖像。
5.根據(jù)權(quán)利要求4所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元: 根據(jù)所述虛擬三維空間中的圖像的繪圖位置來(lái)改變要被畫(huà)出的圖像的大??；并且 如果要被畫(huà)出的圖像的大小是預(yù)定的大小或更小，則畫(huà)出所述替換圖像來(lái)替代所述圖像。
6.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中，所述顯示圖像生成單元在元數(shù)據(jù)與所述圖像相關(guān)的條件下，在所述虛擬三維空間中畫(huà)出有關(guān)所述圖像的所述元數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像編輯單元，所述圖像編輯單元響應(yīng)于對(duì)所述顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的三維模型或圖像的用戶操作來(lái)編輯所述圖像。
8.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像編輯單元，所述圖像編輯單元響應(yīng)于所述顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的角度的指定，生成在所指定的角度觀看到的圖像。
9.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，還包括圖像檢索單元，所述圖像檢索單元檢索包含與從所述顯示單元上所顯示的鳥(niǎo)瞰顯示圖像中選出的三維模型相同或相似的三維模型或與該三維模型相對(duì)應(yīng)的物體的圖像。
10.一種顯示控制方法，包括以下步驟: 將圖像畫(huà)到虛擬三維空間中與所述圖像相對(duì)應(yīng)的成像裝置的位置上，所述圖像中所包含的物體的三維模型被布置在所述虛擬三維空間中，并且在所述虛擬三維空間中畫(huà)出按照所述圖像被拾取的順序關(guān)聯(lián)所述圖像的信息，從而生成鳥(niǎo)瞰顯示圖像，所述鳥(niǎo)瞰顯示圖像提供對(duì)包含所述三維模型和所述圖像的所述虛擬三維空間的鳥(niǎo)瞰繪圖； 使得顯示單元顯示所述鳥(niǎo)瞰顯示圖像；以及 存儲(chǔ)運(yùn)動(dòng)軌跡信息作為所述圖像的附加信息，所述運(yùn)動(dòng)軌跡信息表示所述成像裝置在拾取所述圖像時(shí)的運(yùn)動(dòng)軌跡，其中 基于所述運(yùn)動(dòng)軌跡信息在所述虛擬三維空間中所述圖像被拾取時(shí)所述成像裝置的相應(yīng)位置處畫(huà)出所述圖像。
11.根據(jù)權(quán)利要求10所述的顯示控制方法，其中 按照所述圖像被拾取的順序關(guān)聯(lián)所述圖像的信息是表示所述成像裝置在拾取所述圖像時(shí)所述成像裝置的運(yùn)動(dòng)軌跡的運(yùn)動(dòng)軌跡線，并且 所述運(yùn)動(dòng)軌跡線基于所述運(yùn)動(dòng)軌跡信息、以按照所述圖像被拾取的順序連接所述圖像的方式在所述虛擬三維空間中被畫(huà)出。
12.根據(jù)權(quán)利要求11所述的顯示控制方法，其中連接所述圖像的運(yùn)動(dòng)軌跡線是根據(jù)所述圖像之間的圖像的內(nèi)容或成像狀況、以各種線的類型畫(huà)出的。
13.根據(jù)權(quán)利要求10所述的顯示控制方法，其中表示所述圖像中的至少一些圖像的內(nèi)容或成像狀況的替換圖像被畫(huà)到所述圖像的繪圖位置來(lái)替代所述圖像。
14.根據(jù)權(quán)利要求13所述的顯示控制方法，其中 要被畫(huà)出的圖像的大小根據(jù)所述虛擬三維空間中的圖像的繪圖位置而改變；并且 如果要被畫(huà)出的圖像的大`小是預(yù)定的大小或更小，則所述替換圖像被畫(huà)出來(lái)替代所述圖像。
15.根據(jù)權(quán)利要求10所述的顯示控制方法，其中在元數(shù)據(jù)與所述圖像相關(guān)的條件下，有關(guān)所述圖像的所述元數(shù)據(jù)在所述虛擬三維空間中被畫(huà)出。
16.根據(jù)權(quán)利要求10所述的顯示控制方法,還包括響應(yīng)于對(duì)所述顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的三維模型或圖像的用戶操作來(lái)編輯所述圖像。
17.根據(jù)權(quán)利要求10所述的顯示控制方法,還包括響應(yīng)于所述顯示單元中所示出的鳥(niǎo)瞰顯示圖像中的角度的指定，生成在所指定的角度觀看到的圖像。
18.根據(jù)權(quán)利要求10所述的顯示控制方法，還包括檢索包含與從所述顯示單元上所顯示的鳥(niǎo)瞰顯示圖像中選出的三維模型相同或相似的三維模型或與該三維模型相對(duì)應(yīng)的物體的圖像。
【文檔編號(hào)】H04N5/232GK103491331SQ201310337384
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2009年10月10日 優(yōu)先權(quán)日:2008年10月10日
【發(fā)明者】鹿島浩司 申請(qǐng)人:索尼株式會(huì)社