專利名稱：圖像處理裝置、圖像處理方法、程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及圖像處理裝置、圖像處理方法、程序和記錄介質(zhì)。
背景技術(shù)：
通過(guò)合成由成像裝置捕獲的多個(gè)幀圖像來(lái)進(jìn)行在移動(dòng)被攝體的軌跡上的多個(gè)圖像的生成(例如，參照日本專利申請(qǐng)公開(kāi)號(hào)JP H8-182786和日本專利申請(qǐng)公開(kāi)號(hào)JP2009-181258)。此類處理稱為頻閃效應(yīng)等。在日本專利申請(qǐng)公開(kāi)號(hào)JP H8-182786中描述的技術(shù)捕獲移動(dòng)被攝體不存在于其中的背景的圖像。此外，在相同的相機(jī)角度捕獲移動(dòng)被攝體的圖像。通過(guò)計(jì)算所捕獲的兩個(gè)圖像之間的差異來(lái)提取移動(dòng)被攝體。必須兩次進(jìn)行圖像捕獲以便于提取移動(dòng)被攝體。在日本專利申請(qǐng)公開(kāi)號(hào)JP2009-181258中描述的技術(shù)以特定幀間隔合成圖像。為了依據(jù)移動(dòng)被攝體的尺寸等合成圖像，需要手動(dòng)地設(shè)置用以合成圖像的間隔。此外，在日本專利申請(qǐng)公開(kāi)號(hào)JP2009-181258中描述的技術(shù)顯示在所有移動(dòng)被攝體的軌跡上的多個(gè)圖像。例如，期待顯示在諸如用戶期待的移動(dòng)被攝體之類的預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像。

發(fā)明內(nèi)容
考慮上述內(nèi)容，本公開(kāi)提供圖像處理裝置、圖像處理方法、程序和記錄介質(zhì)，其合成靜態(tài)圖像和在多個(gè)移動(dòng)被攝體之中的預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像。提供本公開(kāi)以解決上述問(wèn)題。根據(jù)本公開(kāi)的實(shí)施例，例如，提供圖像處理裝置，其從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體，從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，并且合成在所選擇的移動(dòng)被攝體 的軌跡上的多個(gè)圖像和靜態(tài)圖像。根據(jù)本公開(kāi)的實(shí)施例，例如，提供在圖像處理裝置中使用的圖像處理方法，包括從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體，從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，并且合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。根據(jù)本公開(kāi)的實(shí)施例，例如，提供使得計(jì)算機(jī)進(jìn)行在圖像處理裝置中使用的圖像處理方法的程序，該方法包括從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體，從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，并且合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。根據(jù)至少一個(gè)實(shí)施例，可以合成靜態(tài)圖像和在多個(gè)移動(dòng)被攝體之中的預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像。


圖1是示出根據(jù)本公開(kāi)的成像裝置的配置示例的示圖；圖2是圖示根據(jù)第一實(shí)施例的圖像處理部分的功能的示例的示圖；圖3是圖示幀圖像的示例的示圖4是示出像素值的選擇的示例的示圖；圖5A是示出像素值的選擇間隔的示例的示圖；圖5B是示出像素值的選擇間隔的示例的示圖；圖5C是示出像素值的選擇間隔的示例的示圖；圖6是圖示確定預(yù)定像素是否是移動(dòng)被攝體的處理的示例的示圖；圖7A是示出移動(dòng)被攝體估計(jì)映像的示圖；圖7B是示出移動(dòng)被攝體估計(jì)映像的示圖；圖8是示出選擇移動(dòng)被攝體的圖形用戶界面(GUI)的示例的示圖；圖9是示出選擇移動(dòng)被攝體的⑶I的另一示例的示圖；圖1OA是示出移動(dòng)被攝體區(qū)域信息的示例的示圖；圖1OB是示出移動(dòng)被攝體區(qū)域信息的示例的示圖；圖11是示出比較移動(dòng)被攝體區(qū)域信息的處理的示例的示圖；圖12是示出軌跡合成圖像的示例的示圖；圖13是示出非自然軌跡合成圖像的示例的示
圖14是圖示根據(jù)第二實(shí)施例的圖像處理部分的功能的示例的示圖；圖15是圖示根據(jù)第三實(shí)施例的圖像處理部分的功能的示例的示圖；圖16是示出軌跡合成圖像的示例的示圖；以及圖17是示出設(shè)置軌跡上的多個(gè)圖像中的移動(dòng)被攝體的間隔的⑶I的示例的示圖。
具體實(shí)施例方式以下，將參考附圖詳細(xì)描述本公開(kāi)的優(yōu)選實(shí)施例。注意，在說(shuō)明書(shū)和附圖中，具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)要素以相同的附圖標(biāo)記表示，并且省略這些結(jié)構(gòu)要素的重復(fù)說(shuō)明。注意，將以如下次序做出說(shuō)明。1、第一實(shí)施例2、第二實(shí)施例3、第三實(shí)施例4、修改示例注意，以下描述的實(shí)施例等是本公開(kāi)的示例性具體示例，本公開(kāi)的內(nèi)容不局限于這些實(shí)施例等。1、第一實(shí)施例(成像裝置的配置)圖1示出成像裝置的配置示例。使用成像裝置I以進(jìn)行圖像捕獲操作，其中例如對(duì)預(yù)定時(shí)間段捕獲預(yù)定移動(dòng)被攝體的圖像并且獲得移動(dòng)圖像。預(yù)定被攝體包括完全不移動(dòng)的靜態(tài)被攝體以及作為移動(dòng)的攝影對(duì)象的移動(dòng)被攝體。靜態(tài)被攝體例如是諸如樹(shù)木、道路和建筑之類的背景。移動(dòng)被攝體是人、車輛、動(dòng)物、球等。移動(dòng)被攝體不需要一直移動(dòng)，且移動(dòng)被攝體可以處于臨時(shí)停止?fàn)顟B(tài)。主要由光學(xué)系統(tǒng)、信號(hào)處理系統(tǒng)、記錄/回放系統(tǒng)、顯示系統(tǒng)和控制系統(tǒng)配置成像裝置I。例如，光學(xué)系統(tǒng)的配置對(duì)應(yīng)于成像部分。光學(xué)系統(tǒng)包括透鏡和光圈(在圖中未示出)以及圖像傳感器11。由透鏡使來(lái)自被攝體的光學(xué)圖像聚焦。由光圈調(diào)節(jié)光學(xué)圖像的光量。向圖像傳感器11供應(yīng)所聚焦的光學(xué)圖像。由圖像傳感器11光電地轉(zhuǎn)換光學(xué)圖像，并且生成作為電信號(hào)的模擬圖像數(shù)據(jù)。圖像傳感器11是電耦合器件(CCD)傳感器、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器等。信號(hào)處理系統(tǒng)包括采樣電路21、模數(shù)(A/D)轉(zhuǎn)換部分22和圖像處理部分23。采樣電路21通過(guò)例如對(duì)從圖像傳感器11供應(yīng)的模擬圖像數(shù)據(jù)進(jìn)行相關(guān)雙采樣(⑶S)處理來(lái)改進(jìn)信噪比(S/N)。在采樣電路21中，可以對(duì)模擬圖像數(shù)據(jù)進(jìn)行諸如控制增益的自動(dòng)增益控制(AGC)之類的模擬信號(hào)處理。A/D轉(zhuǎn)換部分22將從采樣電路21供應(yīng)的模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。向圖像處理部分23供應(yīng)所轉(zhuǎn)換的數(shù)字圖像數(shù)據(jù)。圖像處理部分23對(duì)數(shù)字圖像數(shù)據(jù)進(jìn)行相機(jī)信號(hào)處理，諸如馬賽克處理、自動(dòng)對(duì)焦(AF)、自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)等。此外，圖像處理部分23進(jìn)行通過(guò)將靜態(tài)圖像和在預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像進(jìn)行合成來(lái)生成軌跡合成圖像的處理以及顯示圖形用戶界面(GUI)的處理。注意，可以分開(kāi)提供進(jìn)行相機(jī)信號(hào)處理的圖像處理部分和進(jìn)行生成軌跡合成圖像處理以及其他處理的圖像處理部分。盡管從圖中省略，但是圖像處理部分23包括保持多個(gè)幀圖像的圖像存儲(chǔ)器。記錄/回放系統(tǒng)包括編碼/解碼部分31和存儲(chǔ)器32。存儲(chǔ)器32包括存儲(chǔ)器和控制關(guān)于存儲(chǔ)器的記錄處理及回放處理的驅(qū)動(dòng)器。當(dāng)記錄數(shù)字圖像數(shù)據(jù)時(shí)，由編碼/解碼部分31將從圖像處理部分23供應(yīng)的數(shù)字圖像數(shù)據(jù)編碼為預(yù)定格式。將所編碼的數(shù)字圖像數(shù)據(jù)記錄在存儲(chǔ)器32中。當(dāng)回放數(shù)字圖像數(shù)據(jù)時(shí)，從存儲(chǔ)器32讀出預(yù)定數(shù)字圖像數(shù)據(jù)。由編碼/解碼部分31解碼所讀取的圖像數(shù)據(jù)。

例如，存儲(chǔ)器32是內(nèi)置于成像裝置I中的硬盤(pán)。存儲(chǔ)器32可以是可以隨意插入成像裝置I或從成像裝置I隨意移除的存儲(chǔ)器，諸如半導(dǎo)體存儲(chǔ)器、光盤(pán)或磁盤(pán)。例如，將數(shù)字圖像數(shù)據(jù)記錄在存儲(chǔ)器32上。將諸如數(shù)字圖像數(shù)據(jù)的圖像捕獲日期和時(shí)間之類的元數(shù)據(jù)以及音頻數(shù)據(jù)記錄在存儲(chǔ)器32中。顯示系統(tǒng)包括數(shù)模(D/A)轉(zhuǎn)換部分41、顯示控制部分42和顯示部分43。D/A轉(zhuǎn)換部分41將從圖像處理部分23供應(yīng)的數(shù)字圖像數(shù)據(jù)轉(zhuǎn)換為模擬圖像數(shù)據(jù)。數(shù)字圖像數(shù)據(jù)可以是由光學(xué)系統(tǒng)取得并由A/D轉(zhuǎn)換部分22轉(zhuǎn)換的數(shù)字圖像數(shù)據(jù)，或者可以是從存儲(chǔ)器32讀出的數(shù)字圖像數(shù)據(jù)。顯示控制部分42將從D/A轉(zhuǎn)換部分41供應(yīng)的模擬圖像數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的視頻信號(hào)。該預(yù)定格式是與顯示部分43兼容的格式。將該視頻信號(hào)從顯示控制部分42供應(yīng)到顯示部分43并且在該顯示部分43上進(jìn)行基于視頻信號(hào)的顯示。由液晶顯示器(IXD)、有機(jī)電致發(fā)光(EL)顯示器等形成顯示部分43。例如，顯示部分43用作顯示直通圖像 (through image)的取景器?？梢栽陲@示部分43上顯示從存儲(chǔ)器32回放的圖像。顯示部分43可以形成為觸摸板。諸如菜單屏幕之類的操作屏幕可以顯示在顯示部分43上，并且可以通過(guò)觸摸操作屏幕上的預(yù)定位置來(lái)進(jìn)行關(guān)于成像裝置I的操作?？梢栽陲@示部分43上顯示從多個(gè)移動(dòng)被攝體之中選擇預(yù)定移動(dòng)被攝體的GUI。控制系統(tǒng)包括控制部分51、操作輸入接收部分52、操作部分53和定時(shí)發(fā)生器54?？刂撇糠?1例如由中央處理器(CPU)形成，并控制成像裝置I的各個(gè)部分。操作輸入接收部分52接收在操作部分53上進(jìn)行的操作,并且依據(jù)操作生成操作信號(hào)。向控制操作51供應(yīng)所生成的操作信號(hào)?？刂撇糠?1依據(jù)操作信號(hào)進(jìn)行處理。操作部分53是布置在成像裝置I上的按鈕、開(kāi)關(guān)等。例如，操作部分53是進(jìn)行圖像捕獲的電源開(kāi)/關(guān)按鈕或記錄按鈕?？梢郧‘?dāng)?shù)馗淖儾僮鞑糠?3的數(shù)量、布置操作部分53的位置和操作部分53的形狀等。定時(shí)發(fā)生器54依據(jù)控制部分51的控制而生成預(yù)定定時(shí)信號(hào)。向圖像傳感器11、采樣電路21和A/D轉(zhuǎn)換部分22供應(yīng)所生成的定時(shí)信號(hào)。圖像傳感器11等分別響應(yīng)于所供應(yīng)的定時(shí)信號(hào)而操作。經(jīng)由總線60連接控制系統(tǒng)、圖像處理部分23、編碼/解碼部分31和存儲(chǔ)器32的結(jié)構(gòu)要素。例如，經(jīng)由總線60傳送從控制部分51發(fā)送的控制命令?？梢越?jīng)由總線60向成像處理部分23和編碼/解碼部分31供應(yīng)由定時(shí)發(fā)生器54生成的定時(shí)信號(hào)。圖像處理部分23等可以響應(yīng)于定時(shí)信號(hào)而操作。盡管從圖中省略，但是可以在成像裝置I中提供處理由麥克風(fēng)采集到的音頻的音頻處理系統(tǒng)。此外，回放所采集到的音頻或回放背景音樂(lè)(BGM)的揚(yáng)聲器可以提供在成像裝置I上。將概括地解釋成像裝置I的操作的示例。光學(xué)系統(tǒng)響應(yīng)于從定時(shí)發(fā)生器54供應(yīng)的定時(shí)信號(hào)而操作，并且經(jīng)由光學(xué)系統(tǒng)取得多個(gè)幀圖像?；谔囟◣俾嗜〉枚鄠€(gè)幀圖像。特定幀速率對(duì)每一個(gè)成像裝置不同。幀速率是每秒10幀(f/s)、30f/s、60f/s、240f/s等。由采樣電路21對(duì)經(jīng)由諸如圖像傳感器11之類的光學(xué)系統(tǒng)取得的模擬圖像數(shù)據(jù)進(jìn)行預(yù)定信號(hào)處理。由A/D轉(zhuǎn)換部分22將模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。向圖像處理部分23供應(yīng)數(shù)字圖像數(shù)據(jù)。在正常狀態(tài)下，在包括在圖像處理部分23中的圖像存儲(chǔ)器上覆寫(xiě)向圖像處理部分23供應(yīng)的數(shù)字圖像數(shù)據(jù)。對(duì)在圖像存儲(chǔ)器中存儲(chǔ)的圖像數(shù)據(jù)進(jìn)行D/A轉(zhuǎn)換部分41和顯示控制部分4 2的處理，并且在顯示部分43上顯示直通圖像。這里，如果決定了移動(dòng)被攝體的合成并且按下了操作部分53的記錄按鈕，則進(jìn)行圖像捕獲處理。例如，在再次按下記錄按鈕之前，進(jìn)行該圖像捕獲處理一個(gè)預(yù)定時(shí)間段。直通圖像捕獲處理，在圖像處理部分23的圖像存儲(chǔ)器中存儲(chǔ)多個(gè)片段的圖像數(shù)據(jù)。例如，在圖像捕獲處理完成的時(shí)刻，從圖像存儲(chǔ)器向編碼/解碼部分31傳輸圖像數(shù)據(jù)。然后，由編碼/解碼部分31編碼該圖像數(shù)據(jù)。在存儲(chǔ)器32中記錄所編碼的圖像數(shù)據(jù)。例如，可以對(duì)成像裝置I設(shè)置頻閃成像模式。當(dāng)設(shè)置了頻閃成像模式時(shí)，使用在圖像處理部分23中存儲(chǔ)的多個(gè)幀圖像進(jìn)行處理。通過(guò)此處理，將靜態(tài)圖像和預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像合成并生成軌跡合成圖像。例如，在顯示部分43上顯示該軌跡合成圖像。注意，稍后將更詳細(xì)描述此處理。(圖像處理部分的功能)圖2是示出圖像處理部分23的功能的示例的功能框圖。作為功能的一個(gè)示例，圖像處理部分23包括輸入圖像保持部分100、像素選擇部分110、移動(dòng)被攝體檢測(cè)部分120、移動(dòng)被攝體跟蹤部分130、軌跡合成部分140、軌跡合成結(jié)果保持部分150以及軌跡合成圖像顯示部分160。(輸入圖像保持部分)輸入圖像保持部分100是保持(存儲(chǔ))多個(gè)幀圖像的圖像存儲(chǔ)器。在輸入圖像保持部分100中存儲(chǔ)以時(shí)間次序捕獲的η (η是二或更大的整數(shù))幀圖像。輸入圖像保持部分100的存儲(chǔ)容量有限。因此，當(dāng)將新的幀圖像輸入到輸入圖像保持部分100時(shí)，所存儲(chǔ)的幀圖像之中的最舊的幀圖像被順序刪除并覆寫(xiě)。在輸入圖像保持部分100中保持通過(guò)進(jìn)行特定時(shí)間段的圖像捕獲而獲得的幀圖像。注意，在下面的說(shuō)明中，出于說(shuō)明的方便，假定成像裝置I的幀率為60f/s。例如，使用成像裝置I進(jìn)行10秒鐘的圖像捕獲。在此情況下，在輸入圖像保持部分100中保持600幀幀圖像(Ijlj 1_)。當(dāng)然，幀率以及進(jìn)行圖像捕獲的時(shí)間段僅為示例，而非限于上述數(shù)值。圖3示出由輸入圖像保持部分100保持的第一幀圖像I1的示例。例如，作為背景，幀圖像I1包括樹(shù)木Tl、樹(shù)木T2、樹(shù)木T3、行車道LI和行車道L2。例如，移動(dòng)被攝體是在車道LI上行駛的摩托車B (包括駕駛員)和在車道L2上行駛的卡車TR。如圖3所見(jiàn)，將摩托車B定位在幀圖像I1的右端部分。如圖3所示，卡車TR位于幀圖像I1的左端部分。當(dāng)以時(shí)間次序回放幀圖像I1到幀圖像時(shí)，摩托車B在車道LI上從右側(cè)向左下角附近移動(dòng)。換而言之，摩托車B隨著時(shí)間的流逝移動(dòng)以接近成像裝置I。摩托車B的外觀尺寸隨著時(shí)間的流逝而增大。卡車TR在車道L2上從左下角附近向右上角附近移動(dòng)。換句話說(shuō)，卡車TR隨著時(shí)間的流逝而從成像裝置I移走?？ㄜ嘥R的外觀尺寸隨著時(shí)間的流逝而減小。(像素選擇部分)像素選擇部分110從在輸入圖像保持部分100中保持的幀圖像之中將一幅幀圖像設(shè)置為中心圖像。此外，使用中心圖像作為參考，像素選擇部分110以時(shí)間次序設(shè)置特定范圍內(nèi)的幀圖像作為周圍圖像。注意，周圍圖像可以是就時(shí)間而言定位在中心圖像之前或之后的圖像，或者可以包括就時(shí)間而言定位在中心圖像之前和之后的圖像。采用中心圖像和周圍圖像作為處理目標(biāo)圖像。如圖4所示，例如，將在時(shí)間t處的幀圖像It設(shè)置為中心圖像。將在時(shí)間t+i處的幀圖像It+i和在時(shí)間t-1處的幀圖像It_i設(shè)置為周圍圖像。注意，周圍圖像的數(shù)量不限于兩幅，并且可以設(shè)置任何數(shù)量。將預(yù)定時(shí)間段(例如，三秒)內(nèi)的幀圖像設(shè)置為關(guān)于中心圖像的周圍圖像。因此，存在周圍圖像的數(shù)據(jù)是大約200幀的情況。然而，出于說(shuō)明的方便，減小周圍圖像的數(shù)量。像素選擇部分110選擇在中心圖像It的預(yù)定位置處的像素Vt并且獲取像素Vt的像素值。像素選擇部分110獲取與在周圍圖像It+i中的像素Vt相同的位置處的像素vt+i的像素值。像素選擇部分110獲取與在周圍圖像It_i中的像素Vt相同的位置處的像素vt_i的像素值。注意，如果恰當(dāng)?shù)脑?，可以改變周圍圖像中的像素選擇間隔。圖5示出像素選擇間隔的多個(gè)示例。在圖5示出的示例中，就時(shí)間而言定位在中心圖像之后的九幅幀圖像被設(shè)置為周圍圖像。此外，就時(shí)間而言定位在中心圖像之前的九幅幀圖像被設(shè)置為周圍圖像。用矩形框示出在中心圖像的預(yù)定位置處的像素Vt和周圍圖像中的像素(定位在與該像素\相同的位置上)。添加到框中的斜線指示被選擇為處理目標(biāo)的像素。注意，如果恰當(dāng)?shù)脑挘袼豓t的像素值稱為像素值Vt。

圖5A示出全部選擇定位在與該像素Vt相同的位置處的周圍圖像中的像素的示例。在此情況下，改進(jìn)移動(dòng)被攝體的檢測(cè)精度，該檢測(cè)通過(guò)稍后描述的移動(dòng)被攝體檢測(cè)部分120進(jìn)行。然而，增加計(jì)算成本。因此，如圖5B和圖5C所示，可以通過(guò)稀疏像素來(lái)進(jìn)行選擇。圖5B示出進(jìn)行選擇從而以相等間隔來(lái)稀疏定位在與像素Vt相同的位置處的周圍圖像中的像素的示例。圖5C示出密集地選擇就時(shí)間而言靠近中心圖像的周圍圖像的像素的示例。以此方式，考慮檢測(cè)移動(dòng)被攝體的計(jì)算成本，可以通過(guò)稀疏周圍圖像的像素進(jìn)行選擇。(移動(dòng)被攝體檢測(cè)部分)當(dāng)由像素檢測(cè)部分110進(jìn)行像素選擇時(shí)，進(jìn)行移動(dòng)被攝體檢測(cè)部分120的處理。如圖6所示，使用時(shí)間軸和像素值軸繪制由像素選擇部分110選擇的像素的像素值。在圖6中示出的示例中，繪制在中心圖像的預(yù)定位置處的像素Vt的像素值Vt。此外，在六幅周圍圖像的每一幅中，繪制定位在與像素Vt相同的位置處的像素的像素值。使用像素值Vt作為參考設(shè)置預(yù)定范圍(預(yù)定閾值范圍)。用巾貞FR示意性地示出確定閾值范圍。移動(dòng)被攝體檢測(cè)部分120關(guān)于確定閾值范圍內(nèi)的像素的數(shù)量，進(jìn)行多數(shù)判決(majority decision)處理,從而確定像素Vt是否是包括在背景中的背景像素。例如,假定具有確定閾值范圍內(nèi)的像素值的像素的數(shù)量越大，像素值改變?cè)叫?，并且在此情況下，確定像素Vt是背景像素。假定具有確定閾值范圍內(nèi)的像素值的像素的數(shù)量越小，像素值改變?cè)酱螅⑶以诖饲闆r下，確定像素Vt是移動(dòng)被攝體。也可以進(jìn)行確定從而首先確定像素Vt是否是背景像素，然后未被確定為背景像素的像素可以被確定為移動(dòng)被攝體的像素。當(dāng)關(guān)于像素Vt的確定完成時(shí)，在中心圖像中的下一像素可以由像素選擇部分110選擇。例如，使用光柵掃描(raster scan)次序來(lái)依次選擇中心圖像中的像素。更具體地，從中心圖像的左上像素到右下像素依次選擇像素。確定每一個(gè)所選擇的像素是否是背景像素。當(dāng)對(duì)中心圖像中的所有像素完成確定時(shí)，就時(shí)間而言接著中心圖像的幀圖像被設(shè)置為中心圖像。對(duì)新設(shè)置的中心圖像中的所有像素進(jìn)行上述處理，并且確定每一個(gè)所選擇的像素是否是背景像素。當(dāng)在輸入圖像保持部分100中保持了 600幀幀圖像時(shí)，首先例如將幀圖像I1設(shè)置為中心圖像。對(duì)幀圖像I1中的所有像素進(jìn)行移動(dòng)被攝體檢測(cè)部分120的確定處理。接著，第二幀圖像I2被設(shè)置為中心圖像，并且對(duì)幀圖像I2中的所有像素進(jìn)行移動(dòng)被攝體檢測(cè)部分120的確定處理。在對(duì)第600幀圖像600中的所有像素進(jìn)行確定每一個(gè)像素是否是背景像素的確定處理之前，一直重復(fù)此處理。對(duì)600幀中的所有像素進(jìn)行確定每一個(gè)像素是否是背景像素的確定處理。注意，可以通過(guò)從在輸入圖像保持部分100中保持的幀圖像中以預(yù)定間隔稀疏幀圖像來(lái)減少處理目標(biāo)幀圖像。通過(guò)減少處理目標(biāo)幀圖像，可以減少像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120上的處理負(fù)載。依據(jù)對(duì)每一個(gè)像素的確定處理的結(jié)果，移動(dòng)被攝體檢測(cè)部分120對(duì)每一個(gè)幀圖像生成移動(dòng)被攝體估計(jì)映像Mn。移動(dòng)被攝體估計(jì)映像Mn是識(shí)別移動(dòng)被攝體和背景圖像的映像。例如，通過(guò)由低電平像素和高電平像素構(gòu)成的二進(jìn)制信息來(lái)表示移動(dòng)被攝體估計(jì)映像Mn。圖7A示出通過(guò)對(duì)幀圖像I1的確定處理而獲得的移動(dòng)被攝體估計(jì)映像M1的示例。由移動(dòng)被攝體檢測(cè)部分120通過(guò)確定處理確定為背景像素的像素被示出作為低電平像素(例如，以黑色示出)。未確定為背景像素的像素(即，在移動(dòng)被攝體中包括的像素)被示出作為高電平像素(例如，以白 色示出)。摩托車B被檢測(cè)為在移動(dòng)被攝體估計(jì)映像M1的右端部分的附近的移動(dòng)被攝體。卡車TR被檢測(cè)為在移動(dòng)被攝體估計(jì)映像M1的左端部分的附近的移動(dòng)被攝體。圖7B示出與幀圖像In對(duì)應(yīng)的移動(dòng)被攝體估計(jì)映像Mn的示例，該幀圖像In就時(shí)間而言以預(yù)定時(shí)間定位在幀圖像I1之后。因?yàn)槟ν熊嘊隨著時(shí)間的流逝而靠近，所以指示摩托車B的區(qū)域增大。同時(shí)，因?yàn)榭ㄜ嘥R隨著時(shí)間的流逝而遠(yuǎn)去，所以指示卡車TR的區(qū)域減小。將由移動(dòng)被攝體檢測(cè)部分120生成的移動(dòng)被攝體估計(jì)映像Mn供應(yīng)到移動(dòng)被攝體跟蹤部分130。注意，檢測(cè)移動(dòng)被攝體的處理不限于上述處理。例如，如在上述日本專利申請(qǐng)公開(kāi)號(hào)JP2009-181258 (由日本專利局出版)中所公開(kāi)的那樣，考慮像素之間的距離，可以對(duì)每一個(gè)像素計(jì)算作為移動(dòng)被攝體的概率。通過(guò)比較預(yù)定幀和就時(shí)間而言定位在該預(yù)定幀之前和之后的幀，來(lái)檢測(cè)移動(dòng)被攝體。可以關(guān)于幀圖像獲得距離映像，并且位于前方的被攝體可以確定為移動(dòng)被攝體。以此方式，用于檢測(cè)移動(dòng)被攝體的方法不限于上述方法并且可以使用已知方法。從由移動(dòng)被攝體檢測(cè)部分120檢測(cè)到的多個(gè)移動(dòng)被攝體之中，選擇移動(dòng)被攝體作為跟蹤目標(biāo)。通過(guò)稍后描述的處理來(lái)合成靜態(tài)圖像和在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像。注意，從由移動(dòng)被攝體檢測(cè)部分120檢測(cè)到的多個(gè)移動(dòng)被攝體之中，可以選擇一個(gè)移動(dòng)被攝體或可以選擇多個(gè)移動(dòng)被攝體。可以選擇由移動(dòng)被攝體檢測(cè)部分120檢測(cè)到的所有移動(dòng)被攝體。在第一實(shí)施例中，選擇由用戶選擇的移動(dòng)被攝體。例如，使用⑶I選擇移動(dòng)被攝體。例如，在顯示部分43上顯示⑶I。例如，由圖像處理部分23進(jìn)行生成⑶I的處理。 可以由控制部分51等進(jìn)行生成⑶I的處理。例如，將第一幀圖像I1用作⑶I。當(dāng)然，可以使用任何幀圖像?？梢燥@示由移動(dòng)被攝體檢測(cè)部分120檢測(cè)到的所有移動(dòng)被攝體，并且可以重新生成用來(lái)選擇移動(dòng)被攝體的圖像。圖像處理部分23基于在圖7A中示范的移動(dòng)被攝體估計(jì)映像乂來(lái)識(shí)別移動(dòng)被攝體的位置。例如，圖像處理部分23識(shí)別位于在移動(dòng)被攝體估計(jì)映像M1中的白色區(qū)域內(nèi)的尾部附近的像素的坐標(biāo)。然后，圖像處理部分23生成選擇區(qū)域的圖像以選擇移動(dòng)被攝體。選擇區(qū)域的圖像是例如指示移動(dòng)被攝體并具有預(yù)定區(qū)域的圖像。選擇區(qū)域的所生成的圖像被重疊在幀圖像I1上并且選擇區(qū)域被顯示在屏幕上。圖8示出選擇移動(dòng)被攝體的GUI的示例。與各自移動(dòng)被攝體對(duì)應(yīng)的選擇區(qū)域被顯示在圖形用戶界面⑶Il中。例如，顯示選擇區(qū)域I以指示摩托車B的尾部的附近。此外，顯示選擇區(qū)域2以指示卡車TR的尾部的附近。選擇區(qū)域I的形狀和大小與選擇區(qū)域2的形狀和大小基本上相同。用戶使用他/她的手指或操作工具來(lái)進(jìn)行選擇操作，并且選擇選擇區(qū)域I或選擇區(qū)域2中至少一個(gè)。例如，進(jìn)行在其中觸碰選擇區(qū)域I或選擇區(qū)域2中至少一個(gè)的選擇操作。由選擇操作選擇摩托車B或卡車TR中至少一個(gè)。所選擇的移動(dòng)被攝體被采用為跟蹤目標(biāo)。注意，選擇區(qū)域的形狀不限于矩形，而可以是圓形等。恰當(dāng)?shù)卦O(shè)置選擇區(qū)域的尺寸等從而用戶可以精確地指定選擇區(qū)域。當(dāng)然，可以使用按鈕或十字鍵來(lái)指定選擇區(qū)域。此夕卜，可以顯示用來(lái)確認(rèn)移動(dòng)被攝體的選擇的其他按鈕等，諸如OK按鈕。移動(dòng)被攝體具有多種形狀、尺寸和速度。取決于移動(dòng)被攝體的形狀等，可能難以精確地觸碰移動(dòng)被攝體本身。然而，因?yàn)轱@示了具有恰當(dāng)形狀和尺寸的選擇區(qū)域，所以用戶可以精確地和輕易地選擇移動(dòng)被攝體。圖9示出用來(lái)選擇移動(dòng)被攝體的GUI的另一示例。在圖形用戶界面GUI2中，對(duì)每一個(gè)移動(dòng)被攝體指定數(shù)字且該數(shù)字顯示在每一個(gè)移動(dòng)被攝體的附近。例如，數(shù)字I被指定給摩托車B且該數(shù)字I被顯示在摩托車B的附近。例如，數(shù)字2被指定給卡車TR且該數(shù)字2被顯示在卡車TR的附近。用虛線環(huán)繞每一個(gè)移動(dòng)被攝體以便于闡明每一個(gè)移動(dòng)被攝體的范圍。通過(guò)例如參考移動(dòng)被攝體估計(jì)映像M1來(lái)確定通過(guò)虛線設(shè)置的矩形區(qū)域的尺寸。注意，不必一定顯示虛線。在圖形用戶界面GUI2中顯示與指定給各自移動(dòng)被攝體的數(shù)字對(duì)應(yīng)的選擇區(qū)域。例如，顯示了與摩托車B對(duì)應(yīng)的選擇區(qū)域I和與卡車TR對(duì)應(yīng)的選擇區(qū)域2。選擇區(qū)域I和選擇區(qū)域2在背景區(qū)域上重疊。例如，在圖形用戶界面⑶12中，在左上角的附近的背景區(qū)域中互相靠近地顯示選擇區(qū)域I和選擇區(qū)域2。圖形用戶界面⑶12不限于靜態(tài)圖像，而可以是移動(dòng)圖像。此外，可以在始終是背景區(qū)域的區(qū)域中顯示選擇區(qū)域I和選擇區(qū)域2。甚至當(dāng)圖形用戶界面GUI2是移動(dòng)圖像時(shí)，也可以顯示選擇區(qū)域I和選擇區(qū)域2，而不阻礙摩托車B和卡車TR的顯示。此外，甚至當(dāng)圖形用戶界面GUI2是移動(dòng)圖像時(shí)，也可以固定選擇區(qū)域自身，從而可以輕易地進(jìn)行每一個(gè)選擇區(qū)域上的操作。注意，盡管在圖形用戶界面GUIl和GUI2中顯示背景，但是僅移動(dòng)被攝體可以顯示為選擇候選者。通過(guò)在虛線內(nèi)指定區(qū)域來(lái)允許移動(dòng)被攝體的選擇。使用圖形用戶界面GUIl和GUI2等進(jìn)行關(guān)于移動(dòng)被攝體的選擇操作。以下，如果未以其他方式指定，則在假定觸碰了選擇區(qū)域I并選擇了摩托車B的情況下做出說(shuō)明。向移動(dòng)被攝體跟蹤部分130供應(yīng)指示已經(jīng)選擇摩托車B的信息(恰當(dāng)?shù)脑挘韵路Q為移動(dòng)被攝體選擇信息)。(移動(dòng)被攝體跟蹤部分)移動(dòng)被攝體跟蹤部分130將由移動(dòng)被攝體選擇信息指定的移動(dòng)被攝體設(shè)置為跟蹤目標(biāo)。更具體地，移動(dòng)被攝體跟蹤部分130從被供應(yīng)到移動(dòng)被攝體跟蹤部分130的移動(dòng)被攝體估計(jì)映像(M1到M_)的每一個(gè)中選擇摩托車B。移動(dòng)被攝體跟蹤部分130獲取所提取的摩托車B的位置和尺寸。圖1OA示出從預(yù)定移動(dòng)被攝體估計(jì)映像Mn中提取的與摩托車B對(duì)應(yīng)的區(qū)域。將與摩托車B對(duì)應(yīng)的區(qū)域例如定義為設(shè)置以包括指示摩托車B的區(qū)域(白色區(qū)域)的矩形區(qū)域。恰當(dāng)?shù)脑?，與摩托車B對(duì)應(yīng)的區(qū)域稱為移動(dòng)被攝體區(qū)域。如圖1OB所示，獲取移動(dòng)被攝體區(qū)域的位置和尺寸。通過(guò)例如移動(dòng)被攝體估計(jì)映像Mn中的移動(dòng)被攝體區(qū)域的重心位于的坐標(biāo)(Xn，Yn)定義移動(dòng)被攝體區(qū)域的位置。以水平方向上的長(zhǎng)度Wn和垂直方向上的長(zhǎng)度Hn定義移動(dòng)被攝體區(qū)域的尺寸。移動(dòng)被攝體跟蹤部分130向軌跡合成部分140供應(yīng)有關(guān)移動(dòng)被攝體區(qū)域的位置和尺寸的信息。注意，恰當(dāng)?shù)脑?，有關(guān)從移動(dòng)被攝體估計(jì)映像Mn獲取的移動(dòng)被攝體區(qū)域的位置和尺寸的信息稱為移動(dòng)被攝體區(qū)域信息IFn。注意，卡車TR不是所選擇的移動(dòng)被攝體，從而不需要獲取卡車TR的移動(dòng)被攝體息。(軌跡合成部 分)軌跡合成部分140參考從移動(dòng)被攝體跟蹤部分130和軌跡合成結(jié)果保持部分150供應(yīng)的移動(dòng)被攝體區(qū)域信息，從而確定是否保持或丟棄幀圖像。當(dāng)確定要保持幀圖像時(shí)，在軌跡合成結(jié)果保持部分150中保持該幀圖像。此時(shí)，也保持與幀圖像對(duì)應(yīng)的移動(dòng)被攝體區(qū)域的信息。當(dāng)確定要丟棄幀圖像時(shí)，丟棄幀圖像和與幀圖像對(duì)應(yīng)的移動(dòng)被攝體區(qū)域信息。此夕卜，軌跡合成部分140合成靜態(tài)圖像和在移動(dòng)被攝體的軌跡上的多個(gè)圖像。(軌跡合成結(jié)果保持部分)軌跡合成結(jié)果保持部分150保持幀圖像和與從軌跡合成部分140供應(yīng)的幀圖像對(duì)應(yīng)的移動(dòng)被攝體區(qū)域信息。軌跡合成結(jié)果保持部分150向軌跡合成部分140供應(yīng)在其中保持的移動(dòng)被攝體區(qū)域信息。(軌跡合成圖像顯示部分)軌跡合成圖像顯示部分160顯示從軌跡合成部分140供應(yīng)的軌跡合成圖像。軌跡合成圖像可以是靜態(tài)圖像或是移動(dòng)圖像。軌跡合成圖像顯示部分160可以是顯示部分43，或者可以是與成像裝置I分開(kāi)提供的顯示裝置。(圖像處理部分的處理流)將說(shuō)明圖像處理部分23的處理流的示例。例如，在輸入圖像保持部分100中保持600幀幀圖像(I1到1_)。對(duì)第一幀圖像I1進(jìn)行像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120的處理，且獲取與幀圖像I1對(duì)應(yīng)的移動(dòng)被攝體估計(jì)映像乂。以上詳細(xì)描述了像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120的處理，因此省略其冗余說(shuō)明。向軌跡合成部分140供應(yīng)巾貞圖像向移動(dòng)被攝體跟蹤部分130供應(yīng)移動(dòng)被攝體估計(jì)映像Mp此外,指示已經(jīng)選擇了摩托車B的移動(dòng)被攝體選擇信息被供應(yīng)到移動(dòng)被攝體跟蹤部分130。移動(dòng)被攝體 跟蹤部分130從移動(dòng)被攝體估計(jì)映像M1提取摩托車B的移動(dòng)被攝體區(qū)域，并且獲取移動(dòng)被攝體區(qū)域信息IF115向軌跡合成部分140供應(yīng)移動(dòng)被攝體區(qū)域信息IF115軌跡合成部分140向軌跡合成結(jié)果保持部分150供應(yīng)第一次供應(yīng)的幀圖像I1和第一次供應(yīng)的移動(dòng)被攝體區(qū)域信息IF115在軌跡合成結(jié)果保持部分150中保持幀圖像I1和移動(dòng)被攝體區(qū)域信息IF115在軌跡合成結(jié)果保持部分150中保持的幀圖像I1被采用為參考幀(也稱為關(guān)鍵幀)的示例。在后續(xù)處理中，向軌跡合成部分140供應(yīng)與參考幀對(duì)應(yīng)的移動(dòng)被攝體區(qū)域信息。以稍后描述的方式更新參考幀。接著，從輸入圖像保持部分100讀出第二幀圖像I2作為對(duì)照目標(biāo)幀(也稱為當(dāng)前幀)。對(duì)幀圖像I2進(jìn)行像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120的處理，且獲取與幀圖像I2對(duì)應(yīng)的移動(dòng)被攝體估計(jì)映像M2。向軌跡合成部分140供應(yīng)幀圖像12。將與幀圖像I2對(duì)應(yīng)的移動(dòng)被攝體估計(jì)映像M2供應(yīng)到移動(dòng)被攝體跟蹤部分130。移動(dòng)被攝體跟蹤部分130從移動(dòng)被攝體估計(jì)映像M2提取摩托車B的移動(dòng)被攝體區(qū)域，并且獲取移動(dòng)被攝體區(qū)域信息IF2。向軌跡合成部分140供應(yīng)移動(dòng)被攝體區(qū)域信息IF2。軌跡合成部分140比較從移動(dòng)被攝體跟蹤部分130供應(yīng)的移動(dòng)被攝體區(qū)域信息IF2和從軌跡合成結(jié)果保持部分150供應(yīng)的移動(dòng)被攝體區(qū)域信息IF1。如圖11所示，從移動(dòng)被攝體跟蹤部分130供應(yīng)由移動(dòng)被攝體區(qū)域信息IF2指示的位置(X2，Y2)和尺寸(W2，H2)。將從軌跡合成結(jié)果保持部分150供應(yīng)的移動(dòng)被攝體區(qū)域信息IF1用作參考(ref)。S卩，位置(Xref, Yref)和尺寸(Wref, Href)的參考(ref)在此處理中是I。軌跡合成部分140基于移動(dòng)被攝體區(qū)域信息IF1和移動(dòng)被攝體區(qū)域信息IF2來(lái)確定是否滿足表達(dá)式(I)。
(Xn-Xref)2+ (Yn-Yref) 2>= (ffn/2)2+ (Hn/2)2+ (ffref/2)2+ (Href/2)2…(I)因?yàn)樘幚硎菍?duì)于幀圖像I2的，所以n=2。表達(dá)式(I)中的左側(cè)指示移動(dòng)被攝體之間的距離。(Wref/2)2+(Href/2)2指示圈定移動(dòng)被攝體區(qū)域信息IF1的移動(dòng)被攝體區(qū)域的圓形的半徑。(Wn/2)2+(Hn/2)2指示圈定移動(dòng)被攝體區(qū)域信息IF2的移動(dòng)被攝體區(qū)域的圓形的半徑。換而言之，當(dāng)滿足表達(dá)式(I)時(shí)，兩個(gè)圈定圓形開(kāi)始互相接觸或互相分離，而這意味著兩個(gè)移動(dòng)被攝體區(qū)域不互相重疊。當(dāng)未滿足表達(dá)式(I)時(shí)，軌跡合成部分140丟棄從移動(dòng)被攝體檢測(cè)部分120供應(yīng)的幀圖像I2和移動(dòng)被攝體區(qū)域信息IF115然后，從輸入圖像保持部分100讀出下一幀圖像13。此后，對(duì)幀圖像I3進(jìn)行與對(duì)幀圖像I2進(jìn)行的處理相同的處理。假定處理進(jìn)行下去并且例如對(duì)第90幀圖像I9tl的處理中，獲得滿足表達(dá)式(I)的結(jié)果。在此情況下，軌跡合成部分140向軌跡合成結(jié)果保持部分150供應(yīng)從移動(dòng)被攝體檢測(cè)部分120供應(yīng)的幀圖像I9tl和從移動(dòng)被攝體跟蹤部分130供應(yīng)的移動(dòng)被攝體區(qū)域信息IF9Q。軌跡合成結(jié)果保持部分150保持所供應(yīng)的幀圖像I9tl和所供應(yīng)的移動(dòng)被攝體區(qū)域信息IF9tl，并且更新參考幀到幀圖像19(|。例如，在更新參考幀的時(shí)刻，軌跡合成部分140合成幀圖像I1和幀圖像19(1。除了 由移動(dòng)被攝體區(qū)域信息IF1指定的區(qū)域之外，軌跡合成部分140設(shè)置幀圖像I1的不透明度為O。以相同的方式，除了由移動(dòng)被攝體區(qū)域信息IF9tl指定的區(qū)域，軌跡合成部分140設(shè)置幀圖像I9tl的不透明度為O。兩個(gè)幀圖像(層)被合成并且移動(dòng)被攝體被布置在幀中。然后，背景被指定到除了所布置的移動(dòng)被攝體之外的區(qū)域。例如，使用被確定為幀圖像I9tl中的背景的區(qū)域作為此時(shí)的背景。恰當(dāng)?shù)脑挘ㄟ^(guò)合成幀圖像I1和幀圖像I2而獲得的圖像稱為合成圖像A。在軌跡合成結(jié)果保持部分150中保持合成圖像A。注意，合成兩幅幀圖像的處理不限于上述處理。以此方式，軌跡合成部分140比較參考幀的移動(dòng)被攝體區(qū)域信息和對(duì)照目標(biāo)幀圖像的移動(dòng)被攝體區(qū)域信息。僅當(dāng)比較結(jié)果滿足表達(dá)式(I)時(shí)，在軌跡合成結(jié)果保持部分150中保持此幀圖像的對(duì)照目標(biāo)幀圖像和移動(dòng)被攝體區(qū)域信息，并且將此幀圖像設(shè)置為參考幀。在下一處理中，從輸入圖像保持部分100讀出幀圖像191。通過(guò)像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120中的處理獲取移動(dòng)被攝體估計(jì)映像M91。通過(guò)移動(dòng)被攝體跟蹤部分130中的處理獲取移動(dòng)被攝體區(qū)域信息IF91。軌跡合成部分140基于移動(dòng)被攝體區(qū)域信息IF9tl和移動(dòng)被攝體區(qū)域信息IF91確定結(jié)果是否滿足表達(dá)式(I)。例如，假定在幀圖像I17tl的處理中，獲得滿足表達(dá)式(I)的結(jié)果。在此情況下，軌跡合成部分140向軌跡合成結(jié)果保持部分150供應(yīng)幀圖像I17tl以及移動(dòng)被攝體區(qū)域信息IF17Q。將參考幀更新到幀圖像I17tl,且將幀圖像I17tl以及移動(dòng)被攝體區(qū)域信息IF17tl供應(yīng)到軌跡合成結(jié)果保持部分150。在軌跡合成結(jié)果保持部分150中保持幀圖像I17tl以及移動(dòng)被攝體區(qū)域/[目息IF170O例如，在更新參考幀的時(shí)刻，軌跡合成部分140關(guān)于合成圖像A合成幀圖像117(|。例如，從幀圖像I17tl提取由移動(dòng)被攝體區(qū)域信息IF17tl指示的區(qū)域。將所提取的區(qū)域的圖像重疊在合成圖像A上。例如，在合成圖像A中，最小化由移動(dòng)被攝體區(qū)域信息IF17tl指示的區(qū)域的不透明度。從幀圖像IF17tl提取的區(qū)域的圖像以最小不透明度被指定到區(qū)域上。
對(duì)保持在輸入圖像保持部分100中的所有幀圖像進(jìn)行上述處理。在更新參考幀的時(shí)刻進(jìn)行合成圖像的處理。當(dāng)對(duì)所有幀圖像完成該處理時(shí)，軌跡合成部分140將在那個(gè)時(shí)間點(diǎn)的合成圖像輸出作為軌跡合成圖像。在軌跡合成圖像顯示部分160上顯示輸出軌跡合成圖像。注意，軌跡合成部分140進(jìn)行合成圖像的處理的時(shí)刻不限于更新參考幀的時(shí)刻。例如，甚至當(dāng)更新參考幀時(shí)，軌跡合成結(jié)果保持部分150也可以保持與更新之前的參考幀對(duì)應(yīng)的幀圖像。在對(duì)保持在輸入圖像保持部分100中的所有幀圖像完成處理之后，軌跡合成部分140可以合成在軌跡合成結(jié)果保持部分150中保持的幀圖像，從而生成軌跡合成圖像。圖12示出軌跡合成圖像的示例。合成并顯示在摩托車B的軌跡上的多個(gè)圖像(摩托車B10、摩托車B11、摩托車B12、摩托車B13、摩托車B14和摩托車B15)以及靜態(tài)圖像。該靜態(tài)圖像包括背景和未選擇的移動(dòng)被攝體(卡車TR)。注意，可以在軌跡合成圖像顯示部分160上進(jìn)行下列顯示。首先，第一幀圖像被供應(yīng)到軌跡合成圖像顯示部分160并被顯示。由軌跡合成部分140合成的合成圖像被順序供應(yīng)到軌跡合成圖像顯示部分160。在軌跡合成圖像顯示部分160上顯示的合成圖像被切換并被顯示。由于此處理，例如可以進(jìn)行顯示，以使得摩托車B(摩托車B10、摩托車B11、摩托車B12等)被順序添加。盡管卡車TR的位置可能改變，但是不顯示卡車TR的軌跡上的多個(gè)圖像。以此方式，在第一實(shí)施例中，顯示了由用戶選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像。因此，可以顯示所期待的移動(dòng)被攝體的軌跡上的多個(gè)圖像。例如，在足球比賽的圖像上，可以僅顯示所期待的球員或球的軌跡上的多個(gè)圖像。此外，在第一實(shí)施例中，當(dāng)滿足表達(dá)式(I)時(shí)保持幀圖像等并且移動(dòng)被攝體不互相重疊。因此，在軌跡合成圖像 中，在軌跡上的多個(gè)圖像中的移動(dòng)被攝體不互相重疊，并且以恰當(dāng)?shù)奈恢瞄g隔顯示移動(dòng)被攝體。此外，從幀圖像檢測(cè)移動(dòng)被攝體。不需要分開(kāi)捕獲僅僅背景的圖像以檢測(cè)移動(dòng)被攝體，因此不需要多次進(jìn)行圖像捕獲操作。與此相反，在通常使用的技術(shù)中，以特定間隔保持幀圖像并且合成所保持的幀圖像。例如，每50幀保持幀圖像并且合成所保持的幀圖像。然而，取決于移動(dòng)被攝體是否是摩托車、卡車、人、球等，移動(dòng)被攝體的尺寸和速度不同，且特定間隔(50幀)不一定是恰當(dāng)?shù)拈g隔。因此，存在如下可能性，以圖13所示的重疊方式線性地和連續(xù)地顯示移動(dòng)被攝體且獲得非自然軌跡合成圖像。相反，也存在如下可能性:在軌跡合成圖像中的移動(dòng)被攝體之間的間隔過(guò)大且獲得非自然軌跡合成圖像。用戶可以依據(jù)移動(dòng)被攝體的形狀等來(lái)改變間隔以保持幀圖像。然而，對(duì)于用戶需要高級(jí)技巧以依據(jù)移動(dòng)被攝體的形狀等設(shè)置恰當(dāng)?shù)拈g隔。因此，用戶難以依據(jù)移動(dòng)被攝體的形狀等設(shè)置恰當(dāng)?shù)拈g隔。在第一實(shí)施例中，當(dāng)移動(dòng)被攝體不互相重疊時(shí)保持幀圖像。因此，在軌跡上的移動(dòng)幀圖像不互相重疊。此外，對(duì)于用戶而言只是選擇所期待的移動(dòng)被攝體就足夠了，而不需要進(jìn)行復(fù)雜設(shè)置。此外，因?yàn)槭褂昧艘苿?dòng)被攝體估計(jì)映像，所以可以輕易地檢測(cè)移動(dòng)被攝體，并且同時(shí)可以改進(jìn)檢測(cè)精度。2、第二實(shí)施例接著，將說(shuō)明本公開(kāi)的第二實(shí)施例。例如，第二實(shí)施例的成像裝置的配置基本上與第一實(shí)施例的成像裝置的配置相同。在第二實(shí)施例中，圖像處理部分23的處理的部分不同。圖14是示出根據(jù)第二實(shí)施例的圖像處理部分23的功能的示例的功能框圖。以上描述了由以下的每一個(gè)進(jìn)行的處理，并且恰當(dāng)?shù)脑捠÷云淙哂嗾f(shuō)明:輸入圖像保持部分100、像素選擇部分110、移動(dòng)被攝體檢測(cè)部分120、移動(dòng)被攝體跟蹤部分130、軌跡合成部分140、軌跡合成結(jié)果保持部分150和軌跡合成圖像顯示部分160。根據(jù)第二實(shí)施例的圖像處理部分23進(jìn)行確定處理200，在其中確定是否已經(jīng)選擇了移動(dòng)被攝體。例如，使用在圖8或圖9中示出的GUI，且當(dāng)已經(jīng)選擇了移動(dòng)被攝體時(shí)，由確定處理200獲得肯定結(jié)果。當(dāng)由確定處理200獲得該肯定結(jié)果時(shí)，進(jìn)行與第一實(shí)施例的處理相同的處理。例如，如果已經(jīng)選擇摩托車B作為移動(dòng)被攝體，則生成顯示在摩托車B的軌跡上的多個(gè)圖像的軌跡合成圖像。在軌跡合成圖像顯示部分160上顯示軌跡合成圖像。

當(dāng)尚未選擇移動(dòng)被攝體時(shí)，由確定處理200獲得否定結(jié)果。當(dāng)由確定處理200獲得該否定結(jié)果時(shí)，自動(dòng)地選擇移動(dòng)被攝體。例如，以優(yōu)先級(jí)選擇從幀圖像外部進(jìn)行幀圖像的移動(dòng)被攝體(幀內(nèi)移動(dòng)被攝體優(yōu)先級(jí)選擇模式)。所選擇的移動(dòng)被攝體被設(shè)置為由移動(dòng)被攝體跟蹤部分130進(jìn)行的處理中的跟蹤目標(biāo)。將說(shuō)明幀內(nèi)移動(dòng)被攝體優(yōu)先級(jí)選擇模式的示例。通過(guò)由移動(dòng)被攝體檢測(cè)部分120進(jìn)行的處理而獲得的移動(dòng)被攝體估計(jì)映像被供應(yīng)到幀內(nèi)移動(dòng)被攝體檢測(cè)部分210。幀內(nèi)移動(dòng)被攝體檢測(cè)部分210例如在移動(dòng)被攝體估計(jì)映像M1的角落附近或尾部附近中設(shè)置檢測(cè)區(qū)域。檢測(cè)區(qū)域不改變。此時(shí)，幀內(nèi)移動(dòng)被攝體檢測(cè)部分210獲取在移動(dòng)被攝體估計(jì)映像M1中存在的移動(dòng)被攝體(即，從圖像捕獲的開(kāi)始即存在的多個(gè)移動(dòng)被攝體)的移動(dòng)被攝體區(qū)域信息。幀內(nèi)移動(dòng)被攝體檢測(cè)部分210分析來(lái)自前面第二個(gè)的移動(dòng)被攝體估計(jì)映像，并且監(jiān)視移動(dòng)被攝體是否存在于檢測(cè)區(qū)域。當(dāng)移動(dòng)被攝體存在于檢測(cè)區(qū)域時(shí)，幀內(nèi)移動(dòng)被攝體檢測(cè)部分210參考從開(kāi)始即存在的移動(dòng)被攝體的移動(dòng)被攝體區(qū)域信息，并確定在檢測(cè)區(qū)域中存在的移動(dòng)被攝體是否是從開(kāi)始即存在的移動(dòng)被攝體之一。這里，當(dāng)在檢測(cè)區(qū)域中存在的移動(dòng)被攝體是從開(kāi)始即存在的移動(dòng)被攝體之一時(shí)，幀內(nèi)移動(dòng)被攝體檢測(cè)部分210繼續(xù)監(jiān)視移動(dòng)被攝體是否存在于檢測(cè)區(qū)域中。當(dāng)檢測(cè)區(qū)域中的移動(dòng)被攝體不是從開(kāi)始即存在的移動(dòng)被攝體的一個(gè)時(shí)，幀內(nèi)移動(dòng)被攝體檢測(cè)部分210確定新移動(dòng)被攝體已經(jīng)進(jìn)入了幀。幀內(nèi)移動(dòng)被攝體檢測(cè)部分210獲取該新移動(dòng)被攝體的移動(dòng)被攝體區(qū)域信息。所獲取的移動(dòng)被攝體區(qū)域信息被供應(yīng)到移動(dòng)被攝體自動(dòng)選擇處理部分220。移動(dòng)被攝體自動(dòng)選擇處理部分220將已經(jīng)進(jìn)入幀的新移動(dòng)被攝體設(shè)置為跟蹤目標(biāo)移動(dòng)被攝體。當(dāng)設(shè)置了該跟蹤目標(biāo)移動(dòng)被攝體時(shí)，由確定處理230確定存在與幀內(nèi)移動(dòng)被攝體優(yōu)先級(jí)選擇模式對(duì)應(yīng)的移動(dòng)被攝體。由移動(dòng)被攝體自動(dòng)選擇處理部分220選擇的移動(dòng)被攝體的信息被供應(yīng)到移動(dòng)被攝體跟蹤部分130。對(duì)由移動(dòng)被攝體自動(dòng)選擇處理部分220選擇的移動(dòng)被攝體進(jìn)行與在第一實(shí)施例中說(shuō)明的處理相同的處理。例如，開(kāi)始處理以使得檢測(cè)到新移動(dòng)被攝體的幀圖像被設(shè)置為第一幀圖像，并合成在新移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。當(dāng)已經(jīng)分析了所有移動(dòng)被攝體估計(jì)映像時(shí)，如果不存在已經(jīng)進(jìn)入幀的移動(dòng)被攝體，則由確定處理230確定不存在與幀內(nèi)移動(dòng)被攝體優(yōu)先級(jí)選擇模式對(duì)應(yīng)的移動(dòng)被攝體。在此情況下，由候選者呈現(xiàn)部分240進(jìn)行處理。該候選者呈現(xiàn)部分240進(jìn)行顯示由移動(dòng)被攝體檢測(cè)部分120檢測(cè)到的移動(dòng)被攝體的處理。因?yàn)轱@示了移動(dòng)被攝體候選者，所以可以提示用戶選擇移動(dòng)被攝體。在通過(guò)由候選者呈現(xiàn)部分240進(jìn)行的處理而顯示的屏幕上可以顯示圖8或圖9示出的GUI。當(dāng)未選擇移動(dòng)被攝體時(shí)，可以顯示錯(cuò)誤或者可以終止生成軌跡合成圖像的處理。注意，盡管在上述實(shí)施例中以優(yōu)先級(jí)選擇進(jìn)入幀的移動(dòng)被攝體，但是可以以優(yōu)先級(jí)選擇另一移動(dòng)被攝體。例如，第一(任何次序都是可以的)移動(dòng)被攝體估計(jì)映像M1被供應(yīng)到移動(dòng)被攝體自動(dòng)選擇處理部分220。該移動(dòng)被攝體自動(dòng)選擇處理部分220使用移動(dòng)被攝體估計(jì)映像M1來(lái)檢測(cè)每一個(gè)移動(dòng)被攝體的位置信息。例如通過(guò)移動(dòng)被攝體區(qū)域的重心的坐標(biāo)指示每一個(gè)移動(dòng)被攝體的位置信息。例如，基于每一個(gè)移動(dòng)被攝體的位置信息，移動(dòng)被攝體自動(dòng)選擇處理部分220可以選擇位于最接近于幀圖像的中心的移動(dòng)被攝體(中心移動(dòng)被攝體優(yōu)先級(jí)選擇模式)。將所選擇的移動(dòng)被攝體設(shè)置為跟蹤目標(biāo)。移動(dòng)被攝體自動(dòng)選擇處理部分220可以使用移動(dòng)被攝體估計(jì)映像Ml來(lái)檢測(cè)每一個(gè)移動(dòng)被攝體的尺寸信息。由移動(dòng)被攝體區(qū)域中的像素?cái)?shù)量或者由設(shè)置為包含移動(dòng)被攝體區(qū)域的矩形或圓形的尺寸來(lái)定義每一個(gè)移動(dòng)被攝體的尺寸信息?；诿恳粋€(gè)移動(dòng)被攝體的尺寸信息，移動(dòng)被攝體自動(dòng)選擇處理部分220可以以優(yōu)先級(jí)選擇具有最大尺寸的移動(dòng)被攝體(最大尺寸移動(dòng)被攝體優(yōu)先級(jí)選擇模式)。將所選擇的移動(dòng)被攝體設(shè)置為跟蹤目標(biāo)。注意，可以允許用戶從多個(gè)上述模式(B卩，幀內(nèi)移動(dòng)被攝體優(yōu)先級(jí)選擇模式、中心移動(dòng)被攝體優(yōu)先級(jí)選擇模式以及最大尺寸移動(dòng)被攝體優(yōu)先級(jí)選擇模式)之中選擇期待的模式。此外，在確定處理230中，當(dāng)與預(yù)定模式對(duì)應(yīng)的移動(dòng)被攝體不存在時(shí)，可以由候選者呈現(xiàn)部分240呈現(xiàn)另一模式。在自動(dòng)選擇移動(dòng)被攝體的處理中，可以選擇多個(gè)移動(dòng)被攝體。3、第三實(shí)施例接著，將說(shuō)明第三實(shí)施例`。在第三實(shí)施例中，成像裝置的配置基本上與上述第一或第二實(shí)施例的成像裝置的配置相同。在第三實(shí)施例中，某些圖像處理部分23的功能不同。圖15是示出根據(jù)第三實(shí)施例的圖像處理部分23的功能的示例的功能框圖。注意，用相同的附圖標(biāo)記表示與第一實(shí)施例的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素(功能)且恰當(dāng)?shù)脑捠÷云淙哂嗾f(shuō)明。在第三實(shí)施例中，選擇多個(gè)移動(dòng)被攝體作為跟蹤目標(biāo)。例如，在圖3的圖像中，選擇摩托車B和卡車TR作為移動(dòng)被攝體。注意，摩托車B和卡車TR可以由用戶選擇或者可以自動(dòng)地選擇。并行地進(jìn)行對(duì)多個(gè)所選擇的移動(dòng)被攝體的處理。在輸入圖像保持部分100中保持多個(gè)幀圖像。像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120的處理與第一實(shí)施例中的處理相同。例如，通過(guò)由移動(dòng)被攝體檢測(cè)部分120對(duì)第一幀圖像I1進(jìn)行的處理而獲取移動(dòng)被攝體估計(jì)映像Μ:。移動(dòng)被攝體估計(jì)映像M1被供應(yīng)到移動(dòng)被攝體跟蹤部分300和移動(dòng)被攝體跟蹤部分310。移動(dòng)被攝體跟蹤部分300參考移動(dòng)被攝體估計(jì)映像M1，從而獲取摩托車B的移動(dòng)被攝體區(qū)域信息IFB115移動(dòng)被攝體跟蹤部分310參考移動(dòng)被攝體估計(jì)映像M1，從而獲取卡車TR的移動(dòng)被攝體區(qū)域信息IFTR115移動(dòng)被攝體區(qū)域信息IFB1和移動(dòng)被攝體區(qū)域信息IFTR1被供應(yīng)到軌跡合成部分140。此外，幀圖像I1被供應(yīng)到軌跡合成部分140。軌跡合成部分140向軌跡合成結(jié)果保持部分150供應(yīng)幀圖像I1、移動(dòng)被攝體區(qū)域信息IFB1以及移動(dòng)被攝體區(qū)域信息IFTR115在軌跡合成結(jié)果保持部分150中保持幀圖像I1、移動(dòng)被攝體區(qū)域信息IFB1以及移動(dòng)被攝體區(qū)域信息IFTR10接著，從輸入圖像保持部分100讀出幀圖像12。對(duì)幀圖像I2進(jìn)行像素選擇部分110和移動(dòng)被攝體檢測(cè)部分120的處理，并獲得移動(dòng)被攝體估計(jì)映像M2。移動(dòng)被攝體估計(jì)映像M2被供應(yīng)到移動(dòng)被攝體跟蹤部分300和移動(dòng)被攝體跟蹤部分310。幀圖像I2被供應(yīng)到軌跡合成部分140。 移動(dòng)被攝體跟蹤部分300參考移動(dòng)被攝體估計(jì)映像M2,從而獲取摩托車B的移動(dòng)被攝體區(qū)域信息IFB2。移動(dòng)被攝體跟蹤部分310參考移動(dòng)被攝體估計(jì)映像M2從而獲取卡車TR的移動(dòng)被攝體區(qū)域信息IFTR2。移動(dòng)被攝體區(qū)域信息IFB2和移動(dòng)被攝體區(qū)域信息IFTR2被供應(yīng)到軌跡合成部分140。軌跡合成部分140使用上述表達(dá)式(I)對(duì)每一個(gè)移動(dòng)被攝體進(jìn)行確定處理。例如，基于移動(dòng)被攝體區(qū)域信息IFB1和移動(dòng)被攝體區(qū)域信息IFB2進(jìn)行確定是否滿足表達(dá)式(I)的確定處理，作為有關(guān)摩托車B的確定處理。在有關(guān)摩托車B的確定處理中，使用移動(dòng)被攝體區(qū)域信息IFB1作為表達(dá)式(I)中的ref。此外，基于移動(dòng)被攝體區(qū)域信息IFTR1和移動(dòng)被攝體區(qū)域信息IFTR2進(jìn)行確定是否滿足表達(dá)式(I)的確定處理，作為有關(guān)卡車TR的確定處理。在有關(guān)卡車TR的確定處理中，使用移動(dòng)被攝體區(qū)域信息IFTR1作為表達(dá)式(I)中的ref。當(dāng)在有關(guān)摩托車B的確定處理和有關(guān)卡車TR的確定處理兩者中均未滿足表達(dá)式
(I)時(shí)，丟棄幀圖像I2、移動(dòng)被攝體區(qū)域信息IFB2以及移動(dòng)被攝體區(qū)域信息IFTR2。然后，從輸入圖像保持部分100讀出幀圖像13 ，并且進(jìn)行與對(duì)幀圖像I2進(jìn)行的處理相同的處理。假定在有關(guān)摩托車B的確定處理或有關(guān)卡車TR的確定處理的至少一個(gè)中獲得滿足表達(dá)式(I)的結(jié)果。例如，假定，有關(guān)對(duì)幀圖像I9tl的處理，在有關(guān)摩托車B的確定處理中獲得滿足表達(dá)式(I)的結(jié)果而在有關(guān)卡車TR的確定處理中獲得不滿足表達(dá)式(I)的結(jié)果。軌跡合成部分140使得軌跡合成結(jié)果保持部分150保持從幀圖像I9tl獲得的移動(dòng)被攝體區(qū)域信息IFB9tlt5使用移動(dòng)被攝體區(qū)域信息IFB9tl作為有關(guān)摩托車B的確定處理中的ref。注意，丟棄移動(dòng)被攝體區(qū)域信息IFTR9tl，且不更新在軌跡合成結(jié)果保持部分150中保持的移動(dòng)被攝體區(qū)域信息IFTR1。軌跡合成部分140進(jìn)一步合成幀圖像I1和對(duì)照目標(biāo)幀圖像I9tl的部分，從而生成合成圖像(以下，稱為合成圖像B)。例如，在軌跡合成結(jié)果保持部分150中保持該合成圖像B0例如，以如下方式生成合成圖像B。軌跡合成部分140從幀圖像I9tl提取由移動(dòng)被攝體區(qū)域信息IFB9tl指示的區(qū)域的圖像。然后，軌跡合成部分140在與移動(dòng)被攝體區(qū)域信息IFB9tl對(duì)應(yīng)的位置上將所提取的圖像重疊在幀圖像I1上。然后，在從幀圖像I91起向前的幀圖像上順序進(jìn)行相同的處理。這里，假定，關(guān)于從幀圖像I91到幀圖像I159的處理，不存在在有關(guān)摩托車B的確定處理和有關(guān)卡車TR的確定處理兩者中均滿足表達(dá)式(I)的結(jié)果。接著，對(duì)幀圖像I16tl進(jìn)行處理。例如，軌跡合成部分140基于移動(dòng)被攝體區(qū)域信息IFB90和移動(dòng)被攝體區(qū)域信息IFB16tl進(jìn)行確定是否滿足表達(dá)式(I)的確定處理，作為有關(guān)摩托車B的確定處理。使用移動(dòng)被攝體區(qū)域信息IFB9tl作為使用表達(dá)式(I)的確定處理中的ref ο此外，基于移動(dòng)被攝體區(qū)域信息IFTR1和移動(dòng)被攝體區(qū)域信息IFTR16tl進(jìn)行確定是否滿足表達(dá)式(I)的確定處理，作為有關(guān)卡車TR的確定處理。使用移動(dòng)被攝體區(qū)域信息IFTR1作為使用表達(dá)式(I)的確定處理中的ref。假定在有關(guān)摩托車B的確定處理中獲得不滿足表達(dá)式(I)的結(jié)果，而在有關(guān)卡車TR的確定處理中獲得滿足表達(dá)式(I)的結(jié)果。軌跡合成部分140使得軌跡合成結(jié)果保持部分150保持移動(dòng)被攝體區(qū)域信息IFTR.。使用移動(dòng)被攝體區(qū)域信息IFTR16tl作為有關(guān)卡車TR的后續(xù)確定處理中的ref。注意，不更新在軌跡合成結(jié)果保持部分150中保持的移動(dòng)被攝體區(qū)域信息IFB9tlt5丟棄移動(dòng)被攝體區(qū)域信息IFTR16tl。軌跡合成部分140進(jìn)一步合成合成圖像B和幀圖像I16tl的一部分，從而生成合成圖像(以下，稱為合成圖像C)。例如，在軌跡合成結(jié)果保持部分150中保持該合成圖像C。例如，以如下方式生成合成圖像C。軌跡合成部分140從幀圖像I16tl提取由移動(dòng)被攝體區(qū)域信息IFTR16tl指示的區(qū)域的圖像。然后，軌跡合成部分140在與移動(dòng)被攝體區(qū)域信息IFTR16tl對(duì)應(yīng)的位置上將所提取的圖像重疊在合成圖像B上。在軌跡合成結(jié)果保持部分150中保持合成圖像C。之后，順序進(jìn)行相同的處理并對(duì)所有幀圖像完成處理。當(dāng)處理完成時(shí)在軌跡合成結(jié)果保持部分150中保持的合成圖像被采用為軌跡合成圖像。軌跡合成部分140向軌跡合成圖像顯示部分160供應(yīng)軌跡合成圖像。在軌跡合成圖像顯示部分160上顯示軌跡合成圖像。
·
圖16示出根據(jù)第三實(shí)施例的軌跡合成圖像的示例。在軌跡合成圖像上顯示摩托
車B的軌跡上的多個(gè)圖像(摩托車B10、摩托車B11、......、摩托車B15)。顯示各個(gè)摩托車B
以使得它們不互相重疊。另外，在軌跡合成圖像上顯示卡車TR的軌跡上的多個(gè)圖像(卡車TR1、卡車TR2、卡車TR3)。顯示各個(gè)卡車TR以使得它們不互相重疊。例如，假定摩托車BlO的重心和摩托車Bll的重心之間的間隔(摩托車之間的間隔)不同于卡車TRl的重心和卡車TR2的重心之間的間隔(卡車之間的間隔)。在以特定幀間隔保持幀圖像的情況下，摩托車之間的間隔等于卡車之間的間隔。結(jié)果，例如，即使摩托車之間的間隔是恰當(dāng)?shù)?，也存在如下可能?顯示卡車TR以使得它們互相重疊且生成不自然的軌跡合成圖像。如果對(duì)每一個(gè)移動(dòng)被攝體進(jìn)行使用表達(dá)式(I)的確定處理，則可以將軌跡的圖像中的摩托車B之間的間隔設(shè)置為恰當(dāng)?shù)拈g隔。同時(shí)，可以將軌跡的圖像中的卡車TR之間的間隔設(shè)置為恰當(dāng)?shù)拈g隔。注意，可以選擇三個(gè)或更多移動(dòng)被攝體作為多個(gè)移動(dòng)被攝體。在此情況下，進(jìn)行移動(dòng)被攝體跟蹤部分(其數(shù)量與移動(dòng)被攝體的數(shù)量對(duì)應(yīng))、功能和與上述相同的處理。如上所述，在第三實(shí)施例中，當(dāng)選擇了多個(gè)移動(dòng)被攝體時(shí)，對(duì)每一個(gè)移動(dòng)被攝體進(jìn)行使用表達(dá)式(I)的確定處理。然后，對(duì)每一個(gè)移動(dòng)被攝體更新在表達(dá)式(I)中使用的ref。注意，也可以進(jìn)行下列處理。例如，分別生成有關(guān)摩托車B的軌跡合成圖像和有關(guān)卡車TR的軌跡合成圖像。可以合成有關(guān)摩托車B的軌跡合成圖像和有關(guān)卡車TR的軌跡合成圖像并因此可以生成最終軌跡合成圖像。在軌跡合成圖像顯示部分160上顯示最終軌跡合成圖像。此外，在第三實(shí)施例中的處理不一定限于并行處理。例如，首先，通過(guò)進(jìn)行與第一實(shí)施例中的處理相同的處理來(lái)生成有關(guān)摩托車B的軌跡合成圖像。此外，通過(guò)進(jìn)行與第一實(shí)施例中的處理相同的處理來(lái)生成有關(guān)卡車TR的軌跡合成圖像?？梢院铣捎嘘P(guān)摩托車B的軌跡合成圖像和有關(guān)卡車TR的軌跡合成圖像，因此可以生成最終軌跡合成圖像。在軌跡合成圖像顯示部分160上顯示最終軌跡合成圖像。4、修改示例以上，說(shuō)明本公開(kāi)的實(shí)施例。然而，本公開(kāi)不限于上述實(shí)施例，且各種變型是可能的。在上述多個(gè)實(shí)施例中，在軌跡上的多個(gè)圖像中的多個(gè)移動(dòng)被攝體不互相重疊。然而，移動(dòng)被攝體可以部分地互相重疊。此外，可以使在軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔變寬。例如，將在軌跡合成部分140的處理中使用的表達(dá)式(I)修改為表達(dá)式(2)。(Xn-Xref)2+ (Yn-Yref)2+ α >= (ffn/2)2+ (Hn/2)2+ (ffref/2)2+ (Href/2)2…(2)當(dāng)在表達(dá)式(2)中Ci=O時(shí)，表達(dá)式(2)等效于表達(dá)式(I)。如果將α的值設(shè)置為負(fù)值，則在軌跡上的多個(gè)圖像中的移動(dòng)被攝體可以互相重疊。此外，如果將α的值設(shè)置為負(fù)值并同時(shí)增大α的絕對(duì)值，則可以增加移動(dòng)被攝體的重疊度(重疊方式)。相反，如果將α的值設(shè)置為正值并同時(shí)增大α的值，則可以增大在軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔?？梢栽试S用戶選擇在軌跡上的多個(gè)圖像中的移動(dòng)被攝體的重疊方式以及在軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔。例如，可以使用在圖17中示出的圖形用戶界面GUI3以設(shè)置移動(dòng)被攝體之間的間隔。在圖形用戶界面GUI3中，可以做出使得移動(dòng)被攝體不互相重疊的設(shè)置，如第一實(shí)施例等中所說(shuō)明的那樣。在此情況下，設(shè)置α=0。例如，如果選擇“重疊(大)”，則α設(shè)置為大負(fù)值。如果選擇“重疊(小)”，則α設(shè)置為小負(fù)值。如果選擇“增大間隔”，則α設(shè)置為正值。依據(jù)軌跡合成圖像顯示部分160的尺寸等恰當(dāng)?shù)卦O(shè)置α的值。此外，例如，可以使用滑鍵(slide key)以調(diào)節(jié)在軌跡上的多個(gè)圖像中的移動(dòng)被攝體的重疊方式。例如，可以進(jìn)行如下的調(diào)節(jié):當(dāng)使得滑鍵滑向右邊時(shí)，持續(xù)地增大α的值，而當(dāng)使得滑鍵滑向左邊時(shí)，持續(xù)的降低α的值。取決于移動(dòng)被攝體，軌跡上的移動(dòng)被攝體部分重疊可能是優(yōu)選的。此外，取決于移動(dòng)被攝體，軌跡上的移動(dòng)被攝體之間的間隔巨大可能是優(yōu)選的。同樣在此類情況下，可以只通過(guò)進(jìn)行簡(jiǎn)單設(shè)置就獲得恰當(dāng)?shù)能壽E合成圖像。不一定在軌跡合成部分140的處理中使用表達(dá)式(I)或表達(dá)式(2)。換而言之，不一定考慮參考幀中的移動(dòng)被攝體和對(duì)照目標(biāo)幀中的移動(dòng)被攝體之間的距離。例如，提取了指示參考幀中的移動(dòng)被攝體的區(qū)域(在移動(dòng)被攝體估計(jì)映像中的白色區(qū)域)以及指示對(duì)照目標(biāo)幀圖像中的移動(dòng)被攝體的區(qū)域。比較各個(gè)區(qū)域，并且獲得對(duì)于兩個(gè)區(qū)域公共的 像素的數(shù)量。對(duì)于兩個(gè)區(qū)域公共的像素的數(shù)量越大，則兩個(gè)移動(dòng)被攝體的重疊度就越大。對(duì)該像素的數(shù)量設(shè)置閾值。當(dāng)該像素的數(shù)量超出閾值時(shí)，軌跡合成部分140可以進(jìn)行用于合成圖像的處理或者用于更新參考幀的處理。例如，當(dāng)將閾值設(shè)置為O時(shí)，該處理等效于在表達(dá)式(2)中當(dāng)α =O時(shí)進(jìn)行的處理。當(dāng)增大閾值時(shí)，該處理等效于當(dāng)將α的值設(shè)置為負(fù)值且增大α的絕對(duì)值時(shí)進(jìn)行的處理?？梢允褂门c指示移動(dòng)被攝體的區(qū)域有關(guān)的像素的數(shù)量的比率，而非使用像素的數(shù)量。根據(jù)修改示例，例如，甚至當(dāng)僅移動(dòng)被攝體的一部分移動(dòng)時(shí)(例如，人不移動(dòng)任何距離而僅改變他/她的姿勢(shì))，可以生成在軌跡上的多個(gè)圖像。不一定對(duì)所有幀圖像進(jìn)行上述處理。例如，可以在從在輸入圖像保持部分100中保持的600幀中稀疏預(yù)定數(shù)量的幀之后進(jìn)行處理。將在上述說(shuō)明中的數(shù)值(例如，幀圖像的次序)用作示例以促進(jìn)理解，且本公開(kāi)的內(nèi)容不限于那些數(shù)值等。本公開(kāi)不限于成像裝置，且可以被配置為至少具有圖像處理部分的功能的圖像處理裝置。由個(gè)人計(jì)算機(jī)、移動(dòng)終端、攝像機(jī)等實(shí)現(xiàn)圖像處理裝置。此外，圖像處理裝置可以具有將軌跡合成圖像傳送到另一裝置的通信功能。此外，圖像處理裝置可以配置為廣播裝置。例如，在廣播足球比賽中的進(jìn)球場(chǎng)景之后可以立即廣播在球進(jìn)入球門(mén)的軌跡上的多個(gè)圖像，而非緩慢地回放進(jìn)球場(chǎng)景。此外，本公開(kāi)不限于裝置，且可以實(shí)現(xiàn)為程序及記錄介質(zhì)。注意，只要不發(fā)生技術(shù)不一致，就可以恰當(dāng)?shù)亟M合實(shí)施例和修改示例中的配置和處理。只要不發(fā)生技術(shù)不一致，就可以恰當(dāng)?shù)馗淖冊(cè)谒咎幚砹鞒讨械拿恳粋€(gè)過(guò)程的次序?？梢詫⒈竟_(kāi)應(yīng)用·于所謂的云系統(tǒng)，在其中由多個(gè)裝置分布和進(jìn)行上述處理。例如，可以由不同裝置進(jìn)行移動(dòng)被攝體檢測(cè)部分、移動(dòng)被攝體跟蹤部分和軌跡合成部分的各個(gè)功能。本公開(kāi)可以實(shí)現(xiàn)為進(jìn)行上述功能的至少部分的裝置。另外，本技術(shù)也可以如下配置。(1) 一種圖像處理裝置，其中所述圖像處理裝置從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體，所述圖像處理裝置從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，且所述圖像處理裝置合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。( 2 )根據(jù)(I)的所述圖像處理裝置，其中通過(guò)指定與所述多個(gè)移動(dòng)被攝體的每一個(gè)對(duì)應(yīng)的區(qū)域來(lái)進(jìn)行所述選擇。( 3 )根據(jù)(I)或(2 )的所述圖像處理裝置，其中依據(jù)參考幀中的所選擇的移動(dòng)被攝體和對(duì)照目標(biāo)幀中的所選擇的移動(dòng)被攝體之間的位置關(guān)系，確定包括在所述軌跡上的每一個(gè)圖像中的所述移動(dòng)被攝體。(4)根據(jù)(3)的所述圖像處理裝置，其中所述位置關(guān)系是所述參考幀中的移動(dòng)被攝體和所述對(duì)照目標(biāo)幀中的移動(dòng)被攝體不互相重疊的位置關(guān)系。(5)根據(jù)(I)的所述圖像處理裝置，其中所述圖像處理裝置選擇多個(gè)移動(dòng)被攝體，且所述圖像處理裝置合成在所述多個(gè)移動(dòng)被攝體的每一個(gè)的軌跡上的多個(gè)圖像和所述靜態(tài)圖像。(6)根據(jù)(5)的所述圖像處理裝置，其中將在預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔以及在另一個(gè)移動(dòng)被攝體的軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔設(shè)置為不同間隔。(7)根據(jù)(I)到(6)的任一項(xiàng)的所述圖像處理裝置，其中自動(dòng)地選擇預(yù)定移動(dòng)被攝體。(8)根據(jù)(I)到(7)的任一項(xiàng)的所述圖像處理裝置，其中所述圖像處理裝置通過(guò)二進(jìn)制化所述多個(gè)幀的每一個(gè)來(lái)生成二進(jìn)制信息，且所述圖像處理裝置依據(jù)所述二進(jìn)制信息檢測(cè)所述多個(gè)移動(dòng)被攝體。(9)根據(jù)(I)到(8)的任一項(xiàng)的所述圖像處理裝置，其中所述圖像處理裝置具有捕獲所述多個(gè)幀的成像部分。(10) 一種在圖像處理裝置中使用的圖像處理方法，包括:從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體；從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體；且合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。(11) 一種使得計(jì)算機(jī)進(jìn)行在圖像處理裝置中使用的圖像處理方法的程序，該方法包括:從以預(yù)定 定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體；從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體；且合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。(12) 一種記錄介質(zhì)，已經(jīng)在其中記錄了根據(jù)(11)的所述程序。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，只要處于所附權(quán)利要求及其等效物的范圍內(nèi)，各種變型、組合、部分組合和變更可以取決于設(shè)計(jì)要求及其他因素而發(fā)生。本技術(shù)包含涉及公開(kāi)在于2012年2月6日向日本專利局提交的日本優(yōu)先專利申請(qǐng)JP2012-022834的主題的主題，其整體內(nèi)容通過(guò)引用并入于此。
權(quán)利要求
1.一種圖像處理裝置，其中 所述圖像處理裝置從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體， 所述圖像處理裝置從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，且 所述圖像處理裝置合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。
2.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 通過(guò)指定與所述多個(gè)移動(dòng)被攝體的每一個(gè)對(duì)應(yīng)的區(qū)域來(lái)進(jìn)行所述選擇。
3.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 依據(jù)參考幀中的所選擇的移動(dòng)被攝體和對(duì)照目標(biāo)幀中的所選擇的移動(dòng)被攝體之間的位置關(guān)系，確定包括在所述軌跡上的每一個(gè)圖像中的所述移動(dòng)被攝體。
4.根據(jù)權(quán)利要求3的所述圖像處理裝置，其中 所述位置關(guān)系是所述參考幀中的移動(dòng)被攝體和所述對(duì)照目標(biāo)幀中的移動(dòng)被攝體不互相重疊的位置關(guān)系。
5.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 所述圖像處理裝置選擇多個(gè)移動(dòng)被攝體，且 所述圖像處理裝置合成在所述多個(gè)移動(dòng)被攝體的每一個(gè)的軌跡上的多個(gè)圖像和所述靜態(tài)圖像。
6.根據(jù)權(quán)利要求5的所述圖像處理裝置，其中 將在預(yù)定移動(dòng)被攝體的軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔以及在另一個(gè)移動(dòng)被攝體的軌跡上的多個(gè)圖像中的移動(dòng)被攝體之間的間隔設(shè)置為不同間隔。
7.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 自動(dòng)地選擇預(yù)定移動(dòng)被攝體。
8.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 所述圖像處理裝置通過(guò)二進(jìn)制化所述多個(gè)幀的每一個(gè)來(lái)生成二進(jìn)制信息，且 所述圖像處理裝置依據(jù)所述二進(jìn)制信息檢測(cè)所述多個(gè)移動(dòng)被攝體。
9.根據(jù)權(quán)利要求1的所述圖像處理裝置，其中 所述圖像處理裝置具有捕獲所述多個(gè)幀的成像部分。
10.一種在圖像處理裝置中使用的圖像處理方法，包括: 從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體； 從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體；以及 合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。
11.一種使得計(jì)算機(jī)進(jìn)行在圖像處理裝置中使用的圖像處理方法的程序，該方法包括: 從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體； 從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體；以及 合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。
12.—種記錄介質(zhì)，已 經(jīng)在其中記錄了根據(jù)權(quán)利要求11的所述程序。
全文摘要
本發(fā)明提供圖像處理裝置、圖像處理方法、程序和記錄介質(zhì)，所述圖像處理裝置從以預(yù)定定時(shí)捕獲的多個(gè)幀中檢測(cè)多個(gè)移動(dòng)被攝體，從所檢測(cè)到的多個(gè)移動(dòng)被攝體中選擇預(yù)定移動(dòng)被攝體，并且合成在所選擇的移動(dòng)被攝體的軌跡上的多個(gè)圖像和靜態(tài)圖像。
文檔編號(hào)H04N9/04GK103248808SQ20131003132
公開(kāi)日2013年8月14日 申請(qǐng)日期2013年1月28日 優(yōu)先權(quán)日2012年2月6日
發(fā)明者中尾優(yōu)太, 中尾大輔 申請(qǐng)人:索尼公司