專(zhuān)利名稱(chēng)：圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)圖像的圖像處理。更為具體而言，本發(fā)明涉及生成通過(guò)圖像處理提高了所拍攝到的運(yùn)動(dòng)圖像的分辨率及幀頻的至少一方的運(yùn)動(dòng)圖像的技術(shù)。
背景技術(shù)：
現(xiàn)有的攝像處理裝置為了實(shí)現(xiàn)高分辨率化而使得攝像元件的像素寸法小型化，伴隨于此，入射到攝像元件的I個(gè)像素中的光量減少。其結(jié)果將會(huì)引起各像素的信噪比(S/N)下降，難以維持畫(huà)質(zhì)。專(zhuān)利文獻(xiàn)I中對(duì)利用3個(gè)攝像元件并控制曝光時(shí)間而得到的信號(hào)進(jìn)行處理，由此以高分辨率實(shí)現(xiàn)高幀頻的運(yùn)動(dòng)圖像的復(fù)原。在該方法中，使用2種分辨率的攝像元件，高分辨率的攝像元件通過(guò)長(zhǎng)時(shí)間曝光讀出像素信號(hào)，低分辨率的攝像元件通過(guò)短時(shí)間曝光讀出 像素信號(hào)，以確保光量。現(xiàn)有技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)IJP特開(kāi)2009-105992號(hào)公報(bào)

發(fā)明內(nèi)容
-發(fā)明要解決的課題-當(dāng)以長(zhǎng)時(shí)間曝光來(lái)讀取高分辨率的像素信號(hào)時(shí)，在被攝體活動(dòng)時(shí)會(huì)得到加入了活動(dòng)抖動(dòng)的圖像。因此，盡管作為結(jié)果所得到的運(yùn)動(dòng)圖像的畫(huà)質(zhì)有所提高，但是在難以檢測(cè)活動(dòng)的一部分范圍中復(fù)原出的運(yùn)動(dòng)圖像上顏色看起來(lái)很洇染，還存在畫(huà)質(zhì)改善的余地。本發(fā)明的目的在于獲得確保光量的同時(shí)減少顏色中產(chǎn)生的洇染的運(yùn)動(dòng)圖像。本發(fā)明的另一目的在于同時(shí)以高幀頻進(jìn)行高分辨率的運(yùn)動(dòng)圖像的復(fù)原。-用于解決課題的技術(shù)方案-本發(fā)明的圖像生成裝置具備高畫(huà)質(zhì)處理部，其接收拍攝同一事物而得到的第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的信號(hào)，生成表示所述事物的新的運(yùn)動(dòng)圖像和輸出端子，其輸出所述新的運(yùn)動(dòng)圖像的信號(hào)，其中，所述第2運(yùn)動(dòng)圖像的顏色成分與所述第I運(yùn)動(dòng)圖像的顏色成分不同，所述第2運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第I運(yùn)動(dòng)圖像的I幀時(shí)間還長(zhǎng)的曝光而獲得的，所述第3運(yùn)動(dòng)圖像的顏色成分與所述第2運(yùn)動(dòng)圖像的顏色成分相同，所述第3運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第2運(yùn)動(dòng)圖像的I幀時(shí)間還短的曝光而獲得的。所述高畫(huà)質(zhì)處理部可以利用所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像的信號(hào)，生成幀頻為所述第I運(yùn)動(dòng)圖像或者所述第3運(yùn)動(dòng)圖像的幀頻以上、且分辨率為所述第2運(yùn)動(dòng)圖像或者所述第3運(yùn)動(dòng)圖像的分辨率以上的新的運(yùn)動(dòng)圖像。所述第2運(yùn)動(dòng)圖像的分辨率高于所述第3運(yùn)動(dòng)圖像的分辨率，所述高畫(huà)質(zhì)處理部利用所述第2運(yùn)動(dòng)圖像的信號(hào)及所述第3運(yùn)動(dòng)圖像的信號(hào)，生成具有所述第2運(yùn)動(dòng)圖像的分辨率以上的分辨率、具有所述第3運(yùn)動(dòng)圖像的幀頻以上的幀頻、且顏色成分與所述第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的顏色成分相同的運(yùn)動(dòng)圖像的信號(hào)，作為所述新的運(yùn)動(dòng)圖像的顏色成分之一。所述高畫(huà)質(zhì)處理部決定所述新的運(yùn)動(dòng)圖像的各幀的像素值，使得以成為與所述第2運(yùn)動(dòng)圖像相同的幀頻的方式對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行時(shí)間采樣時(shí)的、各幀的像素值與所述第2運(yùn)動(dòng)圖像的各幀的像素值的誤差減少。所述高畫(huà)質(zhì)處理部生成綠色的顏色成分的運(yùn)動(dòng)圖像的信號(hào)，作為所述新的運(yùn)動(dòng)圖像的顏色成分之一。所述高畫(huà)質(zhì)處理部決定所述新的運(yùn)動(dòng)圖像的各幀的像素值，使得以成為與所述第I運(yùn)動(dòng)圖像相同的分辨率的方式對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行空間采樣時(shí)的、各幀的像素值與所述第I運(yùn)動(dòng)圖像的各幀的像素值的誤差減少。所述第2運(yùn)動(dòng)圖像和所述第3運(yùn)動(dòng)圖像的幀是通過(guò)幀間的開(kāi)放曝光而獲得的。 所述高畫(huà)質(zhì)處理部指定所生成的新的運(yùn)動(dòng)圖像的像素值根據(jù)在時(shí)間空間上相鄰的像素的像素值的連續(xù)性所應(yīng)該滿足的約束條件，并按照維持所述指定的所述約束條件的方式來(lái)生成所述新的運(yùn)動(dòng)圖像。所述圖像生成裝置還具備活動(dòng)檢測(cè)部，該活動(dòng)檢測(cè)部根據(jù)所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像的至少一個(gè)檢測(cè)對(duì)象物的活動(dòng)，所述高畫(huà)質(zhì)處理部按照所生成的新的運(yùn)動(dòng)圖像的像素值維持基于所述活動(dòng)檢測(cè)結(jié)果應(yīng)該滿足的約束條件的方式來(lái)生成所述新的運(yùn)動(dòng)圖像。所述活動(dòng)檢測(cè)部計(jì)算所述活動(dòng)檢測(cè)的可靠度，所述高畫(huà)質(zhì)處理部針對(duì)由所述活動(dòng)檢測(cè)部計(jì)算出的可靠度高的圖像區(qū)域，利用基于所述活動(dòng)檢測(cè)結(jié)果的約束條件來(lái)生成新的圖像，并針對(duì)所述可靠度低的圖像區(qū)域，利用活動(dòng)約束條件以外的預(yù)先確定的約束條件來(lái)生成所述新的運(yùn)動(dòng)圖像。所述活動(dòng)檢測(cè)部以對(duì)構(gòu)成所述運(yùn)動(dòng)圖像的各圖像進(jìn)行分割之后的塊為單位來(lái)檢測(cè)活動(dòng)，將使塊彼此的像素值之差的平方和的符號(hào)反轉(zhuǎn)之后的值作為所述可靠度進(jìn)行計(jì)算，所述高畫(huà)質(zhì)處理部將所述可靠度比預(yù)先確定的值還大的塊作為可靠度高的圖像區(qū)域，將所述可靠度比預(yù)先確定的值還小的塊作為可靠度低的圖像區(qū)域，來(lái)生成所述新的運(yùn)動(dòng)圖像。所述活動(dòng)檢測(cè)部具有姿勢(shì)傳感器輸入部，該姿勢(shì)傳感器輸入部接收來(lái)自對(duì)拍攝對(duì)象物的攝像裝置的姿勢(shì)進(jìn)行檢測(cè)的姿勢(shì)傳感器的信號(hào)，所述活動(dòng)檢測(cè)部利用所述姿勢(shì)傳感器輸入部接收的信號(hào)來(lái)檢測(cè)所述活動(dòng)。所述高畫(huà)質(zhì)處理部從所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像提取色差信息，根據(jù)從所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像獲取的亮度信息、所述第2運(yùn)動(dòng)圖像生成中間的運(yùn)動(dòng)圖像，在所生成的中間的運(yùn)動(dòng)圖像中附加所述色差信息，由此生成所述新的運(yùn)動(dòng)圖像。所述高畫(huà)質(zhì)處理部針對(duì)所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)來(lái)計(jì)算圖像在時(shí)間上的變化量，在所計(jì)算出的變化量超過(guò)了預(yù)先確定的值時(shí)，結(jié)束利用到超過(guò)之前的時(shí)刻的圖像為止的圖像來(lái)生成運(yùn)動(dòng)圖像，從超過(guò)之后開(kāi)始新的運(yùn)動(dòng)圖像的生成。所述高畫(huà)質(zhì)處理部還計(jì)算表示所生成的新的運(yùn)動(dòng)圖像的可靠性的值，將計(jì)算出的值與所述新的運(yùn)動(dòng)圖像一起輸出。所述圖像生成裝置還具備攝像部，該攝像部利用單板的攝像元件生成所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像。所述圖像生成裝置還具備控制部，該控制部根據(jù)攝影的環(huán)境來(lái)控制所述高畫(huà)質(zhì)化部的處理。所述攝像部進(jìn)行空間上的像素相加運(yùn)算，生成分辨率比所述第3運(yùn)動(dòng)圖像的分辨率還高的所述第2運(yùn)動(dòng)圖像，所述控制部具備對(duì)由所述攝像部檢測(cè)出的光量進(jìn)行檢測(cè)的光量檢測(cè)部，在由所述光量檢測(cè)部檢測(cè)出的光量為預(yù)先確定的值以上時(shí)，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的 像素相加量的至少一方。所述控制部具備對(duì)圖像生成裝置的動(dòng)力源的剩余容量進(jìn)行檢測(cè)的剩余容量檢測(cè)部，根據(jù)由所述剩余容量檢測(cè)部檢測(cè)出的剩余容量，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。所述控制部具備對(duì)被攝體的活動(dòng)的大小進(jìn)行檢測(cè)的活動(dòng)量檢測(cè)部，根據(jù)由所述活動(dòng)量檢測(cè)部檢測(cè)出的被攝體的活動(dòng)的大小，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。所述控制部具備用戶對(duì)圖像處理的計(jì)算進(jìn)行選擇的處理選擇部，根據(jù)經(jīng)由所述處理選擇部而被選擇的結(jié)果，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。所述高畫(huà)質(zhì)處理部設(shè)定所述新的運(yùn)動(dòng)圖像的像素值根據(jù)在時(shí)間空間上相鄰的像素的像素值的連續(xù)性而應(yīng)該滿足的約束條件，所述高畫(huà)質(zhì)處理部按照以與所述第2運(yùn)動(dòng)圖像相同的幀頻對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行時(shí)間采樣時(shí)的、各幀像素值與所述第2運(yùn)動(dòng)圖像的各幀的像素值的誤差減少的方式、且按照維持所設(shè)定的所述約束條件的方式，來(lái)生成所述新的運(yùn)動(dòng)圖像。所述圖像生成裝置還具備攝像部，該攝像部利用3板的攝像元件來(lái)生成所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像。本發(fā)明的圖像生成方法包括接收對(duì)同一事物進(jìn)行拍攝而獲得的第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的信號(hào)的步驟，所述第2運(yùn)動(dòng)圖像的顏色成分與所述第I運(yùn)動(dòng)圖像的顏色成分不同，所述第2運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第I運(yùn)動(dòng)圖像的I幀時(shí)間還長(zhǎng)的曝光而獲得的，所述第3運(yùn)動(dòng)圖像的顏色成分與所述第2運(yùn)動(dòng)圖像的顏色成分相同，所述第3運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第2運(yùn)動(dòng)圖像的I幀時(shí)間還短的曝光而獲得的根據(jù)所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像生成表示所述事物的新的運(yùn)動(dòng)圖像的步驟；和輸出所述新的運(yùn)動(dòng)圖像的信號(hào)的步驟。本發(fā)明的計(jì)算機(jī)程序根據(jù)多個(gè)運(yùn)動(dòng)圖像生成新的運(yùn)動(dòng)圖像，所述計(jì)算機(jī)程序使執(zhí)行所述計(jì)算機(jī)程序的計(jì)算機(jī)執(zhí)行上述的圖像生成方法。-發(fā)明效果-根據(jù)本發(fā)明，將進(jìn)行了長(zhǎng)時(shí)間曝光讀出的顏色成分圖像的像素(例如G像素)分為2種像素、即進(jìn)行長(zhǎng)時(shí)間曝光的像素和進(jìn)行短時(shí)間曝光且在幀內(nèi)進(jìn)行像素相加的像素，從各種的像素中讀出。由此，因?yàn)橹辽賹?duì)于在幀內(nèi)進(jìn)行像素相加的像素而言是短時(shí)間曝光，所以較之全部通過(guò)長(zhǎng)時(shí)間曝光獲得圖像信號(hào)的情況，能夠獲得抑制了因被攝體的活動(dòng)引起的顏色洇染的圖像信號(hào)。通過(guò)利用2種像素來(lái)獲得I個(gè)顏色成分圖像，對(duì)于該顏色成分圖像而言，能夠復(fù)原確保了充分的像素?cái)?shù)(分辨率)和感光量(明亮度)的、高幀頻且高分辨率的運(yùn)動(dòng)圖像。


圖I是表示實(shí)施方式I中的攝像處理裝置100的結(jié)構(gòu)的框圖。圖2是表示高畫(huà)質(zhì)化部105的更為詳細(xì)的結(jié)構(gòu)的一例的結(jié)構(gòu)圖。圖3(a)及(b)是表示通過(guò)塊匹配來(lái)進(jìn)行活動(dòng)檢測(cè)時(shí)的基準(zhǔn)幀和參照幀的圖。圖4(a)及(b)是表示進(jìn)行2X2像素的空間相加時(shí)的虛擬的采樣位置的圖。 圖5是表示與Gp GS、R及B相關(guān)的像素信號(hào)的讀出定時(shí)的圖。圖6是表示實(shí)施方式I的高畫(huà)質(zhì)處理部202的結(jié)構(gòu)的一例的圖。圖7是表示RGB顏色空間與球面坐標(biāo)系(0、V、r)的對(duì)應(yīng)例的圖。圖8是實(shí)施方式I的處理中的輸入運(yùn)動(dòng)圖像和輸出運(yùn)動(dòng)圖像的影像圖。圖9是表示在單板的攝像元件中使全部G像素進(jìn)行長(zhǎng)時(shí)間曝光時(shí)以及實(shí)施方式I中提出的方法與處理后的PSNR值之間的對(duì)應(yīng)關(guān)系的圖。圖10是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖11是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖12是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖13是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖14是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖15是表示比較實(shí)驗(yàn)中使用的運(yùn)動(dòng)圖像的3個(gè)場(chǎng)景的圖。圖16是表示所生成的運(yùn)動(dòng)圖像的可靠度Y與編碼的壓縮率S之間關(guān)系的圖。圖17是表示實(shí)施方式2的攝像處理裝置500的結(jié)構(gòu)的構(gòu)成圖。圖18是表示實(shí)施方式2的高畫(huà)質(zhì)處理部202的詳細(xì)結(jié)構(gòu)的圖。圖19是表示G簡(jiǎn)易復(fù)原部1901的結(jié)構(gòu)的圖。圖20 (a)及(b)是表示Gs計(jì)算部2001及計(jì)算部2002的處理例子的圖。圖21是表示在實(shí)施方式I的高畫(huà)質(zhì)處理部202的結(jié)構(gòu)中進(jìn)一步追加了拜爾復(fù)原部2201的結(jié)構(gòu)的圖。圖22是表示拜爾排列的濾色器的結(jié)構(gòu)例的圖。圖23是表示在實(shí)施方式2的高畫(huà)質(zhì)處理部202的結(jié)構(gòu)中進(jìn)一步追加了拜爾復(fù)原部2201的結(jié)構(gòu)的圖。圖24是表示實(shí)施方式4的攝像處理裝置300的結(jié)構(gòu)的圖。圖25是表示實(shí)施方式4的控制部107的結(jié)構(gòu)的圖。圖26是表示實(shí)施方式5的攝像處理裝置的控制部107的結(jié)構(gòu)的圖。圖27是表示實(shí)施方式6的攝像處理裝置的控制部107的結(jié)構(gòu)的圖。圖28是表示實(shí)施方式7的攝像處理裝置的控制部107的結(jié)構(gòu)的圖。圖29(a)及(b)是表示單板的攝像元件和濾色器的組合例的圖。
圖30(a)及(b)是表示用于生成G(&及Gs)的像素信號(hào)的攝像元件的結(jié)構(gòu)例的圖。圖31 (a)及(b)是表示用于生成G(Q及Gs)的像素信號(hào)的攝像元件的結(jié)構(gòu)例的圖。圖32(a) (C)表示在主要包含R、B的各濾色器中包含了 Gs的濾色器的結(jié)構(gòu)例的圖。圖33(a)是表示3板用的薄膜光學(xué)濾波器的分光特性的圖，(b)是表示單板用的染料濾波器的分光特性的圖。圖34(a)是表示使用了全局快門(mén)的曝光定時(shí)的圖，(b)是表示焦平面現(xiàn)象發(fā)生時(shí)的曝光定時(shí)的圖。圖35是表示具備不包含活動(dòng)檢測(cè)部201的圖像處理部105的攝像處理裝置500 的結(jié)構(gòu)的框圖。圖36是表示高畫(huà)質(zhì)化部105中的高畫(huà)質(zhì)化處理的步驟的流程圖。
具體實(shí)施例方式以下，參照

本發(fā)明的圖像生成裝置的實(shí)施方式。(實(shí)施方式I)圖I是表示本實(shí)施方式中的攝像處理裝置100的結(jié)構(gòu)的框圖。在圖I中，攝像處理裝置100具備光學(xué)系統(tǒng)101、單板彩色攝像元件102、時(shí)間加法運(yùn)算部103、空間加法運(yùn)算部104、高畫(huà)質(zhì)化部105。以下，詳細(xì)說(shuō)明攝像處理裝置100的各結(jié)構(gòu)要素。光學(xué)系統(tǒng)101例如是照相機(jī)鏡頭，使被攝體的像在攝像元件的像面成像。單板彩色攝像元件102是安裝了濾色器陣列的單板攝像元件。單板彩色攝像元件102對(duì)由光學(xué)系統(tǒng)101所結(jié)成的光(光學(xué)像)進(jìn)行光電轉(zhuǎn)換，并輸出由此得到的電信號(hào)。該電信號(hào)的值是單板彩色攝像元件102的各像素值。從單板彩色攝像元件102輸出與入射至各像素的光的量相應(yīng)的像素值。根據(jù)在相同的幀時(shí)刻拍攝的、相同顏色成分的像素值，得到其每個(gè)顏色成分的圖像。根據(jù)所有的顏色成分的圖像得到彩色圖像。時(shí)間加法運(yùn)算部103在時(shí)間方向上針對(duì)由單板彩色攝像元件102拍攝到的、彩色圖像中的第I顏色的一部分相加多個(gè)幀的光電轉(zhuǎn)換值。在此，“在時(shí)間方向上相加”是指對(duì)連續(xù)的多個(gè)幀(圖像)的各幀中具有共同的像素坐標(biāo)值的各像素的像素值進(jìn)行相加。具體而言，在2幀至9幀左右的范圍中，對(duì)像素坐標(biāo)值相同的像素的像素值進(jìn)行相加。空間加法運(yùn)算部104在空間方向上按多個(gè)像素相加由單板彩色攝像元件102拍攝到的、彩色運(yùn)動(dòng)圖像的第I顏色的一部分、第2顏色及第3顏色的光電轉(zhuǎn)換值。在此，“在空間方向上相加”是指對(duì)構(gòu)成某時(shí)刻所拍攝到的I幀(圖像)的、多個(gè)像素的像素值進(jìn)行相加。具體而言，像素值被相加的“多個(gè)像素”的例子是水平2像素X垂直I像素、水平I像素X垂直2像素、水平2像素X垂直2像素、水平2像素X垂直3像素、水平3像素X垂直2像素、水平3像素X垂直3像素等。在空間方向上對(duì)與這多個(gè)像素相關(guān)的像素值(光電轉(zhuǎn)換值)進(jìn)行相加。高畫(huà)質(zhì)化部105接收由時(shí)間加法運(yùn)算部103進(jìn)行了時(shí)間相加的一部分第I顏色運(yùn)動(dòng)圖像、及由空間加法運(yùn)算部104進(jìn)行了空間相加的一部分的第I顏色運(yùn)動(dòng)圖像、第2顏色運(yùn)動(dòng)圖像和第3顏色運(yùn)動(dòng)圖像的各數(shù)據(jù)，通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行圖像復(fù)原來(lái)估計(jì)各像素中的第I顏色至第3顏色的值并復(fù)原彩色運(yùn)動(dòng)圖像。圖2是表示高畫(huà)質(zhì)化部105的更為詳細(xì)的結(jié)構(gòu)的一例的結(jié)構(gòu)圖。圖2中高畫(huà)質(zhì)化部105以外的結(jié)構(gòu)與圖I相同。高畫(huà)質(zhì)化部105具有活動(dòng)檢測(cè)部201及高畫(huà)質(zhì)處理部202?；顒?dòng)檢測(cè)部201通過(guò)塊匹配、梯度法、相位相關(guān)法等已知的公知技術(shù)，根據(jù)進(jìn)行了空間相加之后的一部分第I顏色運(yùn)動(dòng)圖像、第2顏色運(yùn)動(dòng)圖像、第3顏色運(yùn)動(dòng)圖像來(lái)檢測(cè)活動(dòng)(光流optical flow)。作為公知技術(shù)，例如已知 P. Anandan. " Computaional Frameworkand an algorithm for the measurement of visual motion" , International Journalof Computer Vision，Vol. 2，pp.283-310，1989。圖3(a)及(b)是表示通過(guò)塊匹配進(jìn)行活動(dòng)檢測(cè)時(shí)的基準(zhǔn)幀和參照幀?；顒?dòng)檢測(cè)部201在作為基準(zhǔn)的幀(為了求出活動(dòng)而關(guān)注的時(shí)刻t處的圖像)內(nèi)設(shè)定圖3(a)所示的 窗區(qū)域A。并且，在參照幀內(nèi)搜索與窗區(qū)域內(nèi)的圖案類(lèi)似的圖案。作為參照幀，多數(shù)情況下利用例如關(guān)注幀的下一幀。如圖3(b)所示，搜索范圍通常是以活動(dòng)量為零的位置B為基準(zhǔn)預(yù)先設(shè)定一定的范圍(該圖3(b)中的C)。此外，作為評(píng)價(jià)值計(jì)算(式I)所示的殘差平方和(SSD :Sum of Square Differrences)、(式 2)所不的殘差絕對(duì)值和(SAD Sum of AbsolutedDifferences),由此來(lái)評(píng)價(jià)圖案的類(lèi)似情況(程度)。式ISSD = Z ( f Q + "，少’ + ' / + 々)-f(x, y, I)):
X.V過(guò)廠式2SAD= S |/{x + U, y + v,t + At) - f(x, y,t)
x.yeiV在(式I)及(式2)中，f (x、y、t)是圖像即像素值的時(shí)間空間的分布，x, y G W意味著基準(zhǔn)幀的窗區(qū)域內(nèi)包含的像素的坐標(biāo)值。活動(dòng)檢測(cè)部201通過(guò)在搜索范圍內(nèi)改變(U，v)，來(lái)搜索使上述評(píng)價(jià)值最小的(U，v)的組，將其作為幀間的活動(dòng)向量。具體而言，使窗區(qū)域的設(shè)定位置依次偏移，按每像素或者每塊(例如8像素X8像素)求出活動(dòng),生成活動(dòng)向量。在此，活動(dòng)檢測(cè)部201 —并求出活動(dòng)檢測(cè)的可靠度的時(shí)間空間的分布conf (x，y,t)。在該情況下，所謂活動(dòng)檢測(cè)的可靠度是指可靠度越高則活動(dòng)檢測(cè)的結(jié)果越接近正確、在可靠度較低時(shí)活動(dòng)檢測(cè)的結(jié)果中存在錯(cuò)誤。再者，可靠度“高”、可靠度“低”這種表述意味著在比較可靠度和預(yù)先確定的基準(zhǔn)值時(shí)比該基準(zhǔn)值“高”或者“低”。對(duì)于由活動(dòng)檢測(cè)部201求出相鄰的2幀圖像間的圖像上的各位置的活動(dòng)的方法，例如可使用 P. ANANDAN, " A Computational Framework and an Algorithm forthe Measurement of Visual Motion " , IJCV, 2, 283-310 (1989)中米用的方法、運(yùn)動(dòng)圖像編碼中一般采用的活動(dòng)檢測(cè)方法、利用圖像的移動(dòng)體追蹤等中采用的特征點(diǎn)追蹤方法等等。此外，也可以利用圖像全體的整體活動(dòng)(仿射活動(dòng)等)檢測(cè)的一般的方法、Lihi Zelkik-Manor、“Multi-body Segmentation Revisinting Motion Consistency，，、ECCV(2002)等的方法進(jìn)行多個(gè)區(qū)域的每個(gè)區(qū)域的活動(dòng)檢測(cè)，作為各像素位置的活動(dòng)來(lái)利用。對(duì)于求出可靠度的方法，可以采用上述P. ANANDAN的文獻(xiàn)中記載的方法?；蛘?，在利用塊匹配進(jìn)行活動(dòng)檢測(cè)的情況下，也可以如(式3)所示那樣，從差的平方和所能取得的最大值SSDmax中減去與活動(dòng)對(duì)應(yīng)的塊彼此間的像素值的差的平方和而得到的值、即使塊彼此的像素值的差的平方和的符號(hào)顛倒之后的值Conf (x，y，t)用作可靠度。此外，即便在利用圖像的整體的活動(dòng)檢測(cè)或按每個(gè)區(qū)域的活動(dòng)檢測(cè)的情況下，也可以將從平方和所能取得的最大值SSDmax中減去各像素位置的活動(dòng)的起點(diǎn)附近區(qū)域與終點(diǎn)附近區(qū)域的像素值的差的平方和而得到的值conf (X，Y，t)用作可靠度。式3
權(quán)利要求
1.一種圖像生成裝置，具備 高畫(huà)質(zhì)處理部，其接收拍攝同一事物而得到的第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的信號(hào)，生成表示所述事物的新的運(yùn)動(dòng)圖像和 輸出端子，其輸出所述新的運(yùn)動(dòng)圖像的信號(hào)，其中 所述第2運(yùn)動(dòng)圖像的顏色成分與所述第I運(yùn)動(dòng)圖像的顏色成分不同，所述第2運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第I運(yùn)動(dòng)圖像的I幀時(shí)間還長(zhǎng)的曝光而獲得的， 所述第3運(yùn)動(dòng)圖像的顏色成分與所述第2運(yùn)動(dòng)圖像的顏色成分相同，所述第3運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第2運(yùn)動(dòng)圖像的I幀時(shí)間還短的曝光而獲得的。
2.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部利用所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像的信號(hào)，生成幀頻為所述第I運(yùn)動(dòng)圖像或者所述第3運(yùn)動(dòng)圖像的幀頻以上、且分辨率為所述第2運(yùn)動(dòng)圖像或者所述第3運(yùn)動(dòng)圖像的分辨率以上的新的運(yùn)動(dòng)圖像。
3.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述第2運(yùn)動(dòng)圖像的分辨率高于所述第3運(yùn)動(dòng)圖像的分辨率， 所述高畫(huà)質(zhì)處理部利用所述第2運(yùn)動(dòng)圖像的信號(hào)及所述第3運(yùn)動(dòng)圖像的信號(hào)，生成具有所述第2運(yùn)動(dòng)圖像的分辨率以上的分辨率、具有所述第3運(yùn)動(dòng)圖像的幀頻以上的幀頻、且顏色成分與所述第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的顏色成分相同的運(yùn)動(dòng)圖像的信號(hào)，作為所述新的運(yùn)動(dòng)圖像的顏色成分之一。
4.根據(jù)權(quán)利要求3所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部決定所述新的運(yùn)動(dòng)圖像的各幀的像素值，使得以成為與所述第2運(yùn)動(dòng)圖像相同的幀頻的方式對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行時(shí)間采樣時(shí)的、各幀的像素值與所述第2運(yùn)動(dòng)圖像的各幀的像素值的誤差減少。
5.根據(jù)權(quán)利要求3所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部生成綠色的顏色成分的運(yùn)動(dòng)圖像的信號(hào)，作為所述新的運(yùn)動(dòng)圖像的顏色成分之一。
6.根據(jù)權(quán)利要求3至5的任一項(xiàng)所述的圖像生成裝置，其中 所述高畫(huà)質(zhì)處理部決定所述新的運(yùn)動(dòng)圖像的各幀的像素值，使得以成為與所述第I運(yùn)動(dòng)圖像相同的分辨率的方式對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行空間采樣時(shí)的、各幀的像素值與所述第I運(yùn)動(dòng)圖像的各幀的像素值的誤差減少。
7.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述第2運(yùn)動(dòng)圖像和所述第3運(yùn)動(dòng)圖像的幀是通過(guò)幀間的開(kāi)放曝光而獲得的。
8.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部指定所生成的新的運(yùn)動(dòng)圖像的像素值根據(jù)在時(shí)間空間上相鄰的像素的像素值的連續(xù)性所應(yīng)該滿足的約束條件，并按照維持所指定的所述約束條件的方式來(lái)生成所述新的運(yùn)動(dòng)圖像。
9.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述圖像生成裝置還具備活動(dòng)檢測(cè)部，該活動(dòng)檢測(cè)部根據(jù)所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像的至少一個(gè)檢測(cè)對(duì)象物的活動(dòng)， 所述高畫(huà)質(zhì)處理部按照所生成的新的運(yùn)動(dòng)圖像的像素值維持基于所述活動(dòng)檢測(cè)結(jié)果應(yīng)該滿足的約束條件的方式來(lái)生成所述新的運(yùn)動(dòng)圖像。
10.根據(jù)權(quán)利要求9所述的圖像生成裝置，其中， 所述活動(dòng)檢測(cè)部計(jì)算所述活動(dòng)檢測(cè)的可靠度， 所述高畫(huà)質(zhì)處理部針對(duì)由所述活動(dòng)檢測(cè)部計(jì)算出的可靠度高的圖像區(qū)域，利用基于所述活動(dòng)檢測(cè)結(jié)果的約束條件來(lái)生成新的圖像，并針對(duì)所述可靠度低的圖像區(qū)域，利用活動(dòng)約束條件以外的預(yù)先確定的約束條件來(lái)生成所述新的運(yùn)動(dòng)圖像。
11.根據(jù)權(quán)利要求10所述的圖像生成裝置，其中， 所述活動(dòng)檢測(cè)部以對(duì)構(gòu)成所述運(yùn)動(dòng)圖像的各圖像進(jìn)行分割之后的塊為單位來(lái)檢測(cè)活動(dòng)，將使塊彼此的像素值之差的平方和的符號(hào)反轉(zhuǎn)之后的值作為所述可靠度進(jìn)行計(jì)算， 所述高畫(huà)質(zhì)處理部將所述可靠度比預(yù)先確定的值還大的塊作為可靠度高的圖像區(qū)域，將所述可靠度比預(yù)先確定的值還小的塊作為可靠度低的圖像區(qū)域，來(lái)生成所述新的運(yùn)動(dòng)圖像。
12.根據(jù)權(quán)利要求9所述的圖像生成裝置，其中， 所述活動(dòng)檢測(cè)部具有姿勢(shì)傳感器輸入部，該姿勢(shì)傳感器輸入部接收來(lái)自對(duì)拍攝對(duì)象物的攝像裝置的姿勢(shì)進(jìn)行檢測(cè)的姿勢(shì)傳感器的信號(hào)， 所述活動(dòng)檢測(cè)部利用所述姿勢(shì)傳感器輸入部接收的信號(hào)來(lái)檢測(cè)所述活動(dòng)。
13.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部從所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像提取色差信息，根據(jù)從所述第I運(yùn)動(dòng)圖像及所述第3運(yùn)動(dòng)圖像獲取的亮度信息、和所述第2運(yùn)動(dòng)圖像生成中間的運(yùn)動(dòng)圖像，在所生成的中間的運(yùn)動(dòng)圖像中附加所述色差信息，由此生成所述新的運(yùn)動(dòng)圖像。
14.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部針對(duì)所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)來(lái)計(jì)算圖像在時(shí)間上的變化量，在所計(jì)算出的變化量超過(guò)了預(yù)先確定的值時(shí)，結(jié)束利用到超過(guò)之前的時(shí)刻的圖像為止的圖像來(lái)生成運(yùn)動(dòng)圖像，從超過(guò)之后開(kāi)始新的運(yùn)動(dòng)圖像的生成。
15.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部還計(jì)算表示所生成的新的運(yùn)動(dòng)圖像的可靠性的值，將計(jì)算出的值與所述新的運(yùn)動(dòng)圖像一起輸出。
16.根據(jù)權(quán)利要求I至15任一項(xiàng)所述的圖像生成裝置，其中， 所述圖像生成裝置還具備攝像部，該攝像部利用單板的攝像元件生成所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像。
17.根據(jù)權(quán)利要求16所述的圖像生成裝置，其中， 所述圖像生成裝置還具備控制部，該控制部根據(jù)攝影的環(huán)境來(lái)控制所述高畫(huà)質(zhì)化部的處理。
18.根據(jù)權(quán)利要求17所述的圖像生成裝置，其中， 所述攝像部進(jìn)行空間上的像素相加運(yùn)算，生成分辨率比所述第3運(yùn)動(dòng)圖像的分辨率還高的所述第2運(yùn)動(dòng)圖像， 所述控制部具備對(duì)由所述攝像部檢測(cè)出的光量進(jìn)行檢測(cè)的光量檢測(cè)部，在由所述光量檢測(cè)部檢測(cè)出的光量為預(yù)先確定的值以上時(shí)，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及 所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。
19.根據(jù)權(quán)利要求18所述的圖像生成裝置，其中， 所述控制部具備對(duì)圖像生成裝置的動(dòng)力源的剩余容量進(jìn)行檢測(cè)的剩余容量檢測(cè)部，根據(jù)由所述剩余容量檢測(cè)部檢測(cè)出的剩余容量，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。
20.根據(jù)權(quán)利要求18所述的圖像生成裝置，其中， 所述控制部具備對(duì)被攝體的活動(dòng)的大小進(jìn)行檢測(cè)的活動(dòng)量檢測(cè)部，根據(jù)由所述活動(dòng)量檢測(cè)部檢測(cè)出的被攝體的活動(dòng)的大小，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。
21.根據(jù)權(quán)利要求18所述的圖像生成裝置，其中， 所述控制部具備用戶對(duì)圖像處理的計(jì)算進(jìn)行選擇的處理選擇部，根據(jù)經(jīng)由所述處理選擇部而被選擇的結(jié)果，針對(duì)所述第I運(yùn)動(dòng)圖像、所述第2運(yùn)動(dòng)圖像及所述3運(yùn)動(dòng)圖像的至少I(mǎi)個(gè)運(yùn)動(dòng)圖像，改變曝光時(shí)間及空間上的像素相加量的至少一方。
22.根據(jù)權(quán)利要求I所述的圖像生成裝置，其中， 所述高畫(huà)質(zhì)處理部設(shè)定所述新的運(yùn)動(dòng)圖像的像素值根據(jù)在時(shí)間空間上相鄰的像素的像素值的連續(xù)性而應(yīng)該滿足的約束條件， 所述高畫(huà)質(zhì)處理部按照以與所述第2運(yùn)動(dòng)圖像相同的幀頻對(duì)所述新的運(yùn)動(dòng)圖像進(jìn)行時(shí)間采樣時(shí)的、各幀像素值與所述第2運(yùn)動(dòng)圖像的各幀的像素值的誤差減少、且維持所設(shè)定的所述約束條件的方式，來(lái)生成所述新的運(yùn)動(dòng)圖像。
23.根據(jù)權(quán)利要求I至15的任一項(xiàng)所述的圖像生成裝置，其中， 所述圖像生成裝置還具備攝像部，該攝像部利用3板的攝像元件來(lái)生成所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像。
24.一種圖像生成方法，包括 接收對(duì)同一事物進(jìn)行拍攝而獲得的第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的信號(hào)的步驟，其中所述第2運(yùn)動(dòng)圖像的顏色成分與所述第I運(yùn)動(dòng)圖像的顏色成分不同，所述第2運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第I運(yùn)動(dòng)圖像的I幀時(shí)間還長(zhǎng)的曝光而獲得的，所述第3運(yùn)動(dòng)圖像的顏色成分與所述第2運(yùn)動(dòng)圖像的顏色成分相同，所述第3運(yùn)動(dòng)圖像的各幀是通過(guò)時(shí)間比所述第2運(yùn)動(dòng)圖像的I幀時(shí)間還短的曝光而獲得的 根據(jù)所述第I運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像生成表示所述事物的新的運(yùn)動(dòng)圖像的步驟；和 輸出所述新的運(yùn)動(dòng)圖像的信號(hào)的步驟。
25.一種計(jì)算機(jī)程序，其根據(jù)多個(gè)運(yùn)動(dòng)圖像生成新的運(yùn)動(dòng)圖像，其中 所述計(jì)算機(jī)程序使執(zhí)行所述計(jì)算機(jī)程序的計(jì)算機(jī)執(zhí)行權(quán)利要求22所述的圖像生成方法。
全文摘要
本發(fā)明提供一種圖像生成裝置，在利用通過(guò)2種以上的分辨率和2種以上的曝光時(shí)間的組合而被讀出的像素信號(hào)所生成的高幀頻且高分辨率的圖像的顏色中防止洇染。圖像生成裝置具備高畫(huà)質(zhì)處理部，其接收拍攝同一事物而獲得的第1運(yùn)動(dòng)圖像、第2運(yùn)動(dòng)圖像及第3運(yùn)動(dòng)圖像的信號(hào)，生成表示事物的新的運(yùn)動(dòng)圖像和輸出端子，其輸出新的運(yùn)動(dòng)圖像的信號(hào)。第2運(yùn)動(dòng)圖像的顏色成分與第1運(yùn)動(dòng)圖像的顏色成分不同，第2運(yùn)動(dòng)圖像的各幀通過(guò)時(shí)間比第1運(yùn)動(dòng)圖像的1幀時(shí)間還長(zhǎng)的曝光而獲得。第3運(yùn)動(dòng)圖像的顏色成分與第2運(yùn)動(dòng)圖像的顏色成分相同，第3運(yùn)動(dòng)圖像的各幀通過(guò)時(shí)間比第2運(yùn)動(dòng)圖像的1幀時(shí)間還短的曝光而獲得。
文檔編號(hào)H04N5/355GK102783155SQ20118001158
公開(kāi)日2012年11月14日 申請(qǐng)日期2011年7月12日 優(yōu)先權(quán)日2010年7月12日
發(fā)明者今川太郎, 岡田雄介, 吾妻健夫, 鵜川三藏 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社