專利名稱：圖像處理裝置、攝像裝置、程序以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、攝像裝置、程序以及圖像處理方法等。
背景技術(shù)：
在目前的數(shù)字照相機(jī)或攝像機(jī)中，有可切換靜態(tài)圖像攝影模式和動態(tài)圖像攝影模式來進(jìn)行使用的設(shè)備。例如存在這樣的設(shè)備，在動態(tài)圖像攝影中用戶可通過進(jìn)行按鈕操作來拍攝與動態(tài)圖像相比高分辨率的靜態(tài)圖像?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn) 專利文獻(xiàn)I :日本特開2009-124621號公報專利文獻(xiàn)2 日本特開2008-243037號公報

發(fā)明內(nèi)容
發(fā)明所要解決的課題但是，在切換靜態(tài)圖像攝影模式和動態(tài)圖像攝影模式的方法中，具有用戶在覺察到快門機(jī)會時大多已經(jīng)錯過決定瞬間這樣的課題。本發(fā)明人為了實(shí)現(xiàn)該決定瞬間的攝影而開發(fā)出利用像素移動的方法由動態(tài)圖像來生成任意時機(jī)的高分辨率靜態(tài)圖像的方法。例如在專利文獻(xiàn)1、2中作為像素移動的方法公開了由基于像素移動而取得的低分辨率圖像合成高分辨率圖像的方法。但是，在專利文獻(xiàn)1、2的方法中具有處理負(fù)荷増大或者像素值的估計困難這樣的課題。根據(jù)本發(fā)明的幾個方式，能夠提供可利用簡單的處理由低分辨率動態(tài)圖像取得高分辨率圖像的圖像處理裝置、攝像裝置、程序以及圖像處理方法等。用于解決課題的手段本發(fā)明的一方式涉及圖像處理裝置，該圖像處理裝置包含存儲部，其在如下情況下存儲所取得的低分辨率圖像，該情況為ー邊重疊像素一邊依次進(jìn)行像素移動來對被攝體像進(jìn)行采樣，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為上述低分辨率圖像；估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像，在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素并使上述第I位置的像素與上述第2位置的像素重疊時，上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。根據(jù)本發(fā)明的一方式，一邊重疊像素一邊依次進(jìn)行像素移動，一邊進(jìn)行像素移動ー邊利用攝像元件進(jìn)行各攝像動作來取得受光值，并取得低分辨率圖像。然后，根據(jù)對像素依次進(jìn)行像素移動而獲得的多個受光值來估計該估計像素值，根據(jù)該估計像素值來輸出高分辨率圖像。此時，根據(jù)重疊的第I、第2位置的像素的受光值的差分值來估計該估計像素值。由此，可利用簡單的處理由低分辨率動態(tài)圖像取得高分辨率圖像等。另外，在本發(fā)明的一方式中，上述估計運(yùn)算部可采用上述差分值來表示第I中間像素值與第2中間像素值的關(guān)系式，上述第I中間像素值是從上述第I位置的像素中去除重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的像素中去除上述重疊區(qū)域后的第2受光區(qū)域的受光值，采用上述關(guān)系式來估計上述第I中間像素值、第2中間像素值，采用所估計的上述第I中間像素值來求出上述估計像素值。這樣，可一邊重疊像素一邊依次進(jìn)行像素移動并且由所取得的受光值來估計中間 像素值，由所估計的中間像素值來求出最終的估計像素值。由此，能夠使高分辨率圖像的像素值估計簡化。另外，在本發(fā)明的一方式中，上述估計運(yùn)算部可在將包括上述第I中間像素值、第2中間像素值在內(nèi)的連續(xù)的中間像素值作為中間像素值模式時，采用上述像素的受光值來表示上述中間像素值模式的中間像素值間的關(guān)系式，比較利用中間像素值間的關(guān)系式表示的上述中間像素值模式與上述像素的受光值，來評價相似性，根據(jù)上述相似性的評價結(jié)果，來決定上述中間像素值模式所包含的各中間像素值，使上述相似性最高。這樣，可根據(jù)ー邊重疊像素一邊進(jìn)行像素移動而取得的多個受光值，估計中間像素值。另外，在本發(fā)明的一方式中，上述估計運(yùn)算部可求出表示上述中間像素值模式與上述像素的受光值之間的誤差的評價函數(shù)，決定上述中間像素值模式所包含的各個中間像素值，使上述評價函數(shù)的值最小，其中上述中間像素值模式由中間像素值間的關(guān)系式表示。這樣，通過決定中間像素值的值使得評價函數(shù)的值成為最小，可決定中間像素值的值，使中間像素值模式與受光值的相似性最高。另外，在本發(fā)明的一方式中，可根據(jù)已知的高分辨率圖像，取得上述中間像素值模式與上述像素的受光值的對應(yīng)關(guān)系，作為先見信息，該先見信息預(yù)先規(guī)定上述像素的受光值與上述中間像素值模式的相似性，上述估計運(yùn)算部根據(jù)上述先見信息，來評價由中間像素值間的關(guān)系式表示的上述中間像素值模式與所取得的上述像素的受光值之間的相似性。這樣，可根據(jù)基于已知的高分辨率圖像取得的先見信息來評價相似性，井根據(jù)該評價結(jié)果來決定中間像素值。另外，在本發(fā)明的一方式中，上述估計運(yùn)算部可具有神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)采用通過學(xué)習(xí)而作為上述先見信息獲得的系數(shù)，作為節(jié)點(diǎn)的權(quán)重系數(shù)，其中上述學(xué)習(xí)基于上述已知的高分辨率圖像，上述神經(jīng)網(wǎng)絡(luò)接收中間像素值模式與上述像素的受光值，輸出上述相似性的評價結(jié)果，上述估計運(yùn)算部根據(jù)來自上述神經(jīng)網(wǎng)絡(luò)的上述相似性的評價結(jié)果，來決定上述中間像素值模式所包含的各中間像素值。這樣，可通過采用將節(jié)點(diǎn)的權(quán)重系數(shù)作為先見信息的神經(jīng)網(wǎng)絡(luò)，來實(shí)現(xiàn)基于先見信息的相似性評價。另外，在本發(fā)明的一方式中，可包含插值處理部，在各個幀中進(jìn)行上述像素移動，通過上述像素移動在多個位置上依次設(shè)定上述像素，按照多個幀在相同位置上設(shè)定上述像素，當(dāng)上述低分辨率圖像是在時序上與各個位置對應(yīng)而取得的連續(xù)低分辨率圖像時，該插值處理部進(jìn)行對各個上述幀中的上述多個位置的像素的受光值進(jìn)行插值的處理，上述插值處理部采用插值對象幀前后的幀的上述連續(xù)低分辨率圖像中的與上述欠缺位置相同位置的像素的受光值，來對上述插值對象幀的上述連續(xù)低分辨率圖像中的欠缺位置的像素的受光值進(jìn)行插值，上述估計運(yùn)算部根據(jù)由上述插值處理部插值后的上述連續(xù)低分辨率圖像，來估計各個上述幀中的上述估計畫值。這樣，在通過像素移動來取得受光值時，能夠采用所取得的受光值來對欠缺位置的受光值進(jìn)行插值，井根據(jù)插值后的受光值進(jìn)行估計。另外，在本發(fā)明的一方式中，上述插值處理部可通過時間軸插值濾波器進(jìn)行上述插值。這樣，可通過時間軸插值濾波器進(jìn)行時間軸插值。另外，在本發(fā)明的一方式中，上述插值處理部可在上述前后的幀中的像素的受光值的差分值小于規(guī)定的閾值時，采用上述前后的幀中與上述欠缺位置相同位置的像素的受光值來對上述插值對象幀中的上述欠缺位置的像素的受光值進(jìn)行插值，在上述前后的幀中像素的受光值的差分值大于規(guī)定閾值時，采用在上述插值對象的幀中取得的像素的受光值 來對上述插值對象幀中的上述欠缺位置的像素的受光值進(jìn)行插值。這樣，可根據(jù)在插值對象的幀前后的幀中的像素的受光值的差分值，來進(jìn)行插值對象的幀中的受光值的時間軸插值。另外，在本發(fā)明的一方式中，第I像素與第2像素可以是鄰接的像素，當(dāng)上述第I位置、第2位置的上述第I像素在第I重疊區(qū)域內(nèi)重疊、上述第I位置、第2位置的上述第2像素在第2重疊區(qū)域內(nèi)重疊時，上述估計運(yùn)算部估計第I中間像素值和第2中間像素值，上述第I中間像素值是從上述第I位置的上述第I像素中去除上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的上述第I像素中去除上述第I重疊區(qū)域后的第2受光區(qū)域的受光值，將第3中間像素值作為未知數(shù)，上述第3中間像素值是從上述第I位置的上述第2像素中去除上述第2重疊區(qū)域后的第3受光區(qū)域的受光值，以采用上述未知數(shù)的關(guān)系式來表示第4中間像素值，該第4中間像素值是從上述第2位置的上述第2像素中去除上述第2重疊區(qū)域后的第4受光區(qū)域的受光值，根據(jù)作為上述第2受光區(qū)域的中間像素值求出的上述第2中間像素值，來設(shè)定上述未知數(shù)的捜索范圍，其中上述第2受光區(qū)域與上述第3受光區(qū)域是同一區(qū)域，在所設(shè)定的上述捜索范圍中，通過搜索求出上述未知數(shù)來估計上述第3中間像素值。這樣，可根據(jù)先前求出的第2中間像素值，來設(shè)定接著要估計的未知數(shù)的搜索范圍。另外，在本發(fā)明的一方式中，第I像素與第2像素可以是鄰接的像素，當(dāng)上述第I位置、第2位置的上述第I像素在第I重疊區(qū)域內(nèi)重疊、上述第I位置、第2位置的上述第2像素在第2重疊區(qū)域內(nèi)重疊時，上述估計運(yùn)算部估計第I中間像素值模式、第2中間像素值模式、第3中間像素值模式，上述第I中間像素值模式是包括第I中間像素值和第2中間像素值在內(nèi)的連續(xù)的中間像素值，上述第I中間像素值是從上述第I位置的上述第I像素中去除上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的上述第I像素中去除上述第I重疊區(qū)域后的第2受光區(qū)域的受光值，上述第2中間像素值模式是包括第3中間像素值和第4中間像素值在內(nèi)的連續(xù)的中間像素值，上述第3中間像素值是從上述第I位置的上述第2像素中去除上述第2重疊區(qū)域后的第3受光區(qū)域的受光值，上述第4中間像素值是從上述第2位置的上述第2像素中去除上述第2重疊區(qū)域后的第4受光區(qū)域的受光值，上述第3中間像素值模式是包括第5中間像素值、且不包括上述第I中間像素值、第4中間像素值的連續(xù)的中間像素值，上述第5中間像素值是上述第2位置的上述第I像素與上述第I位置的上述第2像素的重疊區(qū)域即第5受光區(qū)域的受光值，在上述第3受光區(qū)域、第5受光區(qū)域與上述第2受光區(qū)域是同一受光區(qū)域時，根據(jù)通過上述第I中間像素值模式 第3中間像素值模式的估計而獲得的上述第2中間像素值、第3中間像素值、第5中間像素值來最終決定上述同一受光區(qū)域的中間像素值。這樣，可根據(jù)通過3次估計同一受光區(qū)域的中間像素值求出的3個估計值，來決定該受光區(qū)域的最終的中間像素值。另外，在本發(fā)明的一方式中，上述估計運(yùn)算部可對上述估計像素值根據(jù)上述估計像素值的像素位置進(jìn)行不同濾波器系數(shù)的濾波處理。這樣，可對經(jīng)由估計獲得的估計像素值，進(jìn)行與該像素位置對應(yīng)的濾波處理。
·
另外，在本發(fā)明的一方式中，在ー邊沿著傾斜方向重疊上述像素一邊進(jìn)行上述像素移動并取得上述低分辨率圖像時，上述估計運(yùn)算部可將沿著上述傾斜方向進(jìn)行上述像素移動的上述像素的重疊區(qū)域的受光值估計為上述估計像素值。這樣，在ー邊沿著傾斜方向重疊像素一邊進(jìn)行像素移動時，可根據(jù)通過該像素移動取得的受光值，將像素的重疊區(qū)域的受光值作為估計像素值求出。另外，在本發(fā)明的一方式中，上述攝像元件可以是彩色攝像元件，當(dāng)在水平方向與垂直方向上進(jìn)行各3步的上述像素移動并取得16幀的各個顏色分量的馬賽克圖像作為上述低分辨率圖像時，上述估計運(yùn)算部根據(jù)上述16幀的各顔色分量的馬賽克圖像，按照每個顔色分量來估計與上述高分辨率圖像的全部像素對應(yīng)的上述估計像素值。另外，在本發(fā)明的一方式中，上述攝像元件可以是彩色攝像元件，當(dāng)在水平方向與垂直方向上進(jìn)行各I步的上述像素移動并取得4幀的各個顏色分量的馬賽克圖像作為上述低分辨率圖像吋，上述估計運(yùn)算部對上述4幀的各顔色分量的馬賽克圖像進(jìn)行去馬賽克處理，井根據(jù)上述去馬賽克處理后的圖像來估計上述估計像素值。根據(jù)這些本發(fā)明的一方式，在攝像元件是彩色攝像元件時，可根據(jù)通過像素移動所取得的受光值來估計該估計像素值，并輸出彩色的高分辨率圖像。另外，本發(fā)明的其它方式涉及攝像裝置，該攝像裝置包含攝像元件；成像光學(xué)系統(tǒng)，其對上述攝像元件形成被攝體像；像素移動控制部，其控制為一邊重疊像素ー邊依次進(jìn)行像素移動來對上述被攝體像進(jìn)行采樣；存儲部，其在一邊進(jìn)行上述像素移動ー邊利用上述攝像元件進(jìn)行各攝像動作時，將通過各個上述攝像動作取得的上述像素的受光值作為低分辨率圖像進(jìn)行存儲；估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像，在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時，上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。本發(fā)明的其他方式是ー種程序，其使計算機(jī)作為以下的部件發(fā)揮功能存儲部，其在一邊重疊像素一邊依次進(jìn)行像素移動來采樣被攝體像，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為低分辨率圖像時，存儲所取得的上述低分辨率圖像；估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像，在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時，上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。另外，本發(fā)明的其它方式涉及圖像處理方法，該圖像處理方法為，在一邊重疊像素一邊依次進(jìn)行像素移動來對被攝體像進(jìn)行采樣，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為低分辨率圖像時，存儲所取得的上述低分辨率圖像，根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值，根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像，并且在第I位置與 上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時，在上述估計像素值的估計中求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，并根據(jù)上述差分值來估計上述估計像素值。


圖I是攝像裝置的基本結(jié)構(gòu)例。圖2是估計處理塊的說明圖。圖3 (A)是受光值的說明圖，圖3 (B)是中間像素值的說明圖。圖4是第I估計方法中的中間像素值的估計方法的說明圖。圖5是第I估計方法中的中間像素值的估計方法的說明圖。圖6是第I估計方法中的中間像素值的估計方法的說明圖。圖7 (A)、圖7 (B)是第I估計方法中的估計像素值的估計方法的說明圖。圖8是第I估計方法中的估計像素值的估計方法的說明圖。圖9是第I估計方法中的估計像素值的估計方法的說明圖。圖10是第I估計方法中的估計像素值的估計方法的說明圖。圖11是第2估計方法的說明圖。圖12是第2估計方法的說明圖。圖13是第2估計方法的說明圖。圖14是第2估計方法的說明圖。圖15是第2估計方法中的捜索范圍設(shè)定的說明圖。圖16是第2估計方法的概要說明圖。圖17是第3估計方法的說明圖。圖18是第3估計方法的概要說明圖。
圖19是第4估計處理的說明圖。圖20是噪聲濾波器的結(jié)構(gòu)例。圖21是受光值的第I插值方法的說明圖。圖22是插值處理的時序圖例。圖23是受光值的第2插值方法的說明圖。 圖24是受光值的第2插值方法的說明圖。圖25是對融合(fusion)巾貞的運(yùn)動補(bǔ)償?shù)恼f明圖。圖26是攝像裝置與圖像處理裝置的第I詳細(xì)結(jié)構(gòu)例。圖27是攝像裝置與圖像處理裝置的第2詳細(xì)結(jié)構(gòu)例。圖28是彩色圖像的第I估計方法的說明圖。圖29是彩色圖像的第2估計方法的說明圖。圖30 (A)是第5估計方法中的受光值的說明圖，圖30 (B)是第5估計方法中的中間像素值的說明圖。圖31是第5估計方法中的中間像素值的估計方法的說明圖。圖32是第5估計方法中的中間像素值的估計方法的說明圖。圖33是第5估計方法中的中間像素值的估計方法的說明圖。圖34是第5估計方法中的估計像素值的估計方法的說明圖。
具體實(shí)施例方式以下，對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說明。此外，以下說明的本實(shí)施方式并非不當(dāng)限定在權(quán)利要求書內(nèi)所記載的本發(fā)明內(nèi)容，在本實(shí)施方式中說明的全部結(jié)構(gòu)作為本發(fā)明的解決手段并非是必須的。I.比較例首先，對本實(shí)施方式的比較例進(jìn)行說明。在數(shù)字照相機(jī)或攝像機(jī)的產(chǎn)品中存在如下產(chǎn)品使以靜態(tài)圖像攝影為主的數(shù)字照相機(jī)具有動態(tài)圖像攝影功能、或者使以動態(tài)圖像攝影為主的攝像機(jī)具有靜態(tài)圖像攝影功能。這些照相機(jī)大多切換靜態(tài)圖像攝影模式和動態(tài)圖像攝影模式來進(jìn)行使用。其中，有的可通過動態(tài)圖像攝影的高速幀速率來拍攝高精細(xì)靜態(tài)圖像，井能夠進(jìn)行短時間的高速連拍。如果使用這樣的設(shè)備，則具有以ー個設(shè)備來承擔(dān)靜態(tài)圖像與動態(tài)圖像攝影這樣的利便。但是，在這些方法中存在難以不錯過多數(shù)人追求的快門機(jī)會而獲得高品位的靜態(tài)圖像這樣的課題。例如，在動態(tài)圖像攝影中瞬時切換為拍攝高品位靜態(tài)圖像的模式這樣的方法中存在如下這樣的課題，即動態(tài)圖像間斷，或者在用戶發(fā)覺時已經(jīng)錯過決定瞬間。為了解決不錯過該快門機(jī)會這樣的課題而考慮如下這樣的方法，在通過動態(tài)圖像攝影來無遺漏地拍攝全部場景時，將從中自由決定的瞬間作為高品位的靜態(tài)圖像來獲得。為了實(shí)現(xiàn)該方法，需要能夠以高速幀速率來拍攝高精細(xì)圖像。但是，該方法的實(shí)現(xiàn)是不容易的。例如，為了以60fps(fps :幀/秒)連續(xù)拍攝1200萬像素的圖像，而需要可超高速攝像的攝像元件、對攝像數(shù)據(jù)進(jìn)行超高速處理的處理電路、超高速數(shù)據(jù)壓縮處理功能、記錄非常大的數(shù)據(jù)的記錄單元。因此，需要使用多個攝像元件、并行處理、大規(guī)模存儲器、高性能散熱機(jī)構(gòu)等，但在需要小型化或低成本的民用設(shè)備中是非現(xiàn)實(shí)的。雖然只要是動態(tài)圖像攝影的高品質(zhì)電視(200萬像素)程度的分辨率的非高品位的靜態(tài)圖像就能夠?qū)崿F(xiàn)，但以高品質(zhì)電視程度的分辨率作為靜態(tài)圖像是不夠的。另外，作為進(jìn)行高幀速率的動態(tài)圖像攝影的方法，考慮如下這樣來實(shí)現(xiàn)的方法，采用能夠以多個像素拍攝高精細(xì)圖像的高像素圖像傳感器，通過像素的間取讀出或者鄰接像素的相加讀出來進(jìn)行低分辨率圖像化并降低I次讀出數(shù)據(jù)。但是，在此方法中無法利用高幀速率來拍攝高精細(xì)圖像。為了解決此課題，需要由以高幀速率拍攝的低分辨率圖像來獲得高分辨率圖像。作為由低分辨率圖像獲得高分辨率圖像的方法，例如考慮如下這樣的方法對通過像素移動來拍攝的低分辨率圖像進(jìn)行所謂的超晰像處理并生成高分辨率圖像。例如，作為此方法考慮采用相加讀出的方法。即，在將低分辨率圖像依次進(jìn)行位置偏移并且讀出之后，根據(jù)這些多個位置偏移圖像來暫時假定高精細(xì)圖像。并且，使假定的圖像劣化來生成低分辨率圖像，與初始的低分辨率圖像相比為了使其差異最小而使高精細(xì)圖 像變形，來估計高精細(xì)圖像。作為該超晰像處理已知ML (Maximum-Likelihood :最大似然)法、MAP (Maximum A Posterior :最大后驗(yàn))法、POCS (Projection Onto Convex Set :凸集投影)法、IBP (Iterative Back Projection :迭代反投影)法等。另外，作為采用超晰像處理的方法有上述專利文獻(xiàn)I所公開的方法。在此方法中，按時序依次拍攝在動態(tài)圖像拍攝時進(jìn)行像素移動的低分辨率圖像，并合成這些多個低分辨率圖像，由此來假定高分辨率圖像。然后，對該假定的高分辨率圖像實(shí)施上述超晰像處理，并估計似然度高的(似然)高分辨率圖像。但是，在這些方法中采用通過多次使用2維濾波器的反復(fù)運(yùn)算來提高估計精度的一般超晰像處理。因此，具有如下課題即處理的規(guī)模非常大或者處理時間増大，難以應(yīng)用于存在處理性能或成本限制的設(shè)備。例如，當(dāng)應(yīng)用于數(shù)字照相機(jī)這樣的小型便攜攝像裝置時，產(chǎn)生處理電路的規(guī)模變大、功耗增大、產(chǎn)生大量熱、成本大幅提高等課題。另外，在上述專利文獻(xiàn)2中公開了使用像素移動的多個低分辨率圖像來生成高分辨率圖像的方法。在此方法中，將構(gòu)成希望求出的高分辨率圖像的虛擬像素設(shè)為副像素，并估計副像素的像素值，使該副像素的平均值與所拍攝的低分辨率圖像的像素值一致。在該像素值的估計中，設(shè)定多個副像素的初始值，從低分辨率圖像的像素值中減去去除了希望計算的副像素之后的副像素的像素值來求出像素值，并依次針對鄰接的像素應(yīng)用該像素值。但是，在此方法中具有當(dāng)初始值的確定不夠準(zhǔn)確時估計誤差變得非常大這樣的課題。在此方法中，為了設(shè)定初始值，從圖像中尋找副像素的像素值變化小且這些像素的平均值與覆蓋這些像素的低分辨率像素值大致相等的部分。因此，當(dāng)從攝影圖像中沒有發(fā)現(xiàn)適合初始值設(shè)定的部分時，難以估計初始值。另外，需要搜索適合初始值設(shè)定的部分的處理。2.像素移動因此，在本實(shí)施方式中，通過像素移動(像素偏移)來拍攝高幀速率的低分辨率動態(tài)圖像，井根據(jù)該低分辨率動態(tài)圖像以簡單的像素估計方法來生成高分辨率圖像。然后，采用所生成的高分辨率圖像來取得動態(tài)圖像中的任意時機(jī)的高分辨率靜態(tài)圖像，或者取得高幀速率的高分辨率動態(tài)圖像。以下，采用附圖來詳細(xì)說明這樣的本實(shí)施方式的方法。首先，采用圖I來說明本實(shí)施方式進(jìn)行的像素移動。圖I示意性示出攝像裝置的基本結(jié)構(gòu)例。該攝像裝置包含鏡頭410 (廣義上為成像光學(xué)系統(tǒng))、攝像元件420 (傳感器、成像器)。鏡頭410使被攝體Obj的像形成于攝像元件420的受光面。如Cl所示，利用未圖示的鏡頭驅(qū)動部對鏡頭410進(jìn)行像素移動控制。這里，將攝像元件420的像素間距設(shè)為P。此時，鏡頭410在沿著與光軸垂直的χ軸(或y軸)的方向上每次以移動量p/2 (廣義上，移動量s〈p)進(jìn)行移動。此時,隨著鏡頭410姆次移動p/2,受光面上的被攝體像也姆次以移動量P/2進(jìn)行移動。攝像元件420對由鏡頭410形成的被攝體Obj的像進(jìn)行攝像。具體地說，按照鏡頭410的每個移動動作進(jìn)行攝像，對每次移動p/2的被攝體像進(jìn)行采樣。這樣，在本實(shí)施方式中，通過像素移動來取得毎次移動P/2的像素間距P的低分辨率圖像。此外，在上述結(jié)構(gòu)例中，將鏡頭410每次以移動量p/2進(jìn)行移動的情況作為例子進(jìn) 行了說明，但在本實(shí)施方式中，也可以是攝像元件420毎次以移動量p/2進(jìn)行移動。3.第I估計方法在本實(shí)施方式中，根據(jù)如上所述取得的像素間距P的低分辨率圖像來估計像素間距P/2的像素值并生成高分辨率圖像。采用圖疒圖10來說明估計該像素間距p/2的像素值的方法。此外，在本說明書中為了簡單，而將利用攝像元件的像素取得的像素值稱為受光值，將通過估計獲得的像素值稱為估計像素值。圖2示出在像素估計中采用的估計處理塊的說明圖。在圖2中利用實(shí)線的四方形來表示低分辨率圖像的像素，利用i來表示水平方向的像素位置，利用j來表示垂直方向的像素位置(i、j是自然數(shù))。如圖2所示，在本實(shí)施方式中，設(shè)定將mXn像素作為I塊的估計處理塊Β_、Bklo,…。然后，按照該估計處理塊來進(jìn)行后述的像素值的估計處理。通過該估計處理，根據(jù)mXn像素來估計2mX 2n像素的估計像素值。此外，以下為了簡単，以根據(jù)mXn=l X I像素來估計2X2像素的情況為例進(jìn)行說明。圖3 (A)、圖3 (B)示出用于估計處理的受光值以及中間像素值的說明圖。如圖3(A)所示，通過使攝像元件的像素間距P的像素(受光単位)每次以p/2進(jìn)行像素移動，來依次取得受光值(像素值)。在本實(shí)施方式中，根據(jù)該4個受光值來估計像素間距p/2的估計像素值。此外，受光值BtltTa11可以是由攝像取得的受光值本身，也可以是通過后述時間軸插值來進(jìn)行插值而得到的受光值。此時，如圖3 (B)所示，根據(jù)受光值BticTa11來估計水平方向的像素間距為p/2的中間像素值KcTb21 (中間估計像素值)。然后，根據(jù)該中間像素值I^Tb21來最終地估計水平垂直方向的像素間距為p/2的估計像素值。關(guān)于該中間像素值的估計方法，以圖4所示的水平方向的最初行的中間像素值VTb2tl為例進(jìn)行說明。在受光值與中間像素值之間，下式(I)的關(guān)系成立。a00=b00+b10,a10=b10+b20 ... (I)當(dāng)將1 作為未知數(shù)(初始值、基準(zhǔn)值)使上式(I)變形時，如下式(2)所示，可將中間像素值b1(l、b20表示為1 的函數(shù)。bQQ=(未知數(shù))，
b10=a00-b00,b20=b00+ δ i0=b00+ (a10-a00)…(2)這里，如下式(3)所示，δ k是進(jìn)行I次移動相差的受光值的差分值，與中間像素值1 .! 的差分值相對應(yīng)。δ i0=a10-a00 - (b10+b20) - (b00+b10)=b20-b00…(3)這樣，求出將bTO作為未知數(shù)的高精細(xì)的中間像素值{、、、、、丨的組合模式。為了決定表示為該1 的函數(shù)的中間像素值的值，而需要求出未知數(shù)bQQ。如圖5所示，在本實(shí)施方式中，比較通過重疊移動采樣(像素移動)檢測出的像素值的模式{a, a10}與中間像素值的模式Ibtltl. b1(l、b20}。然后，導(dǎo)出其誤差最小的未知數(shù)bQQ，將導(dǎo)出的未知數(shù)1 設(shè)定為最終的中間像素值bTO。具體地說，如下式(4)所示，利用未知數(shù)bTO的函數(shù)來表示誤差的評價函數(shù)Ej。然后如圖6所示,通過搜索求出使評價函數(shù)Ej為最小(極小值)的未知數(shù)bm=a (最小ニ乘法)。
權(quán)利要求
1.ー種圖像處理裝置，其特征在于，包含 存儲部，其在如下情況下存儲所取得的低分辨率圖像，該情況為ー邊重疊像素ー邊依次進(jìn)行像素移動來對被攝體像進(jìn)行采樣，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為上述低分辨率圖像； 估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及 圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像， 在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素并使上述第I位置的像素與上述第2位置的像素重疊時， 上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 上述估計運(yùn)算部采用上述差分值來表示第I中間像素值與第2中間像素值的關(guān)系式，上述第I中間像素值是從上述第I位置的像素中去除重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的像素中去除上述重疊區(qū)域后的第2受光區(qū)域的受光值， 采用上述關(guān)系式來估計上述第I中間像素值、第2中間像素值，采用所估計的上述第I中間像素值來求出上述估計像素值。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在干， 上述估計運(yùn)算部在將包括上述第I中間像素值、第2中間像素值在內(nèi)的連續(xù)的中間像素值作為中間像素值模式時，采用上述像素的受光值來表示上述中間像素值模式的中間像素值間的關(guān)系式， 比較利用中間像素值間的關(guān)系式表示的上述中間像素值模式與上述像素的受光值，來評價相似性， 根據(jù)上述相似性的評價結(jié)果，來決定上述中間像素值模式所包含的各中間像素值，使上述相似性最聞。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在干， 上述估計運(yùn)算部求出表示上述中間像素值模式與上述像素的受光值之間的誤差的評價函數(shù)，決定上述中間像素值模式所包含的各個中間像素值，使上述評價函數(shù)的值最小，其中上述中間像素值模式由中間像素值間的關(guān)系式表示。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在干， 根據(jù)已知的高分辨率圖像，取得上述中間像素值模式與上述像素的受光值的對應(yīng)關(guān)系，作為先見信息，該先見信息預(yù)先規(guī)定上述像素的受光值與上述中間像素值模式的相似性， 上述估計運(yùn)算部根據(jù)上述先見信息，來評價由中間像素值間的關(guān)系式表示的上述中間像素值模式與所取得的上述像素的受光值之間的相似性。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在干，上述估計運(yùn)算部具有神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)采用通過學(xué)習(xí)而作為上述先見信息獲得的系數(shù)，作為節(jié)點(diǎn)的權(quán)重系數(shù)，其中上述學(xué)習(xí)基于上述已知的高分辨率圖像， 上述神經(jīng)網(wǎng)絡(luò)接收中間像素值模式與上述像素的受光值，輸出上述相似性的評價結(jié)果， 上述估計運(yùn)算部根據(jù)來自上述神經(jīng)網(wǎng)絡(luò)的上述相似性的評價結(jié)果，來決定上述中間像素值模式所包含的各中間像素值。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 上述圖像處理裝置包含插值處理部，在各個幀中進(jìn)行上述像素移動，通過上述像素移動在多個位置上依次設(shè)定上述像素，按照多個幀在相同位置上設(shè)定上述像素，當(dāng)上述低分辨率圖像是在時序上與各個位置對應(yīng)而取得的連續(xù)低分辨率圖像時，該插值處理部進(jìn)行對各個上述幀中的上述多個位置的像素的受光值進(jìn)行插值的處理， 上述插值處理部采用插值對象幀前后的幀的上述連續(xù)低分辨率圖像中的與上述欠缺位置相同的位置的像素的受光值，來對上述插值對象幀的上述連續(xù)低分辨率圖像中的欠缺位置的像素的受光值進(jìn)行插值， 上述估計運(yùn)算部根據(jù)由上述插值處理部插值后的上述連續(xù)低分辨率圖像，來估計各個上述幀中的上述估計畫值。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在干， 上述插值處理部通過時間軸插值濾波器來進(jìn)行上述插值。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在干， 上述插值處理部在上述前后的幀中的像素的受光值的差分值小于規(guī)定的閾值時，采用上述前后的幀中與上述欠缺位置相同的位置的像素的受光值來對上述插值對象幀中的上述欠缺位置的像素的受光值進(jìn)行插值， 在上述前后的幀中像素的受光值的差分值大于規(guī)定閾值時，采用在上述插值對象幀中取得的像素的受光值來對上述插值對象幀中的上述欠缺位置的像素的受光值進(jìn)行插值。
10.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 第I像素與第2像素是鄰接的像素，當(dāng)上述第I位置、第2位置的上述第I像素在第I重疊區(qū)域內(nèi)重疊、上述第I位置、第2位置的上述第2像素在第2重疊區(qū)域內(nèi)重疊時， 上述估計運(yùn)算部估計第I中間像素值和第2中間像素值，上述第I中間像素值是從上述第I位置的上述第I像素中去除上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的上述第I像素中去除上述第I重疊區(qū)域后的第2受光區(qū)域的受光值， 將第3中間像素值作為未知數(shù)，上述第3中間像素值是從上述第I位置的上述第2像素中去除上述第2重疊區(qū)域后的第3受光區(qū)域的受光值， 以采用上述未知數(shù)的關(guān)系式來表示第4中間像素值，該第4中間像素值是從上述第2位置的上述第2像素中去除上述第2重疊區(qū)域后的第4受光區(qū)域的受光值， 根據(jù)作為上述第2受光區(qū)域的中間像素值求出的上述第2中間像素值，來設(shè)定上述未知數(shù)的捜索范圍，其中上述第2受光區(qū)域與上述第3受光區(qū)域是同一區(qū)域， 在所設(shè)定的上述捜索范圍中，通過搜索求出上述未知數(shù)來估計上述第3中間像素值。
11.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干，第I像素與第2像素是鄰接的像素，當(dāng)上述第I位置、第2位置的上述第I像素在第I重疊區(qū)域內(nèi)重疊、上述第I位置、第2位置的上述第2像素在第2重疊區(qū)域內(nèi)重疊時， 上述估計運(yùn)算部估計第I中間像素值模式、第2中間像素值模式、第3中間像素值模式， 上述第I中間像素值模式是包括第I中間像素值和第2中間像素值在內(nèi)的連續(xù)的中間像素值，上述第I中間像素值是從上述第I位置的上述第I像素中去除上述第I重疊區(qū)域后的第I受光區(qū)域的受光值，上述第2中間像素值是從上述第2位置的上述第I像素中去除上述第I重疊區(qū)域后的第2受光區(qū)域的受光值， 上述第2中間像素值模式是包括第3中間像素值和第4中間像素值在內(nèi)的連續(xù)的中間像素值，上述第3中間像素值是從上述第I位置的上述第2像素中去除上述第2重疊區(qū)域后的第3受光區(qū)域的受光值，上述第4中間像素值是從上述第2位置的上述第2像素中去 除上述第2重疊區(qū)域后的第4受光區(qū)域的受光值， 上述第3中間像素值模式是包括第5中間像素值、且不包括上述第I中間像素值、第4中間像素值的連續(xù)的中間像素值，上述第5中間像素值是上述第2位置的上述第I像素與上述第I位置的上述第2像素的重疊區(qū)域即第5受光區(qū)域的受光值， 在上述第3受光區(qū)域、第5受光區(qū)域與上述第2受光區(qū)域是同一受光區(qū)域時，根據(jù)通過上述第I中間像素值模式 第3中間像素值模式的估計而獲得的上述第2中間像素值、第3中間像素值、第5中間像素值來最終決定上述同一受光區(qū)域的中間像素值。
12.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 上述估計運(yùn)算部對上述估計像素值根據(jù)上述估計像素值的像素位置進(jìn)行不同濾波器系數(shù)的濾波處理。
13.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在干， 在ー邊沿著傾斜方向重疊上述像素一邊進(jìn)行上述像素移動并取得上述低分辨率圖像時， 上述估計運(yùn)算部將沿著上述傾斜方向進(jìn)行上述像素移動后的上述像素的重疊區(qū)域的受光值估計為上述估計像素值。
14.根據(jù)權(quán)利要求f13中任意ー項(xiàng)所述的圖像處理裝置，其特征在干， 上述攝像元件是彩色攝像元件，當(dāng)在水平方向與垂直方向上進(jìn)行各3步的上述像素移動并取得16幀的各個顏色分量的馬賽克圖像作為上述低分辨率圖像吋， 上述估計運(yùn)算部根據(jù)上述16幀的各顔色分量的馬賽克圖像，按照每個顏色分量來估計與上述高分辨率圖像的全部像素對應(yīng)的上述估計像素值。
15.根據(jù)權(quán)利要求f13中任意ー項(xiàng)所述的圖像處理裝置，其特征在干， 上述攝像元件是彩色攝像元件，當(dāng)在水平方向與垂直方向上進(jìn)行各I步的上述像素移動并取得4幀的各個顏色分量的馬賽克圖像作為上述低分辨率圖像吋， 上述估計運(yùn)算部對上述4幀的各顔色分量的馬賽克圖像進(jìn)行去馬賽克處理，井根據(jù)上述去馬賽克處理后的圖像來估計上述估計像素值。
16.一種攝像裝置，其特征在于，包含 攝像元件； 成像光學(xué)系統(tǒng)，其對上述攝像元件形成被攝體像；像素移動控制部，其控制為一邊重疊像素一邊依次進(jìn)行像素移動來對上述被攝體像進(jìn)行采樣； 存儲部，其在一邊進(jìn)行上述像素移動ー邊利用上述攝像元件進(jìn)行各攝像動作時，將通過各個上述攝像動作取得的上述像素的受光值作為低分辨率圖像進(jìn)行存儲； 估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及 圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像， 在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時， 上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。
17.ー種程序，其特征在干， 使計算機(jī)作為以下的部件發(fā)揮功能 存儲部，其在一邊重疊像素一邊依次進(jìn)行像素移動來采樣被攝體像，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為低分辨率圖像時，存儲所取得的上述低分辨率圖像； 估計運(yùn)算部，其根據(jù)上述存儲部所存儲的多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值；以及 圖像輸出部，其根據(jù)上述估計運(yùn)算部所估計的估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像， 在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時， 上述估計運(yùn)算部求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。
18.ー種圖像處理方法，其特征在干， 在一邊重疊像素一邊依次進(jìn)行像素移動來對被攝體像進(jìn)行采樣，一邊進(jìn)行上述像素移動ー邊利用攝像元件進(jìn)行各個攝像動作，取得通過各個上述攝像動作獲得的上述像素的受光值作為低分辨率圖像時，存儲所取得的上述低分辨率圖像， 根據(jù)所存儲的上述多個低分辨率圖像，來估計像素間距比上述低分辨率圖像的像素間距小的估計像素值， 根據(jù)上述估計運(yùn)算部所估計的上述估計像素值，來輸出分辨率比上述低分辨率圖像高的高分辨率圖像，并且 在第I位置與上述第I位置之后的第2位置上依次設(shè)定被進(jìn)行上述像素移動的像素，在上述第I位置的像素與上述第2位置的像素重疊時， 在上述估計像素值的估計中求出上述第I位置的像素的受光值與上述第2位置的像素的受光值之間的差分值，井根據(jù)上述差分值來估計上述估計像素值。
全文摘要
本發(fā)明提供能夠利用簡單的處理由低分辨率動態(tài)圖像取得高分辨率圖像的圖像處理裝置、攝像裝置、程序以及圖像處理方法等。圖像處理裝置包含存儲部、估計運(yùn)算部和圖像輸出部。一邊重疊像素一邊依次進(jìn)行像素移動來將像素的受光值a00~a11作為低分辨率圖像來取得。存儲部存儲該低分辨率圖像。估計運(yùn)算部估計比低分辨率圖像的像素間距p小的像素間距p/2的估計像素值。圖像輸出部根據(jù)該估計像素值來輸出分辨率比低分辨率圖像高的高分辨率圖像。此時，估計運(yùn)算部求出第1位置的像素的受光值a00與第2位置的像素的受光值a10的差分值a10-a00，根據(jù)該差分值a10-a00來估計該估計像素值。
文檔編號H04N5/232GK102870403SQ201180020088
公開日2013年1月9日 申請日期2011年4月7日 優(yōu)先權(quán)日2010年4月15日
發(fā)明者今出慎一 申請人:奧林巴斯株式會社