專利名稱：圖像處理裝置和方法、記錄介質(zhì)和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和方法、記錄介質(zhì)和程序，具體涉及用于通過便攜成像裝置而減小在拍攝中的攝像機抖動的影響的圖像處理裝置和方法、記錄介質(zhì)和程序。
背景技術(shù)：
便攜攝像機正在得到普遍使用。在普通的攝像機中使用的固態(tài)成像裝置包括以CCD(電荷耦合器件)傳感器為代表的電荷傳送固態(tài)成像裝置和以CMOS(互補金屬氧化物半導(dǎo)體)傳感器為代表的X-Y尋址固態(tài)成像裝置。
CMOS傳感器具有比CCD傳感器低的功耗。而且，CMOS傳感器被單個低壓電源驅(qū)動，并且容易與外圍電路集成。因此，正在考慮將CMOS傳感器并入諸如攝像機的圖像處理裝置。
但是，難于使用CMOS傳感器來作為諸如攝像機的圖像處理裝置的成像裝置而記錄高質(zhì)量的運動圖像或靜止圖像。原因之一是所捕獲的圖像由于攝像機抖動而失真。對于已經(jīng)被用作圖像處理裝置的成像裝置的CCD傳感器，根據(jù)在一個場或一個幀中獲得的攝像機抖動信息而計算的單個值被用作執(zhí)行減少攝像機抖動的影響的處理所需要的校正量。因為所有像素的曝光時間是一致的，因此圖像不失真。因此，可以使用所述單個值來校正由攝像機抖動引起的移位。
另一方面，CMOS傳感器按照下面的機制來捕獲主體的圖像和處理所捕獲的圖像。所述圖像由于攝像機抖動而失真。所述失真可能由于下面的原因引起。
在諸如CCD傳感器的電荷傳送固態(tài)成像裝置中，所有像素同時被曝光，以便可以讀出像素數(shù)據(jù)。在諸如CMOS傳感器的X-Y尋址固態(tài)成像裝置中，每個像素讀出數(shù)據(jù)，或者每條線依序讀出數(shù)據(jù)。在固態(tài)成像裝置中，當(dāng)每個像素依序讀出數(shù)據(jù)的時候，在一條線中的像素之間的讀出時間之間的差比線之間的要小，可忽略。在下面的說明中，如圖1所示，將考慮在線之間的讀出時間的差。
例如，現(xiàn)在說明CMOS傳感器。所述傳感器具有這樣的結(jié)構(gòu)，如圖1所示，其中，所有像素的讀出時間是1/60秒，并且每個幀包括線1-N。參見圖2，時間t1是曝光線1的起點，事件t2是其結(jié)束點。時間t3是曝光線2的結(jié)束點。事件t4是曝光線3的結(jié)束點。
時間t2和時間t3之間的差對應(yīng)于時間差Δt。時間t3和時間t4之間的差也對應(yīng)于時間差Δt。換句話說，對于曝光時間，每條線出現(xiàn)時間差。因此，在這種情況下，在一個幀中頂線1和底線N之間的時間差大約是對應(yīng)于曝光時間的1/60秒。當(dāng)在讀出一個幀中底線N的曝光時間相對于頂線1的曝光時間延遲的條件下給出攝像機抖動的時候，不幸的是，由于在線之間的曝光時間的差而導(dǎo)致主體的圖像失真。
現(xiàn)在參照圖3和圖4來說明主體的捕獲圖像失真的問題。圖3和4示出了在幀的中心一個固定長方形被捕獲作為主體的情況的示例。圖3的中間圖示出了不失真的正常圖像，所述圖像是通過經(jīng)由沒有攝像機抖動的圖像處理裝置來拍攝主體而被獲得的。所述主體被捕獲為長方形。
圖3的右圖示出了由于在拍攝主體中圖像處理裝置的右向移動而失真的圖像。類似地，圖3的左圖示出了由于在拍攝主體中圖像處理裝置的左向移動而失真的圖像。
圖4的中間圖示出了不失真的正常圖像，所述圖像是通過經(jīng)由沒有攝像機抖動的圖像處理裝置拍攝主體而被獲得的。所述主體被捕獲為長方形。圖4的上圖示出了由于在拍攝主體中圖像處理裝置的上移而垂直擴展的圖像。圖4的下圖示出了由于在拍攝主體中圖像處理裝置的下移而垂直收縮的圖像。
如上所述，在CMOS傳感器中，每條線的曝光時間移位(即成像時間被延遲)。如果使用從在一個場或一個幀中獲得的攝像機抖動信息計算的單個值來校正由攝像機抖動引起的移位，則不能完全地消除攝像機抖動的影響。不幸的是，要提供給用戶的圖像可能失真。
為了校正由攝像機抖動引起的圖像失真，提出了一種圖像處理裝置，用于改變每條線的讀出位置以便校正在水平方向上的移位，并且改變在垂直方向上要讀取的線的位置以便校正在垂直方向上的移位(參見例如日本未審查專利申請出版物第2001-358999號)。
按照在日本未審查專利申請出版物第2001-358999號中公開的方法，假定在構(gòu)成幀的每條線獲得攝像機抖動信息。不利的是，難于以用于檢測攝像機抖動的傳感器的采樣頻率的形式來獲得每條線的攝像機抖動信息。
另外，按照在日本未審查專利申請出版物第2001-358999號中公開的方法，不幸的是，以像素為單位來校正由攝像機抖動引起的移位。
傳統(tǒng)的圖像處理裝置必須暫時存儲所捕獲的圖像的圖像數(shù)據(jù)。因此，傳統(tǒng)的圖像處理裝置需要具有能夠存儲至少一個幀的數(shù)據(jù)的容量的存儲器。因此，不能降低所述存儲器的容量。

發(fā)明內(nèi)容
本發(fā)明考慮到上述情況而被作出，并且本發(fā)明的一個目的是根據(jù)在一個場或一個幀中獲得的攝像機抖動信息來每條線產(chǎn)生一個校正量，以高精度地校正由攝像機抖動引起的移位。本發(fā)明的另一個目的是根據(jù)攝像機抖動信息來確定像素內(nèi)插的系數(shù)，以產(chǎn)生用于內(nèi)插的像素數(shù)據(jù)，由此更高精度地校正由攝像機抖動引起的移位。本發(fā)明的另一個目的是短時間執(zhí)行攝像機抖動檢測以降低用于存儲圖像數(shù)據(jù)的存儲器的容量。
本發(fā)明提供了一種圖像處理裝置，處理通過成像部件拍攝的被攝體圖像，其特征在于，該裝置包括成像部件，通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像；圖像顯示部件，顯示所述被攝體圖像；存儲部件，存儲由所述成像部件拍攝的所述被攝體圖像；輸出部件，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換部件，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算部件，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；內(nèi)插部件，根據(jù)基于拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插；以及控制部件，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插部件內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并進行將校正后的被攝體圖像輸出到所述圖像顯示部件的控制。
本發(fā)明還提供一種圖像處理方法，是包括通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的圖像處理方法，其特征在于，該方法包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
本發(fā)明還提供一種記錄有程序的記錄介質(zhì)，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
本發(fā)明還提供一種程序，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
本發(fā)明還提供一種圖像處理裝置，其特征在于，該裝置包括成像部件，通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像；圖像顯示部件，顯示所述被攝體圖像；存儲部件，存儲由所述成像部件拍攝的所述被攝體圖像；輸出部件，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換部件，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插部件，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算部件，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插部件內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及控制部件，進行根據(jù)由所述計算部件計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件的控制。
本發(fā)明還提供一種圖像處理方法，是包括通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的圖像處理方法，其特征在于，該方法包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
本發(fā)明還提供一種記錄有程序的記錄介質(zhì)，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
本發(fā)明還提供一種程序，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
按照本發(fā)明，根據(jù)與給定振動相關(guān)聯(lián)的信息，通過計算和內(nèi)插在構(gòu)成幀的每條線獲得用于校正以抵消振動所需要的校正量。


圖1是說明從X-Y尋址成像裝置讀出圖像數(shù)據(jù)的圖；圖2是說明在線之間的讀出的差的圖。
圖3包括說明由攝像機移動而引起的主體圖像的失真的圖。
圖4包括說明由攝像機移動而引起的主體圖像的失真的圖。
圖5是按照本發(fā)明的一個實施例的圖像處理裝置的結(jié)構(gòu)的方框圖。
圖6是說明移位的圖。
圖7是說明由攝像機抖動引起的主體圖像的失真的圖。
圖8是說明圖像處理裝置的操作的流程圖。
圖9A是說明移位的內(nèi)插的圖。
圖9B是說明移位的內(nèi)插的圖。
圖9C是說明移位的內(nèi)插的圖。
圖10A是說明校正量的圖。
圖10B是說明校正量的圖。
圖10C是說明校正量的圖。
圖11是說明讀取位置的圖。
圖12是說明讀出的圖。
圖13A是說明像素內(nèi)插的圖。
圖13B是說明像素內(nèi)插的圖。
圖14是說明讀出的圖。
圖15A是說明像素內(nèi)插的圖。
圖15B是說明像素內(nèi)插的圖。
圖16是說明包括內(nèi)插的像素的圖像的圖。
圖17是說明圖像處理裝置的另一種操作的流程圖。
圖18A是說明像素讀出的圖。
圖18B是說明像素讀出的圖。
圖18C是說明像素讀出的圖。
圖18D是說明像素讀出的圖。
圖19是說明計算移位所需要的信息的時序圖。
圖20是說明計算移位所需要的信息的圖。
圖21是說明移位的預(yù)測的圖。
圖22是說明介質(zhì)的圖。
具體實施例方式
現(xiàn)在參照附圖來說明本發(fā)明的一個實施例。圖5是按照本發(fā)明的一個實施例的圖像處理裝置的結(jié)構(gòu)的方框圖。圖像處理裝置10包括成像裝置11，它是例如X-Y尋址固態(tài)成像裝置(諸如COMS圖像傳感器)。由成像裝置11捕獲的主體的圖像的數(shù)據(jù)被提供到AFE(模擬前端)12。
AFE 12將所提供的圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)，然后將結(jié)果產(chǎn)生的數(shù)據(jù)提供到信號處理單元13。信號處理單元13從所提供的圖像數(shù)據(jù)計算亮度信號和色差信號，然后向圖像內(nèi)插單元14提供所計算的信號。
雖然被提供到圖像內(nèi)插單元14的圖像數(shù)據(jù)對應(yīng)于由成像裝置11捕獲的主體的圖像的數(shù)據(jù)段，但是不是由成像裝置11捕獲的圖像的所有數(shù)據(jù)段被提供到圖像內(nèi)插單元14。僅僅在由TG(定時產(chǎn)生器)15產(chǎn)生的定時被讀取的數(shù)據(jù)段被提供到圖像內(nèi)插單元14。
被提供到圖像內(nèi)插單元14的數(shù)據(jù)在存儲器控制器16的控制下被暫時存儲在存儲器17中。另一方面，按照存儲器控制器16的指令來讀取在存儲器17中存儲的數(shù)據(jù)，然后將其提供到圖像內(nèi)插單元14。在圖像內(nèi)插單元14中，所提供的數(shù)據(jù)進行下面詳細描述的內(nèi)插處理，用于校正由攝像機抖動引起的移位。結(jié)果產(chǎn)生的數(shù)據(jù)從圖像內(nèi)插單元14被輸出到記錄介質(zhì)(未示出)或顯示器(未示出)，以便記錄或顯示數(shù)據(jù)。
作為被提供到圖像處理裝置10的振動，用戶攝像機抖動將被描述為一個示例。即使當(dāng)除了攝像機抖動之外的振動被給出時，本發(fā)明也可以被應(yīng)用到那個情況。
圖像內(nèi)插單元14、定時產(chǎn)生器15和存儲器控制器16根據(jù)由校正計算單元19計算的校正量來控制相應(yīng)的操作，所述校正量是根據(jù)由攝像機抖動檢測單元18獲得的移位而被獲得的。
攝像機抖動檢測單元18檢測在拍攝中被提供到圖像處理裝置10的攝像機抖動。使用諸如角速度傳感器的傳感器的方法或基于圖像處理的無傳感器的攝像機抖動檢測方法被用于攝像機抖動檢測。例如，當(dāng)攝像機抖動檢測單元18包括角速度傳感器時，角速度傳感器向校正計算單元19提供用于指示在平搖(yawing)方向中的角速度的數(shù)據(jù)和用于指示俯仰(pitching)方向中的角速度的數(shù)據(jù)。
根據(jù)由攝像機抖動引起的所檢測的移位，校正計算單元19計算用于指示用于校正由攝像機抖動引起的移位的校正量的數(shù)據(jù)。換句話說，校正計算單元19使用所提供的數(shù)據(jù)來對于每條線計算用于指示像素數(shù)量的校正量，圖像通過移動所述校正量而降低給定的攝像機抖動的影響。
如上參照圖1和2所述，在諸如COMS圖像傳感器的固態(tài)成像裝置中每條線依序讀取圖像數(shù)據(jù)。因此，每條線計算校正量。
必須計算每條線的校正量。當(dāng)獲得指示移位的數(shù)據(jù)時的定時依賴于攝像機抖動檢測單元18的采用頻率。不總是每條線提供用于指示用于計算校正量所需要的移位的數(shù)據(jù)。
假定攝像機抖動檢測單元18的采樣頻率與由成像裝置11捕獲的圖像的每條線的數(shù)據(jù)讀取頻率不同。為了獲得每條線的校正量，必須在根據(jù)從攝像機抖動檢測單元18提供的用于指示移位的數(shù)據(jù)而不執(zhí)行計算的同時、通過任何方式來內(nèi)插攝像機抖動檢測單元18的采樣點的數(shù)據(jù)，以獲得校正量。
假定攝像機抖動檢測單元18的采用頻率匹配由成像裝置11捕獲的圖像的每條線的數(shù)據(jù)讀取頻率，但是頻率不同相。為了獲得每條線的校正量，必須在攝像機抖動檢測單元18的采樣點之間內(nèi)插用于指示校正量的數(shù)據(jù)。
現(xiàn)在說明用于指示校正量的數(shù)據(jù)的內(nèi)插。舉例而言，假定在讀出100條線的同時執(zhí)行三次攝像機抖動檢測(當(dāng)從攝像機抖動檢測單元18向校正計算單元19提供指示移位的數(shù)據(jù)時的定時)。為了方便說明，假定可以在圖6所示的每條線1’、50’、100’獲得由攝像機抖動檢測單元18檢測的移位。作為在說明中的基準線的線1是構(gòu)成所捕獲的圖像的線之一。
參見圖6，在讀取線1’中的移位對應(yīng)于像素P1，在讀取線50’中的移位對應(yīng)于像素P2，在讀取線100’中的移位對應(yīng)于像素P3。
移位是通過經(jīng)由校正計算單元19將從攝像機抖動檢測單元18提供的信息轉(zhuǎn)換為以像素為單位的值而獲得的值。由校正計算單元19獲得的移位包括一個像素的小部分。在隨后的處理步驟中，可以通過一個像素或更小來校正移位。
移位P1-P3表示與在預(yù)定定時獲得的基準移位相關(guān)聯(lián)的差。所述預(yù)定定時是例如僅僅在捕獲圖像開始后。參見圖6，在所述基準和線1’之間發(fā)生右向移動。其后，在線1’和50’之間發(fā)生右向移動。然后，在線50’和100’之間發(fā)生左向移動。
例如，假定將固定長方形捕獲為主體。當(dāng)引起圖6的移位的攝像機抖動被提供到圖像處理裝置10的時候，圖7所示的圖像被捕獲(被提供到用戶)，除非數(shù)據(jù)被校正。由攝像機抖動引起的移位被校正，以便校正失真圖像，并且最后將所述長方形作為長方形圖像提供給用戶。
在本實施例中，使用諸如CMOS圖像傳感器的X-Y尋址固態(tài)成像裝置來作為成像裝置11的示例(圖5)。假定諸如CCD圖像傳感器的電荷傳送固態(tài)成像裝置被用作成像裝置11，則使用單個值來校正在一個幀中每條線的由攝像機抖動引起的圖像失真。按照本發(fā)明的系統(tǒng)可以被應(yīng)用到那個情況(在一個幀中使用同一值)。
為了校正每條線的移位，必須獲取每條線的校正量。但是，再次參見圖6，僅僅獲取線1’、50’、100’的移位。為什么獲取離散數(shù)據(jù)的原因是所述獲取依賴于攝像機抖動檢測單元18的攝像機抖動檢測定時(采樣頻率)。在這種情況下，不獲得線2’到49’的移位和線51’到99’的移位。因此，必須通過內(nèi)插來獲得相應(yīng)線的移位，以便執(zhí)行校正處理。
現(xiàn)在參照圖8的流程圖來說明校正計算單元19的內(nèi)插處理(校正計算處理)。在步驟S11中，校正計算單元19獲取用于指示由攝像機抖動檢測單元18檢測的移位的數(shù)據(jù)(用于計算移位的攝像機抖動信息)。
如上所述，校正計算單元19獲取在線1’到100’中的三個移位。在步驟S12中，根據(jù)所述三個移位來計算在線2’到99’(排除線50’)中的移位?，F(xiàn)在參照圖9A-9C來說明所述計算。參照圖9A。例如，關(guān)于線1’的移位被用于線2’到40’，關(guān)于線50’的移位被用于線41’到60’，關(guān)于線100’的移位被用于線61’到99’。換句話說，可以使用一種方法，將關(guān)于一條線的移位應(yīng)用于在前的和隨后的線以執(zhí)行內(nèi)插。
參見圖9B，可以使用線性函數(shù)來獲得所述移位。在圖9B的示例中，按照線性函數(shù)根據(jù)關(guān)于線1’和50’的兩個移位來計算關(guān)于線2’到49’的移位。按照線性函數(shù)根據(jù)關(guān)于線50’和100’的兩個移位來獲得關(guān)于線51’到99’的移位。
另外，參見圖9C，可以使用不是線性函數(shù)的另一個函數(shù)來計算移位。圖9C中所示的一個示例是基本上類似的如圖9B所示的示例。除了使用非線性函數(shù)的函數(shù)。一般，不在相同方向以相同速度以相同幅度而發(fā)生攝像機抖動。因此，如果使用具有恒定變化率的線性函數(shù)執(zhí)行內(nèi)插，則可能發(fā)生誤差。為了以較高的精度更適當(dāng)?shù)貓?zhí)行內(nèi)插(校正)，優(yōu)選地使用表示如圖9C所示的曲線的函數(shù)。
通過校正計算單元19的通過量來確定使用圖9A-9C所示的哪種方法來計算校正量。當(dāng)校正計算單元19包括微計算機時，可以按照微計算機的通過量而使用圖9A-9C的任何一種方法來計算(內(nèi)插)校正量。
具體上，如果校正計算單元19的通過量低，則可以按照圖9A所示的具有小計算量的方法來計算(內(nèi)插)校正量。當(dāng)校正計算單元19的通過量較高時，可以按照圖9C所示的具有較大計算量的方法來計算(內(nèi)插)校正量。
如上所述，在根據(jù)離散移位每條線獲得移位后，在準備S13計算校正量。校正量是以像素為單位的指示所校正的對應(yīng)移位如何抵消移位(減小攝像機抖動的影響)的值。
例如，如圖6所示，線1’的移位對應(yīng)于像素P1。為了抵消對應(yīng)于像素P1的移位，可以將具有相同絕對值和不同符號的數(shù)量、即像素-P1計算為校正量。
圖10A-10C是示出由校正計算單元19計算的校正量的圖。圖10A示出了當(dāng)校正計算單元19按照參照圖9A所述的方法內(nèi)插移位時計算的校正量。圖10B示出了當(dāng)校正計算單元19按照參照圖9AB所述的方法內(nèi)插移位時計算的校正量。圖10C示出了當(dāng)校正計算單元19按照參照圖9C所述的方法內(nèi)插移位時計算的校正量。
如上所述，在計算校正量后，在步驟S14確定讀取位置(圖8)。在確定讀取位置后，如果兩個像素位于那個位置，則在步驟S15通過內(nèi)插而獲得新的像素?，F(xiàn)在說明在步驟S14的讀取位置的確定和在步驟S15的像素內(nèi)插。為了方便說明，下面一起說明步驟S14和S15。通過校正計算單元19來執(zhí)行步驟S14和在前的步驟(圖5)，通過圖像內(nèi)插單元14來執(zhí)行步驟S15。
參見圖11，左部分示出了由校正計算單元19計算的水平方向上的校正量的圖。右方部分示出了當(dāng)未校正在捕獲長方形主體時給出的攝像機抖動時獲得的圖像A的示例。中間部分示出了在右部分中示出的圖像的放大部分。
圖像A的所述部分包括10條線20’-29’。要讀取的像素b位于線23’。每條線計算校正量。根據(jù)用于指示對應(yīng)線的校正的數(shù)據(jù)、即多少像素用于移位讀取位置來確定在每條線中的讀出開始位置。
繪制讀出開始位置以形成在圖11的中間部分所示的讀取開始線b。在圖11的中間部分的讀取開始線b是線性的。但是，它不總是線性的。在一些情況下，預(yù)定線的讀出開始位置可能偏離其他線的讀出開始位置。為了圖解而示出了讀取開始線b。它不是被形成為校正計算單元19的處理的結(jié)果的線或執(zhí)行所述處理所需要的線。
參見圖12，當(dāng)沿著讀取開始線b開始讀出時，發(fā)現(xiàn)將與作為長方形的一側(cè)的一段的部分相對應(yīng)的圖像校正為無失真圖像，如圖12的下部所示。
按照本實施例，可以校正對應(yīng)于一個像素或更小的移位。當(dāng)注意垂直方向和水平方向的任何一個時，要讀取的像素b可以位于一個像素或兩個像素中。首先，將說明其中注意水平方向的情況。圖13A示出了其中像素b位于一個像素中的示例。在圖13A的情況下，像素G3的像素數(shù)據(jù)被讀出作為像素b的像素數(shù)據(jù)。
圖13B示出了其中像素b位于兩個或更多的像素中的示例。參見圖13B，像素b位于像素G2和G3上。在這種情況下，根據(jù)相鄰像素來產(chǎn)生像素b的數(shù)據(jù)，并且結(jié)果產(chǎn)生的數(shù)據(jù)被讀取作為像素b的像素數(shù)據(jù)。
現(xiàn)在參照圖13B來說明根據(jù)相鄰像素來產(chǎn)生像素b的數(shù)據(jù)的情況。當(dāng)像素b位于像素G2和G3上的時候，使用像素G2和像素G3的像素數(shù)據(jù)來產(chǎn)生像素b的像素數(shù)據(jù)。在這種情況下，將像素G2的像素數(shù)據(jù)乘以像素G2的總面積和與像素b重疊的面積的比率，并且將像素G3的像素數(shù)據(jù)乘以像素G3的總面積和與像素b的重疊面積的比率，由此產(chǎn)生像素b的像素數(shù)據(jù)。
例如，假定像素G2的像素數(shù)據(jù)是數(shù)據(jù)D2，像素G3的像素數(shù)據(jù)是數(shù)據(jù)D3，并且像素G2的總面積和與像素b的重疊面積的比率是Kb(0＜Kb＜1)。通過下面的表達式來計算像素b的像素數(shù)據(jù)像素b的像素數(shù)據(jù)＝D2×Kb+D3×(1-Kb)。
如上所述，可以通過將像素b重疊的每個像素的數(shù)據(jù)乘以重疊比率來產(chǎn)生要讀取的像素b的像素數(shù)據(jù)?；蛘撸酥丿B像素的數(shù)據(jù)之外，還可以根據(jù)像素b不重疊的像素的數(shù)據(jù)來產(chǎn)生像素b的像素數(shù)據(jù)。
參見圖13B。例如，使用像素G1-G4來產(chǎn)生像素b的像素數(shù)據(jù)。在這種情況下，將像素G1-G4的像素數(shù)據(jù)段(D1-D4)乘以從重疊像素G2的像素b的比率唯一獲得的相應(yīng)系數(shù)(K1-K4)。相加結(jié)果產(chǎn)生的值。換句話說，根據(jù)下面的表達式來計算像素b的數(shù)據(jù)＝D1×K1+D2×K2+D3×K3+D4×K4。
圖像內(nèi)插單元14或校正計算單元19在與重疊像素G2的像素b的比率(即在校正包括對應(yīng)于一個像素的一部分的像素段的情況下對應(yīng)于一個像素的一部分的值(例如當(dāng)所計算的校正量是1.5像素時是0.5))相關(guān)聯(lián)的表格中存儲系數(shù)K1-K4。可以從所述表格讀取系數(shù)。
如上所述，當(dāng)使用多個像素來產(chǎn)生像素b的像素數(shù)據(jù)時，可以較高精度地校正由攝像機抖動引起的移位。如果像素b位于一個像素，則可以根據(jù)相鄰像素的像素數(shù)據(jù)段來產(chǎn)生其像素數(shù)據(jù)。
以那個方式，執(zhí)行確定水平讀取位置的處理和必要時內(nèi)插(產(chǎn)生)要讀取的像素數(shù)據(jù)的處理。現(xiàn)在說明確定垂直讀取位置的處理和必要時內(nèi)插(產(chǎn)生)要讀取的像素的數(shù)據(jù)的處理。垂直方向的處理基本上類似于關(guān)于水平方向的上述處理。
參見圖14，左部分包括示出了由校正計算單元19計算的垂直方向中的校正量的圖。圖14的右部分示出了當(dāng)未校正向上的攝像機移動的影響時通過捕獲長方形主體而獲得的圖像A的示例，所述長方形圖像被拉長。圖14的中間部分示出了在右部分中圖像的放大的部分a的圖。
圖像A的部分a包括七條線20’-26’。要讀取的像素b位于線23’內(nèi)。在圖14的中間部分，向其中在沒有攝像機抖動的情況下捕獲主體時定位圖像的線(以下在適當(dāng)時稱為原始線)分配附圖標號。為了方便說明，形成在線之間的間隙。在圖14的示例中，因為原始線不與所捕獲的圖像的線重合，因此，在線之間的間隙中包括圖像。
在上述的水平方向的移位校正中。在一條線中的讀取開始位置被移位以校正移位。在垂直方向的移位校正中，選擇線本身來校正移位。換句話說，以下述方式來校正在垂直方向中的移位將用于指示多少像素被用于向上或向下移位所捕獲的線的數(shù)據(jù)計算為校正量以獲得沒有攝像機抖動下捕獲的原始圖像，并且根據(jù)校正量來執(zhí)行讀出。
類似于在水平方向的移位校正量，在垂直方向中，要讀取的像素b可以位于圖15A所示的一個像素(線)中或圖15B所示的多個像素(線)中。關(guān)于用于當(dāng)像素b位于多個像素上時產(chǎn)生像素b的像素數(shù)據(jù)的手段，因為可以以類似于在參照圖13B所述的水平方向中的移位校正的方式使用系數(shù)來計算像素數(shù)據(jù)，因此將省略所述手段的說明。
在執(zhí)行上述內(nèi)插(校正)后，所捕獲的圖像的線匹配原始線，如圖16的左部所示。結(jié)果，如圖16的右部所示，校正所捕獲的圖像，以便作為矩形的一側(cè)的一段的一部分位于原始線上。如上所述，即使當(dāng)在捕獲圖像中給出垂直攝像機抖動的時候，也可以減少攝像機抖動的影響，并且可以向用戶提供結(jié)果產(chǎn)生的圖像。
如上所述，按照本實施例，執(zhí)行在水平方向中的移位校正和在垂直方向上的移位校正(圖8的步驟S14和S15)。
在上述的本實施例中，在步驟S12內(nèi)插所述移位，并且在步驟S13計算校正量。換句話說，內(nèi)插由攝像機抖動檢測單元18獲得的離散數(shù)據(jù)段以每條線產(chǎn)生移位。其后，每條線計算校正量。
也可以按照圖17所示的流程圖來校正攝像機抖動的效果。在步驟S21中，從攝像機抖動檢測單元18獲得移位。在步驟S22，通過校正計算單元19來計算移位的校正量。在步驟S23中，內(nèi)插所計算的校正量以每條線產(chǎn)生校正量。
換句話說，根據(jù)由攝像機抖動檢測單元18獲得的離散數(shù)據(jù)段來計算離散校正量。攝像機抖動校正量被內(nèi)插以獲得每條線的校正量。如上所述，當(dāng)計算校正量和然后內(nèi)插校正量時，可以獲得與內(nèi)插移位和然后使用通過內(nèi)插的移位來計算校正量的情況一樣的優(yōu)點。
因為步驟S24和下面的步驟與步驟S14和下面的步驟相同，因此將省略其說明。對于步驟S22和S23，因為基本處理——例如使用線性函數(shù)或非線性函數(shù)來計算校正量——與上述的圖8的流程圖中相同，因此省略其說明。
如上所述，校正計算單元19計算校正量。如圖5所示，向圖像內(nèi)插單元14、定時產(chǎn)生器15和存儲器控制器16提供每個校正量?，F(xiàn)在說明通過相應(yīng)的分量基于校正量的像素讀出。參見圖18A，舉例而言，將讀取開始位置R0設(shè)置為在像素G1中的預(yù)定位置。現(xiàn)在說明這個示例。
在這種情況下，定時產(chǎn)生器15控制從成像裝置11向AFE 12提供的像素數(shù)據(jù)的讀出。以像素為單位來執(zhí)行通過定時產(chǎn)生器15的像素數(shù)據(jù)讀出的控制，其數(shù)量是一個像素的整數(shù)倍。于是，從圖18B所示的讀取開始位置R1開始讀出。在這種情況下，讀取開始位置R1對應(yīng)于像素G1的首部。因此，像素G1的像素數(shù)據(jù)段和后面的像素被提供到圖18C所示的AFE 12和隨后的部件。
換句話說，在定時產(chǎn)生器15的控制下執(zhí)行粗略的移位校正。
隨后，圖像內(nèi)插單元14和存儲器控制器16以一個像素的一部分來校正移位。首先，圖18C所示的像素數(shù)據(jù)在存儲器控制器16的控制下通過圖像內(nèi)插單元14被依序存儲在存儲器17中。存儲器控制器16在必要時讀取在存儲器17中存儲的像素數(shù)據(jù)，并且向圖像內(nèi)插單元14提供所讀取的數(shù)據(jù)。
將說明在存儲器控制器16的控制下的讀出和圖像內(nèi)插單元14的處理。在這種情況下，如圖18D的上部所示，從位于像素G1的中間的讀取開始位置R2讀取像素數(shù)據(jù)。但是，不能從所述像素的中部讀取數(shù)據(jù)。因此，如圖18D的下部所示，制造(內(nèi)插)而不是讀出像素G1’、G2’、…的像素數(shù)據(jù)段，然后產(chǎn)生它們。
執(zhí)行已經(jīng)參照圖13A、B和15A、B上述的內(nèi)插處理，以便將每個像素數(shù)據(jù)乘以系數(shù)等。在水平和垂直方向產(chǎn)生(內(nèi)插)像素。按照所述處理，執(zhí)行精細的移位校正。需要用于存儲像素數(shù)據(jù)的存儲器17來精細校正。也需要存儲器控制器16來控制對于存儲器17的寫入和讀取。因此，本裝置具有圖5所示的結(jié)構(gòu)。
在圖5的示例中，從信號處理單元13輸出的像素數(shù)據(jù)(圖像數(shù)據(jù))在存儲器控制器16的控制下通過圖像內(nèi)插單元14被存儲在存儲器17中。按照所述結(jié)構(gòu)，在通過圖像內(nèi)插單元14的上述像素內(nèi)插之前(當(dāng)從信號處理單元13向存儲器控制器16提供數(shù)據(jù)時)，圖像的分辨率被轉(zhuǎn)換，并且可以將具有所轉(zhuǎn)換的分辨率的圖像進行攝像機抖動校正。
換句話說，圖像內(nèi)插單元14可以轉(zhuǎn)換輸入數(shù)據(jù)的分辨率或內(nèi)插輸出數(shù)據(jù)的像素。如上所述，當(dāng)圖像內(nèi)插單元14可以處理要存儲在存儲器17中的像素數(shù)據(jù)(圖像數(shù)據(jù))和所存儲的像素數(shù)據(jù)時，可以實現(xiàn)處理變化。
在上述的實施例中，已經(jīng)作為示例說明了圖像處理裝置10包括定時產(chǎn)生器15的情況。定時產(chǎn)生器15不總是移位校正所需要的。本發(fā)明可以被應(yīng)用到圖像處理裝置10不包括定時產(chǎn)生器15的情況。
當(dāng)圖像處理裝置10不包括定時產(chǎn)生器15時，可以通過圖像內(nèi)插單元14和存儲器控制器16來執(zhí)行上述的像素內(nèi)插(讀出和產(chǎn)生)。當(dāng)基于由校正計算單元19計算的校正的讀取開始位置對應(yīng)于在圖18A中的讀取開始位置R0的時候，可以從像素G1開始圖18D所示的像素數(shù)據(jù)產(chǎn)生而不使用通過定時產(chǎn)生器15的粗略校正。換句話說，可以通過圖像內(nèi)插單元14和存儲器控制器16來執(zhí)行粗略校正和精細校正。
在上述實施例中，沒有說明存儲器17的容量。例如，如果存儲器17可以存儲一個圖像的數(shù)據(jù)，則存儲器17具有足夠的容量。如下所述，即使當(dāng)存儲器17具有不能存儲一個圖像的數(shù)據(jù)的容量時，只要處理校正量，則可以執(zhí)行移位校正處理。換句話說，如果存儲器17的容量小，則可以高精度地執(zhí)行上述的移位校正處理。
現(xiàn)在說明在水平方向中的移位校正。所述說明將基于假設(shè)圖像處理裝置10包括攝像機抖動檢測單元18(圖5)，用于如圖19所示八次檢測在一個場或一個幀中的攝像機抖動信息。當(dāng)曝光時間被如圖19設(shè)置時，可以根據(jù)信息段a1-a6來計算線1的攝像機抖動信息。在這種情況下，假定設(shè)置了上述條件。
如上所述，按照本實施例，使用涉及預(yù)定線的數(shù)據(jù)段來內(nèi)插(計算)用于校正由給定的攝像機抖動引起的移位的校正量，以提供每條線的校正量。再次參見圖9B，當(dāng)通過內(nèi)插獲得移位或校正量時，不能不使用關(guān)于兩條線1’和50’的攝像機抖動信息段來獲得關(guān)于線2’-49’的移位或其校正量。
但是，參見圖19，當(dāng)信息段a1-a6被用作線1(例如線1’)的攝像機抖動信息段、即當(dāng)使用可以在對應(yīng)線的曝光時間獲得的攝像機抖動信息段(在這種情況下是六個段)的時候，在獲取下一個信息a7之前不能計算下一個移位。在這種情況下，一旦讀取線i(例如線50’)就獲得信息a7。
因此，在使用六個攝像機抖動信息段來計算移位的情況下，不能對于在線1和i之間的線2至(i-1)(例如線2’-49’)執(zhí)行內(nèi)插處理，直到獲得在線i中的數(shù)據(jù)a7。換句話說，按照如上所述的攝像機抖動檢測，當(dāng)讀取在預(yù)定位置的線時，不獲得線的攝像機抖動信息。不幸的是，不能通過移位校正來確定讀取像素數(shù)據(jù)的位置。因此，必須在圖像數(shù)據(jù)被暫時存儲在存儲器17中并且計算校正后執(zhí)行讀取操作(和內(nèi)插處理)。
但是，按照本實施例，根據(jù)信息段a2-a5來計算關(guān)于線1的移位。換句話說，從攝像機抖動信息消除在兩端的信息段，所述攝像機抖動信息段可以在曝光時間被獲得，并且從四個中間信息段計算移位。
如上所述，在使用中間信息段(時間序列信息段的中間信息段和在前和隨后的信息段)計算移位的情況下，在線1的曝光時間過去后，計算線i的移位所需要的信息段a3-a6已經(jīng)被檢測(獲得)。因此，可以在當(dāng)線1的曝光時間過去時的時間計算關(guān)于線i的移位。因此，可以在當(dāng)線1的曝光時間過去時的時間基于關(guān)于線1的移位和關(guān)于線i的移位來獲得(計算)關(guān)于線2-(i-1)的每個的移位。
因此，如果圖像數(shù)據(jù)不暫時被存儲在存儲器17以便計算移位，則可以計算移位和校正量。因此，即使當(dāng)圖像數(shù)據(jù)不被存儲在存儲器17的時候，也可以執(zhí)行在水平方向的移位校正。
如果使用中間信息段a3和a4來計算關(guān)于線1的移位、即如果使用僅僅兩個中間信息段來獲得線1的移位，則可以在當(dāng)獲得線1的移位時的時間(線1的曝光時間過去)來計算線i到j(luò)的移位。
在這種情況下，根據(jù)很少的信息來產(chǎn)生線1的移位。當(dāng)使用其他線(例如相對于線1的線i和j)的移位、即多條線的移位來另外對每條線校正移位時，可以高精度地計算線1的移位。因此，可以高精度地獲得校正量。
隨后，將說明在垂直方向上的移位校正。因為垂直移位校正與上述的水平移位校正基本上類似，因此現(xiàn)在說明其間的差。將再次參照圖19來說明垂直移位校正。類似于上述的水平移位校正，使用例如信息段a2-a5來計算關(guān)于第一線(線1)的移位。在第一線的曝光時間過去后，用于計算線i的移位所需的信息段a3-a6已經(jīng)被檢測(獲得)。
于是，圖像處理裝置10不必向在上述的水平移位校正的情況下那樣包括具有用于存儲一個圖像的容量的存儲器17。如果存儲器17具有小容量，則可以高精度地執(zhí)行應(yīng)用了本發(fā)明的移位校正。
但是，垂直移位校正不同于水平移位校正之處在于需要參照圖14和15如上所述處理多條線。因此，圖像處理裝置10必須包括具有用于存儲與內(nèi)插移位和像素所需像素(例如十條線)相對應(yīng)的像素(圖像)數(shù)據(jù)的容量的存儲器17。
如上所述，雖然圖像處理裝置10需要包括存儲器17，但是存儲器17具有用于存儲一個圖像的容量或更小容量。可以降低存儲器17的容量。因此，可以將除了存儲用于移位校正的圖像數(shù)據(jù)所需要的容量之外的、存儲器17的容量來用于另一個處理?；蛘?，降低存儲器17的容量，由此減少存儲器17的成本。
如上所述，攝像機抖動檢測單元18(圖5)根據(jù)短時間獲得的信息段來計算移位(校正量)，由此降低存儲器17的容量。在上述的實施例中，為了容易說明，在一個場或一個幀中檢測八個攝像機抖動信息段。在本發(fā)明的應(yīng)用中，不限制攝像機抖動檢測次數(shù)。本發(fā)明可以被應(yīng)用到具有任何攝像機抖動檢測次數(shù)的移位校正。
在通過使用X-Y尋址固態(tài)成像裝置的成像裝置捕獲的圖像中，僅僅在曝光時間過去后才讀取每個像素的圖像信息。當(dāng)如上所述使用其中可以降低存儲器17的容量的方法時，可能出現(xiàn)下列問題如果曝光時間降低(快門速度提高、即滿足攝像機抖動檢測間隔＞曝光時間的一半的關(guān)系式)，則在一些情況下，在讀取像素信息的定時不檢測下一次的移位。
現(xiàn)在參照圖20來說明所述問題。在第一區(qū)域中，每條線的曝光中心位于關(guān)于攝像機抖動檢測的信息段a4和a5之間。此時，需要根據(jù)信息段a4和a5來內(nèi)插移位。但是，當(dāng)讀取在第一區(qū)域中的每條線時，未檢測關(guān)于攝像機抖動的信息段a5。于是，不能通過在第一區(qū)域的內(nèi)插而獲得移位。
在第二區(qū)域中，每條線的讀取時間是在信息段a5的檢測時間后。因為每條線的曝光的中間位于關(guān)于攝像機抖動檢測的信息段a4和a5之間，并且已經(jīng)檢測了關(guān)于攝像機抖動的信息段a4和a5，因此可以根據(jù)作為信息段a4和a5的攝像機抖動信息通過內(nèi)插來獲得每條線的移位。
在第三區(qū)域中，每條線的曝光的中心位于信息段a5的檢測時間之后，即在攝像機抖動信息段a5和信息段a6之間。需要根據(jù)信息段a5和a6通過內(nèi)插來獲得每條線的移位。但是，當(dāng)讀取在第三區(qū)域中的每條線時，未檢測關(guān)于攝像機抖動的信息段a6。因此，不能在第三區(qū)域中通過內(nèi)插而獲得移位。
如上所述，當(dāng)滿足所述條件(攝像機抖動檢測間隔)＞(曝光時間的一半)時，可能出現(xiàn)其中不能通過內(nèi)插獲得每條線的移位的一些區(qū)域。
當(dāng)提高用于攝像機抖動檢測的采樣頻率時，降低攝像機抖動檢測間隔，以便可以防止上述問題。但是，計算復(fù)雜度和通信復(fù)雜度提高，導(dǎo)致系統(tǒng)負荷增加。
作為用于降低系統(tǒng)負荷和解決上述問題的手段，使用預(yù)測移位。參見圖21，例如，為了計算移位F1，使用過去的移位P1和P2，根據(jù)移位P1和P2來獲得直線1，并且計算移位F1來作為在直線1的擴展上的一個點。
所述方法是一個示例。用于預(yù)測的過去的攝像機抖動數(shù)據(jù)段的數(shù)量和預(yù)測算法不受限。
按照上述的實施例，在通過內(nèi)插執(zhí)行獲得幀的上端或下端附近的移位(校正量)的處理中，可以使用在前的和隨后的場或幀的移位數(shù)據(jù)段來進行用于內(nèi)插的計算。因此，可以高精度地計算用于校正移位的校正量。因此，可以高精度地校正移位。
在上述實施例中，還沒有詳細說明要捕獲的圖像。靜止圖像或運動圖像可以被用作要捕獲的圖像。換句話說，本發(fā)明可以被應(yīng)用到用于捕獲靜止圖像的攝像機和用于捕獲運動圖像的攝像機。
如上所述，按照本發(fā)明，可以獲得校正移位的數(shù)據(jù)，通過內(nèi)插小數(shù)量關(guān)于攝像機抖動的檢測數(shù)據(jù)獲得構(gòu)成圖像的每條線。另外，內(nèi)插像素數(shù)據(jù)以便校正一個像素或更小的移位。因此，可以以一個像素或更小的精度來校正每條線的圖像的失真，所述失真是由被提供到諸如使用X-Y尋址固態(tài)成像裝置的攝像機——例如CMOS圖像傳感器——的圖像處理裝置的攝像機抖動引起的。
而且，按照本發(fā)明，可以降低用于存儲所捕獲的圖像的圖像數(shù)據(jù)的存儲器17的容量。自然地，除了諸如CMOS圖像傳感器之類的的X-Y尋址固態(tài)成像裝置的攝像機之外，本發(fā)明還可以被應(yīng)用到使用諸如CCD圖像傳感器的電荷傳送固態(tài)成像裝置的攝像機。
可以通過具有相應(yīng)功能的硬件來執(zhí)行校正攝像機抖動的上述處理。也可以軟件來執(zhí)行所述處理。當(dāng)通過軟件來執(zhí)行—系列處理步驟時，使用其中在專用硬件中安裝了包括所述軟件的程序的計算機?；蛘?，從在例如通用計算機上的記錄介質(zhì)安裝所述程序，在所述計算機上安裝了各種程序以執(zhí)行各種功能。
為了說明記錄介質(zhì)，現(xiàn)在簡要說明使用記錄介質(zhì)的個人計算機。圖22示出了通用個人計算機的內(nèi)部結(jié)構(gòu)。個人計算機的CPU(中央處理單元)201按照在ROM(只讀存儲器)202中存儲的程序來執(zhí)行各種處理。通過CPU 201執(zhí)行各種處理所需要的數(shù)據(jù)和程序被適當(dāng)?shù)卮鎯υ赗AM(隨機存取存儲器)203中。包括鍵盤和/或鼠標的輸入單元206連接到輸入-輸出接口205，它向CPU 201輸出信號，所述信號被提供到輸入單元206。包括顯示器和/或揚聲器的輸出單元207連接到輸入-輸出接口205。
而且，包括硬盤的存儲單元208和用于通過諸如因特網(wǎng)的網(wǎng)絡(luò)對于另一個裝置發(fā)送和接收數(shù)據(jù)的通信單元209連接到輸入-輸出接口205。驅(qū)動器210用于向/從諸如磁盤221、光盤222、磁光盤223和半導(dǎo)體存儲器224的記錄媒體寫入和讀出數(shù)據(jù)。
如圖22所示，記錄介質(zhì)包括封裝介質(zhì)，其中記錄了程序，并且它獨立地從個人計算機被分發(fā)以向用戶提供程序，所述封裝介質(zhì)諸如磁盤231(包括軟盤)、光盤232(包括CD-ROM(致密盤-只讀存儲器)或DVD(數(shù)字多用途盤))、磁光盤233(包括MD(微型盤)(注冊商標))或半導(dǎo)體存儲器234。或者，記錄介質(zhì)包括在被提供給用戶的計算機中內(nèi)置的、其中存儲了程序的硬盤，所述硬盤包括ROM 202或存儲單元208。
在本說明書中，描述通過介質(zhì)提供的程序的步驟不僅包括要在時序基礎(chǔ)上以所述順序執(zhí)行的處理，而且包括不總是在時序基礎(chǔ)上被執(zhí)行而是同時或獨立地被執(zhí)行的處理。
產(chǎn)業(yè)上的應(yīng)用按照本發(fā)明，可以校正由在圖像捕獲中給出的攝像機抖動引起的移位。
按照本發(fā)明，可以高精度地校正移位。
按照本發(fā)明，可以校正一個像素或更小的移位。
按照本發(fā)明，可以減少用于存儲用于校正由攝像機抖動引起的移位所需要的圖像數(shù)據(jù)的存儲器的容量。
按照本發(fā)明，即使當(dāng)降低曝光時間時，也可以降低用于存儲校正移位所需要的圖形數(shù)據(jù)的存儲器的容量。
權(quán)利要求
1.一種圖像處理裝置，處理通過成像部件拍攝的被攝體圖像，其特征在于，該裝置包括成像部件，通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像；圖像顯示部件，顯示所述被攝體圖像；存儲部件，存儲由所述成像部件拍攝的所述被攝體圖像；輸出部件，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換部件，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算部件，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；內(nèi)插部件，根據(jù)基于拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插；以及控制部件，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插部件內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并進行將校正后的被攝體圖像輸出到所述圖像顯示部件的控制。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，所述控制部件在水平方向的所述校正中，通過改變所述線內(nèi)的讀出開始位置來進行校正，和/或在垂直方向的所述校正中，通過所述線自身的選擇來進行校正。
3.如權(quán)利要求1所述的圖像處理裝置，其特征在于，所述內(nèi)插部件的校正量的內(nèi)插用直線地或曲線地變化的函數(shù)來進行。
4.如權(quán)利要求1所述的圖像處理裝置，其特征在于，所述控制部件以小于等于1像素單位的精度來進行像素內(nèi)插。
5.如權(quán)利要求1所述的圖像處理裝置，其特征在于，所述存儲部件不是存儲一張所述被攝體圖像，而是存儲用于降低所述振動對所述被攝體圖像的影響的校正所需要的被攝體圖像區(qū)域。
6.如權(quán)利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置被組裝到計算機中。
7.一種圖像處理方法，是包括通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的圖像處理方法，其特征在于，該方法包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
8.一種記錄有程序的記錄介質(zhì)，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
9.一種程序，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；計算步驟，根據(jù)所述振動量，計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及內(nèi)插步驟，根據(jù)基于拍攝存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量而計算出的第一校正量、基于拍攝第二線時的第二振動量而計算出的第二校正量和基于拍攝第三線時的第三振動量而計算出的第三校正量，對位于所述第一線、所述第二線和所述第三線之間的每個線的校正量進行內(nèi)插，根據(jù)所述第一校正量、所述第二校正量、所述第三校正量和由所述內(nèi)插步驟的處理中被內(nèi)插的所述每個線的校正量，校正被存儲在所述存儲部件中的被攝體圖像，并將校正后的被攝體圖像輸出到所述圖像顯示部件。
10.一種圖像處理裝置，其特征在于，該裝置包括成像部件，通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像；圖像顯示部件，顯示所述被攝體圖像；存儲部件，存儲由所述成像部件拍攝的所述被攝體圖像；輸出部件，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換部件，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插部件，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算部件，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插部件內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量；以及控制部件，進行根據(jù)由所述計算部件計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件的控制。
11.如權(quán)利要求10所述的圖像處理裝置，其特征在于，所述控制部件在水平方向的所述校正中，通過改變所述線內(nèi)的讀出開始位置來進行校正，和/或在垂直方向的所述校正中，通過所述線自身的選擇來進行校正。
12.如權(quán)利要求10所述的圖像處理裝置，其特征在于，所述內(nèi)插部件的校正量的內(nèi)插用直線地或曲線地變化的函數(shù)來進行。
13.如權(quán)利要求10所述的圖像處理裝置，其特征在于，所述控制部件以小于等于1像素單位的精度來進行像素內(nèi)插。
14.如權(quán)利要求10所述的圖像處理裝置，其特征在于，所述存儲部件不是存儲一張所述被攝體圖像，而是僅存儲用于降低所述振動對所述被攝體圖像的影響的校正所需要的被攝體圖像區(qū)域。
15.如權(quán)利要求10所述的圖像處理裝置，其特征在于，該圖像處理裝置被組裝到計算機中。
16.一種圖像處理方法，是包括通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的圖像處理方法，其特征在于，該方法包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
17.一種記錄有程序的記錄介質(zhì)，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
18.一種程序，該程序是控制具有通過被排列在水平方向或者垂直方向的多個成像元件拍攝被攝體圖像的成像部件；顯示所述被攝體圖像的圖像顯示部件；以及存儲由所述成像部件拍攝的所述被攝體圖像的存儲部件的圖像處理裝置的計算機可讀取的程序，其特征在于，該程序包括輸出步驟，輸出與被施加到所述圖像處理裝置的振動有關(guān)的振動檢測信息；變換步驟，將所述振動檢測信息變換為表示被施加到所述圖像處理裝置的振幅的大小的振動量；內(nèi)插步驟，根據(jù)拍攝了存儲在所述存儲部件中的被攝體圖像的第一線時的第一振動量、拍攝了第二線時的第二振動量和拍攝了第三線時的第三振動量，對位于所述第一線、所述第二線和所述第三線之間的每條線的振動量進行內(nèi)插；計算步驟，根據(jù)所述第一振動量、第二振動量、所述第三振動量和由所述內(nèi)插步驟內(nèi)插的振動量，對每條線計算用于降低所述振動對所述被攝體圖像的影響的校正量，根據(jù)由所述計算步驟的處理計算的所述每條線的校正量，對存儲在所述存儲部件中的被攝體圖像進行校正，將校正后的被攝體圖像輸出到所述圖像顯示部件。
全文摘要
一種圖像處理裝置和方法、記錄介質(zhì)和程序，能夠校正在成像期間施加的攝像機抖動。獲取離散攝像機抖動數(shù)量數(shù)據(jù)，并且從離散攝像機抖動數(shù)量數(shù)據(jù)對于每條線內(nèi)插攝像機抖動數(shù)量數(shù)據(jù)。通過這個內(nèi)插，從對于每條線準備的攝像機抖動量計算每條線的攝像機抖動校正量。按照所述攝像機抖動校正量，確定像素數(shù)據(jù)讀取位置，并且按照所確定的讀取位置來讀出像素數(shù)據(jù)。當(dāng)在要讀出的位置的像素是在兩個像素上的位置的像素時，從多個像素數(shù)據(jù)產(chǎn)生(內(nèi)插)位于要讀出的位置的像素的像素數(shù)據(jù)。因此，校正攝像機抖動的影響。本發(fā)明可以被應(yīng)用到攝像機。
文檔編號H04N5/374GK1897649SQ200610093838
公開日2007年1月17日 申請日期2004年1月21日 優(yōu)先權(quán)日2003年1月22日
發(fā)明者稻葉靖二郎, 田中健二, 木下雅也 申請人:索尼株式會社