專利名稱：圖像變換設(shè)備及控制圖像變換設(shè)備操作的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于變換圖像的設(shè)備以及涉及控制該設(shè)備的操作的方法。
背景技術(shù)：
當(dāng)攝取對象的圖像時，在減少相機(jī)抖動方面優(yōu)選的是采用短的曝光時間。另一 方面，短的曝光時間會造成較暗的圖像。為了應(yīng)對于此，提出了一種其中以短的曝光時間 兩次攝取同一對象的圖像從而減小相機(jī)抖動的影響的技術(shù)，于是將如此獲得的兩個圖像 幀疊加在一起以使得到的圖像變亮(見日本專利申請?zhí)卦S公開第2004-357202號和第 2000-155831號的說明書)。然而，在對象中存在諸如汽車之類的移動物體的情況中，存在 著疊加兩個圖像幀會造成在通過該疊加得到的圖像(下文中稱為“疊加圖像”)中的移動物 體的對象圖像模糊的情況。

發(fā)明內(nèi)容
因此，本發(fā)明的一個目的是產(chǎn)生既防止了相機(jī)抖動又防止了移動物體的對象圖像 模糊的圖像。根據(jù)本發(fā)明，前述目的通過提供圖像變換設(shè)備實(shí)現(xiàn)，該圖像變換設(shè)備包括第一特 征點(diǎn)決定裝置，用于從第一圖像中決定表示對象圖像的形狀特征的多個特征點(diǎn)，其中，已經(jīng) 通過連續(xù)拍攝得到了所述第一圖像和第二圖像；第一相應(yīng)點(diǎn)決定裝置，用于從所述第二圖 像中決定對應(yīng)于由第一特征點(diǎn)決定裝置決定的各特征點(diǎn)的各相應(yīng)點(diǎn)；移動對象圖像檢測 裝置，用于檢測第一圖像和第二圖像各自中的移動對象圖像，所述移動對象圖像為包含在 第一圖像和第二圖像中的對象圖像，并代表從攝取第一圖像到攝取第二圖像期間移動的物 體；變換目標(biāo)區(qū)設(shè)定裝置，用于設(shè)定第一圖像和第二圖像各自中的變換目標(biāo)區(qū)，所述變換目 標(biāo)區(qū)包圍各所述特征點(diǎn)的位置和各所述相應(yīng)點(diǎn)的位置，其中各所述特征點(diǎn)存在于由移動對 象圖像檢測裝置從由第一特征點(diǎn)決定裝置決定的各特征點(diǎn)中檢測到的移動對象圖像中，以 及各所述相應(yīng)點(diǎn)存在于由移動對象圖像檢測裝置從由第一相應(yīng)點(diǎn)決定裝置決定的各相應(yīng) 點(diǎn)中檢測到的移動對象圖像中；第二特征點(diǎn)決定裝置，用于決定由變換目標(biāo)區(qū)設(shè)定裝置設(shè) 定的第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的多個特征點(diǎn)；第二相應(yīng)點(diǎn)決定裝置，用于決定由變 換目標(biāo)區(qū)設(shè)定裝置設(shè)定的第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像中對應(yīng)于由第二特征點(diǎn)決定裝 置決定的各特征點(diǎn)的各相應(yīng)點(diǎn)；以及第一圖像變換裝置，用于以以下方式變換第二圖像的 變換目標(biāo)區(qū)中的圖像，即，使得由第二特征點(diǎn)決定裝置決定的各特征點(diǎn)和由第二相應(yīng)點(diǎn)決 定裝置決定的各相應(yīng)點(diǎn)一致。本發(fā)明還提供了一種用于上述圖像變換設(shè)備的操作控制方法。具體地，控制圖像 變換設(shè)備的方法包括以下步驟從第一圖像中決定表示對象圖像的形狀特征的多個第一特 征點(diǎn)，其中，已經(jīng)通過連續(xù)拍攝得到了所述第一圖像和第二圖像；從所述第二圖像中決定對 應(yīng)于已經(jīng)決定了的各第一特征點(diǎn)的各第一相應(yīng)點(diǎn)；檢測第一圖像和第二圖像各自中的移 動對象圖像，所述移動對象圖像為包含在第一圖像和第二圖像中的對象圖像，并代表從攝取第一圖像到攝取第二圖像期間移動的物體；設(shè)定第一圖像和第二圖像各自中的變換目標(biāo) 區(qū)，所述變換目標(biāo)區(qū)包圍各所述第一特征點(diǎn)的位置和各所述第一相應(yīng)點(diǎn)的位置，其中各所 述第一特征點(diǎn)存在于從已經(jīng)決定的各第一特征點(diǎn)中檢測到的移動對象圖像中，以及各所述 第一相應(yīng)點(diǎn)存在于從已經(jīng)決定的各第一相應(yīng)點(diǎn)中檢測到的移動對象圖像中；決定所設(shè)定的 第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的多個第二特征點(diǎn)；決定所設(shè)定的第二圖像的變換目標(biāo)區(qū) 內(nèi)的圖像中的對應(yīng)于已經(jīng)決定的各第二特征點(diǎn)的各第二相應(yīng)點(diǎn)；以及以以下方式變換第二 圖像的變換目標(biāo)區(qū)中的圖像，即，使得已經(jīng)決定的各第二特征點(diǎn)和已經(jīng)決定的各第二相應(yīng) 點(diǎn)一致。本發(fā)明還提供了一種用于實(shí)施上述控制圖像變換設(shè)備的操作的方法的計算機(jī)可 讀程序。本發(fā)明還用于提供一種記錄介質(zhì)，該記錄介質(zhì)上已經(jīng)存儲了上述程序并可以可拆 卸地插入到計算機(jī)中。根據(jù)本發(fā)明，通過連續(xù)拍攝得到第一圖像和第二圖像。表示對象圖像的形狀特征 的多個特征點(diǎn)從第一圖像中決定。這些特征點(diǎn)是圖像中包含的多個對象圖像的輪廓上的 點(diǎn)、對象圖像的形狀發(fā)生改變處的點(diǎn)等。對應(yīng)于各個已決定了的特征點(diǎn)的各相應(yīng)點(diǎn)從第二 圖像中決定。在第一圖像和第二圖像各自中檢測包含在第一圖像和第二圖像中的并代表從攝 取第一圖像到攝取第二圖像期間移動的物體的移動對象圖像。在第一圖像和第二圖像中的 每一個中決定包圍存在于檢測到的移動對象圖像中的各特征點(diǎn)的位置和存在于檢測到的 移動對象圖像中的各相應(yīng)點(diǎn)的位置的變換目標(biāo)區(qū)。決定第一圖像中的變換目標(biāo)區(qū)內(nèi)的圖像的各特征點(diǎn)。對于第二圖像中的變換目標(biāo) 區(qū)內(nèi)的圖像，決定對應(yīng)于第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的各特征點(diǎn)的各相應(yīng)點(diǎn)。以以下 方式變換第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像，即，使得第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的各 特征點(diǎn)和第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像的各相應(yīng)點(diǎn)一致。根據(jù)本發(fā)明，檢測代表從攝取第一圖像到攝取第二圖像期間移動的物體的移動對 象圖像，并設(shè)定圖像變換區(qū)，以使其包圍移動對象圖像在其移動前和移動后的位置。包含在 第一圖像的圖像變換區(qū)中的對象圖像的位置、和包含在第二圖像的圖像變換區(qū)中的對象圖 像的位置將會相互置換，這是因為該對象圖像在攝取第一圖像和攝取第二圖像期間是移動 的。為此，以以下方式變換第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像，即，使得第一圖像的變換目標(biāo) 區(qū)內(nèi)的圖像的各特征點(diǎn)和第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像的各相應(yīng)點(diǎn)一致。優(yōu)選地，該設(shè)備還包括第二圖像變換裝置，用于以以下方式變換第二圖像中所述 變換目標(biāo)區(qū)以外的圖像，即，使得由第一相應(yīng)點(diǎn)決定裝置決定的各相應(yīng)點(diǎn)與由第一特征點(diǎn) 決定裝置決定的各特征點(diǎn)一致。如果第一圖像和第二圖像之間存在變化，則設(shè)定的變換目 標(biāo)區(qū)以外的部分被看作是在攝取圖像時易于發(fā)生的相機(jī)抖動。因此，為了校正該相機(jī)抖動， 以以下方式變換第二圖像，即，使得由第一特征點(diǎn)決定裝置決定的各特征點(diǎn)和由第一相應(yīng) 點(diǎn)決定裝置決定的各相應(yīng)點(diǎn)一致。因此，所得到的第二圖像是已經(jīng)校正了相機(jī)抖動的圖像。優(yōu)選地，該設(shè)備還包括疊加裝置，用于對于變換目標(biāo)區(qū)內(nèi)的圖像，將已經(jīng)由第一圖 像變換裝置變換的圖像疊加(包括組合、相加或平均)到第一圖像上，以及對于該變換目標(biāo) 區(qū)以外的圖像，以以下方式將第二圖像疊加到第一圖像上，即，使得由第一相應(yīng)點(diǎn)決定裝置 決定的各相應(yīng)點(diǎn)與由第一特征點(diǎn)決定裝置決定的各特征點(diǎn)一致。
優(yōu)選地，該設(shè)備還包括圖像攝取裝置，用于通過以相同的曝光量或以不同的曝光 量執(zhí)行連續(xù)拍攝來獲得第一圖像和第二圖像。優(yōu)選地，該設(shè)備還包括電子閃光控制裝置，用于控制電子閃光燈發(fā)光；以及圖像 攝取控制裝置，用于控制圖像攝取裝置在由電子閃光控制裝置控制的電子閃光燈發(fā)光的條 件下進(jìn)行拍攝以及在電子閃光燈不發(fā)光的條件下進(jìn)行拍攝，以及獲得所述第一圖像和第二 圖像。從下面結(jié)合附圖對說明書進(jìn)行的描述，本發(fā)明的其它特征和優(yōu)點(diǎn)將變得顯而易 見，附圖中，相同的參考標(biāo)號表示相同或相似的部件。


圖1A是從正面看到的數(shù)碼相機(jī)的透視圖，以及圖1B是從背面看到的該數(shù)碼相機(jī) 的透視圖；圖2是示出數(shù)碼相機(jī)的電氣構(gòu)造的框圖；圖3A和圖3B示出了曝光時間；圖4是示出由數(shù)碼相機(jī)執(zhí)行的處理的流程圖；圖5是示出由數(shù)碼相機(jī)執(zhí)行的處理的流程圖；圖6至圖10是對象圖像的實(shí)例；圖11示出了相機(jī)抖動和移動物體的變化；圖12至圖15是對象圖像的實(shí)例；圖16至圖18示出了變換目標(biāo)區(qū)內(nèi)的圖像；圖19是疊加圖像的實(shí)例；圖20A和圖20B示出了曝光時間；圖21示出了曝光時間；以及圖22示出了對象亮度和信號電平之間的關(guān)系。
具體實(shí)施例方式下面將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。示出了本發(fā)明的一個優(yōu)選實(shí)施例的圖1A是從正面看的數(shù)碼相機(jī)1的透視圖。數(shù)碼相機(jī)1的頂部形成為具有快門釋放按鈕2。數(shù)碼相機(jī)1的右側(cè)面形成為具有 用于連接USB (通用串行總線)電纜的端子3。數(shù)碼相機(jī)1的正面形成為具有變焦透鏡7，在變焦透鏡7的左上方處形成電子閃光 燈5，并在變焦透鏡7的右上方處形成光學(xué)取景器6。圖1B是從后面看的數(shù)碼相機(jī)1的透視圖。液晶顯示屏幕10形成在數(shù)碼相機(jī)1的背面的左下部。光學(xué)取景器6形成在液晶 顯示屏幕10的左上部。電源開關(guān)12形成在光學(xué)取景器6的右側(cè)。模式開關(guān)13形成在電 源開關(guān)12的右側(cè)。拍攝模式和回放模式由模式開關(guān)13設(shè)置。模式開關(guān)13的下方設(shè)置有 圓形按鈕14，其具有向上、向下、向左和向右的箭頭。利用該按鈕14可以設(shè)置連續(xù)拍攝模式寸。圖2是示出數(shù)碼相機(jī)1的電氣構(gòu)造的框圖。
6
數(shù)碼相機(jī)1的全部操作由CPU 22控制。數(shù)碼相機(jī)1包括存儲器43，其中存儲有稍后描述的操作程序和其它數(shù)據(jù)。該操作 程序可以寫入存儲卡48(等)中、從存儲卡48中讀取出來并安裝到數(shù)碼相機(jī)1中，或該操 作程序可以預(yù)裝到相機(jī)中。如上所述，數(shù)碼相機(jī)1包括快門釋放按鈕2和模式開關(guān)13。表示按下快門釋放按 鈕2的信號被輸入到CPU 22。選擇拍攝模式或回放模式的模式開關(guān)13能夠選擇性地接通 開關(guān)S1或S2。拍攝模式通過接通開關(guān)S1來設(shè)定，以及回放模式通過接通開關(guān)S2來設(shè)定。 數(shù)碼相機(jī)1能夠進(jìn)行閃光燈攝影。這通過提供電子閃光燈5來實(shí)現(xiàn)，如上所述。從電子閃 光燈5發(fā)出的光在閃光控制電路16的控制下開啟或關(guān)閉。光圈25和變焦透鏡7設(shè)置在固 態(tài)電子圖像感測器件27 (諸如(XD)的前面。光圈25的f/光圈數(shù)(f/stop)由通過電機(jī)驅(qū) 動器30控制的電機(jī)決定。變焦透鏡7的變焦位置由通過電機(jī)驅(qū)動器31控制的電機(jī)34決 定。如果通過模式開關(guān)13設(shè)定了拍攝模式，則已經(jīng)通過光圈25的代表對象圖像的光 就通過變焦透鏡7在圖像感測器件27的感光體表面上形成圖像。圖像感測器件27由定時 發(fā)生器32控制，且以固定周期(例如以1/30秒的周期)攝取對象的圖像。代表對象圖像 的視頻信號以固定周期從圖像感測器件27輸出，并輸入至CDS(相關(guān)雙采樣)電路28。已 經(jīng)在CDS電路28中進(jìn)行了相關(guān)雙采樣的視頻信號在模擬/數(shù)字轉(zhuǎn)換電路29中被轉(zhuǎn)換成數(shù) 字圖像數(shù)據(jù)。該數(shù)字圖像數(shù)據(jù)由圖像輸入控制器35輸入至圖像信號處理電路36，進(jìn)行規(guī)定的 信號處理(諸如伽瑪校正)。該數(shù)字圖像數(shù)據(jù)被寫入VRAM(視頻隨機(jī)存取存儲器)44，此后 該數(shù)據(jù)被讀出并應(yīng)用于圖像顯示單元47，從而將該圖像數(shù)據(jù)在圖像顯示單元47的顯示屏 幕上顯示為移動圖像。根據(jù)該實(shí)施例的數(shù)碼相機(jī)1是的在已經(jīng)通過連續(xù)拍攝獲得了兩個圖像幀(即，第 一圖像和第二圖像)的情況下，將這兩個圖像幀進(jìn)行組合。在組合這兩個圖像幀的過程中， 決定第一圖像中包含的對象圖像的輪廓(等)上的多個特征點(diǎn)，并在第二圖像中決定對應(yīng) 于這些特征點(diǎn)的各相應(yīng)點(diǎn)。以使得各特征點(diǎn)和各相應(yīng)點(diǎn)一致的方式來疊加這些圖像。因此， 校正了在攝取第一圖像和攝取第二圖像期間發(fā)生的相機(jī)抖動。此外，在存在于攝取第一圖像和攝取第二圖像期間移動的物體的情況下，對該物 體的對象圖像的移動進(jìn)行分析，并以在已經(jīng)疊加了圖像的情況下該物體沒有變化的方式來 定位該移動物體的對象圖像。因此，為了進(jìn)行圖像的疊加，數(shù)碼相機(jī)1設(shè)置有特征點(diǎn)/相應(yīng)點(diǎn)檢測電路38、移動 分析電路39和圖像變換/合成電路45。通過圖像攝取得到的數(shù)字圖像數(shù)據(jù)被輸入至AF(自動聚焦)檢測電路41。變焦透 鏡7的變焦位置在AF檢測電路41中進(jìn)行控制，以使圖像聚焦。此外，通過圖像攝取獲得的 數(shù)字圖像數(shù)據(jù)還被輸入至AE(自動曝光)/AWB(自動白平衡)檢測電路42。AE/AWB檢測電 路42以使檢測到的亮度變?yōu)檫m當(dāng)?shù)牧炼鹊姆绞絹頉Q定光圈25的孔徑。還在AE/AWB檢測 電路42中進(jìn)行白平衡調(diào)整。如果按下快門釋放按鈕2，則將通過圖像攝取獲得的圖像數(shù)據(jù)輸入至壓縮處理電 路37。已經(jīng)在壓縮處理電路37中進(jìn)行了規(guī)定的壓縮處理的圖像數(shù)據(jù)被輸入至視頻編碼器40并在其中進(jìn)行編碼。編碼圖像數(shù)據(jù)在存儲控制器46的控制下被記錄到存儲卡48中。如果通過模式開關(guān)13設(shè)定了回放模式，則讀取已經(jīng)記錄到存儲卡48中的圖像數(shù) 據(jù)。由讀出的圖像數(shù)據(jù)代表的圖像顯示在圖像顯示單元47的顯示屏幕上。圖3A和圖3B示出了曝光時間。圖3A示出了利用曝光時間T攝取對象的圖像并獲得了一個圖像幀的情況中的曝 光時間。圖3B示出了每次利用為曝光時間T 一半的曝光時間T/2連續(xù)兩次攝取對象的圖 像的情況中的曝光時間。如果利用如圖3A所示的較長曝光時間T攝取對象的圖像，則發(fā)生大量的相機(jī)抖 動。相反，如果利用圖3B所示的短曝光時間T/2攝取對象的圖像，則相機(jī)抖動減少。盡管 當(dāng)通過利用短的曝光時間T/2兩次攝取對象來獲得兩個圖像幀時，在每個圖像幀中都有很 少的相機(jī)抖動，但是亮度也降低了。因此，對這兩個圖像幀進(jìn)行疊加。通過疊加得到的圖像 (“疊加圖像”)顯示了很少的相機(jī)抖動并且很亮。該實(shí)施例使得獲得這樣的疊加圖像成為 可能。圖4和圖5是示出由數(shù)碼相機(jī)1執(zhí)行的處理的流程圖。首先，對同一對象進(jìn)行連續(xù)拍攝，并獲得了第一圖像和第二圖像(圖4中的步驟 51)。即使不是連續(xù)拍攝，但是如果對同一對象進(jìn)行拍攝并獲得了第一圖像和第二圖像也足 夠了?？商鎿Q地，可以讀取已經(jīng)攝取的第一圖像和第二圖像。圖6是第一圖像的實(shí)例，圖7是第二圖像的實(shí)例。這些圖像由于如圖3B所示的短 的曝光時間而成為較暗的圖像。這些圖像設(shè)置有陰影線以表示它們是暗圖像。如圖6所示，汽車的圖像73顯示在第一圖像70的前面，而樹的圖像71和72顯示 在后面。在圖7中，在攝取了第一圖像70后攝取了第二圖像80。由于未同時攝取第一圖像 70和第二圖像80，因此在第一圖像70和第二圖像80之間出現(xiàn)了由于相機(jī)抖動而引起的變 化，并且第二圖像80相比于第一圖像70發(fā)生了傾斜。汽車的圖像83也顯示在第二圖像80 的前面，且樹的圖像81和82顯示在后面。第一圖像70中的樹的圖像71和72分別與第二圖像80中的樹的圖像81和82相 同，且第一圖像70中的汽車的圖像73和第二圖像80中的汽車的圖像83是同一汽車的圖像。當(dāng)獲得了第一圖像70和第二圖像80時，就決定基準(zhǔn)圖像和相應(yīng)圖像(圖4中的 步驟52)。在該實(shí)施例中，采用第一圖像70作為基準(zhǔn)圖像，而采用第二圖像80作為相應(yīng)圖 像。然而，也可以采用相反的形式。當(dāng)決定了基準(zhǔn)圖像和相應(yīng)圖像時，以下面描述的方式?jīng)Q定基準(zhǔn)圖像的多個特征點(diǎn) (圖4中的步驟53)。此外，決定相應(yīng)圖像的多個相應(yīng)點(diǎn)(圖4中的步驟54)。圖8示出了基準(zhǔn)圖像(第一圖像70)?；鶞?zhǔn)圖像70包含樹的圖像71和72以及汽車的圖像73。特征點(diǎn)定義包含在基準(zhǔn) 圖像70中的對象圖像的輪廓上的一個點(diǎn)，并表示該對象圖像的特征形狀。對于樹的圖像71 和72以及汽車的圖像73中的每一個都決定多個相應(yīng)點(diǎn)74。圖9示出了相應(yīng)圖像(第二圖像80)。相應(yīng)點(diǎn)表示對應(yīng)于在基準(zhǔn)圖像70中決定的各特征點(diǎn)的各像素點(diǎn)。對于包含在相應(yīng)圖像80中的樹的圖像81和82以及汽車的圖像83中每一個，決定對應(yīng)于各特征點(diǎn)74的 各相應(yīng)點(diǎn)84。接下來，計算基準(zhǔn)圖像70和相應(yīng)圖像80之間的整體圖像的抖動(圖4中的步驟 55)。下面將詳細(xì)描述整體圖像的抖動的計算(抖動量和抖動方向的計算)。根據(jù)計算出來 的圖像抖動對相應(yīng)圖像80進(jìn)行校正。該抖動校正可以在疊加基準(zhǔn)圖像70和相應(yīng)圖像80 時進(jìn)行。圖10是已經(jīng)進(jìn)行了抖動校正的相應(yīng)圖像80A的實(shí)例。該圖像與基準(zhǔn)圖像70之間 的變化已經(jīng)通過抖動校正進(jìn)行了校正。圖11示出了光流圖。該光流圖使得對應(yīng)于各特征點(diǎn)的各相應(yīng)點(diǎn)相對于所述這些特這點(diǎn)的變化量和方 向由每個特征點(diǎn)(相應(yīng)點(diǎn))處的標(biāo)記表示。在該光流圖中示出了三組標(biāo)記。假設(shè)第一組G1 具有最大數(shù)量的標(biāo)記，第二組G2具有次最大數(shù)量的標(biāo)記，而第三組G3具有非常少數(shù)量的標(biāo) 記。在該實(shí)施例中，確定了具有最大數(shù)量的標(biāo)記的第一組G1表示基準(zhǔn)圖像70和相應(yīng)圖像 80之間的整體圖像的變化。此外，確定其中標(biāo)記數(shù)量大于規(guī)定數(shù)量的第二組G2表示在攝取 基準(zhǔn)圖像70和攝取相應(yīng)圖像80期間移動的移動物體的對象圖像的移動量和方向。由其中 標(biāo)記數(shù)量少于規(guī)定數(shù)量的第三組G3表示的是被認(rèn)為無用的并被確定為不代表移動對象圖 像的信息。如果存在整體圖像的抖動(圖4中步驟56處為“是”)，則確定相應(yīng)圖像80中是 否存在表示在攝取基準(zhǔn)圖像70到攝取相應(yīng)圖像80期間移動的物體的對象圖像(移動對象 圖像)(圖5中的步驟57)。在該實(shí)施例中，汽車的圖像73包含在基準(zhǔn)圖像70中，汽車的圖 像83也包含在相應(yīng)圖像80中，并且該汽車在攝取基準(zhǔn)圖像70到攝取相應(yīng)圖像80期間進(jìn) 行了移動。因此，則確定存在移動對象圖像(圖5中步驟57處為“是”)。接下來，檢查移動對象圖像的相應(yīng)點(diǎn)的數(shù)量是否很大(大于規(guī)定數(shù)量)(圖5中的 步驟58)。如果不存在大量的相應(yīng)點(diǎn)，則由于無用效應(yīng)將由這些相應(yīng)點(diǎn)代表的對象圖像部分 認(rèn)為是移動對象圖像，進(jìn)而將其排除。圖12示出了包圍如上所述確定了的移動對象圖像(汽車的圖像)73的移動部分 區(qū)76。圖13示出了包圍相應(yīng)圖像80中的移動對象圖像83的移動部分區(qū)86。由于汽車在移動，因此在圖12所示的移動部分區(qū)76的位置和圖13所示的移動部 分區(qū)86的位置之間存在變化，且該變化取決于汽車的移動量和移動方向。在該實(shí)施例中， 設(shè)定包圍移動部分區(qū)76和86兩者的變換目標(biāo)區(qū)(圖5中的步驟59)。圖14示出了已在基準(zhǔn)圖像70中設(shè)定的變換目標(biāo)區(qū)77。此外，為了使得易于理解， 該變換目標(biāo)區(qū)77包圍了基準(zhǔn)圖像70中的移動部分區(qū)76和相應(yīng)圖像80中的移動部分區(qū) 86，除了基準(zhǔn)圖像70中的移動部分區(qū)76以外，還在圖14中示出了相應(yīng)圖像80中的移動部 分區(qū)86。圖15示出了已在相應(yīng)圖像80中設(shè)定的變換目標(biāo)區(qū)87。此外，為了使得易于理解， 變換目標(biāo)區(qū)87包圍了基準(zhǔn)圖像70中的移動部分區(qū)76和相應(yīng)圖像80中的移動部分區(qū)86， 除了相應(yīng)圖像80中的移動部分區(qū)86以外，還在圖15中示出了基準(zhǔn)圖像70中的移動部分 區(qū)76。接下來，重新決定基準(zhǔn)圖像70的變換目標(biāo)區(qū)77內(nèi)的圖像的各特征點(diǎn)(圖5中的步驟60)。此外，重新決定對應(yīng)于基準(zhǔn)圖像70的變換目標(biāo)區(qū)77內(nèi)的圖像的各特征點(diǎn)的相應(yīng) 圖像80的變換目標(biāo)區(qū)87內(nèi)的圖像的各相應(yīng)點(diǎn)(圖5中的步驟61)。圖16示出了基準(zhǔn)圖像70的變換目標(biāo)區(qū)77內(nèi)的圖像79。變換目標(biāo)區(qū)77內(nèi)的圖像79包含汽車的圖像73。對于該汽車的圖像，決定多個特 征點(diǎn)78。優(yōu)選地，以小于以圖8所示方式對整體基準(zhǔn)圖像70決定的各特征點(diǎn)的間隔的間隔 選取各特征點(diǎn)78。這樣做的原因在于在執(zhí)行圖像變換的情況中，可以實(shí)現(xiàn)如稍后描述的更 詳細(xì)的圖像變換。圖17示出了相應(yīng)圖像80的變換目標(biāo)區(qū)87內(nèi)的圖像89。對于變換目標(biāo)區(qū)87內(nèi)的圖像89，決定對應(yīng)于對于變換目標(biāo)區(qū)77內(nèi)的圖像79決定 的各特征點(diǎn)78的多個相應(yīng)點(diǎn)88。當(dāng)決定了各相應(yīng)點(diǎn)88時，利用所決定的各相應(yīng)點(diǎn)88和變換目標(biāo)區(qū)87的頂點(diǎn)執(zhí)行 三角剖分(多邊化)，如圖17所示(圖5中的步驟62)。對于已經(jīng)進(jìn)行了三角剖分的變換目 標(biāo)區(qū)87內(nèi)的圖像89，根據(jù)移動對象圖像的移動量以以下方式對通過三角剖分得到的每個 三角形執(zhí)行圖像變換處理(三角變換處理)，即，使得各特征點(diǎn)78和各相應(yīng)點(diǎn)88 —致(圖 5中的步驟63)。圖18示出了已經(jīng)進(jìn)行了圖像變換處理的變換目標(biāo)區(qū)87內(nèi)的圖像90。利用該圖像 變換處理，使相應(yīng)圖像80內(nèi)的汽車的圖像83的位置與基準(zhǔn)圖像70內(nèi)的汽車的圖像73的
位置一致。至于基準(zhǔn)圖像70和相應(yīng)圖像80，關(guān)于變換目標(biāo)區(qū)77的內(nèi)部，將圖16所示的變換 目標(biāo)區(qū)77內(nèi)的圖像79和已經(jīng)進(jìn)行了圖像變換的變換目標(biāo)區(qū)87內(nèi)的圖18所示的圖像90進(jìn) 行疊加。關(guān)于變換目標(biāo)區(qū)77的外部，對已經(jīng)校正了在攝取基準(zhǔn)圖像70和攝取相應(yīng)圖像80 期間發(fā)生的相機(jī)抖動的基準(zhǔn)圖像70和相應(yīng)圖像80進(jìn)行疊加。從而獲得了疊加圖像(圖5 中的步驟64)。圖19示出了疊加圖像100的實(shí)例。疊加圖像100包含樹的圖像101和102、以及汽車的圖像103。由于已經(jīng)校正了基 準(zhǔn)圖像70和相應(yīng)圖像80之間的相機(jī)抖動，因此無模糊地顯示了樹的圖像101和102。此 外，由于圖16所示的變換目標(biāo)區(qū)77內(nèi)的圖像79和已經(jīng)進(jìn)行了圖像變換的圖18所示的變 換目標(biāo)區(qū)87內(nèi)的圖像90已經(jīng)通過執(zhí)行上述圖像變換處理疊加在了一起，因此所顯示的汽 車的圖像103也是非模糊的。此外，由于這些圖像具有與圖3A所示基本相同的曝光時間， 因此得到了較高亮度的圖像。如果不存在移動對象圖像(圖5中步驟57處為“否”)，或者即使已經(jīng)確定了存在 移動對象圖像，但是在該移動對象圖像中不存在大量的相應(yīng)點(diǎn)(即，如果由于無用效應(yīng)已 經(jīng)確定存在移動對象圖像)(圖5中的步驟58處為“否”)，則校正整體圖像的抖動，而無需 執(zhí)行上述圖像變換處理，且基準(zhǔn)圖像70和相應(yīng)圖像80被疊加在一起，從而產(chǎn)生疊加圖像 (圖5中的步驟65)。圖20A和圖20B示出了曝光時間。圖20A示出了在以類似于圖3A所示方式以曝光時間T攝取一個圖像幀的情況中 的曝光時間。圖20B示出了以第一曝光時間tl攝取第一圖像以及以第二曝光時間t2攝取 第二圖像的情況中的曝光時間tl和t2。等式(第一曝光時間tl) + (第二曝光時間t2)=(曝光時間T)成立。由于在攝取第一圖像中使用的曝光時間tl長于在攝取第二圖像中使用的曝光時 間t2，因此第一圖像較亮，而第二圖像比第一圖像暗。在第一圖像的亮度增大欠曝光發(fā)生越 多的多個部分中利用第二圖像、以及在第二圖像中的暗度增大過曝光發(fā)生越多的多個部分 中利用第一圖像，通過以上述方式疊加第一圖像和第二圖像得到寬動態(tài)范圍的疊加圖像。圖21示出了其中電子閃光燈在獲得第一圖像和第二圖像時工作的方式。第一圖 像和第二圖像各自的曝光時間相同，即均為T/2。電子閃光燈在獲得第一圖像的情況中開 啟，而在獲得第二圖像的情況中關(guān)閉。還可以布置為電子閃光燈在獲得第一圖像的情況中 關(guān)閉，而在獲得第二圖像的情況中開啟。通過在攝取第一圖像和攝取第二圖像時在閃光燈開啟和關(guān)閉之間進(jìn)行切換，即使 曝光時間相同，也能得到具有不同亮度的兩個圖像幀(即第一圖像和第二圖像)。通過以類 似于上述的方式將第一圖像和第二圖像疊加在一起，獲得了寬動態(tài)范圍的疊加圖像。圖22示出了對于不同亮度的第一圖像和第二圖像中每一個的信號電平和對象亮 度之間的關(guān)系。假設(shè)第一圖像較亮，獲得了代表第一圖像的第一視頻信號，第二圖像比第一圖像 暗并獲得了代表第二圖像的第二視頻信號。雖然第二視頻信號使得信號電平隨著亮度的升 高率很小，而第一視頻信號使得信號電平隨著亮度的升高率很大。因此，在第一視頻信號的 情況中，對象亮度在L0及以上時飽和。通過以上述方式疊加第一圖像和第二圖像，即使對 于具有等于或大于亮度L0 (此時第一視頻信號飽和)的亮度的對象，所獲得的疊加圖像的 視頻信號也具有符合亮度的電平。因此，疊加圖像的動態(tài)范圍被加寬。接下來，將描述用于計算基準(zhǔn)圖像和相應(yīng)圖像之間的整體圖像抖動(圖4中步驟 55的處理)的方法。如上所述，在特征點(diǎn)和相應(yīng)點(diǎn)之間已經(jīng)發(fā)生了圖像抖動的情況下，可以利用仿射 變換和射影變換計算該抖動。等式(1)示出了仿射變換關(guān)系，等式(2)示出了射影變換關(guān)系。在等式(1)和(2) 中，相應(yīng)點(diǎn)的位置以(X，Y)表示，而特征點(diǎn)的位置以(x，y)表示。 如果使用最小二乘法計算抖動，如下進(jìn)行基于最小二乘法的GM估計是下面的等式(3)，其中矩陣T代表各特征點(diǎn)并由等式 (4)表示。此外，矩陣A是仿射參數(shù)向量并由等式(5)表示。矩陣F代表各相應(yīng)點(diǎn)并由等式 (6)表示。此外，矩陣F的轉(zhuǎn)置矩陣是等式(7)。T F A ...等式(3)其中，
等式⑷

等式(5)
等式(6)
等式(7) 可以發(fā)現(xiàn)，仿射參數(shù)向量導(dǎo)致下面的等式(8)，并且其可以定義為如等式(9)和 (10)所示。
此外，等式(9)的逆矩陣由等式(11)表示，其中滿足等式(12)的關(guān)系,
等式(12)
下面的等式(13)滿足Cauchy-Schwarz不等式，并滿足等式(14)的關(guān)系, 由于仿射參數(shù)是從下面的等式(15)計算得到的，從而計算出了從特征點(diǎn)到相應(yīng) 點(diǎn)的抖動。
等式(15) 接下來，將描述上述變換目標(biāo)區(qū)內(nèi)的圖像變換處理(圖5中的步驟63的處理)。如果假設(shè)如上所述產(chǎn)生的三角形的頂點(diǎn)(x0，y0)、(xl,yl)和(x2，y2)移動到(X0， Y0)、(XI，Y1)和(X2，Y2)(即，如果假設(shè)從變換目標(biāo)區(qū)內(nèi)的相應(yīng)點(diǎn)移動到特征點(diǎn))，則下面 的等式(16)成立。
由于系數(shù)a、b、c、d、s、t出現(xiàn)在上述變換的逆矩陣中，因此就有了下面的等式 (17)、(18)，并且得到了等式(19)，其中滿足等式(20)的關(guān)系。
...等式(19) 等式(20) 如果將(xO，yO)布置為總在原點(diǎn)，則下面的等式(21)成立。
由于(xO，yO)只是變化量，因此其移動到(s，t)。因此，等式(19)的逆矩陣成為 下面的等式(22)，其中滿足等式(23)的關(guān)系。
等式(21)
...等式(22)
等式(23) 系數(shù)3、13、(3、(1、83如下面的等式(24)到(29)所示。
等式(24) 等式(25) 等式(26) 等式(27)s…t = YO.................等式(29)從而，在上述變換目標(biāo)區(qū)內(nèi)從相應(yīng)點(diǎn)移動到特征點(diǎn)(執(zhí)行圖像變換)是可能的。由于在不背離本發(fā)明的本意和范圍的情況下，可以做出本發(fā)明的許多明顯大不相 同的實(shí)施例，因此應(yīng)該理解的是，除了所附權(quán)利要求的限定以外，本發(fā)明不限于具體實(shí)施例。
權(quán)利要求
一種圖像變換設(shè)備，包括第一特征點(diǎn)決定裝置，用于從第一圖像中決定表示對象圖像的形狀特征的多個特征點(diǎn)，其中，已經(jīng)通過連續(xù)拍攝得到了所述第一圖像和第二圖像；第一相應(yīng)點(diǎn)決定裝置，用于從所述第二圖像中決定對應(yīng)于由所述第一特征點(diǎn)決定裝置決定的各特征點(diǎn)的各相應(yīng)點(diǎn)；移動對象圖像檢測裝置，用于檢測所述第一圖像和所述第二圖像各自中的移動對象圖像，所述移動對象圖像為包含在所述第一圖像和所述第二圖像中的對象圖像，并代表從攝取所述第一圖像到攝取所述第二圖像期間移動的物體；變換目標(biāo)區(qū)設(shè)定裝置，用于設(shè)定所述第一圖像和所述第二圖像各自中的變換目標(biāo)區(qū)，所述變換目標(biāo)區(qū)包圍各所述特征點(diǎn)的位置和各所述相應(yīng)點(diǎn)的位置，其中各所述特征點(diǎn)存在于由所述移動對象圖像檢測裝置從由所述第一特征點(diǎn)決定裝置決定的各特征點(diǎn)中檢測到的移動對象圖像中，以及各所述相應(yīng)點(diǎn)存在于由所述移動對象圖像檢測裝置從由所述第一相應(yīng)點(diǎn)決定裝置決定的各所述相應(yīng)點(diǎn)中檢測到的移動對象圖像中；第二特征點(diǎn)決定裝置，用于決定由所述變換目標(biāo)區(qū)設(shè)定裝置設(shè)定的所述第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的多個特征點(diǎn)；第二相應(yīng)點(diǎn)決定裝置，用于決定由所述變換目標(biāo)區(qū)設(shè)定裝置設(shè)定的所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像中對應(yīng)于由所述第二特征點(diǎn)決定裝置決定的各特征點(diǎn)的各相應(yīng)點(diǎn)；以及第一圖像變換裝置，用于以使得由所述第二特征點(diǎn)決定裝置決定的各特征點(diǎn)和由所述第二相應(yīng)點(diǎn)決定裝置決定的各相應(yīng)點(diǎn)一致的方式變換所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像。
2.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步包括第二圖像變換裝置，用于以使得由所述第 一相應(yīng)點(diǎn)決定裝置決定的各相應(yīng)點(diǎn)與由所述第一特征點(diǎn)決定裝置決定的各特征點(diǎn)一致的 方式來變換所述第二圖像中所述變換目標(biāo)區(qū)以外的圖像。
3.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步包括疊加裝置，用于對于所述變換目標(biāo)區(qū)內(nèi)的 圖像，將已經(jīng)由所述第一圖像變換裝置變換了的圖像疊加到所述第一圖像上，以及對于所 述變換目標(biāo)區(qū)以外的圖像，以使得由所述第一相應(yīng)點(diǎn)決定裝置決定的各相應(yīng)點(diǎn)與由所述第 一特征點(diǎn)決定裝置決定的各特征點(diǎn)一致的方式來將所述第二圖像疊加到所述第一圖像上。
4.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步包括圖像攝取裝置，用于通過以相同的曝光量 或以不同的曝光量執(zhí)行連續(xù)拍攝來獲得所述第一圖像和所述第二圖像。
5.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步包括電子閃光控制裝置，用于控制電子閃光燈發(fā)光；以及圖像攝取控制裝置，用于控制所述圖像攝取裝置在由所述電子閃光控制裝置控制的電 子閃光燈發(fā)光的條件下進(jìn)行拍攝以及在電子閃光燈不發(fā)光的條件下進(jìn)行拍攝，以及獲得所 述第一圖像和所述第二圖像。
6.一種控制圖像變換設(shè)備的操作的方法，包括以下步驟從第一圖像中決定表示對象圖像的形狀特征的多個第一特征點(diǎn)，其中，已經(jīng)通過連續(xù) 拍攝獲得了所述第一圖像和第二圖像；從所述第二圖像中決定對應(yīng)于已經(jīng)決定了的各第一特征點(diǎn)的各第一相應(yīng)點(diǎn)； 檢測所述第一圖像和所述第二圖像各自中的移動對象圖像，所述移動對象圖像為包含在所述第一圖像和所述第二圖像中的對象圖像，并代表從攝取所述第一圖像到攝取所述第 二圖像期間移動的物體設(shè)定所述第一圖像和所述第二圖像各自中的變換目標(biāo)區(qū)，所述變換目標(biāo)區(qū)包圍各所述 第一特征點(diǎn)的位置和各所述第一相應(yīng)點(diǎn)的位置，其中各所述第一特征點(diǎn)存在于從已經(jīng)決定 了的各所述第一特征點(diǎn)中檢測到的移動對象圖像中，以及各所述第一相應(yīng)點(diǎn)存在于從已經(jīng) 決定了的各所述第一相應(yīng)點(diǎn)中檢測到的移動對象圖像中；決定所設(shè)定的所述第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的多個第二特征點(diǎn)； 決定所設(shè)定的所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像中的對應(yīng)于已經(jīng)決定了的各所述 第二特征點(diǎn)的各第二相應(yīng)點(diǎn)；以及以使得已經(jīng)決定了的各所述第二特征點(diǎn)和已經(jīng)決定了的各所述第二相應(yīng)點(diǎn)一致的方 式來變換所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像。
7. 一種用于控制圖像變換設(shè)備的計算機(jī)執(zhí)行以下步驟的計算機(jī)可讀程序 從第一圖像中決定表示對象圖像的形狀特征的多個第一特征點(diǎn)，其中，已經(jīng)通過連續(xù) 拍攝獲得了所述第一圖像和第二圖像；從第二圖像中決定對應(yīng)于已經(jīng)決定了的各第一特征點(diǎn)的各第一相應(yīng)點(diǎn)； 檢測所述第一圖像和所述第二圖像各自中的移動對象圖像，所述移動對象圖像為包含 在所述第一圖像和所述第二圖像中的對象圖像，并代表從攝取所述第一圖像到攝取所述第 二圖像期間移動的物體；設(shè)定所述第一圖像和所述第二圖像各自中的變換目標(biāo)區(qū)，所述變換目標(biāo)區(qū)包圍各所述 第一特征點(diǎn)的位置和各所述第一相應(yīng)點(diǎn)的位置，其中各所述第一特征點(diǎn)存在于從已經(jīng)決定 了的各所述第一特征點(diǎn)中檢測到的移動對象圖像中，以及各所述第一相應(yīng)點(diǎn)存在于從已經(jīng) 決定了的各所述第一相應(yīng)點(diǎn)中檢測到的移動對象圖像中；決定所設(shè)定的所述第一圖像的變換目標(biāo)區(qū)內(nèi)的圖像的多個第二特征點(diǎn)； 決定所設(shè)定的所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像中的對應(yīng)于已經(jīng)決定了的各所述 第二特征點(diǎn)的各第二相應(yīng)點(diǎn)；以及以使得已經(jīng)決定了的各所述第二特征點(diǎn)和已經(jīng)決定了的各所述第二相應(yīng)點(diǎn)一致的方 式來變換所述第二圖像的變換目標(biāo)區(qū)內(nèi)的圖像。
全文摘要
本發(fā)明提供了一種圖像變換設(shè)備和一種控制該圖像設(shè)備的操作的方法。通過連續(xù)拍攝得到第一圖像和第二圖像。檢測第一圖像和第二圖像之間的整體圖像抖動并對抖動進(jìn)行校正。如果包含在第一圖像和第二圖像中的例如汽車的圖像在攝取第一圖像到攝取第二圖像期間進(jìn)行了移動，則在第二圖像中移動該汽車的圖像以與第一圖像中的汽車的圖像一致。第一圖像中的汽車的圖像和通過移動汽車的圖像得到的圖像疊加在一起?？梢愿鶕?jù)其中對象移動的部分以及其中對象未移動但是由于相機(jī)抖動發(fā)生了模糊的部分對兩個圖像幀進(jìn)行疊加。
文檔編號G06T7/20GK101877765SQ201010166690
公開日2010年11月3日 申請日期2010年4月27日 優(yōu)先權(quán)日2009年4月28日
發(fā)明者大石誠 申請人:富士膠片株式會社