融合圖像系統(tǒng)中的場(chǎng)景運(yùn)動(dòng)校正的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)設(shè)及融合圖像系統(tǒng)中的場(chǎng)景運(yùn)動(dòng)校正。
【背景技術(shù)】
[0002] 設(shè)及減少與相機(jī)運(yùn)動(dòng)關(guān)聯(lián)的圖像模糊的運(yùn)一大類技術(shù)可被稱為"圖像穩(wěn)定"。實(shí)際 上，圖像穩(wěn)定的主要目標(biāo)是減少因拍攝者在圖像捕獲期間不能消除他們的手部運(yùn)動(dòng)而造成 的相機(jī)抖動(dòng)。圖像穩(wěn)定可用于雙筒鏡、靜態(tài)照相機(jī)和攝像機(jī)、W及天文望遠(yuǎn)鏡。在靜態(tài)照相 機(jī)中，對(duì)于慢快口速度或者長(zhǎng)焦距（攝遠(yuǎn)）鏡頭，相機(jī)抖動(dòng)可能是尤其有問(wèn)題的。對(duì)于攝像 機(jī)，相機(jī)抖動(dòng)可能造成所記錄的視頻中可見(jiàn)的帖跳動(dòng)。在天文裝置中，隨時(shí)間推移可能造成 對(duì)象的視位置改變的大氣中的變化會(huì)加重鏡頭抖動(dòng)問(wèn)題。
[0003] 例如可通過(guò)將相機(jī)安裝到靜止平臺(tái)（例如，=腳架）或者通過(guò)專用圖像捕獲硬件 來(lái)提供圖像穩(wěn)定。采用后一種方式的裝置通常被稱為具有光學(xué)圖像穩(wěn)定（OIS)。理想上，圖 像穩(wěn)定會(huì)補(bǔ)償所有相機(jī)運(yùn)動(dòng)，W便即使在長(zhǎng)曝光時(shí)間下捕獲時(shí)也產(chǎn)生場(chǎng)景的靜態(tài)背景銳利 的圖像。

【發(fā)明內(nèi)容】

[0004] 在一個(gè)實(shí)施例中，所公開(kāi)的構(gòu)思提供了一種使用圖像穩(wěn)定平臺(tái)捕獲場(chǎng)景的多個(gè)圖 像的方法（至少一個(gè)圖像具有短曝光時(shí)間并且至少一個(gè)圖像具有長(zhǎng)曝光時(shí)間）?？蒞W使 得在輸出圖像中靜止和移動(dòng)對(duì)象都被清楚地表示并且沒(méi)有偽影的方式融合被捕獲圖像。一 種提供運(yùn)種能力的設(shè)及捕獲短-長(zhǎng)-短（化巧突發(fā)圖像序列的方法包括：基于第一短曝光 圖像和第二短曝光圖像確定第一空間差異圖，W及根據(jù)該圖確定指示場(chǎng)景內(nèi)的對(duì)象的運(yùn)動(dòng) 量的運(yùn)動(dòng)值。如果運(yùn)動(dòng)值小于第一闊值（指示極少運(yùn)動(dòng)或沒(méi)有運(yùn)動(dòng)）或大于第二闊值（指 示大量運(yùn)動(dòng)），則使用單個(gè)長(zhǎng)曝光圖像作為輸出圖像可W是恰當(dāng)?shù)?。另一方面，如果運(yùn)動(dòng)值 介于兩個(gè)指定闊值之間，則可融合兩個(gè)短曝光圖像（使用空間差異圖）W產(chǎn)生減噪的短曝 光圖像。接著，可將長(zhǎng)曝光圖像與減噪的短曝光圖像融合（也使用空間差異圖）W產(chǎn)生輸 出圖像。
[0005] 另一種提供運(yùn)種能力的設(shè)及捕獲長(zhǎng)-短-長(zhǎng)化SL)突發(fā)圖像序列的方法包括：通 過(guò)基于第一長(zhǎng)曝光圖像和短曝光圖像之間的第一空間差異圖融合第一長(zhǎng)曝光圖像和該短 曝光圖像來(lái)產(chǎn)生第一中間圖像，W及通過(guò)基于第二長(zhǎng)曝光圖像和該短曝光圖像之間的第二 空間差異圖融合第二長(zhǎng)曝光圖像和短曝光圖像來(lái)產(chǎn)生第二中間圖像。接著，可融合第一中 間圖像和第二中間圖像，W產(chǎn)生輸出圖像。如前，可W用第一中間圖像和第二中間圖像產(chǎn)生 空間差異圖，并且在最終融合期間使用該空間差異圖。
[0006] 又一種提供運(yùn)種能力的設(shè)及在融合期間強(qiáng)調(diào)圖像中的某些區(qū)域（例如，賦予更多 權(quán)重）的方法包括：通過(guò)突發(fā)捕獲獲得多個(gè)圖像，其中存在至少一個(gè)短曝光圖像和至少一 個(gè)長(zhǎng)曝光圖像。一旦獲得，使用所述圖像中的至少一個(gè)（例如，短曝光圖像）來(lái)識(shí)別對(duì)象。 示例對(duì)象包括人、人臉、寵物、馬等?？赏ㄟ^(guò)加重短曝光圖像中發(fā)現(xiàn)了被識(shí)別對(duì)象的那些區(qū) 域來(lái)指導(dǎo)融合過(guò)程。運(yùn)樣做的目的在于強(qiáng)調(diào)區(qū)域邊緣，從而增加了區(qū)域特別銳利的機(jī)會(huì)。
[0007]另一種方法通過(guò)在突發(fā)捕獲序列期間捕獲的任何數(shù)量的短圖像和長(zhǎng)圖像的融合 期間使用空間差異圖來(lái)綜合化S和L化捕獲序列二者。還公開(kāi)了電子裝置，W及存儲(chǔ)有使得 電子裝置中的一個(gè)或多個(gè)處理器或計(jì)算機(jī)執(zhí)行描述的方法的指令的非暫態(tài)程序存儲(chǔ)裝置。
【附圖說(shuō)明】
[000引圖1用流程圖形式示出根據(jù)一個(gè)實(shí)施例的圖像捕獲操作。
[0009] 圖2用流程圖形式示出根據(jù)一個(gè)實(shí)施例的空間差異圖產(chǎn)生操作。
[0010] 圖3A和圖3B示出根據(jù)一個(gè)實(shí)施例的差異圖和空間差異圖之間的差異。 W11] 圖4A至圖4C示出根據(jù)各種實(shí)施例的用于將短持續(xù)時(shí)間圖像和長(zhǎng)持續(xù)時(shí)間圖像中 的像素組合的例示方法。
[0012] 圖5用流程圖形式示出根據(jù)另一個(gè)實(shí)施例的空間差異圖產(chǎn)生操作。
[0013] 圖6用流程圖形式示出根據(jù)一個(gè)實(shí)施例的圖像融合操作。
[0014] 圖7用流程圖形式示出根據(jù)另一個(gè)實(shí)施例的圖像融合操作。
[0015] 圖8用流程圖形式示出根據(jù)一個(gè)實(shí)施例的短-長(zhǎng)-短融合操作。
[0016] 圖9用流程圖形式示出長(zhǎng)-短-長(zhǎng)融合操作。
[0017] 圖10用流程圖形式示出融合操作受被檢測(cè)對(duì)象（例如，人臉、馬等）影響而產(chǎn)生 偏向的多圖像圖像捕獲操作。
[0018] 圖11用流程圖形式示出根據(jù)一個(gè)實(shí)施例的多功能電子裝置。
【具體實(shí)施方式】
[0019] 本公開(kāi)設(shè)及用于改進(jìn)穩(wěn)定圖像捕獲裝置的圖像捕獲操作的系統(tǒng)、方法和計(jì)算機(jī)可 讀介質(zhì)?？傮w上，公開(kāi)技術(shù)用于通過(guò)穩(wěn)定圖像捕獲裝置捕獲并且融合場(chǎng)景的短曝光圖像和 長(zhǎng)曝光圖像。更特別地，本文中公開(kāi)的技術(shù)不僅使用了共同捕獲的短曝光圖像和長(zhǎng)曝光圖 像之間的個(gè)體像素差異（如現(xiàn)有技術(shù)的差異圖），而且使用了短曝光圖像和長(zhǎng)曝光圖像中 的遮擋（occluded)區(qū)域的空間結(jié)構(gòu)。用于體現(xiàn)運(yùn)個(gè)特征的新的手段是"空間差異圖"?？?間差異圖可用于識(shí)別用于融合的短曝光圖像和長(zhǎng)曝光圖像中的像素，在一個(gè)實(shí)施例中，可 用于識(shí)別可被過(guò)濾W減少最終輸出圖像中的視覺(jué)不連續(xù)（模糊）的短曝光圖像的像素。如 本文中使用的，術(shù)語(yǔ)"數(shù)字圖像捕獲裝置"、"圖像捕獲裝置"或更簡(jiǎn)單地"相機(jī)"意指能夠捕 獲數(shù)字圖像（包括靜態(tài)和視頻序列）的任何儀器。
[0020] 在下面的描述中，出于說(shuō)明目的，闡述了眾多具體細(xì)節(jié)，W提供對(duì)發(fā)明構(gòu)思的徹底 理解。作為該描述的一部分，本公開(kāi)的附圖中的一些附圖用框圖或流程圖的形式表現(xiàn)結(jié)構(gòu) 和裝置，W避免使本發(fā)明模糊。為了清晰，并沒(méi)有描述實(shí)際實(shí)現(xiàn)方式的所有特征。此外，為了 可讀性和指導(dǎo)目的，主要選擇了本公開(kāi)中使用的語(yǔ)言，并且可不選擇運(yùn)些語(yǔ)言來(lái)勾畫或限 定發(fā)明主題、訴諸于確定此發(fā)明主題所需的權(quán)利要求。本公開(kāi)中引用"一個(gè)實(shí)施例"或"實(shí) 施例"表示結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一個(gè)實(shí)施例中， 多處引用"一個(gè)實(shí)施例"或"實(shí)施例"不應(yīng)該被理解為一定都是指同一實(shí)施例。
[0021] 將理解，在任何實(shí)際實(shí)現(xiàn)方式的開(kāi)發(fā)中（如在任何開(kāi)發(fā)項(xiàng)目中），需要作出眾多決 定來(lái)實(shí)現(xiàn)開(kāi)發(fā)者的具體目標(biāo)（例如，符合與系統(tǒng)和業(yè)務(wù)相關(guān)的限制），并且運(yùn)些目標(biāo)可隨實(shí) 現(xiàn)方式而變化。還將理解，運(yùn)種開(kāi)發(fā)努力可能是復(fù)雜且耗時(shí)的，但卻是普通技術(shù)人員在設(shè)計(jì) 具有本公開(kāi)的益處的圖像處理系統(tǒng)的實(shí)現(xiàn)方式時(shí)進(jìn)行的常規(guī)工作。
[0022] 參照?qǐng)D1，根據(jù)一個(gè)實(shí)施例的圖像捕獲操作100在圖像捕獲裝置105捕獲場(chǎng)景的多 個(gè)圖像110 (框115)時(shí)開(kāi)始。在一個(gè)實(shí)施例中，圖像110包括序列為化或LS的一個(gè)短曝 光圖像（被標(biāo)明為"S")和一個(gè)穩(wěn)定長(zhǎng)曝光圖像（被標(biāo)明為"L")。例示性的短曝光時(shí)間 介于1/15秒和1/60秒之間，并且通常是基于場(chǎng)景的LUX等級(jí)進(jìn)行選擇的。在一個(gè)具體示 例中，可在曝光時(shí)間為30毫秒（ms)并且ISO為500的情況下捕獲短曝光圖像，而可在曝光 時(shí)間為250ms并且ISO為64的情況下捕獲長(zhǎng)曝光圖像。在一些實(shí)施例中，在短曝光設(shè)置和 長(zhǎng)曝光設(shè)置之間可存在f制光圈（f-stop)的限制（例如，2或3檔光圈）。穩(wěn)定長(zhǎng)曝光圖 像提供了場(chǎng)景的靜態(tài)區(qū)域（即，沒(méi)有出現(xiàn)場(chǎng)景對(duì)象運(yùn)動(dòng)的那些區(qū)域）的銳利表示。短曝光 圖像捕獲由移動(dòng)對(duì)象造成的模糊顯著減少（相比于長(zhǎng)曝光圖像）的場(chǎng)景的銳利但含噪的表 示。在另一個(gè)實(shí)施例中，圖像110可包括序列為S-SL、LS…S、SLS或S-SLS…S的多個(gè) 短曝光圖像W及穩(wěn)定長(zhǎng)曝光圖像。在運(yùn)些實(shí)施例中，可融合短曝光圖像中的一些或全部，W 提供接著可根據(jù)本公開(kāi)使用的單個(gè)減噪的短曝光圖像。在又一個(gè)實(shí)施例中，圖像110可包 括序列為諸如L…化…、S…化…S、レ??S'"L…的兩個(gè)或更多個(gè)穩(wěn)定長(zhǎng)曝光圖像和一個(gè)或多 個(gè)短曝光圖像。在運(yùn)種性質(zhì)的實(shí)施例中，可將多個(gè)長(zhǎng)曝光圖像融合在一起，W提供單個(gè)減噪 的長(zhǎng)曝光圖像。注意，一般而言，捕獲的短曝光圖像與穩(wěn)定長(zhǎng)曝光圖像在時(shí)間上相差越大， 它對(duì)于正確識(shí)別長(zhǎng)曝光圖像中的高度相關(guān)的場(chǎng)景對(duì)象運(yùn)動(dòng)的意義越小。在一個(gè)或多個(gè)實(shí)施 例中，可控制短曝光圖像和長(zhǎng)曝光圖像的增益，使得運(yùn)兩個(gè)圖像的亮度"大致"匹配。（如運(yùn) 里使用的，術(shù)語(yǔ)"大致"一般表示兩個(gè)量的匹配足W滿足實(shí)現(xiàn)方式的操作目的。）匹配短曝 光圖像和長(zhǎng)曝光圖像的亮度允許更高效和準(zhǔn)確的對(duì)準(zhǔn)，然后可W通過(guò)其他方式實(shí)現(xiàn)去除偽 影。將理解，運(yùn)個(gè)特征在被使用時(shí)可導(dǎo)致短曝光圖像的增益比長(zhǎng)曝光圖像的增益高得多。
[0023]一旦被捕獲，（減噪的）長(zhǎng)曝光和（減噪的）短曝光圖像就可被注冊(cè)（120)。一旦 被注冊(cè)，短曝光圖像和長(zhǎng)曝光圖像就可被用于產(chǎn)生空間差異圖（框125)。如本文中使用的， 空間差異圖是其元素值表示兩個(gè)圖像之間的差異（或相似度）并且還解釋了用來(lái)形成它的 兩個(gè)圖像之間的空間關(guān)系的對(duì)象。（參見(jiàn)W下針對(duì)圖2和圖5進(jìn)行的討論）。空間差異圖 接著可用于融合短曝光圖像和長(zhǎng)曝光圖像（框130)，W產(chǎn)生最終輸出圖像135。
[0024] 參照?qǐng)D2,根據(jù)一個(gè)實(shí)施例的空間差異圖產(chǎn)生操作125在接收到短曝光圖像200和 長(zhǎng)曝光圖像205時(shí)開(kāi)始。（如上所述，短曝光圖像200可代表減噪的短曝光圖像，長(zhǎng)曝光圖 像205可代表減噪的長(zhǎng)曝光圖像。）可根據(jù)短曝光圖像200和長(zhǎng)曝光圖像205產(chǎn)生差異圖 210 (框215)。舉例來(lái)說(shuō)，差異圖210中的各元素的值可等于該值的對(duì)應(yīng)的短曝光圖像像素 和長(zhǎng)曝光圖像像素之間的算術(shù)差、絕對(duì)差、平均絕對(duì)差或均方差。在一個(gè)實(shí)施例中，差異圖 元素值可W基于亮度