專(zhuān)利名稱(chēng)：提供范圍映射的多鏡頭照相機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生數(shù)字圖像文件的數(shù)字照相機(jī)，并且更具體地，涉及 使用多個(gè)鏡頭和圖像傳感器來(lái)提供改進(jìn)的測(cè)距能力的數(shù)字照相機(jī)。
背景技術(shù)：
目前，大部分?jǐn)?shù)字照相機(jī)使用變焦拍攝鏡頭和單一彩色圖像傳感器 來(lái)拍攝靜止和運(yùn)動(dòng)圖像。然后處理拍攝的圖像以產(chǎn)生數(shù)字圖像文件，該 數(shù)字圖像文件存儲(chǔ)在照相機(jī)中的數(shù)字存儲(chǔ)器中。然后該數(shù)字圖像文件可 以被傳送到計(jì)算機(jī)，被顯示、打印并通過(guò)網(wǎng)絡(luò)共享。
為了拍攝運(yùn)動(dòng)被攝體的清晰圖像，數(shù)字照相機(jī)需要提供精確的自動(dòng) 鏡頭調(diào)焦系統(tǒng)(即自動(dòng)調(diào)焦系統(tǒng))。自動(dòng)調(diào)焦系統(tǒng)必須能夠快速地獲取 正確的聚焦，以便最小化按下快門(mén)按鈕的時(shí)間與拍攝靜止圖像的時(shí)間之 間的"快門(mén)延遲"。自動(dòng)調(diào)焦系統(tǒng)還必須工作在拍攝視頻圖像的連續(xù)圖 像拍攝才莫式下。例如，在視頻模式下，在正在連續(xù)拍攝視頻圖像時(shí)，應(yīng) 該實(shí)時(shí)地調(diào)節(jié)焦距。
許多數(shù)字照相機(jī)和掃描儀使用圖像傳感器和具有可調(diào)焦距的拍攝 鏡頭系統(tǒng)來(lái)拍攝圖像。典型地，可以通過(guò)感測(cè)、控制以及驅(qū)動(dòng)系統(tǒng)將這 樣的可調(diào)焦距拍攝鏡頭系統(tǒng)的焦距自動(dòng)地設(shè)置為多個(gè)不同設(shè)置中的一 個(gè)，其中所述感測(cè)、控制以及驅(qū)動(dòng)系統(tǒng)被適配為提供在場(chǎng)景中被確定為 被攝體區(qū)域的區(qū)域的最優(yōu)聚焦。自動(dòng)提供基于焦距測(cè)量和可調(diào)焦距鏡頭 的可調(diào)焦距設(shè)置的鏡頭系統(tǒng)在這里被稱(chēng)為自動(dòng)調(diào)焦系統(tǒng)。數(shù)字照相機(jī)典
型地使用如下兩種自動(dòng)調(diào)焦系統(tǒng)中的一個(gè)測(cè)距系統(tǒng)和"通過(guò)透鏡"調(diào) 焦系統(tǒng)。
測(cè)距系統(tǒng)使用諸如聲波測(cè)距器或雙鏡頭測(cè)距器的測(cè)距傳感器來(lái)確 定從照相機(jī)到測(cè)距系統(tǒng)的視場(chǎng)內(nèi)的場(chǎng)景的一個(gè)或多個(gè)部分的距離。聲波 測(cè)距器測(cè)量發(fā)射的聲波信號(hào)和反射的聲波信號(hào)之間的相位偏移以推斷 到場(chǎng)景中的被攝體的距離。雙鏡頭測(cè)距器包含沿拍攝匹配的成對(duì)圖像的 兩個(gè)匹配的傳感器區(qū)域分離開(kāi)距離的兩個(gè)鏡頭。雙鏡頭測(cè)距器通常以雙鏡頭測(cè)距器模塊的形式在數(shù)字照相機(jī)上被使用，所述雙鏡頭測(cè)距器模塊 包含沿拍攝匹配的成對(duì)低分辨率圖像的兩個(gè)匹配傳感器區(qū)域分離開(kāi)距 離的兩個(gè)鏡頭。
普通雙鏡頭基于測(cè)距器的自調(diào)焦系統(tǒng)包括主動(dòng)和被動(dòng)系統(tǒng)。主動(dòng)系 統(tǒng)主動(dòng)地將光發(fā)射到場(chǎng)景上，而被動(dòng)系統(tǒng)與來(lái)自場(chǎng)景的可用光一起工
作。雙鏡頭測(cè)距器模塊可以從Fuji Electric在諸如FM6260W的一些型號(hào) 中購(gòu)買(mǎi)。用于諸如照相機(jī)的光學(xué)設(shè)備的雙鏡頭測(cè)距器模塊在1986年8 月16日授權(quán)給Haruki等人(并轉(zhuǎn)讓給Fuji Electric)的美國(guó)專(zhuān)利第 4,606，630號(hào)中^:描述。根據(jù)這個(gè)專(zhuān)利中的現(xiàn)有技術(shù)的說(shuō)明，分析匹配的 成對(duì)低分辨率圖像以得到兩個(gè)圖像之間的相關(guān)性，從而確定由兩個(gè)鏡頭 之間的分開(kāi)而引起的這兩個(gè)圖像之間的偏移。
這里在圖27中示出表示傳統(tǒng)的測(cè)距器的操作原理的圖。在該圖中， 來(lái)自被攝體151的光入射到兩個(gè)小透鏡152和153上，這兩個(gè)小鏡頭具 有足夠短的焦距f從而使得通過(guò)不同的間隔開(kāi)的路徑154和155從祐^攝 體所接收的光線(xiàn)在透鏡152與153共用的焦平面156內(nèi)生成相應(yīng)的間隔 開(kāi)的圖4象157和158。當(dāng)^皮4聶體151位于無(wú)窮遠(yuǎn)距離處時(shí)，圖^f象157和 158的中心位于圖27中的基準(zhǔn)位置170和180處，但是當(dāng)被攝體151位 于較近的距離處時(shí)，圖像的中心偏移到位置171和181。如果圖像157 和158從基準(zhǔn)位置170和180而偏移的距離被分別表示為Xi和X2,那么 總位移x可以表示如下
x=xi+X2=b'f/d
因此，到被攝體151的距離d可以由d-b.f/x來(lái)測(cè)量。在這種情況 下，b是小透鏡的光軸之間的距離，即基長(zhǎng)(base length)。為了獲得偏 移量Xi和X2或者二者的和x,在焦平面156內(nèi)配置兩個(gè)光學(xué)傳感器陣列 190和191,如圖27所示。這些光學(xué)傳感器陣列每個(gè)均包括多個(gè)光學(xué)傳 感器(例如CCD裝置)，并且由每個(gè)光學(xué)傳感器生成與入射到傳感器 上的圖像部分的光強(qiáng)度相對(duì)應(yīng)的模擬光電信號(hào)。Haruki等人示出了傳統(tǒng) 的電路，以及根據(jù)本專(zhuān)利的速度更高的測(cè)距電路，該測(cè)距電路通過(guò)比較 包括來(lái)自左光學(xué)傳感器陣列和右光學(xué)傳感器陣列的數(shù)字圖像信號(hào)的兩 個(gè)圖像信號(hào)列來(lái)獲得偏移距離的總和x。
基本地，沿著鏡頭分離距離b和焦點(diǎn)距離f使用偏移信息x來(lái)通過(guò) 三角測(cè)量法來(lái)計(jì)算到場(chǎng)景的距離。使用所計(jì)算出的到場(chǎng)景的距離d來(lái)指引可調(diào)焦距鏡頭的定位以產(chǎn)生最好的圖像質(zhì)量。如現(xiàn)有技術(shù)所已知的， 該調(diào)節(jié)可以基于在由雙鏡頭測(cè)距器模塊所測(cè)量的到場(chǎng)景的距離與通過(guò) "通過(guò)透鏡，，自動(dòng)調(diào)焦系統(tǒng)所生成的 一 系列最佳聚焦圖像之間所建立的 校準(zhǔn)曲線(xiàn)。將該校準(zhǔn)曲線(xiàn)作為等式或查找表存儲(chǔ)在照相機(jī)中的微處理器 中。
基于測(cè)距器的自動(dòng)調(diào)焦系統(tǒng)具有非?？焖俚膬?yōu)點(diǎn)，其中某些系統(tǒng)具
有可以在0.01-0.05秒的范圍內(nèi)的響應(yīng)時(shí)間。但是，由一些基于測(cè)距器 的自動(dòng)調(diào)焦系統(tǒng)所產(chǎn)生的聚焦質(zhì)量可以在這些系統(tǒng)被用于不同的操作 條件中時(shí)而不同。例如，聲波自動(dòng)調(diào)焦系統(tǒng)不能通過(guò)玻璃窗口聚焦，這 是因?yàn)椴Ａё柚狗瓷涞穆暡ㄐ盘?hào)，從而導(dǎo)致自動(dòng)調(diào)焦系統(tǒng)聚焦到該玻璃 上。在雙鏡頭測(cè)距器自動(dòng)調(diào)焦系統(tǒng)的情況下，雙鏡頭測(cè)距器的精度通常 受到諸如溫度和/或濕度的環(huán)境條件的變化的影響。雙鏡頭測(cè)距器^莫塊的
問(wèn)題在于雙鏡頭測(cè)距器才莫塊和可調(diào)焦距鏡頭位置之間的校準(zhǔn)在數(shù)字照 相機(jī)的正常運(yùn)行環(huán)境內(nèi)不穩(wěn)定。諸如溫度和濕度的變化的環(huán)境條件可以 導(dǎo)致通過(guò)雙鏡頭測(cè)距器;f莫塊而測(cè)得的到場(chǎng)景部分的距離改變大于10% 。 此外，所測(cè)得的在可調(diào)焦距拍攝鏡頭系統(tǒng)中的可調(diào)焦距拍攝鏡頭的位置 易于發(fā)生環(huán)境誘導(dǎo)的改變，使得在可調(diào)焦距鏡頭的控制系統(tǒng)中產(chǎn)生不準(zhǔn) 確。因此，典型地不單獨(dú)使用雙鏡頭測(cè)距器^t塊用于數(shù)字照相機(jī)中的自 動(dòng)調(diào)焦，相反使用其用作通過(guò)"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)而補(bǔ)充的粗略 聚焦調(diào)節(jié)。
可替代地，該"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)通過(guò)對(duì)利用位于多個(gè)不同 的聚焦位置處的可調(diào)焦距鏡頭系統(tǒng)所拍攝的 一 系列自動(dòng)聚焦圖像進(jìn)行 分析來(lái)確定聚焦?fàn)顟B(tài)。例如，在典型的"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)中， 在所謂的"爬坡"方法中利用一系列位于不同位置的可調(diào)焦距鏡頭來(lái)拍 攝多個(gè)自動(dòng)聚焦圖像(例如，5-20個(gè))。由于這種類(lèi)型的自動(dòng)調(diào)焦產(chǎn)生 水平增大直到越過(guò)峰值即"坡"為止的值序列，因此這種類(lèi)型的自動(dòng)調(diào) 焦被稱(chēng)為"爬坡"自動(dòng)調(diào)焦。換而言之，自動(dòng)地調(diào)整鏡頭聚焦位置直到 圖像中的邊緣細(xì)節(jié)或圖像的特定區(qū)域的對(duì)比度最大化為止。例如，比較 存在于各個(gè)自動(dòng)聚焦圖像中的對(duì)比度，并且認(rèn)為已經(jīng)以最佳聚焦?fàn)顟B(tài)拍 攝了具有最大對(duì)比度的自動(dòng)聚焦圖像(通常通過(guò)在兩個(gè)圖像之間插入對(duì) 比度值而進(jìn)一步細(xì)化最佳聚焦鏡頭位置)。
為了降低聚焦響應(yīng)時(shí)間而不犧牲聚焦精度，通常使用濾波器來(lái)不僅分離視頻信號(hào)的高頻分量還分離低頻分量。例如，可以在最遠(yuǎn)離最大焦 距的低頻范圍中在粗調(diào)步驟中快速驅(qū)動(dòng)鏡頭，然后在較靠近最大焦距的
高頻范圍中在精細(xì)調(diào)節(jié)步驟中驅(qū)動(dòng)鏡頭。圖28示出傳統(tǒng)的"爬坡"對(duì) 比度自動(dòng)調(diào)焦算法的流程圖。該算法使用如上所述并且如圖29的圖所 示的"爬坡，，對(duì)比度自動(dòng)調(diào)焦方法，圖29示出了從濾波器獲得的聚焦 值與鏡頭位置之間的關(guān)系。在圖29中，橫坐標(biāo)表示沿著距離軸的鏡頭 的聚焦位置，縱坐標(biāo)表示聚焦評(píng)估值，并且曲線(xiàn)A和B分別表示相對(duì)于 特定的對(duì)焦位置P的高頻分量和低頻分量的聚焦評(píng)估值。
參考圖28的流程圖，算法的最佳開(kāi)始點(diǎn)取決于作為焦距設(shè)置和f 數(shù)的函數(shù)的當(dāng)前鏡頭設(shè)置的超焦距。通常，大約2米的距離是好的開(kāi)始 點(diǎn)。然后，加載低頻帶通濾波器(步驟197)并讀出聚焦值。該算法采 用比較步驟198將鏡頭調(diào)節(jié)的方向設(shè)置為朝向增大聚焦值的方向，并確 定鏡頭何時(shí)步進(jìn)超過(guò)"坡"。取決于當(dāng)前焦距和f數(shù)的景深設(shè)置使用低 頻帶通濾波器時(shí)在拍攝下一幀之前應(yīng)該采取的步驟的數(shù)量，即下一接近 聚焦位置。 一旦經(jīng)過(guò)了坡(圖29中的曲線(xiàn)B),則加載高頻帶通濾波器
(步驟199),并在相反方向上移動(dòng)鏡頭直到找到更高的"坡"的峰(圖 29中的曲線(xiàn)A)為止。峰聚焦值可以使用多個(gè)像素的加權(quán)平均值或峰值。 "通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)非常精確，這是因?yàn)檫@些系統(tǒng)直接根據(jù) 利用高質(zhì)量拍攝鏡頭所拍攝的自動(dòng)聚焦圖像來(lái)測(cè)量聚焦質(zhì)量。遺憾的 是，"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)由于必須拍攝和比較大量自動(dòng)聚焦圖像 而在確定聚焦設(shè)置時(shí)可能會(huì)相對(duì)較慢。例如，"通過(guò)透鏡"自動(dòng)調(diào)焦系 統(tǒng)可能需要0.5-2.0秒之長(zhǎng)來(lái)確定聚焦?fàn)顟B(tài)。
因此，在一些數(shù)字照相機(jī)中，兩種自動(dòng)調(diào)焦系統(tǒng)凈皮一起用于混合系 統(tǒng)中，在所述混合系統(tǒng)中，使用基于測(cè)距器的自動(dòng)調(diào)焦系統(tǒng)來(lái)提供可調(diào) 焦距鏡頭的快速估計(jì)，隨后利用"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)來(lái)細(xì)化聚焦 設(shè)置。例如，以Misawa的名義于2005年3月8日 一皮:i受權(quán)且發(fā)明名稱(chēng)為
"Focusing Apparatus for Adjusting Focus of an Optical Instrument" 的美 國(guó)專(zhuān)利第6,864,474號(hào)描述了基于測(cè)距器的自調(diào)焦系統(tǒng)與"通過(guò)透鏡" 自動(dòng)調(diào)焦系統(tǒng)的協(xié)同使用。在Misawa中，通過(guò)基于測(cè)距器的自動(dòng)調(diào)焦 系統(tǒng)和"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)兩者來(lái)確定可調(diào)焦距拍攝鏡頭的聚焦 位置。存儲(chǔ)通過(guò)基于測(cè)距器的自動(dòng)調(diào)焦系統(tǒng)所確定的可調(diào)焦距拍攝鏡頭 位置與通過(guò)"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)所確定的可調(diào)焦距拍攝鏡頭位置之間的差以供將來(lái)參考。在隨后的圖像拍攝階段中，使用所存儲(chǔ)的差信 息來(lái)細(xì)化在"爬坡"方法中由"通過(guò)透鏡"自動(dòng)調(diào)焦系統(tǒng)為了確定最佳 聚焦的可調(diào)焦距鏡頭位置而拍攝和分析的自動(dòng)聚焦圖像的數(shù)量，從而在 測(cè)距器系統(tǒng)是精確的情況下減小拍攝和處理的自動(dòng)聚焦圖像的數(shù)量，并 在測(cè)距器不精確的情況下增大拍攝和處理的自動(dòng)調(diào)焦圖像的數(shù)量。但
是，Misawa所述的方法有i定測(cè)距器、可調(diào)焦距拍攝鏡頭系統(tǒng)和控制系 統(tǒng)的性能相對(duì)于時(shí)間是一致的，沒(méi)有隨著環(huán)境條件的變化而波動(dòng)，相對(duì) 于時(shí)間也沒(méi)有其他變化或漂移。
在圖像對(duì)焦后，典型地，"爬坡"方法在當(dāng)前被聚焦的被攝體附近 橫跨遞增的距離而運(yùn)行。然后，在重新聚焦圖像時(shí)，"爬坡"方法通常 判斷任意鏡頭移動(dòng)是否正步進(jìn)"上坡或下坡，，，并為新的最大值而復(fù)位 鏡頭。實(shí)際上，這意味著如果鏡頭移動(dòng)步進(jìn)"下坡"，則立即將鏡頭運(yùn) 動(dòng)反向，以尋找現(xiàn)有被攝體的新的最大值。這在視頻聚焦中是特定問(wèn)題， 其中在視頻聚焦中，遠(yuǎn)離當(dāng)前被攝體 一 定距離的新的被攝體可能進(jìn)入圖 像且不能由"爬坡"方法檢測(cè)到，甚至新的被攝體可能存在對(duì)比度形式 的更大的"坡"。響應(yīng)于該問(wèn)題的一種方式被稱(chēng)為"整體方式"自動(dòng)調(diào) 焦，在該方式下，自動(dòng)調(diào)焦^t塊在確定聚焦位置之前查看拍攝鏡頭可辨 別的所有距離。
共同轉(zhuǎn)讓的美國(guó)專(zhuān)利第6，441,855號(hào)說(shuō)明了 "整體方式"自動(dòng)調(diào)焦 方法，在該方法中，調(diào)焦裝置包括被適配為橫跨整個(gè)調(diào)焦范圍移動(dòng)到不 同位置的可移動(dòng)調(diào)焦鏡頭、用于將入射到調(diào)焦鏡頭并透射過(guò)調(diào)焦鏡頭的 光轉(zhuǎn)換為信號(hào)的轉(zhuǎn)換元件以及用于移動(dòng)調(diào)焦鏡頭的鏡頭驅(qū)動(dòng)機(jī)構(gòu)。調(diào)焦 裝置還包括用于基于來(lái)自轉(zhuǎn)換元件的信號(hào)計(jì)算調(diào)焦鏡頭的每個(gè)位置的 聚焦估計(jì)值的聚焦估計(jì)值計(jì)算單元。聚焦估計(jì)值計(jì)算單元僅提取與所限 定的聚焦區(qū)域(例如在圖像的中央)中的像素相對(duì)應(yīng)的信號(hào)，其中該聚 焦區(qū)域進(jìn)一步被分為九"塊"，即通過(guò)將聚焦區(qū)域分割為用作觀察區(qū)域 的少量的行和列而獲得的塊。
在計(jì)算聚焦估計(jì)值時(shí)，對(duì)于不同的距離設(shè)置，首先針對(duì)聚焦估計(jì)值
的計(jì)算是否已經(jīng)重復(fù)了例如十次的特定次數(shù)進(jìn)行判斷。當(dāng)判斷為否時(shí)， 調(diào)焦鏡頭移動(dòng)預(yù)設(shè)的步寬，并重復(fù)該計(jì)算。因此，總是逐步地從無(wú)窮遠(yuǎn) 位置向最近位置來(lái)移動(dòng)調(diào)焦鏡頭，并且對(duì)于每一步移動(dòng)，都對(duì)每塊計(jì)算 聚焦估計(jì)值。對(duì)各塊進(jìn)行這些計(jì)算，從而為九個(gè)塊中的每一塊獲得十個(gè)鏡頭位置的聚焦估計(jì)值，包括橫跨總距離而找到的所有峰值。使用對(duì)各 鏡頭位置而獲得的十個(gè)總和作為聚焦估計(jì)值，將產(chǎn)生最大峰值的調(diào)焦鏡 頭位置確定為對(duì)焦鏡頭位置。然后，將鏡頭驅(qū)動(dòng)輸出應(yīng)用于鏡頭驅(qū)動(dòng)機(jī) 構(gòu)以使鏡頭移動(dòng)到確定出的對(duì)焦位置。
為了提供具有大的"光學(xué)變焦范圍，，的小尺寸數(shù)字照相機(jī)，如共同
轉(zhuǎn)讓的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)第11/062,174號(hào)中所述，數(shù)字照相機(jī)可以使 用具有不同焦距的鏡頭的多個(gè)圖像傳感器，其中，該美國(guó)專(zhuān)利申請(qǐng)的發(fā) 明名稱(chēng)為"使用多個(gè)鏡頭和圖像傳感器以提供改進(jìn)變焦范圍的數(shù)字照相 機(jī)(Digital Camera Using Multiple Lenses and Image Sensors to Provide a Improved Zoom Range )，，，于2005年2月18日以L(fǎng)abaziewicz等人的 名義提交，并且該專(zhuān)利的公開(kāi)內(nèi)容通過(guò)引用包含于此。例如，為了提供 10x光學(xué)變焦范圍，Kodak Easyshare V610雙鏡頭數(shù)字照相機(jī)包括 38-114mm (35 mm等效的)f/3.9-f/4.4鏡頭和130-380mm ( 35 mm等 效的)f/4.8鏡頭。然而，在該專(zhuān)利申請(qǐng)和產(chǎn)品這兩者中，每次僅使用這 兩個(gè)圖像傳感器中的一個(gè)。這兩個(gè)圖像傳感器沒(méi)有同時(shí)拍攝圖像。
于2003年1月30日公開(kāi)的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)US 2003/0020814 公開(kāi)了 一種具有多個(gè)拍攝光學(xué)系統(tǒng)的攝像設(shè)備，每個(gè)拍攝光學(xué)系統(tǒng)各自 耦合到CCD圖像傳感器，并且所述多個(gè)拍攝光學(xué)系統(tǒng)包括具有較短焦 距的第一系統(tǒng)和具有較長(zhǎng)焦距的第二系統(tǒng)。在該公開(kāi)中所說(shuō)明的各實(shí)施 例中，兩個(gè)鏡頭可以提供不同的焦距范圍(包括一個(gè)系統(tǒng)具有固定焦距， 另一個(gè)系統(tǒng)具有變焦鏡頭)，或者這兩個(gè)鏡頭均可以是凈皮設(shè)置為兩個(gè)不 同焦距設(shè)置的固定焦距鏡頭。在各自的每種情況下，選擇單元都基于由 拍攝狀態(tài)獲取單元確定出的諸如測(cè)量出的距離或亮度的拍攝狀態(tài)，自動(dòng) 選擇來(lái)自拍攝光學(xué)系統(tǒng)的其中一個(gè)的拍攝信號(hào)，而非獲得用戶(hù)輸入。使 用單獨(dú)的距離傳感器來(lái)提供這些系統(tǒng)的自動(dòng)調(diào)焦。兩個(gè)CCD圖像傳感
器均未用于自動(dòng)調(diào)焦操作。
于2003年8月23日公開(kāi)的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)US 2003/0160886 公開(kāi)了具有相互獨(dú)立的兩個(gè)拍攝系統(tǒng)的數(shù)字照相機(jī)。 一個(gè)實(shí)施例示出了 各自生成圖像的包括單焦距"普通才莫式，，鏡頭的一個(gè)系統(tǒng)和包括變焦"遠(yuǎn) 距模式，，的另一個(gè)系統(tǒng)。操作者致動(dòng)切換開(kāi)關(guān)判斷要記錄哪個(gè)圖像。還 結(jié)合單獨(dú)的拍攝系統(tǒng)公開(kāi)了自動(dòng)調(diào)焦，其中用于一個(gè)系統(tǒng)中的"爬坡" 對(duì)比度比較技術(shù)補(bǔ)充用于另一個(gè)系統(tǒng)中的"爬坡"對(duì)比度比較技術(shù)。當(dāng)期望從遠(yuǎn)距模式光學(xué)系統(tǒng)拍攝圖像時(shí)，通過(guò)普通模式光學(xué)系統(tǒng)(其中焦 深相對(duì)大)進(jìn)行粗略自動(dòng)調(diào)焦搜索(其中可以以多步間隔來(lái)驅(qū)動(dòng)步進(jìn)電 動(dòng)機(jī))。該粗略搜索導(dǎo)致包括聚焦位置的焦距范圍的減小。使用普通才莫 式光學(xué)系統(tǒng)所提供的焦距范圍信息，將遠(yuǎn)距^t式光學(xué)系統(tǒng)驅(qū)動(dòng)到減小的 焦距范圍的一端處的自動(dòng)調(diào)焦搜索開(kāi)始位置。然后，僅在由普通模式自 動(dòng)調(diào)焦搜索所確定出的減小的焦距范圍中，通過(guò)遠(yuǎn)距模式光學(xué)系統(tǒng)(其 中焦深相對(duì)較短)進(jìn)行精細(xì)自動(dòng)調(diào)焦搜索。(當(dāng)期望從普通;f莫式光學(xué)系 統(tǒng)拍攝圖像時(shí)，僅通過(guò)普通模式光學(xué)系統(tǒng)進(jìn)行自動(dòng)調(diào)焦搜索，而遠(yuǎn)距模 式光學(xué)系統(tǒng)不參與自動(dòng)調(diào)焦搜索。)
在不依賴(lài)于上述粗略搜索和精細(xì)搜索的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)US 2003/0160886中的另一實(shí)施例中，在逐步地驅(qū)動(dòng)笫 一光學(xué)系統(tǒng)的調(diào)焦鏡 頭以從無(wú)窮遠(yuǎn)距離設(shè)置向著最近距離位置移動(dòng)的同時(shí)進(jìn)行"爬坡"對(duì)比 度比較搜尋，并在逐步地驅(qū)動(dòng)第二光學(xué)系統(tǒng)的調(diào)焦鏡頭以從最近位置向 著無(wú)窮遠(yuǎn)設(shè)置移動(dòng)的同時(shí)進(jìn)行第二 "爬坡，，對(duì)比度比較搜尋。盡管系統(tǒng) 通常都不需要移動(dòng)通過(guò)其整個(gè)范圍，然而該過(guò)程繼續(xù)，直到定位了最大
對(duì)比度位置為止。這導(dǎo)致減少了用于檢測(cè)聚焦位置的時(shí)間段。在該實(shí)施 例中，每一個(gè)光學(xué)系統(tǒng)可以用于拍攝圖像和聚焦調(diào)節(jié)，或者一個(gè)光學(xué)系 統(tǒng)可以用于拍攝圖像和焦距調(diào)節(jié)，另 一個(gè)光學(xué)系統(tǒng)可以?xún)H用于攝像光學(xué) 系統(tǒng)的焦距調(diào)節(jié)。在另一實(shí)施例中，在非拍攝光學(xué)系統(tǒng)首先確定聚焦位 置的情況下，將拍攝光學(xué)系統(tǒng)驅(qū)動(dòng)到該位置，然后通過(guò)攝像光學(xué)系統(tǒng)進(jìn) 行精細(xì)調(diào)節(jié)。
這些現(xiàn)有技術(shù)的系統(tǒng)的問(wèn)題在于或者必須使用單獨(dú)的自動(dòng)調(diào)焦傳 感器(因此增加成本)或者由于使用用于拍攝圖像的相同傳感器來(lái)進(jìn)行 自動(dòng)調(diào)焦由此通常存在顯著的"快門(mén)延遲"。而且，單獨(dú)的自動(dòng)調(diào)焦傳 感器通常是測(cè)距器，并且如上所述，雙鏡頭測(cè)距器才莫塊和可調(diào)焦距鏡頭 位置之間的校準(zhǔn)在數(shù)字照相機(jī)的常規(guī)操作環(huán)境下不穩(wěn)定。在利用"通過(guò) 透鏡"拍攝系統(tǒng)進(jìn)行自動(dòng)調(diào)焦的情況下，由于必須拍攝和比較大量自動(dòng) 聚焦圖像，因而在確定聚焦設(shè)置時(shí)處理可能相對(duì)慢。根據(jù)前述美國(guó)專(zhuān)利 申請(qǐng)公開(kāi)號(hào)US 2003/0160886，該問(wèn)題可以多少被緩和，但是在隨著4皮 攝體改變或運(yùn)動(dòng)而快速實(shí)現(xiàn)聚焦時(shí)，或者當(dāng)操作者選擇將拍攝功能從一 個(gè)拍照系統(tǒng)改變到另 一個(gè)時(shí)快速交換光學(xué)系統(tǒng)的調(diào)焦需求時(shí)，仍然存在 困難。
12在視頻拍攝時(shí)出現(xiàn)一個(gè)特殊問(wèn)題，其中從相同的 一 系列靜止圖像或 組成視頻圖像的幀來(lái)得到自動(dòng)聚焦圖像。因此，自動(dòng)調(diào)焦的處理可能導(dǎo)
致每當(dāng)場(chǎng)景改變時(shí)在視頻中生成5-20個(gè)或更多的離焦視頻圖像。結(jié)果， 在隨著照相機(jī)的平移運(yùn)動(dòng)(其中場(chǎng)景連續(xù)變化)進(jìn)行視頻拍攝期間，在 自動(dòng)調(diào)焦系統(tǒng)搜索正確的聚焦時(shí)大部分視頻實(shí)際上離焦。進(jìn)一步的問(wèn)題 在于在視頻拍攝期間，許多幀由于利用使用"爬坡方法"進(jìn)行聚焦的自 動(dòng)調(diào)焦系統(tǒng)而離焦。
在發(fā)明名稱(chēng)為"使用多個(gè)鏡頭和圖像傳感器提供改善的調(diào)焦能力的 照相機(jī)(Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability)，，且以John Border等人的名義與本發(fā)明同日提交的 共同待決、共同轉(zhuǎn)讓的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)(案巻號(hào)93231 )中，前述 問(wèn)題在多鏡頭數(shù)字照相機(jī)中得到解決，在該多鏡頭數(shù)字照相機(jī)中，使用 兩個(gè)(或更多)攝像平臺(tái)來(lái)單獨(dú)拍攝相同場(chǎng)景的圖像，以使得一個(gè)攝像 平臺(tái)可以用于自動(dòng)調(diào)焦，而其它平臺(tái)用于拍攝靜止圖像或視頻。這可以 在不過(guò)度增大數(shù)字照相機(jī)的大小和成本的情況下在靜止和視頻模式這 兩者下提供精確、快速的自動(dòng)調(diào)焦。
在本發(fā)明所公開(kāi)的實(shí)施例中的一個(gè)中，這樣的照相機(jī)提供兩個(gè)可工 作在測(cè)距器配置中的分離的攝像平臺(tái)，以對(duì)用于拍攝圖像的平臺(tái)進(jìn)行自 動(dòng)調(diào)焦。除自動(dòng)調(diào)焦，該方法還提供用于使用圖像來(lái)識(shí)別和映射到圖像 區(qū)域的各個(gè)部分的距離的多個(gè)其它可能性。因此需要一種通過(guò)利用兩個(gè) 圖像來(lái)提供改進(jìn)的和擴(kuò)展的測(cè)距能力以支持范圍映射功能的具有雙拍 攝系統(tǒng)的數(shù)字照相機(jī)。

發(fā)明內(nèi)容
本發(fā)明的 一 個(gè)目的是在多鏡頭數(shù)字照相機(jī)中提供用于測(cè)量到正在 拍攝的場(chǎng)景的各個(gè)部分的距離的改進(jìn)的能力。
本發(fā)明的另一個(gè)目的是根據(jù)到正在拍攝的場(chǎng)景的各個(gè)部分的距離 提供范圍映射。
本發(fā)明的又一目的是利用正在拍攝的場(chǎng)景的各個(gè)部分的GPS坐標(biāo) 來(lái)填充范圍映射。
致力于克服上面提出的問(wèn)題中的一個(gè)或多個(gè)的本發(fā)明涉及一種電 子照相機(jī)，該電子照相機(jī)用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖像。簡(jiǎn)而言之，根據(jù)本發(fā)明的第一實(shí)施例，本發(fā)明包括
第 一攝像平臺(tái)，其包括用于生成第 一傳感器輸出的第 一 圖像傳感器 和用于在所述第一圖像傳感器上形成場(chǎng)景的第一圖像的第一鏡頭；
第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的第二圖像傳感器
和用于在所述第二圖像傳感器上形成場(chǎng)景的第二圖像的第二鏡頭；以及 處理平臺(tái)，用于使用來(lái)自攝像平臺(tái)中的一個(gè)的傳感器輸出作為所拍 攝的圖像信號(hào)并使用來(lái)自這兩個(gè)攝像平臺(tái)的圖像來(lái)生成標(biāo)識(shí)到所述場(chǎng) 景的不同部分的距離的范圍映射。
為了生成范圍映射，處理平臺(tái)可以將第一圖像和第二圖像相關(guān)聯(lián)， 以針對(duì)圖像的不同部分確定圖像之間的像素偏移，將所述像素偏移轉(zhuǎn)換 成距離所述電子照相機(jī)的距離，并生成示出到圖像的不同部分的距離的 范圍映射。另外，當(dāng)?shù)谝缓偷诙R頭具有不同的焦距時(shí)，處理平臺(tái)對(duì)來(lái) 自較小焦距的鏡頭的圖像進(jìn)行剪切和上采樣，以使得兩個(gè)圖像中的相應(yīng) 的特征跨越相同數(shù)量的像素。另外，所述處理平臺(tái)可以使用測(cè)距器校準(zhǔn) 曲線(xiàn)來(lái)將像素偏移轉(zhuǎn)換成距離電子照相機(jī)的距離。
在本發(fā)明的另 一個(gè)方面中，所述照相機(jī)還包括用于提供電子照相機(jī) 的位置的GPS坐標(biāo)的全球定位(GPS)單元和用于提供照相機(jī)的指向方 向的電子羅盤(pán)。因此，處理平臺(tái)使用照相機(jī)的位置的GPS坐標(biāo)、照相機(jī) 的指向方向和來(lái)自范圍映射的距離偏移，以便生成場(chǎng)景的各部分的GPS
坐標(biāo)。在每種情況下，可以使用范圍映射來(lái)修改所拍攝的圖像。
簡(jiǎn)而言之，本發(fā)明一般地包括在多鏡頭數(shù)字照相機(jī)中使用兩個(gè)(或 更多)攝像平臺(tái)，其中攝像平臺(tái)包括傳感器、鏡頭和鏡頭聚焦調(diào)節(jié)器， 在多鏡頭數(shù)字照相機(jī)中，所述攝像平臺(tái)被用于測(cè)距器配置中以分離地拍 攝相同場(chǎng)景的部分的圖像?？梢詫⒂蛇@兩個(gè)(或更多)攝像平臺(tái)所拍攝 的圖像進(jìn)行相互比較，以為了自動(dòng)調(diào)焦控制和產(chǎn)生范圍映射的目的而測(cè) 量到場(chǎng)景的各部分的距離。另夕卜，可以利用場(chǎng)景的各部分的GPS位置來(lái) 填充范圍映射。
因此，在利用本發(fā)明時(shí)，有益地?cái)?shù)字照相機(jī)提供靜止和視頻模式兩 者下的精確、快速的自動(dòng)調(diào)焦，而不會(huì)過(guò)分地增大數(shù)字照相機(jī)的大小或 成本。另外，另一個(gè)優(yōu)點(diǎn)在于這兩個(gè)攝像平臺(tái)可以一起用于測(cè)距器模式 下以產(chǎn)生范圍映射，照相機(jī)可以^皮配置為在范圍映射中確定場(chǎng)景的各個(gè) 部分的GPS位置，如果給定了GPS位置，則可以識(shí)別場(chǎng)景中的被攝體
14的身份，并對(duì)其進(jìn)行分類(lèi),
考附圖，可以更清楚地理解和領(lǐng)會(huì)到本發(fā)明的這些和其它方面 特征和優(yōu)點(diǎn)。
目的

圖1示出根據(jù)本發(fā)明的使用具有第 一 圖像傳感器的第 一變焦鏡頭和 具有第二圖像傳感器的第二變焦鏡頭的數(shù)字照相機(jī)的第 一 實(shí)施例的框圖。
圖2A和2B是圖1所示的數(shù)字照相機(jī)的兩個(gè)全景圖。
圖3示出表示根據(jù)圖1所示的數(shù)字照相機(jī)的第一實(shí)施例的、用于進(jìn) 行自動(dòng)調(diào)焦并拍攝數(shù)字靜止圖像的方法的流程圖。
圖4示出表示用于使用利用兩個(gè)攝像平臺(tái)的測(cè)距器方法進(jìn)行自動(dòng)調(diào) 焦的方法的流程圖。
圖5示出表示用于使用利用兩個(gè)攝像平臺(tái)的"爬坡方法"進(jìn)行自動(dòng) 調(diào)焦的方法的流程圖。
圖7示出表示用于生成自動(dòng)調(diào)i、"爬^方法"A準(zhǔn)曲線(xiàn)的方法的流 程圖。
圖8示出表示用于使用圖1所示的數(shù)字照相機(jī)進(jìn)行自動(dòng)調(diào)焦并拍攝 數(shù)字視頻圖像的方法的流程圖。
圖9示出表示用于以利用兩個(gè)攝像平臺(tái)的測(cè)距器方法進(jìn)行自動(dòng)調(diào)焦 的方法的流程圖。
圖10示出表示用于以利用兩個(gè)攝像平臺(tái)的"爬坡方法"進(jìn)行自動(dòng) 調(diào)焦的方法的流程圖。
圖11示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于利用兩個(gè)攝像平臺(tái)生成 范圍映射的方法。
圖12示出使用具有第一圖像傳感器的第一固定焦距鏡頭和具有第 二圖像傳感器的第二(變焦)鏡頭的數(shù)字照相機(jī)的另一實(shí)施例的框圖。
圖13示出使用具有笫一圖像傳感器的第一固定焦距鏡頭、具有第 二圖像傳感器的第二(變焦)鏡頭以及具有第三圖像傳感器的第三(變 焦)鏡頭的數(shù)字照相機(jī)的另一實(shí)施例的框圖。圖14示出表示用于通過(guò)使用來(lái)自?xún)蓚€(gè)攝像平臺(tái)的圖像來(lái)增強(qiáng)圖像 景深的方法的流程圖。
圖15A和圖15B示出根據(jù)數(shù)字照相機(jī)的另一實(shí)施例的具有兩個(gè)攝 像平臺(tái)的移動(dòng)電話(huà)照相機(jī)的圖。
圖16A和圖16B示出移動(dòng)電話(huà)照相機(jī)的在單個(gè)平臺(tái)中包括兩個(gè)攝 像平臺(tái)的平臺(tái)的圖。
圖17A和圖17B是利用兩個(gè)攝像平臺(tái)拍攝的、示出用來(lái)根據(jù)本發(fā)明 確定到場(chǎng)景的部分的距離的兩個(gè)圖像之間的偏移的圖像的代表。
圖18示出根據(jù)本發(fā)明的用于確定場(chǎng)景的部分的GPS位置的方法的 流程圖。
圖19示出用于選擇雙鏡頭照相機(jī)系統(tǒng)中的攝像平臺(tái)的其中一個(gè)作 為主拍攝單元、而將另一攝像平臺(tái)降級(jí)為其它功能(諸如場(chǎng)景分析)的 流程圖。
圖20示出表示用于場(chǎng)景分析的非主拍攝單元的使用的流程圖。
圖21示出表示無(wú)論何時(shí)場(chǎng)景狀態(tài)的變化超過(guò)閾值時(shí)用于場(chǎng)景分析 的非主拍攝單元的使用的流程圖。
圖22示出表示主拍攝單元和用于場(chǎng)景分析的非主拍攝單元這兩者 的使用的流程圖。
圖23示出表示拍攝單元的功能的轉(zhuǎn)換的流程圖，即將當(dāng)前的場(chǎng)景 分析和主拍攝單元分別重設(shè)為主拍攝單元和場(chǎng)景分析拍攝單元。
圖24示出表示具體地在拍攝處理期間使用由主拍攝平臺(tái)拍攝的預(yù) 覽圖像來(lái)設(shè)置主拍攝平臺(tái)的拍攝單元參數(shù)的流程圖。
圖25示出表示具體地在拍攝處理期間使用由主拍攝平臺(tái)拍攝的預(yù) 覽圖像和由非拍攝平臺(tái)拍攝的場(chǎng)景分析圖像來(lái)設(shè)置主拍攝平臺(tái)的拍攝 單元參數(shù)的流程圖。
圖26示出表示使用由主拍攝平臺(tái)拍攝的主圖像和由非拍攝平臺(tái)拍 攝的補(bǔ)充圖像來(lái)產(chǎn)生增強(qiáng)圖像的流程圖。
圖27示出表示傳統(tǒng)的雙鏡頭測(cè)距器的操作的圖。
圖28示出傳統(tǒng)的"爬坡"對(duì)比度自動(dòng)調(diào)焦算法的流程圖。
圖29示出從用于分離圖像的成分的濾波器中獲得的聚焦值和"爬 坡"自動(dòng)調(diào)焦方法的鏡頭位置之間的關(guān)系。
1具體實(shí)施例方式
因?yàn)椴捎脭z像裝置和用于信號(hào)處理的相關(guān)電路的數(shù)字照相機(jī)眾所周知，因此本說(shuō)明書(shū)將尤其針對(duì)形成根據(jù)本發(fā)明的設(shè)備的部分的元件，或更直接地與該設(shè)備相互協(xié)作的元件。這里沒(méi)有具體示出或說(shuō)明的元件可以從現(xiàn)有技術(shù)已知的元件中選擇。要說(shuō)明的實(shí)施例的特定方面可以設(shè)置在軟件中。假定根據(jù)本發(fā)明在以下材料中所示和所述的系統(tǒng)，這里沒(méi)有具體示出、說(shuō)明或建議出的對(duì)實(shí)現(xiàn)本發(fā)明有用的軟件是傳統(tǒng)的，且屬
于這些技術(shù)的常用手段。
這里說(shuō)明的若干實(shí)施例中的每個(gè)均包括諸如數(shù)子照相機(jī)(靜止的或視頻的)或者數(shù)字掃描器的具有多個(gè)攝像平臺(tái)的攝像組件，每個(gè)攝像平臺(tái)包括鏡頭和圖像傳感器，其中，多個(gè)攝像平臺(tái)的鏡頭具有不同的焦距以為攝像組件提供擴(kuò)展的光學(xué)變焦范圍。本發(fā)明構(gòu)思使用多個(gè)攝像平臺(tái)，以附加地提供增強(qiáng)的測(cè)距性能。通過(guò)使用用于攝像和自動(dòng)調(diào)焦的攝像平臺(tái)，在提高拍攝到的靜止和視頻圖像的清晰度并提高自動(dòng)調(diào)焦系統(tǒng)的響應(yīng)速度的同時(shí)，能夠消除專(zhuān)用的自動(dòng)調(diào)焦模塊，從而降低攝像組件的成本和大小。除它們的自動(dòng)調(diào)焦用途外，根據(jù)本發(fā)明這些相同的圖像還可以用于提供范圍映射。
存在可以使用一個(gè)攝像平臺(tái)用于拍攝數(shù)字靜止圖像或視頻圖像而同時(shí)使用另一攝像平臺(tái)用于諸如增強(qiáng)的自動(dòng)調(diào)焦、生成副圖像、產(chǎn)生范圍映射等的其它目的的多個(gè)實(shí)施例。在這里所述的第一實(shí)施例中，當(dāng)用戶(hù)已經(jīng)將變焦位置設(shè)置到第一光學(xué)變焦范圍內(nèi)時(shí)，包含第一(例如，變焦)鏡頭的第 一攝像平臺(tái)用于拍攝靜止圖像或視頻序列中的 一 系列圖像，而第二攝像平臺(tái)為了第一攝像平臺(tái)的自動(dòng)調(diào)焦而同時(shí)提供圖像。由于第二攝像平臺(tái)沒(méi)有用于拍攝圖像，因此第二攝像平臺(tái)中的鏡頭的聚焦?fàn)顟B(tài)能夠在例如峰對(duì)比度位置的周?chē)?例如，"爬坡，，自動(dòng)調(diào)焦)或從附近的聚焦位置到無(wú)窮遠(yuǎn)聚焦位置(例如，"整體方式"自動(dòng)調(diào)焦)的更廣的范圍上進(jìn)行調(diào)整，以在不會(huì)不利地影響由第 一攝像平臺(tái)拍攝的圖像的聚焦質(zhì)量的情況下確定第一攝像平臺(tái)中的鏡頭的新的最佳聚焦設(shè)置。當(dāng)已使用第二攝像平臺(tái)確定了新的最佳聚焦?fàn)顟B(tài)時(shí)，第一攝像平臺(tái)的聚焦?fàn)顟B(tài)從先前的最佳聚焦?fàn)顟B(tài)改變?yōu)樾碌淖罴丫劢範(fàn)顟B(tài)。
當(dāng)用戶(hù)將攝像組件上的變焦位置調(diào)整為第二光學(xué)變焦范圍時(shí)，照相機(jī)自動(dòng)進(jìn)行切換以使用第二攝像平臺(tái)(包含例如笫二變焦鏡頭)來(lái)拍攝圖像，并且開(kāi)始使用第一攝像平臺(tái)用于第二攝像平臺(tái)的自動(dòng)調(diào)焦。因?yàn)閮蓚€(gè)鏡頭具有不同的焦距，因此它們具有不同的放大率。因此，可以根據(jù)放大率的這種不同調(diào)整用于確定自動(dòng)調(diào)焦的數(shù)字濾波器，以補(bǔ)償放大率的不同。
在該實(shí)施例的變形中， 一起使用兩個(gè)攝像平臺(tái)來(lái)形成類(lèi)似于雙鏡頭測(cè)距器但具有更高的分辨率的高分辨率測(cè)距器，該更高的分辨率由這兩個(gè)高分辨率攝像平臺(tái)以及兩個(gè)攝像平臺(tái)中的兩個(gè)鏡頭之間的更大的分離距離而提供。在該變形中，可以使用第一攝像平臺(tái)來(lái)使用"爬坡"對(duì)
比度比較方法來(lái)提供初始的精確自動(dòng)調(diào)焦；隨后，可以結(jié)合作為以差分^t式工作的高分辨率測(cè)距器的第二攝像平臺(tái)來(lái)使用第 一攝像平臺(tái)，以在拍攝數(shù)字靜止圖像之前或在視頻拍攝之前或期間檢測(cè)需要重新調(diào)焦的到場(chǎng)景的距離的變化。通過(guò)使用差分模式下的測(cè)距器，即，辨別從已聚焦的位置到在附近改變的聚焦位置的距離的變化，降低了環(huán)境變化對(duì)測(cè)距器的精度的影響。
在這里所述的另 一實(shí)施例中，在通過(guò)第 一攝像平臺(tái)拍攝數(shù)字靜止圖像或拍攝視頻圖像之前，使用"爬坡"對(duì)比度比較方法來(lái)同時(shí)對(duì)兩個(gè)攝像平臺(tái)進(jìn)行自動(dòng)調(diào)焦。然后，第二攝像平臺(tái)通過(guò)測(cè)量圖像的對(duì)比度來(lái)繼續(xù)檢查聚焦；當(dāng)檢測(cè)到對(duì)比度的變化時(shí)，使用第二攝像平臺(tái)執(zhí)行使用"爬坡"對(duì)比度比較方法的第二自動(dòng)調(diào)焦操作，以確定聚焦?fàn)顟B(tài)的變化。然后，將第 一攝像平臺(tái)的聚焦改變與使用第二攝像平臺(tái)確定出的聚焦變化成比例的量。同樣，從由"爬坡"自動(dòng)調(diào)焦所建立的位置開(kāi)始執(zhí)行差分聚焦改變測(cè)量，以提高自動(dòng)調(diào)焦處理的準(zhǔn)確度。
如在本發(fā)明的背景技術(shù)中提到的，在視頻拍攝期間出現(xiàn)一個(gè)特殊問(wèn)題，其中從一系列相同的靜止圖像或構(gòu)成視頻圖像的幀中得到自動(dòng)聚焦圖像。例如，在隨著照相機(jī)的平移運(yùn)動(dòng)(其中場(chǎng)景連續(xù)變化)進(jìn)行視頻拍攝期間，在自動(dòng)調(diào)焦系統(tǒng)搜索正確的聚焦時(shí)大部分視頻實(shí)際上離焦。而且，由于利用使用"爬坡方法"進(jìn)行聚焦的自動(dòng)調(diào)焦系統(tǒng)進(jìn)行聚焦而使得許多幀離焦，如前所述，在感興趣的被攝體在場(chǎng)景中突然移動(dòng)的特定情況下可能不能辨別改變的聚焦。
因此，在前述實(shí)施例的變形中，當(dāng)用戶(hù)已將變焦位置設(shè)置在第一光學(xué)變焦范圍內(nèi)時(shí)，使用包括第一變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的第一攝像平臺(tái)來(lái)設(shè)置用于拍攝諸如視頻圖像的圖像的初始聚焦，而包括第二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的第二攝像平臺(tái)同時(shí)提供連
續(xù)的"整體方式"自動(dòng)調(diào)焦輸入圖像，以判斷是否應(yīng)該由于祐:攝體運(yùn)動(dòng)而調(diào)節(jié)第一變焦鏡頭的聚焦。由于第二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器沒(méi)有用于拍攝運(yùn)動(dòng)圖像，因而能夠?qū)⒔咕鄰慕劢拐{(diào)整到無(wú)窮遠(yuǎn)位置，以便在不影響所拍攝的運(yùn)動(dòng)圖像的情況下確定最佳聚焦設(shè)置。當(dāng)用戶(hù)將變焦位置調(diào)整到第 一變焦范圍的外部時(shí)，照相機(jī)自動(dòng)切換至第二攝像平臺(tái)，使用第二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器拍攝運(yùn)動(dòng)序列，并開(kāi)始使用具有第一變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的第一攝像平臺(tái)來(lái)同時(shí)判斷是否應(yīng)該由于被攝體運(yùn)動(dòng)而調(diào)節(jié)第二變焦鏡頭的聚焦。在如這里所述的根據(jù)本發(fā)明的一個(gè)實(shí)施例中，將兩個(gè)攝像平臺(tái)配置為高分辨率測(cè)距器，以確定到以范圍映射的形式的場(chǎng)景的不同部分的距離。然后，為了多種目的，使用范圍映射來(lái)更改拍攝到的圖像信號(hào)或輸
出圖像，其中，所述多種目的諸如(但不限于)改善圖像處理并使得能夠改善圖像質(zhì)量；改進(jìn)圖像內(nèi)的被攝體識(shí)別；使得能夠從圖像中提取被攝體；使能在多個(gè)圖像內(nèi)對(duì)被攝體的運(yùn)動(dòng)追蹤；使得能夠通過(guò)模糊期望景深外的被攝體而降低圖像的景深；改善圖像內(nèi)的動(dòng)態(tài)范圍；降低由使用閃光燈而引起的曝光問(wèn)題；以及改善圖像內(nèi)的場(chǎng)景平衡。
如上面提到的，可以使用來(lái)自?xún)蓚€(gè)攝像平臺(tái)的圖像來(lái)產(chǎn)生標(biāo)識(shí)到場(chǎng)景的不同部分的距離的范圍映射。在這里所述的根據(jù)本發(fā)明的另 一實(shí)施例中，照相機(jī)還包括用于提供照相機(jī)的位置的GPS坐標(biāo)的GPS單元和用于提供照相機(jī)的指向方向的電子羅盤(pán)。因此，可以使用照相機(jī)的位置的GPS坐標(biāo)、照相機(jī)的指向方向以及來(lái)自范圍映射的距離偏移，以便產(chǎn)生場(chǎng)景的各部分的GPS坐標(biāo)。
在這里所述的另一個(gè)實(shí)施例中，使用包括第一變焦鏡頭和笫一圖像傳感器的第一攝像平臺(tái)來(lái)拍攝第一 (即，主)焦距處的第一 (即，主)靜止圖像，而使用包括第二變焦鏡頭和第二圖像傳感器的第二攝像平臺(tái)來(lái)同時(shí)拍攝第二 (即，副)焦距處的第二 (即，副)靜止圖像。使用來(lái)自第二攝像平臺(tái)的傳感器輸出用作用于修改主輸出圖像的副輸出圖像，從而生成增強(qiáng)的主圖像信號(hào)。例如，使用副靜止圖像來(lái)提供增強(qiáng)信號(hào)，該增強(qiáng)信號(hào)可以例如對(duì)位于副焦距附近的主靜止圖像的部分進(jìn)行銳化或者可以修改主靜止圖像的動(dòng)態(tài)范圍。
圖1示出根據(jù)本發(fā)明第一實(shí)施例的攝像組件10A的框圖。盡管不是
19本發(fā)明的基本方面，然而攝像組件10A優(yōu)選地為便攜式電池供電的裝置，足夠小以使得在拍攝和回放圖像時(shí)用戶(hù)能夠容易地手持。在優(yōu)選實(shí)施例中，攝像組件IOA是生成存儲(chǔ)在可移除存儲(chǔ)卡54上的靜止圖像和運(yùn)動(dòng)視頻圖像這兩者的數(shù)字照相機(jī)?？蛇x地，數(shù)字照相機(jī)可以?xún)H生成并存儲(chǔ)運(yùn)動(dòng)圖像或僅生成并存儲(chǔ)靜止圖像。
攝像組件10A包括兩個(gè)攝像平臺(tái)1和2,它們具有變焦鏡頭3和變焦鏡頭4。(盡管在大多數(shù)情況下每次僅一個(gè)平臺(tái)正在拍攝存儲(chǔ)在可移除存儲(chǔ)卡54上的圖像，然而以下在本說(shuō)明書(shū)中將這些平臺(tái)稱(chēng)為攝像平臺(tái)。)第一變焦鏡頭3由第一鏡頭聚焦調(diào)節(jié)器例如變焦和聚焦電動(dòng)機(jī)5a來(lái)控制，并將圖像提供給第一圖像傳感器12。第二變焦鏡頭4第二鏡頭聚焦調(diào)節(jié)器由例如變焦和聚焦電動(dòng)機(jī)5b來(lái)控制，并將圖像提供給第二圖像傳感器14。每個(gè)變焦鏡頭中的可調(diào)光圏和快門(mén)組件(未示出)用于控制向圖像傳感器12和14的曝光。
圖2A和2B示出關(guān)于圖1所述的攝像組件10A的全景圖。圖2A是攝像組件10A的前視圖，示出第一變焦鏡頭3、第二變焦鏡頭4和閃光燈48。圖2B是攝像組件IOA的后視圖，示出彩色LCD圖像顯示器70和多個(gè)用戶(hù)控制器42,所述多個(gè)用戶(hù)控制器42包括用于使能攝像序列的快門(mén)按鈕42a、用于使得能夠選擇變焦設(shè)置的變焦按鈕42c以及用于對(duì)在彩色LCD圖像顯示器70上顯示的圖像和菜單選項(xiàng)等進(jìn)行導(dǎo)航的多位置選擇器42d。
如圖l所示，攝像平臺(tái)l和2包括變焦鏡頭3和4以及圖像傳感器12和14。如圖2A所示，盡管變焦鏡頭3和4是垂直地偏移，然而變焦鏡頭3和4可以在諸如水平方向的其它方向上偏移。另外，根據(jù)本發(fā)明的另一實(shí)施例，變焦鏡頭3和4中的其中一個(gè)(或兩者)可以用固定焦距鏡頭來(lái)代替。在所有情況下，通常變焦鏡頭3和4以及傳感器12和14的光軸相對(duì)于彼此對(duì)準(zhǔn)以使得雖然通常具有不同視場(chǎng)但看到基本相同的場(chǎng)景。在前述共同轉(zhuǎn)讓的、其內(nèi)容通過(guò)引用包含于此的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)11/062,174中進(jìn)一步說(shuō)明了光學(xué)部件的配置，其中該專(zhuān)利包括使用兩個(gè)以上的攝像平臺(tái)的多個(gè)實(shí)施例。攝像平臺(tái)l和2中的變焦鏡頭3和4的配置可以包括折疊光路以改變揭J象平臺(tái)1和2的整體尺寸；然而，折疊光路在本發(fā)明的實(shí)施中不是必要的。
在優(yōu)選實(shí)施例中，圖像傳感器12和14是使用著名的拜爾(Bayer)
20彩色濾波器模式以拍攝彩色圖像的單芯片彩色百萬(wàn)像素CCD傳感器，但是可以同樣好地根據(jù)本發(fā)明使用諸如CMOS傳感器的其它傳感器和諸如條紋濾波器的其它顏色濾波器陣列而沒(méi)有限制。圖像傳感器12和14可以具有各種高寬比(例如4: 3圖像高寬比)，以及各種分辨率，例如，總共6.1MP有效百萬(wàn)像素(兆像素)，在該特別的情況下具有2848有效像素列x2144有效像素行。還應(yīng)該理解，圖像傳感器12和14不需要具有相同的規(guī)格。例如，在前述共同轉(zhuǎn)讓的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)11/062,174中所公開(kāi)的一些實(shí)施例中，圖像傳感器12和14的大小、分辨率、顏色濾波器陣列、光譜靈敏度和高寬比可以是不同的。
控制處理器和定時(shí)生成器40通過(guò)向時(shí)鐘驅(qū)動(dòng)器13提供信號(hào)來(lái)控制第一圖像傳感器12,并通過(guò)向時(shí)鐘驅(qū)動(dòng)器15提供信號(hào)來(lái)控制第二圖像傳感器14。控制處理器和定時(shí)生成器40還控制變焦和聚焦電動(dòng)機(jī)5a和5b、自動(dòng)曝光檢測(cè)器46、用戶(hù)控制器42、第一和第二數(shù)字多路轉(zhuǎn)接器控制元件34和36以及用于發(fā)射光以照亮場(chǎng)景的閃光燈48。如在早前參考圖2B所述那樣，用戶(hù)控制器42用于控制數(shù)字照相機(jī)10A的操作。
來(lái)自第一圖像傳感器12的模擬輸出信號(hào)12e通過(guò)第一模擬信號(hào)處理器22被放大并轉(zhuǎn)換成第一數(shù)字圖像信號(hào)。將數(shù)字化的第一數(shù)字圖像信號(hào)提供給第一數(shù)字多路轉(zhuǎn)接器控制元件34的笫一輸入以及第二數(shù)字多路轉(zhuǎn)接器控制元件36的第一輸入。來(lái)自第二圖像傳感器14的模擬輸出信號(hào)14e通過(guò)第二模擬信號(hào)處理器24被放大并轉(zhuǎn)換成第二數(shù)字圖像信號(hào)。將數(shù)字化的第二數(shù)字圖像信號(hào)提供給第一數(shù)字多路轉(zhuǎn)接器控制元件34的第二輸入以及第二數(shù)字多路轉(zhuǎn)接器控制元件36的第二輸入。第一多路轉(zhuǎn)接器34的功能是或者選擇來(lái)自第一圖像傳感器12的第一傳感器輸出12e或者選擇來(lái)自第二圖像傳感器14的第二傳感器輸出14e,作為攝像信號(hào)。第二多路轉(zhuǎn)接器36的功能是或者選擇來(lái)自第二圖像傳感器14的第二傳感器輸出14e或者選擇來(lái)自第一圖像傳感器12的第一傳感器輸出12e,作為提供給圖像處理器50的自動(dòng)聚焦圖像信號(hào)。
控制處理器和定時(shí)生成器40控制數(shù)字多路轉(zhuǎn)接器34和36以便選擇傳感器輸出中的一個(gè)(12e或14e)作為所拍攝的圖像信號(hào)，并選擇另一個(gè)傳感器輸出(14e或12e)作為自動(dòng)聚焦圖像信號(hào)。由第一數(shù)字多路轉(zhuǎn)接器控制元件34提供的數(shù)字?jǐn)?shù)據(jù)被暫時(shí)存儲(chǔ)在DRAM緩沖存儲(chǔ)器38中，并且隨后由圖像處理器50進(jìn)行處理以生成可以包含靜止數(shù)字圖像或視頻圖像的處理后的數(shù)字圖像文件。由第二數(shù)字多路轉(zhuǎn)接器控制
元件36提供的數(shù)字?jǐn)?shù)據(jù)被提供給圖像處理器50,圖像處理器50進(jìn)行如稍后參考圖4、 5、 6和7所述的自動(dòng)調(diào)焦計(jì)算。
簡(jiǎn)言之，圖像處理器50生成驅(qū)動(dòng)第一和第二聚焦調(diào)節(jié)器(即變焦和聚焦電動(dòng)機(jī)5a和5b)的聚焦檢測(cè)信號(hào)?？刂铺幚砥骱投〞r(shí)生成器40與圖像處理器50相結(jié)合地或者(a)選擇來(lái)自第一攝像平臺(tái)l的傳感器輸出12e作為所拍攝的圖像信號(hào)并使用來(lái)自第二攝像平臺(tái)2的傳感器輸出14e以生成用于所選擇的攝像平臺(tái)1的聚焦檢測(cè)信號(hào)，或者(b)選擇來(lái)自第二攝像平臺(tái)2的傳感器輸出14e作為所拍攝的圖像信號(hào)并使用來(lái)自第一攝像平臺(tái)1的傳感器輸出12e以生成用于所選擇的攝像平臺(tái)2的聚焦檢測(cè)信號(hào)。以這種方式，將聚焦檢測(cè)信號(hào)應(yīng)用于所選擇的攝像平臺(tái)的變焦和聚焦電動(dòng)機(jī)5a和5b,以便調(diào)節(jié)圖像的聚焦從而提供所拍攝的圖像信號(hào)的傳感器輸出。
由圖像處理器50進(jìn)行的處理是由存儲(chǔ)在固件存儲(chǔ)器58中的固件進(jìn)行控制的，該固件存儲(chǔ)器58可以是閃速EPROM存儲(chǔ)器或其它任何形式的適當(dāng)?shù)拇鎯?chǔ)器。處理器50處理來(lái)自DRAM緩沖存儲(chǔ)器38的數(shù)字輸入圖像，使用RAM存儲(chǔ)器56存儲(chǔ)處理階段期間的中間結(jié)果。將處理后的數(shù)字圖像文件提供給存儲(chǔ)卡接口 52,該存儲(chǔ)卡接口 52將數(shù)字圖像文件存儲(chǔ)在可移除存儲(chǔ)卡54上。可移除存儲(chǔ)卡54是一種可移除數(shù)字圖像存儲(chǔ)介質(zhì)，且可以以不同的物理;格式使用。例如，可移除存儲(chǔ)卡54可以包括(不限于)被配置為諸如致密型閃存、智能介質(zhì)、存儲(chǔ)棒、MMC、SD或XD存儲(chǔ)卡格式的已知格式的存儲(chǔ)卡。諸如磁性硬盤(pán)驅(qū)動(dòng)、磁帶或光盤(pán)的另 一種可移除數(shù)字圖像存儲(chǔ)介質(zhì)可以可選地用于存儲(chǔ)靜止或運(yùn)動(dòng)數(shù)字圖像。可選地，數(shù)字照相機(jī)10A可以使用諸如內(nèi)部閃速EPROM存儲(chǔ)器的內(nèi)部非易失性存儲(chǔ)器(未示出)來(lái)存儲(chǔ)處理后的數(shù)字圖像文件。在這樣的實(shí)施例中，不需要存儲(chǔ)卡接口 52和可移除存儲(chǔ)卡54。
圖像處理器50還接收來(lái)自全球定位系統(tǒng)(GPS)單元57的輸入，這使得圖像處理器50能夠在任何恰當(dāng)?shù)臅r(shí)間(例如在拍攝圖像時(shí))確定照相機(jī)的GPS坐標(biāo)(即位置)。圖像處理器還接收來(lái)自電子羅盤(pán)59的方向輸入，這使得圖像處理器50能夠例如在拍攝圖像時(shí)確定照相機(jī)指向哪個(gè)方向。圖像處理器50進(jìn)行包括顏色和色調(diào)校正前的顏色插值的各種其它圖像處理功能，以便生成渲染的sRGB圖像數(shù)據(jù)。然后，渲染的sRGB圖像數(shù)據(jù)被進(jìn)行JPEG壓縮并作為JPEG圖像文件被存儲(chǔ)在可 移除存儲(chǔ)卡54上。渲染的sRGB圖像還可以經(jīng)由通過(guò)諸如SCSI連接、
提供給主機(jī)PC 66。 JPEG文件優(yōu)選使用由日本東京的日本電子信息技術(shù) 工業(yè)協(xié)會(huì)(Japan Electronics and Information Technology Industries Association, JEITA)在"數(shù)字靜止照相機(jī)圖像文件格式(Exif)，，版本 2.2中定義的所謂的"Exif，圖像格式。該格式包括存儲(chǔ)特定圖像元數(shù)據(jù) 的Exif應(yīng)用部分，該特定圖像元數(shù)據(jù)包括拍攝圖像的日期/時(shí)間以及鏡 頭f/數(shù)、拍攝圖像時(shí)的GPS位置和指向方向和其它照相機(jī)設(shè)置。
應(yīng)該注意，通常為可編程圖像處理器的圖像處理器50能夠可選地 地例如為硬接線(xiàn)定制集成電路(IC)處理器、通用微處理器或硬接線(xiàn)定 制IC和可編程處理器的組合。此外，可以將諸如數(shù)字多路轉(zhuǎn)接器控制 元件34和36、 DRAM緩沖存儲(chǔ)器38和RAM存儲(chǔ)器58的圖1中的各 個(gè)模塊所示的功能中的一個(gè)或多個(gè)包含在包括圖像處理器50的IC中。 還應(yīng)該注意，控制處理器40和圖像處理器50的至少某些部分的功能可 以為了某些應(yīng)用和討論的目的的需要而進(jìn)行合并，例如參考本說(shuō)明書(shū)和 權(quán)利要求書(shū)的 一部分中的處理平臺(tái)，其中例如參考傳感器輸出的選擇 (通過(guò)控制處理器40)和聚焦信號(hào)的生成(通過(guò)圖像處理器50)。換 句話(huà)說(shuō)，處理平臺(tái)的引用意在包含所引用的功能，不管在一個(gè)或多個(gè)實(shí) 際處理元件、電路等中發(fā)現(xiàn)這些功能還是其它情況。
在本發(fā)明的又一實(shí)施例中，包括數(shù)字照相機(jī)IOA作為照相機(jī)手機(jī)的 一部分。在該實(shí)施例中，圖像處理器50還接口到蜂窩處理器90,該蜂 窩處理器90使用蜂窩調(diào)制解調(diào)器92來(lái)利用經(jīng)由天線(xiàn)94的射頻傳輸來(lái) 將數(shù)字圖像發(fā)送到蜂窩網(wǎng)絡(luò)(未示出)。在本發(fā)明的一些實(shí)施例中，兩 個(gè)攝像平臺(tái)1和2以及變焦和聚焦電動(dòng)機(jī)5a和5b可以是集成組件的一 部分。另外，時(shí)鐘驅(qū)動(dòng)器13和15以及才莫擬信號(hào)處理器22和24和包括 在其內(nèi)的模擬/數(shù)字轉(zhuǎn)換器可以是集成組件的 一部分。
圖3示出表示用于使用圖1的攝像組件拍攝數(shù)字圖像的方法的流程 圖。在塊100中，當(dāng)使用電源開(kāi)關(guān)(未示出)接通照相機(jī)10A時(shí)，變焦 鏡頭3和4被設(shè)置成其默認(rèn)位置，該位置優(yōu)選地為在那里使用第一圖像 傳感器12的輸出來(lái)以預(yù)覽模式拍攝圖像以顯示在彩色LCD圖像顯示器 70上從而使得用戶(hù)能夠合成要拍攝的圖像的廣角位置。作為合成圖像的
23一部分，在塊102中，用戶(hù)通常按下變焦按鈕42c以便設(shè)置數(shù)字照相機(jī) 10A的期望的—見(jiàn)場(chǎng)。
在塊102中，將變焦位置設(shè)置與值X進(jìn)行比較，在值X處，攝像 功能從第一攝像平臺(tái)切換到第二攝像平臺(tái)。在塊104中，如果變焦位置 設(shè)置小于X (對(duì)塊102的響應(yīng)為否)，則使用第一攝像平臺(tái)1在預(yù)覽模 式下拍攝圖像，而使用第二攝像平臺(tái)2來(lái)拍攝自動(dòng)聚焦圖像。第一攝像 平臺(tái)1繼續(xù)拍攝圖像以用于顯示器70上的預(yù)覽(塊110),而在塊106 中，使用第二攝像平臺(tái)2來(lái)拍攝自動(dòng)聚焦圖像，以用于第一攝像平臺(tái)1 的自動(dòng)調(diào)焦，該自動(dòng)聚焦圖像由圖像處理器50進(jìn)行處理并在塊108中 被使用以聚焦第一攝像平臺(tái)1。
在塊112中，如果沒(méi)有按下變焦按鈕42c且在塊104中如果按下了 拍攝按鈕，則利用笫一攝像平臺(tái)1在塊116中拍攝數(shù)字圖像?？蛇x地， 如果在塊112中按下了變焦按鈕，則控制返回到塊102,并且如果在塊 114中沒(méi)有按下拍攝按鈕，則控制返回到塊106。
在塊124中，如果變焦位置設(shè)置大于X (對(duì)塊102的響應(yīng)為是)， 則使用第二攝像平臺(tái)2在預(yù)覽模式下拍攝圖像，同時(shí)使用第一攝像平臺(tái) 1來(lái)拍攝自動(dòng)聚焦圖像。第二攝像平臺(tái)2繼續(xù)拍攝圖像以用于顯示器70 上的預(yù)覽(塊130),而在塊126中，使用第一攝像平臺(tái)1來(lái)拍攝自動(dòng) 聚焦圖像以用于第二攝像平臺(tái)2的自動(dòng)調(diào)焦，該自動(dòng)聚焦圖像由圖像處 理器50進(jìn)行處理以生成在塊128中被使用以聚焦第二攝像平臺(tái)2的聚 焦檢測(cè)信號(hào)。
在塊132中，如果沒(méi)有按下變焦按鈕42c且在塊134中如果按下了 拍攝按鈕，則利用第二攝像平臺(tái)2在塊136中拍攝數(shù)字圖像?？蛇x地， 如果在塊132中按下了變焦按鈕，則控制返回到塊102,且如果在塊134 中沒(méi)有按下拍攝按鈕，則控制返回到塊126。
在圖4中示出使用測(cè)距器配置中的圖3所示的兩個(gè)攝像平臺(tái)的自動(dòng) 調(diào)焦處理的流程圖，其中在圖3的塊108和128中使用測(cè)距器方法，以 對(duì)來(lái)自第一和第二攝像平臺(tái)的圖像進(jìn)行自動(dòng)調(diào)焦。在塊250中，用戶(hù)通 過(guò)調(diào)節(jié)照相機(jī)上的變焦控制器42c來(lái)確定變焦位置，該變焦位置如上所 述繼而規(guī)定將使用哪個(gè)攝像平臺(tái)拍攝最終圖像和哪個(gè)攝像平臺(tái)將僅用 于自動(dòng)聚焦圖像(塊252)。將未用于拍攝最終圖像的攝像平臺(tái)變焦到 與在兩個(gè)攝像平臺(tái)中的兩個(gè)變焦鏡頭系統(tǒng)之間的過(guò)渡變焦位置最接近的位置(塊254)。將兩個(gè)攝像平臺(tái)的聚焦鏡頭移動(dòng)到它們各自的超焦 距位置，其中產(chǎn)生最大聚焦范圍(塊256)。在塊258中，用戶(hù)將拍攝 按鈕42a從位置S0按到位置S1以便開(kāi)始自動(dòng)調(diào)焦序列(以及自動(dòng)曝光 序列)。(拍攝按鈕具有3個(gè)位置SO是在操作者觸摸攝像按鈕之前該 按鈕所保持的中立位置；Sl是照相機(jī)進(jìn)行自動(dòng)調(diào)焦和自動(dòng)曝光的中間位 置；S2是照相機(jī)進(jìn)行最終曝光并拍攝最終圖像的最終位置。)
然后，通過(guò)其變焦鏡頭在各自的變焦位置處的兩個(gè)攝像平臺(tái)拍攝自 動(dòng)聚焦圖像(塊260)。然后，對(duì)來(lái)自較低變焦位置(即變焦位置小于 X(參見(jiàn)圖3中的塊102)的變焦位置)處的攝像平臺(tái)的自動(dòng)聚焦圖像 進(jìn)行剪切和上采樣，從而兩個(gè)自動(dòng)聚焦圖像中的相應(yīng)特征跨越相同數(shù)量 的像素(塊262)。然后，對(duì)剪切和上采樣后的自動(dòng)聚焦圖像與其它自 動(dòng)聚焦圖像相關(guān)聯(lián)，以便識(shí)別兩個(gè)自動(dòng)聚焦圖像之間的像素偏移(塊 264),并由此生成聚焦檢測(cè)信號(hào)。圖17A示出作為從更高變焦位置的 圖像平臺(tái)所拍攝的自動(dòng)聚焦圖像350的代表。圖17B示出來(lái)自較低變焦 位置的圖像平臺(tái)的剪切和上采樣后的自動(dòng)聚焦圖像352的代表。這些代 表示出兩個(gè)圖像之間的偏移，所述偏移被用來(lái)確定到場(chǎng)景的各部分的距 離。在塊266中，然后將校準(zhǔn)因子應(yīng)用于聚焦檢測(cè)信號(hào)以確定必須移動(dòng) 聚焦鏡頭以生成攝像用的最佳聚焦?fàn)顟B(tài)的距離。在塊268中，將聚焦檢 測(cè)信號(hào)應(yīng)用于變焦和聚焦電動(dòng)機(jī)5a，然后，將聚焦鏡頭在將用于最終攝 像的攝像平臺(tái)中移動(dòng)所確定出的距離以生成最佳聚焦的狀態(tài)(268)。 當(dāng)用戶(hù)把拍攝按鈕從Sl推到S2時(shí)，攝像平臺(tái)拍攝最終圖像。
在圖5中示出眾所周知的"爬坡"對(duì)比度比較方法中的圖3所示的 使用兩個(gè)攝像平臺(tái)的自動(dòng)調(diào)焦處理的流程圖，其中在圖3的塊108和128 中使用"爬坡，，對(duì)比度比較方法以自動(dòng)調(diào)焦來(lái)自第一和笫二攝像平臺(tái)的 圖像。在塊250中，用戶(hù)選擇變焦位置。變焦位置確定將使用哪個(gè)攝像 平臺(tái)作為拍攝平臺(tái)(塊252)。然后，在塊254中，將未用于拍攝的攝 像平臺(tái)變焦到與來(lái)自塊250的用戶(hù)選擇的變焦位置最接近的點(diǎn)。在塊 258中，用戶(hù)將拍攝按鈕42a從S0位置推到Sl位置，以開(kāi)始自動(dòng)調(diào)焦 序列。然后，在塊272中，通過(guò)"爬坡"方法來(lái)對(duì)兩個(gè)攝像平臺(tái)進(jìn)行自 動(dòng)調(diào)焦。當(dāng)用戶(hù)將拍攝按鈕從S1位置推到S2位置(塊274)時(shí)，通過(guò) 拍攝平臺(tái)連續(xù)拍攝視頻圖像(塊276)。
為了在最小搜索量的情況下維持聚焦，使用"爬坡"對(duì)比度比較方法利用未用于拍攝的攝像平臺(tái)在塊278中連續(xù)檢查聚焦。然后，在判斷 塊280中，如果聚焦良好，則控制返回到塊276并通過(guò)拍攝平臺(tái)連續(xù)拍 攝視頻圖像。在判斷塊280中，如果聚焦不好，則識(shí)別需要的聚焦鏡頭 調(diào)節(jié)(塊282),以在沒(méi)有用于拍攝的攝像平臺(tái)上生成最佳聚焦。在塊 284中，使用自動(dòng)調(diào)焦"爬坡"方法校準(zhǔn)曲線(xiàn)和識(shí)別出的聚焦鏡頭調(diào)節(jié) 來(lái)確定在拍攝平臺(tái)中用以產(chǎn)生最佳聚焦所需的聚焦鏡頭的移動(dòng)，從而生 成聚焦變化檢測(cè)信號(hào)。最后，在塊286中，將聚焦變化檢測(cè)信號(hào)應(yīng)用于 變焦和聚焦電動(dòng)機(jī)5a或5b,并將拍攝平臺(tái)中的聚焦鏡頭移動(dòng)到新的最 佳聚焦位置，且控制返回到塊276并且通過(guò)拍攝平臺(tái)連續(xù)拍攝視頻圖像。
可選地，且還為了在最小搜索量的情況下保持聚焦，使用"整體方 式"自動(dòng)調(diào)焦方法利用未用于拍攝的攝像平臺(tái)在塊278中連續(xù)檢查聚焦。 因此，在塊284中，使用自動(dòng)調(diào)焦"整體方式"方法校準(zhǔn)曲線(xiàn)和識(shí)別出 的聚焦鏡頭調(diào)節(jié)來(lái)確定在拍攝平臺(tái)中用以生成最佳聚焦所需的聚焦鏡 頭的移動(dòng)，從而生成聚焦變化檢測(cè)信號(hào)。最后，在塊286中，將聚焦變 化檢測(cè)信號(hào)應(yīng)用于變焦和聚焦電動(dòng)機(jī)5a或5b,并將拍攝平臺(tái)中的聚焦 鏡頭移動(dòng)到新的最佳聚焦位置，且控制返回到塊276并且通過(guò)拍攝平臺(tái) 連續(xù)拍攝視頻圖像。
在圖4和5中均使用校準(zhǔn)曲線(xiàn)來(lái)確定在拍攝平臺(tái)中用以生成最佳聚 焦所需的聚焦鏡頭的移動(dòng)。圖6和7示出用于計(jì)算這些曲線(xiàn)的流程圖。 更具體地，圖6示出在圖4的塊266中使用的自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線(xiàn) 的計(jì)算。在圖6的塊300中，使用位于一系列聚焦鏡頭位置的較短焦距 的第一攝像平臺(tái)和較長(zhǎng)焦距的笫二攝像平臺(tái)，利用已知距離處的被攝體 拍攝一系列圖像組。然后，在塊302中，來(lái)自較低焦距的第一圖像平臺(tái) 的自動(dòng)聚焦圖像被剪切和上采樣，從而如圖17A和17B所示兩個(gè)自動(dòng)聚 焦圖像中的相應(yīng)特征跨越相同數(shù)量的像素。在塊304中，來(lái)自第二攝像 平臺(tái)的圖像與來(lái)自第 一攝像平臺(tái)的剪切和上采樣后的圖像的相應(yīng)的圖 像部分相關(guān)聯(lián)，以確定每個(gè)圖像組中的圖像之間的像素偏移。因此，在 塊306中，將每個(gè)圖像組中的圖像之間的像素偏移相對(duì)于到被攝體的已 知距離的數(shù)據(jù)存儲(chǔ)為自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線(xiàn)以供在圖4的塊266中使 用。
圖7示出在圖5的塊284中使用的"爬坡"校準(zhǔn)曲線(xiàn)的計(jì)算。在圖 7的塊400中，使用第一攝像平臺(tái)和第二攝像平臺(tái)，利用已知距離處的
26被攝體拍攝一系列圖像組，其中通過(guò)用于每個(gè)圖像的"爬坡"方法進(jìn)行
自動(dòng)調(diào)焦。然后，在塊402中，為兩個(gè)攝像平臺(tái)比較聚焦鏡頭位置與到 圖像組中的聚焦被攝體的距離。然后，將針對(duì)到圖像中的聚焦被攝體的 相同距離的第 一攝像平臺(tái)的聚焦鏡頭位置相對(duì)于第二攝像平臺(tái)的聚焦 鏡頭位置的數(shù)據(jù)存儲(chǔ)為自動(dòng)調(diào)焦"爬坡"方法校準(zhǔn)曲線(xiàn)以供在圖5的塊 284中使用。
圖8示出表示用于使用圖1的攝像組件拍攝視頻圖像的方法的流程 圖。流程圖的大部分與圖3所示的功能元素重復(fù)，并且在表示相同的功 能和附圖標(biāo)記的情況下將不會(huì)在此重復(fù)。如果變焦位置設(shè)置小于X(對(duì) 塊102的響應(yīng)為否)，則使用第一攝像平臺(tái)1來(lái)拍攝視頻圖像，而使用 笫二攝像平臺(tái)2來(lái)拍攝自動(dòng)聚焦圖像。如圖3所述進(jìn)行笫一攝像平臺(tái)的 聚焦，不同的是現(xiàn)在其是用于視頻圖像的。隨后，在圖8的塊112中， 如果沒(méi)有按下變焦按鈕42c,且在塊114中如果按下了拍攝按鈕，則在 塊118中通過(guò)第一攝像平臺(tái)1拍攝視頻圖像。在塊119中檢查視頻圖像 的聚焦質(zhì)量，且如果需要重新聚焦，則控制返回到塊106并且生成聚焦 變化檢測(cè)信號(hào)，該聚焦變化檢測(cè)信號(hào)在塊108中被使用以驅(qū)動(dòng)第一攝像 平臺(tái)l的聚焦電動(dòng)機(jī)5a。如果不需要重新聚焦，則控制返回到塊112。
如果變焦位置設(shè)置大于X (對(duì)塊102的響應(yīng)為是)，則使用第二攝 像平臺(tái)2來(lái)拍攝視頻圖像，而使用第一攝像平臺(tái)1來(lái)拍攝自動(dòng)聚焦圖像。 如圖3所述進(jìn)行第二攝像平臺(tái)的聚焦，不同的是現(xiàn)在其是用于視頻圖像 的。隨后，在塊132中，如果沒(méi)有按下變焦按鈕42c，且如果在塊134 中如果按下了拍攝按鈕，則在塊138中利用第二攝像平臺(tái)2拍攝視頻圖 像。在塊139中檢查視頻圖像的聚焦質(zhì)量，且如果需要重新聚焦，則控 制返回到塊126并且生成聚焦變化檢測(cè)信號(hào)，該聚焦變化檢測(cè)信號(hào)在塊 128中被使用以驅(qū)動(dòng)第二攝像平臺(tái)2的聚焦電動(dòng)機(jī)5b。如果不需要重新 聚焦，則控制返回到塊132。
圖9中示出使用測(cè)距器配置中的圖8所示的兩個(gè)攝像平臺(tái)的自動(dòng)調(diào) 焦處理的流程圖，其中在圖8的塊108和128中使用測(cè)距器方法來(lái)對(duì)來(lái) 自笫一和第二攝像平臺(tái)的圖像進(jìn)行自動(dòng)調(diào)焦。在圖9的塊440中，利用 較低焦距的攝像平臺(tái)來(lái)拍攝第一自動(dòng)聚焦圖像。然后，在塊442中，剪 切和上釆樣來(lái)自較低焦距下的圖像平臺(tái)的自動(dòng)聚焦圖像，從而兩個(gè)自動(dòng) 聚焦圖像中的相應(yīng)特征跨越相同數(shù)量的像素。同時(shí)，在塊448中，利用較長(zhǎng)焦距的攝像平臺(tái)拍攝笫二自動(dòng)聚焦圖像。在塊444中將第二自動(dòng)聚 焦圖像與所述剪切和上采樣后的圖像相關(guān)聯(lián)以為不同的圖像部分確定 圖像之間的像素偏移。然后，在塊446中，根據(jù)該偏移和自動(dòng)調(diào)焦測(cè)距 器校準(zhǔn)曲線(xiàn)(其在圖6中計(jì)算出)來(lái)確定需要的聚焦校正。在圖10中示出"爬坡"對(duì)比度比較方法中的圖8中所示的使用兩 個(gè)攝像平臺(tái)的自動(dòng)調(diào)焦處理的流程圖，其中在圖8的塊108和128中使 用"爬坡，，對(duì)比度比較方法來(lái)自動(dòng)調(diào)焦來(lái)自第 一和第二攝像平臺(tái)的圖像。 在圖10的塊460中，利用第一攝像平臺(tái)拍攝第一圖像，其中通過(guò)"爬 坡"方法進(jìn)行自動(dòng)調(diào)焦。然后，在塊462中，提供來(lái)自第一攝像平臺(tái)的 圖像作為顯示器上的預(yù)覽圖像。同時(shí)，在塊466中，利用第二攝像平臺(tái) 拍攝第二圖像，其中通過(guò)"爬坡"方法進(jìn)行自動(dòng)調(diào)焦。然后，在塊468 中，利用第二攝像平臺(tái)拍攝另一隨后的圖像，其中也通過(guò)"爬坡"方法 進(jìn)行自動(dòng)調(diào)焦。在塊470中，將第二圖像的聚焦?fàn)顟B(tài)與隨后的圖像的聚 焦?fàn)顟B(tài)進(jìn)行比較。然后，如果聚焦?fàn)顟B(tài)已經(jīng)改變(對(duì)塊472的響應(yīng)為是)， 則基于第二攝像平臺(tái)的聚焦?fàn)顟B(tài)的變化和(在圖7中算出的)自動(dòng)調(diào)焦"爬坡"方法校準(zhǔn)曲線(xiàn)來(lái)改變第一攝像平臺(tái)的聚焦?fàn)顟B(tài)。如果聚焦?fàn)顟B(tài) 沒(méi)有改變(對(duì)塊472的響應(yīng)為否)，則控制返回到塊468并且利用第二 攝像平臺(tái)拍攝另一圖像?？蛇x地，且為了在最小搜索量的情況下維持聚焦，使用"整體方式" 自動(dòng)調(diào)焦方法利用第二攝像平臺(tái)在塊470中連續(xù)檢查聚焦。因此，如果 聚焦?fàn)顟B(tài)已經(jīng)改變(對(duì)塊472的響應(yīng)為是)，則基于第二攝像平臺(tái)的聚 焦?fàn)顟B(tài)的變化和自動(dòng)調(diào)焦"整體方式，，方法校準(zhǔn)曲線(xiàn)來(lái)改變第一攝像平 臺(tái)的聚焦?fàn)顟B(tài)。如果聚焦?fàn)顟B(tài)沒(méi)有改變(對(duì)塊472的響應(yīng)為否)，則控 制返回到塊468并且利用第二攝像平臺(tái)拍攝另 一 圖像。圖11示出表示根據(jù)本發(fā)明的其中生成范圍映射的一個(gè)實(shí)施例的、 用于處理使用圖3或圖8的攝像組件所拍攝到的圖像的方法的流程圖。(圖的特定部件具有與圖9中所使用的相同的功能和附圖標(biāo)記。)生成 范圍映射的方法對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)是眾所周知的；例如，在通 過(guò)引用包含于此的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)2006/0193509 (以Antonio Criminisi等人的名義在2006年8月31日公開(kāi)，發(fā)明名稱(chēng)為"基于立體 的圖4象處理(Stereo-based Image Processing)")中i兌明了如下方法 該方法用于從根據(jù)通過(guò)具有類(lèi)似視場(chǎng)的多個(gè)照相機(jī)所拍攝的一組圖像28的像素偏移信息而生成的差異映射來(lái)生成范圍映射和深度映射。在本專(zhuān) 利申請(qǐng)中所述的發(fā)明的情況下，兩個(gè)或多個(gè)攝像裝置包括在單個(gè)電子照 相機(jī)中。由于兩個(gè)或多個(gè)攝像置具有不同的焦距，因而必須修改圖像中 的至少一個(gè)圖像，以使兩個(gè)或多個(gè)圖像可比較，從而使得能夠確定像素偏移?，F(xiàn)在參考圖11,在塊440中利用較低焦距的攝像平臺(tái)拍攝第一自 動(dòng)聚焦圖像，且在塊442中，對(duì)來(lái)自較低變焦位置的攝像平臺(tái)的自動(dòng)聚 焦圖像進(jìn)行剪切和上采樣，從而兩個(gè)自動(dòng)聚焦圖像中的相應(yīng)特征跨越相 同數(shù)量的像素。同時(shí)，在塊448中，利用較高焦距的攝像平臺(tái)拍攝第二 自動(dòng)調(diào)焦圖片。然后，在塊480中，將第二自動(dòng)聚焦圖像與所述剪切和 上采樣后的圖像相關(guān)聯(lián)，以確定圖像的不同圖像部分之間的像素偏移。 然后，在塊482中，使用自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線(xiàn)將像素偏移轉(zhuǎn)換成離 攝像裝置的距離。在塊484中生成示出到不同圖像部分的距離的映射?？梢愿鶕?jù)第一和第二自動(dòng)聚焦圖像的相應(yīng)部分之間(即來(lái)自第一自 動(dòng)聚焦圖像的在塊442中獲得的剪切和上采樣后的圖像和從塊448獲得 的第二自動(dòng)聚焦圖像的相應(yīng)部分之間)的測(cè)量到的像素偏移來(lái)計(jì)算從攝 像裝置到場(chǎng)景的各部分的距離。圖像傳感器上所經(jīng)歷的像素偏移p、像 素大小m、鏡頭之間的空隙s、鏡頭的有效焦距f以及到場(chǎng)景的部分的 距離d之間的關(guān)系如下d=sf/(p.m)表1示出如上所述的攝像裝置的典型像素偏移。在優(yōu)選實(shí)施例中，相對(duì) 在已知距離的場(chǎng)景中的被攝體校準(zhǔn)像素偏移和到場(chǎng)景的部分的距離之 間的關(guān)系，以補(bǔ)償兩個(gè)鏡頭組件之間的任何角傾斜和尺寸的任何不期望的變化。表1像素大小(mm) 0.002 鏡頭之間的分離(mm) 20 焦JE巨(mm ) 6距離(ft) 距離(mm) 偏移(像素)0.5 152.4 393.71 304.8 196.92 609.6 98.4 4 1219.2 49,2298 2438.4 24.616 4876.8 12.332 9753.6 6.264 19507.2 3.1128 3卯14.4 1.5如先前所述，為了各種目的，使用范圍映射來(lái)修改所拍攝的圖像信 號(hào)或輸出圖像，這些目的諸如(不限于)a) 通過(guò)識(shí)別被攝體的連續(xù)邊界來(lái)使得可以限定被攝體的形狀，從 而改進(jìn)圖像內(nèi)的被攝體識(shí)別；b) 通過(guò)識(shí)別被攝體的連續(xù)邊界使得可以在圖像內(nèi)分割被攝體，從 而使得能夠從圖像提取被攝體；c )通個(gè)識(shí)別被攝體使得可以將被攝體作為圖像之間的相同的對(duì)象 來(lái)追蹤，從而使得能夠在多個(gè)圖像中進(jìn)行被攝體的運(yùn)動(dòng)追蹤；d)通個(gè)模糊化與處于期望的景深外面的場(chǎng)景區(qū)域相對(duì)應(yīng)的圖像的 部分，使得能夠得到動(dòng)態(tài)景深圖像；e )通過(guò)將增益調(diào)節(jié)應(yīng)用于作為整體的被攝體來(lái)提高圖像內(nèi)的動(dòng)態(tài)范圍；f) 通過(guò)降低與前景中的被攝體相對(duì)應(yīng)的圖像部分的增益并增大背 景中的被攝體的增益來(lái)減少由使用閃光燈而引起的曝光問(wèn)題；g) 通過(guò)使得前景中的被攝體被強(qiáng)調(diào)來(lái)提高圖像內(nèi)的場(chǎng)景平衡。 為了理解為了諸如上述目的而使用范圍映射，考慮一個(gè)例子是有幫助的。假定用戶(hù)/拍攝者具有一張阿拉斯加山脈的很好的照片-在最遠(yuǎn)距 離范圍中有美麗的布滿(mǎn)云彩的天空和白雪覆蓋的山脈，在中間范圍中鮮 花鋪滿(mǎn)區(qū)域，并且在大約5英尺遠(yuǎn)的前景中磚著黑狗。然而，云被過(guò)補(bǔ) 光(過(guò)度曝光)，白雪覆蓋的山脈也一樣。黑狗4艮黑(曝光不足)且處 于離焦(因?yàn)槔缯障鄼C(jī)被設(shè)置為風(fēng)景模式)。使用范圍數(shù)據(jù)，可以修 改圖像的幾個(gè)特征。通過(guò)將增益調(diào)節(jié)應(yīng)用于圖像的所選擇的被攝體部 分，特別地應(yīng)用于例如云彩細(xì)節(jié)、雪細(xì)節(jié)以及黑狗上的皮毛，可以提高 各個(gè)位置的曝光。更普遍地，通過(guò)與范圍映射中的祐:攝體位置無(wú)關(guān)地將 增益調(diào)節(jié)應(yīng)用于輸出圖像內(nèi)作為整體的凈皮攝體上，可以使用范圍映射來(lái) 提高輸出圖像內(nèi)的動(dòng)態(tài)范圍。此外，可以調(diào)節(jié)景深，從而使得例如狗處 于對(duì)焦，山脈處于對(duì)焦且鮮花也處于對(duì)焦?；蛘?，如果用戶(hù)真的想要強(qiáng)調(diào)狗而不是美麗的風(fēng)景，則可以使用范圍數(shù)據(jù)來(lái)分離可以被才莫糊化的山 脈和鮮花，且更進(jìn)一步分離狗，其中可以銳化狗以獲得好的銳化圖像。 可以理解，假定根據(jù)本發(fā)明的范圍映射的可用性，則可用來(lái)藝術(shù)地優(yōu)化 圖像的許多其它用途。例如，用戶(hù)可以做出動(dòng)態(tài)景深，即，使范圍的混 合區(qū)域?qū)?。更普遍地，通過(guò)與范圍映射中的各部分的位置無(wú)關(guān)地模糊 化輸出圖像的與處于圖像的特征部分的期望景深外部的場(chǎng)景區(qū)域相對(duì) 應(yīng)的各部分，可以使用范圍映射來(lái)使能動(dòng)態(tài)景深圖像。例如，盡管狗和 山脈處于相對(duì)的范圍極端，然而由于狗和山脈是感興趣的區(qū)域且中間范 圍的花可以被平滑地才莫糊化，因而可以使狗和山脈處于對(duì)焦。圖12和13示出使用光學(xué)攝像平臺(tái)的不同變形的數(shù)字照相機(jī)的框 圖。攝像平臺(tái)后的大多數(shù)部件和相關(guān)于圖l所述的部件相同，且這里將 不會(huì)對(duì)其進(jìn)行進(jìn)一步說(shuō)明。圖12示出具有第一攝像平臺(tái)71和第二攝像 平臺(tái)2的數(shù)字照相機(jī)的框圖。第一平臺(tái)71包括第一固定焦距鏡頭73和 第一圖像傳感器12,第二平臺(tái)2包括第二 (變焦)鏡頭4和第二圖像傳 感器14。在第一和第二攝像平臺(tái)71和2的聚焦調(diào)節(jié)之間執(zhí)行調(diào)焦。因?yàn)楣潭ń咕噻R頭的焦距通常生成超廣角視場(chǎng)，例如22mm等效的， 因而可以將固定鏡頭設(shè)置到例如8英尺的鏡頭超焦距附近的距離，以使 得從4英尺起到無(wú)窮遠(yuǎn)的被攝體處于對(duì)焦。因此，固定焦距鏡頭不需要 包括聚焦調(diào)節(jié)。固定聚焦鏡頭包括可調(diào)光圏和快門(mén)組件(未示出)以控 制圖像傳感器的曝光。圖13示出具有第一攝像平臺(tái)71、第二攝像平臺(tái)2以及第三攝像平 臺(tái)74的數(shù)字照相機(jī)的框圖。第一平臺(tái)71包括具有第一圖像傳感器12 的第一固定焦距鏡頭73,第二平臺(tái)2包括具有第二圖像傳感器14的第 二 (變焦)鏡頭4,第三攝像平臺(tái)74包括具有第三圖像傳感器16的第 三(變焦)鏡頭75。根據(jù)該配置，第一鏡頭73通常是超廣角鏡頭，第 二 (變焦)鏡頭4通常是廣角變焦鏡頭，第三(變焦)鏡頭75通常是 遠(yuǎn)攝變焦鏡頭。如在前一段所述，由于作為超廣角鏡頭的第一固定焦距 鏡頭73通常不被聚焦，因而在第二和第三攝像平臺(tái)2和74之間執(zhí)行調(diào) 焦。圖14示出表示用于通過(guò)使用來(lái)自圖1中兩個(gè)攝像平臺(tái)的圖像來(lái)增 強(qiáng)圖像的景深的方法的流程圖。在圖14的塊500中，當(dāng)照相機(jī)接通電 源時(shí)，將變焦位置設(shè)置為默認(rèn)位置。在塊502中，將變焦位置設(shè)置與值31X進(jìn)行比較，在值X處，攝像功能從第 一攝像平臺(tái)切換至第二攝像平臺(tái)。 在塊504中，如果變焦位置設(shè)置小于X (對(duì)塊502的響應(yīng)為否)，則在 預(yù)覽模式下使用第一攝像平臺(tái)1拍攝圖像，而使用第二攝像平臺(tái)2來(lái)拍 攝自動(dòng)聚焦圖像。第一攝像平臺(tái)1繼續(xù)拍攝用于在顯示器70上進(jìn)行預(yù) 覽的圖像(塊506)，而使用第二攝像平臺(tái)2來(lái)拍攝用于第一攝像平臺(tái) 1的自動(dòng)調(diào)焦的自動(dòng)聚焦圖像，其中這些圖像由圖像處理器50進(jìn)行處理 并用于聚焦第一攝像平臺(tái)1。如果沒(méi)有按下變焦按鈕(對(duì)塊508的響應(yīng) 為否)，且當(dāng)按下了快門(mén)按鈕42a時(shí)，使用設(shè)置到主聚焦位置的第一攝 像平臺(tái)在塊510中拍攝主靜止圖像。然后，在塊512中，使用設(shè)置到副 聚焦位置的第二攝像平臺(tái)拍攝副靜止圖像。然后，在塊514中，使用副 靜止圖像來(lái)增強(qiáng)主圖像的景深，例如，其中使用副靜止圖像來(lái)提供可以 用于銳化位于副焦距附近的主靜止圖像的部分的增強(qiáng)信號(hào)。在塊524中，如果變焦位置設(shè)置大于X (對(duì)塊502的響應(yīng)為是)， 則在預(yù)覽模式下使用第二攝像平臺(tái)2拍攝圖像，而使用第一攝像平臺(tái)1 來(lái)拍攝自動(dòng)聚焦圖像。第二攝像平臺(tái)2繼續(xù)拍攝用于在顯示器70上進(jìn) 行預(yù)覽的圖像(塊526),而使用第一攝像平臺(tái)1來(lái)拍攝用于第二攝像 平臺(tái)2的自動(dòng)調(diào)焦的自動(dòng)聚焦圖像，其中這些圖像由圖像處理器50進(jìn) 行處理并用于聚焦第二攝像平臺(tái)2。如果按下了變焦按鈕(對(duì)塊508的 響應(yīng)為是)，且當(dāng)按下了快門(mén)按鈕42a時(shí)，使用設(shè)置到主聚焦位置的第 二攝像平臺(tái)在塊530中拍攝主靜止圖像。然后，在塊532中，使用設(shè)置 到副聚焦位置的第一攝像平臺(tái)拍攝副靜止圖像。然后，在塊534中，使 用副靜止圖像來(lái)增強(qiáng)主圖像的景深，例如，使用副靜止圖像來(lái)銳化位于 副焦距附近的主靜止圖像的部分。如上所示，由照相機(jī)生成增強(qiáng)信號(hào)以銳化位于副焦距附近的主靜止 圖像的部分。然而，可以將主和副靜止圖像提交給諸如圖1所示的主機(jī) PC 66的外部處理器，且可以由外部處理器生成增強(qiáng)信號(hào)以銳化位于副 焦距附近的主靜止圖像的部分。多個(gè)鏡頭和多個(gè)傳感器的概念和集成攝像組件的使用可以適用于 具有圖片拍攝功能的類(lèi)型的移動(dòng)電話(huà)中。因此，如圖15A所示，移動(dòng)電 話(huà)600包括包含用于捕獲呼叫者的語(yǔ)音的麥克風(fēng)602的電話(huà)平臺(tái)、用于 處理呼叫者和被叫人的語(yǔ)音信號(hào)的相關(guān)電子器件(未示出)、以及用于 再現(xiàn)被叫者的語(yǔ)音的揚(yáng)聲器604。提供用于輸入電話(huà)號(hào)碼和攝像命令的鍵盤(pán)606,并提供用于顯示與電話(huà)相關(guān)的數(shù)據(jù)并再現(xiàn)通過(guò)電話(huà)拍攝到的 或通過(guò)蜂窩網(wǎng)絡(luò)接收到的圖像的(LCD)顯示器608。圖15B示出的移 動(dòng)電話(huà)600的后視圖識(shí)別出一些內(nèi)部部件，包括通過(guò)圖像處理器50連 接到包括蜂窩處理器卯和調(diào)制解調(diào)器92的蜂窩處理平臺(tái)的蜂窩攝像組 件610。蜂窩處理器90接收和處理來(lái)自圖像處理器50的圖像數(shù)據(jù)和通 過(guò)麥克風(fēng)602捕獲的語(yǔ)音數(shù)據(jù)，并將圖像和語(yǔ)音數(shù)據(jù)傳送到蜂窩調(diào)制解 調(diào)器92。蜂窩調(diào)制解調(diào)器92將數(shù)字圖像和語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成適當(dāng)?shù)母袷?以用于通過(guò)天線(xiàn)94發(fā)送到蜂窩網(wǎng)絡(luò)。在圖16A和16B中示出蜂窩攝像組件610，其中圖16A是沿著圖 16B中的線(xiàn)24B-24B所取的組件610的俯-現(xiàn)圖，組件610包括共用基才反 620上的光學(xué)部件和攝像部件的集成包。更具體地，組件610包括笫一 固定焦距鏡頭612和第一圖像傳感器614以及第二固定焦距鏡616頭和 第二圖像傳感器618。優(yōu)選為固定焦距廣角鏡頭(諸如40mm等效的鏡 頭)的第一鏡頭612在第一圖像傳感器614上形成圖像，優(yōu)選為固定焦 距遠(yuǎn)攝鏡頭(諸如100mm等效的鏡頭)的第二鏡頭616在第二圖像傳 感器618上形成圖像。這兩個(gè)鏡頭均在相同的方向上定向，以使得盡管 具有不同的視場(chǎng)，但形成這兩個(gè)鏡頭前面的全部場(chǎng)景的相同部分的圖 像。各鏡頭612和616和與其相關(guān)聯(lián)的圖像傳感器614和618被安裝到 基板620,且在它們之間具有IR截止濾波器622以減少I(mǎi)R輻射到圖Y象 像素上的入射。諸如電阻器、電容器和電源管理部件的電子部件624也 被安裝在基板620上。通過(guò)撓性連接器626從基板620得到圖像信號(hào)。 從組件610取得的數(shù)據(jù)可以是原始圖像數(shù)據(jù)，或者如果適合的處理器(未 示出)處于基板620的板上，則數(shù)據(jù)可以是YUV圖像數(shù)據(jù)或JPEG圖像 數(shù)據(jù)。而且，圖像處理器50可以在廣角和遠(yuǎn)攝焦距之間提供數(shù)字變焦； 用戶(hù)可以通過(guò)顯示在(LCD )顯示器608上的用戶(hù)界面并通過(guò)在鍵盤(pán)606 上鍵入適當(dāng)?shù)陌粹o來(lái)開(kāi)始這種變焦。此外，廣角圖像傳感器614可以具 有例如比遠(yuǎn)攝圖像傳感器618的分辨率高的高分辨率，以便為數(shù)字變焦 提供更高質(zhì)量的源圖像。在一個(gè)實(shí)施例中，其中兩個(gè)鏡頭612和616均為可調(diào)焦距鏡頭，圖 像處理器50或者(a)選擇來(lái)自廣角鏡頭612的傳感器輸出作為所拍攝 的圖像信號(hào)并使用來(lái)自遠(yuǎn)攝鏡頭616的傳感器輸出來(lái)生成用于廣角鏡頭612的聚焦檢測(cè)信號(hào)，或者(b)選擇來(lái)自遠(yuǎn)攝鏡頭616的傳感器輸出作 為所拍攝的圖像信號(hào)并使用來(lái)自廣角鏡頭612的傳感器輸出來(lái)生成用于 遠(yuǎn)攝鏡頭616的聚焦檢測(cè)信號(hào)。然后將聚焦檢測(cè)信號(hào)應(yīng)用于遠(yuǎn)攝鏡頭 616的自動(dòng)調(diào)焦子系統(tǒng)628以調(diào)整圖像聚焦從而提供所攝圖像信號(hào)的傳 感器輸出。在該實(shí)施例中，廣角鏡頭612可以代替地為變焦鏡頭，諸如 廣角到普通角的變焦鏡頭。
在另一實(shí)施例中，廣角鏡頭612被設(shè)置為其超焦距，這意味著鏡頭 不需要用戶(hù)的任何聚焦調(diào)節(jié)而從幾英尺到無(wú)限遠(yuǎn)均處于對(duì)焦。通過(guò)自動(dòng) 調(diào)焦子系統(tǒng)628對(duì)遠(yuǎn)攝鏡頭616進(jìn)行自動(dòng)調(diào)焦。這是必須的，因?yàn)殡S著 焦距增大超焦距也增大，并且因此需要調(diào)節(jié)聚焦以便獲得典型(例如 4， ~ 12，)距離處的被攝體的正確聚焦。通過(guò)對(duì)遠(yuǎn)攝鏡頭616僅使用一個(gè) 調(diào)焦子系統(tǒng)628，可以降低成本和大小。
該實(shí)施例中的重要限制是必須保持為與移動(dòng)電話(huà)布局和結(jié)構(gòu)相符 合的非常小的外形的"z"尺寸630。這可以通過(guò)遠(yuǎn)攝焦距和傳感器的大 小的仔細(xì)選擇來(lái)獲得。例如，可以將傳感器616的大小以及由此必須祐二 生成以填充傳感器的圖像的大小制造得足夠小以將焦距降低到可接受 的z尺寸630。
在另一實(shí)施例中，兩個(gè)鏡頭可以具有大致相同的焦距，其中攝像陣 列具有不同的大小。利用大小不同的攝像陣列，每個(gè)鏡頭被設(shè)計(jì)成填充 攝像陣列的區(qū)域，并且每個(gè)鏡頭-陣列組合將具有基本相同的實(shí)際焦距， 即相同的鏡頭到陣列的距離。然而，各鏡頭的35mm等效將不同；因此， 各鏡頭將具有不同的視場(chǎng)。
雖然在圖16A和16B中未詳細(xì)示出，然而類(lèi)似于與圖l相關(guān)地-說(shuō)明 的那樣，來(lái)自第 一圖像傳感器614的模擬輸出信號(hào)通過(guò)第 一模擬信號(hào)處 理器被放大并提供給控制元件的第 一輸入，所述控制元件例如作為基板 620上的電子部件624中的一個(gè)而提供的模擬多路轉(zhuǎn)接器控制元件。來(lái) 自第二圖像傳感器618的模擬輸出信號(hào)通過(guò)笫二模擬信號(hào)處理器被放大 并提供給控制元件的第二輸入?？刂圃墓δ苁歉鶕?jù)關(guān)于變焦選擇的 來(lái)自鍵盤(pán)606的用戶(hù)輸入，或者選擇來(lái)自笫一圖像傳感器614的第一傳 感器輸出或者選擇來(lái)自第二圖像傳感器618的第二傳感器輸出，從而將 來(lái)自蜂窩攝像組件600的所選擇的傳感器輸出提供給圖像處理器50。
在本發(fā)明的使用(根據(jù)圖11而生成的)范圍映射的另一個(gè)實(shí)施例
34中，將由照相機(jī)的GPS單元57和電子羅盤(pán)59提供的照相機(jī)的GPS位 置和指向方向與從照相機(jī)到場(chǎng)景的各部分的距離和方向相結(jié)合來(lái)確定 場(chǎng)景的各部分的GPS位置。圖18示出用于確定場(chǎng)景的各部分的GPS位 置的方法的流程圖。在塊750中，由照相機(jī)中的GPS單元57確定照相 機(jī)的GPS位置。在塊752中由照相機(jī)中的電子羅盤(pán)59確定照相機(jī)的指 向方向。從照相機(jī)到場(chǎng)景的各部分的距離偏移由在來(lái)自諸如圖11所示 的過(guò)程的塊754中獲得的范圍映射來(lái)提供。在塊756中，相對(duì)于(由電 子羅盤(pán)59提供的)照相機(jī)的指向方向的角度偏移根據(jù)圖像中的視場(chǎng)中 的場(chǎng)景的各部分的位置被確定。在塊758中，通過(guò)將距離偏移和角度偏 移添加到照相機(jī)的GPS位置和指向方向來(lái)確定場(chǎng)景的各部分的GPS位 置。然后在塊760中，將場(chǎng)景的各部分的GPS位置存儲(chǔ)在圖像的元數(shù)據(jù) 中或顯示為以GPS位置映射的形式的圖像上的標(biāo)簽?？蛇x地，可以將圖 像的部分的GPS位置顯示在電子照相機(jī)上。那些本領(lǐng)域技術(shù)人員將意識(shí) 到場(chǎng)景的各部分的GPS位置可以用于各種目的，包括而不限于確定被 攝體的身份；向場(chǎng)景中的位置提供導(dǎo)航方向；辨別相對(duì)于映射或其它地 理數(shù)據(jù)庫(kù)等的照相機(jī)的視場(chǎng)。
圖19示出表示如下處理的流程圖該處理用于選擇雙鏡頭照相機(jī) 系統(tǒng)中的攝像平臺(tái)中的一個(gè)作為主拍攝單元，而使另 一個(gè)攝像平臺(tái)降級(jí) 為諸如場(chǎng)景分析的一些其它功能。更具體地，照相機(jī)的電源接通并開(kāi)始 初始化處理(塊1100)。在初始化處理完成之后，將第一和第二攝像平 臺(tái)1和2設(shè)置到它們的默認(rèn)變焦位置(塊1102),這些默認(rèn)變焦位置是 確定初始拍攝和顯示的圖像的預(yù)定初始變焦位置。因此，第一和第二掘^ 像平臺(tái)拍攝并在圖像顯示器70上顯示第一和第二預(yù)覽圖像(塊1104)。 這些圖像可以以例如作為縮略圖等在顯示器上一個(gè)挨一個(gè)、 一個(gè)在另一 個(gè)內(nèi)、順次顯示等的多個(gè)方式進(jìn)行顯示。接下來(lái)，請(qǐng)照相機(jī)使用者決定 是第一預(yù)覽圖像還是第二預(yù)覽圖像應(yīng)當(dāng)為主圖像(塊1106),其中主圖 像將是拍攝并存儲(chǔ)的圖像。給予操作者進(jìn)行該決定的顯示時(shí)間間隔x(塊 1110)。如果在該間隔期間按下快門(mén)按鈕(塊1108),或者如果在該間 隔期間操作者未能作出決定(塊IIO為是)，則將攝像平臺(tái)中的預(yù)定攝 像平臺(tái)(默認(rèn)攝像平臺(tái))自動(dòng)設(shè)置為主拍攝單元(塊1112 )。(默認(rèn)攝 像平臺(tái)可以因?yàn)楦鞣N原因而預(yù)先選擇出， 一個(gè)原因是為了提供廣泛的更 寬角度的場(chǎng)景視野作為初始圖像。)否則，如果操作者選取了其中一個(gè)
35平臺(tái)(塊1106為是)，則將所選擇的攝像平臺(tái)設(shè)置為主拍攝單元(塊 1124)。在這兩種情況中的任一情況下，將另一 (未選擇的)攝像平臺(tái) 指定為場(chǎng)景分析拍攝單元(塊1114)。因此，如隨后與圖20-22相關(guān)地 所述的，使主拍撮單元工作在預(yù)覽模式下。
圖20-22和圖24-26示出表示使用或分析來(lái)自雙(或更多)鏡頭照 相機(jī)系統(tǒng)的一個(gè)攝像平臺(tái)的圖像以修改由另 一攝像平臺(tái)生成的圖像(即 影響、分析、補(bǔ)充或者改變由其它攝像平臺(tái)生成的圖像)的流程圖。例 如，在圖20中， 一旦主拍攝單元被置于預(yù)覽模式下(如圖19所示)， 則場(chǎng)景分析拍攝單元分析場(chǎng)景(塊1200)并且圖像處理器50利用通過(guò) 場(chǎng)景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來(lái)設(shè)置主拍攝單元參數(shù)(塊 1202)。這樣的場(chǎng)景分析數(shù)據(jù)可以包括而不限于曝光數(shù)據(jù)、動(dòng)態(tài)范圍數(shù) 據(jù)、景深數(shù)據(jù)、顏色平4軒、對(duì)包括面部、草地、日落、雪等場(chǎng)景的不同 方面的識(shí)別，并且拍攝單元參數(shù)可以包括而不局限于光圈值、曝光時(shí)間、 聚焦位置、白平衡、ISO設(shè)置等。然后通過(guò)主拍攝單元拍攝預(yù)覽圖像， 并將其顯示在顯示器70上(塊1204)。然后，場(chǎng)景分析拍攝單元繼續(xù) 分析場(chǎng)景(塊1206),并且如果場(chǎng)景狀態(tài)沒(méi)有改變(塊1208為否)， 則處理返回到塊1204,并且由主拍攝單元再次拍攝預(yù)覽圖像并將其顯示 在顯示器70上(在不改變拍攝參數(shù)的情況下)。如果場(chǎng)景狀態(tài)已改變 (塊1208為是)，則處理返回到塊1202，并且圖像處理器50利用由場(chǎng) 景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來(lái)重新設(shè)置主拍攝單元參數(shù)，并且 如前所述重復(fù)隨后的處理。
在圖21中，主拍攝單元參數(shù)僅在場(chǎng)景狀態(tài)的變化超過(guò)闊值x時(shí)才 改變。因此，在使用利用閾值的預(yù)覽模式時(shí)，場(chǎng)景分析拍攝單元拍攝圖 像并分析場(chǎng)景(塊1300)。然后，圖像處理器50利用由場(chǎng)景分析拍攝 單元獲得的場(chǎng)景分析數(shù)據(jù)來(lái)設(shè)置主拍攝單元參數(shù)(塊1302)。然后，通 過(guò)主拍攝單元拍攝預(yù)覽圖像，并將其顯示在顯示器70上(塊1304)。 然后，從場(chǎng)景分析拍攝單元拍攝另一圖像(塊1306)。如果該后一圖像 的場(chǎng)景狀態(tài)并未改變等于x的閾值(塊1308為否)，即場(chǎng)景狀態(tài)被認(rèn) 為在圖像之間是穩(wěn)定的，則處理返回塊到1304,并且由主拍攝單元拍攝 另一預(yù)覽圖像，并將其顯示在顯示器70上(在不改變拍攝參數(shù)的情況 下)。然后，從場(chǎng)景分析拍攝單元拍攝另一圖像(塊1306)?；蛘撸?dāng) 場(chǎng)景狀態(tài)變化大于閾值x并且狀況被認(rèn)為是不穩(wěn)定的時(shí)(塊1308為是)，則處理返回到塊1302并且圖像處理器50利用由場(chǎng)景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來(lái)重新設(shè)置主拍攝單元參數(shù)。然后如前所述重復(fù)處理。
在圖22中，通過(guò)考慮拍攝單元的相對(duì)變焦位置和利用來(lái)自由兩個(gè)拍攝單元拍攝的圖像的場(chǎng)景信息來(lái)增強(qiáng)對(duì)閾值場(chǎng)景狀態(tài)的考慮。在利用該增強(qiáng)的預(yù)覽^t式時(shí)，相對(duì)于主拍攝單元的變焦位置來(lái)設(shè)置場(chǎng)景分析拍攝單元的變焦位置(塊1400)。然后，場(chǎng)景分析拍攝單元拍攝圖像(塊1402 )，并且圖像處理器50利用由場(chǎng)景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來(lái)設(shè)置主拍攝單元參數(shù)(塊1404)。然后，通過(guò)主拍攝單元拍攝預(yù)覽圖像(塊1406),并利用拍攝到的預(yù)覽圖像和場(chǎng)景分析數(shù)據(jù)來(lái)分析場(chǎng)景(塊1408)。然后，圖像處理器50利用先前的場(chǎng)景分析的結(jié)果(即通過(guò)分析來(lái)自?xún)蓚€(gè)拍攝單元的圖像而獲得的結(jié)果)來(lái)設(shè)置主拍攝單元參數(shù)(塊1410)。接著，通過(guò)主拍攝單元拍攝預(yù)覽圖像并將其顯示在顯示器70上(塊1412 ),并且從場(chǎng)景分析拍攝單元拍攝另 一圖像(塊1414 )。然后，通過(guò)利用拍攝到的預(yù)覽圖像數(shù)據(jù)和場(chǎng)景分析數(shù)據(jù)來(lái)分析場(chǎng)景(塊1416)。如果場(chǎng)景狀態(tài)并未改變與x相等的閾值(塊1418為否)，即場(chǎng)景狀態(tài)被認(rèn)為是穩(wěn)定的，則處理返回到塊1412，并由主拍攝單元和場(chǎng)景分析拍攝單元分別拍攝另一預(yù)覽圖像和場(chǎng)景分析圖像(塊1412和1414),并且繼續(xù)進(jìn)行前述處理?；蛘撸趫?chǎng)景狀態(tài)變化大于閾值(塊1400為是)并且狀況被認(rèn)為不穩(wěn)定時(shí)，處理返回到塊1410，并且圖像處理器50利用(在塊1416中由場(chǎng)景分析拍攝單元獲得的)新的場(chǎng)景分析數(shù)據(jù)的結(jié)果重新設(shè)置主拍攝單元參數(shù)，并且重復(fù)處理。
在前面圖19-22所示的操作期間，除非按下了快門(mén)按鈕42a或變焦按鈕42c,否則如圖所示繼續(xù)進(jìn)行預(yù)覽處理。如圖23所示，如果按下了變焦按鈕42c (塊1500),并且如果要求的變焦位置沒(méi)有位于主拍攝單元的變焦范圍內(nèi)(塊1502為是)，則拍攝單元的功能反轉(zhuǎn)，即將當(dāng)前場(chǎng)景分析和主拍攝單元分別重新設(shè)置為主拍攝單元和場(chǎng)景分析拍攝單元。然后，如圖20-23所示，主拍攝單元的變焦位置被設(shè)置為選擇的變焦位置(塊1506 )并且處理返回到預(yù)覽模式。然而，如果按下了變焦按鈕42c (塊1500為是)，并且如果要求的變焦位置位于主拍攝單元的變焦范圍內(nèi)(塊1502為否)，則各拍攝單元的功能和之前保持相同，并且主拍攝單元的變焦位置被設(shè)置為選擇的變焦位置(塊1506),并且處理返回到預(yù)覽模式。
37圖24-26示出表示具體地在拍攝處理期間使用或分析來(lái)自雙(或更 多)鏡頭照相機(jī)系統(tǒng)的一個(gè)攝像平臺(tái)的圖像以修改由另一攝像平臺(tái)生成 的圖像(即影響、分析、補(bǔ)充或者改變由其它攝像平臺(tái)生成的圖像)的 流程圖。參考圖24,根據(jù)第一拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門(mén)按 鈕42a按下半程(Sl)(塊1600),否則處理返回到預(yù)覽模式。在拍攝 模式中，從主拍攝單元拍攝預(yù)覽圖像(塊1602)。接著，利用拍攝到的 預(yù)覽圖像分析場(chǎng)景(塊1604)。當(dāng)分析完成時(shí)(塊1606為是)，圖像 處理器50利用場(chǎng)景分析的結(jié)果來(lái)設(shè)置主拍攝單元參數(shù)(塊1608 )。然 后，使用所設(shè)置的參數(shù)，從主拍攝單元拍攝并顯示預(yù)覽圖像(塊1610)。 當(dāng)全按下快門(mén)按鈕42a (S2)以便開(kāi)始攝像時(shí)(1612為是)，使用所設(shè) 置的參數(shù)從主拍攝單元拍攝主圖像(塊1614),并且處理返回到預(yù)覽模 式。如果沒(méi)有全按下快門(mén)按鈕42a (塊1612為否)，則照相機(jī)查看是否 設(shè)置了聚焦和曝光鎖定(塊1616)。如果是(塊1616為是)，則處理 返回到塊1610并且從主拍攝單元拍攝并顯示另一預(yù)覽圖像，再次檢查 快門(mén)按鈕42a的狀態(tài)(塊1612)，并且如前所述繼續(xù)進(jìn)行處理。如果沒(méi) 有設(shè)置聚焦或曝光鎖定(塊1616為否)，則處理返回到塊1602,并且 從主拍攝單元拍攝預(yù)覽圖像，并利用拍攝到的預(yù)覽圖像來(lái)分析場(chǎng)景(塊 1604)。然后，如前所述繼續(xù)進(jìn)行處理。
參考圖25,根據(jù)第二拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門(mén)按鈕 42a按下半程(Sl)(塊1700K然后，從主拍攝單元拍攝預(yù)覽圖像(塊 1702)。接著，通過(guò)場(chǎng)景分析拍攝單元拍攝圖像(塊1704),并且利用 拍攝到的預(yù)覽圖像和拍攝到的場(chǎng)景分析圖像這兩者來(lái)分析場(chǎng)景(塊 1706)。接著，圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來(lái)設(shè)置主拍 攝單元參數(shù)(塊1708)。然后，使用所設(shè)置的參數(shù)，從主拍攝單元拍攝 并顯示預(yù)覽圖像(塊1710)。接著，如之前圖24所示，當(dāng)全按下快門(mén) 按鈕42a(S2)(塊1712為是)時(shí)，使用所設(shè)置的參數(shù)從主拍攝單元拍 攝主圖像(塊1714)，并且處理返回到預(yù)覽模式。如果沒(méi)有全按下快門(mén) 按鈕42a，則照相機(jī)查看是否設(shè)置了聚焦和曝光鎖定(塊1716)。如果 是，則處理返回到塊1710并且從主拍攝單元拍攝并顯示另一預(yù)覽圖像 (塊1710),檢查快門(mén)按鈕42a的狀態(tài)(塊1712),并且如前所述繼 續(xù)進(jìn)行處理。如果沒(méi)有設(shè)置聚焦或曝光鎖(塊1716為否)，則處理返 回到塊1702,并且從主拍攝單元拍攝預(yù)覽圖像(塊1702)，并利用拍攝到的預(yù)覽圖像來(lái)分析場(chǎng)景(塊1704)。然后，如前所述繼續(xù)進(jìn)行處理。參考圖26,根據(jù)第三拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門(mén)按鈕42a按下半程(Sl)(塊1800K然后，從主拍攝單元拍攝預(yù)覽圖像(塊1802)并從場(chǎng)景分析拍攝單元拍攝圖像(塊1804)。接著，利用拍攝到的預(yù)覽圖像和拍攝到的場(chǎng)景分析圖像這兩者來(lái)分析場(chǎng)景(塊1806)，并且圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來(lái)設(shè)置主拍攝單元參數(shù)(塊1808 )。接著，將場(chǎng)景分析拍攝單元指定為副拍攝單元(塊1810),并且圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來(lái)設(shè)置副拍攝單元參數(shù)(塊1812)。接著，當(dāng)全按下快門(mén)按鈕42a (S2)(塊1814為是)時(shí)，使用所設(shè)置的參數(shù)從主拍攝單元拍攝主圖像(塊1816),并且從現(xiàn)在被指定為副拍攝單元的場(chǎng)景分析拍攝單元拍攝補(bǔ)充圖像(塊1818)。然后，圖像處理器50從主圖像和補(bǔ)充圖像生成增強(qiáng)圖像(塊1820)，并且處理返回到預(yù)覽模式。如果沒(méi)有全按下快門(mén)按鈕42a (塊1814)，則處理返回到塊1802并且通過(guò)再次從主拍攝單元和場(chǎng)景分析拍攝單元拍攝圖像來(lái)重新開(kāi)始處理(塊1802和1804 )。
關(guān)于圖26考慮不同類(lèi)型的補(bǔ)充或修改。在第一類(lèi)型的補(bǔ)充或修改中，并且如關(guān)于圖像14所示的那樣，在一個(gè)聚焦位置從主拍攝單元拍攝圖像，并且在另一聚焦位置從場(chǎng)景分析拍攝單元(副攝像單元)拍攝另一圖像。然后，將兩個(gè)圖像合成為具有加寬的景深的修改后的圖像。優(yōu)點(diǎn)是這可以在無(wú)需必須縮小主鏡頭的光圏的情況下完成以獲得更大的景深，該優(yōu)點(diǎn)對(duì)于優(yōu)先大光圈的低亮度拍攝特別有用。
在另一類(lèi)型的補(bǔ)充或修改中，圖像處理器50能夠檢查圖像的動(dòng)態(tài)范圍。當(dāng)動(dòng)態(tài)范圍超過(guò)預(yù)定閾值時(shí)，使用場(chǎng)景分析拍攝單元來(lái)生成具有與主圖像的動(dòng)態(tài)范圍不同的動(dòng)態(tài)范圍的副圖像。例如，可以以普通曝光拍攝主圖像，而可以以更極端的曝光(即曝光不足或過(guò)曝光)來(lái)拍攝副圖像。然后，如果例如在主曝光中對(duì)高亮過(guò)補(bǔ)光，則可以使副曝光曝光不足，以拍攝高亮區(qū)中的細(xì)節(jié)?？蛇x地，如果陰影在主曝光中被加深，則可以使副曝光過(guò)曝光，以拍攝陰影中的細(xì)節(jié)。然后，通過(guò)將主圖像的部分替換為副圖像的部分，來(lái)創(chuàng)建具有加寬的動(dòng)態(tài)范圍的修改后的圖像。
應(yīng)該理解，由主拍攝單元和副拍攝單元拍攝的圖像可以是靜止圖像或視頻圖像，并且在視頻圖像情況下可以是一系列圖像。在這兩種情況述的特定形式的補(bǔ)充來(lái)修改靜止圖像或構(gòu)成視頻信號(hào)的一系列圖像。例如，包含拍攝單元的電子照相機(jī)可以生成視頻圖像信號(hào)，并且使用副輸出圖像來(lái)修改至少例如構(gòu)成視頻圖像信號(hào)的一系列圖像的景深和/或動(dòng)態(tài)范圍。
可以更改圖14所示的流程圖以獲得具體地對(duì)動(dòng)態(tài)范圍進(jìn)行增強(qiáng)的主圖像。例如，參考圖14,當(dāng)按下了快門(mén)按鈕42a時(shí)，使用^L設(shè)置到主曝光級(jí)的第一 (或第二)攝像平臺(tái)來(lái)拍攝主靜止圖像(與塊510或530類(lèi)似)。然后，(與塊512或532類(lèi)似)使用被設(shè)置到第二曝光級(jí)的第二(或第一圖像)拍攝平臺(tái)來(lái)拍攝副靜止圖像。然后，(與塊514或534類(lèi)似)使用副靜止圖像來(lái)增強(qiáng)主圖像的動(dòng)態(tài)范圍，例如，其中將曝光不足以拍攝高亮下的細(xì)節(jié)的副曝光與主圖像相結(jié)合，以獲得擴(kuò)展的動(dòng)態(tài)范圍的主圖像。
如在通過(guò)引用包含于此的共同轉(zhuǎn)讓的共同待決的美國(guó)專(zhuān)利申請(qǐng)序
月27日提交，發(fā)明名稱(chēng)為"生成擴(kuò)展的動(dòng)態(tài)范圍數(shù)字圖像(Producing anExtended Dynamic Range Digital Image )，，)中所述的那樣，在用于生成經(jīng)修改的圖像的優(yōu)選方法中，使用按比例縮放來(lái)創(chuàng)建通過(guò)考慮主圖像和副圖像二者的像素值來(lái)確定像素值的經(jīng)修改的圖像。應(yīng)該注意，當(dāng)使用閃光燈時(shí)(其中常常產(chǎn)生過(guò)曝光狀況)，具有兩個(gè)曝光級(jí)來(lái)使得能夠校正動(dòng)態(tài)范圍是特別重要的。因此，拍攝平臺(tái)中的一個(gè)拍攝平臺(tái)的曝光時(shí)間將被設(shè)置為非常短的曝光，或者曝光的定時(shí)將被偏移為恰在閃光之前或恰在閃光之后。
可以與具有不同分辨率的圖^f象對(duì)相結(jié)合地應(yīng)用補(bǔ)充處理。例如，在通過(guò)引用包含于此的共同轉(zhuǎn)讓的共同待決的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)11/461,574(其以John Border, Scott Cahall和John Griffith的名義于2006年8月1日提交，發(fā)明名稱(chēng)為"生成具有不同分辨率部分的數(shù)字圖像(Producing Digital Image with Different Resolution Portions )，，) 中，通過(guò)兩個(gè)拍攝平臺(tái)來(lái)拍攝場(chǎng)景的第 一廣角數(shù)字圖像和基本相同的場(chǎng)景的部分的第二遠(yuǎn)攝數(shù)字圖像。然后，通過(guò)將第一廣角數(shù)字圖像的部分和遠(yuǎn)攝數(shù)字圖像的部分進(jìn)行組合來(lái)形成合成圖像，以生成在數(shù)字變焦期間具有提高的分辨率的數(shù)字圖像。更具體地，合成圖像的數(shù)字變焦產(chǎn)生在整個(gè)變焦范圍內(nèi)具有高分辨率且具有改善的圖像質(zhì)量的變焦圖像。
40在有關(guān)補(bǔ)充主題的又一實(shí)施例中，設(shè)置主拍攝平臺(tái)和副拍攝平臺(tái)以用于不同的曝光時(shí)間，從而使得不同程度的噪聲和運(yùn)動(dòng)模糊存在于各自
的圖像中。例如設(shè)置主拍攝平臺(tái)以用于相對(duì)長(zhǎng)的曝光從而使得圖像中的數(shù)字噪聲低，但是或者來(lái)自照相機(jī)的移動(dòng)或者來(lái)自場(chǎng)景中的被攝體的移動(dòng)的任意移動(dòng)均導(dǎo)致運(yùn)動(dòng)模糊。同時(shí)，設(shè)置副拍攝平臺(tái)以用于相對(duì)快的曝光從而使得圖像中的數(shù)字噪聲較高，而運(yùn)動(dòng)模糊較少。然后，將主圖像和副圖像彼此進(jìn)行比較，以識(shí)別運(yùn)動(dòng)才莫糊。增大副圖像的增益，因此副圖像中的平均像素值與主圖像的平均像素值相匹配。然后，通過(guò)將主圖像的部分替換為副圖像的部分來(lái)創(chuàng)建經(jīng)修改的圖像。實(shí)際上，主圖像的部分(具有較低噪聲但是具有一定運(yùn)動(dòng)模糊的區(qū)域)被替換為副圖像的相應(yīng)部分(具有較高噪聲但是具有很少或沒(méi)有運(yùn)動(dòng)模糊的區(qū)域)，以獲得具有相對(duì)低的噪聲和良好的銳度的經(jīng)修改的圖像。
已經(jīng)特別參考本發(fā)明的特定優(yōu)選實(shí)施例詳細(xì)說(shuō)明了本發(fā)明，然而應(yīng)該理解，各種修改和變形在本發(fā)明的精神和范圍內(nèi)可以實(shí)現(xiàn)。
部件列表
1第 一攝像平臺(tái)
2第二攝像平臺(tái)
3第一變焦鏡頭
4第二變焦鏡頭
變焦和聚焦電動(dòng)枳』
5b變焦和聚焦電動(dòng)枳j
10A數(shù)字照相機(jī)
12第一圖像傳感器
12e第一傳感器輸出
13時(shí)鐘驅(qū)動(dòng)器
14第二圖像傳感器
14e第二圖像輸出
15時(shí)鐘驅(qū)動(dòng)器
16第三圖像傳感器
17時(shí)鐘驅(qū)動(dòng)器
22第一模擬信號(hào)處理器(ASP1) &扁轉(zhuǎn)換器
4124 笫二才莫擬信號(hào)處理器(ASP2 ) &A/D轉(zhuǎn)換器
25 第三模擬信號(hào)處理器(ASP2 ) &A/D轉(zhuǎn)換器34 第 一數(shù)字多路轉(zhuǎn)接器控制元件
36 第二數(shù)字多路轉(zhuǎn)接器控制元件
37 第三數(shù)字多路轉(zhuǎn)接器控制元件
38 DRAM緩沖存儲(chǔ)器
40 控制處理器和定時(shí)發(fā)生器
42 用戶(hù)控制器
42a 快門(mén)4安鈕
42c 變焦4要4丑
42d 多位置選擇器
46 自動(dòng)曝光檢測(cè)器
48 電子閃光燈
50 圖像處理器
52 存儲(chǔ)卡接口
54 可移除存儲(chǔ)卡
56 RAM存儲(chǔ)器
57 GPS單元
58 固件存儲(chǔ)器
59 電子羅盤(pán)62 主機(jī)接口64 互連接66 主機(jī)PC
70 彩色LCD圖像顯示器
71 第一攝像平臺(tái)
73 第一固定焦距鏡頭
74 第三攝像平臺(tái)78 第三圖像傳感器90 蜂窩處理器
92 蜂窩調(diào)制解調(diào)器
94 天線(xiàn)
100 變焦鏡頭設(shè)置塊
42101 輸入變焦位置塊
102 變焦位置檢查塊104 拍攝平臺(tái)設(shè)置塊
106 第二平臺(tái)自動(dòng)聚焦圖像拍攝塊
108 第一平臺(tái)聚焦塊
110 第一平臺(tái)預(yù)覽拍攝和顯示塊
112 變焦按鈕;險(xiǎn)查塊
114 拍掘^要4丑檢查塊
116 第一平臺(tái)拍攝塊
118 第一平臺(tái)視頻拍攝塊
119 聚焦質(zhì)量檢查塊
120 重新聚焦檢查塊124 拍攝平臺(tái)設(shè)置塊
126 第一平臺(tái)自動(dòng)聚焦圖像拍攝塊
128 第二平臺(tái)聚焦塊
130 第二平臺(tái)預(yù)覽拍攝和顯示塊
132 變焦4要4丑;險(xiǎn)查塊
134 拍攝按鈕檢查塊
136 第二平臺(tái)拍攝塊
138 笫二平臺(tái)視頻拍攝塊
139 聚焦質(zhì)量檢查塊
140 重新聚焦檢查塊
151 被攝體
152 第一鏡頭
153 第二鏡頭
154 第一路徑
155 第二路徑
156 焦平面
157 第一圖像
158 第二圖像
170 第一基準(zhǔn)位置
171 第一偏移位置180第二基準(zhǔn)位置
181第二偏移位置
190第一傳感器陣列
191第二傳感器陣列
197低頻帶通濾波器加載步驟
198比較步驟
199高頻帶通濾波器加載步驟
250變焦位置選擇塊
252攝像平臺(tái)確定塊
254非拍攝平臺(tái)變焦塊
256超焦距設(shè)置塊
258開(kāi)始自動(dòng)調(diào)焦序列塊
260拍攝自動(dòng)聚焦圖像塊
262剪切和上采樣塊
264圖像相關(guān)聯(lián)塊
266最佳聚焦確定塊
268聚焦鏡頭移動(dòng)塊
270攝像塊
272"爬坡"自動(dòng)調(diào)焦塊
274拍掘j妄鈕啟動(dòng)塊
276拍攝視頻塊
278連續(xù)"爬坡"聚焦檢查塊
280聚焦檢查塊
282最佳聚焦確定塊
284聚焦鏡頭移動(dòng)塊
286拍攝平臺(tái)重新聚焦塊
300圖像組拍攝塊
302剪切和上采樣塊
304關(guān)聯(lián)圖像塊
306自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線(xiàn)生成塊
350自動(dòng)聚焦圖像的代表
352變焦和剪切后的自動(dòng)聚焦圖像的代表400圖像組拍攝塊
402位置與距離比較塊
404自動(dòng)調(diào)焦"爬坡'，校準(zhǔn)曲線(xiàn)生成塊
440較低焦距拍攝塊
442剪切和上采樣較低焦距圖像塊
444關(guān)聯(lián)圖像塊
446確定聚焦校正塊
448較長(zhǎng)焦距拍攝塊
460笫一平臺(tái)"爬坡"第一攝像塊
462第一平臺(tái)預(yù)覽圖像塊
464重新聚焦第一平臺(tái)塊
466第二平臺(tái)"爬坡"第二攝像塊
468第二平臺(tái)另一攝像塊
470第二平臺(tái)聚焦?fàn)顟B(tài)比較塊
472聚焦改變檢查塊
480確定像素偏移的關(guān)聯(lián)圖像塊
482使用測(cè)距器校準(zhǔn)曲線(xiàn)的像素偏移轉(zhuǎn)換塊
484范圍映射產(chǎn)生塊
500默認(rèn)變焦位置塊
502變焦位置檢查塊
504拍攝平臺(tái)設(shè)置塊
506第二平臺(tái)預(yù)覽拍攝、顯示和自動(dòng)調(diào)焦塊
508變焦按鈕檢查塊
510主聚焦處的第一平臺(tái)主攝像塊
512副聚焦處的第二平臺(tái)副攝像塊
514使用副圖像的主圖像增強(qiáng)塊
524拍攝平臺(tái)設(shè)置塊
526第一平臺(tái)預(yù)覽拍攝、顯示和自動(dòng)調(diào)焦塊
528變焦按鈕檢查塊
530主聚焦處的第二平臺(tái)主圖像拍攝塊
532副聚焦處的第 一平臺(tái)副圖像拍攝塊
534使用副圖像的主圖像增強(qiáng)塊600移動(dòng)電話(huà)-
602麥克風(fēng)
604揚(yáng)聲器
606鍵盤(pán)
608(LCD)顯示器
610蜂窩攝像組件
612第一固定焦距鏡頭
614第一圖像傳感器
616第二固定焦距鏡頭
618第二圖像傳感器
620基板
622IR截止濾波器
624電子部件
626撓性連接器
628自動(dòng)調(diào)焦子系統(tǒng)
630z尺寸
750照相機(jī)GPS位置塊
752照相機(jī)指向方向塊
7543巨離偏移塊
756角度偏移塊
758場(chǎng)景GPS位置塊
760GPS位置存儲(chǔ)塊
1100通電塊
1102默認(rèn)設(shè)置塊
1104拍攝和顯示塊
1106預(yù)覽選擇塊
1108快門(mén)檢查塊
1110顯示時(shí)間檢查塊
1112設(shè)置默認(rèn)拍攝單元塊
1114設(shè)置場(chǎng)景分析拍攝單元塊
1124設(shè)置所選擇的主拍攝單元塊
1200場(chǎng)景分析塊
461202設(shè)置拍攝參數(shù)塊
1204拍攝和顯示預(yù)覽圖像塊
1206場(chǎng)景分析塊
1208場(chǎng)景狀態(tài)檢查塊
1300拍攝場(chǎng)景分析圖像塊
1302設(shè)置拍攝參數(shù)塊
1304拍攝和顯示預(yù)覽圖像塊
1306場(chǎng)景分析塊
1308場(chǎng)景狀態(tài)閾值檢查塊
1400變焦位置設(shè)置塊
1402拍攝場(chǎng)景分析圖像塊
1404設(shè)置拍攝參數(shù)塊
1406拍攝預(yù)覽圖像塊
1408使用預(yù)覽和場(chǎng)景分析數(shù)據(jù)的場(chǎng)景分析塊
1410設(shè)置主拍攝參數(shù)塊
1412拍攝和顯示預(yù)覽圖像塊
1414拍攝場(chǎng)景分析圖像塊
1416使用預(yù)覽和場(chǎng)景分析數(shù)據(jù)的場(chǎng)景分析塊
1418場(chǎng)景狀態(tài)閾值檢查塊
1500變焦按鈕檢查塊
1502變焦位置檢查塊
1504反轉(zhuǎn)拍攝單元分配塊
1506設(shè)置主拍攝單元變焦位置塊
1600快門(mén)按鈕檢查塊
1602拍攝預(yù)覽圖像塊
1604使用預(yù)覽圖像的場(chǎng)景分析塊
1606分析完成4企查塊
1608設(shè)置主拍攝參數(shù)塊
1610拍攝和顯示預(yù)覽圖像塊
1612快門(mén)按鈕檢查塊
1614拍攝主圖像塊
1616聚焦/曝光鎖定檢查塊
471700快門(mén)按鈕檢查塊
1702拍攝預(yù)覽圖像塊
1704拍攝場(chǎng)景分析圖像塊
1706使用預(yù)覽和場(chǎng)景圖像的場(chǎng)景分析塊
1708設(shè)置主拍攝參數(shù)塊
1710拍攝和顯示預(yù)覽圖像塊
1712快門(mén)按鈕檢查塊
1714拍攝主圖像塊
1716聚焦/曝光鎖定檢查塊
1800快門(mén)按鈕檢查塊
1802拍攝預(yù)覽圖像塊
1804拍攝場(chǎng)景分析圖像塊
1806使用預(yù)覽和場(chǎng)景圖像的場(chǎng)景分析塊
1808設(shè)置主拍攝參數(shù)塊
1810設(shè)置場(chǎng)景分析拍攝單元作為副拍攝單元塊
1812設(shè)置副拍攝參數(shù)塊
1814快門(mén)按鈕檢查塊
1816拍攝主圖像塊
1818拍攝補(bǔ)充圖像塊
1820生成增強(qiáng)圖像塊
權(quán)利要求
1.一種電子照相機(jī)，用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖像，該電子照相機(jī)包括第一攝像平臺(tái)，其包括用于生成第一傳感器輸出的第一圖像傳感器和用于在所述第一圖像傳感器上形成所述場(chǎng)景的第一圖像的第一鏡頭；第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的第二圖像傳感器和用于在所述第二圖像傳感器上形成所述場(chǎng)景的第二圖像的第二鏡頭，其中所述第一和第二鏡頭具有不同的焦距；以及處理平臺(tái)，用于使用來(lái)自所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)的傳感器輸出作為所拍攝的圖像信號(hào)并使用來(lái)自所述兩個(gè)攝像平臺(tái)的圖像來(lái)生成標(biāo)識(shí)到所述場(chǎng)景的不同部分的距離的范圍映射。
2. 根據(jù)權(quán)利要求1所述的電子照相機(jī)，其中所述處理平臺(tái)將第一圖 像和第二圖像相關(guān)聯(lián)，以針對(duì)所述圖像的不同部分確定所述圖像之間的像素偏移，將所迷像素偏移轉(zhuǎn)換成距離所述電子照相機(jī)的距離，并生成 示出到圖像的不同部分的距離的所述范圍映射。
3. 根據(jù)權(quán)利要求2所述的電子照相機(jī)，其中所述處理平臺(tái)對(duì)來(lái)自較 小焦距的鏡頭的圖像進(jìn)行剪切和上采樣，以使得所述兩個(gè)圖像中的相應(yīng) 的特征跨越基本相同數(shù)量的像素。
4. 根據(jù)權(quán)利要求1所述的電子照相機(jī)，其中處理平臺(tái)使用測(cè)距器校 準(zhǔn)曲線(xiàn)來(lái)將所述像素偏移轉(zhuǎn)換成距離所述電子照相機(jī)的距離。
5. 根據(jù)權(quán)利要求1所述的電子照相機(jī)，其中所述照相機(jī)還包括用于提供所述照相機(jī)的位置的GPS坐標(biāo)的GPS單元和用于提供所述照相機(jī) 的指向方向的電子羅盤(pán)。
6. 根據(jù)權(quán)利要求5所述的電子照相機(jī)，其中所述處理平臺(tái)使用所述 照相機(jī)的位置的GPS坐標(biāo)、所述照相機(jī)的指向方向和來(lái)自所述范圍映射 的距離偏移，來(lái)生成所述場(chǎng)景的各部分的GPS坐標(biāo)。
7. 根據(jù)權(quán)利要求1所述的電子照相機(jī)，其中所述范圍映射被用來(lái)修 改所拍攝的圖像。
8. —種電子照相機(jī)，用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖 像，該電子照相機(jī)包括第一攝像平臺(tái)，其包括用于生成第一傳感器輸出的第一圖像傳感 器、用于在所述第一圖像傳感器上形成所述場(chǎng)景的第一圖像的笫一鏡頭以及用于響應(yīng)于第 一聚焦檢測(cè)信號(hào)而調(diào)節(jié)所述第 一鏡頭的聚焦的第一鏡頭聚焦調(diào)節(jié)器；第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的第二圖像傳感 器、用于在所述第二圖像傳感器上形成所述場(chǎng)景的第二圖像的第二鏡頭 以及用于響應(yīng)于第二聚焦檢測(cè)信號(hào)而調(diào)節(jié)所述第二鏡頭的聚焦的第二 鏡頭聚焦調(diào)節(jié)器；處理平臺(tái)，用于或者(a)選擇來(lái)自第一攝像平臺(tái)的傳感器輸出作 為所拍攝的圖像信號(hào)并使用來(lái)自至少第二攝像平臺(tái)的傳感器輸出來(lái)生 成用于所選擇的攝像平臺(tái)的所述第一聚焦檢測(cè)信號(hào)，或者(b)選擇來(lái) 自第二攝像平臺(tái)的傳感器輸出作為所拍攝的圖像信號(hào)并使用來(lái)自至少 第一攝像平臺(tái)的傳感器輸出來(lái)生成用于所選擇的攝像平臺(tái)的所述笫二 聚焦檢測(cè)信號(hào)，其中所述聚焦檢測(cè)信號(hào)被應(yīng)用于所選擇的攝像平臺(tái)的鏡 頭聚焦調(diào)節(jié)器，以便調(diào)節(jié)圖像的聚焦，從而提供所拍攝的圖像信號(hào)的傳 感器輸出；以及其中所述處理平臺(tái)還使用來(lái)自測(cè)距器配置中的所述第 一和第二攝 像平臺(tái)兩者的傳感器輸出來(lái)生成標(biāo)識(shí)到所述場(chǎng)景的不同部分的距離的 范圍映射。
9. 根據(jù)權(quán)利要求8所述的電子照相機(jī)，其中所述照相機(jī)還包括用于 提供所述照相機(jī)的位置的GPS坐標(biāo)的GPS單元和用于提供所述照相機(jī) 的指向方向的電子羅盤(pán)。
10. 根據(jù)權(quán)利要求9所述的電子照相機(jī)，其中所述處理平臺(tái)使用所 述照相機(jī)的位置的GPS坐標(biāo)、所述照相機(jī)的指向方向和來(lái)自所述范圍映 射的距離偏移，來(lái)生成所述場(chǎng)景的各部分的GPS坐標(biāo)。
11. 根據(jù)權(quán)利要求8所述的電子照相機(jī)，其中所述范圍映射被用來(lái) 修改所述圖像。
12. —種電子照相機(jī)，用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖 像，該電子照相機(jī)包括第一攝像平臺(tái)，其包括用于生成第一傳感器輸出的第一圖像傳感 器、用于在所述第一圖像傳感器上形成所述場(chǎng)景的第一圖像的第一鏡頭 以及用于響應(yīng)于聚焦改變檢測(cè)信號(hào)而連續(xù)地重新調(diào)節(jié)所述第一鏡頭的 聚焦的第一鏡頭聚焦調(diào)節(jié)器；第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的第二圖像傳感器以及用于在所述第二圖像傳感器上形成所述場(chǎng)景的第二圖像的第二鏡頭；以及處理平臺(tái)，用于使用來(lái)自第 一攝像平臺(tái)的傳感器輸出作為所拍攝的 圖像信號(hào)并使用來(lái)自測(cè)距器配置中的所述第 一 和第二攝像平臺(tái)的傳感 器輸出來(lái)檢測(cè)所述場(chǎng)景的所述圖像的聚焦，并產(chǎn)生用于第 一攝像平臺(tái)的 聚焦檢測(cè)信號(hào)以便聚焦所述圖像，其中所述聚焦檢測(cè)信號(hào)被應(yīng)用于第一 攝像平臺(tái)的鏡頭聚焦調(diào)節(jié)器，以便調(diào)節(jié)所述圖像的聚焦，從而提供所拍 攝的圖像信號(hào)；以及其中所述處理平臺(tái)還使用來(lái)自所述測(cè)距器配置中的所述第 一和第 二攝像平臺(tái)兩者的傳感器輸出來(lái)生成標(biāo)識(shí)到所述場(chǎng)景的不同部分的距 離的范圍映射。
13. 才艮據(jù)權(quán)利要求12所述的電子照相機(jī)，其中所述照相才幾還包括 用于提供所述照相^/L的位置的GPS坐標(biāo)的GPS單元和用于提供所述照 相機(jī)的指向方向的電子羅盤(pán)。
14. 根據(jù)權(quán)利要求13所述的電子照相機(jī)，其中所述處理平臺(tái)使用所 述照相機(jī)的位置的GPS坐標(biāo)、所述照相才幾的指向方向和來(lái)自所述范圍映 射的距離偏移，來(lái)生成所述場(chǎng)景的各部分的GPS坐標(biāo)。
15. 根據(jù)權(quán)利要求12所述的電子照相機(jī)，其中所述范圍映射被用 來(lái)修改所拍攝的圖像信號(hào)。
16. —種用于使用數(shù)字照相機(jī)的方法，所述數(shù)字照相機(jī)具有兩個(gè)攝 像平臺(tái)并用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖像和范圍映射，所 述方法包括步驟根據(jù)位于第 一攝像平臺(tái)中的第 一 圖像傳感器的傳感器輸出形成所 述場(chǎng)景的第一圖像；根據(jù)位于第二攝像平臺(tái)中的第二圖像傳感器的傳感器輸出形成所 述場(chǎng)景的第二圖像，其中所述第一和第二圖像具有不同的視角；選擇來(lái)自所述攝像平臺(tái)中的一個(gè)的傳感器輸出作為所拍攝的圖像 信號(hào)；以及使用來(lái)自所述兩個(gè)攝像平臺(tái)的圖像來(lái)生成標(biāo)識(shí)到所述場(chǎng)景的不同 部分的距離的范圍映射。
17. 根據(jù)權(quán)利要求16所述的方法，還包括步驟將所述第 一和第二圖像相關(guān)聯(lián)以針對(duì)所述圖像的不同部分確定所述圖像之間的像素偏移；將所述像素偏移轉(zhuǎn)換成距離電子照相機(jī)的距離；以及 生成示出到所述圖像的不同部分的距離的范圍映射。
18. 根據(jù)權(quán)利要求17所述的方法，還包括步驟 對(duì)來(lái)自較廣角圖像的圖像進(jìn)行剪切和上采樣，以使得所述兩個(gè)圖像中的相應(yīng)的特征跨越基本相同數(shù)量的像素。
19. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 識(shí)別#:攝體的連續(xù)邊界而使得可以限定所述被攝體的形狀來(lái)改進(jìn)所述 輸出圖像內(nèi)的被攝體識(shí)別。
20. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 識(shí)別被攝體的連續(xù)邊界而使得該被攝體在所述輸出圖像內(nèi)能夠被分割 來(lái)使得能夠從圖像提取被攝體。
21. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 識(shí)別被攝體而使得所述被攝體能夠在所述輸出圖像之間作為相同的被 攝體而被追蹤來(lái)使能被攝體的運(yùn)動(dòng)追蹤。
22. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 模糊化所述輸出圖像的與位于期望景深之外的場(chǎng)景區(qū)域相對(duì)應(yīng)的部分 來(lái)使能動(dòng)態(tài)景深圖像。
23. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 將增益調(diào)節(jié)應(yīng)用于所述輸出圖像內(nèi)作為整體的被攝體來(lái)改善所述輸出 圖像內(nèi)的動(dòng)態(tài)范圍。
24. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 減小對(duì)所述輸出圖像的與前景區(qū)域中的被攝體相對(duì)應(yīng)的部分的增益并 增大對(duì)背景區(qū)域中的被攝體的增益來(lái)減小由使用閃光燈而帶來(lái)的曝光 問(wèn)題。
25. 根據(jù)權(quán)利要求16所述的方法，其中所述范圍映射被用于通過(guò) 使得前景區(qū)域中的被攝體被強(qiáng)調(diào)來(lái)改善所述輸出圖像內(nèi)的場(chǎng)景平衡。
全文摘要
一種電子照相機(jī)，用于從所拍攝的圖像信號(hào)產(chǎn)生場(chǎng)景的輸出圖像，該電子照相機(jī)包括第一攝像平臺(tái)，其包括用于生成第一傳感器輸出的第一圖像傳感器和用于在所述第一圖像傳感器上形成所述場(chǎng)景的第一圖像的第一鏡頭；第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的第二圖像傳感器和用于在所述第二圖像傳感器上形成所述場(chǎng)景的第二圖像的第二鏡頭，其中所述鏡頭具有不同的焦距。處理平臺(tái)使用來(lái)自所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)的傳感器輸出作為所拍攝的圖像信號(hào)，并使用來(lái)自所述兩個(gè)攝像平臺(tái)的圖像來(lái)生成標(biāo)識(shí)到所述場(chǎng)景的不同部分的距離的范圍映射。
文檔編號(hào)H04N5/232GK101637019SQ200880007744
公開(kāi)日2010年1月27日 申請(qǐng)日期2008年2月8日 優(yōu)先權(quán)日2007年3月9日
發(fā)明者A·C·加拉赫爾, A·D·恩格, B·H·皮爾曼, E·O·莫雷爾斯, J·E·小亞當(dāng)斯, J·N·博爾德, K·A·雅各比, R·J·帕盧姆 申請(qǐng)人:伊斯曼柯達(dá)公司