攝像裝置及其控制方法
【專利摘要】本發(fā)明提供一種攝像裝置及其控制方法。該攝像裝置包括：攝像單元，其用于拍攝被攝體的光學圖像并且生成能夠被重新聚焦的圖像拍攝數(shù)據(jù)；檢測單元，其用于檢測所述被攝體的所述光學圖像的聚焦狀態(tài)；預測單元，其用于基于所述檢測單元的檢測結果，預測所述被攝體的所述光學圖像的對焦位置；以及調焦單元，其用于基于由所述預測單元預測的對焦位置來驅動聚焦透鏡，其中在所述攝像單元從所述被攝體拍攝多個圖像的情況下，所述調焦單元將所述聚焦透鏡驅動到偏離所述預測單元預測的對焦位置預定量的位置，并且所述調焦單元具有使位置偏離預定量的多個模式。
【專利說明】攝像裝置及其控制方法

【技術領域】
[0001] 本發(fā)明涉及一種由數(shù)字照相機代表的攝像裝置，尤其涉及具有重新聚焦功能和連 續(xù)拍攝功能的攝像裝置。

【背景技術】
[0002] 在現(xiàn)有技術中，在數(shù)字照相機等當中，存在一種能夠進行連續(xù)拍攝的裝置。如果在 連續(xù)拍攝期間，用于例如單鏡頭反光照相機等的相位差檢測方法被作為自動聚焦(在下文 中，稱為AF)執(zhí)行，則可以以相對高的速度進行AF的算術運算并且可以拍攝各幀被AF-控 制的圖像。然而，由于在AF傳感器的累積操作和攝像元件的曝光之間存在時間滯后，尤其 針對高速移動的被攝體，即使基于AF傳感器中累積的輸出進行AF控制，被攝體在攝像所具 有的時間滯后期間也移動。因此，可能發(fā)生攝像時圖像散焦的這種現(xiàn)象。所以，在日本特 開第2001-21794號的官方公報(專利文獻1)中，提出了這樣一種技術，即從過去的多個AF 結果中預測攝像元件曝光時的焦點位置，利用與考慮的時間滯后相對應的量來校正焦點位 置，并且移動聚焦透鏡。
[0003] 在 Ren. Ng 以及其他 7 人的 "Light Field Photography with a Hand-Held Plenoptic Camera "Stanford Tech Report CTSR2005-02 (非專利文獻 1)等中，提出一種具 有如下這樣結構的攝像裝置，即，以針對多個像素提供一個微透鏡的比率在攝像元件的前 表面上布置微透鏡陣列，從而使得也能夠獲得進入攝像元件的光線的入射方向的信息。作 為這種攝像裝置的用途，除了用于基于來自各像素的輸出信號生成通常的拍攝圖像以外， 也可以考慮這樣的用途，即通過對拍攝圖像執(zhí)行預定的圖像處理，能夠重構聚焦到任意焦 距的圖像等。
[0004] 然而，專利文獻1中公開的現(xiàn)有技術具有如下問題：例如，像在摩托車競賽情景等 的拍攝中發(fā)生的摔倒事故情景，在被攝體突然改變其運動速度等的情況下，難以預測焦點 位置而且難以執(zhí)行精確的AF操作。此外，由于AF控制是針對目標被攝體進行的，所以例如， 如果關注競賽情景中正在奔跑的一個被攝體，則基本上不可能去拍攝被聚焦到跑在目標被 攝體之后的另一個被攝體的圖像。
[0005] 另外，在非專利文獻1公開的技術中，能夠重構圖像的焦距受限于攝像裝置的結 構，并且通常，并非總是能夠重構被聚焦到從最近側到無窮遠側范圍內的所有物距的圖像。


【發(fā)明內容】

[0006] 因此，發(fā)明的一方面是提供一種即使在連續(xù)拍攝突然改變其運動速度的被攝體時 也能夠獲得期望聚焦的圖像的攝像裝置。
[0007] 為了實現(xiàn)以上方面，根據(jù)本發(fā)明，攝像裝置包括：攝像單元，其被配置為拍攝被攝 體的光學圖像并且生成能夠被重新聚焦的圖像拍攝數(shù)據(jù)；檢測單元，其被配置為檢測所述 被攝體的所述光學圖像的聚焦狀態(tài)；預測單元，其被配置為基于所述檢測單元的檢測結果， 預測所述被攝體的所述光學圖像的對焦位置；以及調焦單元，其被配置為基于所述預測單 元預測的所述對焦位置來驅動聚焦透鏡，其中在所述攝像單元從所述被攝體拍攝多個圖像 的情況下，所述調焦單元將所述聚焦透鏡驅動到偏離所述預測單元預測的對焦位置預定量 的位置，并且所述調焦單元具有使位置偏離預定量的多個模式。
[0008] 通過下面參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。

【專利附圖】

【附圖說明】
[0009] 被包含在說明書中并構成說明書的一部分的附圖，例示了本發(fā)明的示例性實施 例、特征和方面，并且與說明書一起用于說明本發(fā)明的原理。
[0010] 圖1是根據(jù)本發(fā)明的實施例的攝像裝置的整體框圖。
[0011] 圖2是例示根據(jù)本發(fā)明的實施例的攝像裝置中的攝像元件和微透鏡陣列的結構 的圖。
[0012] 圖3是例示根據(jù)本發(fā)明的實施例的攝像裝置中的拍攝透鏡、微透鏡陣列以及攝像 元件的結構的圖。
[0013] 圖4A和圖4B是例示根據(jù)本發(fā)明的實施例的攝像裝置中的拍攝鏡頭的光瞳區(qū)域和 感光像素之間的對應關系的圖。
[0014] 圖5A和圖5B是用于描述根據(jù)本發(fā)明的實施例的攝像裝置中用于AF以及被攝體 追蹤的相關算術運算中的信號的生成的圖。
[0015] 圖6是用于描述重新聚焦圖像的生成的圖。
[0016] 圖7是例示根據(jù)本發(fā)明的實施例的攝像裝置的操作的流程的圖。
[0017] 圖8是例示在不執(zhí)行本發(fā)明的連續(xù)拍攝時聚焦透鏡的位置和重新聚焦范圍的圖。
[0018] 圖9是用于描述根據(jù)本發(fā)明的實施例的攝像裝置的最大重新聚焦量的圖。
[0019] 圖10是用于描述根據(jù)本發(fā)明的實施例的聚焦透鏡的位置和重新聚焦范圍的圖。
[0020] 圖11是用于描述根據(jù)本發(fā)明的實施例的被攝體追蹤的算術運算的圖。
[0021] 圖12是用于描述本發(fā)明的實施例的技術效果的圖。
[0022] 圖13A、圖13B和圖13C是用于描述本發(fā)明的實施例可以應用到的另一光學系統(tǒng)的 示例的圖。

【具體實施方式】
[0023] 以下，將參照附圖詳細說明本發(fā)明的各示例性實施例、特征和方面。
[0024] 圖2是根據(jù)發(fā)明的實施例的照相機的框圖。在圖中，拍攝鏡頭101是由多個透鏡 (未示出）構成的光學系統(tǒng)，并且形成被攝體的光學圖像。在多個透鏡中包括可移動的聚焦 透鏡。通過移動聚焦透鏡，可以調節(jié)被攝體的聚焦狀態(tài)。微透鏡陣列（以下，被稱為MLA)102 由多個微透鏡構成，并且被布置在拍攝鏡頭101的焦點位置附近。穿過拍攝鏡頭101的不 同的光瞳區(qū)域的光線進入MLA102并且分散到各個光瞳區(qū)域并出射。攝像元件103拍攝被 攝體的光學圖像，攝像元件103由(XD、CMOS圖像傳感器等構成并被布置在MLA102的焦點 位置的附近。以下將詳細描述MLA102和攝像元件103。AD轉換器104將從攝像元件103 輸出的模擬圖像信號轉換成數(shù)字數(shù)據(jù)。圖像處理單元105對該數(shù)字數(shù)據(jù)執(zhí)行預定的圖像處 理等，從而獲得被攝體的數(shù)字圖像數(shù)據(jù)。拍攝控制單元106進行控制，以使得由圖像處理單 元105獲得的數(shù)字圖像數(shù)據(jù)被顯示在由液晶顯示器等構成的顯示單元107上并且被存儲在 記錄單元108等中。此外，被攝體追蹤單元109從拍攝控制單元106接收數(shù)字圖像數(shù)據(jù)并 搜索圖像中存在的特定被攝體在圖片圖像中的位置。以下將詳細描述被攝體追蹤單元的操 作。拍攝控制單元106以使得CPU加載存儲器(未示出沖存儲的程序并執(zhí)行該程序的方式 對各單元進行控制。在這種情況下，各個單元的全部功能或部分功能可以由CPU執(zhí)行或者 可以由硬件構成。
[0025] 操作單元110是用于接收來自用戶的操作的諸如按鈕、觸摸屏等的部件。操作單 元110根據(jù)接收到的操作執(zhí)行諸如開始聚焦操作、刪除存儲在記錄單元108中的數(shù)字圖像 數(shù)據(jù)等的各種類型的操作。拍攝鏡頭101電氣地機械連接到拍攝控制單元106?？梢酝ㄟ^ 通信獲得拍攝鏡頭的信息。在聚焦操作時，可以發(fā)送聚焦透鏡的驅動命令等。
[0026] 接著，將描述根據(jù)實施例的攝像裝置中的拍攝鏡頭101、MLA102和攝像元件103的 結構。
[0027] 圖2是用于描述攝像元件103和MLA102的結構的圖。圖2示出當從與拍攝鏡頭 的光軸相對應的z軸方向觀察時的攝像元件103和MLA102。以使得一個微透鏡202對應 于多個構成拍攝圖像的虛擬像素200的單位像素201的方式布置微透鏡。微透鏡202是構 成MLA102的微透鏡中的一個。假設對應一個微透鏡存在共計36 (6行X6列)個單位像素 201來例示本實施例。關于圖中所示的坐標軸，光軸由z軸示出，X軸(水平方向)和y軸(垂 直方向)被定義在像平面內，該平面與垂直于z軸的平面平行。圖2例示了攝像元件103的 感光表面的一部分，在實際攝像元件中布置了非常多的像素。
[0028] 圖3例示了從拍攝鏡頭101中出射的光穿過一個微透鏡202并被攝像元件103接 收的情況，此圖示出了當從垂直于光軸（z軸）的方向觀察時的狀態(tài)。從拍攝鏡頭101的光 瞳區(qū)域％至a 6出射并且穿過微透鏡202的光線被分別聚焦到在微透鏡202后面布置的攝 像元件103的相應單位像素 Pl至p6上。
[0029] 圖4A是當從光軸（z)方向觀察時拍攝鏡頭101的光圈的圖。圖4B是一個微透鏡 202和布置在微透鏡202后面的像素 201的圖，此圖示出了當從光軸（z)方向觀察時的狀 態(tài)。在拍攝鏡頭101的光瞳區(qū)域被劃分為與如圖4A中所示的一個微透鏡下面存在的像素的 數(shù)量相同數(shù)量的區(qū)域的情況下，來自拍攝鏡頭101的一個光瞳劃分區(qū)域的光線被聚焦在一 個像素內。然而，現(xiàn)在假設，拍攝鏡頭的F值（F number)與微透鏡的幾乎一致?，F(xiàn)在，假設 圖4A中所示的拍攝鏡頭的光瞳劃分區(qū)域是an至a66并且圖4B中所示的像素是p n至p66， 當從光軸（z)方向觀察時它們之間的對應關系是點對稱。因此，從拍攝鏡頭的光瞳劃分區(qū) 域a n中出射的光線被聚焦在布置在微透鏡后面的像素 201之中的像素 pn中。以類似于如 上所述的方式，從光瞳劃分區(qū)域an中出射并且穿過另一個微透鏡的光線也被聚焦在布置 在微透鏡后面的像素 201之中的像素 pn中。
[0030] 由于圖4B所示的像素 pn至p66接收如上所述的穿過拍攝鏡頭的不同光瞳區(qū)域的 光線，因此如果利用這些信息，可以檢測到被攝體的光學圖像的聚焦狀態(tài)并且也可以進行 調焦。如圖5A中所示，將對應于各微透鏡的像素輸出p n至p66相加，并且由以下公式（1) 和（2)所示生成在水平方向劃分的光瞳區(qū)域的兩個信號。
[0031]

【權利要求】
1. 一種攝像裝置，該攝像裝置包括： 攝像單元，其用于拍攝被攝體的光學圖像并生成能夠被重新聚焦的圖像拍攝數(shù)據(jù)； 檢測單元，其用于檢測所述被攝體的所述光學圖像的聚焦狀態(tài)； 預測單元，其用于基于所述檢測單元的檢測結果，預測所述被攝體的所述光學圖像的 對焦位置；以及 調焦單元，其用于基于由所述預測單元預測的所述對焦位置，驅動聚焦透鏡， 其中，在所述攝像單元從所述被攝體拍攝多個圖像的情況下，所述調焦單元將所述聚 焦透鏡驅動到偏離所述預測單元預測的對焦位置預定量的位置，并且具有使位置偏離所述 預定量的多個模式。
2. 根據(jù)權利要求1的所述攝像裝置，其中，所述多個模式包括第一模式和第二模式，在 所述第一模式中偏離所述預定量的位置是在所預測的對焦位置的最近側，并且在所述第二 模式中偏離的位置是在無窮遠側。
3. 根據(jù)權利要求1或2的所述攝像裝置，其中，在所述攝像單元對所述被攝體拍攝多個 圖像的情況下，所述調焦單元周期地改變所述多個模式。
4. 根據(jù)權利要求3的所述攝像裝置，其中，所述調焦單元針對由所述攝像單元生成的 所述圖像拍攝數(shù)據(jù)的每幀改變所述多個模式。
5. 根據(jù)權利要求1至4中的任一個所述的攝像裝置，其中，設置所述預定量，使得在所 述圖像拍攝數(shù)據(jù)的重新聚焦中可用的像平面位置的范圍包括與所述被攝體的對焦位置對 應的像平面位置。
6. 根據(jù)權利要求1的所述攝像裝置，該攝像裝置還包括設置單元，所述設置單元用于 設置由所述預測單元進行所述對焦位置的預測的目標被攝體， 其中，所述設置單元從所述圖像拍攝數(shù)據(jù)中檢測所設置的被攝體并且根據(jù)所述檢測的 結果，更新要預測的所述被攝體的設置，并且 所述設置單元檢測設置被更新的所述被攝體的聚焦狀態(tài)。
7. 根據(jù)權利要求1或6所述的攝像裝置，該攝像裝置還包括圖像處理單元，所述圖像處 理單元用于由所述圖像拍攝數(shù)據(jù)在通過所述重新聚焦生成的預定像平面位置重構圖像數(shù) 據(jù)， 其中，所述攝像裝置具有用于將重構的圖像數(shù)據(jù)顯示到顯示單元的實時瀏覽模式，并 且 其中，所述圖像處理單元以使得與所述圖像數(shù)據(jù)疊加的方式將所述設置框顯示到所述 顯示單元，所述設置框用于設置所述預測單元進行對焦位置的預測的目標被攝體。
8. 根據(jù)權利要求7所述的攝像裝置，其中，所述圖像處理單元由所述攝像單元生成的 多幀的圖像拍攝數(shù)據(jù)當中所述多個模式中的同一模式的各幀的圖像數(shù)據(jù)，在對應于與所述 預測單元進行對焦位置的預測的目標被攝體不同的被攝體的對焦位置的像平面位置重構 圖像數(shù)據(jù)，并且通過對重構的多個圖像數(shù)據(jù)插值來生成新幀的圖像。
9. 根據(jù)權利要求1所述的攝像裝置，其中，由所述預測單元預測的對焦位置是物距。
10. -種攝像裝置的控制方法，所述攝像裝置包括用于拍攝被攝體的光學圖像并且生 成能夠被重新聚焦的圖像拍攝數(shù)據(jù)，所述控制方法包括： 檢測步驟，檢測所述被攝體的所述光學圖像的聚焦狀態(tài)； 預測步驟，基于所述檢測步驟中的檢測結果，預測所述被攝體的所述光學圖像的對焦 位置；以及 調焦步驟，基于所述預測步驟中預測的所述對焦位置來驅動聚焦透鏡， 其中，所述調焦步驟包括：在所述攝像單元從所述被攝體拍攝多個圖像的情況下、將所 述聚焦透鏡驅動到偏離所述預測步驟中預測的對焦位置預定量的位置的步驟，并且所述調 焦步驟具有使位置偏離所述預定量的多種模式。
【文檔編號】H04N5/232GK104113686SQ201410155190
【公開日】2014年10月22日 申請日期:2014年4月17日 優(yōu)先權日:2013年4月19日
【發(fā)明者】菅原淳史, 有賀雄一 申請人:佳能株式會社