攝像設(shè)備和攝像方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及攝像設(shè)備和攝像方法。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中，在單鏡頭反光照相機(jī)中，使用多種反光結(jié)構(gòu)，在所述反光結(jié)構(gòu)中，使用鏡對(duì)通過(guò)透鏡的光進(jìn)行反射并將其引導(dǎo)至AF傳感器、進(jìn)行自動(dòng)調(diào)焦、之后通過(guò)操作鏡將光引導(dǎo)至攝像傳感器、以及拍攝被攝體圖像。
[0003]另一方面，存在用于生成焦面可以虛擬地移動(dòng)(再聚焦)的圖像數(shù)據(jù)的光場(chǎng)照相機(jī)(以下，稱為 “LF 照相機(jī)”)(參考 Ren Ng 等 5 人的 “Light Field Photography with aHand-Held Plenoptic Camera，，，Stanford Tech Report CTSR2005-02 (以下，稱為“技術(shù)報(bào)告，，))。
[0004]作為測(cè)量至被攝體的距離的方法，存在一種用于測(cè)量在使用光脈沖照射被攝體后攝像裝置接收到來(lái)自被攝體的反射光為止所需的時(shí)間以及計(jì)算距離的T0F(飛行時(shí)間法)方法(參考日本特開(kāi)平7-110381)。
[0005]根據(jù)日本特開(kāi)2013-171257，可以通過(guò)將從視頻圖像用攝像裝置的輸出中所獲取的圖像偏移量乘以轉(zhuǎn)換系數(shù)來(lái)計(jì)算被攝體圖像的焦點(diǎn)偏移量(散焦量)。

【發(fā)明內(nèi)容】

[0006]根據(jù)上述技術(shù)報(bào)告所公開(kāi)的方法，在照相機(jī)具有反光結(jié)構(gòu)的情況下，為了將光輸入至視頻圖像用攝像裝置，需要進(jìn)行反光鏡升起操作，并且需要在獲取判斷結(jié)果之前的反光鏡升起的剩余時(shí)間。在LF照相機(jī)中，通過(guò)拍攝后的再聚焦處理來(lái)判斷被攝體是否存在于可再聚焦的位置(也就是說(shuō)，可以再聚焦被攝體)占用時(shí)間并且需要大量數(shù)據(jù)。
[0007]因此，本發(fā)明的目標(biāo)是提供可以基于與視頻圖像用攝像裝置的輸出不同的信息來(lái)判斷被攝體是否在攝像裝置的輸出中存在可再聚焦位置的攝像設(shè)備及攝像方法。
[0008]根據(jù)本發(fā)明的一方面，提供一種攝像設(shè)備，其包括:攝像單元，其具有用于接收穿過(guò)不同的光瞳區(qū)域的來(lái)自被攝體的光束的多個(gè)光電轉(zhuǎn)換單元；距離信息生成單元，其用于檢測(cè)來(lái)自所述被攝體的光以及生成與所述被攝體的距離有關(guān)的距離信息；判斷單元，其用于基于所述距離信息以及所述多個(gè)光電轉(zhuǎn)換單元的光瞳分割結(jié)構(gòu)，在攝像后的處理中判斷所述被攝體是否存在于可再聚焦的距離范圍內(nèi)；以及控制單元，其用于根據(jù)所述判斷單元的判斷結(jié)果來(lái)控制所述攝像單元進(jìn)行的所述被攝體的攝像。
[0009]根據(jù)本發(fā)明的另一方面，提供一種攝像設(shè)備，其包括:第一攝像裝置，其具有用于接收來(lái)自通用光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束的多個(gè)光電轉(zhuǎn)換單元；第二攝像裝置，其具有多個(gè)微透鏡和與各微透鏡相對(duì)應(yīng)并且接收來(lái)自所述通用光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束的多個(gè)光電轉(zhuǎn)換單元；判斷單元，其用于基于來(lái)自所述第一攝像裝置的信號(hào)，來(lái)判斷在所述第二攝像裝置對(duì)被攝體進(jìn)行拍攝的情況下所述被攝體是否存在于可再聚焦的范圍內(nèi)；以及控制單元，其用于根據(jù)所述判斷單元的判斷結(jié)果來(lái)控制所述第二攝像裝置的攝像。
[0010]仍然根據(jù)本發(fā)明的另一方面，提供一種攝像設(shè)備，其包括:紅外光照射單元，其用于照射紅外光；紅外光接收單元，其用于接收紅外光以及輸出光接收信息；第二攝像裝置，其具有多個(gè)微透鏡和與各微透鏡相對(duì)應(yīng)并且接收來(lái)自光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束的多個(gè)光電轉(zhuǎn)換單元；判斷單元，用于基于所述光接收信息生成被攝體的距離信息，以及基于所述距離信息來(lái)判斷在所述第二攝像裝置對(duì)所述被攝體進(jìn)行拍攝的情況下所述被攝體是否存在于可再聚焦的范圍內(nèi)；以及控制單元，用于根據(jù)所述判斷單元的判斷結(jié)果控制所述第二攝像裝置的攝像。
[0011]仍然根據(jù)本發(fā)明的另一方面，提供一種攝像方法，其使用具有攝像單元的攝像設(shè)備，所述攝像單元具有用于接收穿過(guò)不同的光瞳區(qū)域的來(lái)自被攝體的光束的多個(gè)光電轉(zhuǎn)換單元，所述攝像方法包括:檢測(cè)來(lái)自被攝體的光以及生成與所述被攝體的距離有關(guān)的距離信息；基于所述距離信息以及所述多個(gè)光電轉(zhuǎn)換單元的光瞳分割結(jié)構(gòu)，在攝像后的處理中判斷所述被攝體是否存在于可再聚焦的距離范圍內(nèi)；以及根據(jù)判斷結(jié)果來(lái)控制所述攝像單元進(jìn)行的所述被攝體的攝像。
[0012]通過(guò)參考附圖對(duì)典型實(shí)施例進(jìn)行以下說(shuō)明，本發(fā)明的其它特征將變得明顯。
【附圖說(shuō)明】
[0013]圖1是根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備的框圖。
[0014]圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備的攝像操作的流程的圖。
[0015]圖3是示出利用現(xiàn)有技術(shù)中的攝像設(shè)備拍攝時(shí)調(diào)焦透鏡的焦點(diǎn)與被攝體之間的位置關(guān)系的變化的示例的圖。
[0016]圖4是示出利用根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備拍攝時(shí)調(diào)焦透鏡的焦點(diǎn)與被攝體之間的位置關(guān)系的變化的示例的圖。
[0017]圖5A是示出LF照相機(jī)中所包括的攝像裝置的單位像素單元的示例的圖。
[0018]圖5B是說(shuō)明通過(guò)LF照相機(jī)所獲取的不同視差的圖像以及再聚焦圖像的示例的圖。
[0019]圖6A是用于說(shuō)明根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備中的散焦量的計(jì)算方法的圖(第1部分)。
[0020]圖6B是用于說(shuō)明根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備中的散焦量的計(jì)算方法的圖(第2部分)。
[0021]圖6C是用于說(shuō)明根據(jù)本發(fā)明的第一實(shí)施例的攝像設(shè)備中的散焦量的計(jì)算方法的圖(第3部分)。
[0022]圖7是根據(jù)本發(fā)明的第二實(shí)施例的攝像設(shè)備的框圖。
[0023]圖8是示出根據(jù)本發(fā)明的第二實(shí)施例的攝像設(shè)備的攝像操作的流程的圖。
[0024]圖9A是用于說(shuō)明在根據(jù)本發(fā)明的第二實(shí)施例的攝像設(shè)備中使用紅外光計(jì)算距離的方法的圖(第1部分)。
[0025]圖9B是用于說(shuō)明在根據(jù)本發(fā)明的第二實(shí)施例的攝像設(shè)備中使用紅外光計(jì)算距離的方法的圖(第2部分)。
[0026]圖10是根據(jù)本發(fā)明的第三實(shí)施例的攝像設(shè)備的框圖。
[0027]圖11是根據(jù)本發(fā)明的第四實(shí)施例的攝像設(shè)備的框圖。
[0028]圖12是示出根據(jù)本發(fā)明的第四實(shí)施例的攝像設(shè)備中的靜止圖像用攝像裝置和運(yùn)動(dòng)圖像用攝像裝置的詳情的圖。
[0029]圖13是示出根據(jù)本發(fā)明的第四實(shí)施例的攝像設(shè)備中的信號(hào)處理單元的框圖。
[0030]圖14是說(shuō)明可再聚焦照相機(jī)中的最大的再聚焦量的計(jì)算的圖。
【具體實(shí)施方式】
[0031]在LF照相機(jī)中，與被攝體是否存在于可再聚焦的位置有關(guān)的判斷、即與視頻圖像用攝像裝置中的圖像偏移量有關(guān)的判斷可以基于最大的再聚焦量的計(jì)算結(jié)果來(lái)判斷。
[0032]將參考圖14來(lái)說(shuō)明最大的再聚焦量的計(jì)算。圖14是用于說(shuō)明最大的再聚焦量的計(jì)算的圖。在圖14中，示出攝像裝置的微透鏡1401和像素1402。穿過(guò)微透鏡1401且到達(dá)像素1402的實(shí)線表示從被攝體進(jìn)入攝像裝置的光。假定角分辨率等于△ Θ，角分割數(shù)等于ΝΘ，以及像素間距等于ΔΧ，最大的再聚焦量通過(guò)以下等式(1)來(lái)計(jì)算。
[0033]dmax = Ν θ.Δ χ/tan ( Δ θ )...(1)
[0034]也就是說(shuō)，在進(jìn)行獲取再聚焦的圖像數(shù)據(jù)的這種攝像的情形下，可以作出以下判斷:存在于以調(diào)焦距離(聚焦位置)為中心在光軸方向上的前后各位置處、距離dmax的范圍內(nèi)的被攝體可以被再聚焦。也就是說(shuō)，可以計(jì)算從視頻圖像用攝像裝置的輸出中所獲取的被攝體的攝像信號(hào)的圖像偏移量。
[0035]以下將參考附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。
[0036]第一實(shí)施例
[0037]將參考圖1?圖6C來(lái)說(shuō)明本發(fā)明的第一實(shí)施例。
[0038]圖1是示出根據(jù)本實(shí)施例的攝像設(shè)備100的主體部分的結(jié)構(gòu)的框圖，并且這里省略了與本實(shí)施例不直接相關(guān)的結(jié)構(gòu)部分。在圖1中，不出從外部輸入的光(入射光)101。包括調(diào)焦透鏡的透鏡組102構(gòu)成用于形成被攝體的光學(xué)圖像的攝像光學(xué)系統(tǒng)。鏡103以可前后移動(dòng)的方式設(shè)置在透鏡組102的光軸上。在鏡103處于光軸上的情況下，該鏡改變穿過(guò)透鏡組102的(來(lái)自被攝體的)光的光路。
[0039]視頻圖像用攝像裝置104(以下，稱為視頻攝像裝置104)拍攝包括調(diào)焦透鏡的透鏡組102所形成的被攝體的光學(xué)圖像。如圖14所示，視頻攝像裝置104包括:包括多個(gè)微透鏡1401的微透鏡陣列；以及包括多個(gè)像素1402的像素陣列。在視頻攝像裝置104中，預(yù)定數(shù)量的像素(分割像素)1402共享相同的微透鏡1401。也就是說(shuō)，與多個(gè)微透鏡1401的各微透鏡相對(duì)應(yīng)地排列預(yù)定數(shù)量的像素1402。多個(gè)像素1402的各像素具有光電轉(zhuǎn)換單元(光電轉(zhuǎn)換元件)。將視頻攝像裝置104中的多個(gè)像素1402的光電轉(zhuǎn)換單元構(gòu)建為接收穿過(guò)通用光學(xué)系統(tǒng)的不同光瞳區(qū)域的(來(lái)自被攝體的)光束。因此，視頻攝像裝置104具有通過(guò)微透鏡1041與預(yù)定數(shù)量的像素1402所形成的光瞳分割結(jié)構(gòu)。該光瞳分割結(jié)構(gòu)能夠生成可再聚焦的圖像數(shù)據(jù)。
[0040]焦點(diǎn)檢測(cè)用攝像裝置105具有與視頻攝像裝置104相同的光瞳分割結(jié)構(gòu)，并且多個(gè)像素的各像素具有光電轉(zhuǎn)換單元(光電轉(zhuǎn)換元件)。將焦點(diǎn)檢測(cè)用攝像裝置105中的多個(gè)像素的光電轉(zhuǎn)換單元構(gòu)建為接收來(lái)自通用光學(xué)系統(tǒng)的不同光瞳區(qū)域的光束。焦點(diǎn)檢測(cè)用攝像裝置105的像素間距與視頻攝像裝置104的像素間距可以相同或不同。然而，通常，視頻攝像裝置104的像素間距更小。焦點(diǎn)檢測(cè)用攝像裝置105也不是必須與視頻攝像裝置104相同，并且可以是具有光瞳分割結(jié)構(gòu)的攝像裝置。例如，焦點(diǎn)檢測(cè)用攝像裝置105可以是不以拍攝自然圖片為主要目標(biāo)的AF傳感器。在用作光路改變單元的鏡103傾倒在光軸上的情況下，入射光101被引導(dǎo)至焦點(diǎn)檢測(cè)用攝像裝置105。在鏡104升起的情況下，入射光101被引導(dǎo)至視頻攝像裝置104。焦點(diǎn)檢測(cè)用攝像裝置105檢測(cè)來(lái)自被攝體的光，拍攝穿過(guò)光學(xué)系統(tǒng)的一對(duì)焦點(diǎn)檢測(cè)光束所形成的一對(duì)圖像，以及生成一對(duì)圖像信號(hào)。在本實(shí)施例中，主要目標(biāo)為利用來(lái)自焦點(diǎn)檢測(cè)用攝像裝置105的信號(hào)進(jìn)行焦點(diǎn)調(diào)整。也就是說(shuō)，根據(jù)本實(shí)施例的攝像設(shè)備包括:焦點(diǎn)檢測(cè)單元，用于基于來(lái)自焦點(diǎn)檢測(cè)用攝像裝置105的信號(hào)進(jìn)行焦點(diǎn)檢測(cè)；以及焦點(diǎn)控制單元，用于基于焦點(diǎn)檢測(cè)單元的檢測(cè)結(jié)果來(lái)控制用作通用光學(xué)系統(tǒng)的透鏡組102的焦點(diǎn)位置。焦點(diǎn)控制單元在基于來(lái)自焦點(diǎn)檢測(cè)用攝像裝置105的信號(hào)進(jìn)行的焦點(diǎn)檢測(cè)的檢測(cè)結(jié)果的基礎(chǔ)上控制透鏡組102的焦點(diǎn)位置。然而，將焦點(diǎn)檢測(cè)用攝像裝置105設(shè)置為能夠在利用視頻攝像裝置104進(jìn)行的視頻圖像的顯示和記錄的主要拍攝前后進(jìn)行作為主要拍攝的準(zhǔn)備的焦點(diǎn)調(diào)整、曝光控制等。不特殊地限制信號(hào)的使用。
[0041]測(cè)