圖像處理裝置、攝像裝置及圖像處理裝置的控制程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像處理裝置、攝像裝置及圖像處理裝置的控制程序。
【背景技術(shù)】
[0002] 已知一種攝影裝置，其利用單個(gè)攝像光學(xué)系統(tǒng)通過一次拍攝生成彼此具有視差的 左右視差圖像。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)1 :日本特開2003-7994號公報(bào)

【發(fā)明內(nèi)容】

[0005] 發(fā)明要解決的問題
[0006] 在專利文獻(xiàn)1中公開了在單板式拜耳排列型的彩色固體攝像元件上布設(shè)有左開 口視差像素和右開口視差像素，能夠由一臺相機(jī)通過一次拍攝形成立體圖像的攝像方式。 然而，專利文獻(xiàn)1中關(guān)于拍攝而得到的圖像特性未進(jìn)行任何記載。因此，實(shí)際拍攝到的圖像 數(shù)據(jù)具有怎樣的模糊特性并不清楚，而且也不知道這是否會產(chǎn)生自然的模糊。實(shí)際上，由這 種攝像裝置生成的左右視差圖像的每一個(gè)中，水平方向與垂直方向上的模糊非對稱，從而 造成了無法得到自然的模糊感覺的問題。
[0007] 解決問題的方案
[0008] 本發(fā)明第一方式中的圖像處理裝置包括：輸入附有攝像信息的第一圖像的機(jī)構(gòu)； 基于攝像信息判斷第一圖像是否為如下圖像的機(jī)構(gòu)，該圖像為使用了由具備具有如下開口 掩模的第一視差像素的像素排列構(gòu)成的攝像元件的輸出信號的、與開口掩模對應(yīng)的視點(diǎn)方 向上的被拍攝體像的圖像，其中，上述開口掩模以針對一個(gè)光學(xué)系統(tǒng)的入射光束使具有長 軸與短軸非對稱的方向特性的部分光束通過的方式被定位；以及當(dāng)攝像信息滿足該條件 時(shí)，對第一圖像的非對焦區(qū)域的被拍攝體像進(jìn)行頻率特性在長軸方向與短軸方向之間不同 的校正處理，并輸出校正后的第一圖像的機(jī)構(gòu)。
[0009] 本發(fā)明的第二方式中的圖像處理裝置包括：輸入附有攝像信息的第一圖像的機(jī) 構(gòu)；基于攝像信息判斷第一圖像是否是如下圖像的機(jī)構(gòu)，該圖像是使用由至少具備具有第 一開口掩模的第一視差像素、具有第二開口掩模的第二視差像素和具有第三開口掩模的無 視差像素的像素排列構(gòu)成的攝像元件，在分別不同的像素中對與將第一開口掩模對應(yīng)的視 點(diǎn)方向上的被拍攝體像和與第二開口掩模對應(yīng)的視點(diǎn)方向上的被拍攝體像和與第三開口 掩模對應(yīng)的視點(diǎn)方向上的被拍攝體像同時(shí)進(jìn)行拍攝得到的圖像，其中，第一開口掩模和第 二開口掩模以針對一個(gè)光學(xué)系統(tǒng)的入射光束使具有長軸與短軸非對稱的方向特性且互不 相同的部分光束通過的方式被定位，第三開口掩模以使全部入射光束通過的方式被定位； 當(dāng)攝像信息滿足該條件時(shí)，使用拍攝得到的圖像的無視差像素、第一視差像素和第二視差 像素的信號，生成與第三開口掩模對應(yīng)的視點(diǎn)方向上的基準(zhǔn)圖像的機(jī)構(gòu)；以及對基準(zhǔn)圖像 的非對焦區(qū)域的被拍攝體像進(jìn)行頻率特性在長軸方向與短軸方向之間不同的校正處理，并 輸出校正后的基準(zhǔn)圖像的機(jī)構(gòu)。
[0010] 本發(fā)明的第三方式中的圖像處理裝置包括：圖像取得部，取得與圖像信息相關(guān)聯(lián) 的輸入視差圖像數(shù)據(jù)，該圖像信息是根據(jù)具有長度在兩軸方向上不同的受光區(qū)域的像素的 輸出而生成的；以及圖像處理部，對基于與圖像信息相關(guān)聯(lián)的視差圖像數(shù)據(jù)的圖像實(shí)施濾 波，使得與兩軸方向?qū)?yīng)的第一軸方向和第二軸方向上的空間頻率的變化量互不相同。
[0011] 本發(fā)明的第四方式中的攝像裝置包括：輸出視差圖像數(shù)據(jù)的攝像元件；以及上述 任一圖像處理裝置。
[0012] 本發(fā)明的第五方式中的圖像處理裝置的控制程序使計(jì)算機(jī)執(zhí)行：圖像取得步驟， 取得與圖像信息相關(guān)聯(lián)的視差圖像數(shù)據(jù)，該圖像信息是根據(jù)具有長度在兩軸方向上不同的 受光區(qū)域的像素的輸出而生成的；圖像處理步驟，對基于與圖像信息相關(guān)聯(lián)的視差圖像數(shù) 據(jù)的圖像實(shí)施濾波，使得與兩軸方向?qū)?yīng)的第一軸方向和第二軸方向上的空間頻率的變化 量互不相同。
[0013] 另外，上述
【發(fā)明內(nèi)容】
并未列舉出本發(fā)明的全部可能特征，所述特征組的子組合也 有可能構(gòu)成發(fā)明。
【附圖說明】
[0014] 圖1是說明數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。
[0015] 圖2是說明攝像元件100的截面結(jié)構(gòu)的圖。
[0016] 圖3是說明無視差像素中的離焦的示意圖。
[0017] 圖4是說明視差像素中的離焦的示意圖。
[0018] 圖5是表示無視差像素與視差像素的光強(qiáng)度分布的圖。
[0019] 圖6是說明當(dāng)有兩種視差像素時(shí)開口部104的開口形狀的圖。
[0020] 圖7是用于說明模糊的非對稱性的圖。
[0021] 圖8是表示視差圖像及無視差圖像與景深的關(guān)系的圖。
[0022] 圖9是用于說明濾波的圖。
[0023] 圖10是表示像素排列的一例的圖。
[0024] 圖11是表示位于非對焦區(qū)域的物點(diǎn)的點(diǎn)像分布的圖。
[0025] 圖12是表示像素排列的變例的圖。
【具體實(shí)施方式】
[0026] 以下通過發(fā)明實(shí)施方式對本發(fā)明進(jìn)行說明，但以下實(shí)施方式并非對權(quán)利要求書所 涉及的發(fā)明進(jìn)行限定。并且，實(shí)施方式中說明的特征組合也并非全部為本發(fā)明的必要特征。
[0027] 作為攝像裝置的一形態(tài)的本實(shí)施方式所述的數(shù)碼相機(jī)被構(gòu)成為針對一個(gè)場景進(jìn) 行一次拍攝便能生成左視點(diǎn)及右視點(diǎn)的圖像。將彼此視點(diǎn)各異的各個(gè)圖像稱為視差圖像。
[0028] 圖1為說明本發(fā)明實(shí)施方式所述的數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。數(shù)碼相機(jī)10具有作 為拍攝光學(xué)系統(tǒng)的拍攝透鏡20,將沿光軸21入射的被拍攝體光束引導(dǎo)至攝像元件100。拍 攝透鏡20也可以是相對于數(shù)碼相機(jī)10可裝卸的更換式透鏡。數(shù)碼相機(jī)10具備：攝像元件 100、控制部201、A/D轉(zhuǎn)換電路202、存儲器203、驅(qū)動(dòng)部204、圖像處理部205、存儲卡IF207、 操作部208、顯示部209、及LCD驅(qū)動(dòng)電路210。
[0029] 另外，如圖所示，將與朝向攝像元件100的光軸21平行的方向定為+Z軸方向，將 在與Z軸相垂直的平面中朝向紙背面的方向定為+X軸方向、將紙面上方向定為+Y軸。與 拍攝中的構(gòu)圖的關(guān)系成為：X軸是水平方向、Y軸是垂直方向。在此后的幾個(gè)圖中以圖1的 座標(biāo)軸為基準(zhǔn)來表示座標(biāo)軸，使得各個(gè)圖的朝向易于理解。
[0030] 拍攝透鏡20由多個(gè)光學(xué)透鏡群構(gòu)成，使來自于場景的被拍攝體光束在其焦平面 附近成像。另外，在圖1中為了便于說明拍攝透鏡20,以配置在光瞳附近的一片假想透鏡 為代表進(jìn)行表示。攝像元件100配置于拍攝透鏡20的焦平面附近。攝像元件100是二維 排列有多個(gè)光電轉(zhuǎn)換元件的例如CCD、CMOS傳感器等圖像傳感器。詳細(xì)內(nèi)容以后說明，攝像 元件100包含具有長度在二軸方向上不同的受光區(qū)域的像素。此處，受光區(qū)域是指后述光 電轉(zhuǎn)換元件實(shí)際接收到光的區(qū)域。使光電轉(zhuǎn)換元件自身的縱橫比各異地來形成該光電轉(zhuǎn)換 元件，從而能夠形成具有長度在二軸方向上不同的受光區(qū)域的像素。而且，由后述開口掩模 覆蓋光電轉(zhuǎn)換元件的一部分來限制入射到該光電轉(zhuǎn)換元件的光，從而能夠形成具有長度在 二軸方向上不同的受光區(qū)域的像素。攝像元件100由驅(qū)動(dòng)部204進(jìn)行定時(shí)控制，將在受光 面上成像的被拍攝體像轉(zhuǎn)換成圖像信號并輸出給A/D轉(zhuǎn)換電路202。輸出給A/D轉(zhuǎn)換電路 202的圖像信號包含左視點(diǎn)及右視點(diǎn)的圖像信號。
[0031]A/D轉(zhuǎn)換電路202將攝像元件100輸出的圖像信號轉(zhuǎn)換成數(shù)字圖像信號輸出給存 儲器203。圖像處理部205將存儲器203作為工作空間實(shí)施各種圖像處理，生成圖像數(shù)據(jù)。 具體地，圖像處理部205具有：圖像數(shù)據(jù)生成部231、視差圖生成部232、及濾波處理部233。
[0032] 圖像數(shù)據(jù)生成部231例如生成左視點(diǎn)對應(yīng)的左視差圖像數(shù)據(jù)和右視點(diǎn)對應(yīng)的右 視差圖像數(shù)據(jù)。圖像數(shù)據(jù)生成部231進(jìn)一步地將表示左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)是 根據(jù)上述像素的輸出而生成的這一意思的圖像信息與該左視差圖像數(shù)據(jù)及該右視差圖像 數(shù)據(jù)相關(guān)聯(lián)。圖像數(shù)據(jù)生成部231例如將上述圖像信息作為Exif信息與左視差圖像數(shù)據(jù) 及右視差圖像數(shù)據(jù)相關(guān)聯(lián)。
[0033] 視差圖生成部232生成關(guān)于左視點(diǎn)與右視點(diǎn)的視差的評價(jià)數(shù)據(jù)。詳細(xì)內(nèi)容將在以 后說明，但評價(jià)數(shù)據(jù)可以認(rèn)為是表示與以對焦區(qū)域?yàn)榛鶞?zhǔn)的被拍攝體的進(jìn)深相關(guān)的位置信 息的視差圖數(shù)據(jù)。
[0034] 濾波處理部233例如根據(jù)上述視差圖來對上述圖像信息所關(guān)聯(lián)的左視差圖像數(shù) 據(jù)及右視差圖像數(shù)據(jù)實(shí)施濾波。濾波的詳細(xì)內(nèi)容將在以后說明。
[0035] 圖像處理部205另外還承擔(dān)依照所選圖像格式進(jìn)行調(diào)整圖像數(shù)據(jù)等圖像處理的 一般功能。由圖像處理部205生成的各種圖像數(shù)據(jù)由LCD驅(qū)動(dòng)電路210轉(zhuǎn)換為顯示