像處理單元26 (圖像處理單元 26e)對光學(xué)圖像質(zhì)量的降低得到校正的多視點圖像（即，校正后的第一圖像），進(jìn)行圖像重 構(gòu)處理。然后，在步驟S16中，復(fù)眼圖像處理單元26輸出重構(gòu)圖像（第二圖像）。
[0087] 為了減輕處理的負(fù)荷，優(yōu)選僅對輸出圖像的重構(gòu)處理所需的圖像，進(jìn)行步驟S13 中的光學(xué)特性的獲取，W及步驟S14中的校正處理。例如，在圖9中，由于可W使用經(jīng)由光 學(xué)系統(tǒng)（C)獲得的圖像，W輸出具有IOOmm的焦距的圖像，因此，只需要對經(jīng)由圖7中的4 個光學(xué)系統(tǒng)（C)獲得的圖像進(jìn)行校正處理。對于要用于重構(gòu)處理的圖像，可W從要校正的 圖像中，排除不需要校正的高清晰圖像。
[0088] 接下來，將參照圖13至圖15,來描述由復(fù)眼圖像處理裝置26生成重構(gòu)圖像（第二 圖像）的方法。圖13至圖15是生成重構(gòu)圖像的方法的說明圖。
[0089] 在圖13中，如上所述，被攝體P分別經(jīng)由兩個透鏡系統(tǒng)Al及A2(光學(xué)系統(tǒng)），而在 攝像元件Sl及S2(相應(yīng)點Pl'及p2')上成像，并且形成的圖像被讀出作為攝像信號。首 先，系統(tǒng)控制單元21(復(fù)眼圖像處理單元26)基于圖像的亮度信號分布或顏色信號分布的 相關(guān)性，從經(jīng)由透鏡系統(tǒng)Al及A2生成的圖像中提取相應(yīng)點Pl'及p2'。
[0090] 隨后，系統(tǒng)控制單元21 (復(fù)眼圖像處理單元26)通過使用W下的式（8)，來獲得從 透鏡系統(tǒng)Al及A2各自的主點的位置到被攝體P的距離（被攝體距離L)。如圖14所示， pi'（xl'，yr)及p2'（x2'，y2'）分別是W經(jīng)由透鏡系統(tǒng)Al及A2的圖像的原點為基準(zhǔn)的 坐標(biāo)，L是被攝體距離，D是兩個光軸〇1與〇2的間隔，fa'是從透鏡系統(tǒng)Al及A2各自的主 點到各個攝像元件的距離。另外，dl是相應(yīng)點Pl'與交點Ol之間的間隔，該交點Ol是光 軸Ol與攝像元件Sl的交點，并且，d2是相應(yīng)點p2'與交點02之間的間隔，該交點02是光 軸〇2與攝像元件S2的交點。系統(tǒng)控制單元21 (復(fù)眼圖像處理單元26)使用運些值，W相 對于攝像系統(tǒng)原點0'(圖14中的兩個透鏡系統(tǒng)Al和A2的中點），獲得計算機(jī)上的被攝體 P"的坐標(biāo)（x"，y"，L)。
[0092] 在本實施例中，由于透鏡系統(tǒng)Al及A2的焦距的誤差，或者透鏡系統(tǒng)Al及A2與攝 像元件Sl及S2之間的位置偏移，導(dǎo)致在某些情況下，在計算機(jī)上的=維空間上，圖14中的 反向跡線（直線Rl'和R2')可能彼此不相交。在運種情況下，在兩條直線Rl'和R2'最接 近的位置，設(shè)置虛擬平面，并且，可W獲得該平面與各直線的交點的中點作為坐標(biāo)。當(dāng)存在 =個或更多個透鏡系統(tǒng)時，可W通過使用從各個透鏡系統(tǒng)獲得的直線，進(jìn)行類似的計算。
[0093] 隨后，通過使用在攝像光學(xué)系統(tǒng)原點0'虛擬布置的具有焦距化'的透鏡系統(tǒng)A0， 將如圖15所示獲得的計算機(jī)上的被攝體P"投影于虛擬攝像元件上，并且，獲得虛擬圖像的 坐標(biāo)pO'（XO'，yO')。復(fù)眼圖像處理單元26對整個圖像進(jìn)行圖像處理，W通過使用虛擬透 鏡系統(tǒng)A0,來生成具有虛擬光軸的重構(gòu)圖像。
[0094] 上述的重構(gòu)圖像的生成處理對應(yīng)于基于從多個視差圖像（第一圖像）中獲得的光 線的位置及角度的信息來生成重構(gòu)圖像（第二圖像）。 陽0巧](拍攝中的監(jiān)視器顯示）
[0096] 接下來，將描述當(dāng)攝像裝置100的電源被接通時、在由諸如液晶屏板及有機(jī)化等 的薄型單元構(gòu)成的監(jiān)視器42上顯示圖像的處理。監(jiān)視器圖像處理單元27接收復(fù)眼圖像處 理單元26的輸出，并且監(jiān)視器圖像處理單元27顯示圖像。與復(fù)眼圖像處理單元26類似地， 監(jiān)視器圖像處理單元27簡單地進(jìn)行視點的校正處理，并且監(jiān)視器圖像處理單元27生成顯 示用重構(gòu)圖像信號，并將其發(fā)送到監(jiān)視器42。監(jiān)視器42實時地顯示顯示用重構(gòu)圖像信號。 根據(jù)所述的簡單顯示處理，監(jiān)視器圖像處理單元27能夠在監(jiān)視器42上顯示拍攝圖像，同時 省略需要大量處理時間的圖像處理，諸如圖像切出處理、插值處理和光軸對準(zhǔn)處理。因此， 能夠向用戶提供顯示延遲少的畫面。因此，能夠?qū)崿F(xiàn)不妨礙被攝體的成帖操作等的方便的 攝像裝置。能夠在所述簡單顯示處理中適當(dāng)?shù)剡M(jìn)行選擇的同時，進(jìn)行使用光學(xué)特性的校正 處理。
[0097](圖像記錄）
[0098] 記錄編碼單元35把由復(fù)眼圖像處理單元26生成的重構(gòu)圖像信號，編碼為作為圖 16中所示的示例的預(yù)定格式。圖16是本實施例中的圖像格式的說明圖。圖像格式包括用 來存儲拍攝信息的文件的頭部分、用來存儲圖像數(shù)據(jù)（圖像信號al至d4)的圖像數(shù)據(jù)部 分，W及用來存儲距離圖數(shù)據(jù)的距離圖數(shù)據(jù)部分。
[0099] 頭部分包括"透鏡指定"、"透鏡信息"、"透鏡位置關(guān)系"、"拍攝信息"、"像素結(jié)構(gòu)" 及"圖像格式"。"透鏡指定"部分存儲關(guān)于配設(shè)在攝像裝置100中的透鏡系統(tǒng)（光學(xué)系統(tǒng)） 的類型或結(jié)構(gòu)的信息。"透鏡信息"部分存儲各透鏡的視角信息及光學(xué)特性信息等。"透鏡 位置關(guān)系"部分存儲各透鏡的光軸的位置關(guān)系的信息。"透鏡指定"、"透鏡信息"及"透鏡位 置關(guān)系"各自與計算系數(shù)相對應(yīng)。"拍攝信息"部分存儲當(dāng)用戶指示拍攝時的視角的信息、 拍攝地點的經(jīng)締度的信息、在拍攝地點的時間的信息，W及拍攝時的攝像裝置100的方向 的信息。"像素結(jié)構(gòu)"部分存儲記錄的圖像數(shù)據(jù)的垂直及水平方向上的像素數(shù)的信息。"圖 像格式"部分存儲圖像的壓縮及壓縮的類型的信息。
[0100] 作為圖像數(shù)據(jù)，記錄W用戶指示的視角生成的重構(gòu)圖像信號，隨后，記錄經(jīng)由光學(xué) 系統(tǒng)（a)拍攝的圖像數(shù)據(jù)al、a2、a3及曰4。然后，類似地記錄關(guān)于光學(xué)系統(tǒng)化）、（c)及（d) 的圖像數(shù)據(jù)。作為距離圖數(shù)據(jù)，依次記錄基于經(jīng)由光學(xué)系統(tǒng)（a)至（d)拍攝的圖像信號（圖 像數(shù)據(jù)）的距離圖。記錄單元36把由記錄編碼單元35編碼的重構(gòu)圖像信號，記錄在諸如 存儲卡（未例示）等的記錄介質(zhì)中。 陽101][實施例2] 陽102] 接下來，將參照圖17至圖20,來描述本發(fā)明中的實施例2中的伴隨電子變焦的復(fù) 眼圖像處理。圖17及圖18是本實施例中的電子變焦的說明圖。圖19及圖20是本實施例 中的電子變焦期間的圖像合成處理的說明圖。本實施例中的攝像裝置的基本結(jié)構(gòu)與實施例 1中的攝像裝置100相同，因而省略共同的描述。 陽103] 在參照圖9描述的實施例1中的復(fù)眼圖像處理中，當(dāng)用戶指定的攝像視角與光學(xué) 系統(tǒng)（a)至（d)的焦距不同時，針對通過使用如下光學(xué)系統(tǒng)拍攝的重構(gòu)圖像進(jìn)行電子變焦， 所述光學(xué)系統(tǒng)具有廣角側(cè)的焦距，在所述廣角側(cè)，視角比指定的視角寬一個步長。另一方 面，在本實施例中，如圖17所示，當(dāng)指定的攝像視角與光學(xué)系統(tǒng)（a)至（d)的焦距不同時， 針對通過使用如下光學(xué)系統(tǒng)拍攝的重構(gòu)圖像進(jìn)行電子變焦，所述光學(xué)系統(tǒng)具有廣角側(cè)和遠(yuǎn) 攝側(cè)的焦距，在所述廣角側(cè)和所述遠(yuǎn)攝側(cè)，視角與指定視角相比分別寬一個步長和窄一個 步長。
[0104] 圖19中的符號"a"、"b"分別表示經(jīng)由光學(xué)系統(tǒng)（a)和化）獲得的圖像。當(dāng)用戶 指定的焦距對應(yīng)于圖像X時，對于圖像X中的、與圖像"b"交疊的區(qū)域，能夠合成圖像"a" 和"b"。另一方面，對于圖像X中的、與圖像"b"不交疊的區(qū)域，不能合成圖像"a"和"b"， 因而僅使用圖像"a"。對于光學(xué)系統(tǒng)（b)與（C)之間的或者光學(xué)系統(tǒng)（C)與（d)之間的焦 距，運是同樣適用的。
[01化]如圖18所示，當(dāng)生成例如光學(xué)系統(tǒng)（a)與化）之間的焦距的圖像時，也能夠選擇 性地使用圖像"a"、"b"、"c"及"d"中的全部或部分。因此，如圖20所示，能夠合成相比于 圖像X的遠(yuǎn)攝側(cè)的高清晰圖像（圖像"C"和"d")。能夠僅對用來生成具有用戶指定的焦 距的圖像X的圖像，進(jìn)行使用光學(xué)特性的圖像的校正處理，W提高處理的速度。
[0106][實施例引 陽107] 接下來，將參照圖21來描述本發(fā)明的實施例3。本實施例描述執(zhí)行上述圖像處理 方法的圖像處理系統(tǒng)。圖21是本實施例中的圖像處理系統(tǒng)的框圖。如圖21所示，圖像處 理系統(tǒng)包括攝像裝置301。攝像裝置301例如是諸如照相機(jī)、顯微鏡、內(nèi)窺鏡及掃描器等的 復(fù)眼攝像裝置，并且，攝像裝置301具有與參照圖10描述的實施例1的攝像裝置100類似 的基本結(jié)構(gòu)。圖像處理裝置302是計算機(jī)設(shè)備（信息處理裝置），其能夠執(zhí)行上述各實施例 的圖像處理方法。圖像處理裝置302具有與復(fù)眼圖像處理單元26 (圖像獲取單元26a、攝 像條件獲取單元26b、光學(xué)特性獲取單元26c、校正單元26d及圖像處理單元26e)相同的功 能。
[0108] 記錄介質(zhì)303是例如半導(dǎo)體存儲器、硬盤或者網(wǎng)絡(luò)上的服務(wù)器，并且記錄介質(zhì)303 存儲拍攝圖像。圖像處理裝置302從攝像裝置301或記錄介質(zhì)303獲取拍攝圖像數(shù)據(jù)，然后 把進(jìn)行了預(yù)定處理的圖像數(shù)據(jù)，輸出到輸出設(shè)備305、攝像裝置301及記錄介質(zhì)303中的至 少一者。作為另一選擇，可W把圖像數(shù)據(jù)輸出并存儲到圖像處理裝置302中包括的存儲單 元中。輸出設(shè)備305是例如打印機(jī)。顯示設(shè)備304(監(jiān)視器42)連接到圖像處理裝置302， W將校正的圖像輸入至顯示設(shè)備304。用戶能夠在通過顯示設(shè)備304確認(rèn)校正的圖像的同 時進(jìn)行工作。圖像處理軟件306 (圖像處理程序）執(zhí)行上述各實施例的圖像處理方法，并按 需要一起執(zhí)行顯影處理或其他圖像處理。顯示設(shè)備304是例如液晶顯示器或投影儀。
[0109] 在本實施例中，優(yōu)選使諸如用來執(zhí)行圖像處理方法的校正信息等的數(shù)據(jù)，W及與 設(shè)備間的數(shù)據(jù)的發(fā)送及接收相關(guān)的信息，附于各個圖像數(shù)據(jù)。由于必要的校正信息附于圖 像數(shù)據(jù)，因此，能夠由包括本實施例的圖像處理裝置的任何設(shè)備進(jìn)行校正處理。
[0110] [其他實施方式] 陽11U另外，可W通過讀出并執(zhí)行記錄在存儲介質(zhì)（也可更完整地稱為"非臨時性計算 機(jī)可讀存儲介質(zhì)"）上的計算機(jī)可執(zhí)行指令（例如，一個或更多程序）W執(zhí)行上述實施例中