專利名稱：視差圖像生成裝置和方法
技術(shù)領(lǐng)域：
這里所述的實(shí)施方式一般地涉及一種視差圖像生成裝置和方法。
背景技術(shù)：
已知根據(jù)二維圖像(靜止圖像、運(yùn)動(dòng)圖像等)推定圖像內(nèi)的深度并且根據(jù)指示所推定的深度的信息來(lái)生成視差圖像的技術(shù)。例如，JP-A 2005-151534(公開)公開了如下方法根據(jù)圖像中的高頻分量將與多個(gè)圖像的深度(即，可感知的深度)信息項(xiàng)對(duì)應(yīng)的模型相混合，并且將作為圖像的顏色信號(hào)的紅色信號(hào)添加到所得到的深度模型，從而得到最終的深度(即，可感知的深度)信息。另外，C. -C. Cheng, C. -Τ. Li, Y. -Μ. Tsai 和 L. -G. Chen 的 “AQualitylcalable Depth-Aware Video Processing System” SID2009中公開了如下的方法通過(guò)使用3種方法進(jìn)行推定而取得整個(gè)圖像的深度(即，可感知的深度)信息項(xiàng)，對(duì)所取得的3個(gè)深度信息項(xiàng)進(jìn)行加權(quán)平均，以生成最終的深度信息。

發(fā)明內(nèi)容
一般地，根據(jù)一個(gè)實(shí)施方式，視差圖像生成裝置利用第一圖像生成與其具有視差的視差圖像。該視差圖像生成裝置包括以下單元。第一推定單元通過(guò)使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)。所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)。第一合成單元合成所述分布信息項(xiàng)以生成第一深度信息。第二計(jì)算單元計(jì)算指示所述第一圖像中的對(duì)象的相對(duì)起伏的第二深度信息。第三合成單元通過(guò)使用不同于所述第一方法的方法來(lái)合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成單元根據(jù)所述第三深度信息和所述第一圖像生成視差圖像。


圖IA和IB是分別示出根據(jù)第一實(shí)施方式的視差圖像生成裝置的框圖。圖2是用于說(shuō)明第一實(shí)施方式的視差圖像生成裝置的操作的流程圖。圖3A是示出對(duì)應(yīng)于分布信息的深度模型的例子的圖。圖;3B是示出對(duì)應(yīng)于起伏信息的深度模型的例子的圖。圖4是用于說(shuō)明根據(jù)深度信息計(jì)算視差向量的方法的圖。圖5是用于說(shuō)明根據(jù)視差向量計(jì)算視差圖像的方法的圖。圖6A和6B是示出深度信息項(xiàng)的例子的曲線圖。圖7A和7B是示出第一和第二深度信息項(xiàng)的例子的曲線圖。圖8是示出第三深度信息的例子的曲線圖。圖9是示出用于將深度信息轉(zhuǎn)換成視差信息的模型的例子的框圖。
具體實(shí)施方式
以下參照附圖對(duì)實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。在實(shí)施方式中，相同的附圖標(biāo)記表示相同的要素，并且省略重復(fù)的說(shuō)明。(第一實(shí)施方式)第一實(shí)施方式涉及一種利用圖像從第一二維圖像(包括靜止圖像和運(yùn)動(dòng)圖像)來(lái)生成至少一個(gè)與其具有視差的視差圖像的裝置。盡管在下述實(shí)施方式中對(duì)生成兩個(gè)視差圖像的方法進(jìn)行了說(shuō)明，但本實(shí)施方式不限于此。例如，當(dāng)對(duì)裸眼實(shí)現(xiàn)立體視覺(jué)時(shí)，可以生成在數(shù)量上對(duì)應(yīng)于觀察點(diǎn)的視差圖像。圖IA是示出第一實(shí)施方式的視差圖像生成裝置的框圖。如圖所示，視差圖像生成裝置包括第一深度計(jì)算單元100、第二深度計(jì)算單元200、合成單元300和生成單元400。以下的“深度”、“起伏，，等是指可感知的深度、起伏等。第一深度計(jì)算單元100包括N (彡2)個(gè)或更多的推定單元101⑴ 101 (N)和合成單元103。推定單元101⑴ 101 (N)利用不同方法推定由前側(cè)平面和后側(cè)平面限定的三維再現(xiàn)范圍中的深度分布，再現(xiàn)范圍中的深度對(duì)應(yīng)于第一圖像中的深度。然后，推定單元輸出指示所推定的分布的數(shù)據(jù)項(xiàng)。合成單元103合成數(shù)據(jù)項(xiàng)以生成第一深度信息。第二深度計(jì)算單元200計(jì)算第二深度信息，該第二深度信息指示第一圖像中的對(duì)象區(qū)域內(nèi)的相對(duì)起伏。對(duì)象區(qū)域是包括對(duì)象的第一圖像的區(qū)域。分布信息指示整個(gè)圖像的深度再現(xiàn)范圍內(nèi)的絕對(duì)深度，而起伏信息指示對(duì)象中的相對(duì)深度。即，基于分布信息再現(xiàn)的深度范圍是再現(xiàn)范圍的任何部分，而基于起伏信息再現(xiàn)的深度范圍比再現(xiàn)范圍要窄。合成單元300合成第一和第二深度信息項(xiàng)以生成第三深度信息。合成單元300利用不同于合成單元103的方法合成深度信息。后面將對(duì)此作詳細(xì)說(shuō)明。生成單元400根據(jù)第三深度信息和第一圖像生成視差圖像?？梢允褂萌魏我阎募夹g(shù)來(lái)根據(jù)深度信息生成視差圖像。圖IB示出第一實(shí)施方式的視差圖像生成裝置的變形。該變形與圖IA所示的第一實(shí)施方式的不同在于，第二深度計(jì)算單元200包括MO 2)個(gè)或更多的推定單元201(1) 201 (M)和合成單元203。推定單元201 (m) (1 ^ m ^ M)檢測(cè)第一圖像中的目標(biāo)對(duì)象，推定與所檢測(cè)的對(duì)象的類型相對(duì)應(yīng)的起伏，并且輸出指示所推定的起伏的起伏信息。另外，推定單元201(1) 201 (M)可以通過(guò)M種不同的方法來(lái)檢測(cè)相同的對(duì)象，而通過(guò)相同的推定方法取得與檢測(cè)結(jié)果相關(guān)的起伏信息項(xiàng)?？商娲?，推定單元201(1) 201(M)可以通過(guò)相同的方法檢測(cè)相同的對(duì)象，而通過(guò)M種不同的方法取得與檢測(cè)結(jié)果有關(guān)的起伏信息項(xiàng)。合成單元203合成從推定單元201⑴ 201 (M)輸出的起伏信息項(xiàng)。以下對(duì)第一實(shí)施方式的視差圖像生成裝置的操作進(jìn)行說(shuō)明，為了便于說(shuō)明，以圖 IB的結(jié)構(gòu)為例。圖2示出第一實(shí)施方式的視差圖像生成裝置的操作。這里假定通過(guò)下述步驟生成的視差圖像所實(shí)現(xiàn)的三維空間中的深度的再現(xiàn)范圍為Z，其中，ζ表示深度信息，ζ =0指示再現(xiàn)范圍的可感知的前側(cè)位置(可感知的最淺的位置)，而ζ = Z指示再現(xiàn)范圍的
5可感知的最后側(cè)位置(可感知的最深的位置)?？筛兄那皞?cè)位置和可感知的(最)后側(cè)位置以下分別簡(jiǎn)稱為“前側(cè)位置”和“(最)后側(cè)位置”。推定單元101(1) IOl(N)通過(guò)利用不同的方法進(jìn)行推定，取得與三維再現(xiàn)范圍中的第一圖像內(nèi)的深度分布對(duì)應(yīng)的各個(gè)深度分布信息項(xiàng)(S21(l) (N))。在步驟S21(n) 中，推定單元101 (η)通過(guò)推定取得深度分布信息(1 < η < N)。為了通過(guò)推定取得深度分布信息，可以應(yīng)用準(zhǔn)備預(yù)設(shè)的深度模型并且根據(jù)第一圖像適當(dāng)?shù)厥褂玫姆椒?。圖3Α示出深度分布信息的模型。在圖3Α中，χ軸和y軸指示圖像中的位置，白色區(qū)域指示最后側(cè)區(qū)域(該最后側(cè)區(qū)域限定了再現(xiàn)范圍的后側(cè)平面)，而較黑的區(qū)域指示更靠近前側(cè)平面(即，可感知的前側(cè)平面)的區(qū)域?？商娲兀梢詰?yīng)用如下方法檢測(cè)第一圖像與將要在不同于第一圖像的顯示時(shí)刻的時(shí)刻顯示的第二圖像之間的運(yùn)動(dòng)，根據(jù)所檢測(cè)的運(yùn)動(dòng)推定深度分布。另外可替代地，可以應(yīng)用根據(jù)特定的像素值圖案推定深度分布的方法。即，步驟21 (η)可以應(yīng)用能夠取得涉及整個(gè)第一圖像的深度分布信息的任何類型的推定方法。在第η個(gè)步驟S21 (η) (1 ^ η ^ N)中獲得的分布信息中的、像素位置(x，y)處的深度4如下所述定義。注意，0彡4(x，y)彡Ζ。合成單元103合成由推定單元101(1) IOl(N)取得的多個(gè)分布信息項(xiàng)，形成第一深度信息(S2》。在該深度信息合成步驟中，合成N個(gè)深度信息項(xiàng)來(lái)生成一個(gè)第一深度信息項(xiàng)。在計(jì)算機(jī)圖形中，當(dāng)合成兩個(gè)深度時(shí)，選擇并合成更靠近相機(jī)的深度。這是基于光線追蹤思想，即基于進(jìn)入眼睛的光是未被中斷的光的原則。同樣，在該步驟中，選擇并合成更靠近前側(cè)平面的深度。由于較淺的深度指示更靠近前側(cè)平面的位置，因此通過(guò)如下選擇最小值來(lái)取得第一深度信息zc (x, y) = min (Z1 (χ, y), . . . , zN(x, y)}其中，zc (χ, y)表示像素位置(χ, y)處的第一深度信息，min {a, b, c. . . }表示從 {a，b，c...}選擇最小值的操作?？商娲兀梢酝ㄟ^(guò)對(duì)N個(gè)深度信息項(xiàng)進(jìn)行平均來(lái)得到第一深度信息，但這對(duì)于光線追蹤不是優(yōu)選的。推定單元201(1) 201(M)檢測(cè)第一圖像內(nèi)的目標(biāo)對(duì)象，并且通過(guò)推定來(lái)取得與所檢測(cè)的對(duì)象的類型相對(duì)應(yīng)的起伏信息(S23(l) S23(M))。在步驟S23(m)中，推定單元 201 (m)推定起伏(l<m<M)。更具體地說(shuō)，每個(gè)推定單元201檢測(cè)第一圖像內(nèi)的目標(biāo)對(duì)象，并且根據(jù)對(duì)象的類型向所檢測(cè)的對(duì)象的區(qū)域分配預(yù)設(shè)的起伏模型，從而計(jì)算第二深度信息。在第一實(shí)施方式中，對(duì)如下方法進(jìn)行說(shuō)明檢測(cè)存在于第一圖像內(nèi)的臉部的位置和尺寸，向所檢測(cè)的位置分配預(yù)設(shè)的相對(duì)深度模型。由此可以在對(duì)象區(qū)域中設(shè)定適當(dāng)?shù)钠鸱D:3B示出模型的例子。在該情況下，模型由人的臉部和上身形成。在圖:3B中， χ軸和y軸指示圖像中的位置，白色區(qū)域指示最后側(cè)區(qū)域，較黑的區(qū)域指示更靠近前側(cè)平面的區(qū)域。不僅是臉部，還可以檢測(cè)其它對(duì)象，并且分配與其對(duì)應(yīng)的深度模型。要檢測(cè)的對(duì)象不限于臉部，還可以是人的整個(gè)身體、動(dòng)物、車輛等。在第一實(shí)施方式中，對(duì)車輛與臉部的檢測(cè)進(jìn)行說(shuō)明。與像素位置(X，y)對(duì)應(yīng)的、通過(guò)步驟S23(m)中的推定而取得的起伏信息如下定義假定A<rm(x，y)彡‘其中，!"^^)指示沒(méi)有起伏的狀態(tài)，- 指示對(duì)象區(qū)域中的相對(duì)向前突起的狀態(tài)，&指示對(duì)象區(qū)域中的相對(duì)向后突起的狀態(tài)?？梢愿鶕?jù)所檢測(cè)的對(duì)象的尺寸來(lái)確定4。例如，如果對(duì)象較大，則相對(duì)深度顯得較大，從而將&設(shè)定得較大。相反，如果對(duì)象較小，則將4設(shè)定得較小。另外，可以根據(jù)與對(duì)象的位置對(duì)應(yīng)的第一深度信息來(lái)確定這種情況下，如果第一深度信息指示前側(cè)位置，則將L設(shè)定得較大，而如果第一深度信息指示后側(cè)位置，則將&設(shè)定得較小。合成單元203合成由推定單元201(1) 201 (M)生成的起伏信息，生成第二深度信息(SM)。在計(jì)算機(jī)圖形中，為了合成兩個(gè)深度，選擇并合成更靠近相機(jī)的深度。這是基于光線追蹤思想，即基于進(jìn)入眼睛的光是未被中斷的光的原則。在步驟S24中，像步驟S22 那樣，選擇并合成更靠近前側(cè)平面的深度。由于在深度信息中，較低的值指示更靠近前側(cè)平面的位置，因此可以通過(guò)如下選擇最小值來(lái)取得第二深度信息rc(x, y) = min^! (χ, y), . . . , rM(x, y)}其中，rc(X，y)表示像素位置(x，y)處的第二深度信息。可替代地，可以通過(guò)對(duì)M 個(gè)起伏信息項(xiàng)進(jìn)行平均來(lái)得到第二深度信息，但這對(duì)于光線追蹤不是優(yōu)選的。進(jìn)一步可替代地，可以根據(jù)第一深度信息來(lái)合成起伏信息項(xiàng)。假定提供起伏信息項(xiàng)的對(duì)象的重心處的第一深度信息項(xiàng)為重心深度信息項(xiàng)，則可以選擇得到與最靠近前側(cè)平面的位置對(duì)應(yīng)的重心深度信息的起伏信息，作為對(duì)象(例如人和車輛)彼此重合的區(qū)域中包括的位置處得到的起伏信息。合成單元300合成第一和第二深度信息項(xiàng)以生成第三深度信息(S24)。為了進(jìn)行合成，合成單元300利用不同于合成單元103和203的方法。為了通過(guò)將對(duì)象區(qū)域中的相對(duì)起伏信息附加到指示第一圖像內(nèi)的絕對(duì)深度分布的第一深度信息上來(lái)表達(dá)深度信息，將第一和第二深度信息項(xiàng)相加來(lái)生成第三深度信息。zf (χ, y) = zc (χ, y) +rc (χ, y)其中，zf(x，y)表示像素位置(x，y)處的第三深度信息。另外，也可以進(jìn)行相乘來(lái)代替相加(zf (X，y) = zc (X，y) · rc (x, y))。第一和第二深度信息項(xiàng)的合成結(jié)果可能會(huì)脫離三維空間中的期望的深度再現(xiàn)范圍0 < ζ < Z。為了避免這種情況，優(yōu)選對(duì)第三深度信息進(jìn)行調(diào)整，使其不脫離期望的深度再現(xiàn)范圍。生成單元400根據(jù)第三深度信息和第一圖像生成視差圖像(S2Q。首先，根據(jù)第三深度信息計(jì)算視差向量。后面將對(duì)生成視差圖像的方法的例子作詳細(xì)說(shuō)明。圖4是說(shuō)明根據(jù)深度信息計(jì)算視差向量的方法的圖?？梢岳脤⒆笱邸⒂已酆蛯?duì)象彼此連接的三角形與將左視差、右視差和對(duì)象彼此連接的三角形之間的相似性來(lái)計(jì)算視差向量。最終的深度信息由zf指示，視差向量的大小由d[cm]指示。同樣，雙眼之間的距離、到屏幕的距離、屏幕與真實(shí)空間中的前側(cè)位置之間的距離、真實(shí)空間中的深度分別由 b [cm]、zs [cm]、z0[cm]禾口 Lz[cm]指示。從像素尺寸到真實(shí)空間的尺寸[cm]的變換以下述方式進(jìn)行。
dpixel =(屏幕分辨率[像素]/屏幕尺寸[cm]) · d [cm]這里假定深度信息zf指示0 Z的范圍(可以使用0 1的范圍)，0指示前側(cè)位置，Z指示最后側(cè)位置。但是，這些值是暫定的值，必須被轉(zhuǎn)換為真實(shí)距離。利用真實(shí)空間距離Lz將深度信息變換成真實(shí)空間的距離。該變換通過(guò)下述變換公式進(jìn)行y = L>max [cm]其中，Zfflax = Z0這種情況下，屏幕與對(duì)象之間的距離ζ'由下式給出
ζ' = Y Zf-Z0根據(jù)三角形之間的相似性，下述關(guān)系成立d b = (z' ) (zs+z' )(1)d(zs+z' ) = bz'(2)ζ = {(b-d)Z(1+d zs}/{Y (b_d)}(3)上述深度變換模型與視差向量成反比。但是，可以應(yīng)用例如利用正比關(guān)系來(lái)近似反比關(guān)系的一部分的函數(shù)模型。上述用于立體視覺(jué)的參數(shù)b、zs,、和Lz可以根據(jù)要提供的立體視覺(jué)而任意確定。 例如，根據(jù)屏幕的實(shí)際位置來(lái)確定zs，如果突出的程度增加，則將^設(shè)定得較大。另外，可以根據(jù)Lz來(lái)確定深度。一旦確定了用于立體視覺(jué)的參數(shù)，則可以按照由下述公式給出的深度視差向量變換模型，根據(jù)深度信息來(lái)計(jì)算視差向量，下述公式是通過(guò)修改上述公式(1) C3)而得到的 (d的單位為[cm])d b = (ζ ‘ ) (zs+z ‘)d = b{z' / (ζ+ζ ‘ )}圖5是用于說(shuō)明根據(jù)所計(jì)算的視差向量來(lái)生成視差圖像的方法的圖。假定第一圖像是從位于右眼和左眼之間的觀察點(diǎn)得到的，則可以根據(jù)通過(guò)使視差向量d分別乘以-1Λ 和1/2而得到的視差向量 < 和dK，生成左視差圖像和右視差圖像。dL = (-1/2)ddE = (1/2)d可以通過(guò)按照4來(lái)移動(dòng)第一圖像的像素值It (X，y)而生成左視差圖像。同樣，可以通過(guò)按照dK來(lái)移動(dòng)第一圖像的像素值It (x，y)而生成右視差圖像。但是，可能會(huì)出現(xiàn)僅僅通過(guò)移動(dòng)像素值無(wú)法分配像素值的區(qū)域(以下稱為孔)。對(duì)這樣的孔，例如分配周邊像素值。盡管對(duì)生成兩個(gè)視差圖像的情況進(jìn)行了說(shuō)明，但在多個(gè)視差圖像的情況下，只要執(zhí)行類似的處理即可。以下將對(duì)在第一實(shí)施方式的視差圖像生成裝置中應(yīng)用的第三深度信息進(jìn)行說(shuō)明。例如假定房間和其中的人的圖像為第一圖像。這種情況下，例如通過(guò)對(duì)模型分配房間的深度或者取得運(yùn)動(dòng)向量，推定多個(gè)深度分布，并合成所推定的分布以生成第一深度信息。另外，通過(guò)檢測(cè)第一圖像中的人來(lái)進(jìn)行推定，取得起伏信息(第二深度信息)。這樣得到的第一和第二深度信息必須進(jìn)行合成。但是，起伏信息的再現(xiàn)范圍遠(yuǎn)遠(yuǎn)窄于整個(gè)圖像的深度分布信息的再現(xiàn)范圍。因此，如果通過(guò)與取得第一和/或第二深度信息同樣的方法來(lái)合成第一和第二深度信息項(xiàng)，則不能在圖像中保持深度分布的立體效果的同時(shí)，充分地表現(xiàn)對(duì)象(人)的起伏。在圖6 圖8中，橫軸指示像素位置，縱軸指示深度信息。圖6A和6B示出深度信息的例子。圖6A示出深度信息的測(cè)試圖案。在圖6A和6B 中，“0”指示最后側(cè)位置，“ 10”指示前側(cè)位置。在該深度信息與上述深度信息之間，前側(cè)位置和最后側(cè)位置之間的大小關(guān)系相反。分布信息1和分布信息2指示由推定單元101 (η) 生成的例子，起伏信息1和起伏信息2指示由推定單元201 (m)生成的例子。圖6B示出分布信息項(xiàng)1和2與起伏信息項(xiàng)1和2的平均信息、以及通過(guò)選擇圖6A的測(cè)試圖案中的各個(gè)位置處的最大值并將它們合成而得到的信息。在平均信息中，由分布信息項(xiàng)指示的深度動(dòng)態(tài)范圍被壓縮，因此起伏信息被隱藏。相反，在最大值信息中，盡管保持了整個(gè)房間的深度動(dòng)態(tài)范圍，但臉部的深度分布被完全隱藏。這是因?yàn)?，整個(gè)圖像上的絕對(duì)深度分布信息和對(duì)象(臉部)上的相對(duì)起伏信息被一起合成。用語(yǔ)“絕對(duì)”是指相對(duì)于深度再現(xiàn)范圍0 < ζ < Z的絕對(duì)深度，而用語(yǔ)“相對(duì)”是指在整個(gè)圖像中包括的局部對(duì)象區(qū)域中的相對(duì)深度。相對(duì)深度信息的再現(xiàn)范圍不同于絕對(duì)深度信息的再現(xiàn)范圍。即，絕對(duì)深度信息的值的技術(shù)含義不同于相對(duì)深度信息的值。因此，如果利用相同的方法來(lái)合成絕對(duì)深度信息和相對(duì)深度信息，則所得到的合成值不能充分地反映圖像的細(xì)節(jié)。圖7A示出通過(guò)合成圖6A所示的分布信息項(xiàng)1和2而得到的第一深度信息。圖7B 示出通過(guò)根據(jù)圖6A所示的分布信息項(xiàng)1和2進(jìn)行合成而得到的第二深度信息。在兩種合成中，應(yīng)用了選擇相同水平位置處的最靠近前側(cè)平面的深度的信息的方法。圖8示出通過(guò)合成圖7A和圖7B所示的第一和第二深度信息項(xiàng)而得到的第三深度信息。實(shí)際上，第一和第二深度信息項(xiàng)被相加。通過(guò)利用與取得第一和第二深度信息項(xiàng)的方法不同的方法來(lái)合成第一和第二深度信息項(xiàng)，可以生成如下的視差圖像，在該視差圖像中，在保持從圖像中的深度分布得到的立體效果的同時(shí)，充分地表現(xiàn)包括在圖像中的對(duì)象的起伏。(第二實(shí)施方式)圖9示出根據(jù)第二實(shí)施方式的視差圖像生成裝置。第二實(shí)施方式的視差圖像生成裝置與圖IB所示的視差圖像生成裝置的不同在于，具有調(diào)整深度信息的功能。調(diào)整單元102(n)調(diào)整由推定單元lOl(n)生成的各個(gè)分布信息項(xiàng)。例如，當(dāng)推定單元101(1)輸出0彡ζ彡Z的范圍內(nèi)的深度信息并且推定單元101(2)輸出100彡ζ彡Z 的范圍內(nèi)的深度信息時(shí)，需要將輸出范圍調(diào)整為相同范圍。為此，調(diào)整單元102(n)例如通過(guò)(例如在Z處)固定一個(gè)點(diǎn)(以下稱為固定點(diǎn))并且加寬或縮窄深度范圍，將不同的深度范圍調(diào)整為特定范圍。另外，如果特定的推定單元101 (η)具有低可靠度，則將其深度范圍縮窄至后側(cè)，以減少低可靠度的深度信息的影響。調(diào)整單元202 (m)調(diào)整由推定單元201 (m)生成的各個(gè)第二深度信息項(xiàng)。調(diào)整單元 202 (m)可以應(yīng)用與調(diào)整單元102 (η)相同的調(diào)整方法。如果固定點(diǎn)設(shè)定在0處，則可以有效地應(yīng)用相對(duì)起伏信息的特性。以上說(shuō)明了特定的實(shí)施方式，但這些實(shí)施方式僅以例子的方式提出，而并不用于限制本發(fā)明的范圍。實(shí)際上，這里所述的新穎實(shí)施方式能夠以各種其它形式具體實(shí)施，而且，在不脫離本發(fā)明的精神的情況下，可以對(duì)這里所述的實(shí)施方式的形式進(jìn)行各種省略、替換和改變。所附的權(quán)利要求及其等同方案意在覆蓋落入本發(fā)明的范圍和精神內(nèi)的上述形式或變形。
9
權(quán)利要求
1.一種視差圖像生成裝置，利用第一圖像生成與其具有視差的視差圖像，其特征在于， 包括第一計(jì)算單元，包括第一推定單元和第一合成單元，所述第一推定單元構(gòu)成為通過(guò)使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)，所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)，所述第一合成單元構(gòu)成為合成所述分布信息項(xiàng)以生成第一深度信息；第二計(jì)算單元，構(gòu)成為計(jì)算指示所述第一圖像中的對(duì)象的相對(duì)起伏的第二深度信息；第三合成單元，構(gòu)成為通過(guò)使用不同于所述第一方法的方法來(lái)合成所述第一深度信息和所述第二深度信息，以生成第三深度信息；和生成單元，構(gòu)成為根據(jù)所述第三深度信息和所述第一圖像來(lái)生成視差圖像。
2.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一合成單元從所述分布信息項(xiàng)中選擇與所述第一圖像在前側(cè)平面上的第一位置對(duì)應(yīng)的第二深度中的、最靠近所述前側(cè)平面的深度，所述深度范圍由所述前側(cè)平面和后側(cè)平面限定。
3.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第一合成單元和所述第三合成單元分別在生成第一深度信息和第三深度信息之前調(diào)整深度信息。
4.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第三合成單元將對(duì)應(yīng)于所述第一位置并且由所述第一深度信息指示的第三深度與對(duì)應(yīng)于所述第一位置并且由所述第二深度信息指示的第四深度相加，生成所述第三深度 fn息ο
5.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第三合成單元將對(duì)應(yīng)于所述第一位置并且由所述第一深度信息指示的第三深度與對(duì)應(yīng)于所述第一位置并且由所述第二深度信息指示的第四深度相乘，生成所述第三深度 fn息ο
6.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第二計(jì)算單元包括第二推定單元，構(gòu)成為檢測(cè)所述第一圖像中的多種類型的對(duì)象，并且通過(guò)推定來(lái)生成與所檢測(cè)的類型的對(duì)象對(duì)應(yīng)的起伏信息項(xiàng)；和第二合成單元，構(gòu)成為合成所述起伏信息項(xiàng)。
7.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一推定單元構(gòu)成為根據(jù)所述第一圖像和將要在不同于所述第一圖像的顯示時(shí)刻的時(shí)刻顯示的第二圖像之間的運(yùn)動(dòng)，通過(guò)推定來(lái)生成所述分布信息項(xiàng)。
8.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一推定單元確定所述第一圖像中的圖案的類型，并且根據(jù)確定結(jié)果來(lái)生成所述分布信息項(xiàng)。
9.一種視差圖像生成裝置，利用第一圖像生成與其具有視差的視差圖像，其特征在于， 包括第一計(jì)算單元，包括第一推定單元和第一合成單元，所述第一推定單元構(gòu)成為通過(guò)使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)，所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)，所述第一合成單元構(gòu)成為合成所述分布信息項(xiàng)以生成第一深度信息； 第二計(jì)算單元，構(gòu)成為計(jì)算指示所述第一圖像中的對(duì)象的相對(duì)起伏的第二深度信息；和第三合成單元，構(gòu)成為通過(guò)使用不同于所述第一方法的方法來(lái)合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。
全文摘要
本發(fā)明提供一種視差圖像生成裝置和方法。根據(jù)一個(gè)實(shí)施方式，視差圖像生成裝置利用第一圖像生成與其具有視差的視差圖像。該裝置包括以下單元。第一推定單元(101(1)～101(N))通過(guò)使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)。所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)。第一合成單元(103)合成所述分布信息項(xiàng)以生成第一深度信息。第二計(jì)算單元(200)計(jì)算指示所述第一圖像中的對(duì)象的相對(duì)起伏的第二深度信息。第三合成單元(300)通過(guò)使用不同于所述第一方法的方法來(lái)合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成單元(400)根據(jù)所述第三深度信息和所述第一圖像生成視差圖像。
文檔編號(hào)H04N13/00GK102209248SQ201010567069
公開日2011年10月5日 申請(qǐng)日期2010年11月30日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者三島直, 三田雄志, 下山賢一, 平井隆介, 馬場(chǎng)雅裕 申請(qǐng)人:株式會(huì)社東芝