圖像處理設(shè)備和圖像處理方法
【專(zhuān)利摘要】信息處理設(shè)備和方法提供了用于處理信息的邏輯。在一種實(shí)施方式中，計(jì)算機(jī)實(shí)現(xiàn)的方法包括：接收與多個(gè)圖像相關(guān)聯(lián)的空間位置。該方法基于至少一個(gè)空間位置來(lái)確定圖像在相反的第一和第二水平方向上的位移。該方法然后利用處理器，基于所確定的位移來(lái)產(chǎn)生所述圖像的第一組成部分和第二組成部分。
【專(zhuān)利說(shuō)明】圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)基于并且要求于2011年3月28日提交的日本專(zhuān)利申請(qǐng)JP2011-069311的優(yōu)先權(quán)的權(quán)益，其全部?jī)?nèi)容通過(guò)引用結(jié)合于此。
[0002]公開(kāi)的示例性實(shí)施例涉及圖像處理設(shè)備和圖像處理方法。更具體地，公開(kāi)的示例性實(shí)施例涉及處理在深度方向上的不同位置處攝取的多個(gè)圖像以產(chǎn)生用于立體圖像的顯示的左眼圖像和右眼圖像的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0003]例如，PTLl描述了利用雙眼視差的立體圖像的顯示，如圖8中所示。圖8示出了對(duì)象(例如，物體)的左右圖像在屏幕上被顯示的位置與在利用雙眼視差的立體圖像的顯示中對(duì)象的立體圖像在屏幕上被再現(xiàn)的位置之間的關(guān)系。例如，就對(duì)象A而言，其左圖像La為了在屏幕上顯示被向右移位，而其右圖像Ra為了在屏幕上顯示被向左移位，如在圖中所示，由于相對(duì)于屏幕表面在近側(cè)左右視線(xiàn)彼此交叉，所以相對(duì)于屏幕表面在近側(cè)的位置處再現(xiàn)了對(duì)象的立體圖像。參考字母DPa表示對(duì)象A的水平視差矢量。
[0004]另外，例如，就對(duì)象B而言，其左圖像Lb和右圖像Rb被顯示在屏幕上同一位置處，如圖中所示，由于在屏幕表面上左右視線(xiàn)彼此交叉，所以在屏幕表面上的位置處再現(xiàn)了對(duì)象的立體圖像。此外，例如，就對(duì)象C而言，其左圖像Lc為了在屏幕上顯示被向左移位，而其右圖像Re為了在屏幕上顯示被向右移位，如圖中所示，由于相對(duì)于屏幕表面在遠(yuǎn)側(cè)左右視線(xiàn)彼此交叉，所以相對(duì)于屏幕表面在遠(yuǎn)側(cè)的位置處再現(xiàn)了對(duì)象的立體圖像。參考字母DPc表對(duì)象C的水平視差矢量。
[0005]例如，目前熒光顯微鏡已被用于攝取活體(諸如，人的細(xì)胞)的在深度方向上的不同位置處的圖像。熒光顯微鏡能用于攝取在每個(gè)深度方向位置處的圖像，卻不會(huì)被近側(cè)的物體遮擋。
[0006]突光顯微鏡是這樣一種顯微鏡，其中，突光材料被附著至例如要被觀察的細(xì)胞，突光材料用激光等來(lái)照射以激發(fā)該熒光材料，當(dāng)從激發(fā)態(tài)回到基態(tài)時(shí)發(fā)出的光被觀察到。例如，共聚焦顯微鏡和雙光子激發(fā)顯微鏡作為熒光顯微鏡是已知的，這里省略它們的詳細(xì)描述。
[0007]引用列表
[0008]專(zhuān)利文獻(xiàn)
[0009]PLTl:日本未審查專(zhuān)利申請(qǐng)公報(bào)第2005-6114號(hào)
【發(fā)明內(nèi)容】

[0010]技術(shù)問(wèn)題
[0011]如上所述，以上面描述的方式經(jīng)常對(duì)在深度方向上的不同位置處攝取的多個(gè)圖像應(yīng)用針對(duì)每個(gè)像素的相加和平均處理以產(chǎn)生用于評(píng)價(jià)的一個(gè)二維圖像。圖9示出了對(duì)二十個(gè)圖像應(yīng)用相加和平均處理以產(chǎn)生一個(gè)二維圖像的示例性應(yīng)用。參考號(hào)“#1”至“#20”表示攝取的圖像，而參考號(hào)“#1_#20”表示產(chǎn)生的二維圖像。在這種情況中，盡管多個(gè)圖像在不同深度方向位置被攝取并且具有三維信息，但是多個(gè)圖像在二維狀態(tài)中退化并且被評(píng)價(jià)，三維信息未被有效利用。
[0012]此外，例如，在現(xiàn)有技術(shù)中為了達(dá)到立體效果，視點(diǎn)變化并移動(dòng)，或者執(zhí)行陰影處理(hatching)，以突出層次關(guān)系。然而，當(dāng)視點(diǎn)變化和移動(dòng)時(shí)，需要執(zhí)行反映用戶(hù)的視點(diǎn)的操作，因此存在的缺點(diǎn)在于不能關(guān)注于評(píng)價(jià)。另外，用于突出層次關(guān)系的陰影處理不足以達(dá)到立體效果。
[0013]所公開(kāi)的示例性實(shí)施例可有效地使用與在不同深度方向位置處攝取的多個(gè)圖像相關(guān)聯(lián)的三維信息以允許顯示具有充足立體效果的圖像。
[0014]問(wèn)題的解決方案
[0015]與示例性實(shí)施例一致，計(jì)算機(jī)實(shí)現(xiàn)的方法接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)。該數(shù)據(jù)指定圖像的空間位置。該方法包括至少基于空間位置來(lái)確定圖像的在第一水平方向和第二水平方向上的位移(displacement)。第一水平方向與第二水平方向相反。該方法包括利用處理器，基于確定的位移產(chǎn)生圖像的第一組成(composite)和第二組成部分。
[0016]與另一示例性實(shí)施例一致，一種信息處理設(shè)備，其包括接收單元，被配置成接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)。該數(shù)據(jù)指定圖像的空間位置。確定單元被配置成至少基于空間位置來(lái)確定圖像在第一水平方向和第二水平方向上的位移。第一水平方向與第二水平方向相反。產(chǎn)生單元被配置成基于所確定的位移來(lái)產(chǎn)生圖像的第一組成部分和第二組成部分。
[0017]與另一示例性實(shí)施例一致，一種有形的、非暫時(shí)計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)了指令，當(dāng)該指令被至少一個(gè)處理器執(zhí)行時(shí)，使該處理器執(zhí)行一種方法，該方法包括:接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)。該數(shù)據(jù)指定圖像的空間位置。該方法包括至少基于所述空間位置來(lái)確定圖像在第一水平方向和第二水平方向上的位移。第一水平方向與第二水平方向相反。該方法包括利用處理器基于確定的位移產(chǎn)生圖像的第一組成部分和第二組成部分。
[0018]發(fā)明的有益效果
[0019]根據(jù)所公開(kāi)的示例性實(shí)施例，能夠有效地使用關(guān)于在不同深度方向位置處攝取的多個(gè)圖像的三維信息以允許顯示具有充足立體感的圖像。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0020]圖1是示出根據(jù)第一示例性實(shí)施例的圖像處理設(shè)備的構(gòu)造的示例的框圖。
[0021]圖2是與公開(kāi)的示例性實(shí)施例一致的用于描述在圖像產(chǎn)生單元中的圖像的移位處理以及相加和平均處理的圖。
[0022]圖3是與公開(kāi)的示例性實(shí)施例一致的示出在真實(shí)空間中攝取的圖像中的水平尺寸、垂直尺寸以及深度距離和在3D監(jiān)控顯示器上的水平尺寸、垂直尺寸以及深度的示例的圖。
[0023]圖4包括與公開(kāi)的示例性實(shí)施例一致的用于描述深度方向位置與圖像的移位量之間的(線(xiàn)性的和非線(xiàn)性的)關(guān)系的圖。
[0024]圖5是示出根據(jù)第二示例性實(shí)施例的圖像處理設(shè)備的構(gòu)造的示例的框圖。
[0025]圖6包括與公開(kāi)的示例性實(shí)施例一致的用于描述圖像產(chǎn)生單元中的隱藏面消除的圖。[0026]圖7是與公開(kāi)的示例性實(shí)施例一致的用于描述當(dāng)僅最近的圖像具有有效區(qū)域時(shí)的隱藏面消除的圖。
[0027]圖8是用于描述對(duì)象的左右圖像在屏幕上被顯示的位置與在利用雙眼視差的立體圖像的顯示中對(duì)象立體圖像在屏幕上被再現(xiàn)的位置之間的關(guān)系的圖。
[0028]圖9是用于描述在現(xiàn)有技術(shù)中對(duì)在深度方向上的不同位置處攝取的多個(gè)圖像執(zhí)行針對(duì)每個(gè)像素的相加和平均處理以產(chǎn)生一個(gè)二維圖像的處理的圖。
[0029]圖10是與公開(kāi)的示例性實(shí)施例一致的示例性計(jì)算機(jī)系統(tǒng)的圖。
【具體實(shí)施方式】
[0030]下面，將描述本公開(kāi)的示例性實(shí)施例。這里，將按照下面的順序來(lái)進(jìn)行描述:
[0031]1.第一實(shí)施例；
[0032]2.第二實(shí)施例；
[0033]3.變形例；以及
[0034]4.示例性計(jì)算機(jī)系統(tǒng)
[0035]1.第一實(shí)施例
[0036]a.圖像處理設(shè)備的構(gòu)造
[0037]圖1示出了根據(jù)第一示例性實(shí)施例的圖像處理設(shè)備100的構(gòu)造的示例。該圖像處理設(shè)備100包括圖像產(chǎn)生單元101、移位量確定單元102、以及圖像質(zhì)量調(diào)整單元103。該圖像處理設(shè)備100基于在不同深度方向位置處攝取的并且在對(duì)應(yīng)的接收單元處被接收的多個(gè)(例如，N個(gè))圖像(例如，熒光顯微鏡圖像)來(lái)產(chǎn)生用于立體圖像的顯示的左眼圖像和右眼圖像。
[0038]圖像產(chǎn)生單元101執(zhí)行使多個(gè)圖像(圖像數(shù)據(jù))基于其深度方向位置相對(duì)于參考位置處的圖像在相反方向上移位的處理以產(chǎn)生向其提供了視差的一組左眼圖像和一組右眼圖像。然后，圖像產(chǎn)生單元101對(duì)各個(gè)圖像組執(zhí)行針對(duì)每個(gè)像素位置的像素的相加和平均處理以產(chǎn)生左眼圖像SL和右眼圖像SR。
[0039]圖2示出了與公開(kāi)的實(shí)施例一致的在圖像產(chǎn)生單元101中的處理的示例。在此處理的示例中，在深度方向上以固定的間隔在依次變化的位置處攝取的8個(gè)圖像#1至#8被處理，并且圖像#4用作參考位置處的圖像。
[0040]圖像產(chǎn)生單元101執(zhí)行使八個(gè)圖像基于其在深度方向位置相對(duì)于參考位置處的圖像(圖像#4)水平地移位的處理，以產(chǎn)生組成左眼圖像組的多個(gè)圖像。具體地，圖像產(chǎn)生單元101使在近側(cè)的圖像(圖像#3至#1)基于其深度方向位置相對(duì)于參考位置處的圖像在一個(gè)水平方向上依次移位并且使在遠(yuǎn)側(cè)的圖像(圖像#5至#8)基于其在深度方向上的位置相對(duì)于參考位置處的圖像在另一水平方向上移位。
[0041]在這種情況下，圖像產(chǎn)生單元101使近側(cè)的圖像相對(duì)于參考位置處的圖像(圖像#4)在水平方向上依次移位“+d’”。這使得最近的圖像(圖像#1)相對(duì)于在參考位置處的圖像(圖像#4)水平地移位了 “+3d’ ”。另外，在這種情況下，圖像產(chǎn)生單元101使遠(yuǎn)側(cè)的圖像相對(duì)于參考位置處的圖像(圖像#4)在水平方向上依次移位“-d’”。這使得最遠(yuǎn)的圖像(圖像#8)相對(duì)于參考位置處的圖像(圖像#4)水平地移位了 “-4d’ ”。這里，“d’ ”指示通過(guò)移位量確定單元102基于成像條件和顯示條件以下面所描述的方式確定的移位量。[0042]然后，圖像產(chǎn)生單元101對(duì)組成經(jīng)歷了移位處理的左眼圖像組的多個(gè)圖像(圖像#1至#8)執(zhí)行針對(duì)每個(gè)像素位置的像素(像素?cái)?shù)據(jù))的相加和平均處理，以產(chǎn)生左眼圖像SL(#1_#8)。在這種情況下，由于執(zhí)行了移位處理，所以要經(jīng)歷相加和平均處理的像素的數(shù)量是I至8中取決于像素位置的任意一個(gè)。
[0043]另外，圖像產(chǎn)生單元101執(zhí)行使八個(gè)圖像基于在深度方向位置相對(duì)于參考位置處的圖像(圖像#4)水平地移位的處理，以產(chǎn)生組成右眼圖像組的多個(gè)圖像。具體地，圖像產(chǎn)生單元101使在近側(cè)的圖像(圖像#3至#1)基于其深度方向位置相對(duì)于參考位置處的圖像在另一水平方向上依次移位并且使在遠(yuǎn)側(cè)的圖像(圖像#5至#8)基于其深度方向位置相對(duì)于參考位置處的圖像在該一個(gè)水平方向上移位。此移位處理是這樣的處理，其中在與上面的情況(其中產(chǎn)生了組成左眼圖像組的多個(gè)圖像)中的方向相反的方向上執(zhí)行對(duì)稱(chēng)的移位。
[0044]在這種情況下，圖像產(chǎn)生單元101使近側(cè)的圖像相對(duì)于參考位置處的圖像(圖像#4)在水平方向上依次移位“-d’”。這使得最近的圖像(圖像#1)相對(duì)于在參考位置處的圖像(圖像#4)水平地移位了 “-3d’ ”。另外，在這種情況下，圖像產(chǎn)生單元101使遠(yuǎn)側(cè)的圖像相對(duì)于參考位置處的圖像(圖像#4)在水平方向上依次移位“+d’”。這使得最遠(yuǎn)的圖像(圖像#8)相對(duì)于參考位置處的圖像(圖像#4)水平地移位了 “+4d’ ”。
[0045]然后，圖像產(chǎn)生單元101對(duì)組成經(jīng)歷了移位處理的右眼圖像組的多個(gè)圖像(圖像#1至#8)執(zhí)行針對(duì)每個(gè)像素位置的像素(像素?cái)?shù)據(jù))的相加和平均處理以產(chǎn)生右眼圖像SR(#1_#8)。在這種情況下，由于執(zhí)行了移位處理，所以要經(jīng)歷相加和平均處理的像素的數(shù)量是I至8中取決于像素位置的任意一個(gè)。
[0046]再參照?qǐng)D1，移位量確定單元102基于成像條件和顯示條件來(lái)確定移位量d。現(xiàn)在將詳細(xì)描述在移位量確定單元102中確定移位量d’的方法。這里，圖3示出了在真實(shí)空間中攝取的圖像中的水平尺寸、垂直尺寸以及深度距離和在3D監(jiān)控顯示器上的水平尺寸、垂直尺寸以及深度的示例。
[0047]假定所攝取的圖像的點(diǎn)距表示為dps[m]，則所攝取的圖像上的深度距離通過(guò)Zs[pixel]=Zs[m]/dps來(lái)計(jì)算。相反，在立體顯示中再現(xiàn)的深度Ld[m]通過(guò)Ld=Ls*de/(de+d)來(lái)計(jì)算。這里，Ls表示視距，de表示左眼與右眼之間的距離，d表示視差(近側(cè)的值被定義為正值)。為了在攝取的圖像被顯示時(shí)根據(jù)視角產(chǎn)生立體圖像，d被設(shè)定成等于Zs的值。
[0048]這里，假定最近的目標(biāo)圖像的視差通過(guò)dmax來(lái)表示，而最遠(yuǎn)的目標(biāo)圖像的視差通過(guò)dmin來(lái)表示,則下面的等式(I)成立:
[0049][數(shù)學(xué)式I]
【權(quán)利要求】
1.一種用于產(chǎn)生圖像的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括:接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)，所述數(shù)據(jù)指定所述圖像的空間位置；至少基于所述空間位置來(lái)確定所述圖像在第一水平方向和第二水平方向上的位移，所述第一水平方向與所述第二水平方向相反；以及利用處理器，基于所確定的位移產(chǎn)生所述圖像的第一組成部分和第二組成部分。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:基于至第一眼的所述第一組成圖像和至第二眼的所述第二組成圖像的投影來(lái)創(chuàng)建用于被用戶(hù)感知的立體圖像。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述第一眼對(duì)應(yīng)于人的左眼，所述第二眼對(duì)應(yīng)于人的右眼。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述立體圖像是可經(jīng)由熒光顯微鏡感知的。
5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:基于所接收的數(shù)據(jù)將所述圖像中的一個(gè)標(biāo)識(shí)為參考圖像，所述參考圖像與對(duì)應(yīng)的參考空間位置相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述確定進(jìn)一步包括:確定在垂直方向上分開(kāi)所述圖像中的對(duì)應(yīng)圖像與所述參考圖像的距離；以及至少基于分開(kāi)距離的對(duì)應(yīng)值來(lái)計(jì)算所述圖像的所述位移的量值。
7.根據(jù)權(quán)利要求6所述的方法，其中， 所述確定進(jìn)一步包括獲得成像條件或顯示條件中的至少一個(gè)；以及所述計(jì)算包括基于所獲得的信息來(lái)計(jì)算所述圖像的所述位移的所述量值。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述圖像中的至少一個(gè)的所述位移的量值與所述分開(kāi)距離的所述對(duì)應(yīng)值成正比。
9.根據(jù)權(quán)利要求6所述的方法，其中，所述圖像中的至少一個(gè)的所述位移的量值按照非線(xiàn)性關(guān)系與所述分開(kāi)距離的所述對(duì)應(yīng)值相關(guān)聯(lián)。
10.根據(jù)權(quán)利要求6所述的方法，其中，所述確定進(jìn)一步包括:針對(duì)所述圖像中的至少一個(gè)，確定所計(jì)算的位移的量值是否超過(guò)閾值；以及當(dāng)所述位移的量值超過(guò)所述閾值時(shí)，計(jì)算所述位移的修改的量值，所述修改的量值小于所計(jì)算的量值。
11.根據(jù)權(quán)利要求6所述的方法，其中，所述確定進(jìn)一步包括:確定所述圖像的第一組位移和所述圖像的第二組位移，所述第一組位移對(duì)應(yīng)于所述第一組成圖像，所述第二組位移對(duì)應(yīng)于所述第二組成圖像。
12.根據(jù)權(quán)利要求11所述的方法，所述第一組位移和所述第二組位移與所述位移的對(duì)應(yīng)量值相關(guān)聯(lián)。
13.根據(jù)權(quán)利要求11所述的方法，其中，確定所述第一組位移包括:確定所述圖像中對(duì)應(yīng)的一個(gè)在垂直方向上是否被布置在所述參考圖像之上；當(dāng)對(duì)應(yīng)圖像在垂直方向上被布置在所述參考圖像之上時(shí)，將所述對(duì)應(yīng)圖像的第一位移與所述第一水平方向相關(guān)聯(lián)；以及當(dāng)所述對(duì)應(yīng)圖像在垂直方向上被布置在所述參考圖像之上時(shí)，將所述對(duì)應(yīng)圖像的第一位移與所述第二水平方向相關(guān)聯(lián)。
14.根據(jù)權(quán)利要求11所述的方法，其中確定所述第二組位移包括:確定所述圖像中對(duì)應(yīng)的一個(gè)是否在垂直方向上被布置在所述參考圖像之上；當(dāng)對(duì)應(yīng)圖像在垂直方向上被布置在所述參考圖像之上時(shí)，將所述對(duì)應(yīng)圖像的第二位移與所述第一水平方向相關(guān)聯(lián)；以及當(dāng)所述對(duì)應(yīng)圖像在垂直方向上被布置在所述參考圖像之上時(shí)，將所述對(duì)應(yīng)圖像的第二位移與所述第二水平方向相關(guān)聯(lián)。
15.根據(jù)權(quán)利要求11所述的方法，其中，所述產(chǎn)生進(jìn)一步包括:基于所述圖像的確定的第一位移來(lái)產(chǎn)生所述第一組成圖像；以及基于所述圖像的確定的第一位移來(lái)產(chǎn)生所述第二組成圖像。
16.根據(jù)權(quán)利要求1所述的方法，其中，所述產(chǎn)生進(jìn)一步包括:對(duì)被移位的圖像中的對(duì)應(yīng)的一個(gè)中的像素的值應(yīng)用相加和平均處理；以及基于經(jīng)處理的像素值產(chǎn)生所述第一組成圖像和所述第二組成圖像。
17.根據(jù)權(quán)利要求16所述的方法，其中，所述產(chǎn)生進(jìn)一步包括:獲得標(biāo)識(shí)在所述圖像中的至少一個(gè)內(nèi)的有效區(qū)域的信息，所述有效區(qū)域指示在所述圖像中的所述至少一個(gè)內(nèi)的物體的出現(xiàn)。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述應(yīng)用進(jìn)一步包括:對(duì)布置在所述有效區(qū)域外的一個(gè)或多個(gè)像素的值應(yīng)用所述相加和平均處理；以及在所述第一組成圖像和所述第二組成圖像內(nèi)保持在所述有效區(qū)域內(nèi)布置的至少一個(gè)像素的值。
19.一種信息處理設(shè)備,包括:接收單元，其被配置成接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)，所述數(shù)據(jù)指定所述圖像的空間位置；確定單元，其被配置成至少基于所述空間位置來(lái)確定所述圖像在第一水平方向和第二水平方向上的位移，所述第一水平方向與所述第二水平方向相反；以及產(chǎn)生單元，其被配置成基于所確定的位移產(chǎn)生所述圖像的第一組成部分和第二組成部分。
20.一種有形的、非暫時(shí)計(jì)算機(jī)可讀介質(zhì)，其存儲(chǔ)了當(dāng)被至少一個(gè)處理器執(zhí)行時(shí)使所述至少一個(gè)處理器執(zhí)行如下方法的指令:接收與多個(gè)圖像相關(guān)聯(lián)的數(shù)據(jù)，所述數(shù)據(jù)指定所述圖像的空間位置；至少基于所述空間位置來(lái)確定所述圖像在第一水平方向和第二水平方向上的位移，所述第一水平方向與所述第二水平方向相反；以及基于所確定的位移產(chǎn)生所述圖像的第一組成部分和第二組成部分。
【文檔編號(hào)】H04N13/02GK103444193SQ201280014191
【公開(kāi)日】2013年12月11日 申請(qǐng)日期:2012年3月21日 優(yōu)先權(quán)日:2011年3月28日
【發(fā)明者】森藤孝文, 緒形昌美, 岡本美樹(shù), 原雅章 申請(qǐng)人:索尼公司