用于提取深度信息的裝置及方法
【專利摘要】根據(jù)本發(fā)明的一個實施例，一種用于提取深度信息的裝置包括：光輸出單元，用于輸出IR(紅外)光；光輸入單元，用于輸入在從所述光輸出單元輸出之后從物體反射的光；光調(diào)整單元，用于調(diào)整所述光的角度，以使所述光照射到包含所述物體的第一區(qū)域中，然后調(diào)整所述光的角度，以使所述光照射到第二區(qū)域中；以及控制單元，用于通過使用被輸入到所述第一區(qū)域的所述光和被輸入到所述第二區(qū)域的所述光中的至少一者來估計所述物體的運動。
【專利說明】
用于提取深度信息的裝置及方法
技術領域
[0001]本發(fā)明涉及提取深度信息，更具體地，涉及一種使用飛行時間(time-of-flight,T0F)法來提取深度信息的裝置及其方法。
【背景技術】
[0002]使用拍攝裝置獲取三維圖像的技術在不斷發(fā)展。獲取三維圖像需要深度信息(深度圖)。深度信息(depth informat1n)是表示空間距離并且示出在二維圖像中一點相對于另一點的視角信息(perspective informat1n)的信息。
[0003]將紅外(IR)結構光投影到物體并通過解讀從該物體反射的光來提取深度信息的方法是獲取深度信息的方法中的一種。根據(jù)使用紅外結構光的方法，問題在于對于移動物體難以獲得期望水平的深度分辨率。
[0004]作為取代使用紅外結構光的方法的技術的飛行時間(TOF)法正受到關注。根據(jù)TOF方法，距物體的距離通過測量飛行時間，即發(fā)出的光被反射所花的時間，來計算。
[0005]總體來說，根據(jù)TOF法的攝像頭調(diào)整光角度以掃描物體的前表面。TOF攝像頭具有光學效率低和大量操作的問題。

【發(fā)明內(nèi)容】

[0006]技術問題
[0007]本發(fā)明旨在提供一種提取深度信息的裝置和方法，其中，使用TOF法來提取深度信息。
[0008]技術方案
[0009]根據(jù)本發(fā)明一實施例，一種用于提取深度信息的裝置包括:光輸出單元，所述光輸出單元輸出紅外(IR)光;光輸入單元，所述光輸入單元輸入從所述光輸出單元輸出，然后從物體反射的光;光調(diào)整單元，所述光調(diào)整單元調(diào)整所述光的角度使得包含物體的第一區(qū)域被所述光照射，然后調(diào)整所述光的角度使得為所述第一區(qū)域的一部分的第二區(qū)域被所述光照射；以及控制單元，所述控制單元使用隨時間被順序地輸入到所述第二區(qū)域中的光束來估計在所述第二區(qū)域中的運動。
[0010]所述第一區(qū)域可以是包含所述物體的整個區(qū)域，所述第二區(qū)域可以從所述第一區(qū)域提取，并且可以是包含所述物體的預定區(qū)域的局部區(qū)域。
[0011]所述控制單元可以計算光從所述光輸出單元輸出以在從被該光照射的第二區(qū)域反射之后輸入到所述光輸入單元中所花的飛行時間。
[0012]所述控制單元可以使用通過使用在第一時間點輸入的光計算的第一飛行時間、通過使用在所述第一時間點之前輸入的光計算的第二飛行時間，以及通過使用在第二時間點之后輸入的光計算的第三飛行時間來估計在第二區(qū)域中的運動。
[0013]所述控制單元可以使用所述第一飛行時間、所述第二飛行時間與所述第三飛行時間之間的相對差來估計在所述第二區(qū)域中的運動，然后使用插值技術來對所估計的運動進行補償。
[0014]所述光輸入單元可以包括多個像素，所述多個像素各包括第一接收單元和第二接收單元，所述控制單元可以使用輸入到所述第一接收單元和所述第二接收單元的光的量之間的差異來計算飛行時間。
[0015]所述光調(diào)整單元可以包括微機電系統(tǒng)(MEMS)和MEMS控制單元。
[0016]所述控制單元可以包括:時間控制單元，所述時間控制單元控制所述光輸出單元、所述光調(diào)整單元和所述光輸入單元的時間點；轉(zhuǎn)換單元，所述轉(zhuǎn)換單元將通過所述光輸入單元輸入的電信號轉(zhuǎn)換成數(shù)字信號；以及信號處理單元，所述信號處理單元計算隨時間被順序地輸入到所述第二區(qū)域中的光束的飛行時間，估計在所述第二區(qū)域中的運動，并且提取所述第二區(qū)域的深度信息。
[0017]根據(jù)本發(fā)明一實施例，一種用于提取深度信息的方法包括:用紅外(IR)光照射包含物體的第一區(qū)域；用IR光照射為所述第一區(qū)域的一部分的第二區(qū)域；以及使用隨時間被順序地輸入到所述第二區(qū)域中的光束來估計在所述第二區(qū)域中的運動。
[0018]所述估計可以包括計算關于在第一時間點輸入的光的第一飛行時間、關于在所述第一時間點之前輸入的光的第二飛行時間，以及關于在第二時間點之后輸入的光的第三飛行時間；以及使用在所述第一時間點、所述第二時間點與所述第三時間點之間的相對差來估計在所述第二區(qū)域中的運動。
[0019]根據(jù)本發(fā)明另一實施例，一種用于提取深度信息的裝置包含:光源，所述光源用光照射物體;在所述光源與所述物體之間布置的全息元件，用于調(diào)整所述光源的照射區(qū)域;致動器，所述致動器驅(qū)動所述全息元件，使得所述照射區(qū)域在第一幀周期和第二幀周期不同；光接收透鏡，所述光接收透鏡接收通過所述物體反射的反射光;傳感器單元，所述傳感器單元接收通過所述光接收透鏡的所述反射光，并與所述第一幀周期和所述第二幀周期中的每一個同步以輸出第一圖像信號和第二圖像信號；信號處理單元，所述信號處理單元處理所述第一圖像信號和所述第二圖像信號以產(chǎn)生第一幀和第二幀；以及去交錯器，所述去交錯器將所述第一幀和所述第二幀彼此合并以產(chǎn)生深度圖像。
[0020]根據(jù)本發(fā)明又另一實施例，一種用于提取深度信息的裝置包括:第一光源和第二光源，所述第一光源和所述第二光源布置為彼此間隔開并且用光照射物體;第一全息元件和第二全息元件，所述第一全息元件和所述第二全息元件布置在所述第一光源和所述第二光源與所述物體之間，以調(diào)整所述第一光源和所述第二光源的照射區(qū)域，使得所述第一光源和所述第二光源的照射區(qū)域彼此不同；控制單元，所述控制單元控制所述第一光源和所述第二光源的發(fā)光(lighting)，使得所述第一光源在所述第一幀周期中發(fā)光，而所述第二光源在所述第二幀周期中發(fā)光;光接收透鏡，所述光接收透鏡接收通過所述物體反射的反射光;傳感器單元，所述傳感器單元接收通過所述光接收透鏡的所述反射光，并且與所述第一幀周期和所述第二幀周期中的每一個同步，以輸出第一圖像信號和第二圖像信號;信號處理單元，所述信號處理單元處理所述第一圖像信號和所述第二圖像信號以產(chǎn)生第一幀和第二幀；以及去交錯器，所述去交錯器將所述第一幀和第二幀彼此合并以產(chǎn)生深度圖像。
[0021]有益效果
[0022]根據(jù)本發(fā)明的一實施例，可以獲得一種操作步驟少且深度分辨率優(yōu)良的用于提取深度信息的裝置。因此，可以降低由用于提取深度信息的裝置所消耗的電力，并且可以精確地提取距物體的距離。
【附圖說明】
[0023]圖1是根據(jù)本發(fā)明一實施例的深度信息提取系統(tǒng)的方框圖；
[0024]圖2示出了根據(jù)本發(fā)明一實施例的深度信息提取裝置的光輸入單元的結構；
[0025]圖3示出了根據(jù)本發(fā)明一實施例的深度信息提取裝置的提取深度信息的原理；
[0026]圖4示出了隨著時間順序地拍攝的整個區(qū)域和局部區(qū)域；
[0027]圖5和圖6是示出了根據(jù)本發(fā)明一實施例的深度信息提取裝置的深度信息提取方法的流程圖；
[0028]圖7是示意性地示出根據(jù)本發(fā)明另一實施例的深度信息提取裝置的方框圖；
[0029]圖8是用于描述根據(jù)本發(fā)明另一實施例的深度信息提取裝置的出射角(emiss1nang I e)通過全息元件控制的實例的視圖；
[0030]圖9是用于描述根據(jù)本發(fā)明另一實施例的深度信息提取裝置通過與幀周期同步來產(chǎn)生幀的方法的視圖；
[0031]圖10是示出了根據(jù)本發(fā)明另一實施例的深度信息提取裝置通過將奇數(shù)編號的幀和偶數(shù)編號的幀合并來產(chǎn)生深度圖像的視圖；
[0032]圖11是示出了根據(jù)本發(fā)明另一實施例的深度信息提取裝置的深度信息提取方法的流程圖；
[0033]圖12是示意性地示出根據(jù)本發(fā)明又另一實施例的深度信息提取裝置的方框圖；
[0034]圖13是用于描述根據(jù)本發(fā)明的又另一實施例的深度信息提取裝置提取深度信息的方法的視圖；
[0035]圖14是示出通過根據(jù)本發(fā)明又另一實施例的深度信息提取裝置提取深度信息的方法的流程圖。
【具體實施方式】
[0036]由于可以對本發(fā)明作出各種修改并且本發(fā)明可以具有各種實施例，在附圖中示出特定實施例并加以描述。但是，這并不表示將本發(fā)明限制在所述特定實施例，在本發(fā)明精神和范圍內(nèi)包含的所有修改、等同和替代應被看作是屬于本發(fā)明。
[0037]包含諸如第一和第二的序數(shù)詞的術語可以用于描述各種元件，但是這些元件不受這些術語限制。這些術語僅用于將一個元件與另一個元件相區(qū)分的目的。例如，在不偏離本發(fā)明范圍的同時，可以將第二元件稱作第一元件，類似地，第一元件也可以被稱作第二元件。所述術語包含多個相關描述條目的組合或在所述多個相關描述條目中的任意一個條目。
[0038]當提到將某個元件“連接”或“鏈接”至另一元件時，盡管該某個元件可以直接地連接或鏈接至另一個元件，但是，應理解，在兩者之間可以存在另外的元件。另一方面，當提及某個元件“直接連接”或“直接鏈接”至另一元件時，應理解，在這兩者之間不存在其他元件。
[0039]在申請案中所用的術語僅僅用于描述特定實施例，且并非要限制本發(fā)明。單數(shù)表達包含復數(shù)表達，除非上下文另有清晰指示。在本申請中，諸如“包括/包含”或“具有”的術語應被理解為表示特征、數(shù)目、步驟、操作、元件、部分或其組合存在，而不是表示為排除事先添加一個或多個其他特征、數(shù)目、步驟、操作、元件、部分或其組合的可能性的存在。
[0040]除非另有定義，包含在本文中所用的技術或科學術語在內(nèi)的所有術語具有與本發(fā)明所屬技術領域一般技術人員通常意義上所理解的含義相同的含義。諸如在常用詞典中所定義的術語的術語應被理解為具有與其在相關技術領域中的含義相一致的含義，不應以理想化或過度正式的含義來理解，除非文中有明確如此的定義。
[0041]下文中，將參考附圖詳細描述實施例，同時不論附圖標號如何，將類似的附圖標記加給相同或?qū)脑?，并且關于這些元件的重復的描述會被省略。
[0042]根據(jù)本發(fā)明一實施例，調(diào)整發(fā)出的光(radiatedlight)的角度來改善深度分辨率(depth resolut1n)。
[0043]根據(jù)本發(fā)明一實施例，局部區(qū)域的深度信息通過以下方式提取:用光照射包含物體的整個區(qū)域;從整個區(qū)域提取局部區(qū)域;以及用光反復地照射所提取的區(qū)域。
[0044]圖1是根據(jù)本發(fā)明一實施例的深度信息提取系統(tǒng)的方框圖。圖2示出了根據(jù)本發(fā)明一實施例的深度信息提取裝置的光輸入單元的結構，并且，圖3示出了根據(jù)本發(fā)明一實施例的深度信息提取裝置的提取深度信息的原理。
[0045]參見圖1，深度信息提取系統(tǒng)包括深度信息提取裝置100和個人計算機(PC)200。深度信息提取裝置可以是三維立體攝像頭或其一部分。
[0046]深度信息提取裝置100包括光輸出單元110、光調(diào)整單元120、光輸入單元130和控制單元140。
[0047]光輸出單元110輸出紅外(IR)光。IR光可以是，例如具有800nm或800nm以上波段(wavelength band)的光。光輸出單元110包括光源112和光轉(zhuǎn)換單元114。該光源可以包括至少一個投射紅外光的激光二極管(LD)或發(fā)光二極管(LED)。而且，光轉(zhuǎn)換單元114可以調(diào)制從光源112輸出的光。光轉(zhuǎn)換單元114可以，例如對從光源112輸出的光執(zhí)行脈沖調(diào)制或相位調(diào)制。因此，光輸出單元110可以輸出光，同時使得光源每隔預定的時間間隔閃爍。
[0048]光調(diào)整單元120調(diào)整光的角度，使得包含物體的區(qū)域被光照射。為此，光調(diào)整單元120可以包括微機電(MEMS)致動器122和MEMS控制單元124。
[0049]光調(diào)整單元120可以調(diào)整光的角度，使得包含物體(object)的整個區(qū)域被光照射。例如，如在圖4 (A)中，光調(diào)整單元120可以調(diào)整光的角度，使得包含人的整個區(qū)域被光照射。因此，從光輸出單元110輸出的光可以以像素或行(lines)為單位掃描整個區(qū)域。另外，光調(diào)整單元120還可以調(diào)整光的角度，使得作為整個區(qū)域的一部分的局部區(qū)域被光照射。例如，如在圖4(B)中所示，光調(diào)整單元120可以調(diào)整光的角度，使得整個區(qū)域中的包含手的局部區(qū)域被光照射。因此，從光輸出單元110輸出的光可以以像素或行為單位僅掃描該局部區(qū)域。
[0050]同時，光輸入單元130被輸入從光輸出單元110輸出并通過物體反射的光。光輸入單元130可以將輸入光轉(zhuǎn)換成電信號。光輸入單元130可以是包括光電二極管(PD)或互補金屬氧化物半導體(CMOS)的圖像傳感器。如在圖2中，光輸入單元130可以包括多個排列的像素132。每個像素可以包括同相(in-phase)接收單元132-1和異相(out-phase)接收單元132-2。
[0051]控制單元140控制深度信息提取裝置100的整體操作并提取深度信息?？刂茊卧?40可以用控制器芯片來實施?？刂茊卧?40可以包括時間控制單元142、轉(zhuǎn)換單元144、信號處理單元146以及接口控制器148。時間控制單元142控制光輸出單元110、光調(diào)整單元120和光輸入單元130的時間點。例如，時間控制單元142可以控制光輸出單元110的閃爍周期。轉(zhuǎn)換單元144可以將通過光輸入單元130輸入的電信號轉(zhuǎn)換成數(shù)字信號。
[°°52] 此外，信號處理單元146計算隨時間(over time)被順序地(sequentially)輸入到該局部區(qū)域中的光束的飛行時間，估計在該局部區(qū)域中的運動，并提取該局部區(qū)域的深度信息。這里，光的飛行時間可以通過使用被輸入到同相接收單元132-1和異相接收單元132-2中的光的量之間的差異來計算。也就是說，如在圖3中，同相接收單元132-1可以在光源開啟時被激活，而異相接收單元132-2可以在光源關斷時被激活(activated)。以此方式，當同相接收單元132-1和異相接收單元132-2以時間差被激活時，光的飛行時間，S卩，根據(jù)距物體的距離接收的光的量會產(chǎn)生差異。例如，當物體位于深度信息提取裝置的正前方(即，當距離=0時)時，光從光輸出單元110輸出以被反射所花的時間為0，使得光源的閃爍周期成為光接收周期而沒有變化。因此，只有同相接收單元132-1接收光，而異相接收單元132-2不接收光。在另一實例中，當物體與深度信息提取裝置遠離預定的距離時，光從光輸出單元110輸出以被反射會花費時間，使得光源的閃爍周期不同于光接收周期。因此，通過同相接收單元132-1和異相接收單元132-2接收的光的量之間會產(chǎn)生差異。
[0053]接口控制器148控制與諸如PC 200的中間件(middlewire)的接口。例如，接口控制器148可以將關于被照射到整個區(qū)域之后的通過光輸入單元130輸入的光的信息傳輸?shù)街T如PC 200的中間件。另外，接口控制器148可以從諸如PC 200的中間件接收由諸如PC 200的中間件提取的關于局部區(qū)域的信息，然后將該信息傳輸給光調(diào)整單元120等。
[0054]圖5和圖6是根據(jù)本發(fā)明一實施例的深度信息提取裝置的深度信息提取方法的流程圖。與圖1至圖3的內(nèi)容重復的內(nèi)容的描述將被省略。
[0055]參見圖5，深度信息提取裝置100的光輸出單元110輸出IR光(S500)，包含物體的整個區(qū)域通過由光調(diào)整單元120調(diào)整的輸出光被照射(S502)。
[0056]此外，從物體反射的光通過光輸入單元130被輸入(S504)，控制單元140將從光輸入單元130接收的模擬信號轉(zhuǎn)換成數(shù)字信號(S506)，然后將該數(shù)字信號傳輸?shù)嚼鏟C 200(S508)。
[0057]PC 200使用從深度信息提取裝置100接收的信號，并提取整個區(qū)域的局部區(qū)域(S510)。該局部區(qū)域可以是包含實現(xiàn)應用所需的關注目標的區(qū)域。例如，當該應用是根據(jù)手指的姿勢改變電視(TV)頻道時，當整個區(qū)域包含整個人體時局部區(qū)域可以僅包含手指。
[0058]PC 200將關于所提取的局部區(qū)域的信息傳輸給深度信息提取裝置100(S512)。
[0059]同時，深度信息提取裝置100的光輸出單元110輸出IR光(S514)，并且，通過光調(diào)整單元120的調(diào)整，將輸出光僅照射到從整個區(qū)域提取的局部區(qū)域(S516)。
[0060]此外，從物體單元反射的光通過光輸入單元130被輸入(S518)，控制單元140將從光輸入單元130接收的模擬信號轉(zhuǎn)換成數(shù)字信號(S520)，并執(zhí)行信號處理以提取局部區(qū)域的深度信息(S522)。
[0061]根據(jù)本發(fā)明一實施例，深度信息提取裝置100可以在整個區(qū)域能被掃描一次的時間內(nèi)，掃描局部區(qū)域若干次。因此，步驟S514至步驟S520被重復若干次，通過使用在步驟S522中重復多次的結果能夠改善深度信息的精確性。將參考圖6對此詳細描述。
[0062]參見圖6，對于局部區(qū)域，深度信息提取裝置的控制單元140計算在時間Tl通過光輸入單元130輸入的光的飛行時間(S600)，計算在時間T2通過光輸入單元130輸入的光的飛行時間(S602)，并計算在時間T3通過光輸入單元130輸入的光的飛行時間(S604)。這里，Tl、T2和T3可以具有相同的時間間隔，在圖5中的步驟S514至步驟S520可以在T1、T2和T3中的每一個處重復。如參考圖3所描述，可以通過使用同相接收單元與異相接收單元之間的光的量的差異來計算光的飛行時間。
[0063]此外，控制單元140基于在時間Tl至時間Τ3的飛行時間來估計在局部區(qū)域中的運動(S606)，并根據(jù)運動估計的結果來提取深度信息(S608)。這里，運動估計和深度信息提取的過程可以根據(jù)超分辨率(SR)算法來執(zhí)行。也就是，如圖4(B)所示，在從Tl至Tn拍攝局部區(qū)域之后，可以計算在每個時間的飛行時間，以估計隨時間的相對運動。此外，所估計的運動可以通過使用插值技術(interpolat1n technique)來補償并恢復(restore)，并且可以從中減去噪聲。
[0064]以此方式，當從整個區(qū)域檢測局部區(qū)域，并提取關于該局部區(qū)域的深度信息時，計算的復雜性可以降低。此外，由于使用隨時間順序地輸入的信息中的相對差來估計關于局部區(qū)域的運動信息，所以可以獲得高深度分辨率。而且，因為在整個區(qū)域被掃描一次的時間內(nèi)，局部區(qū)域可以被掃描若干次，所以深度信息提取所用時間和計算復雜性可以降低。
[0065]根據(jù)本發(fā)明的另一實施例，通過重復用光照射包含物體的局部區(qū)域并調(diào)整光的角度使得區(qū)域被光照射的過程來提取深度信息。
[0066]圖7是示意性地示出根據(jù)本發(fā)明另一實施例的深度信息提取裝置的方框圖。圖8是用于描述根據(jù)本發(fā)明另一實施例的深度信息提取裝置的出射角通過全息元件(ho I ographic e I ement)控制的實例的視圖。圖9是用于描述根據(jù)本發(fā)明另一實施例的深度信息提取裝置通過與幀周期同步來產(chǎn)生幀的方法的視圖。圖10是示出根據(jù)本發(fā)明另一實施例的深度信息提取裝置通過將奇數(shù)編號的幀和偶數(shù)編號的幀合并而產(chǎn)生深度圖像的視圖。與圖1至圖6重復的內(nèi)容的描述將省略。
[0067]參見圖7，根據(jù)本發(fā)明另一實施例的深度信息提取裝置可以包括深度傳感器模塊
10、信號處理單元31以及去交錯器(deinterlacer)32。在圖7中所示的元件并非必需的，從而根據(jù)本發(fā)明的實施例的深度信息提取裝置可以包含更多或更少的元件。
[0068]深度傳感器模塊10是飛行時間(TOF)傳感器模塊并且可以包括發(fā)光單元(lightemitting unit)和光接收單元。
[0069 ] 深度傳感器模塊1的發(fā)光單元可以包含光源11、透鏡12、全息元件13、致動器14以及控制單元15。這里，光源11可以與光輸出單元一起使用，并且，全息元件13和致動器14可以與光調(diào)整單元一起使用。
[0070]光源11包括發(fā)光元件，并且用以驅(qū)動該發(fā)光元件用具有預定相位的光照射物體0B。光源11可以與預設的幀周期同步并操作以重復閃爍。
[0071]盡管在光源11中所包含的發(fā)光元件可以包括激光器、激光二極管等，但是，還可以使用其他類型的光源。
[0072]從激光器或激光二極管發(fā)出的光比從發(fā)光二極管(LED)發(fā)出的光具有相對更好的方向性。因此，當使用激光器或激光二極管作為光源11時，可以容易地調(diào)整出射角和照射區(qū)域。
[0073]從光源11發(fā)出的光的波長可以被包含在IR波段中，還可以被包含在其他波段中。
[0074]透鏡12被布置在從光源11發(fā)出的光的光路上，并且用以將從作為點光源的光源11發(fā)出的光轉(zhuǎn)換成面光源。激光器具有優(yōu)良的方向性但是具有相對小的出射角。因此，透鏡12可以用于用光來均勻地照射整個物體OB以獲取深度圖像。
[0075]全息元件13被布置在光源11與物體OB之間，或布置在透鏡12與物體OB之間，并且用以控制從光源11發(fā)出的光的出射角和照射區(qū)域。
[0076]圖8中的(A)示出在不存在全息元件13的情況下物體OB被從光源(LED)發(fā)出的光照射的情況，圖8中的(B)示出通過全息元件13調(diào)整出射角之后，物體OB被從光源(LED)發(fā)出的光照射的情況。
[0077]參見圖8中的(A)，除了在其上投影圖像的傳感器的區(qū)域，區(qū)域al和a2也被來自LED的光照射，因此降低了光學效率。
[0078]另一方面，參見圖8中的(B)，從LED發(fā)出的光的出射角通過全息元件13來調(diào)整，使得光不會偏離其上投影圖像的傳感器區(qū)域(視角，viewing angle)太多，從而最小化光浪費并改善光效率。
[0079]同時，由于透鏡12不是必須的，當照明的均勻性由全息元件13提供時，透鏡12也可以省略。
[0080]再次，參見圖7，全息元件13可以使用計算機產(chǎn)生全息圖(computer generatedhologram，CGH)法來制造。全息圖是從包含從物體散射(scattered)的信息的信號波和相干參考波(coherent reference wave)產(chǎn)生的干涉圖案，并且CGH法是通過使用計算機數(shù)學計算和產(chǎn)生干涉圖案的方法。
[0081 ] 全息元件13可以通過將由計算機計算出的干涉圖案記錄在記錄介質(zhì)中來形成。
[0082]在全息元件13中記錄干涉圖案的記錄介質(zhì)可以包括由光敏材料形成的基板。可以使用光聚合物、紫外(UV)光聚合物、光致抗蝕劑、鹵化銀乳劑、重鉻酸鹽明膠、照相乳劑、光導熱塑、光折變材料等來作為光敏材料。
[0083]全息元件13可以是體積全息元件(voIume holographic)或表面全息(surfaceho I ograph ic)元件。
[0084]體積全息元件是由于在信號波與參考波之間的干涉而在空間中產(chǎn)生的干涉圖案三維地被記錄在記錄介質(zhì)中的全息光學元件。另一方面，表面全息元件是由于在信號波與參考波之間的干涉而在空間中產(chǎn)生的干涉圖案被記錄在記錄介質(zhì)的表面上的全息光學元件。
[0085]當全息元件13是表面全息元件時，可以在從光源11入射的光出射(exit)的出射表面(exiting surface)上形成干涉圖案。
[0086]全息元件13連接至致動器14，并且，該全息元件的位置、傾斜(tilting)等可以通過致動器14來調(diào)整。
[0087]致動器14是驅(qū)動全息元件13的驅(qū)動裝置，并且可以相對于光源11的光軸調(diào)整全息元件13的位置、傾斜等。
[0088]當全息元件13的位置、傾斜等被改變時，穿過全息元件13的光照射物體OB的照射區(qū)域移位(shift)，使得通過物體OB反射的光投影到傳感器單元22的每一個胞元(cell)上的區(qū)域也移位。
[0089]致動器14可以基于控制單元15的控制信號驅(qū)動全息元件13，使得全息元件13的照射區(qū)域被切換(switch)。也就是說，致動器14可以驅(qū)動全息元件13，使得在奇數(shù)編號的幀周期中的全息元件13的照射區(qū)域不同于在偶數(shù)編號的幀周期中的全息元件的照射區(qū)域。
[0090]在奇數(shù)編號的幀周期中的全息元件13的照射區(qū)域可以是這樣的區(qū)域:該區(qū)域從在偶數(shù)編號的幀周期中的全息元件13的照射區(qū)域向上移動或向下移動多達與傳感器單元22的一個胞元(cell)相匹配的區(qū)域。也就是說，全息元件13的照射區(qū)域可以在每個幀周期中調(diào)整，使得在奇數(shù)編號的幀周期中圖像被投影到傳感器單元22的胞元上的位置與在偶數(shù)編號的幀周期中圖像被投影到傳感器單元22的胞元上的位置相差一個胞元。因此，即使當光從同一點反射時，在奇數(shù)編號的幀周期中圖像被投影到傳感器單元22的胞元上的位置可以與在偶數(shù)編號的幀周期中圖像被投影到傳感器單元22的胞元上的位置可以相差一個胞元。
[0091]致動器14可以是音圈電機(VCM)致動器或微機電(MEMS)致動器。
[0092]控制單元15可以基于預設的幀周期來控制光源11開啟或關斷。
[0093]例如，如在圖9中，控制單元15可以周期性地開啟或關斷光源11，使得光源11在每個幀周期閃爍。也就是說，在每個幀周期Tl和T2中，控制單元15可以執(zhí)行以下操作:當幀周期Tl和T2開始時開啟光源11以用光照射，在預定量時間過去之后關斷光源11以控制光照射停止直至幀周期Tl和T2結束。
[0094]控制單元15可以控制致動器14，使得全息元件13的照射區(qū)域在每個幀周期發(fā)生切換。
[0095]深度傳感器模塊10的光接收單元可以包括光接收透鏡21和傳感器單元22。在本說明書中，該光接收單元可以與該光輸入單元一起使用。
[0096]光接收透鏡21被布置在物體OB與傳感器單元22之間，用來接收從物體OB反射的反射光，并且使得所接收的反射光入射在傳感器單元22上。
[0097]傳感器單元22接收從物體OB反射的反射光，并將所接收的反射光轉(zhuǎn)換成電信號，
并輸出圖像信號。
[0098]傳感器單元22可以由多個胞元形成，每個胞元可以對應于形成幀的每個像素。傳感器單元22可以以胞元為單位接收光，并以胞元為單位輸出圖像信號。
[0099]形成傳感器單元22的胞元中的每一個可以包括將光轉(zhuǎn)換成電信號的元件。胞元中的每一個可以包括金屬氧化物半導體(M0S)、電荷耦合裝置(CCD)等，但是不限于此。
[0100]傳感器單元22可以與預設的幀周期同步以接收反射光，并將所接收的反射光轉(zhuǎn)換成圖像信號以輸出。
[0101]同時，隨著照射區(qū)域(radiat1n reg1n)通過全息元件13在每個幀周期切換，圖像被投影到傳感器單元22上的位置也可以每幀周期被切換。
[0102]全息元件13通過致動器14在奇數(shù)編號的幀周期和偶數(shù)編號的幀周期中用光照射不同的區(qū)域。因此，即使當光從物體OB的同一位置反射時，在奇數(shù)編號的幀周期中圖像被投影在傳感器單元22上的位置與在偶數(shù)編號的幀周期中圖像被投影在傳感器單元22上時的其位置可以不同。
[0103]通過從在偶數(shù)編號的幀周期中的投影在傳感器單元22上的圖像向上或向下移動多達一個胞元，可以投影在奇數(shù)編號的幀周期中的投影在傳感器單元22上的圖像。
[0104]信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行諸如采樣(sampling)的信號處理以產(chǎn)生幀。這里，該幀可以包括多個像素，并且，這些像素中的每一個的像素值可以從與這些像素中的每一個對應的圖像信號獲取。
[0105]信號處理單元31可以通過將圖像信號轉(zhuǎn)換成幀來輸出從傳感器單元22輸出的對應于幀周期的的圖像信號。
[0106]例如，如在圖9中所示，信號處理單元31可以在每個幀周期Tl和T2通過將圖像信號轉(zhuǎn)換成幀5a和5b來輸出圖像信號，并且，與奇數(shù)編號的幀周期Tl和偶數(shù)編號的幀周期T2中的每一個同步，以輸出奇數(shù)編號的幀5a和偶數(shù)編號的幀5b。
[0107]信號處理單元31還可以基于通過傳感器單元22的每個胞元接收的光與通過光源11發(fā)出的光之間的相位差(phase difference)來計算與每個胞元，S卩，每個像素對應的深度信息。對應于形成幀的每個像素存儲所計算的深度信息。
[0108]去交錯器(deinterlaCer)32可以從信號處理單元31接收奇數(shù)編號的幀和偶數(shù)編號的幀中的每一個，并將這兩個幀合并以產(chǎn)生一個深度圖像。
[0109]去交錯器32可以通過以行為單位交替地插入從信號處理單元31輸出的奇數(shù)編號的幀和偶數(shù)編號的幀來產(chǎn)生與傳感器單元22的分辨率相比(resolut1n)增加到兩倍(increased twi ce)的分辨率的深度圖像。例如，如在圖1O中，奇數(shù)編號的幀和偶數(shù)編號的幀中的每一個具有10(行)X 10(列)的像素，并且，以行為單位將該兩個幀交替合并的深度圖像的分辨率為20 (行)X 20 (列)的像素。與傳感器單元22的分辨率相比，垂直分辨率增加到兩倍。圖7中的控制單元15、信號處理單元31和去交錯器32可以對應于圖1中的控制單元14ο
[0110]圖11是示出根據(jù)本發(fā)明另一實施例的深度信息提取裝置的深度信息提取方法的流程圖。
[0111]參見圖11，深度傳感器模塊10控制光源11以通過與奇數(shù)編號的幀周期同步來發(fā)出光(SlOl)0
[0112]在步驟SlOl中，從光源11發(fā)出的光的照射區(qū)域可以通過全息元件13來控制。
[0113]當從光源11發(fā)出的光從物體反射并入射在傳感器單元22上時，傳感器單元22以像素為單位產(chǎn)生與該光對應的圖像信號。此外，信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行信號處理以產(chǎn)生奇數(shù)編號的幀(S102)。
[0114]當獲取奇數(shù)編號的幀時，深度傳感器模塊10控制全息元件13并使物體被光照射的照射區(qū)域移位(S103)。
[0115]在步驟S103中，深度傳感器模塊10可以通過控制致動器14以調(diào)整全息部件13的斜率(slope)來使照射區(qū)域移位。
[0116]當偶數(shù)編號的幀周期開始時，深度傳感器模塊10與偶數(shù)編號的幀周期同步，并控制光源11來發(fā)出光(S104)。
[0117]在步驟S104中，從光源11發(fā)出的光的照射區(qū)域由于全息元件13而可以與偶數(shù)編號的幀周期的照射區(qū)域不同。
[0118]當從光源11發(fā)出的光從物體反射并入射在傳感器單元22上時，傳感器單元22以像素為單位產(chǎn)生與光對應的圖像信號。此外，信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行信號處理以產(chǎn)生偶數(shù)編號的幀(105)。
[0119]去交錯器32通過以形成幀的像素陣列(pixel arrays)的行為單位(in units oflines)將奇數(shù)編號的幀和偶數(shù)編號的幀合并來產(chǎn)生深度圖像(S106)。
[0120]在步驟S106中，去交錯器32可以通過順序地且交替地將奇數(shù)編號的幀和偶數(shù)編號的幀的像素的行合并來產(chǎn)生深度圖像。
[0121]參見圖12至圖14，下文將詳細描述根據(jù)本發(fā)明又另一實施例的深度信息提取方法和用于執(zhí)行該方法的深度信息提取裝置。
[0122]圖12是示意性地示出根據(jù)本發(fā)明又另一實施例的深度信息提取裝置的方框圖。圖13是用于描述根據(jù)本發(fā)明又另一實施例的深度信息提取裝置提取深度信息的方法的視圖。
[0123]下文中，為了避免重復描述，具有與已經(jīng)參照圖7描述的深度信息提取裝置中的相同功能的元件的詳細描述將省略。
[0124]參見圖12，根據(jù)本發(fā)明又另一實施例的深度信息提取裝置可以包括深度傳感器模塊10、信號處理單元31以及去交錯器32。在圖12中的元件不是必須的，因此，根據(jù)本發(fā)明又另一實施例的深度信息提取裝置可以包括更多或更少的元件。
[0125]深度傳感器模塊10是TOF傳感器模塊，并且可以包括多個發(fā)光單元和光接收單元。
[0126]形成深度傳感器模塊10的多個發(fā)光單元可各包括光源Ila和11b、透鏡12a和12b以及全息元件13a和13b。該多個發(fā)光單元可以進一步包括控制單元15。這里，光源Ila和Ilb可以與光輸出單元一起使用，全息元件13a和13b可以與光調(diào)整單元一起使用。
[0127]多個光源Ila和Ilb可以布置為彼此間隔開預定間隔。深度傳感器模塊10的傳感器單元22可以布置在多個光源Ila與Ilb之間。
[0128]下文中，為了便于描述，多個發(fā)光單元中的每一個將被稱作第一發(fā)光單元和第二發(fā)光單元，并且，形成第一發(fā)光單元的元件將被稱作第一光源I Ia、第一透鏡12a和第一全息元件13a。此外，形成第二發(fā)光單元的元件將被稱作第二光源11b、第二透鏡12b和第二全息元件13b。然而，這些元件不受包含諸如第一和第二的序數(shù)詞的術語的限制。
[0129]第一光源Ila和第二光源Ilb被布置為彼此間隔開預定間隔，并且用來驅(qū)動發(fā)光元件用具有預定相位的光來照射物體0B。
[0130]在第一光源Ila和第二光源Ilb中所包含的發(fā)光元件可以包括激光器、激光二極管等，但是也可以使用其他類型的光源。從第一光源Ila和第二光源Ilb發(fā)出的光的波長可以被包含在IR波段(IR band)中，但是也可以被包含其他不同的波長段中。
[0131]可以控制第一光源Ila和第二光源Ilb的閃爍，使得第一光源Ila和第二光源Ilb在不同的幀周期中出射(emit)光。例如，第一光源Ila可以通過與奇數(shù)編號的幀周期同步來出射光，第二光源Ilb可以通過與偶數(shù)編號的幀周期同步來出射光。
[0132]第一透鏡12a被布置在從第一光源Ila發(fā)出的光的光路上，并且用來將從為點光源的第一光源Ila發(fā)出的光轉(zhuǎn)換成面光源(surface light source)。此外，第二透鏡12b被布置在從第二光源Ilb發(fā)出的光的光路上，并且用以將從為點光源的第二光源Ilb發(fā)出的光轉(zhuǎn)換成面光源。
[0133]第一全息元件13a被布置在第一光源Ila與物體OB之間，或布置在第一透鏡12a與物體OB之間，并且用以控制從第一光源Ila發(fā)出(radiated)的光的出射角和照射區(qū)域。此夕卜，第二全息元件13b被布置在第二光源I Ib與物體OB之間或布置在第二透鏡12b與物體OB之間，并且用以控制從第二光源Ilb發(fā)出的光的出射角和照射區(qū)域。
[0134]同時，第一透鏡12a和第二透鏡12b不是必須的，因此當照明的均勻性通過第一全息元件13a和第二全息元件13b提供時可以被省略。
[0135]第一全息元件13a和第二全息元件13b可以使用CGH法來制造。
[0136]第一全息元件13a和第二全息元件13b通過將由計算機計算出的干涉圖案記錄在記錄介質(zhì)中來形成，并且光敏材料，諸如光聚合物、UV光聚合物、光致抗蝕劑、鹵化銀乳劑、重鉻酸鹽明膠、照相乳劑、光導熱塑和光折變材料可以用于記錄干涉圖案的記錄介質(zhì)。
[0137]第一全息元件13a和第二全息元件13b可以是體積全息元件或表面全息元件。
[0138]在第一全息元件13a和第二全息元件13b中記錄的干涉圖案可以形成為使得物體OB的不同區(qū)域被由第一光源Ila和第二光源Ilb發(fā)出的光照射。
[0139]例如，第一全息元件13a和第二全息元件13b的干涉圖案可以形成為使得，被從第一光源Ila出射的光照射的區(qū)域和被從第二光源Ilb出射的光照射的區(qū)域彼此相差多達與傳感器單元22的一個胞元相匹配的區(qū)域。
[0140]控制單元15可以基于預設的幀周期來控制第一光源Ila和第二光源Ilb開啟或關斷。例如，如在圖13中，控制單元15可以控制第一光源I Ia和第二光源I Ib開啟或關斷，使得第一光源Ila通過與奇數(shù)編號的幀周期Tl同步來出射光，而第二光源Ilb通過與偶數(shù)編號的幀周期T2同步來出射光。
[0141]因此，照射物體OB的光源可以在每個幀周期被切換，并且，被光照射的區(qū)域也可以通過第一全息元件13a和第二全息元件13b對應于光源切換而被切換。
[0142]深度傳感器模塊10的光接收單元可以包括光接收透鏡21和傳感器單元22。
[0143]光接收透鏡21被布置在物體OB與傳感器單元22之間，用來接收從物體OB反射的反射光，并使得所接收的反射光入射在傳感器單元22上。
[0144]傳感器單元22可以由多個胞元形成，并且每個胞元可以對應于形成幀的每個像素。傳感器單元22可以以胞元為單位接收光，并以胞元為單位輸出圖像信號。
[0145]形成傳感器單元22的胞元中的每一個可以包括M0S、C⑶等。
[0146]傳感器單元22可以與預設的幀周期同步以接收反射光并將所接收的反射光轉(zhuǎn)換成圖像信號以輸出。
[0147]隨著將光發(fā)出至物體OB的光源每個幀周期被切換，圖像被投影在傳感器單元22上的位置也可以在每個幀周期被切換。也就是說，由于光源的切換，在奇數(shù)編號的幀周期中的被光照射的區(qū)域與在偶數(shù)編號的幀周期中的被光照射的區(qū)域可以彼此不同。因此，在奇數(shù)編號的幀周期中投影在傳感器單元22上的圖像的位置與在偶數(shù)編號的幀周期中投影在傳感器單元22上的圖像的位置之間可能會有微小的差異。例如，可以通過從在偶數(shù)編號的幀周期中投影在傳感器單元22上的圖像向上或向下移動多達一個胞元(as much as onecell)投影在奇數(shù)編號的幀周期中的投影在傳感器單元22上的圖像。
[0148]信號處理單元31可以通過將圖像信號轉(zhuǎn)換成幀來輸出從傳感器單元22輸出的與幀周期對應的圖像信號。
[0149]例如，如在圖13中，信號處理單元31可以通過每幀周期Tl和T2將圖像信號轉(zhuǎn)換成幀5a和5b來輸出圖像信號，并且與奇數(shù)編號的幀周期Tl和偶數(shù)編號的幀周期T2中的每一個同步，以輸出奇數(shù)編號的幀5a和偶數(shù)編號的幀5b。
[0150]信號處理單元31還可以基于通過傳感器單元22的每個胞元接收的光與通過第一光源Ila和第二光源Ilb發(fā)出的光之間的相位差來計算與每個胞元，S卩，每個像素對應的深度信息。對應于形成幀的每個像素來存儲所計算的深度信息。
[0151]去交錯器32可以從信號處理單元31接收奇數(shù)編號的幀和偶數(shù)編號的幀中的每一個，并且合并兩個幀以產(chǎn)生一個深度圖像。
[0152]如圖10所示，通過以行為單位將從信號處理單元31輸出的奇數(shù)編號的幀和偶數(shù)編號的幀交替地插入，去交錯器32可以產(chǎn)生與傳感器單元22的分辨率相比增加到兩倍的分辨率的深度圖像。
[0153]圖14是示出根據(jù)本發(fā)明又另一實施例通過深度信息提取裝置提取深度信息的方法的流程圖。
[0154]參見圖14，深度傳感器模塊10控制第一光源Ila以通過與奇數(shù)編號的幀周期同步來發(fā)出光(S201)。
[0155]在步驟S201中，從第一光源Ila發(fā)出的光的照射區(qū)域可以通過第一全息元件13a來控制。
[0156]當從第一光源Ila發(fā)出的光從物體反射并入射在傳感器單元22上時，傳感器單元22以像素為單位產(chǎn)生與光對應的圖像信號。此外，信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行信號處理以產(chǎn)生奇數(shù)編號的幀(S202)。
[0157]接下來，深度傳感器模塊10控制第二光源Ilb以通過與偶數(shù)編號的幀周期同步來發(fā)出光(S203)。
[0158]在步驟S203中，從第二光源Ilb發(fā)出的光可以通過第二全息元件13b從在步驟S201中的照射區(qū)域向上或向下移動來發(fā)出。
[0159]當從第二光源Ilb發(fā)出的光從物體反射并入射在傳感器單元22上時，傳感器單元22以像素為單位產(chǎn)生與光對應的圖像信號。此外，信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行信號處理以產(chǎn)生偶數(shù)編號的幀(S204)。
[0160]當從光源11發(fā)出的光從物體反射并入射在傳感器單元22上時，傳感器單元22以像素為單位產(chǎn)生與光對應的圖像信號。此外，信號處理單元31對從傳感器單元22輸出的圖像信號執(zhí)行信號處理以產(chǎn)生偶數(shù)編號的幀(S204)。
[0161]去交錯器32通過以形成幀的像素陣列的行為單位將奇數(shù)編號的幀和偶數(shù)編號的幀合并來產(chǎn)生深度圖像(S205)。
[0162]在步驟S106中，去交錯器32可以通過順序地且交替地將奇數(shù)編號的幀和偶數(shù)編號的幀的像素的行合并來產(chǎn)生深度圖像。
[0163]根據(jù)本發(fā)明的實施例，通過以下方式來產(chǎn)生一個深度圖像:使用全息元件調(diào)整光源的照射區(qū)域，以在奇數(shù)編號的幀周期和偶數(shù)編號的幀周期之間產(chǎn)生差異，并將通過上述方法獲得的奇數(shù)編號的幀和偶數(shù)編號的幀合并，從而具有改善深度圖像分辨率的效果。
[0164]此外，全息元件用以調(diào)整光的出射角，從而具有改善光學效率的效果。
[0165]盡管已經(jīng)參考本發(fā)明的示例性實施例描述了本發(fā)明，本領域一般技術人員應理解，在不偏離由所附權利要求所描述的本發(fā)明的精神和范圍的前提下，可以以各種方式對本發(fā)明進行修改和改變。
【主權項】
1.一種用于提取深度信息的裝置，所述裝置包括: 光輸出單兀，所述光輸出單兀被配置為輸出紅外(IR)光； 光輸入單元，所述光輸入單元被配置為被輸入從所述光輸出單元輸出然后從物體反射的光； 光調(diào)整單元，所述光調(diào)整單元被配置為調(diào)整所述光的角度使得包含物體的第一區(qū)域被光照射，然后調(diào)整所述光的角度使得第二區(qū)域被光照射;以及 控制單元，所述控制單元被配置為使用被輸入到所述第一區(qū)域中的光和被輸入到所述第二區(qū)域中的光中的至少一者來估計所述物體的運動。2.根據(jù)權利要求1所述的裝置，其中，所述第一區(qū)域是包含所述物體的整個區(qū)域，所述第二區(qū)域從所述第一區(qū)域提取，并且是包含所述物體的預定區(qū)域的局部區(qū)域。3.根據(jù)權利要求2所述的裝置，其中，所述控制單元計算光從所述光輸出單元輸出以在從被所述光照射的所述第二區(qū)域反射之后被輸入到所述光輸入單元中所花的飛行時間。4.根據(jù)權利要求3所述的裝置，其中，所述控制單元使用通過使用在第一時間點輸入的光計算的第一飛行時間、通過使用在所述第一時間點之前輸入的光計算的第二飛行時間以及通過使用在第二時間點之后輸入的光計算的第三飛行時間來估計在所述第二區(qū)域中的運動。5.根據(jù)權利要求4所述的裝置，其中，所述控制單元使用所述第一飛行時間、所述第二飛行時間與所述第三飛行時間之間的相對差來估計在所述第二區(qū)域中的運動，然后使用插值技術對所估計的運動進行補償。6.根據(jù)權利要求3所述的裝置，其中，所述光輸入單元包括多個像素，所述多個像素各包括第一接收單元和第二接收單元;并且 所述控制單元使用在被輸入到所述第一接收單元和所述第二接收單元的光的量之間的差異來計算所述飛行時間。7.根據(jù)權利要求1所述的裝置，其中，所述光調(diào)整單元包括微機電系統(tǒng)(MEMS)和MEMS控制單元。8.根據(jù)權利要求1所述的裝置，其中，所述控制單元包括: 時間控制單元，所述時間控制單元被配置為控制所述光輸出單元、所述光調(diào)整單元和所述光輸入單元的時間點； 轉(zhuǎn)換單元，所述轉(zhuǎn)換單元被配置為將通過所述光輸入單元輸入的電信號轉(zhuǎn)換成數(shù)字信號；以及 信號處理單元，所述信號處理單元被配置為計算隨時間被順序地輸入到所述第二區(qū)域中的光束的飛行時間，估計在所述第二區(qū)域中的運動，并且提取所述第二區(qū)域的深度信息。9.根據(jù)權利要求1所述的裝置，其中，所述光調(diào)整單元包括:全息元件，所述全息元件被布置在所述光輸出單元與所述物體之間；以及致動器，所述致動器被配置為驅(qū)動所述全息元件。10.根據(jù)權利要求1所述的裝置，其中: 所述第一區(qū)域和所述第二區(qū)域是彼此不重疊的區(qū)域;并且 所述光調(diào)整單元調(diào)整所述光的角度，使得被所述光照射的區(qū)域在每個幀周期變化。11.一種用于提取深度信息的裝置的提取深度信息的方法，所述方法包括: 使用紅外(IR)光來照射包含物體的第一區(qū)域； 使用IR光來照射第二區(qū)域；以及 使用隨時間被順序地輸入到所述第一區(qū)域和所述第二區(qū)域中的至少一者中的光束來估計所述物體的運動。12.根據(jù)權利要求11所述的方法，其中，所述估計包括: 計算關于在第一時間點輸入的光的第一飛行時間、關于在所述第一時間點之前輸入的光的第二飛行時間以及關于在第二時間點之后輸入的光的第三飛行時間；以及 使用所述第一飛行時間、所述第二飛行時間與所述第三飛行時間之間的相對差來估計在所述第二區(qū)域中的運動。
【文檔編號】G01S17/08GK106030239SQ201580006696
【公開日】2016年10月12日
【申請日】2015年1月28日
【發(fā)明人】李明煜, 鄭星基, 李基錫, 韓慶河, 徐銀晟, 李世揆
【申請人】Lg伊諾特有限公司