深度傳感器、圖像捕獲方法和圖像處理系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及深度傳感器、圖像捕獲方法和圖像處理系統(tǒng)，其中由深度傳感器執(zhí)行的圖像捕獲方法包括步驟：向場(chǎng)景發(fā)射具有第一幅度的第一源信號(hào)，隨后向該場(chǎng)景發(fā)射具有不同于第一幅度的第二幅度的第二源信號(hào)；響應(yīng)于第一源信號(hào)捕獲第一圖像，并且響應(yīng)于第二源信號(hào)捕獲第二圖像；以及對(duì)第一圖像和第二圖像進(jìn)行內(nèi)插以便生成最終圖像。
【專利說(shuō)明】深度傳感器、圖像捕獲方法和圖像處理系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年10月12日提交的韓國(guó)專利申請(qǐng)?zhí)?0_2012_0113259的優(yōu)先
權(quán)，其主題內(nèi)容通過(guò)參考合并于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明構(gòu)思總體上涉及傳感器以及操作傳感器的方法。更具體來(lái)說(shuō)，本發(fā)明構(gòu)思涉及深度信息計(jì)算、利用行程時(shí)間(T0F)原理的深度傳感器、利用深度傳感器的圖像捕獲方法以及包括深度傳感器的圖像處理系統(tǒng)。
【背景技術(shù)】
[0004]“傳感器”是檢測(cè)對(duì)象的狀態(tài)并且把檢測(cè)結(jié)果轉(zhuǎn)換成相應(yīng)的電信號(hào)的器件。某些傳感器還能夠把相應(yīng)的電信號(hào)傳送到多種外部電路。
[0005]傳感器包括光傳感器、溫度傳感器、壓力傳感器、磁性傳感器以及所謂的深度(或距離)傳感器。術(shù)語(yǔ)“深度傳感器”用來(lái)指代(作為一種狀態(tài)類型)檢測(cè)對(duì)象的位置(或相對(duì)位置)的一類傳感器。傳感器可以用來(lái)檢測(cè)某個(gè)對(duì)象關(guān)于特定范圍的電磁信號(hào)(比如微波信號(hào)、可見光信號(hào)、紅外信號(hào)、超聲信號(hào)等等)的狀態(tài)。在某些應(yīng)用中，傳感器將與朝向?qū)ο蟀l(fā)送(或發(fā)射)“源信號(hào)”或測(cè)距信號(hào)的“源”相關(guān)聯(lián)。對(duì)象于是可以反射源信號(hào)的一部分，并且通過(guò)深度傳感器檢測(cè)源信號(hào)的反射部分。
[0006]通過(guò)這種方式，深度傳感器可以利用T0F測(cè)量方法來(lái)測(cè)量對(duì)象與傳感器之間的深度(或者說(shuō)范圍或距離)。也就是說(shuō)，深度傳感器可以用來(lái)測(cè)量源信號(hào)的發(fā)送(或發(fā)射)與回到傳感器的源信號(hào)的反射部分之間的延遲時(shí)間。在這一情境中，圍繞對(duì)象的區(qū)域、實(shí)際上接收到源信號(hào)的發(fā)送的區(qū)域和/或?qū)嶋H上被傳感器檢測(cè)到的區(qū)域可以被稱作“場(chǎng)景”。
[0007]當(dāng)深度傳感器被布置成與場(chǎng)景相對(duì)較遠(yuǎn)時(shí)，到達(dá)場(chǎng)景的源信號(hào)的水平和/或回到深度傳感器的源信號(hào)的反射部分的水平可能相對(duì)較低。源信號(hào)的低水平會(huì)對(duì)源信號(hào)的反射部分的信噪比造成負(fù)面影響。也就是說(shuō)，深度傳感器將隨著源信號(hào)的相對(duì)較弱的反射部分而接收到相對(duì)大量的噪聲。
[0008]與此相對(duì)，當(dāng)深度傳感器與場(chǎng)景相對(duì)較近時(shí)，源信號(hào)的反射部分的水平將相對(duì)較高，從而提供良好的信噪比。然而不幸的是，許多場(chǎng)景都包含一些遠(yuǎn)離深度傳感器的對(duì)象以及靠近深度傳感器的其他對(duì)象。從同時(shí)反射自近距離和遠(yuǎn)距離對(duì)象或場(chǎng)景部分的復(fù)雜信號(hào)混合捕獲圖像通常是較為困難的。因此需要一種對(duì)由深度傳感器所提供的深度信息的總體精度進(jìn)行提高的方法，特別當(dāng)這樣的深度信息涉及具有靠近及遠(yuǎn)離深度傳感器的多個(gè)分開的對(duì)象的場(chǎng)景時(shí)尤其如此。

【發(fā)明內(nèi)容】

[0009]根據(jù)本發(fā)明構(gòu)思的一方面，提供一種由深度傳感器執(zhí)行的圖像捕獲方法，所述方法包括:順序地向場(chǎng)景發(fā)射具有不同幅度的源信號(hào)；以及根據(jù)由場(chǎng)景順序地反射的各個(gè)源信號(hào)捕獲各幅圖像。
[0010]所述圖像捕獲方法還可以包括:通過(guò)對(duì)各幅圖像進(jìn)行內(nèi)插而生成單一圖像。
[0011]各個(gè)源信號(hào)當(dāng)中的具有低幅度的源信號(hào)用來(lái)捕獲場(chǎng)景上的靠近深度傳感器的點(diǎn)。各個(gè)源信號(hào)當(dāng)中的具有高幅度的源信號(hào)用來(lái)捕獲場(chǎng)景上的遠(yuǎn)離深度傳感器的點(diǎn)。
[0012]根據(jù)本發(fā)明構(gòu)思的另一方面，提供一種深度傳感器，其包括:順序地向場(chǎng)景發(fā)射具有不同幅度的源信號(hào)的光源；順序地驅(qū)動(dòng)光源從而使得各個(gè)源信號(hào)具有不同幅度的光源驅(qū)動(dòng)器；以及檢測(cè)根據(jù)由場(chǎng)景順序地反射的各個(gè)源信號(hào)而具有不同像素值的各個(gè)像素信號(hào)的深度像素。
[0013]所述深度傳感器還可以包括圖像信號(hào)處理器，其通過(guò)使用具有不同像素值的各個(gè)像素信號(hào)而生成各幅圖像。
[0014]所述圖像信號(hào)處理器可以通過(guò)對(duì)各幅圖像進(jìn)行內(nèi)插而生成單一圖像。所述光源可以是紅外二極管或激光二極管。
[0015]根據(jù)本發(fā)明構(gòu)思的另一方面，提供一種圖像處理系統(tǒng)，其包括:深度傳感器；以及處理由深度傳感器輸出的像素信號(hào)的處理器。
[0016]所述圖像處理系統(tǒng)可以是便攜式器件。所述圖像處理系統(tǒng)可以是智能TV、手持式游戲機(jī)或保安攝影機(jī)。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1是根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的深度傳感器的方框圖；
[0018]圖2是可以包括在圖1的陣列中的I抽頭深度像素的平面圖；
[0019]圖3是通過(guò)沿著Ι-1'線切割圖2的I抽頭深度像素而獲得的剖面圖；
[0020]圖4是示出了與圖1的深度傳感器的操作有關(guān)的信號(hào)的時(shí)序圖；
[0021]圖5是根據(jù)本發(fā)明構(gòu)思的另一個(gè)實(shí)施例的深度傳感器的方框圖；
[0022]圖6是可以包括在圖5的陣列中的2抽頭深度像素的平面圖；
[0023]圖7是通過(guò)沿著Ι-1-線切割圖6的2抽頭深度像素而獲得的剖面圖；
[0024]圖8是示出了與圖5的深度傳感器的操作有關(guān)的信號(hào)的時(shí)序圖；
[0025]圖9是示出了可以由根據(jù)本發(fā)明的一個(gè)實(shí)施例的深度傳感器執(zhí)行的圖像捕獲方法的概念圖；
[0026]圖10是概括可以由根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的深度傳感器執(zhí)行的一種可能的圖像捕獲方法的流程圖；
[0027]圖11示出了可以用在本發(fā)明構(gòu)思的某些實(shí)施例中的用于三維(3D)圖像傳感器的單元像素陣列的一個(gè)可能實(shí)例；
[0028]圖12示出了可以用在本發(fā)明構(gòu)思的某些實(shí)施例中的用于3D圖像傳感器的單元像素陣列的另一個(gè)可能實(shí)例；
[0029]圖13是根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的3D圖像傳感器的方框圖；
[0030]圖14是可以包括圖13的3D圖像傳感器的圖像處理系統(tǒng)的方框圖；
`[0031]圖15是可以包括彩色圖像傳感器和根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的深度傳感器的圖像處理系統(tǒng)的方框圖；
[0032]圖16是圖像處理系統(tǒng)的方框圖；以及[0033]圖17是可以包括根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的深度傳感器的圖像處理系統(tǒng)的方框圖。
【具體實(shí)施方式】
[0034]如前所述，圖1是根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例的深度傳感器10的方框圖。圖2是可以包括在圖1的陣列22中的I抽頭深度像素23的平面圖。圖3是通過(guò)沿著Ι-I'線切割圖2的1抽頭深度像素23而獲得的剖面圖，并且圖4是示出了與圖1的深度傳感器10的操作有關(guān)的信號(hào)的時(shí)序圖。
[0035]一同參照?qǐng)D1、圖2、圖3和圖4，深度傳感器10能夠利用行程時(shí)間(TOF)原理來(lái)測(cè)量距離或深度。深度傳感器10包括:光源32，透鏡模塊34，以及包括陣列22的半導(dǎo)體芯片
20。假設(shè)陣列22包括多個(gè)I抽頭深度像素(檢測(cè)器或傳感器)23。
[0036]各個(gè)I抽頭深度像素23被設(shè)置在二維矩陣中從而形成陣列22。每一個(gè)I抽頭深度像素包括光電門110和用于信號(hào)處理的多個(gè)晶體管。
[0037]行譯碼器24可以用來(lái)響應(yīng)于由定時(shí)控制器(T/C) 26提供的行地址而選擇多行的其中之一。每一“行”是在陣列22內(nèi)的一個(gè)任意定義的方向(例如X方向)上的I抽頭深度像素的特定設(shè)置。
[0038]光電門控制器(TG C0N)28可以用來(lái)生成第一光電門控制信號(hào)、第二光電門控制信號(hào)、第三光電門控制信號(hào)和第四光電門控制信號(hào)(Ga、Gb、Gc和Gd)，并且在定時(shí)控制器26的控制下將其提供到陣列22。
[0039]如圖4中所不,在第一光電門控制信號(hào)和第三光電門控制信號(hào)(Ga與Ge )之間存在90°相位差,在第一光電門控制信號(hào)和第二光電門控制信號(hào)(Ga與Gb)之間存在180°相位差，并且在第一光電門控制信號(hào)和第四光電門控制信號(hào)(Ga與Gd)之間存在270°相位差。
[0040]光源驅(qū)動(dòng)器30可以用來(lái)生成能夠在定時(shí)控制器26的控制下驅(qū)動(dòng)光源32的時(shí)鐘信號(hào)(MLS)。
[0041]光源32響應(yīng)于時(shí)鐘信號(hào)向場(chǎng)景40發(fā)射已調(diào)源信號(hào)(EL)。場(chǎng)景40通常可以包括一個(gè)或更多目標(biāo)對(duì)象。已調(diào)源信號(hào)根據(jù)光源驅(qū)動(dòng)器30的驅(qū)動(dòng)可以具有不同的幅度。正如在圖1中概念化示出的那樣，場(chǎng)景40的各個(gè)部分(和有關(guān)對(duì)象)將與深度傳感器10分開不同的距離。
[0042]光源32可以是發(fā)光二級(jí)管(LED)、有機(jī)發(fā)光二級(jí)管(0LED)、有源矩陣有機(jī)發(fā)光二級(jí)管(AMOLED)和激光二極管當(dāng)中的一種或更多種。施加到光源的時(shí)鐘信號(hào)和/或由光源32發(fā)送的已調(diào)源信號(hào)可以具有正弦波或方波。
[0043]光源驅(qū)動(dòng)器30把時(shí)鐘信號(hào)和/或從時(shí)鐘信號(hào)導(dǎo)出的信息提供到光電門控制器28。相應(yīng)地，光電門控制器28可以用來(lái)生成與時(shí)鐘信號(hào)同相的第一光電門控制信號(hào)Ga,以及關(guān)于時(shí)鐘信號(hào)具有180°相位差的第二光電門控制信號(hào)Gb。光電門控制器28還可以用來(lái)生成關(guān)于時(shí)鐘信號(hào)具有90°相位差的第三光電門控制信號(hào)Ge，以及關(guān)于時(shí)鐘信號(hào)具有270°相位差的第四光電門控制信號(hào)Gd。也就是說(shuō)，在本發(fā)明構(gòu)思的某些實(shí)施例中，可以同步操作光電門控制器28和光源驅(qū)動(dòng)器30。
[0044]光電門110可以由透明多晶硅形成。在本發(fā)明構(gòu)思的某些實(shí)施例中，光電門110可以由氧化銦錫、摻雜錫的氧化銦(ΙΤ0)、氧化銦鋅(IZO)和/或氧化鋅(ZnO)形成。光電門110可以用來(lái)透射經(jīng)由透鏡模塊34接收到的近紅外波長(zhǎng)。
[0045]由光源32提供的已調(diào)源信號(hào)的各個(gè)部分將被場(chǎng)景40中的(多個(gè))對(duì)象反射。出于解釋的目的，假設(shè)圖1的場(chǎng)景40包括處在與深度傳感器10 (例如光源32和/或陣列22)相距三(3)個(gè)主要距離Z1、Z2和Z3處的對(duì)應(yīng)對(duì)象。一般來(lái)說(shuō)，深度傳感器10與場(chǎng)景40中的對(duì)象之間的距離“ Z ”可以被如下計(jì)算。
[0046]如果假設(shè)已調(diào)源信號(hào)具有波形“cos ω t”，并且進(jìn)一步假設(shè)由1抽頭深度像素23接收到的源信號(hào)的反射部分(在下文中稱作“反射信號(hào)”)(RL)是“COS(on+0)”，其中“ Θ ”是相移或相位差，則可以利用等式1進(jìn)行T0F計(jì)算:
[0047]Θ =2* ω *Z/C=2* (2 ir f) *Z/C....(等式 1)
[0048]其中C是光速。
[0049]隨后可以利用等式2計(jì)算深度傳感器10與場(chǎng)景40中的對(duì)象之間的距離Z:
[0050]Ζ= θ *(:/(2*ω)= Θ *C/(2*(2 ir f)).…(等式 2)
[0051]可以利用透鏡模塊34把反射信號(hào)聚焦(或入射)到陣列22上。透鏡模塊34可以被不同地實(shí)施為包括一個(gè)或更多透鏡以及一個(gè)或更多光學(xué)濾波器(例如紅外通過(guò)濾波器)的單元。
[0052]在某些實(shí)施例中，深度傳感器10可以包括按照一定模式(例如圓圈)圍繞透鏡模塊34設(shè)置的多個(gè)光源。但是為了便于解釋，這里給出的描述性實(shí)施例采用單一光源32。
[0053]可以通過(guò)執(zhí)行N次采樣操作(例如4次采樣操作)對(duì)經(jīng)由透鏡模塊34回到陣列22的反射信號(hào)進(jìn)行解調(diào)。通過(guò)這種方式，適當(dāng)?shù)牟蓸硬僮骺梢詮姆瓷湫盘?hào)生成(或檢測(cè))采樣像素信號(hào)(例如圖4的像素樣本AO、A1、A2和A3)。后面將描述采樣像素信號(hào)AO、A1、A2或A3的一些附加細(xì)節(jié)。
[0054]可以通過(guò)等式3來(lái)表示通過(guò)等式1計(jì)算的已調(diào)源信號(hào)(EL)與反射信號(hào)(RL)之間的相移Θ:
[0055]
【權(quán)利要求】
1.一種由深度傳感器執(zhí)行的圖像捕獲方法，所述方法包括步驟: 向場(chǎng)景發(fā)射具有第一幅度的第一源信號(hào)，隨后向該場(chǎng)景發(fā)射具有不同于所述第一幅度的第二幅度的第二源信號(hào)； 響應(yīng)于所述第一源信號(hào)捕獲第一圖像，并且響應(yīng)于所述第二源信號(hào)捕獲第二圖像；以及 對(duì)所述第一圖像和第二圖像進(jìn)行內(nèi)插以生成最終圖像。
2.權(quán)利要求1的圖像捕獲方法，其中，所述第一圖像中的相對(duì)遠(yuǎn)離所述深度傳感器的第一對(duì)象存在失真，并且所述第二圖像中的與所述深度傳感器相對(duì)靠近的第二對(duì)象存在失真。
3.權(quán)利要求2的圖像捕獲方法，其中，所述第一幅度低于所述第二幅度。
4.權(quán)利要求3的圖像捕獲方法，其中，響應(yīng)于所述第一源信號(hào)捕獲所述第一圖像的步驟包括: 接收所述第一源信號(hào)的反射部分以作為入射到所述深度傳感器中的深度像素陣列的第一反射信號(hào)；以及 將所述第一反射信號(hào)轉(zhuǎn)換成所述第一圖像；并且 響應(yīng)于所述第二源信號(hào)捕獲所述第二圖像的步驟包括: 在接收入射到所述深度像素陣列的第一反射信號(hào)之后，接收所述第二源信號(hào)的反射部分以作為入射到所述深度傳感器中的深度像素陣列的第二反射信號(hào)；以及 在將所述第一反射信號(hào)轉(zhuǎn)換成所述第一圖像之后，將所述第二反射信號(hào)轉(zhuǎn)換成所述第二圖像。
5.權(quán)利要求4的圖像捕獲方法，其中，接收所述第一反射信號(hào)包括通過(guò)透鏡模塊聚焦所述第一反射信號(hào)，并且 接收所述第二反射信號(hào)包括在通過(guò)所述透鏡模塊聚焦所述第一反射信號(hào)之后通過(guò)所述透鏡模塊聚焦所述第二反射信號(hào)。
6.權(quán)利要求4的捕獲方法，其中，每一個(gè)所述深度像素是I抽頭深度像素或2抽頭深度像素的其中之一。
7.權(quán)利要求6的捕獲方法，其中，所述深度傳感器是包括紅色像素、綠色像素、藍(lán)色像素、品紅色像素、青色像素和黃色像素的至少其中之一的三維圖像傳感器的一部分。
8.權(quán)利要求1的捕獲方法，還包括步驟: 存儲(chǔ)對(duì)應(yīng)于所述最終圖像的圖像數(shù)據(jù)； 通過(guò)接口向顯示器傳送所述圖像數(shù)據(jù)；以及 根據(jù)所述圖像數(shù)據(jù)在所述顯示器上生成顯示圖像。
9.一種深度傳感器,其包括: 光源，其向場(chǎng)景發(fā)射具有第一幅度的第一源信號(hào)和具有不同于所述第一幅度的第二幅度的第二源信號(hào)；以及 深度像素，其響應(yīng)于作為第一反射信號(hào)的所述第一源信號(hào)的反射部分生成第一像素信號(hào)，并且隨后響應(yīng)于作為第二反射信號(hào)的所述第二源信號(hào)的反射部分生成第二像素信號(hào)；以及 圖像信號(hào)處理器，其從所述第一像素信號(hào)生成第一圖像，從所述第二像素信號(hào)生成第二圖像，并且對(duì)所述第一圖像和第二圖像進(jìn)行內(nèi)插以便生成最終圖像。
10.權(quán)利要求9的深度傳感器，其中，所述光源是紅外二極管或激光二極管。
11.權(quán)利要求9的深度傳感器，其中，所述第一圖像中的相對(duì)遠(yuǎn)離所述深度傳感器的第一對(duì)象存在失真，并且所述第二圖像中的與所述深度傳感器相對(duì)靠近的第二對(duì)象存在失真。
12.權(quán)利要求9的深度傳感器，其中，所述第一幅度低于所述第二幅度。
13.權(quán)利要求9的深度傳感器，還包括:透鏡模塊，其把所述第一反射信號(hào)和所述第二反射信號(hào)聚焦在所述深度像素上；以及相關(guān)雙采樣電路，其與模擬到數(shù)字轉(zhuǎn)換器一同操作以便把所述第一反射信號(hào)轉(zhuǎn)換成所述第一像素信號(hào)并且 把所述第二反射信號(hào)轉(zhuǎn)換成所述第二像素信號(hào)。
14.權(quán)利要求9的深度傳感器，其中，所述深度像素是1抽頭深度像素或2抽頭深度像素的其中之一。
15.—種三維傳感器,其包括:光源，其發(fā)射具有第一幅度的第一源信號(hào)和具有不同于所述第一幅度的第二幅度的第二源信號(hào)；以及至少一個(gè)彩色像素和深度像素，其中所述深度像素配置成響應(yīng)于作為第一反射信號(hào)的所述第一源信號(hào)的反射部分生成第一像素信號(hào)，并且響應(yīng)于作為第二反射信號(hào)的所述第二源信號(hào)的反射部分生成第二像素信號(hào)；以及圖像信號(hào)處理器，其根據(jù)所述第一像素信號(hào)生成第一圖像，根據(jù)所述第二像素信號(hào)生成第二圖像，并且對(duì)所述第一圖像和第二圖像進(jìn)行內(nèi)插以便生成最終圖像。
16.權(quán)利要求15的三維傳感器，其中，所述光源是紅外二極管或激光二極管。
17.權(quán)利要求15的三維傳感器，其中，所述第一圖像中的相對(duì)遠(yuǎn)離所述深度傳感器的第一對(duì)象存在失真，并且所述第二圖像中的與所述深度傳感器相對(duì)靠近的第二對(duì)象存在失真。
18.權(quán)利要求15的三維傳感器，其中，所述第一幅度低于所述第二幅度。
19.權(quán)利要求15的三維傳感器，其中，所述深度像素是1抽頭深度像素或2抽頭深度像素的其中之一。
20.權(quán)利要求15的三維傳感器，其中，所述至少一個(gè)彩色像素包括第一彩色像素集合或第二彩色像素集合，第一彩色像素集合包括紅色像素、綠色像素和藍(lán)色像素，第二彩色像素集合包括品紅色像素、青色像素和黃色像素。
【文檔編號(hào)】H04N5/335GK103731611SQ201310475866
【公開日】2014年4月16日 申請(qǐng)日期:2013年10月12日 優(yōu)先權(quán)日:2012年10月12日
【發(fā)明者】金慶溢, 權(quán)東旭, 金民鎬, 李起相, 李相普, 李鎮(zhèn)京, 陳瑛究, 崔鎮(zhèn)旭 申請(qǐng)人:三星電子株式會(huì)社