3d剪影感測系統(tǒng)的制作方法
【專利摘要】描述了一種3D剪影感測系統(tǒng)，其包括立體相機(jī)和光源。在實(shí)施例中，3D感測模塊觸發(fā)在光源照明場景的同時(shí)由立體相機(jī)對圖像對的捕獲。可以以預(yù)定義幀率捕獲一系列圖像對。每對圖像之后被分析以跟蹤場景中的后向反射器和對象兩者，其中后向反射器可以相對于立體相機(jī)移動(dòng)，對象處于后向反射器與立體相機(jī)之間并且因此部分地遮擋后向反射器。在處理圖像對時(shí)，針對后向反射器和對象中的每個(gè)提取剪影，并且這些剪影被用于生成針對后向反射器和對象中的每個(gè)的3D輪廓。
【專利說明】3D剪影感測系統(tǒng)
【背景技術(shù)】
[00011在過去的數(shù)十年中對自然用戶界面(NUI)已經(jīng)存在大量研究。NUI包括新的基于手 勢的界面，其使用觸摸和/或無觸摸交互或全身來使得可以與計(jì)算設(shè)備進(jìn)行豐富的交互。盡 管已經(jīng)開發(fā)了許多不同的觸摸傳感器和3D輸入設(shè)備，但是其中的每個(gè)通常都針對特定輸入 模態(tài)(例如，在表面上的觸摸、3D手勢或全身跟蹤)而被優(yōu)化并且具有不同的優(yōu)點(diǎn)和缺陷。兩 個(gè)商用的示例是Leap Motion?和Kinect?0Leap Motion?僅僅可以估計(jì)空中的手的指尖 的位置，但是可以以高精度操作。Kinect?在感測任意場景的致密深度圖和跟蹤人類骨架 中提供更大的靈活性，但是具有較低精度。
[0002] 下面描述的實(shí)施例不限于解決已知3D感測系統(tǒng)的缺點(diǎn)中的任何或全部的實(shí)現(xiàn)方 式。

【發(fā)明內(nèi)容】

[0003] 下文呈現(xiàn)本公開的簡化概述以便向讀者提供基本理解。該概述不是本公開的廣泛 概括并且其不識別關(guān)鍵/重要元件或描繪說明書的范圍。其唯一目的是為了以簡化形式呈 現(xiàn)本文公開的一系列構(gòu)思作為對稍后呈現(xiàn)的更詳細(xì)的描述的前序。
[0004] 描述了一種3D剪影(silhouette)感測系統(tǒng)，其包括立體相機(jī)和光源。在實(shí)施例中， 3D感測模塊觸發(fā)在光源照明場景的同時(shí)由立體相機(jī)對圖像對的捕獲?？梢砸灶A(yù)定義幀率捕 獲一系列圖像對。每對圖像之后被分析以跟蹤場景中的后向反射器和對象兩者，其中后向 反射器可以相對于立體相機(jī)移動(dòng)，對象處于后向反射器與立體相機(jī)之間并且因此部分地遮 擋后向反射器。在處理圖像對時(shí)，針對后向反射器和對象中的每個(gè)提取剪影，并且這些剪影 被用于生成針對后向反射器和對象中的每個(gè)的3D輪廓。
[0005] 許多伴隨的特征將變得更容易認(rèn)識到，因?yàn)樵S多伴隨的特征通過參考結(jié)合附圖考 慮的下面的詳細(xì)描述變得更好理解。
【附圖說明】
[0006] 根據(jù)鑒于附圖閱讀的下面的詳細(xì)描述將更好地理解本描述，其中：
[0007] 圖1示出了 3D感測系統(tǒng)的示意圖和貫穿示例后向反射器的橫截面；
[0008] 圖2是3D感測系統(tǒng)的操作的示例方法的流程圖；
[0009] 圖3示出了來自圖1的系統(tǒng)的立體相機(jī)和光源布置的兩個(gè)示例；
[0010] 圖4示出了所捕獲的圖像的示例；
[0011] 圖5示出了在其頂部上具有自定義UI界面的示例后向反射器的示意圖和后向反射 器的所捕獲的圖像的示例；
[0012] 圖6示出了所捕獲的圖像的另一示例和貫穿被成像場景的兩個(gè)橫截面；
[0013] 圖7是包括透明后向反射器的3D感測系統(tǒng)的示意圖；
[0014] 圖8是分析所捕獲的圖像對的示例方法的流程圖；
[0015] 圖9示出了示例的所提取的輪廓和經(jīng)反轉(zhuǎn)的圖像；
[0016] 圖10是在執(zhí)行任何分析之前處理所捕獲的圖像的示例方法的流程圖；
[0017] 圖11圖示了本文描述的方法的實(shí)施例可以被實(shí)現(xiàn)在其中的示例性基于計(jì)算的設(shè) 備；
[0018] 圖12示出了貫穿示例透明后向反射器的橫截面；以及
[0019] 圖13示出了貫穿兩個(gè)示例的可見透明的、紅外反射的后向反射器陣列的橫截面。
[0020] 類似的附圖標(biāo)記在附圖中用于指代類似的部件。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖提供的詳細(xì)描述旨在為當(dāng)前示例的描述并且不旨在表示當(dāng)前示例 可以被構(gòu)建或被利用的唯一形式。該描述闡述示例的功能和用于構(gòu)建和操作示例的步驟的 序列。然而，相同的或等價(jià)的功能和序列可以伴隨有不同的示例。
[0022]如以上所描述的，現(xiàn)有3D感測系統(tǒng)通常被設(shè)計(jì)用于特定應(yīng)用和NUI模態(tài)。這意味著 例如被設(shè)計(jì)為檢測空中交互的系統(tǒng)通常不能夠檢測在表面上的觸摸并且類似地被設(shè)計(jì)為 檢測3D手勢的系統(tǒng)通常不能夠在觸摸與懸停事件之間進(jìn)行區(qū)分。盡管一些現(xiàn)有系統(tǒng)可以被 擴(kuò)展為適用于多個(gè)模態(tài)，但是這將要求巨大的處理能力，從而使其針對所有應(yīng)用是不現(xiàn)實(shí) 的，而是使其針對幾個(gè)專用應(yīng)用。
[0023]圖1是3D感測系統(tǒng)100的示意圖，3D感測系統(tǒng)100被布置為同時(shí)地跟蹤后向反射器 102(或后向反射表面)和部分地遮擋后向反射器的對象兩者，該對象可以例如為用戶的手 或手指。這使得能夠由用戶進(jìn)行在物理表面上和上方兩種的交互。如下面更詳細(xì)地描述的， 在各種示例中，3D感測系統(tǒng)100還被配置為感測僅僅后向反射器的3D剪影和任何部分遮擋 的對象并且不提供場景的或場景中的對象的真實(shí)深度圖。
[0024] 通過跟蹤后向反射器102和遮擋后向反射器的對象（例如用戶的手或手指)兩者， 系統(tǒng)100可以與具有任何形狀和大小的后向反射器一起和/或與多于一個(gè)后向反射器一起 使用。另外，后向反射器不需要被固定在相對于立體相機(jī)的一定位置中（正如在不跟蹤后向 反射器而是相反精確地確定其在校準(zhǔn)階段中的位置的系統(tǒng)中的情況)而是可以被移動(dòng)。容 納可移動(dòng)的后向反射器的這種能力使得能夠基于后向反射器的位置/取向進(jìn)行新的NUI輸 入模態(tài)，并且在一些示例中，還能夠基于遮擋對象相對于可移動(dòng)后向反射器的位置/取向進(jìn) 行新的NUI輸入模態(tài)。
[0025] 如圖1所示，3D感測系統(tǒng)100包括立體相機(jī)104、光源106(在圖1中被示出為圍繞立 體相機(jī)的環(huán)形光源)和3D感測模塊(或引擎）108,3D感測模塊(或引擎）108控制立體相機(jī)104 和光源106兩者的操作，并且同時(shí)地經(jīng)由相機(jī)104跟蹤后向反射器102和在后向反射器102與 相機(jī)104之間的部分地遮擋后向反射器102的對象兩者。系統(tǒng)100還包括一個(gè)或多個(gè)后向反 射器102,并且被布置為使得在不存在任何遮擋對象的情況下，在一個(gè)或多個(gè)后向反射器 102與相機(jī)104之間存在視線，并且正是該視線被部分地遮擋后向反射器的對象打斷。后向 反射器102中的至少一個(gè)后向反射器未被固定并且可以相對于相機(jī)104和/或其他后向反射 器102被移動(dòng)。
[0026] 3D感測模塊108的輸出可以用于控制計(jì)算設(shè)備的操作，計(jì)算設(shè)備可以與3D感測模 塊分開(并且在各種示例中遠(yuǎn)離3D感測模塊），或者可替換地，3D感測模塊可以集成到其控 制的計(jì)算設(shè)備。
[0027] 圖1還示出了貫穿示例后向反射器102的橫截面120。如在橫截面120中所示，透射 的光122被散射或被重定向但是(例如，來自光源106的)輸入光124以最小的散射(如由箭頭 126所指示的)被反射回到源。
[0028] 盡管系統(tǒng)100在圖1中被示出為被取向?yàn)橛^察被放置在水平表面(臺110)上的后向 反射器，但是將認(rèn)識到這僅僅通過示例的方式被示出并且系統(tǒng)可以以不同的方式來取向。 在另一示例中，后向反射器可以是磁性的或以其他方式被附到垂直表面(但是在垂直表面 上可移動(dòng)），并且系統(tǒng)100可以被取向?yàn)橛^察該垂直表面。在另外的示例中，表面可以處于任 何取向并且系統(tǒng)100可以被取向?yàn)橛^察后向反射器被放置在其上的表面。在另外的示例中， 后向反射器不需要處于表面上，并且相反后向反射器可以為由用戶在表面的上方或前方操 縱的對象(例如，后向反射觸筆或棒）。盡管在下面描述的許多示例中后向反射器被示出為 平面對象，但是后向反射器可以具有任何形狀。
[0029] 可以參考圖2中示出的流程圖描述系統(tǒng)100的操作。3D感測模塊108生成觸發(fā)脈沖 (框202)，該觸發(fā)脈沖引起立體相機(jī)104在當(dāng)光源106處于接通的同時(shí)捕獲場景的一幅或多 幅圖像(框204)，即由光源提供的照明可以與圖像捕獲同步(或者可以一直處于接通）。在各 種示例中，對非常強(qiáng)的照明施以脈沖非常短的時(shí)間段(例如Ims)以提高信噪比（即，對光源 施以脈沖到比任何環(huán)境IR源明亮得多的水平）。一幅或多幅所捕獲的圖像之后被3D感測模 塊108分析(框206)。盡管下面的描述涉及處理單個(gè)圖像對(例如同時(shí)捕獲的左圖像和右圖 像），但是將認(rèn)識到，在許多示例中，例如以預(yù)定義幀率(例如，60Hz)捕獲一系列圖像對。（在 框206中）實(shí)時(shí)地逐幀地執(zhí)行分析(并且對一個(gè)幀的處理與任何先前處理無關(guān)），并且可以使 用任何適當(dāng)?shù)姆治黾夹g(shù)(包括任何適當(dāng)?shù)纳疃忍崛∷惴ǎ?br>[0030] 立體相機(jī)104、光源106和后向反射器102全部操作在相同的波長范圍中，例如使用 可見光或可替換地使用紅外（IR)光。在各種不例中，立體相機(jī)104被布置為捕獲IR光(例如 在相機(jī)上可以存在IR帶通濾波器），光源106包括一個(gè)或多個(gè)IR發(fā)光二極管(LED)，并且后向 反射器102被布置為反射IR光(但是在其他波長處可以是透明的）。在其他示例中，相機(jī)104、 光源106和后向反射器102可以在可見光譜內(nèi)進(jìn)行操作。
[0031] 立體相機(jī)104被布置為（在框204中）同時(shí)地捕獲場景的兩幅圖像，左圖像和右圖 像。存在這可以被實(shí)現(xiàn)的許多不同的方式，并且在各種示例中，立體相機(jī)104包括處于固定 間距(例如，分開~6cm)的兩個(gè)單色I(xiàn)R相機(jī)302，如圖3中的第一示例31所示。在該示例中，相 機(jī)302被定位在金屬軌道304上。相機(jī)302中的每個(gè)相機(jī)捕獲場景的單獨(dú)的圖像（即圖像對的 左圖像和右圖像），并且圖像是由兩個(gè)相機(jī)302同時(shí)（或基本上同時(shí)）捕獲的。光源包括圍繞 每個(gè)相機(jī)302的透鏡附接的一圈8個(gè)散射IR LED 3061ED 306的該布置提供均勻照明并使 場景內(nèi)的陰影最小化。
[0032]圖3中的第二示例32示出了使用單個(gè)RGB相機(jī)310的可替換布置，單個(gè)RGB相機(jī)310 可以例如為智能電話或其他移動(dòng)設(shè)備（例如平板電腦）中的相機(jī)。光學(xué)布置312用于使得相 機(jī)310能夠捕獲如由箭頭314、316所指示的兩幅圖像(左圖像和右圖像），雖然這兩幅圖像由 相機(jī)310存儲為單幅RGB圖像。光學(xué)布置312使用RGB組合棱鏡318和平面鏡320(或類似的光 學(xué)元件)將兩幅圖像(例如，藍(lán)色圖像和紅色圖像)組合成由相機(jī)存儲的單幅RGB圖像。在該 示例中，光源可以為移動(dòng)設(shè)備中的內(nèi)置LED閃光燈。
[0033]圖4示出了所捕獲的圖像400 (例如，由圖3中的示例31中的兩個(gè)相機(jī)302中的一個(gè) 捕獲的圖像）的示例。如可以從圖像400看到的，由光源提供的照明引起來自表面上的（例 如，圖1中的臺110上的）所有后向反射材料(在該示例場景中可以存在許多后向反射器）的 明亮均勻響應(yīng)。這使后向反射器清楚地可以被區(qū)分為明亮剪影402。在后向反射器與相機(jī)之 間的并且因此部分地遮擋后向反射器的對象(例如圖4中示出的手404和筆406)被示出為對 比明亮后向反射器剪影402的黑色剪影。這提供在背景(剪影402)與前景(對象404、406)之 間的強(qiáng)烈對比。因此可以看到，系統(tǒng)100內(nèi)的光學(xué)布置使得能夠快速檢測后向反射器和部分 地遮擋對象的對象兩者的邊緣。
[0034]在如圖3中的第二示例32中所示的使用了RGB光學(xué)布置的情況下，所捕獲的圖像中 的每幅將包括與在后向反射器與相機(jī)之間的對象相對應(yīng)的對比不同顏色的明亮剪影的黑 色剪影(例如，手對比第一圖像中的紅色背景的黑色剪影和相同的手對比背景圖像中的藍(lán) 色背景的黑色剪影）。所存儲的圖像將因此包括具有手對比著色的（例如，洋紅色)背景的兩 個(gè)稍微不同的(例如偏移的）陰影的這兩幅圖像的組合。
[0035] 在下面的描述中對圖3中示出的特定布置中的一個(gè)的任何引用僅僅通過示例的方 式，并且方法同樣適用而不考慮兩個(gè)布置中的哪個(gè)被使用或者如關(guān)于圖1的系統(tǒng)描述的任 何布置是否被使用。
[0036] 如以上所描述的，后向反射器102可以具有任何形狀/大小，并且在各種示例中，后 向反射器102可以由可以被縫制、噴繪或粘附到另一對象(例如計(jì)算機(jī)鼠標(biāo)、一片卡片板等） 或2D/3D打印的后向反射材料形成。后向反射器102中的至少一個(gè)未被固定在相對于立體相 機(jī)104的固定位置中（例如其可以由用戶移動(dòng)）。未處于相對于立體相機(jī)104的固定位置中的 后向反射器102可以被稱為"后向反射微件(widget)"以將它們與具有相對于在使用之前仔 細(xì)校準(zhǔn)后向反射器的位置的系統(tǒng)中的相機(jī)的固定位置的后向反射背景區(qū)分開。
[0037] 在各種示例中，后向反射器可以在其上具有對用戶可見但是在由立體相機(jī)捕獲的 波長處透明的標(biāo)簽。例如，在立體相機(jī)捕獲IR光的情況下，標(biāo)簽可以對IR光是透明的但是對 人眼可見（例如，使用基于顏料的打印機(jī)墨水打印或者使用著色的白板記號筆來書寫）。這 些標(biāo)簽可以例如提供用戶界面布局，例如鍵盤布局、自定義用戶界面(UI)或DJ混合桌面。
[0038] 圖5示出了在其頂部上具有形式為采用在由立體相機(jī)使用的波長處透明但是對用 戶可見的材料(例如墨水)形成的網(wǎng)格線502的自定義UI界面的示例后向反射器500的示意 圖。當(dāng)用戶與UI交互時(shí)，立體相機(jī)捕獲示出用戶的手指在網(wǎng)格內(nèi)的位置的圖像（例如，剪 影），例如如示例圖像510中所示。在示出的示例中，剪影可以對比后向反射器500的明亮剪 影516看到兩個(gè)指尖的黑色剪影512、514。這兩個(gè)指尖部分地遮擋后向反射器500,因?yàn)檫@兩 個(gè)指尖被放置在后向反射器與立體相機(jī)之間（或者在存在兩個(gè)相機(jī)的情況下，被放置在后 向反射器與捕獲圖像的相機(jī)之間）?？梢?基于在圖2的框206中對捕獲的圖像的分析)確定， 在該示例中，兩個(gè)指尖已經(jīng)被放置在自定義UI網(wǎng)格502的第二列和第四列的底部方塊中。來 自3D感測模塊108的識別指尖的位置的輸出可以基于特定指尖位置或各位置的組合來觸發(fā) 計(jì)算設(shè)備內(nèi)的不同的動(dòng)作或者操作。
[0039] 在各種示例中，后向反射器可以由可塑性材料（例如可塑性片材料)形成，并且因 為遮擋對象(例如，用戶的手)和后向反射器本身兩者都被3D感測模塊108跟蹤，3D感測模塊 可以在懸停和觸摸事件之間進(jìn)行區(qū)分。這被示出在圖6中的示意圖中。圖6示出了被用戶的 手部分地遮擋的后向反射器的明亮剪影602的所捕獲的圖像600,因此用戶的手看上去為黑 色剪影604。如果僅僅前景對象(用戶的手)被跟蹤，則3D感測模塊不可能在如第一橫截面示 意圖61中示出的用戶的手懸停與如第二橫截面示意圖62中示出的用戶的手觸摸后向反射 器之間進(jìn)行鑒別。每個(gè)橫截面被示出在與橫跨圖像600的點(diǎn)線606相對應(yīng)的位置中并且因此 示出可塑性后向反射微件610和用戶的手指612中的兩個(gè)手指。這在下面關(guān)于討論分析的可 能方法中進(jìn)一步詳細(xì)描述?？伤苄院笙蚍瓷湮⒓?10可以例如如以上所描述的在其上表面 上具有透明標(biāo)簽(例如，圖5中示出的網(wǎng)格502)。
[0040] 在各種示例中，后向反射器102可以對可見光是透明的，使得用戶可以將其看透。 這可以例如提供(例如，如以上參考圖5所描述的)創(chuàng)建用戶界面布局的可替換手段。在這種 示例中，用戶界面布局可以被印刷(或以其他方式被形成)在透明的后向反射器702被附到 其上的對象700的上表面701上，如圖7所示。來自光源106的光由后向反射器702反射回到立 體相機(jī)104;然而，用戶可以看透后向反射器702并且觀察支撐對象700的上表面701上的任 何文本或其他標(biāo)記。
[0041] 在示例中，透明的后向反射器702可以通過使用指數(shù)匹配材料覆蓋后向反射器(其 可以例如包括微球體或角錐(corner cube)反射器的陣列）的表面拓?fù)鋪硇纬?，其中指?shù)匹 配材料與針對可見光的指數(shù)相匹配但是不與光源106和立體相機(jī)104使用的一個(gè)或多個(gè)波 長相匹配。在其他示例中，反射IR的后向反射器陣列可以通過提供如圖12中的示例橫截面 1202所示的嵌入式的、波長選擇性的、反射涂覆的后向反射表面1204(其反射IR但是透射可 見波長、IR-R/可見-T)而被制作為可見透明的。嵌入式表面1204(或?qū)?可以通過例如使用 二向色涂層或梳妝(Rugate)涂層而被制作為波長選擇性的。在該橫截面1202內(nèi)，相鄰的層 是指數(shù)匹配的（例如，m = n2)，并且整個(gè)光學(xué)疊加（stack)可以在一側(cè)或兩側(cè)上具有抗反射 (AR)涂層1206。在透明后向反射器的背面上，可以存在疊層襯底1208或無襯底的外模制填 充層。示例的可適用后向反射表面包括（1)全角錐陣列（2)例如在Reflexite?中使用的三 邊裁切陣列或者（3)例如在3M?高效后向反射器中使用的其他改進(jìn)效率的設(shè)計(jì)剖面 (profile)。寬帶的部分透明的涂層(例如金屬涂層)還可以用于實(shí)現(xiàn)部分透明功能，但是將 導(dǎo)致IR后向反射的光效率的部分損失。
[0042]圖12中示出的嵌入式的、波長選擇性的、反射涂覆的后向反射表面（IR反射/可見 透射）1204還可以用于提供如以上參考圖5所描述的自定義UI，并且在圖13中示出了兩個(gè)示 例橫截面1301、1302。在第一示例1301中，IR透明著色墨水1304被印刷在后向反射器的正表 面上(或者在被添加到后向反射器的正面的薄膜層上）以允許部分地看透后向反射器片上 的可見內(nèi)容。相反，第二示例1302在背面上包括印刷顯示內(nèi)容層1306。該層1306可以例如通 過直接印刷在背面上或者通過將標(biāo)牌(placard)(其可以是可移動(dòng)且可更換的以提供不同 的UI布局）層疊到背面上來形成。在各種示例中，標(biāo)牌可以包括不透明的、部分反射的或者 部分透射的區(qū)域以及清晰的或散射的區(qū)域(例如，通過使用清晰的/散射的印刷襯底層和各 種類型的墨水，各種類型的墨水可以為半透明的、不透明的或散射的）。
[0043]如以上所描述的，（在框206中）實(shí)時(shí)地逐幀地對所捕獲的圖像執(zhí)行分析并且可以 使用任何適當(dāng)?shù)姆治黾夹g(shù)(包括任何適當(dāng)?shù)纳疃忍崛∷惴ǎＴ趫D8的流程圖中示出分析所 捕獲的圖像的示例方法，其可以在圖2的框206中使用。
[0044]如圖8所示，分析所捕獲的圖像的示例方法包括兩輪801、802,并且針對由立體相 機(jī)104捕獲的每對圖像(例如左圖像和右圖像)執(zhí)行該方法。第一輪(或階段)801計(jì)算針對背 景圖像的深度，背景圖像被認(rèn)為包括被明亮地照亮的圖像的部分（即后向反射器）。第二輪 (或階段)802計(jì)算針對前景圖像的深度，其中來自第一輪的剪影內(nèi)的對象被分割。
[0045]在第一輪801中，提取圖像對的每幅圖像中的任何明亮剪影的輪廓(框804)。作為 提取輪廓的部分，每幅圖像可以被閾值化以去除低強(qiáng)度像素。每幅二進(jìn)制圖像的輪廓之后 被追蹤，其有效地計(jì)算與針對每個(gè)連通分量的輪廓點(diǎn)相對應(yīng)的2D像素的集合(坐標(biāo)是2D的， 因?yàn)樵谠撾A段不存在深度信息）。
[0046] 通過示例的方式參考回到圖6中示出的示出了單個(gè)明亮剪影602的圖像600,從該 特定圖像(從框804)提取的輪廓將為如圖9中的第一示意圖901所示。針對每個(gè)明亮剪影， (在框804中）提取一對輪廓，一個(gè)輪廓來自右圖像并且一個(gè)輪廓來自該對中的左圖像。因?yàn)?在任何場景中可能存在多于一個(gè)明亮剪影，因此該提取階段的輸出是輪廓的兩個(gè)集合，輪 廓的每個(gè)集合是從圖像對中的左圖像和右圖像中的不同圖像提取的。
[0047]之后在輪廓的兩個(gè)集合之間執(zhí)行立體匹配(框806)。可以使用任何適當(dāng)?shù)牧Ⅲw匹 配算法，并且在與本申請同一天提交的標(biāo)題為"STEREO IMAGE PROCESSING USING CONTOURS"的共同待審的美國專利申請中描述了示例。立體匹配(在框806中）生成針對每個(gè) 明亮剪影的3D深度輪廓，其中3D深度輪廓包括描述3D空間中的一系列點(diǎn)（例如圍繞剪影901 的一系列點(diǎn)，其中每個(gè)點(diǎn)由其(x，y，z)坐標(biāo)定義）的數(shù)據(jù)。已經(jīng)(在框806中）執(zhí)行了立體匹 配，可以可選地在3D深度輪廓內(nèi)執(zhí)行插值以填充致密3D剪影(框808)。該插值可以在系統(tǒng) 100與被設(shè)計(jì)為適用于致密深度圖像的算法一起使用的情況下被使用。該插值(在框808中） 可以被稱為'輪廓修補(bǔ)'并且在下面更詳細(xì)地進(jìn)行描述。
[0048]在第二輪802中，在輪廓邊界內(nèi)，即在如在第一輪801中的框804中提取的輪廓邊界 內(nèi)，對圖像對中的每幅圖像進(jìn)行反轉(zhuǎn)(框810)。參考回到圖4中示出的示出了白板記號筆406 對比后向反射器的明亮（白色)剪影402的黑色剪影的圖像，該反轉(zhuǎn)(在框810中）將得到經(jīng)修 改的圖像，在經(jīng)修改的圖像中白板記號筆是對比后向反射器的黑色背景剪影的明亮剪影。 [0049 ]在遮擋對象不完全在明亮剪影內(nèi)的情況下，如同圖6中的圖像600中示出的示例中 的用戶的手(并且不像圖4中示出的白板記號筆），在執(zhí)行反轉(zhuǎn)時(shí)要求某種額外處理，并且將 認(rèn)識到這可以在所有情況下被執(zhí)行(而無需首先確定遮擋對象是否完全在明亮剪影內(nèi)）。
[0050] 在執(zhí)行（在框810中）反轉(zhuǎn)之前，生成（來自框804的）背景輪廓的凸包（convex hull)。根據(jù)凸包生成針對每幅相機(jī)圖像的二進(jìn)制掩碼(例如，其中掩碼針對凸包內(nèi)的像素 具有值1，并且針對在凸包外的像素具有值〇)。針對掩碼中的每個(gè)有效像素（即其中掩碼具 有值1 )，之后(在框810中）對二進(jìn)制圖像進(jìn)行反轉(zhuǎn)。
[0051] 通過示例的方式參考回到圖9中的第一示意圖901中示出的所提取的輪廓(其對應(yīng) 于圖6中的圖像600)，該輪廓的凸包是矩形的，在輪廓的凸包內(nèi)（在框810中）反轉(zhuǎn)的結(jié)果是 如圖9中的第二示意圖902中所示的經(jīng)修改的圖像。可以從圖9看到，該經(jīng)修改的圖像將用戶 的手遮擋后向反射器的部分示出為對比黑色背景的明亮剪影。
[0052]來自（在框810中）反轉(zhuǎn)階段的輸出是經(jīng)修改的圖像的對(經(jīng)修改的左圖像和經(jīng)修 改的右圖像），在經(jīng)修改的圖像的對中存在與在后向反射器上或上方交互的并且因此(如從 相機(jī)看到的）部分地遮擋后向反射器的對象相對應(yīng)的明亮剪影。該方法之后以與第一輪801 類似的方式前進(jìn)，其中輪廓是從該對中的每幅經(jīng)修改的圖像中提取的（框812)。圖9中的第 三示意圖903示出了針對第二示意圖902中示出的經(jīng)修改的圖像的對應(yīng)輪廓。
[0053]已經(jīng)(在框812中）生成了輪廓，使用任何適當(dāng)?shù)牧Ⅲw匹配算法對從經(jīng)修改的圖像 中生成的輪廓的兩個(gè)集合執(zhí)行立體匹配(框814)。如以上參考框806所描述的，（在框814中） 立體匹配生成針對每個(gè)明亮剪影的3D深度輪廓，其中3D深度輪廓包括描述3D空間中的一系 列點(diǎn)(例如，圍繞剪影903的一系列點(diǎn)，其中每個(gè)點(diǎn)由其(x，y，z)坐標(biāo)定義)的數(shù)據(jù)。
[0054]參考回到以上關(guān)于在觸摸與懸停之間進(jìn)行區(qū)分的討論（如圖6所示），由框806和 814中的立體匹配生成的3D輪廓可以用于進(jìn)行該區(qū)分。在一個(gè)示例中，與圖9中的剪影901相 對應(yīng)的3D輪廓將示出在圍繞指尖的位置處的可塑性后向反射器的下壓，如圖9中的箭頭所 指示的，并且這可以用于指示觸摸事件。在另一示例中，可塑性后向反射器的表面平面基于 后向反射器的3D輪廓來估計(jì)，并且在該平面和與用戶的手的剪影903相對應(yīng)的3D輪廓之間 的任何交叉被認(rèn)為是觸摸事件。
[0055]除了單純地在觸摸與懸停之間進(jìn)行區(qū)分，3D輪廓還可以用于給出壓力的近似(例 如，由指尖612在可塑性后向反射器610上施加的壓力的量）。例如，壓力可以基于在后向反 射器的平面和與用戶的手的剪影相對應(yīng)的3D輪廓之間的交叉/交疊的量來近似。
[0056]在圖8中示出的第一輪801之前，由立體相機(jī)捕獲的圖像可以被處理以將經(jīng)改進(jìn)的 輸入圖像提供給圖8中示出的方法。示例處理方法被示出在圖10中的流程圖中，并且正如圖 8中示出的方法，圖10的方法在運(yùn)行時(shí)和實(shí)時(shí)地被執(zhí)行。
[0057]如圖10所示，（來自圖2的框204的）經(jīng)同步的所捕獲的圖像被處理以去除任何失真 給定的固有透鏡參數(shù)(框1002)。圖像之后被矯正(框1003)以確保(在框806和814中）立體匹 配可以直接地橫跨左圖像和右圖像的掃描線進(jìn)行，并且最終它們被剪裁(框1004)以去除兩 幅圖像的非交疊部分。
[0058]已經(jīng)(在框806和814中）使用針對后向反射器和遮擋對象兩者的立體匹配生成了 3D輪廓，3D感測模塊108(或單獨(dú)的分類模塊)可以使用機(jī)器學(xué)習(xí)算法來對得到的形狀進(jìn)行 分類（框816)?？梢允褂萌魏芜m當(dāng)?shù)姆诸惙椒ǎ⑶以谂c本申請同一天提交的標(biāo)題為 "⑶NTOUR-BASED CLASSIFICATION OF OBJECTS"的共同待審的美國專利申請中描述了示 例。
[0059] 在各種示例中，因?yàn)?D感測系統(tǒng)跟蹤后向反射器和遮擋后向反射器的對象兩者， 所以特定后向反射對象可以被分配以特定行為(例如，在被由3D感測系統(tǒng)提供的NUI控制的 軟件內(nèi)）。例如，具有預(yù)定義尺寸的圓形后向反射器可以（在框816中）被表征為表盤(dial)， 并且遮擋對象相對于表盤的位置可以被用作到操作系統(tǒng)或應(yīng)用軟件的輸入。如果圓形后向 反射器在其被定位在其上的表面上來回移動(dòng)，則分類將由于對后向反射器和遮擋對象兩者 的跟蹤而不受影響。類似地，作為伸長矩形的形狀的后向反射器可以被分類為滑塊輸入，并 且遮擋對象相對于滑塊的位置可以被用作到操作系統(tǒng)或應(yīng)用軟件的輸入。另外的示例包括 但不限于3D指向棒和形式為曲面后向反射器的、形狀為可以從表面中拾取的鼠標(biāo)的3D多觸 摸鼠標(biāo)，在3D指向棒中不同的功能可以通過利用食指的部分遮擋或棒被持有的方式而被觸 發(fā)，并且在3D多觸摸鼠標(biāo)中點(diǎn)擊和多觸摸手勢可以通過分析遮擋來在3D鼠標(biāo)上啟用。
[0060] 對分析的上述描述僅僅涉及對剪影的使用，然而在一些示例中單單剪影可能不能 或不能夠被使用，例如在分類算法要求完全致密深度圖的情況下。然而，這不意味著上述方 法不能夠被使用，而是相反被稱為"輪廓修補(bǔ)"的可選后處理步驟可以用于根據(jù)在圖8的方 法中生成的輪廓來生成3D深度圖。在示例中，該輪廓修補(bǔ)可以被實(shí)現(xiàn)在圖8中的框814與816 之間。
[0061] 為了填充（如在圖8中的框814中生成的）可以被標(biāo)示為8Ω的經(jīng)分割的輪廓的內(nèi) 部，插值問題被公式化表示為具有狄里克雷(Dirichlet)邊界條件的拉普拉斯(Laplace)公 式。因此，輪廓深度值定義已知的標(biāo)量值邊界函數(shù)并且該方法包括關(guān)于下式在 Ω上求解內(nèi)部深度值f(x，y):
[0062] Δ f(x，y) (x，y) e Ω-δ Ω
[0063]
[0064] 之后，并行雅可比（Jaccobi)/高斯-賽德爾(Gauss-Seidel)求解器在圖形處理單 元(GPU)上被使用以對拉普拉斯公式進(jìn)行求解。為了加速收斂，使用（例如，如在Marroquim 等人發(fā)表于 SPBG(2007)第101-108 頁的文章 "Efficient point-based rendering using image reconstruction"中描述的）具有雙立方(bi-cubic)插值權(quán)重的分層推拉插值來初 始化內(nèi)部。在執(zhí)行該方法時(shí)，θΩ的像素值利用負(fù)號來標(biāo)記，這允許該方法(除了推拉分層之 外)適當(dāng)?shù)貙ο到y(tǒng)進(jìn)行求解。
[0065] 對分析的上述描述涉及在運(yùn)行時(shí)的操作。校準(zhǔn)過程可以被離線（即在運(yùn)行時(shí)之前） 執(zhí)行，其包括：1)用于計(jì)算每個(gè)IR相機(jī)透鏡(焦距、主點(diǎn)、徑向和切向失真）的幾何參數(shù)的固 有校準(zhǔn);2)用于計(jì)算在兩個(gè)相機(jī)之間的、被表示為旋轉(zhuǎn)矩陣和平移向量的幾何關(guān)系的立體 校準(zhǔn);3)用于校正相機(jī)圖像平面以確保它們被掃描線對準(zhǔn)以簡化視差計(jì)算的立體矯正。
[0066] 圖11圖示了示例性基于計(jì)算的設(shè)備1100的各種部件，示例性基于計(jì)算的設(shè)備1100 可以被實(shí)現(xiàn)為任何形式的計(jì)算和/或電子設(shè)備，并且本文描述的方法的實(shí)施例可以被實(shí)現(xiàn) 在其中。具體地，圖1中的3D感測模塊108可以被集成到基于計(jì)算的設(shè)備1100,并且被實(shí)現(xiàn)在 (如下面所描述的）軟件中或被實(shí)現(xiàn)在硬件邏輯部件中或者被實(shí)現(xiàn)在硬件邏輯部件和軟件 的組合中。例如但不是限制性的，可以被使用的說明性類型的硬件邏輯部件包括現(xiàn)場可編 程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SoC)、復(fù)雜可編程 邏輯器件(CPLD)。
[0067] 基于計(jì)算的設(shè)備1100包括一個(gè)或多個(gè)處理器1102,其可以為微處理器、控制器或 用于處理計(jì)算機(jī)可執(zhí)行指令來控制設(shè)備的操作以便執(zhí)行如以上所描述的3D剪影感測的任 何其他適當(dāng)類型的處理器。在一些示例中，例如在使用了片上系統(tǒng)體系結(jié)構(gòu)的情況下，處理 器1102可以包括一個(gè)或多個(gè)固定功能塊(還被稱為加速器），其將3D剪影感測的方法的一部 分實(shí)現(xiàn)在硬件(而非軟件或固件）中。如以上所描述的，處理器中的一個(gè)可以為GPU，其被布 置為執(zhí)行輪廓修補(bǔ)。包括操作系統(tǒng)1104的平臺軟件或任何其他適當(dāng)?shù)钠脚_軟件可以被提供 在基于計(jì)算的設(shè)備處以使得可以包括3D感測模塊1108的應(yīng)用軟件1106能夠在設(shè)備上運(yùn)行。 [0068]如圖11所示，3D感測模塊1108可以包括同步模塊1110,其生成觸發(fā)脈沖以引起立 體相機(jī)1112和光源1114同時(shí)地捕獲圖像對和照明場景。如以上所描述的，立體相機(jī)1112和/ 或光源1114可以被全部或部分地集成在如圖1所示的基于計(jì)算的設(shè)備1100內(nèi)（例如，其中基 于計(jì)算的設(shè)備是移動(dòng)設(shè)備并且圖3中的第二示例32中示出的布置被使用），或者可替換地， 立體相機(jī)1112和光源可以在基于計(jì)算的設(shè)備1100的外部(例如，其中圖3中的第一示例31中 示出的布置被使用）。在3D感測模塊1108至少部分地被實(shí)現(xiàn)在硬件中的情況下，同步模塊 1110可以為同步板。
[0069] 3D感測模塊1108還包括分析模塊1116，其被布置為（例如，如圖2的框206中的）分 析所捕獲的圖像。將認(rèn)識到，在一些示例中，分析模塊1116可以在3D感測模塊1108的外部。 分析模塊1116的輸出可以被輸入到單獨(dú)的分類引擎(例如，被布置為執(zhí)行圖8中的框816的 方法)或者分類可以在分析模塊116內(nèi)被執(zhí)行。來自分類的輸出被提供為到操作系統(tǒng)1104 和/或應(yīng)用軟件1106的輸入，使得后向反射器和/或遮擋對象的運(yùn)動(dòng)將NUI提供給基于計(jì)算 的設(shè)備。
[0070] 計(jì)算機(jī)可執(zhí)行指令可以使用可以由基于計(jì)算的設(shè)備1100訪問的任何計(jì)算機(jī)可讀 介質(zhì)來提供。計(jì)算機(jī)可讀介質(zhì)可以包括例如諸如存儲器1118的計(jì)算機(jī)存儲介質(zhì)和通信介 質(zhì)。例如存儲器1118的計(jì)算機(jī)存儲介質(zhì)包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程 序模塊或其他數(shù)據(jù)的信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性的和非易失性的、可移除的和不 可移除的介質(zhì)。計(jì)算機(jī)可讀介質(zhì)包括但不限于RAM、R0M、EPR0M、EEPR0M、閃存或其他存儲器 技術(shù)、CD-ROM、數(shù)字多用盤(DVD)或其他光學(xué)存儲器、磁帶盒、磁帶、磁盤存儲器或其他磁性 存儲設(shè)備或可以用于存儲用于由計(jì)算設(shè)備訪問的信息的任何其他非傳輸介質(zhì)。相反，通信 介質(zhì)可以體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或經(jīng)調(diào)制的數(shù)據(jù)信號中的其他數(shù)據(jù)(例 如載波)或其他傳輸機(jī)制。如本文中所限定的，計(jì)算機(jī)存儲介質(zhì)不包括通信介質(zhì)。因此，計(jì)算 機(jī)存儲介質(zhì)不應(yīng)當(dāng)被解讀為傳播信號本身。傳播信號可以被呈現(xiàn)在計(jì)算機(jī)存儲介質(zhì)中，但 是傳播信號本身不是計(jì)算機(jī)存儲介質(zhì)的示例。盡管計(jì)算機(jī)存儲介質(zhì)(存儲器1118)被示出在 基于計(jì)算的設(shè)備1100內(nèi)，但是將認(rèn)識到，存儲器可以被分布或被定位在遠(yuǎn)程并且經(jīng)由網(wǎng)絡(luò) 或其他通信鏈路(例如使用通信接口 1120)來訪問。
[0071] 基于計(jì)算的設(shè)備1100還可以包括輸入/輸出控制器1122,其被布置為將顯示信息 輸出到顯示設(shè)備1124,顯示設(shè)備1124可以與基于計(jì)算的設(shè)備1100分離或集成到基于計(jì)算的 設(shè)備1100。顯示信息可以提供圖形用戶界面。在各種示例中，輸入/輸出控制器1122還可以 被布置為接收并處理來自一個(gè)或多個(gè)設(shè)備的輸入，一個(gè)或多個(gè)設(shè)備是例如用戶輸入設(shè)備 1124(例如，鼠標(biāo)、鍵盤、相機(jī)、麥克風(fēng)或其他傳感器），其可以接收除了經(jīng)由本文描述的3D感 測系統(tǒng)接收到的用戶輸入之外的用戶輸入。本文描述的3D感測系統(tǒng)被布置為檢測用戶手勢 或其他用戶動(dòng)作并且可以提供NUI。用戶輸入設(shè)備1124還可以為NUI設(shè)備(例如，其可以檢測 聲音)或者可以使用更傳統(tǒng)的輸入手段，例如按鈕/按鍵按壓。該用戶輸入可以用于控制運(yùn) 行在基于計(jì)算的設(shè)備1100或另一基于計(jì)算的設(shè)備上的操作系統(tǒng)1104和/或應(yīng)用軟件1106。 在實(shí)施例中，顯示設(shè)備1124還可以在其為觸敏顯示設(shè)備的情況下用作用戶輸入設(shè)備1126。 輸入/輸出控制器1122還可以將數(shù)據(jù)輸出到除了顯示設(shè)備之外的設(shè)備，例如本地連接的打 印設(shè)備(未示出在圖11中）。
[0072] 如以上所描述的，任何輸入/輸出控制器1122、顯示設(shè)備1124和用戶輸入設(shè)備1126 可以包括NUI技術(shù)，其使得用戶能夠以自然的方式與基于計(jì)算的設(shè)備交互，不受由諸如鼠 標(biāo)、鍵盤和遠(yuǎn)程控制等的輸入設(shè)備施加的人為約束限制。另外，包括立體相機(jī)1112、光源 1114和3D感測模塊1108的3D感測系統(tǒng)用作如以上所描述的NUI設(shè)備。可以被提供的NUI技術(shù) 的示例包括但不限于依靠聲音和/或語音識別、觸摸和/或觸筆識別（觸敏顯示器）、在屏幕 上和靠近屏幕兩種的手勢識別、空中手勢、頭和眼跟蹤、聲音和語音、視覺、觸摸、手勢和機(jī) 器智能的那些技術(shù)?？梢员皇褂玫腘UI技術(shù)的其他示例包括意圖和目標(biāo)理解系統(tǒng)、使用深度 相機(jī)(例如立體相機(jī)系統(tǒng)、紅外相機(jī)系統(tǒng)、RGB相機(jī)系統(tǒng)和這些相機(jī)系統(tǒng)的組合)的運(yùn)動(dòng)手勢 檢測系統(tǒng)、使用加速度計(jì)/陀螺儀的運(yùn)動(dòng)手勢檢測、人臉識別、3D顯示器、頭、眼和注視跟蹤、 沉浸式增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)系統(tǒng)以及用于使用電場感測電極來感測腦活動(dòng)的技術(shù)(EEG和 相關(guān)方法）。如以上所描述的，本文描述的3D感測系統(tǒng)(其包括立體相機(jī)1112、光源1114和3D 感測模塊1108)被布置為同時(shí)跟蹤后向反射器和遮擋后向反射器的對象兩者并且因此可以 實(shí)現(xiàn)通過在后向反射器上和在后向反射器上方的交互空間中兩者的觸摸和/或?qū)ο笞R別 和/或手勢識別的用戶輸入。
[0073] 盡管當(dāng)前示例在本文中被描述并被圖示為被實(shí)現(xiàn)在如圖11所示的基于計(jì)算的設(shè) 備1100中，其中3D感測模塊1108控制其被定位在其中的基于計(jì)算的設(shè)備，描述的系統(tǒng)被提 供為示例而非限制。如本領(lǐng)域技術(shù)人員將認(rèn)識到的，當(dāng)前示例適合于應(yīng)用于各種不同類型 的系統(tǒng)中，并且在其他示例中，3D感測模塊1108可以用于(經(jīng)由通過NUI界面接收到的輸入） 控制第二基于計(jì)算的設(shè)備，其中3D感測模塊的輸出經(jīng)由通信接口 1120被傳送給該第二基于 計(jì)算的設(shè)備。
[0074] 術(shù)語'計(jì)算機(jī)'或'基于計(jì)算的設(shè)備'在本文中用于指代具有處理能力使得其可以 運(yùn)行指令的任何設(shè)備。本領(lǐng)域技術(shù)人員將意識到這種處理能力被并入到許多不同的設(shè)備 中，并且因此術(shù)語'計(jì)算機(jī)'或'基于計(jì)算的設(shè)備'均包括PC、服務(wù)器、移動(dòng)電話(包括智能電 話）、平板電腦、機(jī)頂盒、媒體播放器、游戲平臺、個(gè)人數(shù)字助理和許多其他設(shè)備。
[0075] 本文描述的方法可以由以有形存儲介質(zhì)上的機(jī)器可讀形式的軟件來執(zhí)行，軟件例 如采用包括程序代碼裝置的計(jì)算機(jī)程序的形式，該程序代碼裝置被適配為當(dāng)程序在計(jì)算機(jī) 上運(yùn)行時(shí)并且在計(jì)算機(jī)程序可以被實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上的情況下執(zhí)行本文描述的方 法中的任何的所有步驟。有形存儲介質(zhì)的示例包括計(jì)算機(jī)存儲設(shè)備并且不包括傳播信號， 計(jì)算機(jī)存儲設(shè)備包括計(jì)算機(jī)可讀介質(zhì)，例如盤、拇指驅(qū)動(dòng)器、存儲器等。傳播信號可以被呈 現(xiàn)在有形存儲介質(zhì)中，但是傳播信號本身不是有形存儲介質(zhì)的示例。軟件可以適合于運(yùn)行 在并行處理器或串行處理器上使得方法的步驟可以以任何適當(dāng)?shù)捻樞蚧蛘咄瑫r(shí)地被執(zhí)行。
[0076] 本文認(rèn)可軟件可以是有價(jià)值的可單獨(dú)交易的商品。本文旨在包含運(yùn)行在"傻瓜 (dumb)"或標(biāo)準(zhǔn)硬件上或控制"傻瓜(dumb)"或標(biāo)準(zhǔn)硬件的以執(zhí)行期望的功能的軟件。本文 還旨在包含"描述"或限定硬件的配置的軟件，例如如被用于設(shè)計(jì)硅芯片的或者用于配置通 用可編程芯片以執(zhí)行期望的功能的HDL(硬件描述語言）軟件。
[0077] 本領(lǐng)域技術(shù)人員將意識到用于存儲程序指令的存儲設(shè)備可以跨網(wǎng)絡(luò)分布。例如， 遠(yuǎn)程計(jì)算機(jī)可以存儲被描述為軟件的過程的示例。本地或終端計(jì)算機(jī)可以訪問遠(yuǎn)程計(jì)算機(jī) 并下載軟件的部分或全部來運(yùn)行程序?？商鎿Q地，本地計(jì)算機(jī)可以根據(jù)需要下載多個(gè)軟件， 或者在本地終端處運(yùn)行一些軟件指令并且在遠(yuǎn)程計(jì)算機(jī)(或計(jì)算機(jī)網(wǎng)絡(luò))處運(yùn)行一些軟件 指令。本領(lǐng)域技術(shù)人員還將意識到通過利用對本領(lǐng)域技術(shù)人員已知的傳統(tǒng)技術(shù)，軟件指令 的全部或部分可以由例如DSP或可編程邏輯陣列等的專用電路來執(zhí)行。
[0078] 如對于技術(shù)人員而言顯而易見的，可以在不喪失尋求的效果的情況下擴(kuò)展或更改 本文給出的任何范圍或設(shè)備值。
[0079]盡管已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動(dòng)作的語言描述了本主題，但是應(yīng)理解在 隨附權(quán)利要求書中限定的主題不必限于以上描述的特定特征或動(dòng)作。相反，以上描述的特 定特征和動(dòng)作被公開為實(shí)現(xiàn)權(quán)利要求的示例形式。
[0080] 將理解，以上描述的益處和優(yōu)點(diǎn)可以涉及一個(gè)實(shí)施例或者可以涉及幾個(gè)實(shí)施例。 實(shí)施例不限于解決所陳述的問題中的任何或全部的那些實(shí)施例或者具有所陳述的益處和 優(yōu)點(diǎn)中的任何或全部的那些實(shí)施例。還將理解，對'an'項(xiàng)的引用指代那些項(xiàng)中的一個(gè)或多 個(gè)項(xiàng)。
[0081] 本文描述的方法的步驟可以以任何適當(dāng)?shù)捻樞騺韴?zhí)行，或者在適當(dāng)?shù)那闆r下可以 同時(shí)地來執(zhí)行。此外，單獨(dú)的框可以在不脫離本文描述的主題的精神和范圍的情況下從任 何方法中刪除。以上描述的任何示例的多個(gè)方面可以在不喪失尋求的效果的情況下與被描 述的任何其他示例的多個(gè)方面進(jìn)行組合以形成另外的示例。
[0082] 術(shù)語'包括'在本文中用于意指包括所識別的方法框或元件，但是這種框或元件不 包括排他性列表，并且方法或裝置可以包含額外的框或元件。
[0083]將理解，以上描述僅僅通過示例的方式給出并且可以由本領(lǐng)域技術(shù)人員進(jìn)行各種 修改。以上說明書、示例和數(shù)據(jù)提供對示例性實(shí)施例的結(jié)構(gòu)和用途的完整描述。盡管以上以 某種程度的特殊性或者參考一個(gè)或多個(gè)單獨(dú)的實(shí)施例描述了各種實(shí)施例，但是本領(lǐng)域技術(shù) 人員可以在不脫離本說明書的精神或范圍的情況下對所公開的實(shí)施例進(jìn)行許多更改。
【主權(quán)項(xiàng)】
1. 一種3D感測系統(tǒng)，包括： 立體相機(jī)； 光源；以及 3D感測模塊，被布置為使用由所述立體相機(jī)捕獲的圖像對來同時(shí)地跟蹤后向反射器和 部分地遮擋所述后向反射器的對象兩者。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括： 后向反射器， 其中所述后向反射器相對于所述立體相機(jī)可移動(dòng)。3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述后向反射器在光的可見波長處是透明的，并且 在由所述立體相機(jī)捕獲的波長范圍處是后向反射的。4. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述后向反射器包括形成在所述后向反射器的上 表面上的用戶界面布局，其中所述用戶界面布局在所述后向反射器在其上后向反射的波長 范圍處是透明的。5. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中所述立體相機(jī)包括以下之一： 固定間距的紅外（IR)相機(jī)對;或者 單個(gè)RGB相機(jī)和光學(xué)布置，其中所述RGB相機(jī)被布置為經(jīng)由所述光學(xué)布置捕獲處于可見 光的不同波長處的兩幅圖像并且將捕獲的所述兩幅圖像的組合存儲為單幅RGB圖像。6. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其中所述3D感測模塊包括： 同步模塊，被布置為生成觸發(fā)脈沖以觸發(fā)所述立體相機(jī)對圖像對的捕獲和所述光源的 同時(shí)照明；以及 分析模塊，被布置為分析捕獲的所述圖像以同時(shí)地跟蹤所述后向反射器和部分地遮擋 所述后向反射器的所述對象兩者。7. -種3D感測的方法，包括： 生成觸發(fā)脈沖以使立體相機(jī)在場景被光源照明的同時(shí)捕獲所述場景的圖像對；以及 分析所述圖像對，以同時(shí)地跟蹤所述場景中的后向反射器和部分地遮擋所述后向反射 器的對象兩者。8. 根據(jù)權(quán)利要求7所述的方法，其中分析所述圖像對包括： 在第一輪中，計(jì)算針對所述后向反射器的3D深度輪廓；以及 在第二輪中，計(jì)算針對所述對象的3D深度輪廓。9. 根據(jù)權(quán)利要求8所述的方法，其中計(jì)算針對所述后向反射器的3D深度輪廓包括： 提取針對在所述對中的每幅圖像中的每個(gè)明亮剪影的2D輪廓；以及 執(zhí)行在從所述對中的第一圖像提取的2D輪廓與從所述對中的第二圖像提取的2D輪廓 之間的立體匹配。10. 根據(jù)權(quán)利要求9所述的方法，其中計(jì)算針對所述對象的3D深度輪廓包括： 針對所述圖像對中的每幅圖像： 生成所述圖像中提取的每個(gè)2D輪廓的凸包； 通過對所述圖像內(nèi)的位于凸包內(nèi)的像素進(jìn)行反轉(zhuǎn)來生成經(jīng)修改的圖像；以及 提取所述經(jīng)修改的圖像中的每個(gè)明亮剪影的2D輪廓；以及 執(zhí)行在從所述對中的第一經(jīng)修改的圖像提取的2D輪廓與從所述對中的第二經(jīng)修改的 圖像提取的2D輪廓之間的立體匹配。
【文檔編號】G06K9/20GK106062780SQ201480073109
【公開日】2016年10月26日
【申請日】2014年12月30日
【發(fā)明人】D·基姆, S·伊扎迪, V·普拉德普, S·巴斯徹, T·A·拉格, K·D·波維爾
【申請人】微軟技術(shù)許可有限責(zé)任公司