視覺分層的系統(tǒng)和方法
【專利摘要】相機(jī)識別被安放在工作空間中的物理對象。顯示器把第一數(shù)字信息顯示到所述工作空間中。分層模塊把所述物理對象視為工作空間中的第一層，并且把所述第一數(shù)字信息視為工作空間中的第二層。控制器經(jīng)由所述第一數(shù)字信息的顯示控制所述第一層和第二層的視覺相鄰性。
【專利說明】視覺分層的系統(tǒng)和方法
【背景技術(shù)】
[0001]共享數(shù)字信息并且基于那個(gè)數(shù)字信息進(jìn)行協(xié)作正變得越來越普遍。輸入設(shè)備捕獲數(shù)字信息(例如，用戶在計(jì)算設(shè)備、數(shù)字相機(jī)、掃描設(shè)備上的輸入等)。輸出設(shè)備輸出數(shù)字信息以便由用戶或者用戶組使用。輸出設(shè)備可以包括把數(shù)字信息顯示到顯示屏上或工作空間中的數(shù)字顯示器或數(shù)字投影儀。
【專利附圖】

【附圖說明】
[0002]接下來的描述包括附圖的討論，所述附圖具有以本發(fā)明的實(shí)施例的實(shí)現(xiàn)的示例的方式給出的說明。附圖應(yīng)當(dāng)以示例的方式理解，而不應(yīng)以限制的方式理解。如在此使用的，對一個(gè)或者多個(gè)“實(shí)施例”的參考將被理解為描述包括在本發(fā)明的至少一個(gè)實(shí)現(xiàn)中的特定的特征、結(jié)構(gòu)或者特性。因此，在此出現(xiàn)的表述(諸如，“在一個(gè)實(shí)施例中”、或者“在一個(gè)可替代的實(shí)施例中”)描述本發(fā)明的各種實(shí)施例和實(shí)現(xiàn)，并且不必都指代同一實(shí)施例。然而，它們也不必相互排除。
[0003]圖1是依據(jù)各種實(shí)施例圖示系統(tǒng)的框圖。
[0004]圖2是依據(jù)各種實(shí)施例圖示系統(tǒng)的透視、外視圖。
[0005]圖3是依據(jù)各種實(shí)施例圖示系統(tǒng)中的邏輯層的透視圖。
[0006]圖4是依據(jù)各種實(shí)施例圖示系統(tǒng)中的層狀態(tài)的框圖。
[0007]圖5是依據(jù)各種實(shí)施例的系統(tǒng)中操作的流程圖。
[0008]圖6是依據(jù)各種實(shí)施例的系統(tǒng)中操作的流程圖。
【具體實(shí)施方式】
[0009]在此描述的實(shí)施例涉及投影捕獲系統(tǒng)。在相同時(shí)間在相同工作空間中的投影、捕獲和用戶輸入控制的組合有利于混合現(xiàn)實(shí)(例如，物理的和虛擬的)協(xié)作。例如，虛擬對象可以是用戶計(jì)算機(jī)上的文件(例如，電子演示幻燈片、電子文檔、數(shù)字照片等)。物理對象可以是二維的對象(例如，照片、文檔等)或者三維的對象(例如，模型、小部件等)。如在此描述的，物理對象和虛擬對象被視為視覺上可互換的“層”。如在此描述的，這些層表示邏輯層，并且允許在此描述的系統(tǒng)和設(shè)備控制工作空間環(huán)境，使得一層(例如，物理對象或者數(shù)字信息組)具有位于另一層上方的外觀。在不同位置上的用戶經(jīng)由單獨(dú)的投影捕獲系統(tǒng)進(jìn)行協(xié)作的協(xié)作環(huán)境中，因?yàn)槊總€(gè)系統(tǒng)上的相機(jī)把實(shí)況(例如，視頻)供給發(fā)送到用于投影的其他位置，所以每個(gè)用戶能夠看見本地和遠(yuǎn)程對象(物理的和虛擬的)并且與本地和遠(yuǎn)程對象(物理的和虛擬的)交互。
[0010]圖1是依據(jù)各種實(shí)施例圖示系統(tǒng)的框圖。圖1包括依據(jù)各種實(shí)施例的特定的部件、模塊等。然而，在不同的實(shí)施例中，更多、更少、和/或其他部件、模塊、部件/模塊的布置等可以依據(jù)在此描述的教導(dǎo)被使用。此外，在此描述的各種部件、模塊等可以被實(shí)現(xiàn)為一個(gè)或者多個(gè)軟件模塊、硬件模塊、特殊用途的硬件(例如，專用硬件、專用集成電路(ASIC)、嵌入式控制器、硬接線電路等)、或者它們的某種組合。圖1中圖示的各種模塊和/或部件可以被實(shí)現(xiàn)為包含指令的計(jì)算機(jī)可讀存儲介質(zhì)，所述指令由處理器執(zhí)行并且存儲在存儲器中以便執(zhí)行在此描述的操作和功能。
[0011]系統(tǒng)100包括相機(jī)110、顯示器120、分層模塊130、以及控制器140。相機(jī)110、顯示器120、以及分層模塊130被可操作地連接到控制器140以便利于改變工作空間中各層之間的視覺相鄰性。在一個(gè)示例中，顯示器120把地圖顯示到工作表面上。顯示器120可以是放置在工作表面上的顯示屏，或者它可以是經(jīng)由數(shù)字投影把信息顯示在工作表面上的數(shù)字投影儀。此外，相機(jī)110檢測放置在工作表面上的物理對象(例如，房屋或者建筑物的模型)。相機(jī)110可以是可見光相機(jī)(例如,數(shù)字圖像相機(jī)(digital image camera)、數(shù)字?jǐn)z像機(jī)等)或者紅外(IR)相機(jī)。
[0012]分層模塊130把所述物理對象與一個(gè)視覺層相關(guān)聯(lián)，并且把被投射的地圖與另一個(gè)視覺層相關(guān)聯(lián)。通過保持各個(gè)層的狀態(tài)信息，控制器140能夠控制各層的視覺相鄰性。換言之，一層可能最初表現(xiàn)為在另一層的“上方”，但是控制器140可以改變所述視覺相鄰性，使得“底”層視覺上變?yōu)椤绊敗睂印?br> [0013]圖2-3是依據(jù)各種實(shí)施例圖示系統(tǒng)的透視、外視圖。圖2-3包括依據(jù)各種實(shí)施例的特定的部件、模塊等。然而，在不同的實(shí)施例中，更多、更少、和/或其他部件、模塊、部件/模塊的布置等可以依據(jù)在此描述的教導(dǎo)被使用。此外，在此描述的各種部件、模塊等可以被實(shí)現(xiàn)為一個(gè)或者多個(gè)的軟件模塊、硬件模塊、特殊用途的硬件(例如，專用硬件、專用集成電路(ASIC)、嵌入式控制器、硬接線電路等)或者它們的某種組合。
[0014]系統(tǒng)200包括頂部210和底部220。底部220包括紅外(IR)相機(jī)224和投影儀222，以及收容的其他部件(例如，處理器、存儲器、分層模塊、控制器等)。投影儀222可以是包括但不限于LED (激光發(fā)射二極管)和DLP (數(shù)字光處理)投影的任何適合的光投影儀。在各種實(shí)施例中，投影儀222朝著頂部210投射數(shù)字信息，在頂部210鏡子把所述投影反射到工作表面230上。IR相機(jī)224檢測被安放在工作表面230上的物理對象的位置。
[0015]投影儀222把數(shù)字信息(例如，線)的投影250投射到工作表面230上。對象260是被放置在工作空間230中的物理對象。IR相機(jī)224檢測所述對象260的位置。分層模塊(例如，分層模塊130)把投影250與一個(gè)邏輯層相關(guān)聯(lián)，并且把對象260與另一個(gè)邏輯層相關(guān)聯(lián)。如圖2所示，對象260表現(xiàn)為在投影250的“上方”。換言之，對象260表現(xiàn)為為前景層，而投影250表現(xiàn)為為背景層。
[0016]圖3圖示了上述邏輯層。層310表示工作表面230。層320表示投影250并且在這個(gè)示例中位于層310的“上方”。層330表示對象260并且在這個(gè)示例中位于層320的“上方”。一旦對象和數(shù)字地被投射的信息已與邏輯層相關(guān)聯(lián)，所述分層模塊保持關(guān)于各層視覺次序的狀態(tài)信息。
[0017]系統(tǒng)200還包括允許用戶與系統(tǒng)200交互的用戶輸入設(shè)備240。在各種實(shí)施例中，用戶輸入(UI)設(shè)備240包括紅外數(shù)字筆和/或紅外相機(jī)，用以檢測工作空間230中UI設(shè)備240的位置。盡管任何適合的UI設(shè)備均可以被使用，但數(shù)字筆具有如下優(yōu)點(diǎn):在沒有感應(yīng)板或者其他特殊表面的情況下，允許在三維空間中(包括沿著工作空間230的表面)輸入。因此，系統(tǒng)200能夠被用于多種工作表面。
[0018]從UI設(shè)備240或者其他輸入機(jī)構(gòu)接收的用戶輸入可以指示改變工作空間230中各層的視覺相鄰性的請求。例如，采用UI設(shè)備240接觸對象260可以指示使對象260為前景層、投影250作為背景層的請求。接觸工作空間230的表面可以指示使投影250為前景層、對象260作為背景層的請求。系統(tǒng)200可以使用所述輸入和來自分層模塊的狀態(tài)信息改變來自投影儀222的所述投影，從而使得各層的視覺次序被改變(例如，前景層和背景層交換)。
[0019]圖4是圖示投影捕獲系統(tǒng)中各層(真實(shí)的和虛擬的)的狀態(tài)變化的框圖。為了說明性的目的，對象被安放于其上的并且數(shù)字信息被投射于其上的工作空間的表面被認(rèn)為是層LO0因此，層LI會在視覺上鄰接層LO (例如，“在其上方”)，并且層L2會在視覺上鄰接層LI (例如，“在其上方”)。如圖所示，狀態(tài)410包括與層LI相關(guān)聯(lián)的物理對象(例如，地圖、文檔、其他的二維或者三維對象等)。換言之，所述物理對象在視覺上鄰接L0。數(shù)字信息(例如，圖像、文檔等)的投影最初與層L2相關(guān)聯(lián)，并且在視覺上鄰接層LI。因此，在狀態(tài)410，數(shù)字信息的投影對于系統(tǒng)用戶在視覺上表現(xiàn)為在所述物理對象的“上方”。
[0020]響應(yīng)于改變各層的視覺相鄰性的用戶輸入或者其他控制信號，系統(tǒng)分層模塊把層關(guān)聯(lián)性從狀態(tài)410的層關(guān)聯(lián)性改變到狀態(tài)420的層關(guān)聯(lián)性。在狀態(tài)420，物理對象變?yōu)閷覮2，并且數(shù)字信息的投影變?yōu)閷覮I。為了產(chǎn)生所述物理對象在所述投影“上方”的視覺外觀，所述系統(tǒng)可以簡單地停止投射所述數(shù)字信息到所述工作空間。
[0021]狀態(tài)412包括最初與層LI相關(guān)聯(lián)的數(shù)字信息(例如，地圖、文檔、圖像等)的投影。換言之，所述投影在視覺上鄰接L0。物理對象(例如，二維的或者三維的)最初與層L2相關(guān)聯(lián)，并且在視覺上鄰接層LI。為了獲得物理對象在所述投影“上方”的視覺外觀，所述系統(tǒng)可以把與所述物理對象的坐標(biāo)相對應(yīng)的數(shù)字信息(例如，地圖或者圖像數(shù)據(jù)等)從所述投影中移除。例如，在所述物理對象坐落的位置，所述系統(tǒng)可以投射空白空間(例如，白色或者其他適合顏色的光)，而在工作空間中的所有其他位置仍然投射原始數(shù)字信息(例如，地圖或者圖像數(shù)據(jù)等)?？商娲?，所述系統(tǒng)可以(例如，從所述物理對象正上方(directly above))捕獲所述物理對象的數(shù)字圖像，并且把那個(gè)圖像投射在所述物理對象坐落的位置(替代投射空白空間)。在其中任一示例中，效果均是所述物理對象位于所述被投射數(shù)字信息“上方”的外觀。
[0022]響應(yīng)于改變各層的視覺相鄰性的用戶輸入或者其他控制信號，系統(tǒng)分層模塊把層關(guān)聯(lián)性從狀態(tài)412的層關(guān)聯(lián)性改變到狀態(tài)422的層關(guān)聯(lián)性。在狀態(tài)422，物理對象變?yōu)閷覮I，并且數(shù)字信息的投影變?yōu)閷覮2。為了產(chǎn)生所述被投射數(shù)字信息在所述物理對象“上方”的視覺外觀，所述系統(tǒng)可以簡單地把所有數(shù)字信息投射到所述工作空間中，包括所述物理對象坐落的位置。
[0023]應(yīng)當(dāng)注意的是，多個(gè)投影捕獲系統(tǒng)可以在遠(yuǎn)程位置被使用以用于虛擬協(xié)作。圖4中描繪的狀態(tài)圖示了這種協(xié)作的示例。在第一位置的用戶可以具有依據(jù)狀態(tài)410的物理對象和投影。同時(shí)，在第二位置的用戶可以具有依據(jù)狀態(tài)412的物理對象和投影。換言之，由狀態(tài)410表示的系統(tǒng)可以捕獲所述物理對象的數(shù)字圖像，并且把它發(fā)送到協(xié)作系統(tǒng)，在此處所述數(shù)字圖像被依據(jù)狀態(tài)412投射。同樣地，在第二位置的用戶具有依據(jù)狀態(tài)412的物理對象。這個(gè)物理對象也被數(shù)字地捕獲，并且被發(fā)送到其他系統(tǒng)(顯示為狀態(tài)410中的投影)。如此，在不同位置上的系統(tǒng)用戶可以使用真實(shí)對象和虛擬對象這二者進(jìn)行協(xié)作。
[0024]圖5是依據(jù)各種實(shí)施例的系統(tǒng)中操作的流程圖。圖5包括依據(jù)某些實(shí)施例的特定的操作和執(zhí)行次序。然而，在不同的實(shí)施例中，其他操作、省略一個(gè)或者多個(gè)所描述的操作、和/或以其他執(zhí)行次序進(jìn)行也可以依據(jù)在此描述的教導(dǎo)被使用。
[0025]系統(tǒng)識別510工作空間中的物理對象。所述物理對象可以是二維的或者三維的。對象可以由相機(jī)(例如，紅外相機(jī)、數(shù)字圖像捕獲(digital image capture)相機(jī)、數(shù)字?jǐn)z像機(jī)等)識別。在各種實(shí)施例中，識別包括確定工作空間內(nèi)所述對象的位置(例如，坐標(biāo))。分層模塊把所述物理對象與第一層相關(guān)聯(lián)520。系統(tǒng)還把作為第二層的數(shù)字信息(例如，圖像)顯示(例如，投射)530到工作空間中。再次，所述分層模塊保持所述被投射信息與所述第二層之間的關(guān)聯(lián)性。
[0026]系統(tǒng)(也許可能響應(yīng)于用戶輸入)改變540第一層和第二層之間的視覺相鄰性。例如，第一層最初可以在視覺上鄰接工作空間的表面(例如，表現(xiàn)為“在其上方”)。第二層最初可以在視覺上鄰接所述第一層(例如，表現(xiàn)為“在其上方”)。響應(yīng)于用戶的請求或者其他控制信號，系統(tǒng)切換(switch)各層的視覺次序。因此，所述第二層變?yōu)樵谝曈X上鄰接所述工作空間的表面，而所述第一層變?yōu)樵谝曈X上鄰接所述第二層。
[0027]圖6是依據(jù)各種實(shí)施例的系統(tǒng)中操作的流程圖。圖6包括依據(jù)某些實(shí)施例的特定的操作和執(zhí)行次序。然而，在不同的實(shí)施例中，其他操作、省略一個(gè)或者多個(gè)所描述的操作、和/或以其他執(zhí)行次序進(jìn)行也可以依據(jù)在此描述的教導(dǎo)被使用。
[0028]投影捕獲系統(tǒng)識別610工作空間中的物理對象。再次，所述物理對象可以是二維的或者三維的。對象可以由相機(jī)(例如，紅外相機(jī)、數(shù)字圖像捕獲相機(jī)、數(shù)字?jǐn)z像機(jī)等)識別。系統(tǒng)分層模塊把所述物理對象與第一層相關(guān)聯(lián)620。系統(tǒng)還把作為第二層的數(shù)字信息(例如，圖像)顯示(例如，投射)630到工作空間中。再次，所述分層模塊保持所述被投射信息與所述第二層之間的關(guān)聯(lián)性。
[0029]所述系統(tǒng)檢測640所述物理對象位置的變化。例如，所述系統(tǒng)可以包括紅外相機(jī)或者可見光相機(jī)(例如，數(shù)字靜止圖像相機(jī)(digital still-1mage camera)或者數(shù)字?jǐn)z像機(jī))，用于檢測所述物理對象的位置。響應(yīng)于檢測所述物理對象的位置變化，所述系統(tǒng)保持650所述第一層與所述第二層之間的視覺相鄰性。例如，如果工作空間被邏輯上劃分為四個(gè)象限，物理對象可能最初被檢測為占據(jù)第一象限。如果所述物理對象(與一層相關(guān)聯(lián))最初在視覺上位于被投射數(shù)字信息(與不同的層相關(guān)聯(lián))的上方，則所述系統(tǒng)可以放棄投射否則會位于第一象限的數(shù)字信息，以便與各層的視覺次序一致。然而，響應(yīng)于檢測所述物理對象從第一象限到第二象限的運(yùn)動，然后所述系統(tǒng)可以投射與第一象限相關(guān)聯(lián)的數(shù)字信息，而從所述投影中移除與所述第二象限相關(guān)聯(lián)的數(shù)字信息，從而，保持所述物理對象位于所述被投射數(shù)字信息上方的外觀。
[0030]在此描述的示例中，方法和系統(tǒng)管理第一層和第二層的視覺相鄰性。在此描述的方法和系統(tǒng)可容易地?cái)U(kuò)展到多于兩層。例如，被投射數(shù)字信息的附加層可以由投影捕獲系統(tǒng)管理。另外，附加物理對象均可以與不同的層相關(guān)聯(lián)。在這些多個(gè)物理層和被投射層之間的視覺相鄰性可以依據(jù)在此描述的實(shí)施例管理。
[0031]對被披露的本發(fā)明實(shí)施例和實(shí)現(xiàn)的各種修改可以在不背離其范圍的情況下被做出。因此，在此的說明和示例應(yīng)當(dāng)以示例性的、而不是以限制性的意義來解釋。
【權(quán)利要求】
1.一種系統(tǒng)，包括: 相機(jī)，識別被安放在工作空間中的物理對象； 顯示器，在工作空間中顯示第一數(shù)字信息； 分層模塊，把所述物理對象視為工作空間中的第一層，并且把所述第一數(shù)字信息視為工作空間中的第二層；以及 控制器，經(jīng)由所述第一數(shù)字信息的顯示，控制所述第一層和第二層的視覺次序。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述相機(jī)是紅外相機(jī)或可見光相機(jī)中的至少一個(gè)。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括: 所述控制器響應(yīng)于所述物理對象相對于所述第一數(shù)字信息的位置變化，改變所述第一數(shù)字信息的顯示以保持所述第一層和第二層之間的現(xiàn)有的視覺次序。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括: 用戶輸入模塊，接收用戶輸入；以及 所述控制器改變所述第一數(shù)字信息的顯示以改變所述第一層和第二層的視覺次序。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括: 所述顯示器在工作空間中顯示第二數(shù)字信息；以及 所述分層模塊把所述第二數(shù)字信息視為工作空間中的第三層；以及所述控制器控制所述第一數(shù)字信息和第二數(shù)字信息的顯示，以改變所述第一層、第二層和第三層之間的視覺次序。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述顯示器是數(shù)字投影儀。
7.一種包含指令的計(jì)算機(jī)可讀存儲介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，使計(jì)算機(jī): 識別被安放在工作空間中的物理對象； 把所述物理對象與第一層相關(guān)聯(lián)； 在工作空間中顯示作為第二層的數(shù)字信息；以及 改變所述第一層和第二層之間的視覺相鄰性。
8.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)可讀存儲介質(zhì)，包括另外的指令，其使計(jì)算機(jī): 響應(yīng)于所述物理對象相對于所述被顯示的數(shù)字信息的位置變化，保持所述第一層和第二層之間的現(xiàn)有的視覺相鄰性。
9.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)可讀存儲介質(zhì)，包括另外的指令，其使計(jì)算機(jī): 在工作空間中顯示作為第三層的附加的數(shù)字信息；以及 改變所述第一層、第二層和第三層之間的視覺相鄰性。
10.一種用于投影儀-相機(jī)系統(tǒng)的方法，包括: 識別被安放在工作空間中的物理對象； 把所述物理對象與第一層相關(guān)聯(lián)； 把作為第二層的數(shù)字信息投射到所述工作空間中；以及 改變所述第一層和第二層之間的視覺相鄰性。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述物理對象經(jīng)由紅外感測被識別。
12.根據(jù)權(quán)利要求10所述的方法，其中，所述數(shù)字信息包括數(shù)字圖像供給或者數(shù)字視頻供給。
13.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括:響應(yīng)于所述物理對象相對于所述被投射的數(shù)字信息的位置變化，保持所述第一層和第二層之間的現(xiàn)有的視覺相鄰性。
14.根據(jù)權(quán)利要求10所述的方法，其中，改變所述視覺相鄰性包括: 接收用戶輸入； 響應(yīng)于所述用戶輸入，改變所述第一層和第二層的視覺相鄰性。
15.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括: 把作為第三層的附加的數(shù)字信息投射到所述工作空間中；以及 改變所述第一層、 第二層和第三層之間的視覺相鄰性。
【文檔編號】G03B21/20GK103703763SQ201180072678
【公開日】2014年4月2日 申請日期:2011年7月29日 優(yōu)先權(quán)日:2011年7月29日
【發(fā)明者】O.K.西弗特 申請人:惠普發(fā)展公司，有限責(zé)任合伙企業(yè)