受控三維通信端點(diǎn)的制作方法
【專利說明】受控三維通信端點(diǎn)
[0001]背景
[0002]當(dāng)前視頻會議技術(shù)通常使用單個相機(jī)來捕捉本地場景的RGB數(shù)據(jù)(來自紅、藍(lán)以及綠(RGB)色彩模型)。這一本地場景通常包括參與視頻會議的人，稱為會議參與者。數(shù)據(jù)隨后被實(shí)時傳送到遠(yuǎn)程位置并隨后顯示給處于與其他會議參與者不同的位置處的另一會議參與者。
[0003]盡管在視頻會議技術(shù)中已取得了幫助提供更高分辨率捕捉、壓縮、以及傳輸?shù)倪M(jìn)步，但該體驗通常達(dá)不到重建親臨會議的面對面體驗。這一點(diǎn)的一個原因是典型的視頻會議體驗缺少眼睛注視以及其他糾正對話幾何。例如，通常，被遠(yuǎn)程捕捉的人沒有像在面對面對話中體驗到的那樣看向你的眼睛。此外，缺少像運(yùn)動視差和圖像深度以及改變場景中的視角的自由度等三維(3D)元素，因為只存在捕捉該場景以及會議參與者的單個固定攝像機(jī)。

【發(fā)明內(nèi)容】

[0004]提供本概述以便以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。
[0005]受控三維(3D)通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例對在線會面或會議中的參與者之間的親臨通信進(jìn)行仿真。另外，受控3D通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例允許容易地伸縮包含參與者的虛擬環(huán)境，使得附加參與者可通過僅僅增加虛擬環(huán)境中包含的虛擬桌的大小而被添加。此外，受控端點(diǎn)允許觀看者感覺如同其他參與者與他在同一房間中一樣。
[0006]具體而言，受控3D通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例使用端點(diǎn)處的多個相機(jī)群來捕捉參與者的3D視頻圖像。受控端點(diǎn)中的多個相機(jī)群被安排成使得它們允許繞參與者360度來捕捉該參與者。根據(jù)視頻所捕捉的數(shù)據(jù)，為參與者創(chuàng)建幾何代理。使用來自捕捉的視頻的RGB數(shù)據(jù)和深度信息，為每一參與者創(chuàng)建幾何代理。
[0007]場景幾何由該系統(tǒng)和方法的各實(shí)施例根據(jù)親臨通信中會存在的眼睛注視和對話幾何來創(chuàng)建。場景幾何的一般概念是創(chuàng)建參與者之間的相對幾何。場景被實(shí)際上對齊以模擬現(xiàn)實(shí)生活場景，如同參與者在同一物理位置且參與親臨通信。
[0008]場景幾何使用虛擬框來保持參與者之間的相對、一致的幾何。具有兩個參與者的會議(或一對一(1:1)場景幾何)包括占據(jù)兩個參與者的相應(yīng)監(jiān)視器(未示出)前方的空間的兩個框。在存在三個參與者時，場景幾何包括按等距的方式繞虛擬圓桌放置的三個虛擬框。
[0009]場景幾何還包括虛擬相機(jī)。虛擬相機(jī)是來自多個相機(jī)群中的兩者或更多者的圖像的合成，以獲得沒有被任何一個相機(jī)群單獨(dú)捕捉的相機(jī)視圖。這允許該系統(tǒng)和方法的各實(shí)施例獲得人們之間的自然眼睛注視以及聯(lián)系。臉部跟蹤技術(shù)可被用來通過幫助虛擬相機(jī)保持與觀看者的眼睛注視對齊來改進(jìn)性能。這意味著虛擬相機(jī)保持水平且在垂直和水平兩個方向上與觀看者的眼睛對齊。虛擬相機(jī)與臉部跟蹤交互，以創(chuàng)建具有用戶看向該用戶的眼睛正在看向的位置的虛擬視點(diǎn)。因而，如果用戶正看向遠(yuǎn)方，則虛擬視點(diǎn)始自用戶看向遠(yuǎn)方的角度。如果用戶正在看另一參與者，則虛擬視點(diǎn)始自用戶正在看該另一參與者的角度。這不是通過人工使其看起來像用戶正在看另一參與者來完成的，而是通過創(chuàng)建正確地表示用戶正在看何處的虛擬幾何來完成的。
[0010]幾何代理被相對于彼此渲染且與場景幾何一起被放置到虛擬環(huán)境中。所渲染的幾何代理和場景幾何被傳送給參與者中的每一個。虛擬環(huán)境被顯示給端點(diǎn)的受控環(huán)境中的觀看者(他也是參與者之一)。具體而言，每一端點(diǎn)包含使用虛擬視點(diǎn)向觀看者顯示虛擬環(huán)境的顯示設(shè)備配置。虛擬視點(diǎn)依賴于觀看者的眼睛的位置和定向。取決于眼睛的位置和定向，觀看者看到會議中的其他參與者的不同角度以及虛擬環(huán)境的其他方面。
[0011]現(xiàn)實(shí)空間與虛擬空間的配準(zhǔn)確保所顯示的圖像是觀看者在她正在察看虛擬環(huán)境中其他參與者的情況下會看到的。另外，臉部跟蹤技術(shù)可被用來跟蹤觀看者的眼睛以知曉虛擬視點(diǎn)應(yīng)當(dāng)顯示什么。為了以高效的方式大規(guī)模地為參與者創(chuàng)建真實(shí)幾何且為了幫助維護(hù)參與者全部都在一個物理位置的假象，控制端點(diǎn)的大小和布局使得更易于構(gòu)建解決方案。
[0012]顯示設(shè)備配置包含多個顯示設(shè)備(如監(jiān)視器或屏幕)。顯示設(shè)備配置控制端點(diǎn)環(huán)境，使得顯示設(shè)備被安排成繞觀看者至少180度。這確保觀看者具有沉浸式體驗并且感覺如同他實(shí)際上與其他參與者在同一物理空間。
[0013]該系統(tǒng)和方法的各實(shí)施例還允許容易的可擴(kuò)展性。具體而言，在一些實(shí)施例中，虛擬桌是具有第一直徑的圓形(或環(huán)形)虛擬桌。參與者中的每一個的幾何代理被繞該虛擬桌置于虛擬環(huán)境中。這確保觀看者可以看到圍繞虛擬桌的參與者中的每一個。如果更多參與者被添加到在線會議中，則虛擬圓桌的大小被擴(kuò)展到大于第一直徑的第二直徑。第二直徑可以是大于第一直徑的任何直徑。這一擴(kuò)展將參與者中的每一個仍然保持在視野中以供觀看，且給出了與其他參與者一起繞桌處于同一房間的假象。
[0014]該系統(tǒng)和方法的各實(shí)施例還包括促進(jìn)在單個端點(diǎn)處的多個參與者。在一些實(shí)施例中，臉部跟蹤技術(shù)跟蹤兩個不同的臉并隨后向不同的觀看者提供不同視圖。在其他實(shí)施例中，端點(diǎn)處的多個參與者中的每一個佩戴眼鏡，并且在一些實(shí)施例中，該眼鏡上具有快門，快門向每一佩戴者示出由監(jiān)視器顯示的被調(diào)諧到每一對眼鏡的交替幀。其他實(shí)施例使用具有多個觀看角度的監(jiān)視器，使得正在從右側(cè)觀看監(jiān)視器的觀看者看到一個場景且正在從左側(cè)觀看監(jiān)視器的另一觀看者看到不同場景。
[0015]應(yīng)當(dāng)注意，替換實(shí)施例也是可能的，并且此處所討論的步驟和元素可取決于特定實(shí)施例而改變、添加或消除。這些替換實(shí)施例包括可使用的替換步驟和替換元素，以及可做出的結(jié)構(gòu)上的改變，而不脫離本發(fā)明的范圍。
[0016]附圖簡述
[0017]現(xiàn)在參考附圖，在全部附圖中，相同的附圖標(biāo)記表示相應(yīng)的部分:
[0018]圖1是示出在計算環(huán)境中實(shí)現(xiàn)的受控三維(3D)通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例的一般概覽的框圖。
[0019]圖2是示出圖1所示的3D通信處理系統(tǒng)的系統(tǒng)細(xì)節(jié)的框圖。
[0020]圖3是示出圖1所示的受控3D通信端點(diǎn)和方法的各實(shí)施例的相機(jī)群的示例性實(shí)施例的細(xì)節(jié)的框圖。
[0021]圖4示出使用四個相機(jī)群的相機(jī)群布局(諸如圖2所示)的示例性實(shí)施例。
[0022]圖5示出使用三個顯示設(shè)備的顯示設(shè)備配置(諸如圖1所示)的示例性實(shí)施例。
[0023]圖6示出其上可實(shí)現(xiàn)此處描述且在圖1-5和7-15中所示的3D通信窗口系統(tǒng)和方法的各實(shí)施例和元素的通用計算機(jī)系統(tǒng)的簡化示例。
[0024]圖7是示出圖1所示的受控3D通信端點(diǎn)系統(tǒng)的總體操作的流程圖。
[0025]圖8是示出圖1所示的3D通信處理系統(tǒng)的總體操作的流程圖。
[0026]圖9示出擴(kuò)展該系統(tǒng)和方法的各實(shí)施例以容納附加端點(diǎn)的示例性實(shí)施例。
[0027]圖10示出創(chuàng)建單個會議參與者的幾何代理的示例性概覽。
[0028]圖11示出當(dāng)在線會議中存在兩個參與者(在兩個不同的端點(diǎn)處)時參與者之間的場景幾何的示例性實(shí)施例。
[0029]圖12示出當(dāng)在線會議中存在處于三個不同端點(diǎn)處的三個參與者時參與者之間的場景幾何的示例性實(shí)施例。
[0030]圖13示出基于參與者正在看的位置的虛擬相機(jī)的示例性實(shí)施例。
[0031]圖14示出通過基于觀看者所面向的位置的運(yùn)動視差來提供深度的示例性實(shí)施例。
[0032]圖15示出使用具有多個觀看角度的監(jiān)視器處理單個端點(diǎn)處的多個參與者的技術(shù)的示例性實(shí)施例。
[0033]詳細(xì)描述
[0034]在以下對受控三維(3D)通信端點(diǎn)系統(tǒng)和方法的描述中，對附圖進(jìn)行了參考，附圖形成了該描述的一部分，并且其中作為說明示出了可實(shí)踐3D通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例的一個具體示例?？梢岳斫?，可以利用其他實(shí)施例，并且可以作出結(jié)構(gòu)上的改變而不背離所要求保護(hù)的主題的范圍。
[0035]1.系統(tǒng)概覽
[0036]受控3D通信端點(diǎn)系統(tǒng)和方法的各實(shí)施例創(chuàng)建用于沉浸式在線會議和會面的受控捕捉和觀看空間。該系統(tǒng)和方法的各實(shí)施例確保在參與者加入在線會議或會面時各端點(diǎn)處的一致性。各端點(diǎn)在在線會議期間是完全受控的，包括光照、房間設(shè)計、以及幾何形狀。此夕卜，端點(diǎn)包括用于捕捉和觀看3D沉浸式會議的裝備，使得對觀看者而言，其他參與者看起來實(shí)際上與該參與者處于同一房間(或同一物理空間)。
[0037]端點(diǎn)是包含在線會議或會面的各參與者中的至少一者的物理位置，如房間或其他類型的環(huán)境。每一在線會議具有至少兩個端點(diǎn)，其中每一端點(diǎn)具有至少一個參與者。每一端點(diǎn)可具有兩個或更多個參與者。下文詳細(xì)討論處理具有兩個或更多個參與者的端點(diǎn)的方式。
[0038]圖1是示出在計算環(huán)境中實(shí)現(xiàn)的受控三維(3D)通信端點(diǎn)系統(tǒng)100和方法的各實(shí)施例的一般概覽的框圖。系統(tǒng)100和方法的各實(shí)施例包括一起工作來為在線會面或會議的參與者創(chuàng)建沉浸式體驗的各種組件和系統(tǒng)。
[0039]如圖1所示，系統(tǒng)100和方法包括促進(jìn)參與者的沉浸式體驗的3D通信處理系統(tǒng)105。3D通信處理系統(tǒng)105被實(shí)現(xiàn)在計算設(shè)備110上。這一計算設(shè)備可以是單個計算設(shè)備或可以分布在多個設(shè)備上。此外，計算設(shè)備110實(shí)際上可以是具有處理器的任何設(shè)備，包括臺式計算機(jī)、平板計算設(shè)備以及嵌入式計算設(shè)備。
[0040]系統(tǒng)100和方法的各實(shí)施例包括至少兩個端點(diǎn)。出于教學(xué)和易于解釋的目的，圖1只示出了兩個端點(diǎn)。然而，應(yīng)當(dāng)注意，系統(tǒng)100和方法的各實(shí)施例可包括若干更多端點(diǎn)。此夕卜，雖然圖1中的每一端點(diǎn)僅示出了單個參與者，但應(yīng)當(dāng)注意，任何數(shù)量的參與者可被包括在任何端點(diǎn)處。
[0041]系統(tǒng)100和方法的各實(shí)施例包括第一端點(diǎn)115和第二端點(diǎn)120。在圖1中，第一端點(diǎn)115和第二端點(diǎn)120被示出在平面圖中。換言之，如果第一和第二端點(diǎn)115、120是房間，則圖1是房間的平面圖。
[0042]第一端點(diǎn)115包括其中包含的第一參與者125。第一端點(diǎn)115還包含多個捕捉和觀看設(shè)備。第一端點(diǎn)115處的觀看設(shè)備包括第一監(jiān)視器130、第二監(jiān)視器135、以及第三監(jiān)視器140。觀看設(shè)備向第一參與者125提供在線會議中的沉浸式體驗，使得第一參與者125感覺好像他與其他參與者一起在該房間中。
[0043]系統(tǒng)100和方法的各實(shí)施例包括具有被安排成使得它們至少繞參與者180度的監(jiān)視器或屏幕的監(jiān)視器配置。監(jiān)視器的配置可實(shí)際上是任何安排，只要它們繞參與者至少180度來放置。如下文