專(zhuān)利名稱(chēng)：顯示全景視頻圖像流的制作方法
顯示全景視頻圖像流
相關(guān)申請(qǐng)
本申請(qǐng)要求標(biāo)題為“DISPUTING PANORAMIC VIDEO IMAGE STREAMS” 并且于 2008 年3月17日提交的第61/037，321號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)。
背景技術(shù)：
視頻會(huì)議是一種在遠(yuǎn)程定位的參與者之間的模擬的面對(duì)面協(xié)作的既定方法。將遠(yuǎn) 程環(huán)境的視頻圖像廣播到本地顯示器上，從而允許本地用戶(hù)看見(jiàn)一個(gè)或者多個(gè)遠(yuǎn)程定位的 參與者并且與之交談。
在面對(duì)面協(xié)作期間的社交互動(dòng)是人們工作方式的重要部分。存在著對(duì)允許人們?cè)?遠(yuǎn)距離的模擬面對(duì)面會(huì)晤中具有有效社交互動(dòng)的需要。這一點(diǎn)的關(guān)鍵方面是在群體成員之 間的非言語(yǔ)交流以及即使一些參與者在遠(yuǎn)程位置并且僅經(jīng)由視頻才可見(jiàn)仍然感覺(jué)共同存 在于相同位置處。已經(jīng)開(kāi)發(fā)試圖實(shí)現(xiàn)這一點(diǎn)的許多系統(tǒng)。然而，關(guān)鍵問(wèn)題已經(jīng)妨礙它們成 功或者被廣泛地使用。
出于上述原因以及出于本領(lǐng)域技術(shù)人員在閱讀和理解本說(shuō)明書(shū)后將變得顯而易 見(jiàn)的其它原因，在本領(lǐng)域中需要替代的視頻會(huì)議方法。


圖1A-1B是用于各種實(shí)施例的中央布局圖。
圖2A是根據(jù)一個(gè)實(shí)施例的本地環(huán)境的表示。
圖2B是從圖IA的本地環(huán)境捕獲的門(mén)戶(hù)(portal)的表示。
圖3是圖2A的本地環(huán)境的又一表示。
圖4A-4B描繪了根據(jù)一個(gè)實(shí)施例的從兩個(gè)不同捕獲場(chǎng)獲得的門(mén)戶(hù)。
圖5A-5B描繪了根據(jù)一個(gè)實(shí)施例的圖4A-4B的多個(gè)門(mén)戶(hù)的相對(duì)顯示在作為全景視 圖來(lái)呈現(xiàn)時(shí)看起來(lái)可能會(huì)怎樣。
圖6描繪了根據(jù)另一實(shí)施例的來(lái)自本地環(huán)境的圖像的替代顯示。
圖7描繪了根據(jù)又一實(shí)施例的顯示于顯示器上的門(mén)戶(hù)。
圖8是根據(jù)一個(gè)實(shí)施例的視頻會(huì)議方法的流程圖。
圖9是根據(jù)一個(gè)實(shí)施例的視頻會(huì)議系統(tǒng)的框圖。
具體實(shí)施方式
在本實(shí)施例的下文詳細(xì)描述中參照附圖，這些附圖形成該描述的一部分并且在附 圖中通過(guò)示例來(lái)示出可以實(shí)現(xiàn)的本公開(kāi)內(nèi)容的具體實(shí)施例。這些實(shí)施例被充分詳細(xì)地描述 以使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)本公開(kāi)內(nèi)容的主題，并且將理解可以利用其它實(shí)施例而且可 以進(jìn)行過(guò)程或者機(jī)械改變而不脫離本公開(kāi)內(nèi)容的范圍。下文詳細(xì)描述因此不應(yīng)以限制意義 來(lái)理解，并且本公開(kāi)內(nèi)容的范圍由所附權(quán)利要求及其等效物限定。
各種實(shí)施例涉及用于將來(lái)自多個(gè)會(huì)晤位置的圖像合成到一個(gè)圖像顯示器上的方法。這些各種實(shí)施例提供用于促進(jìn)如下合成圖像的環(huán)境規(guī)則，所述合成圖像針對(duì)會(huì)晤中的 所有各方提升了適當(dāng)?shù)难劬δ暩兄?gaze awareness)和社交連通性(connectedness)。 這些規(guī)則使得能夠?qū)V泛分布的端點(diǎn)以很少的定制加入到有效的面對(duì)面會(huì)晤中。
通過(guò)表征社交連通性的各方面，各種實(shí)施例可以用來(lái)自動(dòng)混合來(lái)自不同端點(diǎn)的圖 像。這引起廣泛分布的端點(diǎn)網(wǎng)絡(luò)中的社交連通性的改進(jìn)。
通過(guò)使用中央布局和本地視圖為照相機(jī)位置和視點(diǎn)布置建立一致規(guī)則而針對(duì)所 有參加者促進(jìn)欠佳的不一致目光接觸的減少。還使用中央布局和本地視圖來(lái)促進(jìn)凝視感 知。在屏幕上處于分開(kāi)位置的人們通過(guò)在發(fā)言等時(shí)注視他們來(lái)確認(rèn)彼此的相對(duì)位置。
使用圖像捕獲規(guī)則來(lái)使人們和家具的相對(duì)尺寸在幾何上一致。與媒體流所確立 的任意尺寸相反的是，在屏幕上按照本地視圖所確立的一致尺寸來(lái)表示處于分開(kāi)位置的人 們。
通過(guò)使比如眼睛水平、地面水平和工作臺(tái)水平這樣的項(xiàng)目一致來(lái)創(chuàng)建空間的沉浸 感。為圖像之間以及圖像與本地環(huán)境之間的這些項(xiàng)目之間的一致建立規(guī)則。在當(dāng)前系統(tǒng)中， 很少控制這些項(xiàng)目，并且因而圖像看起來(lái)像是來(lái)自不同角度，常常是來(lái)自上方。
用于中央布局、本地視圖、照相機(jī)視圖和其它環(huán)境因素的規(guī)則系統(tǒng)允許來(lái)自不同 制造商的許多類(lèi)型的端點(diǎn)互連到一致的多點(diǎn)會(huì)晤空間中，該空間對(duì)于具有高社交連通性的 面對(duì)面會(huì)晤而言是有效的。
各種實(shí)施例有助于根據(jù)從不同物理位置捕獲的圖像創(chuàng)建全景圖像，所述捕獲的圖 像在組合時(shí)能夠創(chuàng)建單個(gè)圖像以促進(jìn)單個(gè)位置的印象。這通過(guò)為圖像捕獲提供如下規(guī)則來(lái) 實(shí)現(xiàn)，所述規(guī)則使得能夠從多個(gè)不同物理位置生成單個(gè)全景圖。對(duì)于一些實(shí)施例，無(wú)需裁剪 或者拼接單獨(dú)圖像以形成全景圖。這樣的實(shí)施例允許僅用縮放和圖像幀形狀調(diào)節(jié)將圖像簡(jiǎn) 單地平鋪到合成全景圖中。
經(jīng)由如下中央布局來(lái)限定會(huì)晤拓?fù)?，該中央布局示出了就座位置和端點(diǎn)在布局中 的相對(duì)定向。這一布局可以是如圖1A-1B中所示的顯式圖。圖IA示出了在圓圈周?chē)峙?相對(duì)位置的端點(diǎn)環(huán)形布局。在這一中央布局中，端點(diǎn)101的左側(cè)將為端點(diǎn)102、正對(duì)面為端 點(diǎn)103且右側(cè)為端點(diǎn)104。與中央布局相一致，端點(diǎn)101然后可以從左到右顯示來(lái)自端點(diǎn) 102、103和104的圖像。注意這一布局不受各種端點(diǎn)的實(shí)際物理位置約束、但是涉及它們?cè)?虛擬會(huì)晤空間內(nèi)的相對(duì)放置。類(lèi)似地，端點(diǎn)102然后可以從左到右顯示來(lái)自端點(diǎn)103、104 和101的圖像，并且對(duì)于其余端點(diǎn)以此類(lèi)推。
圖IB示出了如同就座于會(huì)堂中一樣分配相對(duì)位置的端點(diǎn)會(huì)堂布局。在這樣的布 局中，“教員”端點(diǎn)101可以顯示來(lái)自所有其余端點(diǎn)102-113的圖像，而每個(gè)“學(xué)員”端點(diǎn) 102-113僅可以顯示來(lái)自端點(diǎn)101的圖像，盡管也可以顯示附加圖像?？梢允褂媚M參與者 位置的物理定向的其它中央布局，并且本公開(kāi)內(nèi)容不受任何特定布局限制。
也可以按照元數(shù)據(jù)或者其它抽象手段來(lái)限定中央布局。例如，可以用地點(diǎn)=4、每 個(gè)地點(diǎn)的座位=6和定向圖[A，B，C，D]這些屬性來(lái)限定布局類(lèi)型“圓形”，從而表明四個(gè)參 與者位置將按次序A、B、C、D以環(huán)形方式布置，其中最大視圖為六個(gè)就座寬度。這將允許如 這里將描述的圖像自動(dòng)排序和縮放。
中央布局可以包括如下數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)限定環(huán)境尺度，比如在地點(diǎn)之間 的距離、就座寬度、期望圖像工作臺(tái)高度、期望圖像前景寬度以及媒體對(duì)象如白板和數(shù)據(jù)顯示器的位置。
一般而言，本地環(huán)境是其中人們比如通過(guò)視聽(tīng)和數(shù)據(jù)設(shè)備及接口來(lái)參與社交協(xié)作 事件或者視頻會(huì)議的場(chǎng)所?？梢园凑找曨l捕獲場(chǎng)來(lái)描述本地環(huán)境。通過(guò)建立標(biāo)準(zhǔn)或者已知 捕獲場(chǎng)，可以在每個(gè)參與位置處捕獲一致圖像從而有助于全景合成圖像的自動(dòng)構(gòu)造。
對(duì)于一些實(shí)施例，由中央布局限定用于本地環(huán)境的捕獲場(chǎng)。例如，中央布局可以限 定每個(gè)本地環(huán)境具有用于在圖像中放置六個(gè)就座位置的捕獲場(chǎng)?？梢越?jīng)由照相機(jī)上的搖 攝-傾斜-縮放-聚焦控制在物理上或者經(jīng)由從更大圖像進(jìn)行數(shù)字裁剪在數(shù)字上實(shí)現(xiàn)根據(jù) 標(biāo)準(zhǔn)捕獲場(chǎng)創(chuàng)建視頻流。多個(gè)場(chǎng)可以從單個(gè)本地空間捕獲并且用作單獨(dú)模塊。中央布局可 以例如通過(guò)將具有多個(gè)場(chǎng)的本地環(huán)境視為單獨(dú)本地環(huán)境來(lái)考慮這些本地環(huán)境。一個(gè)例子將 是使用三個(gè)照相機(jī)的端點(diǎn)，其中調(diào)節(jié)每個(gè)照相機(jī)以在它的圖像中捕獲兩個(gè)就座位置，因此 提供來(lái)自單個(gè)參與者位置的三個(gè)本地環(huán)境。
參與會(huì)議的每個(gè)本地環(huán)境將具有它自己的事件視圖。對(duì)于一些實(shí)施例，每個(gè)本地 環(huán)境將具有與它的如在中央布局中限定的定位對(duì)應(yīng)的不同視圖。
本地布局是用于建立與這些規(guī)則相符的媒體流的顯示位置的系統(tǒng)。將使用由圖像 或者坐標(biāo)限定的顯式門(mén)戶(hù)的例子來(lái)描述各種實(shí)施例。也可以用其它方式、比如經(jīng)由矢量圖 形對(duì)象或者在算法上限定門(mén)戶(hù)。
圖2A是本地環(huán)境205的表示。注意如這里使用的遠(yuǎn)程環(huán)境僅為在與特定參與者 不同位置處的本地環(huán)境205。本地環(huán)境205包括顯示器210，用于顯示來(lái)自于在與本地環(huán) 境205的協(xié)作中涉及到的遠(yuǎn)程環(huán)境的圖像；以及照相機(jī)212，用于捕獲來(lái)自本地環(huán)境205的 圖像以傳輸?shù)竭h(yuǎn)程環(huán)境。對(duì)于一個(gè)實(shí)施例，照相機(jī)212被放置于顯示器210上方。用于捕 獲和顯示來(lái)自本地環(huán)境205的視聽(tīng)信息的部件可以視為用于在視頻會(huì)議中使用的端點(diǎn)。本 地環(huán)境205還包括參與者工作空間或者工作臺(tái)220和一個(gè)或者多個(gè)參與者225。將照相機(jī) 212的捕獲場(chǎng)212示為虛線215。注意捕獲場(chǎng)215可以代表照相機(jī)212的整個(gè)視圖。然而， 捕獲場(chǎng)215可以替換地代表照相機(jī)212的視圖的裁剪部分。
圖2B是從本地環(huán)境205捕獲的門(mén)戶(hù)230的表示。門(mén)戶(hù)230代表本地環(huán)境205上 的“窗口”。沿著捕獲場(chǎng)215與工作臺(tái)220相交的線A-A’取得門(mén)戶(hù)230。線A-A’ 一般垂直 于照相機(jī)212。門(mén)戶(hù)230具有前景寬度222 (代表門(mén)戶(hù)230中所示工作臺(tái)220的寬度)和前 景高度224。對(duì)于一個(gè)實(shí)施例，門(mén)戶(hù)230的縱橫比(寬度高度)為16 9，這意味著前景 寬度222為前景高度224的16/9倍。
對(duì)于一個(gè)實(shí)施例，工作臺(tái)220的寬度比線A-A’處的前景寬度222更寬，從而工作臺(tái) 的邊緣不出現(xiàn)于門(mén)戶(hù)230中。如這里將更詳細(xì)描述的那樣，門(mén)戶(hù)230還具有圖像工作臺(tái)高 度226(代表門(mén)戶(hù)230內(nèi)的工作臺(tái)220的高度)和圖像假設(shè)(presumed)眼睛高度226 (代 表門(mén)戶(hù)230內(nèi)的參與者225的假設(shè)眼睛高度)。
圖3是本地環(huán)境205的又一表示，該表示示出了影響遠(yuǎn)程位置的可查看圖像和門(mén) 戶(hù)230的環(huán)境因素的附加細(xì)節(jié)。同樣，虛線215示出了照相機(jī)212的捕獲場(chǎng)。顯示器210 位于地面231上方距離232處且與工作臺(tái)220的后沿218相距距離236。照相機(jī)212可以 與顯示器210類(lèi)似地定位，即它也可以與工作臺(tái)220的后沿218相距距離236。照相機(jī)212 也可以以某個(gè)角度213定位以便在垂直于捕獲場(chǎng)215與工作臺(tái)220的交線的位置處獲得具 有期望縱橫比的門(mén)戶(hù)230。
工作臺(tái)220在地面231上方具有高度234。將參與者225的假設(shè)眼睛高度給定為 距地面231的高度238。假設(shè)眼睛高度238未必代表參與者的實(shí)際眼睛高度而是僅代表在 就座于工作臺(tái)220時(shí)可能期望平均參與者的眼睛出現(xiàn)的水平。例如，使用人類(lèi)工程學(xué)數(shù)據(jù)， 可以期望50%的就座體態(tài)眼睛高度為47”。假設(shè)眼睛高度238的選擇并不關(guān)鍵。然而對(duì)于 一個(gè)實(shí)施例，假設(shè)眼睛高度238在參與視頻會(huì)議的每個(gè)本地環(huán)境上是一致的，從而有助于 一致地縮放和放置門(mén)戶(hù)以便在本地環(huán)境顯示。
門(mén)戶(hù)230由諸如照相機(jī)212的捕獲場(chǎng)215、工作臺(tái)220的高度234、照相機(jī)212的 角度213以及從照相機(jī)212到捕獲場(chǎng)215與工作臺(tái)220的交線的距離240之類(lèi)的參數(shù)限 定。本地環(huán)境205的假設(shè)眼睛高度238限定了門(mén)戶(hù)230內(nèi)的圖像假設(shè)眼睛高度228。換言 之，假想?yún)⑴c者的眼睛的就座眼睛高度出現(xiàn)于本地環(huán)境的假設(shè)眼睛高度238處將造成門(mén)戶(hù) 230內(nèi)的眼睛高度限定圖像假設(shè)眼睛高度228。
對(duì)于一個(gè)實(shí)施例，從照相機(jī)212到工作臺(tái)220的后沿218的距離236和角度213在 協(xié)作中所涉及的每個(gè)本地環(huán)境205上是一致的。在這樣的實(shí)施例中，隨著增加捕獲場(chǎng)215以 增加門(mén)戶(hù)230的前景寬度222，從照相機(jī)212到捕獲場(chǎng)215與工作臺(tái)220的交線的距離240 減小，因此造成門(mén)戶(hù)230的圖像工作臺(tái)高度226的增加和圖像假設(shè)眼睛高度228的降低。
對(duì)于更多實(shí)施例，通過(guò)維持工作臺(tái)220的高度234和工作臺(tái)220的后沿218與照相 機(jī)212的距離236以及照相機(jī)212的高度M2的一致性，可以使用不同縮放因子在每個(gè)本 地環(huán)境205上產(chǎn)生一致門(mén)戶(hù)230。這有助于在使用相同捕獲場(chǎng)產(chǎn)生的每個(gè)門(mén)戶(hù)內(nèi)對(duì)準(zhǔn)工作 臺(tái)高度和假設(shè)眼睛高度，從而允許圖像被彼此相鄰放置以提供單個(gè)工作空間的印象?？商?換地或者此外，可以從一組標(biāo)準(zhǔn)捕獲場(chǎng)中選擇用于每個(gè)本地環(huán)境205的捕獲場(chǎng)215?？梢韵?定標(biāo)準(zhǔn)捕獲場(chǎng)以查看設(shè)定數(shù)目的就座寬度。例如，可以限定第一捕獲場(chǎng)以查看兩個(gè)就座位 置，可以限定第二捕獲場(chǎng)以查看四個(gè)就座位置，可以限定第三捕獲場(chǎng)以查看六個(gè)就座位置， 以此類(lèi)推。
圖4A-4B描繪了從兩個(gè)不同捕獲場(chǎng)獲得的門(mén)戶(hù)230。如參照?qǐng)D2B所述，圖4A和 4B的門(mén)戶(hù)230A和230B分別具有尺度特性、即前景寬度、前景高度、圖像工作臺(tái)高度和圖像 假設(shè)眼睛高度。門(mén)戶(hù)230A具有比門(mén)戶(hù)230B更小的捕獲場(chǎng)，因?yàn)樗那熬皩挾茸阋圆榭磧?個(gè)就座位置，而用于門(mén)戶(hù)230B的捕獲場(chǎng)足以查看四個(gè)就座位置。為了獲得參與者的幾何一 致性，因此將有必要按照比門(mén)戶(hù)230B小的放大率顯示門(mén)戶(hù)230A。圖5A-5B示出了當(dāng)來(lái)自多 個(gè)遠(yuǎn)程位置的圖像一起呈現(xiàn)時(shí)多個(gè)門(mén)戶(hù)230A和230B的相對(duì)顯示看起來(lái)可能是什么樣。通 過(guò)為將一起呈現(xiàn)的每個(gè)圖像限定相同的捕獲場(chǎng)，圖像工作臺(tái)高度和圖像假設(shè)眼睛高度在所 得全景圖內(nèi)可以是一致的。將多個(gè)門(mén)戶(hù)230合成到單個(gè)全景圖像中限定參與協(xié)作的遠(yuǎn)程位 置的連續(xù)參考幀。這一連續(xù)參考幀保留了每個(gè)遠(yuǎn)程位置的參與者的縮放比例(scale)。對(duì) 于一個(gè)實(shí)施例，它維持結(jié)構(gòu)元素的連續(xù)性。例如，工作臺(tái)表現(xiàn)為形成單個(gè)結(jié)構(gòu)，因?yàn)樗薅?的捕獲場(chǎng)將工作臺(tái)的邊緣限定為在各門(mén)戶(hù)內(nèi)出現(xiàn)于相同高度。
當(dāng)選擇參數(shù)來(lái)限定捕獲場(chǎng)以使得縮放的門(mén)戶(hù)在它們的假設(shè)眼睛高度(圖2B中的 228)與工作臺(tái)高度(圖2B中的226)之間(對(duì)于隨便的觀察者而言)具有相似像素尺度 時(shí)，門(mén)戶(hù)可以被彼此相鄰放置并且可以表現(xiàn)為使它們的參與者就座于相同工作空間并且縮 放至相同的放大率，因?yàn)樵陂T(mén)戶(hù)內(nèi)的假設(shè)眼睛高度和工作臺(tái)高度二者將對(duì)準(zhǔn)。另外，可以更 改顯示的門(mén)戶(hù)230的比例(perspective)以提升周?chē)h(huán)境的錯(cuò)覺(jué)。圖6描繪了三個(gè)門(mén)戶(hù)7230A-230C，這些門(mén)戶(hù)示出了來(lái)自三個(gè)本地環(huán)境的圖像的替代顯示，每個(gè)本地環(huán)境具有用于 查看四個(gè)就座位置的捕獲場(chǎng)。合乎比例地(in perspective)顯示外門(mén)戶(hù)230A和230C以 表現(xiàn)得好像出現(xiàn)于那些門(mén)戶(hù)中的參與者比出現(xiàn)于門(mén)戶(hù)230B中的參與者更靠近。參照?qǐng)D1A， 圖5的門(mén)戶(hù)230A-230C的放置可以代表如在端點(diǎn)101所見(jiàn)的顯示，其中門(mén)戶(hù)230A代表來(lái)自 端點(diǎn)102的視頻流，門(mén)戶(hù)230B代表來(lái)自端點(diǎn)103的視頻流，且門(mén)戶(hù)230C代表來(lái)自端點(diǎn)104 的視頻流，由此維持由中央布局限定的分布狀況(topography)。端點(diǎn)102和104的合乎比 例的視圖幫助提升所有參與者就座于一個(gè)工作臺(tái)周?chē)挠∠蟆?br> 如圖6中所示，顯示的門(mén)戶(hù)230A-230C的全景圖像可能不占據(jù)視頻顯示器的整個(gè) 顯示表面640。對(duì)于一個(gè)實(shí)施例，顯示表面640可以顯示有梯度的顏色以減少反射。這一梯 度可以逼近包圍顯示表面640的表面642的顏色。對(duì)于一個(gè)實(shí)施例，顏色梯度是表面642 的顏色的變化的色澤(shade)。例如，當(dāng)表面642的顏色為黑色時(shí)，在全景圖像以外的顯示 表面640可以是灰色到黑色的變化色澤。對(duì)于又一實(shí)施例，越接近表面642顏色梯度就越 暗。為了繼續(xù)前例，在全景圖像以外的顯示表面640可以隨著從門(mén)戶(hù)230A-230C到表面642 而從灰色延伸至黑色。
對(duì)于一些實(shí)施例，顯示門(mén)戶(hù)230以使得它們的圖像假設(shè)眼睛高度與顯示圖像的本 地環(huán)境的假設(shè)眼睛高度對(duì)準(zhǔn)。當(dāng)他們的假設(shè)眼睛高度對(duì)準(zhǔn)時(shí)這可以進(jìn)一步有助于在遠(yuǎn)程環(huán) 境處的參與者與本地環(huán)境的參與者就座于相同的空間中的印象。
圖7描繪了顯示于顯示器210上的門(mén)戶(hù)230。顯示器210具有由查看寬度250和 查看高度252限定的查看區(qū)。顯示器與地面231相距距離232。如果在顯示器210的查看 區(qū)中顯示門(mén)戶(hù)230造成距地面231的顯示的假設(shè)眼睛高度258小于本地環(huán)境的假設(shè)眼睛高 度238，則門(mén)戶(hù)可以在查看區(qū)中上移以增加顯示的假設(shè)眼睛高度258。注意門(mén)戶(hù)230的部分 可能延伸到顯示器210的查看區(qū)以外，并且因此將不被顯示。然而，如果在查看區(qū)以外的這 一部分不含有任何相關(guān)信息，例如在查看區(qū)中可查看每個(gè)參與者，則該圖像信息的丟失可 能無(wú)關(guān)緊要。因此，門(mén)戶(hù)230的底部可以從顯示器210的底部上移至與地面231相距距離 254以便使顯示的門(mén)戶(hù)230內(nèi)的假設(shè)眼睛高度達(dá)到與本地環(huán)境的假設(shè)眼睛高度238相等的 水平258?？商鎿Q地，門(mén)戶(hù)230的底部可以從顯示器210的底部上移至與地面231相距距離 254以便使顯示的門(mén)戶(hù)230內(nèi)的顯示的工作臺(tái)高度達(dá)到與本地環(huán)境的工作臺(tái)高度234對(duì)準(zhǔn) 的水平256。
對(duì)于一些實(shí)施例，可能沒(méi)有可能將門(mén)戶(hù)230的參與者按照他們的全尺寸或者正常 尺寸顯示。例如，顯示器210的查看區(qū)可能由于顯示器210的尺寸限制和希望顯示的參與 者的數(shù)目而不允許參與者的全尺寸顯示。在這樣的情形中，折衷可能是恰當(dāng)?shù)?，因?yàn)槭癸@示 的假設(shè)眼睛高度與本地環(huán)境的假設(shè)眼睛高度對(duì)準(zhǔn)可能使顯示的工作臺(tái)高度256達(dá)到與本 地環(huán)境的工作臺(tái)高度234不同的水平，反之亦然。對(duì)于其中顯示的圖像不到全尺寸的一些 實(shí)施例，門(mén)戶(hù)230可以從顯示器的底部上移距離254，該距離將使顯示的假設(shè)眼睛高度258 達(dá)到比本地環(huán)境的假設(shè)眼睛高度238低的水平，因此使顯示的工作臺(tái)高度256達(dá)到比本地 環(huán)境的工作臺(tái)高度234高的水平。
圖8是根據(jù)一個(gè)實(shí)施例的視頻會(huì)議方法的流程圖。在870，為三個(gè)或者更多端點(diǎn)限 定捕獲場(chǎng)。例如，中央布局可以限定捕獲場(chǎng)。捕獲場(chǎng)對(duì)于在視頻會(huì)議中涉及的每個(gè)端點(diǎn)而 言相同，即使它們可能具有不同數(shù)目的參與者。對(duì)于一個(gè)實(shí)施例，管理系統(tǒng)可以指引每個(gè)遠(yuǎn)程端點(diǎn)使用特定捕獲場(chǎng)。遠(yuǎn)程端點(diǎn)然后將手動(dòng)或者自動(dòng)調(diào)節(jié)它們的照相機(jī)以獲得它們的指 定捕獲場(chǎng)。對(duì)于這樣的實(shí)施例，可以從管理系統(tǒng)確定捕獲場(chǎng)。當(dāng)捕獲場(chǎng)由管理系統(tǒng)限定時(shí)， 為了方便可以假設(shè)接收的捕獲場(chǎng)與限定的捕獲場(chǎng)相同，即使它可以不同于它的期望尺度特 性。
在872，從兩個(gè)或者更多遠(yuǎn)程位置接收視頻圖像流。所述視頻圖像流代表遠(yuǎn)程端點(diǎn) 的本地環(huán)境的門(mén)戶(hù)。
在874，響應(yīng)于接收的圖像流的數(shù)目來(lái)縮放視頻圖像流以產(chǎn)生適配于(fit within)本地端點(diǎn)的顯示區(qū)內(nèi)的合成圖像。如果接收到非參與者視頻圖像流，比如白板或者 其它數(shù)據(jù)顯示，則可以類(lèi)似地縮放這些視頻圖像流或者可以在不考慮其余視頻圖像流的縮 放的情況下對(duì)它們進(jìn)行處理。
在876，以全景顯示縮放的視頻圖像流以在本地環(huán)境處查看。通過(guò)維持照相機(jī)和工 作臺(tái)放置的一致性并且使用單個(gè)捕獲場(chǎng)，可以彼此相鄰地顯示縮放的視頻圖像流以提升所 有遠(yuǎn)程端點(diǎn)的參與者就座于單個(gè)工作臺(tái)的表象。如上文所言，縮放的視頻圖像流可以定位 于顯示器的可查看區(qū)內(nèi)以獲得與它們顯示于其中的本地環(huán)境的那些眼睛高度類(lèi)似的眼睛 高度。還可以合乎比例地顯示一個(gè)或者多個(gè)縮放的視頻圖像流。對(duì)于進(jìn)一步的實(shí)施例，按 照如下次序顯示視頻圖像流，該次序代表為各種端點(diǎn)的視頻會(huì)議選擇的中央布局。如前文 所言，非參與者視頻圖像流可以與參與者就座的視頻圖像流一起顯示。
圖9是根據(jù)一個(gè)實(shí)施例的視頻會(huì)議系統(tǒng)980的框圖。視頻會(huì)議系統(tǒng)980包括用于 參與視頻會(huì)議的一個(gè)或者多個(gè)端點(diǎn)101-104。端點(diǎn)101-104與網(wǎng)絡(luò)984(如電話網(wǎng)、局域網(wǎng) (LAN)、廣域網(wǎng)(WAN)或者因特網(wǎng))通信。對(duì)于每個(gè)端點(diǎn)101-104而言通信可以是有線和/ 或無(wú)線的。管理系統(tǒng)被配置成執(zhí)行這里描述的方法。管理系統(tǒng)包括中央管理系統(tǒng)982和客 戶(hù)端管理系統(tǒng)983。每個(gè)端點(diǎn)101-104包括它自己的客戶(hù)端管理系統(tǒng)983。中央管理系統(tǒng) 982限定哪些端點(diǎn)正參與視頻會(huì)議。這可以經(jīng)由中央計(jì)劃或者通過(guò)處理來(lái)自本地端點(diǎn)的請(qǐng) 求來(lái)實(shí)現(xiàn)。中央管理系統(tǒng)982限定用于事件的中央布局和用于參與事件的每個(gè)本地端點(diǎn) 101-104的本地布局。中央布局可以限定標(biāo)準(zhǔn)捕獲場(chǎng)，比如2或者4人視圖和附加媒體流的 位置等。本地布局代表每個(gè)端點(diǎn)為了將流正確定位到本地全景圖中所需要的信息的次序和 位置。本地布局提供流連接信息，該信息將本地布局中的位置鏈接到參與事件的遠(yuǎn)程端點(diǎn) 中的圖像流生成器?？蛻?hù)端管理系統(tǒng)983使用本地布局以構(gòu)造本地全景圖，如例如參照?qǐng)D 6所述的。
客戶(hù)端管理系統(tǒng)983可以是端點(diǎn)的一部分，比如與每個(gè)端點(diǎn)關(guān)聯(lián)的計(jì)算機(jī)，或者 它可以是單獨(dú)部件，比如服務(wù)器計(jì)算機(jī)。中央管理系統(tǒng)982可以是端點(diǎn)的一部分或者與所 有端點(diǎn)分離。
在實(shí)踐中，中央管理系統(tǒng)982可以聯(lián)絡(luò)在給定視頻會(huì)議中涉及到的每個(gè)端點(diǎn)。 中央管理系統(tǒng)982可以確定它們的個(gè)體能力，比如照相機(jī)控制、顯示尺寸和其它環(huán)境因 素。對(duì)于使用門(mén)戶(hù)特性的全局控制的實(shí)施例，中央管理系統(tǒng)982然后可以限定用于在端點(diǎn) 101-104當(dāng)中使用的單個(gè)標(biāo)準(zhǔn)捕獲場(chǎng)并且經(jīng)由向客戶(hù)端管理系統(tǒng)983傳遞的本地會(huì)晤布局 來(lái)傳達(dá)這些?？蛻?hù)端管理系統(tǒng)983使用來(lái)自本地會(huì)晤布局的信息以使端點(diǎn)101-104的照相 機(jī)響應(yīng)于指定的標(biāo)準(zhǔn)捕獲場(chǎng)來(lái)恰當(dāng)?shù)貙?duì)準(zhǔn)。然后確保本地的特定捕獲場(chǎng)產(chǎn)生與由本地和中 央布局限定的標(biāo)準(zhǔn)化流對(duì)應(yīng)的視頻圖像流。
在限定對(duì)視頻信息的捕獲和顯示進(jìn)行控制的特性后，中央管理系統(tǒng)982可以創(chuàng)建 用于每個(gè)本地端點(diǎn)的本地會(huì)晤布局。客戶(hù)端管理系統(tǒng)983使用這些本地布局來(lái)創(chuàng)建本地全 景圖，其從每個(gè)其余端點(diǎn)接收門(mén)戶(hù)以在它的本地顯示器上作為所構(gòu)造全景圖的一部分來(lái)查 看。對(duì)于每個(gè)端點(diǎn)，遠(yuǎn)程門(mén)戶(hù)在全景中被顯示為視頻會(huì)議的連續(xù)參考幀?？梢栽诿總€(gè)端點(diǎn) 處維持中央布局的分布狀況以提升參與者之間的凝視感知和目光接觸?？梢栽谌皥D上維 持參考幀的其它屬性，包括工作臺(tái)對(duì)準(zhǔn)、圖像比例、假設(shè)眼睛高度以及背景顏色和內(nèi)容。
權(quán)利要求
1.一種方法，包括接收具有限定的捕獲場(chǎng)的兩個(gè)或者更多視頻圖像流；響應(yīng)于接收到的視頻圖像流的數(shù)目來(lái)縮放所述圖像流；并且以全景顯示縮放的圖像流。
2.根據(jù)權(quán)利要求1所述的方法，還包括限定視頻圖像流的捕獲場(chǎng)。
3.根據(jù)權(quán)利要求2所述的方法，其中限定視頻圖像流的捕獲場(chǎng)包括限定從由以下項(xiàng)組 成的組中選擇的一個(gè)或者多個(gè)參數(shù)照相機(jī)高度、照相機(jī)的角度、從照相機(jī)到參與者工作空 間的后沿的距離、從照相機(jī)到地面的距離、參與者工作空間的高度、與照相機(jī)以及與參與者 工作空間垂直定位的門(mén)戶(hù)的前景寬度、門(mén)戶(hù)的縱橫比、在門(mén)戶(hù)內(nèi)的假設(shè)眼睛高度、參與者工 作空間在門(mén)戶(hù)內(nèi)的高度和門(mén)戶(hù)的最大縮放。
4.根據(jù)權(quán)利要求3所述的方法，其中限定視頻圖像流的捕獲場(chǎng)包括限定所述一個(gè)或者 多個(gè)參數(shù)以獲得在縮放的視頻圖像流的假設(shè)眼睛高度與縮放的視頻圖像流的參與者工作 空間高度之間具有一致像素尺度的縮放視頻流。
5.根據(jù)權(quán)利要求3所述的方法，其中限定與照相機(jī)以及與參與者工作空間垂直定位的 門(mén)戶(hù)的前景寬度包括限定將在所述門(mén)戶(hù)中查看的就座寬度的數(shù)目。
6.根據(jù)權(quán)利要求5所述的方法，其中響應(yīng)于接收到的視頻圖像流的數(shù)目來(lái)縮放圖像流 包括減少用于每個(gè)視頻圖像流的像素尺寸以使得接收的視頻圖像流的全景圖小于用于顯 示視頻圖像流的視頻顯示器的像素尺寸。
7.根據(jù)權(quán)利要求1所述的方法，其中以全景顯示縮放的視頻圖像流包括顯示至少一個(gè) 縮放的視頻圖像流，所述至少一個(gè)縮放的視頻圖像流定位于顯示器內(nèi)以對(duì)準(zhǔn)包含所述顯示 器的本地環(huán)境和該縮放的視頻圖像流的假設(shè)眼睛高度和工作臺(tái)高度中的至少一個(gè)。
8.根據(jù)權(quán)利要求1所述的方法，其中以全景顯示縮放的視頻圖像流包括顯示至少一個(gè) 縮放的視頻圖像流，所述至少一個(gè)縮放的視頻圖像流定位于顯示器內(nèi)以在包含所述顯示器 的本地環(huán)境的假設(shè)眼睛高度與工作臺(tái)高度之間對(duì)準(zhǔn)該縮放的視頻圖像流的假設(shè)眼睛高度 和工作臺(tái)高度。
9.根據(jù)權(quán)利要求1所述的方法，其中以全景顯示縮放的視頻圖像流包括合乎比例地顯 示一個(gè)或者多個(gè)縮放的視頻圖像流。
10.根據(jù)權(quán)利要求1所述的方法，其中以全景顯示縮放的視頻圖像流包括按照由中央 布局限定的次序顯示縮放的視頻圖像流，所述中央布局代表生成所述視頻圖像流的位置的 假設(shè)物理定向。
11.根據(jù)權(quán)利要求1所述的方法，還包括顯示一個(gè)或者多個(gè)附加視頻圖像流。
12.根據(jù)權(quán)利要求1所述的方法，還包括對(duì)照包含顏色梯度的背景以全景顯示視頻圖像流。
13.根據(jù)權(quán)利要求12所述的方法，其中所述顏色梯度從縮放的視頻圖像流的全景顯示 延伸至包圍所述縮放的視頻圖像流顯示于其上的顯示器的表面。
14.根據(jù)權(quán)利要求13所述的方法，其中所述顏色梯度是所述包圍表面的顏色的變化色 澤，并且其中越接近所述包圍表面，顏色梯度越暗。
15.一種用于在具有兩個(gè)或者更多端點(diǎn)的視頻會(huì)議系統(tǒng)中使用的端點(diǎn)的客戶(hù)端管理系 統(tǒng)，包括第一邏輯，其被配置成接收布局；第二邏輯，其被配置成從所述布局中限定的一個(gè)或者多個(gè)遠(yuǎn)程端點(diǎn)接收視頻圖像流， 其中每個(gè)接收的視頻圖像流對(duì)應(yīng)于所述布局中限定的捕獲場(chǎng)；以及第三邏輯，其被配置成在給定端點(diǎn)處生成具有所述布局中限定的次序、位置和縮放比 例的每個(gè)接收的視頻圖像流的全景圖。
16.根據(jù)權(quán)利要求15所述的客戶(hù)端管理系統(tǒng)，其中所述布局將視頻圖像流的次序限定 為處于代表其余端點(diǎn)相對(duì)于給定端點(diǎn)的假設(shè)相對(duì)定向的次序。
17.根據(jù)權(quán)利要求15所述的客戶(hù)端管理系統(tǒng)，其中所述客戶(hù)端管理系統(tǒng)被配置成縮放 視頻圖像流以在給定端點(diǎn)的顯示器的查看區(qū)內(nèi)以全景顯示縮放的視頻圖像流。
18.根據(jù)權(quán)利要求17所述的客戶(hù)端管理系統(tǒng)，其中所述客戶(hù)端管理系統(tǒng)還被配置成將 縮放的視頻圖像流與包含顏色梯度的背景一起顯示。
19.根據(jù)權(quán)利要求15所述的客戶(hù)端管理系統(tǒng)，其中所述客戶(hù)端管理系統(tǒng)還被配置成縮 放視頻圖像流以在給定端點(diǎn)的顯示器的查看區(qū)內(nèi)合乎比例地顯示一個(gè)或者多個(gè)縮放的視 頻圖像流。
20.根據(jù)權(quán)利要求15所述的客戶(hù)端管理系統(tǒng)，其中所述客戶(hù)端管理系統(tǒng)與中央管理系 統(tǒng)通信以便接收所述布局，并且其中所述中央管理系統(tǒng)是所述給定端點(diǎn)的一部分。
21.一種使用本地端點(diǎn)的客戶(hù)端管理系統(tǒng)來(lái)處理來(lái)自視頻會(huì)議系統(tǒng)中的兩個(gè)或者更多 遠(yuǎn)程端點(diǎn)的視頻圖像流的方法，包括接收供所述本地端點(diǎn)使用的布局；接收來(lái)自所述布局中限定的兩個(gè)或者更多遠(yuǎn)程端點(diǎn)并且與所述布局中限定的捕獲場(chǎng) 對(duì)應(yīng)的視頻圖像流；并且為每個(gè)遠(yuǎn)程端點(diǎn)生成視頻圖像流的本地全景圖，所述視頻圖像流均具有在所述布局中 限定的次序、位置和縮放比例。
22.根據(jù)權(quán)利要求21所述的方法，其中所述布局將視頻圖像流的次序限定為處于代表 遠(yuǎn)程端點(diǎn)相對(duì)于本地端點(diǎn)的假設(shè)相對(duì)定向的次序。
23.根據(jù)權(quán)利要求21所述的方法，還包括縮放視頻圖像流以在本地端點(diǎn)的顯示器的查 看區(qū)內(nèi)以全景顯示縮放的視頻圖像流。
24.根據(jù)權(quán)利要求23所述的方法，還包括將所述縮放的視頻圖像流與包含顏色梯度的 背景一起顯示。
25.根據(jù)權(quán)利要求21所述的方法，還包括縮放視頻圖像流以在本地端點(diǎn)的顯示器的查 看區(qū)內(nèi)合乎比例地顯示一個(gè)或者多個(gè)縮放的視頻圖像流。
全文摘要
用于以全景顯示視頻圖像流的方法和裝置在視頻會(huì)議方面是有用的。
文檔編號(hào)H04N7/15GK102037726SQ200880129269
公開(kāi)日2011年4月27日 申請(qǐng)日期2008年3月24日 優(yōu)先權(quán)日2008年3月17日
發(fā)明者B·艾倫, M·D·德羅徹爾, M·戈日恩斯基 申請(qǐng)人:惠普開(kāi)發(fā)有限公司