用于修改由視頻合成單元用來生成合成視頻信號的布局的方法、計算機可讀存儲介質及裝置制造方法
【專利摘要】在一個實施例中，一種方法包括：在顯示器上提供被配置來由用戶沿軸移動的對象，將多個預定義的布局與沿軸的各間隔相關聯，檢測針對對象的、指示軸上的位置的用戶動作，以及響應于對用戶動作的檢測，使用多個預定義的布局中的、與所述位置在多個間隔中所位于的間隔相關聯的布局合成合成視頻信號。
【專利說明】用于修改由視頻合成單元用來生成合成視頻信號的布局的方法、計算機可讀存儲介質及裝置
[0001]對相關串請的交叉引用
[0002]本申請要求于2011年7月29日提交的美國臨時專利申請N0.61/513，190的權益，其全部內容通過引用并入本文。
【技術領域】
[0003]本公開總體涉及修改由視頻合成單元用來生成合成視頻信號的布局的方法、計算機可讀存儲介質及裝置。
【背景技術】
[0004]視頻會議系統(tǒng)包括多個通過各種網絡以及在各種網絡之間傳送實時視頻、音頻、和/或數據(通常被稱為雙重視頻(Duo Video))流的端點，該各種網絡例如是:廣域網(WAN)、局域網(LAN)、和電路交換網絡。。
[0005]今天，技術安裝的用戶都習慣于并且要求系統(tǒng)要易于使用并且能提供圖形化環(huán)境的定制和設備間的協(xié)作的方式的靈活性。傳統(tǒng)的視頻會議系統(tǒng)不是很靈活。例如，無論用戶在發(fā)起連續(xù)的呈現和/或雙重視頻呼叫時選擇何種布局，不同視頻和/或數據流的位置和大小都會超出用戶的控制。此外，傳統(tǒng)的視頻會議系統(tǒng)是使用由紅外(IR)遠程控制設備上的鍵板控制的屏幕上的菜單系統(tǒng)操作的，允許的靈活性有限并且用戶體驗笨拙。
【專利附圖】
【附圖說明】
[0006]通過閱讀下面的說明和查看附圖，本公開將被更好地理解。這些附圖僅被提供用作實施例的非限制性示例。在附圖中:
[0007]圖1是示出了用于生成合成視頻信號的本公開的方法的流程圖；
[0008]圖2示出了用于顯示合成視頻信號的顯示區(qū)域或顯示器的區(qū)域；
[0009]圖3是示出了本公開的一個實施例的示意框圖；
[0010]圖4是示出了本公開的一個實施例的示意框圖；
[0011]圖5是示出了本公開的一個實施例的示意框圖；
[0012]圖6根據本公開的一個實施例示出了(一個或多個)顯示區(qū)域；
[0013]圖7根據本公開的一個實施例示出了(一個或多個)顯示區(qū)域；
[0014]圖8根據本公開的一個實施例示出了(一個或多個)顯示區(qū)域；
[0015]圖9根據本公開的一個實施例示出了顯示器；
[0016]圖10根據本公開的一個實施例示出了顯示器；
[0017]圖11示出了可以在其上實現本公開的實施例的計算機系統(tǒng)。
【具體實施方式】
[0018]籃覽[0019]在一個實施例中，一種方法包括:在顯示器上提供被配置為由用戶沿軸移動的對象，將多個預定義的布局與沿軸的各間隔的相關聯。該方法還包括:檢測針對對象的、指示軸上的位置的用戶動作，以及響應于對用戶動作的檢測，使用多個預定義的布局中與所述位置在多個間隔中所位于的間隔相關聯布局來合成合成視頻信號。
[0020]示例實施例
[0021]視頻會議系統(tǒng)包括多個通過各種網絡以及在各種網絡之間傳送實時視頻、音頻、和/或數據(通常被稱為雙重視頻(Duo Video))流的端點。存在于不同站點的多個視頻會議系統(tǒng)通常可以通過(一個或多個)多點控制單元(MCU)參與同一會議，該(一個或多個)多點控制單元例如執(zhí)行交換和混合功能以允許視聽終端正常地相互通信。
[0022]MCU可以是作為中央網絡資源操作的獨立設備，或者能夠被集成在視頻會議系統(tǒng)的編碼解碼器(codec)中。MCU通過從(視頻會議系統(tǒng)所位于的)各站點接收會議信號的幀、處理所接收的信號、并且將經處理的信號重新發(fā)送回適當的站點將各站點鏈接在一起。
[0023]在連續(xù)呈現會議中，來自兩個或多個站點的視頻信號和/或數據信號在空間上進行混合以形成由會議參與者觀看的合成視頻信號。該合成視頻信號是組合的視頻信號，可以包括來自會議中的參與者的實況視頻流、靜態(tài)圖像、菜單或其它可視圖像。不同的視頻和/或數據信號如何在空間上進行混合存在無限多的可能性，例如不同視頻和數據幀在合成圖像中的大小和位置。編碼解碼器和/或MCU具有一組存儲在MCU或視頻會議編碼解碼器上的預配置的合成視頻信號模板，為由MCU或編碼解碼器接收的一個或多個視頻和/或數據流在合成視頻信號內分配一個或多個區(qū)域(幀)。這些模板也可以被稱為布局。
[0024]本公開與支持重要場景的一組布局(或圖像合成類型)相關聯，并且通過操縱統(tǒng)一體(continuum)內的對象使用戶能夠在布局(或圖像合成類型)之間無縫地移動。這有助于控制當前處于焦點的媒體對象(例如，活動發(fā)言者或演示)和剩余的媒體對象之間的相對大小。
[0025]術語“站點”用于統(tǒng)指具有視聽端點和會議參與者或用戶的位置，或者簡單地指端點。
[0026]術語“合成視頻信號”用于統(tǒng)指是一個或多個視頻會議流的空間混合的視頻信號。
[0027]術語“視頻合成單元”用于統(tǒng)指在處理設備上運行的設備或軟件，該處理設備被配置來接收P個視頻會議流并且將流(stream)—起混合到一個或多個合成視頻流中，以及將一個或多個合成視頻流輸出到一個或多個端點。合成視頻信號中的視頻會議流的位置和大小取決于視頻合成單元所使用的布局。視頻合成單元的非限制性示例是多點控制單元(MCU)。
[0028]術語“端點”用于統(tǒng)指視頻會議端點或終端(比如，個人端點、會議室端點、禮堂端點等)、或在協(xié)助與其它端點的視聽通信的個人計算機上運行的軟件應用。
[0029]術語“視頻會議流”用于統(tǒng)指源于端點的多媒體流，例如，視頻流、音頻流、圖像、來自連接到該端點的第二設備(比如，計算機或數字化通用磁盤(DVD)播放器)的多媒體。
[0030]術語“布局”用于統(tǒng)指用于定義合成視頻信號的合成的模板、或者確定或用作模型(pattern)的任何東西。根據本公開的一個實施例,布局是定義所有視頻會議流在合成視頻信號中的位置和大小的配置文件，例如，XML文檔。根據本公開的一個實施例的示例性布局或配置文件可以被表示如下:[0031]
【權利要求】
1.一種方法，包括: 在顯示器上提供被配置來由用戶沿軸移動的對象； 將多個預定義的布局與沿所述軸的各間隔相關聯； 檢測針對所述對象的、指示所述軸上的位置的用戶動作；以及響應于對所述用戶動作的檢測，使用所述多個預定義的布局中的與所述位置在多個間隔中所位于的間隔相關聯的布局來合成合成視頻信號。
2.如權利要求1所述的方法，其中所述合成步驟還包括: 識別所述位置在所述多個間隔中所位于的間隔；以及 選擇與所述間隔相關聯的所述布局。
3.如權利要求2所述的方法，還包括: 將所選擇的布局提供至視頻合成單元，所述視頻合成單元合成合成圖像，并且被配置來接收多個視頻會議流以及基于布局輸出包括所接收的視頻會議流中的一個或多個流的合成視頻信號。
4.如權利要求1所述的方法，其中 所述合成視頻信號包括一個或多個視頻會議流的空間混合，以及 所述布局定義用于包含所述視頻會議流的一個或多個框， 所述方法還包括: 為所述多個間隔中的至少一個間隔提供所述多個間隔中的所述至少一個間隔內的位置與關聯于所述間隔的相應布局的一個或多個框的大小和位置之間的關系，以及 響應于對所述用戶動作的檢測，計算布局，其中所述布局的每個框的大小和位置是基于所述關系和所述位置的。
5.如權利要求1所述的方法，還包括: 在所述顯示器上顯示所述合成視頻信號，所述顯示器是視頻會議終端的顯示器。
6.如權利要求5所述的方法，還包括: 在控制設備的顯示器上顯示所述對象連同當前顯示在所述視頻會議終端的顯示器上的所述合成視頻信號的副本，所述控制設備連接到所述視頻會議終端。
7.如權利要求1所述的方法，還包括: 在所述顯示器上顯示所述對象，所述顯示器是視頻會議終端的顯示器。
8.如權利要求6所述的方法，還包括: 隨著所述對象被所述用戶移動，實時更新所述合成視頻信號和所述副本中的一個。
9.如權利要求1所述的方法，還包括: 將所述多個預定義的布局中的一個布局的M種變化與一個或多個間隔內的M個子間隔相關聯； 響應于對所述用戶動作的檢測，識別所述位置在多個子間隔中所位于的子間隔； 選擇所述多個預定義的布局中與所述子間隔相關聯的布局；以及 使用所選擇的布局合成所述合成視頻信號。
10.一種非暫態(tài)計算機可讀存儲介質，包括計算機可執(zhí)行指令，其中當所述指令被計算機執(zhí)行時，使得所述計算機執(zhí)行一種方法，所述方法包括: 在顯示器上提供被配置來由用戶沿軸移動的對象；將多個預定義的布局與沿所述軸的各間隔相關聯； 檢測針對所述對象的、指示所述軸上的位置的用戶動作；以及響應于對所述用戶動作的檢測，使用所述多個預定義的布局中的與所述位置在多個間隔中所位于的間隔相關聯的布局來合成合成視頻信號。
11.一種裝置，包括: 處理單元，被配置來: 在顯示器上提供被配置來由用戶沿軸移動的對象； 將多個預定義的布局與沿所述軸的各間隔相關聯； 檢測針對所述對象的、指示所述軸上的位置的用戶動作；以及視頻合成單元，被配置來:響應于由所述處理單元檢測到的所述用戶動作，使用所述多個預定義的布局中的與所述位置在多個間隔中所位于的間隔相關聯的布局來合成合成視頻信號。
12.如權利要求11所述的裝置，其中所述處理單元還被配置來: 識別所述位置在所述多個間隔中所位于的間隔， 選擇與所述間隔相關聯的所述布局，以及 將所選擇的布局提供給所述視頻合成單元。
13.如權利要求11所述的裝置，其中 所述合成視頻信號包括一個或多個視頻會議流的空間混合， 所述布局定義用于包含所述視頻會議流的一個或多個框，并且 所述處理單元還被配置來: 為所述多個間隔中的至少一個間隔提供所述多個間隔中的所述至少一個間隔內的位置與關聯于所述間隔的相應布局的一個或多個框的大小和位置，以及 響應于所述用戶動作被檢測到，計算布局，其中所述布局的每個框的所述大小和位置是基于所述關系和所述位置的。
14.如權利要求11所述的方法，其中 所述處理單元還被配置來: 將所述多個預定義的布局中的一個布局的M種變化與一個或多個間隔內的M個子間隔相關聯； 響應于所述用戶動作被檢測到，識別所述位置在多個子間隔中所位于的子間隔； 選擇所述多個預定義的布局中與所述子間隔相關聯的布局；并且 所述視頻合成單元被配置來:使用所選擇的布局合成所述合成視頻信號。
【文檔編號】H04N7/14GK103718545SQ201280037878
【公開日】2014年4月9日 申請日期:2012年7月27日 優(yōu)先權日:2011年7月29日
【發(fā)明者】哈根·思科拉姆斯塔德 申請人:思科技術公司