浸入式會議中視頻、音頻布局方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施例涉及通信技術(shù)領(lǐng)域，尤其涉及一種浸入式會議中視頻、音頻布局方法與裝置。
【背景技術(shù)】
[0002]隨著通信科技的發(fā)展，視頻會議系統(tǒng)越來越多的應(yīng)用在人們的工作和生活中，而會議的體驗也越來越多的被人們所重視。業(yè)界出現(xiàn)了很多可以用來增強會議體驗的技術(shù)方案，如立體聲、3D視頻、增強現(xiàn)實(AR)等，與此同時，關(guān)于浸入式會議體驗(Immersiveconference experience)的研究也越來越多。在用戶參加視頻會議的過程中，會議系統(tǒng)控制其它與會者的視頻流播放的策略和布局方式是影響用戶參加視頻會議體驗的重要因素之一 O
[0003]現(xiàn)有技術(shù)中的一種方案是:當本地與會者加入到一個正在召開的視頻會議中以后，會議系統(tǒng)會默認接收所有其它與會者的視頻流并在對應(yīng)的視頻窗口中播放，即用戶可以看到所有其它與會者的視頻圖像。該方案的缺點是:當與會者人數(shù)較多時(>=9)，在一個固定尺寸的顯示器上看這么多的與會者，會使本地與會者在會議中不能很簡單的找到重點，而且同時面對多個時刻在變化的視頻圖像時容易造成本地與會者疲憊不堪的感覺，降低了與會者的會議體驗。而且當收到的視頻流增多時，為了保持視頻圖像播放的質(zhì)量，對網(wǎng)絡(luò)傳輸帶寬也會有很高的要求。
[0004]現(xiàn)有技術(shù)中的另一種方案是:本地與會者在加入視頻會議以后，只能接收到特定與會者例如會議主席、會議主講人或者會議召集人的視頻流并在對應(yīng)的視頻窗口中播放，即用戶只會看到固定的幾個人的視頻圖像。該方案的缺點是:隨著會議的進行，會議的關(guān)鍵視頻流可能會發(fā)生變化，例如當會議中出現(xiàn)非固定人講話時，與會者不能夠及時的看到當前主講人的視頻，這樣與會者就不能很好的跟蹤會議的最新進展，降低了與會者的會議體驗。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供一種浸入式會議中視頻、音頻布局方法與裝置，可實現(xiàn)隨著會議的進行將關(guān)鍵的視頻流數(shù)據(jù)呈現(xiàn)給與會者，提高用戶的會議體驗。
[0006]第一方面，本發(fā)明實施例提供一種浸入式會議中視頻布局方法，包括:
[0007]會議開始后，獲取當前主說話人的媒體流數(shù)據(jù)，所述媒體流數(shù)據(jù)包括視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0008]將所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0009]在第一方面的第一種可能的實施方式中，所述獲取當前主說話人的媒體流數(shù)據(jù)包括:
[0010]接收媒體控制單元MCU發(fā)送的其他與會者的視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0011]接收所述MCU發(fā)送的所述MCU根據(jù)接收到的所有與會者的音頻流數(shù)據(jù)檢測出的當前主說話人的視頻流標識，所述視頻流標識用于標識視頻流數(shù)據(jù)所屬的說話人；
[0012]根據(jù)所述當前主說話人的視頻流標識，得到所述當前主說話人的視頻流數(shù)據(jù)。
[0013]結(jié)合第一方面的第一種可能的實施方式中,在第一方面的第二種可能的實施方式中，所述MCU在檢測出新的當前主說話人時，所述方法還包括:
[0014]接收所述MCU發(fā)送的所述新的當前主說話人的視頻流標識；
[0015]所述將所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放，包括:
[0016]將所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0017]結(jié)合第一方面的第二種可能的實施方式，在第一方面的第三種可能的實施方式中，所述方法還包括:
[0018]接收所述MCU發(fā)送的歷史主說話人的視頻流標識，將變化前的歷史主說話人的視頻流數(shù)據(jù)放置在歷史主視頻窗口進行播放。
[0019]結(jié)合第一方面的第三種可能的實施方式，在第一方面的第四種可能的實施方式中，所述歷史主視頻窗口為N個，N小于等于4，當所述MCU檢測出新的當前主說話人，且所述N個歷史主視頻窗口被占滿時，所述方法還包括:
[0020]按照時間的順序刪除最早的歷史主說話人的視頻流數(shù)據(jù)，將其他歷史主說話人的視頻流數(shù)據(jù)依次放置在歷史主視頻窗口進行播放。
[0021]結(jié)合第一方面，在第一方面的第五種可能的實施方式中，所述獲取當前主說話人的媒體流數(shù)據(jù)包括:
[0022]接收所有與會者的音頻流數(shù)據(jù)；
[0023]根據(jù)接收到的所有與會者的音頻流數(shù)據(jù)檢測出當前主說話人；
[0024]向所述MCU發(fā)送第一請求信息，所述第一請求信息包含所述當前主說話人的視頻流標識，所述視頻流標識用于標識視頻流數(shù)據(jù)所屬的說話人，以使所述MCU根據(jù)所述當前主說話人的視頻流標識將所述當前主說話人的視頻流數(shù)據(jù)返回；
[0025]接收所述MCU返回的所述當前主說話人的視頻流數(shù)據(jù)。
[0026]結(jié)合第一方面的第五種可能的實施方式，在第一方面的第六種可能的實施方式中，所述根據(jù)接收到的所有與會者的音頻流數(shù)據(jù)檢測出當前主說話人之前，還包括:
[0027]發(fā)送當前說話人的視頻流標識給所述MCU，以使所述MCU廣播視頻流信息，所述視頻流信息包括所述MCU接收到的所有與會者發(fā)送的視頻流標識。
[0028]結(jié)合第一方面的第五種可能的實施方式或第一方面的第六種可能的實施方式，在第一方面的第七種可能的實施方式中，檢測出新的當前主說話人時，所述方法還包括:
[0029]向所述MCU發(fā)送第二請求信息，所述第二請求信息包含所述新的當前主說話人的視頻流標識，以使所述MCU根據(jù)所述新的當前主說話人的視頻流標識將所述新的當前主說話人的視頻流數(shù)據(jù)返回；
[0030]所述接收所述MCU返回的所述當前主說話人的視頻流數(shù)據(jù)，包括:
[0031]接收所述MCU返回的所述新的當前主說話人的視頻流數(shù)據(jù)；
[0032]所述將所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放，包括:
[0033]將所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0034]結(jié)合第一方面的第七種可能的實施方式，在第一方面的第八種可能的實施方式中，所述第二請求信息還包含歷史主說話人的視頻流標識，以使所述MCU根據(jù)所述歷史主說話人的視頻流標識將所述歷史主說話人的視頻流數(shù)據(jù)返回，所述方法還包括:
[0035]接收所述MCU返回的歷史主說話人的視頻流數(shù)據(jù)；
[0036]將所述歷史主說話人的視頻流數(shù)據(jù)放置在歷史主視頻窗口進行播放。
[0037]結(jié)合第一方面的第八種可能的實施方式，在第一方面的第九種可能的實施方式中，所述歷史主視頻窗口為N個，N小于等于4，當檢測出新的當前主說話人，且所述N個歷史主視頻窗口被占滿時，所述方法還包括:
[0038]向所述MCU發(fā)送切換消息，所述切換消息包含所述新的當前主說話人的視頻流標識和按照時間的順序最早的歷史主說話人的視頻流標識，以使所述MCU根據(jù)所述切換消息停止發(fā)送所述最早的歷史主說話人的視頻流數(shù)據(jù)，發(fā)送所述新的當前主說話人的視頻流數(shù)據(jù)。
[0039]結(jié)合第一方面的第九種可能的實施方式，在第一方面的第十種可能的實施方式中，所述向所述MCU發(fā)送切換消息之后，還包括:
[0040]刪除所述最早的歷史主說話人的視頻流數(shù)據(jù)，將其他歷史主說話人的視頻流數(shù)據(jù)依次放置在歷史主視頻窗口進行播放。
[0041]第二方面，本發(fā)明實施例提供一種浸入式會議中視頻布局方法，包括:
[0042]會議開始后，將接收到的與會者的媒體流數(shù)據(jù)轉(zhuǎn)發(fā)給所有與會者，所述媒體流數(shù)據(jù)包括視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0043]根據(jù)所述音頻流數(shù)據(jù)檢測出當前主說話人；
[0044]將所述當前主說話人的視頻流標識發(fā)送給所有與會者，所述視頻流標識用于標識視頻流數(shù)據(jù)所屬的說話人，以使所有與會者根據(jù)所述當前主說話人的視頻流標識將所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0045]在第二方面的第一種可能的實施方式中，檢測出新的當前主說話人時，所述方法還包括:
[0046]將所述新的當前主說話人的視頻流標識發(fā)送給所有與會者，以使所有與會者將所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0047]結(jié)合第二方面的第一種可能的實施方式，在第二方面的第二種可能的實施方式中，所述方法還包括:
[0048]將變化前的歷史主說話人的視頻流標識發(fā)送給所有與會者，以使所有與會者將所述歷史主說話人的視頻流數(shù)據(jù)放置在歷史主視頻窗口進行播放。
[0049]結(jié)合第二方面的第二種可能的實施方式，在第二方面的第三種可能的實施方式中，所述歷史主視頻窗口為N個，N小于等于4，當檢測出新的當前主說話人，且所述N個歷史主視頻窗口被占滿時，所述方法還包括:
[0050]停止發(fā)送第一位歷史主說話人的視頻流標識，發(fā)送所述新的當前主說話人的視頻流標識給所有與會者，以使所有與會者將所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0051]結(jié)合第二方面至第二方面的第三種可能的實施方式中任一項所述的方法，在第二方面的第四種可能的實施方式中，若一與會者由當前主說話人變?yōu)榉侵髡f話人時，所述方法還包括:
[0052]降低發(fā)送所述與會者的視頻流數(shù)據(jù)所用的編碼速率；
[0053]若一與會者由非主說話人變?yōu)橹髡f話人時，所述方法還包括:
[0054]提高發(fā)送所述與會者的視頻流數(shù)據(jù)所用的編碼速率。
[0055]第三方面，本實施例提供一種浸入式會議中視頻布局方法，包括:
[0056]接收所有與會者的視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0057]接收所有與會者發(fā)送的視頻流標識，并廣播視頻流信息，所述視頻流信息包括所有與會者發(fā)送的視頻流標識，所述視頻流標識用于標識視頻流數(shù)據(jù)所屬的說話人；
[0058]接收第一與會者發(fā)送的第一請求信息，所述第一請求信息是所述第一與會者根據(jù)接收到的所有與會者的音頻流數(shù)據(jù)檢測出當前主說話人之后發(fā)送的，所述第一請求信息包含所述當前主說話人的視頻流標識；
[0059]根據(jù)所述當前主說話人的視頻流標識將所述當前主說話人的視頻流數(shù)據(jù)返回給所述第一與會者，以使所述第一與會者將接收到的所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0060]在第三方面的第一種可能的實施方式中，所述第一與會者檢測出新的當前主說話人時，所述方法還包括:
[0061]接收所述第一與會者發(fā)送的第二請求信息，所述第二請求信息是所述第一與會者檢測出新的當前主說話人后發(fā)送的，所述第二請求信息包含所述新的當前主說話人的視頻流標識；
[0062]根據(jù)所述新的當前主說話人的視頻流標識將所述新的當前主說話人的視頻流數(shù)據(jù)返回給所述第一與會者，以使所述第一與會者將接收到的所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0063]結(jié)合第三方面的第一種可能的實施方式，在第三方面的第二種可能的實施方式中，所述第二請求信息還包含歷史主說話人的視頻流標識，所述方法還包括:
[0064]根據(jù)所述歷史主說話人的視頻流標識將所述歷史主說話人的視頻流數(shù)據(jù)返回給所述第一與會者，以使所述第一與會者將接收到的歷史主說話人的視頻流數(shù)據(jù)放置在歷史主視頻窗口進行播放。
[0065]結(jié)合第三方面的第二種可能的實施方式，在第三方面的第三種可能的實施方式中，所述歷史主視頻窗口為N個，N小于等于4，當所述第一與會者檢測出新的當前主說話人，且所述N個歷史主視頻窗口被占滿時，所述方法還包括:
[0066]接收所述第一與會者發(fā)送的切換消息，所述切換消息是所述第一與會者在所述N個歷史主視頻窗口被占滿，且所述第一與會者檢測出新的當前主說話人時發(fā)送的，所述切換消息包含所述新的當前主說話人的視頻流標識和按照時間的順序最早的歷史主說話人的視頻流標識；
[0067]根據(jù)所述切換消息停止發(fā)送所述最早的歷史主說話人的視頻流數(shù)據(jù)，發(fā)送所述新的當前主說話人的視頻流數(shù)據(jù)，以使所述客戶端將接收到的所述新的當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0068]結(jié)合第三方面至第三方面的第三種可能的實施方式中任一項所述的方法，在第三方面的第四種可能的實施方式中，若一與會者由當前主說話人變?yōu)榉侵髡f話人時，所述方法還包括:
[0069]降低發(fā)送所述與會者的視頻流數(shù)據(jù)所用的編碼速率；
[0070]若一與會者由非主說話人變?yōu)橹髡f話人時，所述方法還包括:
[0071]提高發(fā)送所述與會者的視頻流數(shù)據(jù)所用的編碼速率。
[0072]第四方面，本實施例提供一種浸入式會議中音頻布局方法，包括:
[0073]會議開始后，將所有與會者的聲音位置分別設(shè)置在初始位置；
[0074]當?shù)谝慌c會者的視頻流數(shù)據(jù)在主視頻窗口或歷史主視頻窗口進行播放時，重新設(shè)置所述第一與會者的聲音位置。
[0075]在第四方面的第一種可能的實施方式中，還包括:
[0076]當所述第一與會者的視頻流數(shù)據(jù)從主視頻窗口或歷史主視頻窗口刪除時，設(shè)置所述第一與會者的聲音位置為所述初始位置。
[0077]第五方面，本實施例提供一種浸入式會議中視頻布局裝置，包括:
[0078]獲取模塊，用于在會議開始后，獲取當前主說話人的媒體流數(shù)據(jù)，所述媒體流數(shù)據(jù)包括視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0079]處理模塊，用于將所述當前主說話人的視頻流數(shù)據(jù)放置在主視頻窗口進行播放。
[0080]在第五方面的第一種可能的實施方式中，所述獲取模塊包括:
[0081]接收單元，用于接收媒體控制單元MCU發(fā)送的其他與會者的視頻流數(shù)據(jù)和音頻流數(shù)據(jù)；
[0082]所述接收單元還用于接收所述MCU發(fā)送的所述MCU根據(jù)接收到的所有與會者的音頻流數(shù)據(jù)檢測出的當前主說話人的視頻流標識，所述視頻流標識用于標識視頻流數(shù)據(jù)所屬的說話人；
[0083]獲取單元，用于根據(jù)所述當前主說話人的視頻流標識，得到所述當前主說話人的視