用戶自適應(yīng)的視頻電話的制作方法
【專利說明】用戶自適應(yīng)的視頻電話
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求享有2013年8月29日提交的申請?zhí)枮?1/871，836的美國臨時申請、 2014年2月25日提交的申請?zhí)枮?1 /944，548的美國臨時申請的權(quán)益，該申請的內(nèi)容在此結(jié) 合作為參考。
【背景技術(shù)】
[0003] 視頻電話是無線網(wǎng)絡(luò)上承載的一個正在增長的流量部分。這種趨勢有望持續(xù)進 行，其證據(jù)是引入了對LTE網(wǎng)絡(luò)上傳遞的蘋果的的FaceTime技術(shù)的支持。視頻電話系統(tǒng)可以 集成在網(wǎng)頁瀏覽器中，而無需第三方插件。移動視頻電話系統(tǒng)在捕獲(capture)和處理視頻 數(shù)據(jù)的過程中可以不將視覺(visual)鏈路考慮在內(nèi)。
[0004] 無線網(wǎng)絡(luò)上的實時視頻電話以顯著的帶寬和延時需求為特征。由于對諸如視頻聊 天之類的交互會話中的延時的容忍性低，接收機處的緩存會受到很大限制。視頻解碼器可 以受到信道特性的動態(tài)影響。一些視頻電話系統(tǒng)可能在動態(tài)無線信道的場景中不具有魯棒 性或不可靠。瞬時的擁塞和/或臨時的大分組延時可能造成可靠性差。在無線網(wǎng)絡(luò)中，通常 在延時和帶寬之間存在折衷。

【發(fā)明內(nèi)容】

[0005] 提供了用于控制視頻通信的系統(tǒng)、方法以及手段。設(shè)備可以經(jīng)由轉(zhuǎn)碼來控制視頻 通信。設(shè)備可以包括多點控制單元(MCU)。設(shè)備可以接收來自第一設(shè)備的第一視頻流和來自 第二設(shè)備的第二視頻流。設(shè)備可以接收來自第三設(shè)備的第三視頻流。設(shè)備可以接收來自第 二設(shè)備的第四視頻流。設(shè)備可以分析第一視頻流來確定與第一設(shè)備相關(guān)聯(lián)的第一觀看參 數(shù)。設(shè)備可以分析第二視頻流來確定與第二設(shè)備相關(guān)聯(lián)第二觀看參數(shù)。設(shè)備可以分析第三 視頻流來確定與第三設(shè)備相關(guān)聯(lián)的第三觀看參數(shù)。觀看參數(shù)可以包括用戶觀看參數(shù)、設(shè)備 觀看參數(shù)、和/或內(nèi)容觀看參數(shù)。設(shè)備可以基于第一觀看參數(shù)和/或第三觀看參數(shù)來修改第 二視頻流。設(shè)備可以基于第三觀看參數(shù)和/或第二觀看參數(shù)來修改第一視頻流。設(shè)備可以基 于第三觀看參數(shù)來修改第四視頻流。修改視頻流可以包括對視頻流進行重新編碼、調(diào)整朝 向、移除視頻細(xì)節(jié)、和/或調(diào)整比特率。設(shè)備可以向第一設(shè)備和/或第三設(shè)備發(fā)送修改后的第 二視頻流。設(shè)備可以向第二設(shè)備發(fā)送修改后的第一視頻流。設(shè)備可以向第一設(shè)備和/或第三 設(shè)備發(fā)送修改后的第四視頻流。設(shè)備可以比較與第一觀看參數(shù)和第三觀看參數(shù)相關(guān)聯(lián)的比 特率。當(dāng)?shù)谌^看參數(shù)與比第一觀看參數(shù)更高的比特率相關(guān)聯(lián)時，設(shè)備可以基于第三觀看 參數(shù)來修改第四視頻流。
[0006] 設(shè)備可以經(jīng)由流量整形來控制視頻通信。設(shè)備可以包括MCU。設(shè)備可以接收來自第 一設(shè)備的第一視頻流和來自第二設(shè)備的第二視頻流。設(shè)備可以通過分析第一視頻流來確定 與第一設(shè)備相關(guān)聯(lián)的觀看參數(shù)。觀看參數(shù)可以包括用戶觀看參數(shù)、設(shè)備觀看參數(shù)、和/或內(nèi) 容觀看參數(shù)。設(shè)備可以基于觀看參數(shù)來為第二視頻流確定視頻流比特率。設(shè)備可以向第二 設(shè)備指示視頻流比特率。設(shè)備可以通過在向第一設(shè)備發(fā)送所述第二視頻流之前從所述第二 視頻流中移除一個或多個分組。
[0007] 設(shè)備可以通過發(fā)送指示調(diào)整后的分組丟失率來指示視頻流比特率。設(shè)備可以為第 二視頻流測量分組丟失率。設(shè)備可以為第二視頻流確定調(diào)整后的分組丟失率。所述調(diào)整后 的分組丟失率可以與所確定的視頻流比特率相關(guān)聯(lián)。所述調(diào)整后的分組丟失率可以不同于 所測量到的分組丟失率。所述設(shè)備可以生成指示調(diào)整后的分組丟失率的反饋消息。設(shè)備可 以向第二設(shè)備發(fā)送反饋消息。
[0008] 設(shè)備可以通過用信號發(fā)送帶寬限制來指示視頻流比特率。設(shè)備可以為第一設(shè)備確 定第一觀看參數(shù)和為第三設(shè)備確定第三觀看參數(shù)。第一觀看參數(shù)可以與第一視頻流相關(guān) 聯(lián)。第三觀看參數(shù)可以與來自第三設(shè)備的第三視頻流相關(guān)聯(lián)。設(shè)備可以為第二視頻流確定 第一視頻流比特率和/或為第二視頻流確定第二視頻流比特率。第一視頻流比特率可以基 于第一觀看參數(shù)。第二視頻流比特率可以基于第三觀看參數(shù)。設(shè)備可以向第二設(shè)備指示帶 寬限制。帶寬限制可以與第一視頻流比特率和/或第二視頻流比特率相關(guān)聯(lián)。
[0009] 服務(wù)器可以控制兩個或更多個設(shè)備之間的視頻通信。服務(wù)器可以接收來自第一設(shè) 備的第一視頻流的采樣。服務(wù)器可以基于采樣來確定觀看參數(shù)。觀看參數(shù)可以與第一設(shè)備 相關(guān)聯(lián)。服務(wù)器可以基于觀看參數(shù)來指示對第二視頻流的修改。所述修改可以包括調(diào)整比 特率、調(diào)整分辨率、移除細(xì)節(jié)、調(diào)整朝向、和/或濾波。服務(wù)器可以生成指示對第二視頻流的 修改的消息。服務(wù)器可以向第二設(shè)備發(fā)送所述消息。
【附圖說明】
[0010] 可從以下描述中獲取更詳細(xì)的理解，這些描述是結(jié)合附圖通過舉例給出的，其中：
[0011] 圖1A是可以實施所公開的一個或多個實施方式的示例性通信系統(tǒng)的系統(tǒng)圖；
[0012] 圖1B是可以在圖1A所示的通信系統(tǒng)中使用的示例性無線發(fā)射/接收單元(WTRU)的 系統(tǒng)圖；
[0013] 圖1C是可以在圖1A所示的通信系統(tǒng)中使用的示例性無線電接入網(wǎng)和示例性核心 網(wǎng)絡(luò)的系統(tǒng)圖；
[0014] 圖1D是可以在圖1A所示的通信系統(tǒng)中使用的另一個示例性無線電接入網(wǎng)和另一 個示例性核心網(wǎng)絡(luò)的系統(tǒng)圖；
[0015] 圖1E是可以在圖1A所示的通信系統(tǒng)中使用的另一個示例性無線電接入網(wǎng)和另一 個示例性核心網(wǎng)絡(luò)的系統(tǒng)圖；
[0016]圖2A是顯示了示例性移動視頻電話系統(tǒng)的示圖；
[0017]圖2B是觀看設(shè)置的示例性參數(shù)的示圖；
[0018] 圖2C是使用坎貝爾-羅布森圖（Campbell-Robson chart)的對比靈敏度函數(shù)的一 個示例的示圖；
[00?9]圖3顯示了不同朝向的WTRU之間的示例性視頻電話會話；
[0020 ]圖4顯示了不同朝向的WTRU之間的示例性視頻電話會話；
[0021]圖5是顯示了包括經(jīng)由網(wǎng)絡(luò)與彼此通信的WTRU的示例性視頻電話系統(tǒng)的示圖； [0022]圖6是顯示了包括經(jīng)由網(wǎng)絡(luò)與彼此通信的WTRU的示例性視頻電話系統(tǒng)的示圖； [0023]圖7是顯示了包括經(jīng)由網(wǎng)絡(luò)與彼此通信的WTRU的示例性視頻電話系統(tǒng)的示圖； [0024]圖8是顯示了包括經(jīng)由網(wǎng)絡(luò)與彼此通信的WTRU的示例性視頻電話系統(tǒng)的示圖，其 中一個WTRU基于另一 WTRU的朝向來進行視頻捕獲；
[0025]圖9A-圖9D是顯示了對于WTRU相對于觀看者的顯示器的給定朝向在接收WTRU處顯 示視頻的示例的示圖；
[0026]圖10A-圖10B是顯示了發(fā)送方側(cè)剪切(crop)的示例的示圖；
[0027] 圖11A-圖11B是顯示了發(fā)送方側(cè)縮?。╠ownsizing)或下采樣(down sampling)的 示例的示圖；
[0028] 圖12A-圖12B是顯示了圖像傳感器選擇的示圖；
[0029] 圖13是圖像傳感器陣列旋轉(zhuǎn)的示例的示圖；
[0030]圖14是顯示了針對視頻圖片的寬度的示例性向上方向（up direction)的示圖； [0031]圖15是顯示了用戶的示例性眼軸的示圖；
[0032]圖16是顯示了眼軸到顯示器平面的一個示例性投射的示圖；
[0033]圖17是根據(jù)遠(yuǎn)程設(shè)備的朝向在本地捕獲視頻的一個示例性呼叫流程的示圖；
[0034]圖18是顯示了多點控制單元(MCU)設(shè)置中的示例性用戶自適應(yīng)視頻(UAV)的示圖； [0035]圖19A是顯示了具有針對多個客戶端的每個客戶端端點的編碼器的實施UAV的MCU 的示例的示圖；
[0036]圖19B是顯示了具有針對多個客戶端的每個客戶端端點的編碼器的實施UAV的MCU 的另一不例的不圖；
[0037]圖20是顯不了具有視頻混合和共孚的編碼器的Μ⑶的不例的不圖；
[0038] 圖21是用于UAV的MOJ流量整形（traffic shaping)技術(shù)的示例的示圖；
[0039] 圖22是一個或多個視頻會議參與方和Μ⑶之間的示例性邏輯連接的示圖；
[0040] 圖23是顯示了 UAV應(yīng)用經(jīng)由云進行操作所在的系統(tǒng)的示例性架構(gòu)的示圖；
[00411圖24是用于網(wǎng)頁實時通信(RTC)的示例性網(wǎng)格配置的示圖。
【具體實施方式】
[0042]現(xiàn)在將參考不同附圖來描述示例性實施方式的詳細(xì)描述。雖然該描述提供了對可 能的實施的詳細(xì)示例，但是應(yīng)當(dāng)注意所述細(xì)節(jié)是示例性的而并不是要限制應(yīng)用范圍。
[0043]圖1Α是可以在其中實施一個或多個公開的實施方式的示例通信系統(tǒng)100的示圖。 通信系統(tǒng)100可以是用于提供諸如語音、數(shù)據(jù)、視頻、消息、廣播等內(nèi)容給多個無線用戶的多 接入系統(tǒng)。通信系統(tǒng)100能夠使得多個無線用戶通過共享系統(tǒng)資源，包括無線帶寬來接入這 些內(nèi)容。例如，通信系統(tǒng)100可以使用一種或多種信道接入方法，例如碼分多址(CDMA)、時分 多址（TDMA)、頻分多址(FDMA)、正交FDMA(0FDMA)、單載波FDMA(SC-FDMA)等。
[0044]如圖1Α所示，通信系統(tǒng)100可以包括個人無線發(fā)射/接收單元(WTRU) 102a、102b、 102c、和/或102d(可以統(tǒng)稱為或共稱為WTRU 102)和無線電接入網(wǎng)（RAN) 103/104/105、核心 網(wǎng)絡(luò)106107/109、公共交換電話網(wǎng)(PSTN)108、因特網(wǎng)110和其他網(wǎng)絡(luò)112,但是應(yīng)當(dāng)理解，所 公開的實施方式預(yù)期了任意數(shù)量的WTRU、基站、網(wǎng)絡(luò)和/或網(wǎng)絡(luò)元件。WTRU 102a、102b、 102c、102d中的每一個可以是被配置為在無線環(huán)境中工作和/或通信的任何類型的設(shè)備。舉 例來說，WTRU 102a、102b、102c、102d可被配置為傳送和/或接收無線信號，并且可包括用戶 設(shè)備(UE)、移動站、固定或移動用戶單元、尋呼機、蜂窩電話、個人數(shù)字助理(PDA)、智能電 話、膝上型電腦、上網(wǎng)本、個人電腦、無線傳感器、消費類電子產(chǎn)品等。
[0045] 通信系統(tǒng)100還可以包括基站114a和基站114b?；?14a、114b中的每一個可以是 任何類型的被配置為與WTRU 102a、102b、102c、102d中的至少一個進行無線連接以便于接 入例如核心網(wǎng)絡(luò)106/107/109、因特網(wǎng)110和/或網(wǎng)絡(luò)112那樣的一個或多個通信網(wǎng)絡(luò)的裝 置。作為例子，基站114a、114b可以是基站收發(fā)信機(BTS)、節(jié)點B、e節(jié)點B、家用節(jié)點B、家用e 節(jié)點B、站點控制器、接入點(AP)、無線路由器等等。雖然基站114a、114b分別被描述為單個 元件，但是可以理解基站114a、114b可以包括任意數(shù)量的互連的基站和/或網(wǎng)絡(luò)元件。
[0046] 基站114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105還可以包括其 它基站和/或網(wǎng)絡(luò)元件(未示出），例如基站控制器(BSC)、無線電網(wǎng)絡(luò)控制器(RNC)、中繼節(jié) 點等?；?14a和/或基站114b可以被配置為在特定地理區(qū)域內(nèi)傳送和/或接收無線信號， 該特定地理區(qū)域被稱作小區(qū)（未示出）。所述小區(qū)還被分割成小區(qū)扇區(qū)。例如，與基站114a相 關(guān)聯(lián)的小區(qū)被分割成三個扇區(qū)。如此，在一個實施方式中，基站114a包括三個收發(fā)信機，即， 針對小區(qū)的每個使用一個收發(fā)信機。在另一實施方式中，基站114a可以使用多輸入多輸出 (ΜΠΙΟ)技術(shù)，因此，可以針對小區(qū)的每個扇區(qū)使用多個收發(fā)信機。
[0047] 基站 114a、114b 可以通過空中接口 115/116/117 與 WTRU 102a、102b、102c、102d 中 的一個或多個通信，所述空中接口 115/116/117可以是任何適當(dāng)?shù)臒o線通信鏈路(例如射頻 (RF)、微波、紅外線（IR)、紫外線(UV)、可見光等等）?？梢允褂萌魏芜m當(dāng)?shù)臒o線電接入技術(shù) (RAT)來建立空中接口 115/116/117。
[0048] 更具體而言，如上所述，通信系統(tǒng)100可以是多接入系統(tǒng)且可以采用一種或多種信 道接入方案，諸如〇^六、了01^、!^^、0^)1^、5(：-^)1^等等。例如，1^~ 103/104/105中的基站 114a和WTRU 102a、102b、102c可以實現(xiàn)諸如通用移動電信系統(tǒng)（UMTS)陸地?zé)o線電接入 (UTRA)之類的無線電技術(shù)，其中該無線電技術(shù)可以使用寬帶⑶MA(WCDMA)來建立空中接口 115/116/117 JCDMA可以包括諸如高速分組接入(HSPA)和/或演進型HSPA(HSPA+)之類的通 信協(xié)議。HSPA可以包括高速下行鏈路分組接入（HSDPA)和/或高速上行鏈路分組接入 (HSUPA)〇
[0049] 在另一實施方式中，基站114a和WTRU 102a、102b、102c可以實現(xiàn)諸如演進型UMTS 陸地?zé)o線電接入(E-UTRA)之類的無線電技術(shù)，其中該無線電技術(shù)可以使用LTE和/或高級 LTE(LTE-A)來建立空中接口 115/116/117。
[0050] 在其它實施方式中，基站114a和WTRU 102a、102b、102c可以實現(xiàn)諸如IEEE 802.16 (即全球微波互通接入(WiMAX))、CDMA2000、CDMA2000 IX、CDMA2000EV-D0、臨時標(biāo)準(zhǔn)2000 (IS-2000)、臨時標(biāo)準(zhǔn)95(IS-95)、臨時標(biāo)準(zhǔn)856(IS-856)、全球移動通信系統(tǒng)(GSM)、增強型 數(shù)據(jù)速率GSM演進(EDGE)、GSM EDGE(GERAN)等無線電技術(shù)。
[0051] 圖1A中的基站114b可以是諸如無線路由器、家用節(jié)點B、家用e節(jié)點B、或接入點，并 且可以利用任何適當(dāng)?shù)腞AT來促進諸如營業(yè)場所、家庭、車輛、校園等局部區(qū)域中的無線連 接。在一個實施方式中，基站114b和WTRU 102c、102d可以實施諸如IEEE 802.11之類的無線 電技術(shù)以建立無線局域網(wǎng)(WLAN)。在另一實施方式中，基站114b和WTRU 102c、102d可以實 施諸如IEEE 802.15之類的無線電技術(shù)以建立無線個域網(wǎng)(WPAN)。在另一實施方式中，基站 114b和WTRU102c、102d可以利用基于蜂窩的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等） 以建立微微小區(qū)或毫微微小區(qū)。如圖1A所示，基站114b可以具有到因特網(wǎng)110的直接連接。 因此，基站114b可以不需要經(jīng)由核心網(wǎng)絡(luò)106/107/109接入因特網(wǎng)110。
[0052] RAN 103/104/105可以與核心網(wǎng)絡(luò)106/107/109通信，該核心網(wǎng)絡(luò)106/107/109可 以是被配置為向WTRU 102a、102b、102c、102d中的一個或多個提供語音、數(shù)據(jù)、應(yīng)用程序、 和/或網(wǎng)際協(xié)議語音(VoIP)服務(wù)的任何類型的網(wǎng)絡(luò)。例如，核心網(wǎng)絡(luò)106/107/109可以提供 呼叫控制、計費服務(wù)、基于移動位置的服務(wù)、預(yù)付費呼叫、因特網(wǎng)連接、視頻分發(fā)等，和/或執(zhí) 行諸如用戶認(rèn)證等高級安全功能。雖然圖1A未示出，但應(yīng)認(rèn)識到RAN 103/104/105和/或核 心網(wǎng)絡(luò)106/107/109可以與跟RAN 103/104/105采用相同的RAT或不同的RAT的其它RAN進行 直接或間接通信。例如，除連接到可以利用E-UTRA無線電技術(shù)的RAN 103/104/105之外，核 心網(wǎng)絡(luò)106/107/109還可以與采用GSM無線電技術(shù)的另一 RAN(未示出)通信。
[0053] 核心網(wǎng)絡(luò)106/107/109 還可以充當(dāng)用于 WTRU 102a、102b、102c、102d 接入 PSTN 108、因特網(wǎng)110、和/或其它網(wǎng)絡(luò)112的網(wǎng)關(guān)。PSTN 108可以包括提供普通老式電話服務(wù) (POTS)的電路交換電話網(wǎng)。因特網(wǎng)110可以包括使用公共通信協(xié)議的互連計算機網(wǎng)絡(luò)和設(shè) 備的全局系統(tǒng)，所述公共通信協(xié)議例如為傳輸控制協(xié)議(TCP)/網(wǎng)際協(xié)議(IP)因特網(wǎng)協(xié)議族 中的TCP、用戶數(shù)據(jù)報協(xié)議(UDP)和IP。網(wǎng)絡(luò)112可以包括由其它服務(wù)提供商所擁有和/或操 作的有線或無線通信網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)112可以包括連接到可以與RAN 103/104/105采用相 同的RAT或不同的RAT的一個或多個RAN的另一核心網(wǎng)絡(luò)。
[0054] 通信系統(tǒng)100中的某些或全部WTRU 102&、10213、102(：、102(1可以包括多模式能力， 即WTRU 102a、102b、102c、102d可以包括用于通過不同的無線鏈路與不同的無線網(wǎng)絡(luò)通信 的多個收發(fā)信機。例如，圖1A所示的WTRU 102c可以被配置為與可以采用蜂窩式無線電技術(shù) 的基站114a通信，且與可以采用IEEE 802無線電技術(shù)的基站114b通信。
[0055] 圖1B是示例WTRU 102的系統(tǒng)圖。如圖1B所示，WTRU102可以包括處理器118、收發(fā)信 機120、發(fā)射/接收元件122、揚聲器/麥克風(fēng)124、鍵盤126、顯示器/觸摸屏128、不可移除存儲 器130、可移除存儲器132、電源134、全球定位系統(tǒng)(GPS)芯片組136、以及其它外圍設(shè)備138。 應(yīng)認(rèn)識到WTRU 102可以在保持與實施方式一致的同時，包括前述元件的任何子組合。另外， 實施方式可以預(yù)料到基站114a和114b、和/或基站114a和114b可以代表的節(jié)點（例如但不限 于收發(fā)信機站(BTS)、節(jié)點B、站點控制器、接入點(AP)、家庭節(jié)點B、演進型家庭節(jié)點B(e節(jié)點 B)、家庭演進型節(jié)點B(HeNB或He節(jié)點B)、家庭演進型節(jié)點B網(wǎng)關(guān)、以及代理節(jié)點等等)可以包 括圖1B描述的以及這里描述的一些元件和所有元件。
[0056] 處理器118可以是通用處理器、專用處理器、常規(guī)處理器、數(shù)字信號處理器(DSP)、 多個微處理器、與DSP核相關(guān)聯(lián)的一個或多個微處理器、控制器、微控制器、專用集成電路 (ASIC)、現(xiàn)場可編程門陣列(FPGA)電路、任何其它類型的集成電路（1C)、狀態(tài)機等等。處理 器118可以執(zhí)行信號編碼、數(shù)據(jù)處理、功率控制、輸入/輸出處理、和/或使得WTRU 102能夠在 無線環(huán)境中操作的任何其它功能。處理器118可以耦合到收發(fā)信機120,收發(fā)信機120可以耦 合到發(fā)射/接收元件122。雖然圖1B將處理器118和收發(fā)信機120描述為單獨的元件，但應(yīng)認(rèn) 識到處理器118和收發(fā)信機120可以被一起集成在電子組件或芯片中。
[0057]發(fā)射/接收元件122可以被配置為通過空中接口 115/116/117向基站（例如基站 114a)發(fā)射信號或從基站(例如基站114a)接收信號。例如，在一個實施方式中，發(fā)射/接收元 件122可以是被配置為發(fā)射和/或接收RF信號的天線。在另一實施方式中，發(fā)射/接收元件 122可以是被配置為發(fā)射和/或接收例如IR、UV、或可見光信號的發(fā)射器/檢測器。在另一實 施方式中，發(fā)射/接收元件122可以被配置為發(fā)射和接收RF和光信號兩者。應(yīng)認(rèn)識到發(fā)射/接 收元件122可以被配置為發(fā)射和/或接收無線信號的任何組合。
[0058]另外，雖然發(fā)射/接收元件122在圖1B中被描述為單個元件，但WTRU 102可以包括 任何數(shù)目的發(fā)射/接收元件122。更具體而言，WTRU 102可以采用ΜΜ0技術(shù)。因此，在一個實 施方式中，WTRU 102可以包括用于通過空中接口 115/116/117來發(fā)射和接收無線信號的兩 個或更多個發(fā)射/接收元件122(例如多個天線）。