一種基于可視電話的電腦桌面共享的控制方法
【專利摘要】本發(fā)明涉及一種基于可視電話的電腦桌面共享的控制方法。在通話過程中，電腦端通過電腦屏幕快照并將屏幕快照進行視頻編碼，同步地將視頻數(shù)據(jù)向可視電話傳輸，可視電話接收到視頻數(shù)據(jù)后進行數(shù)據(jù)封裝，并傳輸至對端的可視電話，對端的可視電話接收到封裝的視頻數(shù)據(jù)包，進行解封裝，然后通過硬件解碼器進行解碼，最后呈現(xiàn)共享的電腦桌面。對端的可視電話捕獲觸屏動作并進行處理，最后把觸屏動作數(shù)據(jù)封裝回調到可視電話，可視電話解封裝數(shù)據(jù)獲取對端的觸屏動作，并把數(shù)據(jù)傳輸?shù)诫娔X端，電腦端解析數(shù)據(jù)，最后進行相應的控制操作。本發(fā)明利用視頻編碼對電腦桌面圖像數(shù)據(jù)進行壓縮，并使用RTP協(xié)議傳輸數(shù)據(jù)，具有優(yōu)化傳輸帶寬的效果和桌面共享的功能。
【專利說明】—種基于可視電話的電腦桌面共享的控制方法【技術領域】
[0001]本發(fā)明涉及視頻會議、可視電話等圖像傳輸方面的【技術領域】，更具體地，涉及一種基于可視電話的電腦桌面共享的控制方法，用于終端之間可視通信的過程中，實現(xiàn)終端之間共享電腦桌面圖像和遠程控制的功能。
【背景技術】
[0002]隨著頂S (IP Multimedia Subsystem, IP多媒體系統(tǒng))網(wǎng)絡和業(yè)務部署的深入，各大運營商逐步推出高清可視電話、融合視頻會議等IMS融合通信業(yè)務，向客戶提供全IP環(huán)境下融合通信產品及解決方案。由于客戶對寬帶視頻通信業(yè)務的進一步了解，他們對MS融合視頻會議業(yè)務提出更高要求，如利用多種類型終端隨時隨地召開會議及管理會議，增強現(xiàn)有視頻會議終端接入融合視頻會議能力，以提升企業(yè)工作效率及節(jié)省企業(yè)投資。而視頻通話或視頻會議中，用戶如需遠程共享文檔等操作，只能通過專業(yè)的會議系統(tǒng)及終端才能實現(xiàn)，且操作繁瑣，不能應用于日常辦公，僅適用于大型會議。
[0003]桌面共享技術需要將被訪問端的圖像傳輸?shù)皆L問端，因圖像數(shù)據(jù)量較大，傳輸過程占用較多的帶寬，所以，如何解決桌面共享技術的數(shù)據(jù)傳輸帶寬和優(yōu)化問題成為此領域技術的研究重心。
[0004]現(xiàn)有的桌面共享技術的其中一種優(yōu)化技術是利用操作系統(tǒng)的⑶I (GraphicalUser Interface,圖形用戶界面)繪圖指令來實現(xiàn)桌面圖像傳輸，該技術依靠操作系統(tǒng)平臺的支持，跨平臺之間的實現(xiàn)通 用性不強。
[0005]現(xiàn)有的桌面共享技術都是電腦終端之間的實現(xiàn)，現(xiàn)時的手持設備發(fā)展快速，未來的通信很可能存在電腦與手持設備、手持設備與手持設備之間的通信。這樣，通用的桌面共享技術就不能應用在以上的場景。
[0006]現(xiàn)有的視頻會議技術如需要進行文檔操作展示，則必須進行文檔上傳和下載2個過程，這需要用戶的等待和繁瑣的操作才能完成，用戶友好度不高，并浪費帶寬。因此，有必要提供一種簡單直接呈現(xiàn)展示文檔和操作演示的方法以解決上述問題。

【發(fā)明內容】

[0007]本發(fā)明要解決的技術問題是針對現(xiàn)有技術的不足而提供一種在視頻通話或視頻會議業(yè)務上進行電腦桌面共享的基于可視電話的電腦桌面共享的控制方法，該控制方法不需要網(wǎng)絡側平臺的支持，用戶只需要簡單操作可視電話就可以在線實現(xiàn)電腦桌面共享。
[0008]為解決上述技術問題，本發(fā)明的技術方案如下:
一種基于可視電話的電腦桌面共享的控制方法，所述共享電腦桌面系統(tǒng)包括可視電話網(wǎng)絡和與可視電話網(wǎng)絡采用USB (Universal Serial BUS通用串行總線)連接的電腦端，所述控制方法包括如下步驟:
51.可視電話之間建立可視通信，選擇桌面共享模式；
52.電腦端獲取屏幕快照并進行視頻編碼，并通過USB連接向可視電話發(fā)送視頻數(shù)據(jù)；53.可視電話獲取視頻數(shù)據(jù)并向對端可視電話發(fā)送桌面視頻數(shù)據(jù)；
54.對端可視電話獲取視頻數(shù)據(jù)并進行視頻解碼，顯示桌面視頻
55.用戶通過視頻獲取電腦的桌面顯示，并通過觸摸可視電話的顯示屏控制電腦，可視電話捕獲用戶的控制動作，最后回調控制行為給源端可視電話；
56.源端可視電話解析回調消息并向電腦端發(fā)送控制信息；
57.電腦端根據(jù)控制信息進行相應的操作。
[0009]進一步優(yōu)選的方案是，上述控制方法步驟S2中，電腦端異步工作于四條線程，包括獲取屏幕快照、視頻編碼、消息發(fā)送和消息讀取。
[0010]更進一步優(yōu)選的方案，所述獲取屏幕快照線程是快速獲取圖像信息并以RGB格式存儲至圖像緩沖區(qū)，與圖像緩沖區(qū)所設的閾值比較，低于該閾值則發(fā)送睡眠信號給視頻編碼線程；所述視頻編碼線程是對圖像緩沖區(qū)的圖像數(shù)據(jù)進行特定格式的編碼，并把編碼后的視頻數(shù)據(jù)存儲到視頻緩沖區(qū)；視頻輸出分辨率、比特率、視頻編碼方式、編碼質量、輸出幀率可根據(jù)可視通話的網(wǎng)絡帶寬或可視電話需求進行自適應調節(jié)；所述消息發(fā)送線程是讀取視頻緩沖區(qū)數(shù)據(jù)并通過USB虛擬網(wǎng)卡向可視電話使用可靠的TCP(TransmissionControlProtocol傳輸控制協(xié)議)通道發(fā)送視頻數(shù)據(jù)；所述消息讀取線程是讀取可視電話回調的對端控制消息并進行驅動電腦的處理以及讀取可視電話適配參數(shù)，對程序進行截屏參數(shù)調節(jié)和視頻編碼參數(shù)調節(jié)。
[0011]進一步優(yōu)選的方案是，所述自適應調節(jié)，包括如下步驟:
521.以共享電腦桌面的可視 電話為網(wǎng)絡測量節(jié)點，進行多點測量:可視電話主動向通話網(wǎng)絡中所有節(jié)點發(fā)送探測包，而后收集探測包在網(wǎng)絡中傳輸后發(fā)送的狀態(tài)變化，然后將變化信息進行數(shù)據(jù)管理和數(shù)據(jù)統(tǒng)計分析，最后通過分析算法重新定義截屏參數(shù)和視頻編碼參數(shù)，再把新的參數(shù)通過USB連接傳輸?shù)诫娔X端；
522.電腦端端通過消息讀取線程讀取新的參數(shù)，對屏幕快照線程和視頻編碼線程更新工作參數(shù)。
[0012]更進一步優(yōu)選的方案是，上述控制方法步驟S21中，分析算法包括如下步驟:
5211.統(tǒng)計前T分鐘吞吐量的變化，獲取其平均值；
5212.分析前T分鐘吞吐量的變化記錄，獲取預測吞吐量P；
5213.根據(jù)線性關系比特率B=P*a，獲取新的視頻比特率，其中a為常數(shù)。
[0013]更進一步優(yōu)選的方案是，上述控制方法步驟S211中，統(tǒng)計過程采用LMS自適應算法，其包括如下步驟:
S2111.獲取前T分鐘的η個吞吐量數(shù)值用X (η)表示，期待響應fr O) B ’用y(n)
表示，y (η) = ?Σ|χ? ,即η時刻的期望響應等于前η個吞吐量的平均值。
[0014]S2112.根據(jù)LMS算法，預測吞吐量:
P= Ch (n-l)X(n)
先驗濾波誤差:e (n) =y (η) -P
自適應算法模型系數(shù):
C (n) =C (η-1) +2uX (n) e (n)。
[0015]更進一步優(yōu)選的方案是，上述控制方法步驟S3中，可視電話通過TCP Socket通道獲取電腦端視頻數(shù)據(jù)存儲至數(shù)據(jù)緩沖區(qū)，可視電話使用RTP協(xié)議(Real-time TransportProtocol，實時傳送協(xié)議)將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)封裝，然后發(fā)送封裝的RTP包到對端可視電話。
[0016]更進一步優(yōu)選的方案是，上述控制方法步驟S4中，對端可視電話接收到RTP包并進行RTP包解封裝，然后把數(shù)據(jù)存儲至播放緩沖區(qū)，可視電話通過解碼器去讀取播放緩沖區(qū)的數(shù)據(jù)，然后在屏幕播放視頻。
[0017]更進一步優(yōu)選的方案是，上述控制方法步驟S5中，用戶通過觸摸可視電話的觸摸屏幕，可視電話通過計算觸摸的相對位置和獲取用戶動作，并把位置信息和動作信息使用自擴展的RTP協(xié)議進行封裝，并實時向源端可視電話發(fā)送此自擴展消息。
[0018]更進一步優(yōu)選的方案是，上述控制方法步驟S6中，源端可視電話讀取對端可視電話的返回消息，若RTP包包含控制信息，則解析出控制信息并把控制信息發(fā)送給電腦端，并把視頻數(shù)據(jù)解析出來進行步驟S4。
[0019]與現(xiàn)有技術相比，本發(fā)明技術方案的有益效果是:`
本發(fā)明基于可視電話的電腦桌面共享的控制方法提供了一種方便的在線電腦桌面共享控制方法，該控制方法不需要網(wǎng)絡側平臺的支持，用戶只需要簡單操作可視電話就可以在線實現(xiàn)電腦桌面共享，用于文檔展示、操作演示、遠程控制等，從而提升用戶視頻交互體驗。用戶可以方便地實現(xiàn)視頻和電腦桌面的切換，為視頻通信、視頻會議增添一種有效的交互方式。本發(fā)明在傳輸桌面圖像的處理中，使用視頻編碼圖像的方法代替?zhèn)鹘y(tǒng)的圖像壓縮方法，直接降低傳輸圖像所需要的帶寬；在請求端的操作上，直接使用硬件解碼播放圖像視頻，采用直接呈現(xiàn)的方法，而不需要進行傳統(tǒng)的解壓縮和圖像呈現(xiàn)處理，提高數(shù)據(jù)傳輸和處理的效率。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明實施例的網(wǎng)絡拓撲圖。
[0021]圖2為本發(fā)明實施例的電腦端與可視電話連接的網(wǎng)絡拓撲圖。
[0022]圖3為本發(fā)明實施例的桌面共享的流程示意圖。
[0023]圖4為本發(fā)明實施例的遠程控制流程示意圖。
[0024]圖5為圖3具體的電腦端程序流程設計圖。
[0025]圖6為圖5的具體讀取線程流程圖。
[0026]圖7為本發(fā)明實施例的可視電話程序設計流程示意圖。
[0027]圖8為圖7具體的網(wǎng)絡測量模塊流程圖。
[0028]圖9為圖7具體的處理對端可視電話消息模塊流程圖。
[0029]圖10為圖7具體的處理控制信息模塊流程圖。
[0030]圖11為圖7具體的處理電腦端數(shù)據(jù)模塊流程圖。【具體實施方式】
[0031]下面結合附圖詳細描述本發(fā)明的實施例，通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0032]本實施例在中國電信網(wǎng)絡下，使用MS終端作為可視電話進行視頻通信。
[0033]如圖1和圖2所示，可視電話與電腦端通過USB連接，可視電話作為電腦端的虛擬網(wǎng)卡，電腦端獲取可視電話的虛擬IP即可與可視電話進行內網(wǎng)通信；2臺可視電話之間進行可視通話，一臺在本家庭接入中國電信網(wǎng)絡網(wǎng)絡，另一臺在第二個家庭接入中國電信網(wǎng)絡網(wǎng)絡(本發(fā)明稱為對端可視電話)。
[0034]本發(fā)明的桌面共享工作流程如圖3所示，遠程控制工作流程如圖4所示，包括如下步驟I至步驟7:
步驟1:參照圖7，圖7是可視電話的工作流程示意圖。如圖7所示，可視電話之間建立可視通信，可視電話進行視頻通話，同時，可視電話等待電腦連接和進行網(wǎng)絡測量。若電腦端開啟桌面共享程序，則此過程中電腦端程序與可視電話通過USB建立虛擬連接，待共享電腦桌面的可視電話可選擇桌面共享模式或默認視頻通話模式。當默認視頻通話模式時則進行正常的視頻通話，假如選擇桌面共享模式則進行桌面共享，即進入步驟2。
[0035]步驟2:如圖5所示，電腦端程序點擊“開始”按鈕開始工作。首先，開始屏幕快照截屏，然后進行視頻編碼，最后通過USB連接向可視電話發(fā)送視頻數(shù)據(jù)；其工作過程具體流程包括:
1、屏幕快照線程獲取圖像信息存儲到圖像緩沖區(qū)；屏幕快照線程快速獲取圖像(大于等于視頻播放的幀數(shù))，其圖像信息以RGB格式存儲至圖像緩沖區(qū)，圖像緩沖區(qū)設有一個閾值，低于此閾值則發(fā)送睡眠信號給編碼線程，本實施例的閾值是2*4，即電腦的寬度*電腦的高度。
[0036]2、視頻編碼線程對緩沖區(qū)的圖像數(shù)據(jù)進行編碼，并把編碼后的視頻數(shù)據(jù)存儲到視頻緩沖區(qū)；視頻編碼工作線程對圖像緩沖區(qū)數(shù)據(jù)進行H264視頻編碼，視頻輸出分辨率、比特率、視頻編碼方式、編碼質量、輸出幀率可根據(jù)可視通話的網(wǎng)絡帶寬或可視電話需求可自適應調節(jié)。
[0037]3、消息發(fā)送線程讀取視頻緩沖區(qū)數(shù)據(jù)并通過USB虛擬網(wǎng)卡向可視電話使用可靠的TCP通道發(fā)送視頻數(shù)據(jù)。
[0038]4、如圖6所示，消息讀取線程包括:讀取可視電話回調的對端控制消息并進行驅動電腦的處理；讀取可視電話適配參數(shù)，對程序進行截屏參數(shù)調節(jié)和視頻編碼參數(shù)調節(jié)。
[0039]上述自適應調節(jié)的方法是系統(tǒng)在應用層上采用端到端的網(wǎng)絡測量方法來捕獲網(wǎng)絡帶寬、吞吐量、丟包率等的網(wǎng)絡參數(shù)。其包括以下步驟:
步驟A，如圖8所示，以共享電腦桌面的可視電話為網(wǎng)絡測量節(jié)點，進行多點測量:可視電話主動向通話網(wǎng)絡中所有節(jié)點(進行可視通話時的所有可視電話節(jié)點)發(fā)送探測包，而后收集探測包在網(wǎng)絡中傳輸后發(fā)送的狀態(tài)變化，然后將變化信息進行數(shù)據(jù)管理和數(shù)據(jù)統(tǒng)計分析，最后通過分析算法重新定義截屏參數(shù)和視頻編碼參數(shù)，再把新的參數(shù)通過USB連接傳輸?shù)诫娔X端。
[0040]步驟B:電腦端程序通過消息讀取線程讀取新的參數(shù)，對屏幕快照線程和視頻編碼線程更新工作參數(shù)。[0041]其中，步驟A的分析算法包括以下步驟:
步驟Al:統(tǒng)計前10分鐘的變化信息，得到實際的吞吐量、帶寬、丟包率的平均值L ;本發(fā)明假設使用吞吐量來進行說明。
[0042]步驟A2:分析前10分鐘的變化信息記錄，獲取預測吞吐量P，其過程包括:
步驟A21:獲取前10分鐘的η個吞吐量數(shù)值
【權利要求】
1.一種基于可視電話的電腦桌面共享的控制方法，所述共享電腦桌面系統(tǒng)包括可視電話網(wǎng)絡和與可視電話網(wǎng)絡采用USB連接的電腦端，其特征在于，所述控制方法包括如下步驟: 51.可視電話之間建立可視通信，選擇桌面共享模式； 52.電腦端獲取屏幕快照并進行視頻編碼，并通過USB連接向可視電話發(fā)送視頻數(shù)據(jù)； 53.可視電話獲取視頻數(shù)據(jù)并向對端可視電話發(fā)送桌面視頻數(shù)據(jù)； 54.對端可視電話獲取視頻數(shù)據(jù)并進行視頻解碼，顯示桌面視頻 55.用戶通過視頻獲取電腦的桌面顯示，并通過觸摸可視電話的顯示屏控制電腦，可視電話捕獲用戶的控制動作，最后回調控制行為給源端可視電話； 56.源端可視電話解析回調消息并向電腦端發(fā)送控制信息； 57.電腦端根據(jù)控制信息進行相應的操作。
2.根據(jù)權利要求1所述的電腦桌面共享的控制方法置，其特征在于，所述步驟S2中，電腦端異步工作于四條線程，包括獲取屏幕快照、視頻編碼、消息發(fā)送和消息讀取。
3.根據(jù)權利要求2所述的電腦桌面共享的控制方法，其特征在于，所述獲取屏幕快照線程是快速獲取圖像信息并以RGB格式存儲至圖像緩沖區(qū)，與圖像緩沖區(qū)所設的閾值比較，低于該閾值則發(fā)送睡眠信號給視頻編碼線程；所述視頻編碼線程是對圖像緩沖區(qū)的圖像數(shù)據(jù)進行特定格式的編碼，并把編碼后的視頻數(shù)據(jù)存儲到視頻緩沖區(qū)；視頻輸出分辨率、比特率、視頻編碼方式、編碼質量、輸出幀率可根據(jù)可視通話的網(wǎng)絡帶寬或可視電話需求進行自適應調節(jié)；所述消息發(fā)送線程是讀取視頻緩沖區(qū)數(shù)據(jù)并通過USB虛擬網(wǎng)卡向可視電話使用可靠的TCP通道發(fā)送視頻數(shù)據(jù)；所述消息讀取線程是讀取可視電話回調的對端控制消息并進行驅動電腦的處理以及讀取`可視電話適配參數(shù)，對程序進行截屏參數(shù)調節(jié)和視頻編碼參數(shù)調節(jié)。
4.根據(jù)權利要求3所述的電腦桌面共享的控制方法，其特征在于，所述自適應調節(jié)，包括如下步驟: 521.以共享電腦桌面的可視電話為網(wǎng)絡測量節(jié)點，進行多點測量:可視電話主動向通話網(wǎng)絡中所有節(jié)點發(fā)送探測包，而后收集探測包在網(wǎng)絡中傳輸后發(fā)送的狀態(tài)變化，然后將變化信息進行數(shù)據(jù)管理和數(shù)據(jù)統(tǒng)計分析，最后通過分析算法重新定義截屏參數(shù)和視頻編碼參數(shù)，再把新的參數(shù)通過USB連接傳輸?shù)诫娔X端； 522.電腦端端通過消息讀取線程讀取新的參數(shù)，對屏幕快照線程和視頻編碼線程更新工作參數(shù)。
5.根據(jù)權利要求4所述的電腦桌面共享的控制方法，其特征在于，所述步驟S21中，分析算法包括如下步驟: 5211.統(tǒng)計前T分鐘吞吐量的變化，獲取其平均值； 5212.分析前T分鐘吞吐量的變化記錄，獲取預測吞吐量P； 5213.根據(jù)線性關系比特率B=P*a，獲取新的視頻比特率，其中a為常數(shù)。
6.根據(jù)權利要求5所述的電腦桌面共享的控制方法，其特征在于，所述步驟S211中，統(tǒng)計過程采用LMS自適應算法，其包括如下步驟: S2111.獲取前T分鐘的η個吞吐量數(shù)值用X (η)表示,期待響應{y(j)K ,用y (η)表示，
7.根據(jù)權利要求1所述的電腦桌面共享的控制方法，其特征在于，所述步驟S3中，可視電話通過TCP Socket通道獲取電腦端視頻數(shù)據(jù)存儲至數(shù)據(jù)緩沖區(qū)，可視電話使用RTP協(xié)議將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)封裝，然后發(fā)送封裝的RTP包到對端可視電話。
8.根據(jù)權利要求1所述的電腦桌面共享的控制方法，其特征在于，所述步驟S4中，對端可視電話接收到RTP包并進行RTP包解封裝，然后把數(shù)據(jù)存儲至播放緩沖區(qū)，可視電話通過解碼器去讀取播放緩沖區(qū)的數(shù)據(jù)，然后在屏幕播放視頻。
9.根據(jù)權利要求1所述的電腦桌面共享的控制方法，其特征在于，所述步驟S5中，用戶通過觸摸可視電話的觸摸屏幕， 可視電話通過計算觸摸的相對位置和獲取用戶動作，并把位置信息和動作信息使用自擴展的RTP協(xié)議進行封裝，并實時向源端可視電話發(fā)送此自擴展消息。
10.根據(jù)權利要求1所述的電腦桌面共享的控制方法，其特征在于，所述步驟S6中，源端可視電話讀取對端可視電話的返回消息，若RTP包包含控制信息，則解析出控制信息并把控制信息發(fā)送給電腦端，并進行RTP包解封裝，然后把數(shù)據(jù)存儲至播放緩沖區(qū)，可視電話通過解碼器去讀取播放緩沖區(qū)的數(shù)據(jù)，然后在屏幕播放視頻。
【文檔編號】H04N7/15GK103501310SQ201310292469
【公開日】2014年1月8日 申請日期:2013年7月11日 優(yōu)先權日:2013年7月11日
【發(fā)明者】謝勝利, 林耀城, 華耀波, 吳宗澤, 章云, 曾星, 何花, 曾拉娜, 羅人述 申請人:廣東工業(yè)大學