一種基于圖像增量信息的通信方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于圖像增量信息的通信方法及裝置。其中，用于發(fā)送端的通信方法包括：當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)；根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息；將操作信息及圖像增量信息封裝為交互數(shù)據(jù)包后發(fā)送至接收端。本發(fā)明通過采用增量信息的傳輸方式，可以有效縮小交互數(shù)據(jù)包的大小，充分節(jié)約傳輸所需的帶寬資源；同時(shí)將用戶的操作信息和圖像的增量信息整體封裝進(jìn)交互數(shù)據(jù)包中，便于發(fā)送端和接收端同步圖像信息。
【專利說明】
一種基于圖像増量信息的通信方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及無線通信領(lǐng)域，尤其涉及一種基于圖像增量信息的通信方法及裝置。
【背景技術(shù)】
[0002]無線圖像傳輸系統(tǒng)近年來發(fā)展迅速，隨著底層網(wǎng)絡(luò)技術(shù)的成熟，日益成為重要的新興產(chǎn)業(yè)。基于無線圖像傳輸技術(shù)，人們可以方便地獲取異地的圖像信息，為人們的生活和工作提供了便利。因此如何在無線圖像傳輸系統(tǒng)中，對(duì)圖像進(jìn)行高質(zhì)量、實(shí)時(shí)的傳輸已經(jīng)成為一個(gè)核心的研究方向。
[0003]為了實(shí)現(xiàn)圖像的低帶寬傳輸，通常采用的方法是在傳輸前對(duì)圖像數(shù)據(jù)進(jìn)行壓縮，減少其傳輸?shù)臄?shù)據(jù)量，從而降低對(duì)傳輸帶寬的要求。圖像壓縮編碼就是消除各種冗余，并在給定的畸變下用盡量少的比特?cái)?shù)來表征和重建圖像，使它符合預(yù)定應(yīng)用場合的要求。圖像壓縮編碼分為兩種:一種是冗余度壓縮編碼，典型代表有哈夫曼編碼、香農(nóng)編碼和游程編碼等，壓縮比相對(duì)較低，該種方法不會(huì)丟失數(shù)據(jù)，并且能夠完全100%的恢復(fù)出原始圖像，因此稱為無損壓縮編碼。另一種是信息量壓縮編碼，典型代表有預(yù)測編碼、統(tǒng)計(jì)編碼和變換編碼等，這種壓縮方法在壓縮過程中會(huì)丟失一些圖像信息，且所丟失的信息不能夠恢復(fù)，因此又被稱為有損壓縮編碼。
[0004]然而現(xiàn)有的圖像傳輸技術(shù)方案，不管是采用有損壓縮還是采用無損壓縮，其壓縮比都很小，還是不能滿足無線圖像傳輸系統(tǒng)中低帶寬的傳輸要求。通常無損壓縮的壓縮比很小，只有2:1?5:1，而有損壓縮壓縮比例雖然稍大，但是會(huì)影響圖像的質(zhì)量，達(dá)不到某些場合的對(duì)于圖像高質(zhì)量的要求。因此如何實(shí)現(xiàn)降低圖像的數(shù)據(jù)量，以滿足無線圖像傳輸系統(tǒng)對(duì)于圖像高質(zhì)量以及實(shí)時(shí)傳輸要求，已經(jīng)成為目前通信領(lǐng)域一個(gè)核心的研究方向。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題在于提供一種基于圖像增量信息的通信方法及裝置，用于解決現(xiàn)有技術(shù)的無線圖像傳輸系統(tǒng)中如何實(shí)現(xiàn)圖像高質(zhì)量以及實(shí)時(shí)傳輸?shù)募夹g(shù)問題。
[0006]為解決上述發(fā)明目的，本發(fā)明采用下述的技術(shù)方法:
[0007]依據(jù)本發(fā)明的一方面，提供一種基于圖像增量信息的通信方法，用于發(fā)送端，包括:
[0008]當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)；
[0009]根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息；
[0010]將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包后發(fā)送至接收端。
[0011]進(jìn)一步地，所述獲取用戶操作前后的屏幕幀圖像數(shù)據(jù)后，通過行掃描的方式對(duì)所述屏幕幀圖像數(shù)據(jù)進(jìn)行編碼。
[0012]進(jìn)一步地，所述根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息，包括:
[0013]將用戶操作前后的屏幕幀圖像數(shù)據(jù)進(jìn)行對(duì)比，獲取像素變化的路徑信息和顏色信息;
[0014]將所述顏色信息和所述路徑信息作為所述圖像增量信息。
[0015]進(jìn)一步地，所述交互數(shù)據(jù)包包括操作信息位、顏色位以及路徑位;其中，所述操作信息位包括撤銷位以及除撤銷操作外其他操作的操作位。
[0016]進(jìn)一步地，所述將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包后，將所述交互數(shù)據(jù)包進(jìn)行緩存。
[0017]進(jìn)一步地，所述將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包，包括:
[0018]判斷所述操作信息是否為撤銷操作:
[0019]若為撤銷操作，則獲取上一次緩存的交互數(shù)據(jù)包，修改所述交互數(shù)據(jù)包的撤銷位；
[0020]若非撤銷操作，則根據(jù)操作信息修改所述操作位，根據(jù)所述圖像增量信息修改所述顏色位和所述路徑位。
[0021]進(jìn)一步地，所述方法還包括:
[0022]在預(yù)設(shè)時(shí)間內(nèi)重復(fù)發(fā)送所述交互數(shù)據(jù)包，若在所述預(yù)設(shè)時(shí)間內(nèi)監(jiān)聽到所述接收端發(fā)送的已收到反饋信息，則停止發(fā)送。
[0023]依據(jù)本發(fā)明的一方面，提供一種基于圖像增量信息的通信方法，用于接收端，包括:
[0024]接收發(fā)送端發(fā)送的交互數(shù)據(jù)包；
[0025]根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息；
[0026]根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。
[0027]進(jìn)一步地，所述根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息，包括:
[0028]解析所述交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位；
[0029]所述操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息；
[0030]所述圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。
[0031]進(jìn)一步地，所述根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作，包括:
[0032]根據(jù)撤銷位判斷是否為撤銷操作:
[0033]若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)所述顏色位和所述路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)所述路徑信息和顏色信息在當(dāng)前屏幕幀圖像中執(zhí)行所述操作類型對(duì)應(yīng)的操作；
[0034]若為撤銷操作，則撤銷所述操作位對(duì)應(yīng)的操作。
[0035]進(jìn)一步地，所述接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向所述發(fā)送端發(fā)送已收到反饋
?目息O
[0036]依據(jù)本發(fā)明的一方面，提供一種基于圖像增量信息的通信裝置，用于發(fā)送端，包括:
[0037]第一獲取單元，用于當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)；
[0038]第二獲取單元，用于根據(jù)操作前后的所述屏幕幀圖像數(shù)據(jù)獲取圖像增量信息；
[0039]封裝單元，用于將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包；
[0040]發(fā)送單元，用于將所述交互數(shù)據(jù)包發(fā)送至接收端。
[0041]進(jìn)一步地，所述第一獲取單元還用于獲取用戶操作前后的屏幕幀圖像數(shù)據(jù)后，通過行掃描的方式對(duì)所述屏幕幀圖像數(shù)據(jù)進(jìn)行編碼。
[0042]進(jìn)一步地，所述第二獲取單元具體用于:
[0043]將用戶操作前后的屏幕幀圖像數(shù)據(jù)進(jìn)行對(duì)比，獲取像素顏色變化的路徑信息和顏色信息；
[0044]將所述顏色信息和所述路徑信息作為所述圖像增量信息。
[0045]進(jìn)一步地，所述封裝單元封裝的交互數(shù)據(jù)包包括撤銷位、顏色位、操作位以及路徑位。
[0046]進(jìn)一步地，所述裝置還包括緩存單元，用于在封裝交互數(shù)據(jù)包后進(jìn)行緩存。
[0047]進(jìn)一步地，所述封裝單元具體用于:
[0048]判斷所述操作信息是否為撤銷操作:
[0049]若為撤銷操作，則獲取上一次保存的交互數(shù)據(jù)包，修改所述交互數(shù)據(jù)包的撤銷位；
[0050]若非撤銷操作，則根據(jù)操作信息修改所述操作位，根據(jù)所述圖像增量信息修改所述顏色位和所述路徑位。
[0051 ]進(jìn)一步地，所述發(fā)送單元還用于，在預(yù)設(shè)時(shí)間內(nèi)重復(fù)發(fā)送所述交互數(shù)據(jù)包，若在所述預(yù)設(shè)時(shí)間內(nèi)監(jiān)聽到所述接收端發(fā)送的已收到反饋信息，則停止發(fā)送。
[0052]依據(jù)本發(fā)明的一方面，提供一種基于圖像增量信息的通信裝置，用于接收端，包括:
[0053]接收單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包；
[0054]獲取單元，用于根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息；
[0055]處理單元，用于根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。
[0056]進(jìn)一步地，所述獲取單元具體用于:
[0057 ]解析所述交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位；
[0058]所述操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息；
[0059]所述圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。
[0000]進(jìn)一步地，所述處理單元具體用于:
[0061 ]根據(jù)撤銷位判斷是否為撤銷操作:
[0062]若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)所述顏色位和所述路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)所述路徑信息和顏色信息在當(dāng)前屏幕幀圖像中執(zhí)行所述操作類型對(duì)應(yīng)的操作；
[0063]若為撤銷操作，則撤銷所述操作位對(duì)應(yīng)的操作。
[0064]進(jìn)一步地，所述裝置還包括發(fā)送單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向所述發(fā)送端發(fā)送已收到反饋信息。
[0065]本發(fā)明具有以下有益效果:
[0066]本發(fā)明所提供的基于圖像增量信息的通信方法及裝置，通過獲取用戶操作后屏幕中圖像的增量信息，并將增量信息作為圖像傳輸信息，可以有效減少數(shù)據(jù)量，縮小交互數(shù)據(jù)包的大小，充分節(jié)約傳輸所需的帶寬資源；同時(shí)將用戶的操作信息和圖像的增量信息整體封裝進(jìn)交互數(shù)據(jù)包中，便于發(fā)送端和接收端同步圖像信息;通過在交互數(shù)據(jù)包中區(qū)分撤銷操作與其他操作，為用戶的還原操作提供了簡易可行的方法;通過采用監(jiān)聽重傳機(jī)制，確保交互數(shù)據(jù)包在傳輸過程中不會(huì)出現(xiàn)丟包的情況，保證了數(shù)據(jù)傳輸?shù)目煽啃浴?br>[0067]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0068]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0069]圖1為本發(fā)明實(shí)施例中發(fā)送端的基于圖像增量信息的通信方法的流程圖；
[0070]圖2為本發(fā)明一實(shí)施例中交互數(shù)據(jù)包的封裝格式圖；
[0071 ]圖3為本發(fā)明一實(shí)施例中交互數(shù)據(jù)包的封裝格式圖；
[0072]圖4為本發(fā)明實(shí)施例中接收端的基于圖像增量信息的通信方法的流程圖；
[0073]圖5為本發(fā)明實(shí)施例中用于發(fā)送端的基于圖像增量信息的通信裝置的結(jié)構(gòu)框圖；
[0074]圖6為本發(fā)明實(shí)施例中用于接收端的基于圖像增量信息的通信裝置的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0075]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0076]本發(fā)明實(shí)施例提供了一種基于圖像增量信息的通信方法，如圖1所示，具體包括如下步驟:
[0077]SlOl，當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)；
[0078]S102，根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息；
[0079]S103，將操作信息及圖像增量信息封裝為交互數(shù)據(jù)包后發(fā)送至接收端。
[0080]本發(fā)明實(shí)施例所提供的基于圖像增量信息的通信方法，通過獲取用戶操作后屏幕中圖像的增量信息作為交互信息，可以有效縮小交互數(shù)據(jù)包的大小，充分節(jié)約傳輸帶寬資源；同時(shí)將用戶的操作信息和圖像增量信息進(jìn)行整體封裝，便于發(fā)送端和接收端實(shí)現(xiàn)圖像信息的同步。
[0081]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的技術(shù)內(nèi)容做進(jìn)一步詳細(xì)說明。
[0082]SlOl，當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)。
[0083]本發(fā)明的實(shí)施例中，操作信息包括撤銷、繪制以及擦除等信息。用戶在對(duì)圖像進(jìn)行操作時(shí)，通常選擇操作的類型。例如，需要進(jìn)行繪制時(shí)，需要先選擇繪制命令;擦除時(shí)，獲取橡皮擦命令。
[0084]在該步驟中，本發(fā)明實(shí)施例中采用監(jiān)聽器實(shí)時(shí)監(jiān)聽屏幕中是否有用戶操作動(dòng)作，包括撤銷、繪制以及擦除等。當(dāng)監(jiān)測到操作動(dòng)作后，采集屏幕中的信息，獲取該動(dòng)作完成后屏幕幀圖像數(shù)據(jù)，即每一個(gè)操作動(dòng)作后進(jìn)行一次屏幕幀圖像數(shù)據(jù)的獲取。接著，對(duì)屏幕幀圖像數(shù)據(jù)進(jìn)行預(yù)處理編碼。在進(jìn)行預(yù)處理編碼時(shí)，屏幕幀圖像數(shù)據(jù)按照從上到下的順序劃分成行，從左到右的順序劃分成列。通過行掃描的方式，當(dāng)一行的全部列完成后，繼續(xù)掃描下一行，實(shí)現(xiàn)圖片數(shù)據(jù)的編碼。
[0085]對(duì)于操作前屏幕幀圖像數(shù)據(jù)的獲取，可以從緩存數(shù)據(jù)中獲取。由于每完成一個(gè)屏幕幀圖像數(shù)據(jù)的采集后，將該屏幕幀圖像數(shù)據(jù)進(jìn)行緩存，用于下一次用戶操作后，將緩存的屏幕幀圖像數(shù)據(jù)作為操作前的屏幕幀圖像數(shù)據(jù)。
[0086]S102，根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息。
[0087]在該步驟中，圖像增量信息包括像素變化的路徑信息和顏色信息。在獲取圖像增量信息時(shí)，根據(jù)用戶操作前后的屏幕幀圖像中每個(gè)像素的數(shù)據(jù)分別進(jìn)行對(duì)比，獲取顏色變化后的像素的顏色信息和坐標(biāo)信息。所有變化的像素坐標(biāo)信息即為路徑信息。
[0088]具體地，本發(fā)明實(shí)施例中，按照行讀取的方式依序獲取操作前后的屏幕幀圖像中每個(gè)像素顏色信息，并將像素顏色進(jìn)行對(duì)比；如果不同，則將該像素的坐標(biāo)位置作為增量的路徑信息進(jìn)行存儲(chǔ)，同時(shí)保存像素變化后的顏色信息;如果相同，則忽略該像素的信息。
[0089]S103，將操作信息及圖像增量信息封裝為交互數(shù)據(jù)包后發(fā)送至接收端。
[0090]本發(fā)明的實(shí)施例中，交互數(shù)據(jù)包包括操作信息和圖像增量信息。其中，操作信息具體細(xì)分為撤銷操作和非撤銷操作。對(duì)于交互數(shù)據(jù)包的封裝格式，可以采用圖2中的封裝格式。該封裝格式適用于對(duì)圖像進(jìn)行單顏色的改變操作。
[0091]具體地，該封裝格式包括撤銷位、顏色位、操作位和路徑位。其中撤銷位占用I位，O表示普通操作，I表示撤銷操作;顏色位占用4位，表示16種顏色;操作位占用兩位，可以表示4種操作數(shù)，每個(gè)操作數(shù)對(duì)應(yīng)一種操作類型，例如繪制或者擦除等，具體的類型不做限定;后面的內(nèi)容為路徑位，按行存儲(chǔ)像素變化的坐標(biāo)位置。交互數(shù)據(jù)包的總的長度(包括報(bào)頭)不超過 1400bit。
[0092]對(duì)于交互數(shù)據(jù)包的封裝格式，還可以選擇圖3所示的格式。該封裝格式適用于對(duì)圖像進(jìn)行多種顏色的改變操作。不同于圖2中將顏色位作為單獨(dú)的操作位，圖3所示的格式將每個(gè)像素的顏色位與坐標(biāo)位進(jìn)行封裝。
[0093]本發(fā)明實(shí)施例中采用交互數(shù)據(jù)包，撤銷操作占用單獨(dú)的一位。當(dāng)用戶需要還原操作時(shí)，復(fù)制最近保存的一個(gè)交互數(shù)據(jù)包，并將撤銷操作標(biāo)志位設(shè)置為I后，加入緩存中，以此來區(qū)分當(dāng)前操作是否是撤銷操作，為用戶的還原操作提供了簡易可行的方法，便于在本地以及接收端同時(shí)實(shí)現(xiàn)撤銷操作。
[0094]具體地，在根據(jù)操作信息和圖像增量信息封裝交互數(shù)據(jù)包時(shí)，具體包括如下步驟:
[0095]判斷操作信息是否為撤銷操作:
[0096]如果為撤銷操作，則獲取上一次保存的交互數(shù)據(jù)包，修改交互數(shù)據(jù)包的撤銷位為 I；
[0097]如果非撤銷操作，則根據(jù)操作信息修改操作位為相應(yīng)操作數(shù)，同時(shí)根據(jù)圖像增量信息修改顏色位和路徑位。
[0098]本發(fā)明實(shí)施例中，在封裝完圖像交互數(shù)據(jù)包后，將交互數(shù)據(jù)包進(jìn)行緩存。具體地，設(shè)置一級(jí)緩存、二級(jí)緩存和三級(jí)緩存，分別緩存5個(gè)、10個(gè)、20個(gè)交互數(shù)據(jù)包。緩存順序?yàn)?先填滿一級(jí)緩存，再填充二級(jí)緩存，最后填充三級(jí)緩存。當(dāng)交互數(shù)據(jù)包的數(shù)目超過容量時(shí)，則丟棄最先緩存的交互數(shù)據(jù)包。通過采用分級(jí)緩存的方式，可以有效提升終端CPU的處理效率。在接收到用戶的發(fā)送信號(hào)后，從分級(jí)緩存中獲取交互數(shù)據(jù)包，當(dāng)接收到用戶的發(fā)送信號(hào)后，發(fā)送交互數(shù)據(jù)包至接收端。
[00"] 進(jìn)一步地，本發(fā)明實(shí)施例中，發(fā)送交互數(shù)據(jù)包時(shí)，采用UDP(User DatagramProtocol，用戶數(shù)據(jù)報(bào))協(xié)議。采用UDP協(xié)議雖然可以使得傳輸速度增快，但同時(shí)也會(huì)出現(xiàn)丟包的情況。采用增量信息的傳輸機(jī)制，對(duì)圖像信號(hào)進(jìn)行了充分的壓縮和預(yù)處理，所以一個(gè)數(shù)據(jù)包內(nèi)的信息十分重要。為了保證傳輸過程中不會(huì)丟包，發(fā)送端采用了監(jiān)聽重傳機(jī)制，通過接收端主動(dòng)反饋的方式，在降低發(fā)送成本的同時(shí)，增加信息傳輸?shù)目煽啃浴?br>[0100]具體地，在發(fā)送交互數(shù)據(jù)包后，需要在一定的時(shí)間內(nèi)重復(fù)發(fā)送交互數(shù)據(jù)包;若在該段時(shí)間內(nèi)，監(jiān)聽到接收端發(fā)送的反饋信息后，則停止繼續(xù)發(fā)送。若在該時(shí)間內(nèi)，未獲取到接收端的反饋信息，則重新從緩存中獲取交互數(shù)據(jù)包，并重新發(fā)送至接收端。
[0101]參見圖4，本發(fā)明還提供了一種基于圖像增量信息的通信方法，用于接收端具體包括如下步驟:
[0102]S301，接收發(fā)送端發(fā)送的交互數(shù)據(jù)包；
[0103]S302，根據(jù)交互數(shù)據(jù)包獲取操作信息以及圖像增量信息；
[0104]S303，根據(jù)操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。
[0105]具體地，根據(jù)交互數(shù)據(jù)包獲取操作信息以及圖像增量信息時(shí)，解析交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位;操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息；圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。
[0106]進(jìn)一步地，根據(jù)操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作，包括:
[0107]根據(jù)撤銷位判斷是否為撤銷操作:
[0108]若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)顏色位和路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)路徑信息和顏色信息在前一屏幕幀圖像中執(zhí)行操作類型對(duì)應(yīng)的操作；
[0109]若為撤銷操作，則撤銷操作位對(duì)應(yīng)的操作。
[0110]進(jìn)一步地，接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向發(fā)送端發(fā)送已收到反饋信息。
[0111]如圖5所示，本發(fā)明還提供了一種基于圖像增量信息的通信裝置，用于發(fā)送端，具體包括:
[0112]第一獲取單元，用于當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)；
[0113]第二獲取單元，用于根據(jù)操作前后的所述屏幕幀圖像數(shù)據(jù)獲取圖像增量信息；
[0114]封裝單元，用于將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包；
[0115]發(fā)送單元，用于將所述交互數(shù)據(jù)包發(fā)送至接收端。
[0116]進(jìn)一步地，所述第一獲取單元還用于獲取用戶操作前后的屏幕幀圖像數(shù)據(jù)后，通過行掃描的方式對(duì)所述屏幕幀圖像數(shù)據(jù)進(jìn)行編碼。
[0117]進(jìn)一步地，所述第二獲取單元具體用于:
[0118]將用戶操作前后的屏幕幀圖像數(shù)據(jù)進(jìn)行對(duì)比，獲取像素顏色變化的路徑信息和顏色信息；
[0119]將所述顏色信息和所述路徑信息作為所述圖像增量信息。
[0120]進(jìn)一步地，所述封裝單元封裝的交互數(shù)據(jù)包包括撤銷位、顏色位、操作位以及路徑位。
[0121]進(jìn)一步地，所述裝置還包括緩存單元，用于在封裝交互數(shù)據(jù)包后進(jìn)行緩存。
[0122]進(jìn)一步地，所述封裝單元具體用于:
[0123]判斷所述操作信息是否為撤銷操作:
[0124]若為撤銷操作，則獲取上一次保存的交互數(shù)據(jù)包，修改所述交互數(shù)據(jù)包的撤銷位；
[0125]若非撤銷操作，則根據(jù)操作信息修改所述操作位，根據(jù)所述圖像增量信息修改所述顏色位和所述路徑位。
[0126]進(jìn)一步地，發(fā)送單元還用于，在預(yù)設(shè)時(shí)間重復(fù)發(fā)送所述交互數(shù)據(jù)包，若在所述預(yù)設(shè)時(shí)間內(nèi)監(jiān)聽到所述接收端發(fā)送的已收到反饋信息，則停止發(fā)送。
[0127]參見圖6，本發(fā)明實(shí)施例還提供了一種基于圖像增量信息的通信裝置，用于接收端，包括:
[0128]接收單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包；
[0129]獲取單元，用于根據(jù)交互數(shù)據(jù)包獲取操作信息以及圖像增量信息；
[0130]處理單元，用于根據(jù)操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。
[0131]進(jìn)一步地，獲取單元具體用于:
[0132]解析所述交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位；
[0133]所述操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息；
[0134]所述圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。
[0135]進(jìn)一步地，處理單元具體用于:
[0136]根據(jù)撤銷位判斷是否為撤銷操作:
[0137]若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)顏色位和路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)路徑信息和顏色信息在當(dāng)前屏幕幀圖像中執(zhí)行操作類型對(duì)應(yīng)的操作；
[0138]若為撤銷操作，則撤銷操作位對(duì)應(yīng)的操作。
[0139]進(jìn)一步地，該裝置還包括發(fā)送單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向發(fā)送端發(fā)送已收到反饋信息。
[0140]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，程序可存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。
[0141]雖然通過實(shí)施例描述了本申請(qǐng)，本領(lǐng)域的技術(shù)人員知道，本申請(qǐng)有許多變形和變化而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于圖像增量信息的通信方法，用于發(fā)送端，其特征在于，包括: 當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)； 根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息； 將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包后發(fā)送至接收端。2.如權(quán)利要求1所述的方法，其特征在于，所述獲取用戶操作前后的屏幕幀圖像數(shù)據(jù)后，通過行掃描的方式對(duì)所述屏幕幀圖像數(shù)據(jù)進(jìn)行編碼。3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)操作前后的屏幕幀圖像數(shù)據(jù)獲取圖像增量信息，包括: 將用戶操作前后的屏幕幀圖像數(shù)據(jù)進(jìn)行對(duì)比，獲取像素變化的路徑信息和顏色信息； 將所述顏色信息和所述路徑信息作為所述圖像增量信息。4.如權(quán)利要求3所述的方法，其特征在于，所述交互數(shù)據(jù)包包括操作信息位、顏色位以及路徑位;其中，所述操作信息位包括撤銷位以及除撤銷操作外其他操作的操作位。5.如權(quán)利要求4所述的方法，其特征在于，所述將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包后，將所述交互數(shù)據(jù)包進(jìn)行緩存。6.如權(quán)利要求5所述的方法，其特征在于，所述將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包，包括: 判斷所述操作信息是否為撤銷操作: 若為撤銷操作，則獲取上一次緩存的交互數(shù)據(jù)包，修改所述交互數(shù)據(jù)包的撤銷位； 若非撤銷操作，則根據(jù)操作信息修改所述操作位，根據(jù)所述圖像增量信息修改所述顏色位和所述路徑位。7.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 在預(yù)設(shè)時(shí)間內(nèi)重復(fù)發(fā)送所述交互數(shù)據(jù)包，若在所述預(yù)設(shè)時(shí)間內(nèi)監(jiān)聽到所述接收端發(fā)送的已收到反饋信息，則停止發(fā)送。8.一種基于圖像增量信息的通信方法，用于接收端，其特征在于，包括: 接收發(fā)送端發(fā)送的交互數(shù)據(jù)包； 根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息； 根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。9.如權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息，包括: 解析所述交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位； 所述操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息； 所述圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。10.如權(quán)利要求9所述的方法，其特征在于，所述根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作，包括: 根據(jù)撤銷位判斷是否為撤銷操作: 若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)所述顏色位和所述路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)所述路徑信息和顏色信息在當(dāng)前屏幕幀圖像中執(zhí)行所述操作類型對(duì)應(yīng)的操作； 若為撤銷操作，則撤銷所述操作位對(duì)應(yīng)的操作。11.如權(quán)利要求8所述的方法，其特征在于，所述接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向所述發(fā)送端發(fā)送已收到反饋信息。12.一種基于圖像增量信息的通信裝置，用于發(fā)送端，其特征在于，包括: 第一獲取單元，用于當(dāng)監(jiān)聽到屏幕有操作動(dòng)作時(shí)，獲取用戶的操作信息以及操作前后的屏幕幀圖像數(shù)據(jù)； 第二獲取單元，用于根據(jù)操作前后的所述屏幕幀圖像數(shù)據(jù)獲取圖像增量信息； 封裝單元，用于將所述操作信息及所述圖像增量信息封裝為交互數(shù)據(jù)包； 發(fā)送單元，用于將所述交互數(shù)據(jù)包發(fā)送至接收端。13.如權(quán)利要求12所述的裝置，其特征在于，所述第一獲取單元還用于獲取用戶操作前后的屏幕幀圖像數(shù)據(jù)后，通過行掃描的方式對(duì)所述屏幕幀圖像數(shù)據(jù)進(jìn)行編碼。14.如權(quán)利要求13所述的裝置，其特征在于，所述第二獲取單元具體用于: 將用戶操作前后的屏幕幀圖像數(shù)據(jù)進(jìn)行對(duì)比，獲取像素顏色變化的路徑信息和顏色信息; 將所述顏色信息和所述路徑信息作為所述圖像增量信息。15.如權(quán)利要求14所述的裝置，其特征在于，所述封裝單元封裝的交互數(shù)據(jù)包包括撤銷位、顏色位、操作位以及路徑位。16.如權(quán)利要求15所述的裝置，其特征在于，所述裝置還包括緩存單元，用于在封裝交互數(shù)據(jù)包后進(jìn)行緩存。17.如權(quán)利要求16所述的裝置，其特征在于，所述封裝單元具體用于: 判斷所述操作信息是否為撤銷操作: 若為撤銷操作，則獲取上一次保存的交互數(shù)據(jù)包，修改所述交互數(shù)據(jù)包的撤銷位；若非撤銷操作，則根據(jù)操作信息修改所述操作位，根據(jù)所述圖像增量信息修改所述顏色位和所述路徑位。18.如權(quán)利要求12所述的裝置，其特征在于，所述發(fā)送單元還用于， 在預(yù)設(shè)時(shí)間內(nèi)重復(fù)發(fā)送所述交互數(shù)據(jù)包，若在所述預(yù)設(shè)時(shí)間內(nèi)監(jiān)聽到所述接收端發(fā)送的已收到反饋信息，則停止發(fā)送。19.一種基于圖像增量信息的通信裝置，用于接收端，其特征在于，包括: 接收單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包； 獲取單元，用于根據(jù)所述交互數(shù)據(jù)包獲取操作信息以及圖像增量信息； 處理單元，用于根據(jù)所述操作信息、圖像增量信息在當(dāng)前屏幕幀圖像中執(zhí)行增量處理操作。20.如權(quán)利要求19所述的裝置，其特征在于，所述獲取單元具體用于: 解析所述交互數(shù)據(jù)包中撤銷位、顏色位、操作位以及路徑位； 所述操作信息即為撤銷位表示的撤銷操作信息以及操作位表示的除撤銷操作外其他操作信息； 所述圖像增量信息即為顏色位表示的像素變化顏色信息以及路徑位表示的像素變化路徑。21.如權(quán)利要求20所述的裝置，其特征在于，所述處理單元具體用于: 根據(jù)撤銷位判斷是否為撤銷操作: 若非撤銷操作，則根據(jù)操作位獲取執(zhí)行的操作類型，根據(jù)所述顏色位和所述路徑位獲取像素變化的路徑信息和顏色信息;根據(jù)所述路徑信息和顏色信息在當(dāng)前屏幕幀圖像中執(zhí)行所述操作類型對(duì)應(yīng)的操作； 若為撤銷操作，則撤銷所述操作位對(duì)應(yīng)的操作。22.如權(quán)利要求19所述的裝置，其特征在于，所述裝置還包括發(fā)送單元，用于接收發(fā)送端發(fā)送的交互數(shù)據(jù)包后，向所述發(fā)送端發(fā)送已收到反饋信息。
【文檔編號(hào)】H04N21/647GK105959796SQ201610279992
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月29日
【發(fā)明人】王淼, 李永華, 尹珊
【申請(qǐng)人】海爾優(yōu)家智能科技（北京）有限公司