專利名稱：服務(wù)器設(shè)備和屏幕共享方法
技術(shù)領(lǐng)域：
本發(fā)明涉及服務(wù)器設(shè)備以及與客戶終端共享屏幕上顯示的圖像的屏幕共享方法。
背景技術(shù)：
有一種"屏幕共享系統(tǒng)"，該系統(tǒng)實時分包服務(wù)器設(shè)備的桌面圖像，并將其從服務(wù)器設(shè) 備傳送至通過網(wǎng)絡(luò)連接的客戶終端。根據(jù)該系統(tǒng)，彼此遠離的用戶可以通過網(wǎng)絡(luò)分享和參 考一側(cè)的桌面圖像，以及在兩點之間實現(xiàn)有效的合作工作環(huán)境。
在建立屏幕共享系統(tǒng)時存在各種方法，如以預(yù)定的時間間隔分包服務(wù)器設(shè)備的整個桌 面區(qū)域的繪圖內(nèi)容并將其傳送至客戶終端的方法，以及每次更新桌面區(qū)域的繪圖內(nèi)容時只 將被更新部分與其繪圖坐標一起分包并傳送的方法。根據(jù)傳送差別的后一個方法，只根據(jù) 繪圖內(nèi)容的變化產(chǎn)生必需部分的數(shù)據(jù)，因而存在這樣的優(yōu)勢，即不僅能比前一個方法更有 效地利用網(wǎng)絡(luò)帶寬，而且能增加單位時間的繪圖幀數(shù)量。因此，在當(dāng)前提供的屏幕共享系 統(tǒng)中，各種服務(wù)經(jīng)常在只傳送差別數(shù)據(jù)的配置中提供。
在屏幕共享系統(tǒng)中， 一些從服務(wù)器設(shè)備傳送到客戶終端的圖像包可能會丟失，因而重 要的是進行控制從而使這樣情形中的影響最小化。出于該原因，通常使用由TCP (Transmission Control Protocol,傳輸控制協(xié)議)表示的具有再傳輸被丟失數(shù)據(jù)包的功能的 通信控制協(xié)議。對于這樣的再傳輸功能，服務(wù)器設(shè)備傳輸帶有對其分配的指示時間序列的 序列號的圖像包，而客戶終端監(jiān)控所接收數(shù)據(jù)包中包括的序列號,并檢測在圖像包的接收 中是否發(fā)生丟失。在檢測數(shù)據(jù)包丟失時，客戶終端將包括相應(yīng)序列號的再傳輸請求數(shù)據(jù)包 傳輸?shù)椒?wù)器設(shè)備，并且接收到該數(shù)據(jù)包的服務(wù)器設(shè)備搜索儲存在自身存儲區(qū)域中的過去 已經(jīng)傳輸?shù)膱D像包列表，選擇并提取對應(yīng)于該序列號的數(shù)據(jù)包，并將該數(shù)據(jù)包再傳輸至客 戶終端。
然而，該方法引起了一個問題，即存在從服務(wù)器設(shè)備傳輸至客戶終端的再傳輸數(shù)據(jù)包 的數(shù)據(jù)量可能不必要地增長的可能性。也就是，當(dāng)對應(yīng)于來自客戶終端的再傳輸請求的區(qū) 域通過即時后續(xù)更新用另一幅圖像重寫并更新時，即使發(fā)送了再傳輸數(shù)據(jù)包，在客戶終端
處繪圖也會立即用后續(xù)圖像重寫。對于在特定區(qū)域頻繁進行更新的情形，舉例來說，當(dāng)在 桌面上再現(xiàn)視頻內(nèi)容時，估計有可能發(fā)生這樣的情況。
此外，服務(wù)器設(shè)備需要儲存過去長時間的圖像包傳輸歷史以產(chǎn)生再傳輸數(shù)據(jù)包。這樣 會使儲存歷史所需的存儲區(qū)域非常緊張。
附帶提及，JP-A2005-20590 (Kokai)指出上述屏幕共享系統(tǒng)會損害實時性的問題并對 此提出其對策，也就是，即使流逝了允許的時間間隔以后客戶終端仍未接收到上次接收到 的數(shù)據(jù)包之后應(yīng)該接收到的數(shù)據(jù)包，客戶終端應(yīng)向服務(wù)器設(shè)備發(fā)送再傳輸請求。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面提供一種與客戶終端共享將要在屏幕上顯示的圖像的服務(wù)器
設(shè)備，該服務(wù)器設(shè)備包括
配置成儲存將要顯示在屏幕上的圖像的幀緩沖器； 配置成將幀緩沖器中的圖像顯示在屏幕上的顯示控制單元； 配置成更新幀緩沖器中的部分圖像的更新處理單元； 配置成產(chǎn)生將要給予各個數(shù)據(jù)包的序列號的序列號計數(shù)器；
配置成產(chǎn)生包括指示圖像中更新的第一區(qū)域的第一區(qū)域信息、作為第一區(qū)域中更新之 后的圖像的第一圖像、和由序列號計數(shù)器分配的序列號的第一數(shù)據(jù)包，并將第一數(shù)據(jù)包傳 輸至客戶終端的第一傳輸單元；
配置成儲存一組第一區(qū)域信息和序列號的傳輸歷史存儲單元；
配置成從客戶終端接收包括序列號的再傳輸請求的再傳輸請求接收單元；
配置成通過參考傳輸歷史存儲單元檢測在傳輸?shù)谝粓D像之后在對應(yīng)于再傳輸請求中 包括的序列號的第一圖像中未被更新的第二區(qū)域，并從幀緩沖器獲取第二區(qū)域中的第二圖 像的再傳輸圖像產(chǎn)生單元；和
配置成產(chǎn)生包括指示第二區(qū)域的第二區(qū)域信息、第二圖像、和從序列號計數(shù)器分配的 序列號的第二數(shù)據(jù)包，將第二數(shù)據(jù)包傳輸至客戶終端，并請求傳輸歷史存儲單元儲存一組 第二區(qū)域信息和與第二數(shù)據(jù)包中包括的序列號相同的序列號的第二傳輸單元。
根據(jù)本發(fā)明的一個方面提供一種在服務(wù)器設(shè)備中進行與客戶終端共享將要在屏幕上 顯示的圖像的屏幕共享方法，該方法包括
在幀緩沖器中存儲將要顯示在屏幕上的圖像；
將幀緩沖器中的圖像顯示在屏幕上； 更新幀緩沖器中的部分圖像；
產(chǎn)生包括指示圖像中更新的第一區(qū)域的第一區(qū)域信息、作為第一區(qū)域中更新之后的圖 像的第一圖像、和由序列號計數(shù)器分配的序列號的第一數(shù)據(jù)包； 將第一數(shù)據(jù)包傳輸至客戶終端；
將一組第一區(qū)域信息和序列號儲存在傳輸歷史存儲單元中； 從客戶終端接收包括序列號的再傳輸請求；
通過參考傳輸歷史存儲單元檢測在傳輸?shù)谝粓D像之后在對應(yīng)于再傳輸請求中包括的 序列號的第一圖像中未被更新的第二區(qū)域； 從幀緩沖器獲取第二區(qū)域中的第二圖像；
產(chǎn)生包括指示第二區(qū)域的第二區(qū)域信息、第二圖像、和從序列號計數(shù)器分配的序列號 的第二數(shù)據(jù)包；
將第二數(shù)據(jù)包傳輸至客戶終端；和
將一組第二區(qū)域信息和與第二數(shù)據(jù)包中包括的序列號相同的序列號存儲在傳輸歷史 存儲單元中。


圖1顯示根據(jù)本發(fā)明的實施例的屏幕共享系統(tǒng)的配置；
圖2顯示服務(wù)器設(shè)備的配置；
圖3顯示客戶終端的配置；
圖4是服務(wù)器設(shè)備中產(chǎn)生更新圖像時的順序圖5是服務(wù)器設(shè)備中接收到再傳輸請求時的順序圖6是服務(wù)器設(shè)備的流程圖7是客戶終端的流程圖8說明區(qū)域信息；
圖9顯示圖像包中包括的區(qū)域信息的實例； 圖IO顯示圖像包中包括的區(qū)域信息的實例； 圖ll顯示再傳輸區(qū)域信息的實例；以及 圖12顯示再傳輸區(qū)域信息的另一個實例。
具體實施例方式
下文將參照附圖更具體地說明本發(fā)明的實施例。
圖1顯示作為本發(fā)明的實施例的服務(wù)器設(shè)備配備的屏幕共享系統(tǒng)的配置。該配置包括 執(zhí)行服務(wù)器的功能的信息處理設(shè)備(服務(wù)器設(shè)備)1，和執(zhí)行通過網(wǎng)絡(luò)3連接到一起的客 戶的功能的信息處理終端(客戶終端)2。
圖2示意性地顯示服務(wù)器設(shè)備1的配置。
作為其組件，服務(wù)器設(shè)備l包括，更新圖像產(chǎn)生單元(更新處理單元)11，幀緩沖器 12，顯示控制單元13，圖像傳輸單元14，再傳輸圖像產(chǎn)生單元15，再傳輸請求接收單元 16和傳輸歷史存儲單元17。圖像傳輸單元14包括第一傳輸單元，第二傳輸單元和序列號 計數(shù)器。
更新圖像產(chǎn)生單元11根據(jù)服務(wù)器設(shè)備1上執(zhí)行的OS (Operating System (操作系統(tǒng))) 和應(yīng)用軟件的運行條件產(chǎn)生將要在顯示屏幕(桌面)上更新的區(qū)域的更新后圖像(更新圖 像)和指示待更新區(qū)域的位置的信息(區(qū)域信息)。更新圖像是對應(yīng)于部分桌面的矩形屏 幕數(shù)據(jù)。更新圖像對應(yīng)于第一圖像。區(qū)域信息是指示更新圖像在桌面上的顯示位置的數(shù)值 (當(dāng)將更新圖像儲存在幀緩沖器12中時，該數(shù)值指示存儲位置)。該區(qū)域信息對應(yīng)于第一 區(qū)域信息。
幀緩沖器12具有儲存顯示屏幕的整個圖像(對應(yīng)于整個桌面的屏幕數(shù)據(jù))的存儲區(qū) 域。幀緩沖器12將由更新圖像產(chǎn)生單元11產(chǎn)生的更新圖像儲存(重寫)在由更新圖像產(chǎn) 生單元11產(chǎn)生的區(qū)域信息中指示的區(qū)域中。幀緩沖器12可以根據(jù)來自諸如再傳輸圖像產(chǎn) 生單元15的外部的指令輸出其本身中儲存的所有或部分屏幕數(shù)據(jù)。
顯示控制單元13顯示幀緩沖器12中儲存的整個圖像。
圖像傳輸單元14從更新圖像產(chǎn)生單元11接收更新圖像和區(qū)域信息，產(chǎn)生包括接收到 的更新圖像、區(qū)域信息和指示數(shù)據(jù)包的時間傳輸順序的序列號的圖像包(第一數(shù)據(jù)包)， 并將所產(chǎn)生的圖像包通過網(wǎng)絡(luò)3傳輸至客戶終端2。圖像傳輸單元14具有儲存序列號計數(shù) 值的序列號存儲器，并包括上述圖像數(shù)據(jù)包中作為序列號的儲存在序列號存儲器中的序列 號計數(shù)值。圖像傳輸單元14在產(chǎn)生圖像包之后將序列號存儲器中的序列號計數(shù)值遞增1。 即，圖像傳輸單元14具有產(chǎn)生將要分配給各個數(shù)據(jù)包的序列號的序列號計數(shù)器。
傳輸歷史存儲單元17從圖像傳輸單元14接收作為一組數(shù)據(jù)的與上述圖像包中包括的 序列號和區(qū)域信息相同的序列號和區(qū)域信息，并以列表格式將其儲存在自身的存儲區(qū)域
中。
再傳輸請求接收單元16通過網(wǎng)絡(luò)3從客戶終端2接收包括序列號的再傳輸請求數(shù)據(jù) 包，并從接收到的再傳輸請求數(shù)據(jù)包提取序列號。再傳輸請求接收單元16將所提取的序 列號移交給再傳輸圖像產(chǎn)生單元15。
再傳輸圖像產(chǎn)生單元15從傳輸歷史存儲單元17獲取對應(yīng)于來自從再傳輸請求接收單 元16向前移交的序列號的所有序列號的區(qū)域信息。再傳輸圖像產(chǎn)生單元15從與序列號對 應(yīng)的區(qū)域信息中指示的區(qū)域中獲取排除與相應(yīng)于比從再傳輸請求接收單元16移交的序列 號新的所有序列號的區(qū)域信息中指示的區(qū)域重疊的區(qū)域產(chǎn)生的作為再傳輸區(qū)域(在傳輸與 再傳輸請求數(shù)據(jù)包中包括的序列號對應(yīng)的圖像之后未被更新的區(qū)域)的區(qū)域。再傳輸圖像 產(chǎn)生單元15從幀緩沖器12獲取作為再傳輸圖像的再傳輸區(qū)域中的圖像。該再傳輸圖像對 應(yīng)于第二圖像。
圖像傳輸單元14從再傳輸圖像產(chǎn)生單元15接收再傳輸圖像和指示上述再傳輸區(qū)域的 位置的信息(再傳輸區(qū)域信息)，產(chǎn)生包括再傳輸圖像、再傳輸區(qū)域信息和序列號存儲器 中的序列號計數(shù)值的再傳輸圖像包(第二數(shù)據(jù)包)，將產(chǎn)生的再傳輸圖像包通過網(wǎng)絡(luò)3傳 輸至客戶終端2。在產(chǎn)生再傳輸圖像包之后，圖像傳輸單元14將上述序列號存儲器中的序 列號計數(shù)值遞增l。該再傳輸區(qū)域信息對應(yīng)于第二區(qū)域信息。
圖3示意性地顯示客戶終端2的配置。
客戶終端2作為其組件具有圖像接收單元21，幀緩沖器22，顯示控制單元23和再傳 輸請求傳輸單元24。
圖像接收單元21從通過網(wǎng)絡(luò)3接收自服務(wù)器設(shè)備1的圖像包或再傳輸圖像包(總稱 為"被接收數(shù)據(jù)包")提取更新圖像或再傳輸圖像(總稱為"被接收圖像")，區(qū)域信息或再傳 輸區(qū)域信息(總稱為"接收區(qū)域信息")以及序列號。此外，圖像接收單元21具有存儲序列 號計數(shù)值的序列號存儲器，并且基于接收到的數(shù)據(jù)包中包括的序列號和該序列號計數(shù)值判 斷再傳輸?shù)谋匾?。具體而言，當(dāng)接收到的數(shù)據(jù)包中包括的序列號符合該序列號計數(shù)值時， 圖像接收單元21判斷不需要任何再傳輸，而當(dāng)序列號是比該序列號計數(shù)值新的數(shù)值時， 圖像接收單元21判斷需要再傳輸。舉例來說，假定序列號計數(shù)值是100而序列號是103。 圖像接收單元21判斷必須再傳輸與序列號100， 101和102對應(yīng)的被接收數(shù)據(jù)包。通過將 需要再傳輸?shù)谋唤邮諗?shù)據(jù)包的序列號移交給再傳輸請求傳輸單元24，圖像接收單元21指 令再傳輸請求傳輸單元24向服務(wù)器設(shè)備1發(fā)送再傳輸被接收數(shù)據(jù)包的請求。
正如服務(wù)器設(shè)備1的幀緩沖器12 —樣，幀緩沖器22具有儲存顯示屏幕的整個圖像(對 應(yīng)于整個桌面的屏幕數(shù)據(jù))的存儲區(qū)域。幀緩沖器22將圖像接收單元21接收到的被接收 數(shù)據(jù)包中包括的接收圖像儲存在被接收數(shù)據(jù)包中包括的接收區(qū)域信息中指示的區(qū)域中。
顯示控制單元23顯示幀緩沖器22中儲存的屏幕數(shù)據(jù)。
再傳輸請求傳輸單元24產(chǎn)生包括接收自圖像接收單元21的序列號的再傳輸請求數(shù)據(jù) 包，并通過網(wǎng)絡(luò)3將其傳輸至服務(wù)器設(shè)備1。
以下參照適當(dāng)?shù)?br>
由根據(jù)該實施例的屏幕共享系統(tǒng)進行的處理。服務(wù)器設(shè)備1 和客戶終端2通過網(wǎng)絡(luò)3互相連接，并假定兩個終端都在進行屏幕共享。
首先，參照圖2，圖4，圖5和圖6說明由服務(wù)器設(shè)備1進行的處理。圖4說明產(chǎn)生 更新圖像時執(zhí)行的序列，圖5說明從客戶終端2接收到再傳輸請求時執(zhí)行的序列，圖6是 顯示服務(wù)器設(shè)備1的總體處理流程的流程圖。
當(dāng)進行屏幕共享時，更新圖像產(chǎn)生單元11進行檢查以發(fā)現(xiàn)將要呈現(xiàn)給用戶的視頻信息 中是否存在由于服務(wù)器設(shè)備l上執(zhí)行的OS和應(yīng)用軟件的運行條件發(fā)生改變而引起的更新， 并且在存在更新時(S101:是)產(chǎn)生更新圖像(步驟S107)。所述更新圖像涉及如上所述 對應(yīng)于部分桌面的矩形屏幕數(shù)據(jù)。更新圖像產(chǎn)生單元11不僅產(chǎn)生更新圖像，而且計算更新 圖像的區(qū)域信息(步驟S107)。區(qū)域信息是如上所述指示更新圖像在桌面上的顯示位置的 數(shù)值。這里，如圖8所示，假定區(qū)域信息是更新圖像矩形左上頂點的坐標值(左，上)和 右下頂點的坐標值(右，下)，假定桌面的左上角為xy坐標平面的原點，桌面的橫寬為" 寬度"，桌面的豎寬為"高度"。更新圖像產(chǎn)生單元11將所產(chǎn)生的更新圖像和所計算的區(qū)域 信息輸入至幀緩沖器12。幀緩沖器12用更新圖像重寫并更新自身存儲區(qū)域的區(qū)域信息中 指示的區(qū)域。顯示控制單元13顯示幀緩沖器12中的屏幕數(shù)據(jù)。此外，更新圖像產(chǎn)生單元 11將所產(chǎn)生的更新圖像和所計算的區(qū)域信息輸入至圖像傳輸單元14,從而請求傳輸更新圖 像(圖4中AU)。處理流程移動至步驟S105。
在步驟S105中，接收到傳輸更新圖像請求的圖像傳輸單元14參考自身序列號存儲器 中儲存的序列號計數(shù)值，并將該序列號計數(shù)值用作序列號產(chǎn)生包括序列號、更新圖像和區(qū) 域信息的圖像包(第一數(shù)據(jù)包)。當(dāng)開始屏幕共享時圖像傳輸單元14將該序列號計數(shù)值重 置為零，并且其后每次在該步驟S105中產(chǎn)生一個圖像包時將該計數(shù)值遞增1。當(dāng)序列號計 數(shù)值超過指定值時(舉例來說，2的32次方減1)，圖像傳輸單元14再次將計數(shù)值重置為 零。
圖像傳輸單元14將所產(chǎn)生的圖像包通過網(wǎng)絡(luò)3傳輸至客戶終端2。當(dāng)圖像包被傳輸時， 圖像傳輸單元14將與圖像包中包括的區(qū)域信息和序列號相同的區(qū)域信息和序列號作為一 組數(shù)據(jù)輸出至傳輸歷史存儲單元17，并請求傳輸歷史存儲單元17記錄該組數(shù)據(jù)(圖4中 A12)。處理流程移動至步驟S106。
在步驟S106中，傳輸歷史存儲單元17將輸入自圖像傳輸單元14的一組區(qū)域信息和 序列號儲存在自身的存儲區(qū)域中。傳輸歷史存儲單元17以列表格式管理各個數(shù)據(jù)組，并 將輸入的數(shù)據(jù)組增加至該列表。在將所輸入的數(shù)據(jù)組增加至所述列表之后，傳輸歷史存儲 單元17通知圖像傳輸單元14該增加處理(圖4中A13)。接收到增加至列表的處理已經(jīng)完 成的信息時，圖像傳輸單元14通知更新圖像產(chǎn)生單元11圖像數(shù)據(jù)包已經(jīng)發(fā)送至客戶終端 2 (圖4中A14)。
此后，判斷用戶是否給出結(jié)束屏幕共享的指令(S10S)，當(dāng)給出指令時(步驟S108: 是)處理結(jié)束，或者當(dāng)未給出指令時(步驟S108:否)處理返回至S101。
另一方面，當(dāng)呈現(xiàn)給用戶的視頻信息在步驟S101中沒有更新時(步驟S101:否)，處 理流程移動至步驟S102。
在步驟S102中，再傳輸請求接收單元16確認是否通過網(wǎng)絡(luò)3接收到來自客戶終端2 的再傳輸請求數(shù)據(jù)包。當(dāng)未接收到再傳輸請求數(shù)據(jù)包時(S102:否)，處理流程返回至步 驟S101。當(dāng)接收到再傳輸請求數(shù)據(jù)包時(S102:是)，再傳輸請求接收單元16提取再傳輸 請求數(shù)據(jù)包的有效載荷部分中包括的序列號。通過將該序列號輸入至再傳輸圖像產(chǎn)生單元 15，再ft輸請求接收單元16請求產(chǎn)生再傳輸圖像(圖5中Bl 1 )。處理流程移動至步驟S103。
在步驟S103中，已從再傳輸請求接收單元16接收到產(chǎn)生再傳輸圖像請求的再傳輸圖 像產(chǎn)生單元15將輸入自再傳輸請求接收單元16的序列號輸出至傳輸歷史存儲單元17,并 請求向前從序列號獲取所有區(qū)域信息(圖5中B12)。響應(yīng)該請求，傳輸歷史存儲單元17 搜索自身的存儲區(qū)域，檢測具有與輸入序列號相同的或比其新的序列號的數(shù)據(jù)組中包括的 區(qū)域信息，并將該區(qū)域信息返回至再傳輸圖像產(chǎn)生單元15 (圖5中B13)。假定對應(yīng)于輸 入至傳輸歷史存儲單元17的序列號的區(qū)域信息為"請求區(qū)域信息"，而對應(yīng)于比該序列號新 的序列號的區(qū)域信息為"已傳輸區(qū)域信息"，再傳輸圖像產(chǎn)生單元15從請求區(qū)域信息中指示 的區(qū)域中計算排除與已傳輸區(qū)域信息中指示的區(qū)域重疊的區(qū)域得到的作為再傳輸區(qū)域的 區(qū)域。假定指示該再傳輸區(qū)域的信息為"再傳輸區(qū)域信息"，再傳輸圖像產(chǎn)生單元15將該再 傳輸區(qū)域信息輸入至幀緩沖器12，并請求獲取再傳輸區(qū)域中存在的圖像(最新圖像)(圖
5中B14)。后文將詳細說明再傳輸區(qū)域的計算方法。處理流程移動至步驟S104。
在步驟S104中從再傳輸圖像產(chǎn)生單元15接收到獲取最新圖像請求的幀緩沖器12從 自身的存儲區(qū)域獲取輸入自再傳輸圖像產(chǎn)生單元15的再傳輸圖像信息中指示的區(qū)域的圖 像，并將其作為再傳輸圖像返回至再傳輸圖像產(chǎn)生單元15 (圖5中B15)。再傳輸圖像產(chǎn) 生單元15將接收到的再傳輸圖像和再傳輸區(qū)域信息輸入至圖像傳輸單元14，從而請求傳 輸再傳輸圖像(圖5中B16)。當(dāng)再傳輸圖像和再傳輸區(qū)域信息的數(shù)據(jù)組的數(shù)量大于一時， 傳輸請求被以適當(dāng)?shù)拇涡蛑鹨话l(fā)送。處理流程移動至步驟S105。
在步驟S105中，接收到傳輸再傳輸圖像請求的圖像傳輸單元14參考自身的存儲區(qū)域 中存儲的序列號計數(shù)值，并產(chǎn)生包括該序列號計數(shù)值、再傳輸圖像和再傳輸區(qū)域信息的再 傳輸圖像包(第二數(shù)據(jù)包)。圖像傳輸單元14將再傳輸圖像包通過網(wǎng)絡(luò)3傳輸至客戶終端 2。在傳輸再傳輸圖像包之后，圖像傳輸單元14將一組再傳輸區(qū)域信息和序列號輸出至傳 輸歷史存儲單元17，并請求記錄該數(shù)據(jù)組(圖5中B17)。處理流程移動至步驟S106。當(dāng) 再傳輸區(qū)域信息指示零區(qū)域時，圖像傳輸單元14可以結(jié)束該步驟S105而不產(chǎn)生任何再傳 輸圖像包，并進一步省略下個步驟S106。
在步驟S106中，傳輸歷史存儲單元17將輸入自圖像傳輸單元14的一組傳輸區(qū)域信 息和序列號存儲在自身的存儲區(qū)域中。傳輸歷史存儲單元17以列表格式管理各個數(shù)據(jù)組， 并將輸入的數(shù)據(jù)組增加至所述列表。在增加該數(shù)據(jù)組之后，傳輸歷史存儲單元17通知圖 像傳輸單元14該增加處理(圖5中B18)，并且接收到該信息的圖像傳輸單元14通知再傳 輸圖像產(chǎn)生單元15再傳輸圖像包已經(jīng)傳輸至客戶終端2 (圖5中B19)。接收到該信息的 再傳輸圖像產(chǎn)生單元15將已經(jīng)產(chǎn)生再傳輸圖像的信息返回至再傳輸請求接收單元16 (圖 5中B20)。
此后，判斷用戶是否給出結(jié)束屏幕共享的指令(S108)，當(dāng)給出該指令時(S108:是) 處理結(jié)束，或者當(dāng)未給出該指令時(S108:否)處理返回至SIOI。
接著，參照圖3和圖7說明在該屏幕共享系統(tǒng)的客戶終端2的處理。圖7是顯示在客 戶終端2的處理流程的流程圖。
在步驟S201中，正與服務(wù)器設(shè)備1進行屏幕共享的客戶終端2的圖像接收單元21確 認圖像包或再傳輸圖像包(總稱為"被接收數(shù)據(jù)包")是否通過網(wǎng)絡(luò)3從服務(wù)器設(shè)備1到達 接收緩沖器(未顯示)。當(dāng)被接收數(shù)據(jù)包已經(jīng)到達時(S201:是)，處理流程移動至步驟S202。 當(dāng)被接收數(shù)據(jù)包未到達時(S201:否)，重復(fù)進行該步驟中的處理，直到能確認被接收數(shù)據(jù)包到達。
在步驟S202中，圖像接收單元21從接收緩沖器提取被接收數(shù)據(jù)包，并提取被接收數(shù) 據(jù)包的有效載荷部分中包括的更新圖像或再傳輸圖像(總稱為"被接收圖像")，區(qū)域信息或 再傳輸區(qū)域信息(總稱為"接收區(qū)域信息")以及序列號。圖像接收單元21將所提取的被接 收圖像和所提取的接收區(qū)域信息輸入至幀緩沖器22。當(dāng)被接收圖像和接收區(qū)域信息從圖像 接收單元21輸入時，幀緩沖器22用該被接收圖像重寫并更新自身的存儲區(qū)域的接收區(qū)域 信息中指示的區(qū)域。幀緩沖器22將所儲存的桌面屏幕的圖像輸出至顯示控制單元23，并 且顯示控制單元23顯示該圖像。處理流程移動至步驟S203。
在步驟S203中，圖像接收單元21基于提取自被接收數(shù)據(jù)包的序列號判斷是否必須請 求再傳輸。具體而言，圖像接收單元21參考自身的序列號計數(shù)值存儲器中儲存的序列號 計數(shù)值，并檢査所提取的序列號是否符合該序列號計數(shù)值。在符合的情形中，圖像接收單 元21判斷不需要再傳輸請求(S203:否)。
在不符合的情形中并且當(dāng)所提取的序列號比序列號計數(shù)值新時，圖像接收單元21判 斷再傳輸請求必須(S203:是)。舉例來說，假定序列號計數(shù)值是100而序列號是103。圖 像接收單元21判斷對應(yīng)于序列號100， 101和102的被接收數(shù)據(jù)包已經(jīng)丟失，并判斷必須 請求再傳輸這些數(shù)據(jù)包。另一方面，當(dāng)序列號比序列號計數(shù)值老時(例如，98)，圖像接 收單元21判斷之前到達的被接收數(shù)據(jù)包已冗余到達，并丟棄該被接收數(shù)據(jù)包(判斷不需 要再傳輸請求)。
當(dāng)序列號和序列號計數(shù)值相符時，圖像接收單元21將序列號計數(shù)值遞增1。即，圖像 接收單元21將序列號計數(shù)值更新為向序列號增加1所得的數(shù)值。此外，當(dāng)序列號比序列 號計數(shù)值新時，也用向序列號增加l所得的數(shù)值更新序列號計數(shù)值。舉例來說，當(dāng)序列號 計數(shù)值是100而序列號是103時，序列號計數(shù)值被更新為104 (=103+1)。當(dāng)屏幕共享開始 時序列號計數(shù)值被重置為零，并且當(dāng)序列號計數(shù)值超過指定值(與服務(wù)器設(shè)備l中的圖像 傳輸單元14的序列號計數(shù)值的指定值相同的值)時被再次重置為零。
當(dāng)以上判斷再傳輸請求必須時(S203:是)，處理流程移動至步驟S204，并且當(dāng)判斷 再傳輸請求不必時(S203:否)，處理流程返回至步驟S201。
在步驟S204中，圖像接收單元21將需要為其發(fā)送再傳輸請求的被接收數(shù)據(jù)包的序列 號輸入至再傳輸請求傳輸單元24，從而指令向服務(wù)器設(shè)備1傳輸再傳輸請求。再傳輸請求 傳輸單元24產(chǎn)生包括該輸入序列號的再傳輸請求數(shù)據(jù)包，并將其通過網(wǎng)絡(luò)3傳輸至服務(wù)
器設(shè)備1。當(dāng)為其發(fā)送再傳輸請求的被接收數(shù)據(jù)包的數(shù)量多于一個時， 一個再傳輸請求數(shù) 據(jù)包可以包括所有對應(yīng)的序列號，或者可以產(chǎn)生多個再傳輸請求數(shù)據(jù)包。當(dāng)再傳輸請求數(shù) 據(jù)包的傳輸完成時，判斷用戶是否給出結(jié)束屏幕共享的指令(S205)，當(dāng)給出指令時(S205: 是)處理結(jié)束，或者當(dāng)未給出指令時(S205:否)處理流程返回至步驟S201。
此處，將參照圖9，圖10和圖11用具體實例說明圖6的步驟S103中實行的再傳輸區(qū) 域信息的計算處理的細節(jié)。
圖9分別顯示從服務(wù)器設(shè)備1傳輸至客戶終端2的四個圖像包中包括的區(qū)域信息和序 列號數(shù)據(jù)組的實例。在這些實例中，假定桌面的橫寬(寬度)為640，豎寬(高度)為480。 此外，序列號從O開始，并且在該實例中從0到3顯示區(qū)域信息IOOOA， IOOOB， 1000C 和IOOOD。圖IO說明由這些規(guī)則表示的區(qū)域。服務(wù)器設(shè)備1以序列號的升序傳輸圖像包， 并將這些區(qū)域信息和序列號儲存在傳輸歷史存儲單元17中。
此處將說明序列號1的圖像包在網(wǎng)絡(luò)3上丟失的情形中的處理。假定客戶終端2的圖 像接收單元21已經(jīng)完成接收對應(yīng)于序列號O的圖像包，并且圖像接收單元21的存儲區(qū)域 中儲存的序列號計數(shù)值是l。此時，假定由圖像接收單元21新接收的圖像包中包括的序列 號是2。作為根據(jù)步驟S203中的程序與對應(yīng)序列號比較序列號計數(shù)值的結(jié)果，圖像接收單 元21判斷序列號1的數(shù)據(jù)包已經(jīng)丟失，并判斷必須傳輸再傳輸請求。結(jié)果，再傳輸請求 傳輸單元24產(chǎn)生包括序列號1的再傳輸請求數(shù)據(jù)包，并將其傳輸至服務(wù)器設(shè)備1 。
通過再傳輸請求接收單元16接收到再傳輸請求數(shù)據(jù)包中包括的序列號1時，服務(wù)器 設(shè)備1的再傳輸圖像產(chǎn)生單元15將其輸入至傳輸歷史存儲單元17。傳輸歷史存儲單元17 參考存儲信息，并作為響應(yīng)輸出對應(yīng)于序列號1的區(qū)域信息IOOOB，以及對應(yīng)于比系列號 l新的序列號即序列號2， 3的區(qū)域信息1000C, IOOOD。
接著，再傳輸圖像產(chǎn)生單元15假定圖像信息1000B為"請求區(qū)域信息"，區(qū)域信息 IOOOC， IOOOD為"已傳輸區(qū)域信息"。于是再傳輸圖像產(chǎn)生單元15從請求區(qū)域信息中指示 的區(qū)域中計算排除與已傳輸區(qū)域信息重疊的部分的作為再傳輸區(qū)域的結(jié)果。S卩，再傳輸圖 像產(chǎn)生單元15實行這樣的計算，即從區(qū)域信息1000B的區(qū)域中削除與區(qū)域信息IOOOC， IOOOD重疊的區(qū)域，并作為結(jié)果獲取圖11所示的再傳輸區(qū)域1020。再傳輸圖像產(chǎn)生單元 15假定指示再傳輸區(qū)域1020的信息為"再傳輸區(qū)域信息"。再傳輸區(qū)域1020可以表示為多 個矩形區(qū)域的總和。在圖11的實例中，該信息可以表示為兩個矩形區(qū)域1020A和1020B 的總和。接著，再傳輸圖像產(chǎn)生單元15將再傳輸區(qū)域1020輸入至幀緩沖器12，并獲取對
應(yīng)于該再傳輸區(qū)域1020的圖像(最新圖像)。
如上所述，在圖6的步驟S106中，進行將一組區(qū)域信息和序列號以列表格式儲存在 傳輸歷史存儲單元17中的處理。在該處理中， 一組新輸入的區(qū)域信息和序列號被增加至 列表尾端，并且該數(shù)據(jù)組一旦儲存就一直維持儲存直至屏幕共享結(jié)束。因此，因為所述列 表信息無限增加，因此就有傳輸歷史存儲單元17的存儲區(qū)域可能遲早會耗盡的可能性。 可以使用以下方法作為處理該問題的方法。
第一方法是以適當(dāng)?shù)亩〞r時刻擦除所述列表的信息的方法。再傳輸圖像產(chǎn)生單元15 在每次新請求傳輸歷史存儲單元17儲存數(shù)據(jù)組時都將計時器設(shè)定為適當(dāng)?shù)臅r間，并且在 計時器在設(shè)定時間通知的時刻從所述列表刪除該對應(yīng)的數(shù)據(jù)組。根據(jù)該方法，有這樣的可 能性，即當(dāng)接收到再傳輸請求數(shù)據(jù)包時對應(yīng)于從客戶終端2指定的序列號的數(shù)據(jù)組可能已 經(jīng)刪除，但通過采用足夠長的計時器設(shè)定時間，這樣的事件可以避免。在接收到對應(yīng)于已 刪除序列號的再傳輸請求數(shù)據(jù)包的情形中，傳輸歷史存儲單元17通知再傳輸圖像產(chǎn)生單 元15不存在具有該序列號的數(shù)據(jù)組，并且在接收到該信息時，再傳輸圖像產(chǎn)生單元15可 以放棄再傳輸并且不產(chǎn)生任何再傳輸圖像包。使用上述方法，可以相對簡單地抑制傳輸歷 史存儲單元17中的信息量。
作為第二方法，也可以使用客戶終端2定時通知服務(wù)器設(shè)備1圖像接收單元21中儲 存的序列號計數(shù)值的方法。在該情形中，服務(wù)器設(shè)備1的再傳輸圖像產(chǎn)生單元15可以將 從所通知的序列號計數(shù)值遞減1所得的數(shù)值視為客戶終端2最新成功接收的數(shù)據(jù)包的序列 號。因此，比該數(shù)值老的序列號被視為已經(jīng)由客戶終端2接收，并且判斷具有這些老序列 號的數(shù)據(jù)組不再必須，傳輸歷史存儲單元17被請求擦除這些數(shù)據(jù)組。使用上述方法也可 以抑制傳輸歷史存儲單元17中的信息量。
此處對圖7中的步驟S204所進行的說明是，當(dāng)請求其再傳輸?shù)谋唤邮諗?shù)據(jù)包(圖像 包或再傳輸圖像包)的數(shù)量多于一個時，客戶終端2可以將對應(yīng)于所有再傳輸請求數(shù)據(jù)包 的序列號包括在一個再傳輸請求數(shù)據(jù)包中。因此，當(dāng)再傳輸請求數(shù)據(jù)包中包括的序列號數(shù) 量多于一個時，服務(wù)器設(shè)備1也可以對于多個序列號產(chǎn)生一個再傳輸圖像包，而非對于多 個序列號單獨產(chǎn)生再傳輸圖像數(shù)據(jù)包。下文將使用圖9和圖10說明其實例。
假定客戶終端2接收對應(yīng)于序列號0和1的圖像包失敗。此時，圖像接收單元21通 過再傳輸請求傳輸單元24將關(guān)于序列號0和1的再傳輸請求發(fā)送到服務(wù)器設(shè)備1 。響應(yīng)該 請求，服務(wù)器設(shè)備1中的再傳輸圖像產(chǎn)生單元15如下產(chǎn)生對應(yīng)于兩個序列號0和1的一 個再傳輸圖像包。
再傳輸圖像產(chǎn)生單元15將序列號0和1輸出至傳輸歷史存儲單元17，并自序列號0 向前從傳輸歷史存儲單元17獲取區(qū)域信息。在自序列號0向前接收區(qū)域信息時，傳輸圖 像產(chǎn)生單元15假定對應(yīng)于序列號0和1的區(qū)域信息為"請求區(qū)域信息"，并且假定對應(yīng)于比 序列號0和1新的序列號的區(qū)域信息(此處對應(yīng)于序列號2和3)為"已傳輸區(qū)域信息"， 然后實行以下處理。
首先，在計算所有請求區(qū)域信息中指示的區(qū)域的總和(邏輯和)之后，通過從所計算 的總和區(qū)域中排除與已傳輸區(qū)域信息相重疊的區(qū)域獲得的結(jié)果被計算為再傳輸區(qū)域，并且 指示該區(qū)域的信息被假定為"再傳輸區(qū)域信息"。圖12顯示該再傳輸區(qū)域信息的實例。參考 數(shù)字1030表示一個再傳輸區(qū)域。此后，再傳輸圖像產(chǎn)生單元15將再傳輸區(qū)域信息輸入至 幀緩沖器12，獲取對應(yīng)于該再傳輸區(qū)域的圖像(最新圖像)，并將所獲取的最新圖像通過 圖像傳輸單元14傳輸至服務(wù)器設(shè)備1。使用上述方法，可以節(jié)省時間和避免兩次傳輸與序 列號0和1重疊的區(qū)域的麻煩，并且降低所使用的通信帶寬。
如上所述，根據(jù)該實施例，服務(wù)器設(shè)備將過去傳輸?shù)膱D像包中包括的一組區(qū)域信息和 序列號作為歷史儲存，并且當(dāng)接收到再傳輸請求時計算從對應(yīng)于該序列號的區(qū)域信息中指 示的區(qū)域中排除與對應(yīng)于比已請求其再傳輸?shù)男蛄刑栃碌乃行蛄刑柕膮^(qū)域信息中指示 的區(qū)域相重疊的區(qū)域獲得的作為再傳輸區(qū)域的區(qū)域，以及從幀緩沖器獲取再傳輸區(qū)域中的 圖像并傳輸該圖像。通過該方法，服務(wù)器設(shè)備可以減少再傳輸?shù)臄?shù)據(jù)量，不再需要分別儲 存過去傳輸?shù)膱D像包中包括的圖像，從而減少存儲區(qū)域。本發(fā)明也可方便地應(yīng)用于如基于 多頻道方案或類似方案傳送桌面的情形中服務(wù)器設(shè)備的通信頻帶上的負載可能增加的情 形，并且能夠期待本發(fā)明將發(fā)揮其全部效用。
權(quán)利要求
1.一種與客戶終端共享將要在屏幕上顯示的圖像的服務(wù)器設(shè)備，其特征在于，該服務(wù)器設(shè)備包括配置成儲存將要顯示在屏幕上的圖像的幀緩沖器；配置成將幀緩沖器中的圖像顯示在屏幕上的顯示控制單元；配置成更新幀緩沖器中的部分圖像的更新處理單元；配置成產(chǎn)生將要給予各個數(shù)據(jù)包的序列號的序列號計數(shù)器；配置成產(chǎn)生包括指示圖像中更新的第一區(qū)域的第一區(qū)域信息、作為第一區(qū)域中更新之后的圖像的第一圖像、和由序列號計數(shù)器分配的序列號的第一數(shù)據(jù)包，并將第一數(shù)據(jù)包傳輸至客戶終端的第一傳輸單元；配置成儲存一組第一區(qū)域信息和序列號的傳輸歷史存儲單元；配置成從客戶終端接收包括序列號的再傳輸請求的再傳輸請求接收單元；配置成通過參考傳輸歷史存儲單元檢測在傳輸?shù)谝粓D像之后在對應(yīng)于再傳輸請求中包括的序列號的第一圖像中未被更新的第二區(qū)域，并從幀緩沖器獲取第二區(qū)域中的第二圖像的再傳輸圖像產(chǎn)生單元；和配置成產(chǎn)生包括指示第二區(qū)域的第二區(qū)域信息、第二圖像、和從序列號計數(shù)器分配的序列號的第二數(shù)據(jù)包，將第二數(shù)據(jù)包傳輸至客戶終端，并請求傳輸歷史存儲單元儲存一組第二區(qū)域信息和與第二數(shù)據(jù)包中包括的序列號相同的序列號的第二傳輸單元。
2. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中再傳輸圖像產(chǎn)生單元檢測從由 對應(yīng)于再傳輸請求中包括的序列號的第一區(qū)域信息指示的區(qū)域中排除與由對應(yīng)于比再傳 輸請求中包括的序列號新的序列號的第一區(qū)域信息指示的區(qū)域重疊的區(qū)域獲得的作為第 二區(qū)域的區(qū)域。
3. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中再傳輸圖像產(chǎn)生單元從幀緩沖 器獲取作為第二圖像的包括第二區(qū)域的矩形區(qū)域的圖像，以及第二傳輸單元包括作為第二區(qū)域信息的指示第二數(shù)據(jù)包中的矩形區(qū)域的信息。
4. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中再傳輸圖像產(chǎn)生單元將第二區(qū)域劃分為多個矩形區(qū)域，并從幀緩沖器獲取作為第二圖像的各個劃分區(qū)域中的圖像，以及 第二傳輸單元產(chǎn)生包括作為第二區(qū)域信息的指示各個劃分區(qū)域的信息的第二數(shù)據(jù)包。
5. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中傳輸歷史存儲單元刪除已經(jīng)儲 存了預(yù)定時間的組。
6. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中再傳輸請求接收單元從客戶終 端接收包括指定客戶終端已經(jīng)接收到的序列號的信息的數(shù)據(jù)包，以及傳輸歷史存儲單元刪除具有已接收序列號或者比已接收序列號老的序列號的組。
7. 如權(quán)利要求1所述的服務(wù)器設(shè)備，其特征在于，其中再傳輸請求接收單元接收包括 多個序列號的再傳輸請求，以及再傳輸圖像產(chǎn)生單元從各個第一圖像的總和中檢測在傳輸對應(yīng)于多個序列號的各個第 一圖像之后未被更新的作為第二區(qū)域的區(qū)域。
8. —種在服務(wù)器設(shè)備中進行與客戶終端共享將要在屏幕上顯示的圖像的屏幕共享方 法，其特征在于，該方法包括在幀緩沖器中存儲將要顯示在屏幕上的圖像；將幀緩沖器中的圖像顯示在屏幕上；更新幀緩沖器中的部分圖像；產(chǎn)生包括指示圖像中更新的第一區(qū)域的第一區(qū)域信息、作為第一區(qū)域中更新之后的圖 像的第一圖像、和由序列號計數(shù)器分配的序列號的第一數(shù)據(jù)包； 將第一數(shù)據(jù)包傳輸至客戶終端；將一組第一區(qū)域信息和序列號儲存在傳輸歷史存儲單元中； 從客戶終端接收包括序列號的再傳輸請求；通過參考傳輸歷史存儲單元檢測在傳輸?shù)谝粓D像之后在對應(yīng)于再傳輸請求中包括的 序列號的第一圖像中未被更新的第二區(qū)域； 從幀緩沖器獲取第二區(qū)域中的第二圖像； 產(chǎn)生包括指示第二區(qū)域的第二區(qū)域信息、第二圖像、和從序列號計數(shù)器分配的序列號 的第二數(shù)據(jù)包；將第二數(shù)據(jù)包傳輸至客戶終端；和將一組第二區(qū)域信息和與第二數(shù)據(jù)包中包括的序列號相同的序列號存儲在傳輸歷史 存儲單元中。
9. 如權(quán)利要求8所述的方法，其特征在于，其中檢測第二區(qū)域包括檢測從由對應(yīng)于再 傳輸請求中包括的序列號的第一區(qū)域信息指示的區(qū)域中排除與由對應(yīng)于比再傳輸請求中 包括的序列號新的序列號的第一區(qū)域信息指示的區(qū)域重疊的區(qū)域獲得的作為第二區(qū)域的 區(qū)域。
10. 如權(quán)利要求8所述的方法，其特征在于，其中獲取第二圖像包括從幀緩沖器獲取 作為第二圖像的包括第二區(qū)域的矩形區(qū)域的圖像，以及指示矩形區(qū)域的信息作為第二區(qū)域信息被包括在第二數(shù)據(jù)包中。
11. 如權(quán)利要求8所述的方法，其特征在于，其中檢測第二區(qū)域包括將第二區(qū)域劃分 為多個矩形區(qū)域，獲取第二圖像包括從幀緩沖器獲取作為第二圖像的各個劃分區(qū)域中的圖像，以及 產(chǎn)生第二數(shù)據(jù)包包括產(chǎn)生包括作為第二區(qū)域信息的指示各個劃分區(qū)域的信息的第二數(shù) 據(jù)包。
12. 如權(quán)利要求8所述的方法，其特征在于，該方法進一步包括從傳輸歷史存儲單元 中刪除已經(jīng)儲存了預(yù)定時間的組。
13. 如權(quán)利要求8所述的方法，其特征在于，該方法進一步包括從客戶終端接收包括 指定客戶終端已經(jīng)接收到的序列號的信息的數(shù)據(jù)包，以及從傳輸歷史存儲單元中刪除具有已接收序列號或者比已接收序列號老的序列號的組。
14. 如權(quán)利要求8所述的方法，其特征在于，其中接收再傳輸請求包括接收包括多個 序列號的再傳輸請求，以及檢測第二區(qū)域包括從各個第一圖像的總和中檢測作為第二區(qū)域的在傳輸對應(yīng)于多個序 列號的各個第一圖像之后未被更新的區(qū)域。
全文摘要
本發(fā)明提供一種在服務(wù)器設(shè)備中進行與客戶終端共享將要在屏幕上顯示的圖像的屏幕共享方法，該方法包括更新幀緩沖器中的部分圖像；產(chǎn)生包括指示圖像中更新的第一區(qū)域的第一區(qū)域信息、作為第一區(qū)域中更新之后的圖像的第一圖像、以及由序列號計數(shù)器分配的序列號的第一數(shù)據(jù)包并傳輸該第一數(shù)據(jù)包；將一組第一區(qū)域信息和序列號儲存在存儲器中；從客戶終端接收包括序列號的再傳輸請求；通過參考所述存儲器檢測在傳輸?shù)谝粓D像之后在對應(yīng)于再傳輸請求中包括的序列號的第一圖像中未被更新的第二區(qū)域；從幀緩沖器獲取第二區(qū)域中的第二圖像。
文檔編號H04L29/08GK101170575SQ200710146918
公開日2008年4月30日 申請日期2007年8月24日 優(yōu)先權(quán)日2006年10月24日
發(fā)明者后藤真孝, 山口健作, 川添博史, 村井信哉 申請人:株式會社東芝