專利名稱：使用基于片的再現(xiàn)系統(tǒng)的低等待時間遠程顯示再現(xiàn)的制作方法
技術領域：
本發(fā)明涉及使用基于片的再現(xiàn)系統(tǒng)來進行的低等待時間遠程顯示再現(xiàn)的方法和設備。
背景技術：
在遠程顯示器再現(xiàn)系統(tǒng)中，一個遠程服務器可以通過一個網絡發(fā)送圖像數(shù)據，由本地顯示器的用戶觀看。一般，一種與服務器相關聯(lián)的遠程軟件應用程序一次一幀地再現(xiàn)、編碼并發(fā)送圖像數(shù)據。這些幀被接收的同時，本地用戶則解碼并顯示這些幀。本地用戶接收圖像幀的速度部分受到網絡等待時間的限制。使用諸如3D游戲的遠程顯示再現(xiàn)的一些應用程序可能要求用戶的輸入(即，用戶按下控制器按鈕)和結果動作的顯示(即，用戶的游戲字符改變方向)之間的低等待時間。在這樣的情況下，當一幀一幀地傳輸游戲場景圖像時，過多的網絡等待時間可能損害終端用戶的游戲體驗。

發(fā)明內容
為克服以上缺點，本發(fā)明提供一種方法，包括再現(xiàn)分片圖像的至少一個片；編碼該至少一個片；和在分片圖像的所有片再現(xiàn)之前通過網絡接口發(fā)送至少一個編碼片。優(yōu)選地，發(fā)送至少一個編碼片包括發(fā)送至少一個編碼片，同時至少一個其他的片被再現(xiàn)或同時至少一個其他的片被編碼。再現(xiàn)至少一個片包括生成至少一個位映像片。至少一個位映像片具有RGB、YUV或CIELab彩色格式中的一種。編碼至少一個片包括壓縮至少一個片。壓縮至少一個片包括以JPEG-兼容格式壓縮至少一個片。發(fā)送至少一個編碼片包括通過網絡將至少一個編碼片發(fā)送到一個終端。優(yōu)選地，上述的方法還包括接收至少一個片；解碼至少一個片以生成至少一個解碼片；和顯示至少一個解碼片。相應地，本發(fā)明還提供一種系統(tǒng)，包括網絡接口 ；存儲分片圖像的幀緩沖器；和耦合到網絡接口的內容源，所述內容源能夠執(zhí)行至少以下步驟再現(xiàn)所述分片圖像的至少一個片；編碼至少一個片；和在分片圖像的所有片再現(xiàn)之前提供至少一個編碼片到網絡接□。本發(fā)明還提供一種設備，包括存儲至少一個分片圖像的幀緩沖器，響應于幀緩沖器的再現(xiàn)器，該再現(xiàn)器再現(xiàn)分片圖像的至少一個片；和響應于再現(xiàn)器的編碼器，該編碼器編碼至少一個片并在再現(xiàn)器再現(xiàn)分片圖像的所有片之前提供編碼后的至少一個片到網絡接□。根據本發(fā)明的又一種方法，包括編碼一個分片圖像的至少第一圖像片，其中所述分片圖像被存儲在幀緩沖器內；編碼分片圖像的至少第二圖像片；和在編碼至少第二圖像片之前，通過網絡發(fā)送至少第一編碼圖像片。


結合在本說明書中并構成本說明書一部分的

了符合本發(fā)明原理的一種或多種執(zhí)行方式并與說明書一起解釋這樣的執(zhí)行方式。附圖不必按比例繪制，把而重點放在說明本發(fā)明的原理上。在圖中，
圖I示出了一個示例系統(tǒng)；圖2是說明提供并傳輸編碼的圖像片(tile)的示例處理的流程圖；和圖3是說明接收編碼后的圖像片的示例處理的流程圖。
具體實施例方式以下的詳細說明與附圖相關。相同的附圖標記可能用在不同的圖中來標識相同或類似的元件。在以下描述中，為了解釋而非限制的目的，提出特定的細節(jié)，比如詳細的結構，體系結構，接口，技術等，從而提供對要求保護的本發(fā)明的各個方面的整體理解。但是，本領域技術人員從本公開文件中獲益將意識到，要求保護的本發(fā)明的各個方面可以在與這些特定細節(jié)不同的其他例子中實踐。在特定情況下，公知設備、電路和方法的描述被省略，從而不會由不必要的細節(jié)使得本發(fā)明的描述模糊不清。圖I示出了按照本發(fā)明的一種執(zhí)行方式的示例系統(tǒng)100。系統(tǒng)100可以包括一個遠程圖形和/或視頻內容源102，一個本地終端104和將源102和終端104通信耦合的網絡106。源102可以包括一個幀緩沖器108，一個再現(xiàn)器110和一個編碼器112。一個網絡接口 114可以將源102通信耦合到網絡106。終端104可以包括一個網絡接口 116，一個解碼器118, —個顯不控制器120和一個顯不器122。幀緩沖器108可以是能夠保持和/或存儲一幀或多幀圖像數(shù)據的任意設備。盡管緩沖器108作為一個物理設備示出，但是在不背離本發(fā)明的范圍和精神的條件下，緩沖器108也可以用硬件、軟件、固件或它們的任意組合實現(xiàn)。在一種執(zhí)行方式中，緩沖器108可以由諸如3D游戲應用軟件的、在運行時創(chuàng)建圖形和/或視頻數(shù)據的軟件應用程序(未示出)提供圖像數(shù)據，但是本發(fā)明不限于這種關系?；蛘?，在另一種執(zhí)行方式中，圖像幀數(shù)據可以由存儲圖像數(shù)據的源(未示出)提供到緩沖器108。再現(xiàn)器110可以用能夠從緩沖器108接受圖形和/或視頻內容并能將其再現(xiàn)成適當?shù)母袷揭詡鬏數(shù)奖镜亟K端104的集成電路(IC)和/或IC的集合來實現(xiàn)。在另一個實施例中，再現(xiàn)器110可以用軟件和/或固件實現(xiàn)。在一種執(zhí)行方式中，再現(xiàn)器110產生諸如紅-綠-藍(RGB)的特定位圖格式的圖像數(shù)據，但是本發(fā)明不限于此并且要求保護的本發(fā)明預期了其他圖像數(shù)據格式。編碼器112可以把再現(xiàn)器110的圖像數(shù)據輸出轉換到一種適合于通過網絡106與本地終端104進行有效通信的壓縮格式。在一種執(zhí)行方式中，編碼器112可以把由再現(xiàn)器110提供的RGB圖像數(shù)據轉換到聯(lián)合圖像專家組(JPEG)兼容格式，但是本發(fā)明不限于此。例如，在一種執(zhí)行方式中，編碼器112可以使用公知技術把RGB圖像數(shù)據轉換到YUV數(shù)據格式并接著把TUV圖像數(shù)據壓縮為JPEG兼容格式，比如4:2:2YUV或4:1:1YUV。在另一種執(zhí)行方式中，編碼器112可以使用公知技術對再現(xiàn)器110提供的RGB圖像數(shù)據進行游程長度編碼。很明顯這種圖像數(shù)據格式的轉換和/或編碼有很多種組合并且所要求保護的本發(fā)明已預見了這些組合。網絡接口 114可以通信耦合源102到網絡106并可以包括適合于在網絡106上傳送，壓縮圖像數(shù)據的諸如有線接口和/或無線接口的任何網絡接口。例如，在一種執(zhí)行方式中，接口 114可以是無線局域網(WLAN)接口，但是本發(fā)明不限于此。在不背離本發(fā)明的范圍和精神的條件下，內容源102的部件可以用硬件、軟件、固件或它們的任意組合實現(xiàn)。而且，內容源102的部件不需要一起位于單個設備中，但是一個或多個緩沖器108，再現(xiàn)器110和/或編碼器112可以位于物理上分離的設備中它們互相通信和/或操作耦合?；蛘?，內容源102可以在包括一個或多個IC的單個設備內實現(xiàn)，這些1C提供如前面描述的緩沖器108、再現(xiàn)器110和/或編碼器112的功能。在一種執(zhí)行方式中，源102的部件可以用一個網絡服務器實現(xiàn)。在另一種執(zhí)行方式中，一種軟件應用程序可以生成圖像片并把它們直接提供到再現(xiàn)器110，而不需要首先在一個幀緩沖器中存儲圖像片。網絡106可以是能夠將來自內容源102的壓縮圖像數(shù)據傳送和/或提供到終端104的任意內容傳遞網絡。在一種執(zhí)行方式中，網絡106可以包括一個全球因特網或萬維網。但是，網絡106的確切種類不限制本發(fā)明。例如，在不限制要求保護的權利要求的情況下，網絡106能夠是有線和/或無線的非全球、局域網(LAN)或一個廣域網(WAN)。在網絡106是有線和/或無線LAN和/或WAN的執(zhí)行方式中，分別應用到源102和終端104的描述符“遠程”和“本地”是相對的并可以表示源102和終端104在物理上被分開很短的距離。例如，在網絡106可以是無線LAN的執(zhí)行方式中，源102和終端104可以只相隔幾英尺。網絡接口 116可以將終端104通信耦合到網絡106并可以包括適用于將壓縮圖像數(shù)據從網絡106傳遞到終端104的、諸如有線接口和/或無線接口的任何網絡接口。例如，在一種執(zhí)行方式中，接口 116可以是無線局域網(WLAN)接口，但是本發(fā)明不限于此。解碼器118可以對由源102產生并通過接口 116從網絡106接收的壓縮圖像數(shù)據進行解壓縮。在一種執(zhí)行方式中，解碼器118可以解壓縮編碼后的MPEG兼容格式圖像數(shù)據并提供解壓縮后的數(shù)據到顯示控制器120，但是本發(fā)明不限于此。例如，在一種執(zhí)行方式中，解碼器118可以用公知技術將YUV格式圖像數(shù)據從子采樣的4:2:2YUV格式解壓縮為全采樣的YUV格式。在另一種執(zhí)行方式中，解碼器118可以用公知技術解壓縮游程長度編碼的RGB數(shù)據。很明顯，這樣的圖像解碼的許多組合也是可能的并且已被要求保護的本發(fā)明所預期。顯示控制器120可以是適用于將由解碼器118提供的圖像數(shù)據轉換為適合由顯示器122使用的格式的任何顯示控制器。在一種執(zhí)行方式中，顯示控制器120可以將從解碼器118接收的YUV圖像數(shù)據轉換為RGB格式，但是本發(fā)明不限于此。同樣，顯示器122可以是能夠顯示圖像數(shù)據的任何顯示器。在一種執(zhí)行方式中，顯示器122可以是與以RGB格式顯示圖像數(shù)據兼容的液晶顯示器(LCD)，但是本發(fā)明不限于此。在不背離要求保護的本發(fā)明的范圍和精神的條件下，終端104的部件可以用硬件、軟件、固件或它們的任意組合實現(xiàn)。而且，終端104的部件不需要一起位于單個設備中，一個或多個網絡接口 116、解碼器118、顯示控制器120和/或顯示器122可以位于多個通信和/或操作耦合在一起但物理上分離的設備中?；蛘?，終端104的一個和多個部件可以在包括一個和多個IC的單個設備中實現(xiàn)，這些IC提供如上所述的接口 116、解碼器118、顯示控制器120和/或顯示器122的功能。在一種執(zhí)行方式中，終端104的部件可以嵌入到單個諸如筆記本電腦和/或臺式電腦之類的個人計算機設備中。 在一種執(zhí)行方式中，緩沖器108可以用分片格式保持、包含和/或提供圖形和/或視頻數(shù)據。例如，一種包括640像素乘480像素的圖像可以分為300個相鄰的片，每個片具有32像素乘32像素的尺寸。在一種執(zhí)行方式中，再現(xiàn)器110可以再現(xiàn)由緩沖器108 —次一個片提供的圖像數(shù)據，并且一旦再現(xiàn)之后，提供每個片到編碼器112。以這種方式，內容源102可以提供各個編碼后的片到終端104，這將在下面更詳細地描述。圖2是說明提供并發(fā)送編碼后的圖像片的處理200的流程圖。盡管處理200可以關于圖I的系統(tǒng)100進行描述，但是要求保護的本發(fā)明不限于此。處理可以從提供圖像片開始[動作202]。這樣做的一種方式是使一個軟件應用程序提供一個分片的圖像幀到幀緩沖器108。處理可以繼續(xù)進行圖像幀的一個片的再現(xiàn)[動作204]和所再現(xiàn)的片的編碼[動作206]。在一種執(zhí)行方式中，再現(xiàn)器110可以再現(xiàn)緩沖器108提供的分片圖像幀的一個片并提供再現(xiàn)后的片到編碼器112用于編碼。處理可以繼續(xù)進行到編碼后的片的傳輸[動作208]。這可以通過編碼器112提供編碼后的片到網絡接口 114完成。隨后，接口 114可以將編碼后的片通過網絡106發(fā)送到終端104。因為系統(tǒng)100可以提供分片格式的圖形和/或視頻數(shù)據，處理200可以用于以流水線和/或基本上并行的方式再現(xiàn)、編碼和/或發(fā)送一個分片圖像的多個圖像片。換句話說，處理200可以允許網絡接口 114與其他由編碼器112提供到網絡接口 114的圖形和/或視頻圖像數(shù)據的編碼后的圖像片分離地通過網絡106發(fā)送一個或多個編碼后的圖像片。從而，在一種執(zhí)行方式中，網絡接口 114可以在再現(xiàn)器110已經再現(xiàn)存儲在緩沖器108中的圖形和/或視頻數(shù)據圖像的所有圖像片之前，通過網絡106發(fā)送一個或多個編碼后的圖像片。但是，這僅僅是處理200如何以流水線和/或基本上并行的方式提供分片圖像的多個片的再現(xiàn)、編碼和/或發(fā)送的一個例子，并且本發(fā)明的執(zhí)行方式不限于此。例如，在另一種執(zhí)行方式中，網絡接口 114可以在編碼器112對緩沖器108中存儲并由再現(xiàn)器110再現(xiàn)的圖形和/或視頻數(shù)據圖像的所有圖像片進行編碼之前，通過網絡106發(fā)送一個或多個編碼后的圖像片。在一種執(zhí)行方式中，再現(xiàn)器110在動作204中再現(xiàn)了一個片后，處理可以繼續(xù)進行下一個片的再現(xiàn)[動作210]。從而，在動作204中再現(xiàn)一個片之后，再現(xiàn)器110可以在動作210時再現(xiàn)下一個片。接著，下一個片可以被編碼[動作212]并發(fā)送[214]。在一種執(zhí)行方式中，編碼器112在動作206對片進行編碼之后，編碼器112可以在動作212編碼下一個片。同樣，接口 114在動作208發(fā)送片之后，接口 114可以在動作214發(fā)送下一個片。處理200可以以一種類似的方式繼續(xù)進行圖像幀中所有片的流水線或基本上并行地再現(xiàn)、編碼和發(fā)送，直到圖像幀中最后一個片在動作216-220中被再現(xiàn)、編碼并發(fā)送。圖3是說明接收并顯示編碼后的圖像片的處理300的流程圖。盡管處理300可以結合圖I的系統(tǒng)100進行描述，但是要求保護的本發(fā)明不限于此。處理可以從接收一個編碼后的圖像片[動作302]開始。這樣做的一種方式是使得網絡接口 116從網絡106接收編碼后的圖像片。處理可以繼續(xù)進行在動作302中接收到的編碼后的圖像片的解碼[動作304]。在一種執(zhí)行方式中，解碼器118可以對網絡接口 116提供的編碼后的圖像片解碼。處理可以繼續(xù)進行解碼片的顯示[動作306]。這可以通過使得解碼器118提供解碼后的片到顯示控制器120來完成?？刂破?20則可以處理解碼后的圖像片并提供所產生的圖像片數(shù)據到顯示器122。因為系統(tǒng)100可以以分片格式提供圖形和/或視頻數(shù)據，處理300可以以流水線和/或基本上并行的方式進行分片圖像的多個片的接收、解碼和顯示。換句話說，處理300可以允許網絡接口 116與接口 114通過網絡106發(fā)送的圖形和/或視頻圖像數(shù)據的其他編碼后圖像片分離地從網絡106接收一個或多個編碼后的圖像片。從而，在一種執(zhí)行方式中，網絡接口 116可以在再現(xiàn)器110再現(xiàn)緩沖器108中存儲的圖形和/或視頻數(shù)據圖像的所有圖像片之前，通過網絡106接收一個或多個編碼后的圖像片。但是，這僅僅是處理300如何提供以流水線和/或基本上并行的方式對分片圖像的多個片進行接收、解碼和/或顯示的一個例子，并且本發(fā)明的執(zhí)行方式不限于此。例如，在另一種執(zhí)行方式中，網絡接口 116可以在編碼器112對存儲在緩沖器108并由再現(xiàn)器110再現(xiàn)的圖形和/或視頻數(shù)據圖像的所有圖像片編碼之前，通過網絡106接收一個或多個編碼后的圖像片。在一種執(zhí)行方式中，接口 116在動作302中接收一個片之后，處理可以繼續(xù)進行下一個片的接收[動作308]。從而，在動作302中接收編碼片之后，接口 116可以在動作308中接收下一個編碼片。下一個編碼片可以接著被解碼[動作310]和顯示[312]。在一種執(zhí)行方式中，解碼器118解碼在動作302中接收的第一個片[動作304]之后，解碼器118可以在動作310中解碼下一個片。同樣，控制器120在動作306中處理了下一個解碼后的圖像片用于顯示后，控制器120可以在動作312中處理下一個解碼后的圖像片用于顯示。處理300可以以類似的方式繼續(xù)進行圖像幀中所有片的流水線或基本上并行地接收、解碼和顯示，直到在動作314-318中圖像幀中最后一個片被接收、解碼并顯示為止。圖2和/或圖3所示的動作不需要以示出的順序執(zhí)行,也不需要執(zhí)行所有動作。而且，不依賴于其他動作的那些動作可以與其他動作并行執(zhí)行。而且，在該圖中的至少一些動作可以按照指令或指令組執(zhí)行，其在機器可讀介質中執(zhí)行。與本發(fā)明的原理一致的一個或多個執(zhí)行方式的前述說明提供了解釋和描述，但是并不意圖將本發(fā)明的范圍窮舉或限制為所公開的精確形式。根據以上的教導可能有多種修改和變化，或可以從本發(fā)明的各種執(zhí)行方式的實踐中獲取這些修改和變化。例如，使用基于片的再現(xiàn)系統(tǒng)的低等待時間遠程顯示再現(xiàn)的系統(tǒng)、裝置和方法不限于提供JPEG-兼容的編碼或解碼的系統(tǒng)或裝置。但是，要求保護的本發(fā)明的也設想了能夠支持使用基于片的再現(xiàn)系統(tǒng)的低等待時間遠程顯示再現(xiàn)的其他協(xié)議。而且，盡管圖2和3和隨附的文字描述了一個用于再現(xiàn)、編碼、發(fā)送、接收、解碼和顯示各個片的處理，在要求保護的本發(fā)明中也預期了其他處理。例如，在一種執(zhí)行方式中，一次可以有兩個或多個片在一個批處理中進行再現(xiàn)、編碼、發(fā)送、接收、解碼和顯示。換句話說，例如，一次可以有兩個或多個片在動作204中再現(xiàn)，在動作206中編碼，在動作208中發(fā)送，在動作302中接收，在動作304中解碼，在動作306中顯示等。很明顯，可以使用很多其他執(zhí)行方式來提供與要求保護的本發(fā)明一致的使用基于片的再現(xiàn)系統(tǒng)的低等待時間遠程顯示再現(xiàn)。
用在本申請的說明中的元件、動作或指令不應當被視為本發(fā)明的關鍵或基本點，除非明確指出。而且，如這里使用的，冠詞“一個”意圖包括一個或多個單元。在基本上不脫離本發(fā)明的精神和原則的條件下對要求保護的發(fā)明的上述執(zhí)行方式可以作出變化和修改。所有這樣的修改和改變預定包含在這 里公開的范圍內并由隨后的權利要求來保護。
權利要求
1.一種提供并發(fā)送編碼后的圖像片的方法，包括 提供具有多個圖像片的圖像；以及 發(fā)送所述圖像的至少一部分到遠程設備；所述發(fā)送包括 再現(xiàn)所述圖像的至少一個圖像片； 編碼所述至少一個圖像片；和 在再現(xiàn)或編碼所述圖像的至少一個其他的圖像片之前通過網絡接口發(fā)送至少一個編碼圖像片， 其中，所述至少一個圖像片的高度為多個像素行，寬度為多個像素列。
2.如權利要求I的方法，其中發(fā)送所述至少一個編碼圖像片包括發(fā)送所述至少一個編碼圖像片，同時至少一個其他的圖像片被再現(xiàn)或同時至少一個其他的圖像片被編碼。
3.如權利要求I的方法，其中再現(xiàn)所述至少一個圖像片包括生成至少一個位映像圖像片。
4.如權利要求I的方法，其中編碼所述至少一個圖像片包括壓縮所述至少一個圖像片。
5.如權利要求I的方法，還包括 接收所述至少一個編碼圖像片； 解碼所述至少一個編碼圖像片以生成至少一個解碼圖像片；和 顯示所述至少一個解碼圖像片。
6.一種當運行時配置成執(zhí)行權利要求1-5中任一項的方法的裝置。
7.一種提供并發(fā)送編碼后的圖像片的方法，包括 提供具有多個圖像片的圖像； 再現(xiàn)所述圖像的至少一個圖像片； 編碼所述至少一個圖像片；和 在再現(xiàn)或編碼所述圖像的至少一個其他的圖像片之前提供至少一個編碼圖像片到網絡接口， 其中，所述至少一個圖像片的高度為多個像素行，寬度為多個像素列。
8.如權利要求7的方法，其中提供所述至少一個編碼圖像片包括提供所述至少一個編碼圖像片，同時至少一個其他的圖像片被再現(xiàn)或同時至少一個其他的圖像片被編碼。
9.如權利要求7的方法，其中再現(xiàn)所述至少一個圖像片包括生成至少一個位映像圖像片。
10.如權利要求7的方法，其中編碼所述至少一個圖像片包括壓縮所述至少一個圖像片。
11.一種當運行時配置成執(zhí)行權利要求7-10中任一項的方法的裝置。
12.一種提供并發(fā)送編碼后的圖像片的方法，包括 提供具有多個圖像片的圖像；以及 發(fā)送所述圖像的至少一部分到遠程設備；所述發(fā)送包括 編碼所述圖像的至少第一圖像片； 通過網絡發(fā)送第一編碼圖像片；和 在發(fā)送所述第一編碼圖像片之后編碼所述圖像的至少第二圖像片，其中，所述第一圖像片的高度為多個像素行，寬度為多個像素列；以及 其中，所述第二圖像片的高度為多個像素行，寬度為多個像素列。
13.如權利要求12的方法，其中發(fā)送所述第一編碼圖像片還包括 通過所述網絡發(fā)送所述第一編碼圖像片，同時編碼所述圖像的至少第三圖像片。
14.如權利要求12的方法，其中編碼所述第一圖像片和編碼所述第二圖像片包括壓縮所述第一圖像片和壓縮所述第二圖像片。
15.一種當運行時配置成執(zhí)行權利要求12、13或14的方法的裝置。
全文摘要
本發(fā)明涉及使用基于片的再現(xiàn)系統(tǒng)的低等待時間遠程顯示再現(xiàn)。公開了使用基于片的再現(xiàn)系統(tǒng)用于低等待時間遠程顯示再現(xiàn)的裝置、系統(tǒng)和方法。在一種執(zhí)行方式中，一種系統(tǒng)包括一個網絡接口和耦合到該網絡接口的一個內容源。內容源能夠再現(xiàn)分片圖像的至少一個片、編碼至少一個片并在分片圖像的所有片再現(xiàn)之前提供至少一個編碼片到網絡接口。
文檔編號H04N21/2343GK102625149SQ201210057720
公開日2012年8月1日 申請日期2005年9月26日 優(yōu)先權日2004年9月27日
發(fā)明者K·帕利斯特 申請人:英特爾公司