專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將顯示在顯示器中的圖像擴(kuò)大或縮小，或上、下、左、右移動(dòng)的圖像處理技術(shù)。
背景技術(shù)：
有人提出了不僅可以執(zhí)行游戲程序，還可以播放視頻的家庭用娛樂(lè)系統(tǒng)。在該家庭用娛樂(lè)系統(tǒng)中，圖形處理器生成使用多邊形的三維圖像(例如參照專利文獻(xiàn)1)。另一方面，也有人提出了使用從高清晰度的照片等的數(shù)字圖像生成多個(gè)分辨率的平鋪圖像(夕^ &畫(huà)像)，對(duì)顯示圖像進(jìn)行擴(kuò)大或縮小處理、或上下左右方向移動(dòng)處理的技術(shù)。在該圖像處理技術(shù)中，將原圖像尺寸分多個(gè)階段地進(jìn)行縮小，生成不同的分辨率的圖像，將各層的圖像分割成一個(gè)或多個(gè)平鋪圖像，以層次結(jié)構(gòu)來(lái)表現(xiàn)原圖像。通常，分辨率最低的圖像由1個(gè)平鋪圖像構(gòu)成，分辨率最高的原圖像由最多數(shù)量的平鋪圖像構(gòu)成。圖像處理裝置在顯示圖像的擴(kuò)大處理或縮小處理時(shí)，可以將正在使用的平鋪圖像切換不同的層次的平鋪圖像，迅速地進(jìn)行擴(kuò)大顯示或縮小顯示。專利文獻(xiàn)1美國(guó)專利第6563999號(hào)公報(bào)在這種圖像處理裝置中，在用戶要求了顯示區(qū)域的移動(dòng)或圖像的擴(kuò)大或縮小(此后將這些合起來(lái)稱為“圖像變更”)時(shí)，由于平鋪圖像的數(shù)據(jù)讀取、解碼等的處理，到新的圖像被輸出之前，有時(shí)需要花費(fèi)不容忽視的時(shí)間。如果為了提高響應(yīng)速度，而將所有的圖像數(shù)據(jù)存放在存取速度快的存儲(chǔ)器，則在高清晰度、高分辨率的圖像的情況下，需要特別大的容量的存儲(chǔ)器，且會(huì)發(fā)生需要用數(shù)據(jù)大小來(lái)制限可能處理的圖像的情況。

發(fā)明內(nèi)容
本發(fā)明是鑒于這些問(wèn)題而做出的。其目的在于提供一種對(duì)于來(lái)自用戶的圖像變更要求具有良好的響應(yīng)速度的圖像處理技術(shù)。本發(fā)明的一種形態(tài)是圖像處理裝置。該圖像處理裝置是將圖像的至少一部分顯示在顯示器上的圖像處理裝置，具有記憶裝置，保存以設(shè)定的規(guī)則將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割而成的多個(gè)的圖像塊；下載單元，將包含對(duì)應(yīng)于顯示中的圖像的區(qū)域、以設(shè)定的規(guī)則決定的必要區(qū)域的數(shù)據(jù)的圖像塊從記憶裝置下載到存儲(chǔ)器；顯示圖像處理單元，對(duì)應(yīng)于來(lái)自用戶的關(guān)于顯示區(qū)域的移動(dòng)、擴(kuò)大或縮小的某一個(gè)要求，將下載單元下載的圖像塊的至少一部分從存儲(chǔ)器讀取并解碼，生成新的顯示圖像。本發(fā)明的另一形態(tài)是圖像處理方法。該圖像處理方法是將圖像的至少一部分顯示在顯示器上的圖像處理方法，包括生成用設(shè)定的規(guī)則將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割而成的多個(gè)圖像塊，并存儲(chǔ)到記憶裝置的步驟；對(duì)應(yīng)于顯示中的圖像區(qū)域，將包含以設(shè)定的規(guī)則決定的必要區(qū)域的數(shù)據(jù)的圖像塊從記憶裝置下載到存儲(chǔ)器的步驟；根據(jù)來(lái)自用戶的、 關(guān)于顯示區(qū)域的移動(dòng)、擴(kuò)大或縮小的某一個(gè)要求，從存儲(chǔ)器讀取下載的圖像塊的至少一部分并解碼，生成新的顯示圖像的步驟。
本發(fā)明的還一個(gè)形態(tài)是圖像處理裝置。該圖像處理裝置根據(jù)用戶的要求將圖像內(nèi)的區(qū)域顯示在顯示器上，包括根據(jù)要求從存儲(chǔ)器讀取必要區(qū)域的壓縮圖像數(shù)據(jù)并解碼的解碼單元；存儲(chǔ)解碼單元解碼的圖像的緩沖存儲(chǔ)器；讀取存儲(chǔ)在緩沖存儲(chǔ)器中的圖像的至少一部分，并描繪顯示的區(qū)域的顯示圖像處理單元。解碼單元具有在將新的圖像存儲(chǔ)到緩沖存儲(chǔ)器時(shí)，確定此前存儲(chǔ)的圖像和新的圖像的重復(fù)區(qū)域的重復(fù)區(qū)域取得單元；對(duì)新的圖像中包含除去重復(fù)區(qū)域的部分區(qū)域的區(qū)域的壓縮圖像數(shù)據(jù)進(jìn)行解碼的部分區(qū)域解碼單元; 在此前存儲(chǔ)的圖像中，將重復(fù)區(qū)域和部分區(qū)域解碼單元解碼的部分區(qū)域結(jié)合( & 3 )， 存儲(chǔ)到緩沖存儲(chǔ)器的解碼圖像存儲(chǔ)單元。本發(fā)明的另一個(gè)形態(tài)是圖像處理方法。該圖像處理方法根據(jù)用戶的要求將圖像內(nèi)的區(qū)域顯示在顯示器上，包括在根據(jù)要求對(duì)必要區(qū)域的壓縮圖像數(shù)據(jù)進(jìn)行重新解碼并存儲(chǔ)到緩沖存儲(chǔ)器時(shí)，確定此前存儲(chǔ)的圖像和新圖像的重復(fù)區(qū)域的步驟；從主存儲(chǔ)器讀取新圖像中包含除去重復(fù)區(qū)域的部分區(qū)域的區(qū)域的壓縮圖像數(shù)據(jù)并進(jìn)行解碼的步驟；在此前存儲(chǔ)的圖像中，將重復(fù)區(qū)域和新解碼的部分區(qū)域結(jié)合存儲(chǔ)到緩沖存儲(chǔ)器的步驟；讀取存儲(chǔ)在緩沖存儲(chǔ)器中的圖像的至少一部分并描繪顯示的區(qū)域的步驟。另外，以上構(gòu)成要素的任意組合，將本發(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序等之間轉(zhuǎn)換而成的各種形態(tài)也作為本發(fā)明的形態(tài)有效。通過(guò)本發(fā)明可以提供對(duì)應(yīng)于來(lái)自用戶的圖像變更要求具有迅速響應(yīng)速度的圖像
處理裝置。


圖1是表示與本發(fā)明的實(shí)施例相關(guān)的圖像處理系統(tǒng)的使用環(huán)境的圖。圖2是表示適用于圖1的圖像處理系統(tǒng)的輸入裝置的外觀構(gòu)成的圖。圖3是表示在本實(shí)施方式中使用的圖像數(shù)據(jù)的層次結(jié)構(gòu)的圖。圖4是表示本實(shí)施方式的圖像處理裝置的構(gòu)成的圖。圖5模式性地表示本實(shí)施方式的圖像數(shù)據(jù)流。圖6是詳細(xì)表示本實(shí)施方式的控制單元的構(gòu)成的圖。圖7是詳細(xì)表示本實(shí)施方式的壓縮數(shù)據(jù)分割單元的構(gòu)成的圖。圖8是模式性地表示本實(shí)施方式的層次數(shù)據(jù)的各層的圖像的圖。圖9是模式性地表示本實(shí)施方式的圖像塊生成單元將圖8的層次數(shù)據(jù)集中為圖像塊的情況的圖。圖10是表示用于說(shuō)明本實(shí)施方式的塊分割的方法的原圖像的舉例的圖。圖11是表示在本實(shí)施方式中對(duì)平鋪圖像按光柵順序賦予識(shí)別號(hào)碼時(shí)的分割的情況的圖。圖12是表示在本實(shí)施方式中，以“Z形狀”的順序?qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割的情況的圖。圖13是表示在本實(shí)施方式中，以正方形的大平鋪?lái)樞驅(qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割的情況的圖。圖14是表示在本實(shí)施方式中，以短冊(cè)狀大平鋪?lái)樞驅(qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割的情況的圖。
圖15是模式性表示圖像塊的境界線形成為格子狀時(shí)的、圖像塊和顯示圖像的描繪區(qū)域的關(guān)系的圖。圖16是模式性表示在本實(shí)施方式中，在圖像塊的境界線為T字路形狀時(shí)的、圖像塊和顯示圖像的描繪區(qū)域的關(guān)系的圖。圖17是用于說(shuō)明在本實(shí)施方式中，將高分辨率圖像作為與低分辨率圖像的擴(kuò)大圖像的差分圖像來(lái)壓縮的方法的圖。圖18是表示在本實(shí)施方式中，決定應(yīng)該下載的圖像塊并實(shí)施下載的處理順序的流程圖。圖19決定成為判定在圖18的S42中是否被主存儲(chǔ)器存儲(chǔ)的對(duì)象的必要區(qū)域時(shí)的概念圖。圖20是用于說(shuō)明在本實(shí)施方式中，前瞻處理(先読 処理)單元進(jìn)行的先讀處理的圖。圖21是表示在本實(shí)施方式中前瞻處理單元以及解碼單元進(jìn)行圖像的解碼時(shí)的處理順序的流程圖。圖22是表示在本實(shí)施方式的緩沖存儲(chǔ)器的解碼用緩沖中，應(yīng)新存儲(chǔ)的圖像與此前存儲(chǔ)的圖像有重復(fù)部分時(shí)的、解碼單元的功能塊的圖。圖23是模式性表示圖22的解碼單元將圖像存儲(chǔ)于解碼用緩沖的順序的圖。
具體實(shí)施例方式圖1表示與本發(fā)明的實(shí)施方式相關(guān)的圖像處理系統(tǒng)1的使用環(huán)境。圖像處理系統(tǒng)1具有執(zhí)行圖像處理程序的圖像處理裝置10、和輸出圖像處理裝置10的處理結(jié)果的顯示裝置12。顯示裝置12可以是具有輸出圖像的顯示器以及輸出音聲的揚(yáng)聲器的電視機(jī)。 顯示裝置12可以通過(guò)有線電纜與圖像處理裝置10連接，也可以通過(guò)無(wú)線LAN (Local Area Network)等進(jìn)行無(wú)線連接。在圖像處理系統(tǒng)1，圖像處理裝置10可以通過(guò)電纜14與互聯(lián)網(wǎng)等的外部網(wǎng)絡(luò)連接，下載取得被層次化的壓縮圖像數(shù)據(jù)。另外，圖像處理裝置10也可以通過(guò)無(wú)線通信與外部網(wǎng)絡(luò)連接。圖像處理裝置10可以是例如游戲裝置，可以通過(guò)下載圖像處理用的應(yīng)用程序，實(shí)現(xiàn)圖像處理功能。另外，圖像處理裝置10也可以是個(gè)人電腦，可以通過(guò)下載圖像處理用的應(yīng)用程序?qū)崿F(xiàn)圖像處理功能。圖像處理裝置10根據(jù)來(lái)自用戶的要求，進(jìn)行顯示在顯示裝置12的顯示器上的圖像的擴(kuò)大或縮小處理或、向上下左右方向的移動(dòng)處理等變更顯示圖像的處理。當(dāng)用戶一邊觀看顯示在顯示器上的圖像，一邊操作輸入裝置時(shí)，輸入裝置將顯示圖像的變更要求信號(hào)發(fā)送圖像處理裝置10。圖2表示輸入裝置20的外觀構(gòu)成。輸入裝置20作為用戶可操作的操作手段，具有十字鍵21、搖桿27a、27b、4種操作按鈕沈。4種操作按鈕沈由〇按鈕22、X按鈕23、口按鈕M以及Δ按鈕25構(gòu)成。在圖像處理系統(tǒng)1中，對(duì)輸入裝置20的操作手段，分配了用于輸入顯示圖像的擴(kuò)大或縮小的要求、以及向上下左右方向滾動(dòng)的要求的功能。比如，顯示圖像的擴(kuò)大或縮小要求的輸入功能被分配給右側(cè)的搖桿27b。用戶通過(guò)將搖桿27b向自身方向拉，可以輸入顯示圖像的縮小要求，通過(guò)向遠(yuǎn)離自身方向推壓，可以輸入顯示圖像的擴(kuò)大要求。另外，顯示區(qū)域的移動(dòng)要求的輸入功能被分配給十字鍵21。用戶通過(guò)按下十字鍵21，可以輸入向按下的十字鍵21的方向的移動(dòng)要求。另外，圖像變更要求的輸入功能也可以分配給別的操作裝置，比如，也可以對(duì)搖桿27a分配滾動(dòng)要求的輸入功能。輸入裝置20具有將輸入的圖像變更要求信號(hào)傳送給圖像處理裝置10的功能，在本實(shí)施方式，與圖像處理裝置10之間可以進(jìn)行無(wú)線通信。輸入裝置20和圖像處理裝置10 可以使用藍(lán)牙(Bluetooth)(注冊(cè)商標(biāo))協(xié)議或IEEE802. 11協(xié)議等建立無(wú)線連接。另外， 輸入裝置20也可以通過(guò)電纜和圖像處理裝置10連接，將圖像變更要求信號(hào)傳送給圖像處理裝置10。圖3表示在本實(shí)施方式中使用的圖像數(shù)據(jù)的層次結(jié)構(gòu)。圖像數(shù)據(jù)具有在深度(Z 軸)方向由第0層次30、第1層次32、第2層次34以及第3層次36構(gòu)成的層次結(jié)構(gòu)。另外，在該圖中，只表示了 4層次，但層次數(shù)并不限定為4層次。以下將具有這樣的層次結(jié)構(gòu)的圖像數(shù)據(jù)稱為“層次數(shù)據(jù)”。圖3所示的層次數(shù)據(jù)具有四叉樹(shù)的層次結(jié)構(gòu)，各層由1以上的平鋪圖像38構(gòu)成。 所有的平鋪圖像38形成具有相同像素?cái)?shù)的同一大小，例如具有256X256像素。各層的圖像數(shù)據(jù)用不同的分辨率表現(xiàn)一個(gè)圖像，將具有最高分辨率的第3層次36的原圖像分多個(gè)階段地縮小，生成第2層次34、第1層次32、第0層次30的圖像數(shù)據(jù)。例如第N層次的分辨率(N是0以上的整數(shù))在左右(X軸)方向、上下(Y軸)方向都可以是第(N+1)層次的分辨率的1/2。在圖像處理裝置10，層次數(shù)據(jù)以用設(shè)定的壓縮形式壓縮的狀態(tài)保存在記憶裝置中，在顯示于顯示器中之前從記憶裝置讀出并解碼。本實(shí)施方式的圖像處理裝置10具有對(duì)應(yīng)多個(gè)種類的壓縮形式的解碼功能，例如可解碼S3TC形式、JPEG形式、JPEG2000形式的壓縮數(shù)據(jù)。在層次數(shù)據(jù)中，壓縮處理可以平鋪圖像單位進(jìn)行，也可以在同一層次或包含在多個(gè)層次中的多個(gè)平鋪圖像單位來(lái)進(jìn)行。層次數(shù)據(jù)的層次結(jié)構(gòu)如圖3所示，將左右方向設(shè)定為X軸、上下方向設(shè)定為Y軸、 深度方向設(shè)定為Z軸，形成假想的3維空間。當(dāng)圖像處理裝置10從輸入裝置20提供的圖像變更要求信號(hào)導(dǎo)出顯示圖像的變更量時(shí)，使用該變更量，導(dǎo)出在假想空間的幀的4角的坐標(biāo)(幀坐標(biāo))。在假想空間的幀坐標(biāo)被用于向在后面敘述的主存儲(chǔ)器的下載以及顯示圖像的生成處理。另外，作為假想空間的幀坐標(biāo)的替代物，圖像處理裝置10也可以導(dǎo)出確定層次的信息和在該層次的紋理坐標(biāo)(UV坐標(biāo))。以下，層次確定信息以及紋理坐標(biāo)的組合也稱為幀坐標(biāo)。圖4表示圖像處理裝置10的構(gòu)成。圖像處理裝置10具有無(wú)線接口 40、開(kāi)關(guān)42、 顯示處理單元44、硬盤驅(qū)動(dòng)器50、存儲(chǔ)介質(zhì)安裝單元52、光盤驅(qū)動(dòng)器M、主存儲(chǔ)器60、緩沖存儲(chǔ)器70以及控制單元100。顯示處理單元44具有緩沖顯示在顯示裝置12的顯示器的數(shù)據(jù)的幀存儲(chǔ)器。開(kāi)關(guān)42是以太網(wǎng)開(kāi)關(guān)(以太網(wǎng)是注冊(cè)商標(biāo))，是通過(guò)有線或無(wú)線與外部的機(jī)器連接，進(jìn)行數(shù)據(jù)的傳送接收裝置。開(kāi)關(guān)42通過(guò)電纜14連接外部網(wǎng)絡(luò)，也可以從圖像服務(wù)器接收層次化的壓縮圖像數(shù)據(jù)。另外，開(kāi)關(guān)42連接無(wú)線接口 40，無(wú)線接口 40通過(guò)設(shè)定的無(wú)線通信協(xié)議與輸入裝置20連接。在輸入裝置20，由用戶輸入的圖像變更要求信號(hào)經(jīng)過(guò)無(wú)線接口40、開(kāi)關(guān)42，被提供給控制單元100。硬盤驅(qū)動(dòng)器50具有作為儲(chǔ)存數(shù)據(jù)的記憶裝置的功能。通過(guò)開(kāi)關(guān)42接收到的壓縮圖像數(shù)據(jù)被存儲(chǔ)到硬盤驅(qū)動(dòng)器50。當(dāng)在存儲(chǔ)媒體安裝部52安裝存儲(chǔ)器卡等可拆卸存儲(chǔ)媒體時(shí)，從可拆卸存儲(chǔ)媒體讀取數(shù)據(jù)。當(dāng)讀取專用的ROM盤被安裝時(shí)，光盤驅(qū)動(dòng)器M驅(qū)動(dòng)并識(shí)別ROM盤，讀取數(shù)據(jù)。ROM盤可以是光盤或光磁盤等。壓縮圖像數(shù)據(jù)可以存儲(chǔ)在這些存儲(chǔ)媒體中?？刂茊卧?00具有多核CPU，1個(gè)CPU中具有1個(gè)通用的處理器核心(口七夕寸二 r )、和多個(gè)單純的處理器核心(* > > π七^(guò)寸- )。通用的處理器核心被稱為 PPU (Power Processing Unit)，其余的處理器核心被稱為 SPU (Synergistic-Processing Unit)?？刂茊卧?00具有與主存儲(chǔ)器60以及緩沖存儲(chǔ)器70連接的存儲(chǔ)器控制器。PPU 具有注冊(cè)器，作為演算執(zhí)行主體具有主處理器，將作為執(zhí)行的應(yīng)用程序的基本處理單位的任務(wù)高效率地分配給各SPU。另外，PPU自身也可以執(zhí)行任務(wù)。SPU具有注冊(cè)器，具有作為演算執(zhí)行主體的副處理器和作為本地存儲(chǔ)區(qū)域的本地存儲(chǔ)器。本地存儲(chǔ)器也可以作為緩沖存儲(chǔ)器70使用。主存儲(chǔ)器60以及緩沖存儲(chǔ)器70是記憶裝置，構(gòu)成RAM(隨機(jī)存儲(chǔ)器)。SPU作為制御單元具有專用的DMA (Direct Memory Access)控制器，可以高速進(jìn)行主存儲(chǔ)器60和緩沖存儲(chǔ)器70之間的數(shù)據(jù)傳送，另外，可以實(shí)現(xiàn)在顯示處理單元44中的幀存儲(chǔ)器和緩沖存儲(chǔ)器70之間的高速數(shù)據(jù)傳送。本實(shí)施方式的控制單元100通過(guò)使多個(gè)SPU并列動(dòng)作，實(shí)現(xiàn)高速圖像處理功能。顯示處理單元44與顯示裝置12連接，輸出與用戶的要求對(duì)應(yīng)的圖像處理結(jié)果。為了在進(jìn)行顯示圖像的擴(kuò)大或縮小處理或顯示區(qū)域的移動(dòng)處理時(shí)，順利地變更顯示圖像，本實(shí)施方式的圖像處理裝置10從硬盤驅(qū)動(dòng)器50將根據(jù)后面敘述的規(guī)則決定的壓縮圖像數(shù)據(jù)的一部分下載到主存儲(chǔ)器60。另外，解碼下載到主存儲(chǔ)器60的壓縮圖像數(shù)據(jù)的另一部分，并存儲(chǔ)到緩沖存儲(chǔ)器70。由此，可在后面的需要的時(shí)刻，瞬時(shí)切換用于生成顯示圖像的圖像。圖5示意性地表示本實(shí)施方式的圖像數(shù)據(jù)的流動(dòng)。首先層次數(shù)據(jù)被存儲(chǔ)在硬盤驅(qū)動(dòng)器50。作為硬盤驅(qū)動(dòng)器50的替代物，也可以由安裝在存儲(chǔ)媒體安裝部52或光盤驅(qū)動(dòng)器 54的存儲(chǔ)媒體來(lái)保存?；蛘?，也可以是圖像處理裝置10從通過(guò)網(wǎng)絡(luò)連接的圖像服務(wù)器下載層次數(shù)據(jù)。此處的層次數(shù)據(jù)如上所述，被進(jìn)行了由S3TC形式等的固定長(zhǎng)壓縮、或由JPEG形式等的可變長(zhǎng)壓縮。該層次數(shù)據(jù)中，將一部分的圖像數(shù)據(jù)以壓縮的狀態(tài)下載到主存儲(chǔ)器60 (SlO)。此處下載的區(qū)域可以是現(xiàn)在的顯示圖像的假想空間的近傍、或根據(jù)圖像的內(nèi)容、用戶的瀏覽履歷等預(yù)測(cè)的高頻率地進(jìn)行顯示要求的區(qū)域等、根據(jù)預(yù)定的規(guī)則來(lái)決定。下載不只是在出現(xiàn)了圖像變更要求時(shí)，例如可以設(shè)定的時(shí)間間隔隨時(shí)進(jìn)行。由此，下載處理不會(huì)集中在同一時(shí)刻。下載的壓縮圖像數(shù)據(jù)作為具有一定大小的塊單位。為此，硬盤驅(qū)動(dòng)器50保存的層次數(shù)據(jù)以設(shè)定的規(guī)則先分割為塊。這樣，主存儲(chǔ)器60可高效地進(jìn)行數(shù)據(jù)管理。S卩，壓縮圖像數(shù)據(jù)即使是被可變長(zhǎng)壓縮的數(shù)據(jù)，如果是塊(下面稱為“圖像塊”)單位，由于下載的數(shù)據(jù)的大小幾乎相等，基本上是覆蓋此前存儲(chǔ)在主存儲(chǔ)器60上的某個(gè)塊來(lái)完成新的下載。為此，較難發(fā)生碎片，可以高效使用存儲(chǔ)器，地址管理也變得容易。另外，在存儲(chǔ)于主存儲(chǔ)器60的壓縮圖像數(shù)據(jù)中，對(duì)必須顯示的區(qū)域的圖像、或被預(yù)測(cè)為必須的區(qū)域的圖像的數(shù)據(jù)進(jìn)行解碼，并存儲(chǔ)到緩沖存儲(chǔ)器70(S12)。緩沖存儲(chǔ)器70 至少包含2個(gè)緩沖區(qū)域72、74。各緩沖區(qū)域72、74的大小被設(shè)定為比幀存儲(chǔ)器90大小大， 再?gòu)妮斎胙b置20輸入了圖像變更要求信號(hào)時(shí)，對(duì)于一定程度的量的變更要求，以在緩沖區(qū)域72、74展開(kāi)的圖像數(shù)據(jù)可生成顯示圖像。緩沖區(qū)域72、74 —方面用于保存用于生成顯示圖像的圖像，另一方面用于準(zhǔn)備被預(yù)測(cè)為今后需要的圖像。下面，將前者稱為“顯示用緩沖”，后者稱為“解碼用緩沖”。在圖5 的例子中，緩沖區(qū)域72是顯示用緩沖，緩沖區(qū)域74是解碼用緩沖，在顯示區(qū)域68顯示。通過(guò)前瞻處理存儲(chǔ)在解碼用緩沖中的圖像可以是與存儲(chǔ)在顯示用緩沖中的圖像為同一層次的圖像，也可以是比例系數(shù)不同的另外層次的圖像。另外，存儲(chǔ)在作為顯示用緩沖的緩沖區(qū)域72的圖像中，將顯示區(qū)域68的圖像描繪在幀存儲(chǔ)器90中(S14)。此間，新區(qū)域的圖像根據(jù)需要被解碼，并存儲(chǔ)到緩沖區(qū)域74中。 根據(jù)存儲(chǔ)完成的時(shí)間或顯示區(qū)域68的變更量等，切換顯示用緩沖和解碼用緩沖(S16)。由此，可對(duì)于顯示區(qū)域的移動(dòng)或比例系數(shù)的變更等，順暢地切換顯示圖像。在本實(shí)施方式中，在應(yīng)當(dāng)向解碼用緩沖存儲(chǔ)新的區(qū)域的圖像時(shí)，在存在與此前存儲(chǔ)的已解碼的圖像重復(fù)的區(qū)域的情況下，通過(guò)使用該區(qū)域，使新解碼的區(qū)域最小。具體的方法在后面敘述。圖6詳細(xì)表示控制單元100的構(gòu)成。控制單元100具有取得用戶從輸入裝置20 輸入的信息的輸入信息取得單元102 ；將層次數(shù)據(jù)分割為圖像塊的壓縮數(shù)據(jù)分割單元104 ； 決定應(yīng)當(dāng)新下載的圖像塊的下載塊決定單元106 ；從硬盤驅(qū)動(dòng)器50下載必須的圖像塊的下載單元108。控制單元100還包括描繪顯示圖像的顯示圖像處理單元114 ；進(jìn)行前瞻處理的前瞻處理單元110 ；以及解碼壓縮圖像數(shù)據(jù)的解碼單元112。在圖6中，對(duì)于作為進(jìn)行各種各樣處理的功能塊來(lái)記載的各要素，硬件性的可由 CPU (Central Processing Unit)、存儲(chǔ)器、其它的LSI來(lái)構(gòu)成，程序性的可由下載到存儲(chǔ)器的程序等來(lái)實(shí)現(xiàn)。如上所述，控制單元100具有1個(gè)PPU和多個(gè)SPU，PPU以及SPU可分別單獨(dú)或聯(lián)合構(gòu)成各功能塊。因此，這些功能塊可只由硬件、只由程序、或由這些的組合等各種形式實(shí)現(xiàn)，這對(duì)本領(lǐng)域技術(shù)人員是可以理解的，且任一個(gè)都不是對(duì)發(fā)明的限定。輸入信息取得單元102取得用戶對(duì)輸入裝置20輸入的、關(guān)于圖像顯示的開(kāi)始/結(jié)束、顯示區(qū)域的移動(dòng)、顯示圖像的擴(kuò)大或縮小等的指示內(nèi)容。壓縮數(shù)據(jù)分割單元104從硬盤驅(qū)動(dòng)器50等讀取層次數(shù)據(jù)，根據(jù)后面敘述的設(shè)定的規(guī)則進(jìn)行分割，生成圖像塊，并存儲(chǔ)到硬盤驅(qū)動(dòng)器50。例如當(dāng)用戶對(duì)輸入裝置20選擇存儲(chǔ)在硬盤驅(qū)動(dòng)器50中的層次數(shù)據(jù)的其中一個(gè)時(shí)，從輸入信息取得單元102取得該信息，并開(kāi)始分割處理。另外，壓縮數(shù)據(jù)分割單元104可以不和控制單元100的其他功能在相同的裝置內(nèi)， 也可以在生成層次數(shù)據(jù)的階段分割。具體的分割方法將在后面敘述，根據(jù)硬盤驅(qū)動(dòng)器50的速度或主存儲(chǔ)器60的容量等硬件性能不同，壓縮數(shù)據(jù)分割單元104進(jìn)行的塊分割的方法可以不同。為此，進(jìn)行預(yù)先設(shè)定，使得在壓縮數(shù)據(jù)分割單元104進(jìn)行適應(yīng)于圖像處理裝置10具有的硬件性能的最合適的塊分割。下載塊決定單元106確認(rèn)是否有應(yīng)從硬盤驅(qū)動(dòng)器50向主存儲(chǔ)器60的新的下載圖像塊，并決定下一個(gè)下載圖像塊，向下載單元108發(fā)出下載要求。下載塊決定單元106在下載單元108未進(jìn)行下載處理的狀態(tài)，以例如設(shè)定的時(shí)間間隔、或用戶進(jìn)行了圖像的變更要求時(shí)，以設(shè)定時(shí)間進(jìn)行上述確認(rèn)和決定的處理。下載單元108根據(jù)來(lái)自下載塊決定單元106 的要求，進(jìn)行實(shí)際下載處理。在用戶進(jìn)行了顯示圖像的變更要求時(shí)，如果包含變更目的地的圖像區(qū)域的圖像塊沒(méi)有存儲(chǔ)在主存儲(chǔ)器60，有必要在一次進(jìn)行從硬盤驅(qū)動(dòng)器50的圖像塊的下載、必要區(qū)域的解碼、顯示圖像的描繪等處理。此時(shí)、下載處理成為瓶頸，可以認(rèn)為對(duì)用戶的要求的響應(yīng)速度受到損失。在本實(shí)施方式中，(1)以覆蓋今后顯示的可能性高的區(qū)域的方式，先下載圖像塊，( 以下載處理不集中在一時(shí)而是隨時(shí)下載的方針進(jìn)行下載。由此，下載處理妨礙顯示圖像的變更處理的事情減少。下載的圖像塊的決定順序?qū)⒃诤竺鏀⑹?。前瞻處理單?10根據(jù)現(xiàn)在的顯示圖像的幀坐標(biāo)和用戶輸入的顯示圖像變更要求的信息，預(yù)測(cè)對(duì)將來(lái)顯示圖像的描繪可能必須的圖像區(qū)域，將該信息提供給解碼單元 112。但是，在緊隨圖像顯示開(kāi)始后，或用在緩沖存儲(chǔ)器70中已存儲(chǔ)的圖像不能描繪變更目的地的圖像時(shí)等，不進(jìn)行預(yù)測(cè)，將包含對(duì)該時(shí)點(diǎn)的顯示圖像的描繪所必須的圖像的設(shè)定區(qū)域的信息提供給解碼單元112。解碼單元112根據(jù)從前瞻處理單元110取得的圖像區(qū)域的信息，從主存儲(chǔ)器60讀取壓縮圖像數(shù)據(jù)的一部分并解碼，將解碼后的數(shù)據(jù)存儲(chǔ)到解碼用緩沖或顯示用緩沖。顯示圖像處理單元114根據(jù)用戶輸入的顯示圖像變更要求，決定新的顯示圖像的幀坐標(biāo)，從緩沖存儲(chǔ)器70的顯示用緩沖讀取對(duì)應(yīng)的圖像數(shù)據(jù)，描繪到顯示處理單元44的幀存儲(chǔ)器90。下面，對(duì)將層次數(shù)據(jù)分割為圖像塊的方法進(jìn)行說(shuō)明。圖7詳細(xì)表示壓縮數(shù)據(jù)分割單元104的構(gòu)成。壓縮數(shù)據(jù)分割單元104包括識(shí)別號(hào)碼賦予單元120、圖像塊生成單元122。 識(shí)別號(hào)碼賦予單元120以對(duì)構(gòu)成層次數(shù)據(jù)的各層的平鋪圖像設(shè)定的順序，從0開(kāi)始順序地賦予識(shí)別號(hào)碼。圖像塊生成單元122直到數(shù)據(jù)大小的合計(jì)超過(guò)設(shè)定的大小之前，按識(shí)別號(hào)碼順序匯集(t i ^ 3 )平鋪圖像，生成圖像塊。圖8示意性地表示層次數(shù)據(jù)中的各層的圖像。層次數(shù)據(jù)與圖3相同，由第0層次 30a、第1層次32a、第2層次34a、以及第3層次36a的圖像組成。并且在各層的圖像中，用實(shí)線分開(kāi)的區(qū)域的每一個(gè)是平鋪圖像。如該圖所示，識(shí)別號(hào)碼賦予單元120對(duì)各平鋪圖像賦予識(shí)別號(hào)碼。例如第0層次30a的圖像由1個(gè)平鋪圖像構(gòu)成，將識(shí)別號(hào)碼設(shè)為“0”。第1 層次32a、第2層次:34a、第3層次36a分別將從“1”和“2”、“3”，從“8”、“9”到“44”的識(shí)別號(hào)碼賦予各平鋪圖像。在圖8的例子中，賦予識(shí)別號(hào)碼的順序作為柵格順序表示，但也可如后面敘述那樣是這以外的順序。圖9示意性地表示圖像塊生成單元122將圖8的層次數(shù)據(jù)匯集為圖像塊的情況。 如上所述，圖像塊生成單元122從識(shí)別號(hào)碼小的一側(cè)開(kāi)始分割平鋪圖像，使得以不超過(guò)設(shè)定的數(shù)據(jù)大小的最大數(shù)的平鋪圖像構(gòu)成圖像塊。在該圖中，將此時(shí)的“設(shè)定的數(shù)據(jù)大小”作為“基本塊大小”以箭頭的范圍表示。在該圖的例子中，從識(shí)別號(hào)碼“0”至“5”的平鋪圖像匯集到圖像塊2、從“6”到“8”的平鋪圖像匯集到圖像塊4，這樣地匯集圖像塊，從“41”到“44”的平鋪圖像成為最終的圖像塊6。各圖像塊由頂頭的平鋪圖像的識(shí)別號(hào)碼和包含的平鋪圖像的數(shù)量來(lái)識(shí)別。因此，圖像塊2具有(0，6)、圖像塊4具有(6，3)、圖像塊6具有01，4)組成的識(shí)別信息。如這樣定義識(shí)別信息，可以容易判定某個(gè)平鋪圖像是否包含在某個(gè)圖像塊中。即，不論是怎樣的塊分割方法，只是識(shí)別識(shí)別號(hào)碼的范圍，即可確定包含在圖像塊中的平鋪圖像。圖像塊的識(shí)別信息與對(duì)應(yīng)的壓縮圖像數(shù)據(jù)的硬盤驅(qū)動(dòng)器50中的存儲(chǔ)區(qū)域的信息相對(duì)應(yīng)地存儲(chǔ)在硬盤驅(qū)動(dòng)器50中。這樣，如果將壓縮圖像數(shù)據(jù)分割成幾乎同樣大小的圖像塊，如上所述，即使將下載的圖像塊存儲(chǔ)到主存儲(chǔ)器60內(nèi)的連續(xù)的區(qū)域，對(duì)一個(gè)圖像塊而言可用此后下載的圖像塊來(lái)覆蓋，來(lái)進(jìn)行存儲(chǔ)，可抑制碎片的發(fā)生，高效地使用主存儲(chǔ)器。如上所述，在對(duì)識(shí)別號(hào)碼順序設(shè)定圖像塊的分割時(shí)，根據(jù)對(duì)識(shí)別號(hào)碼的平鋪圖像的賦予順序，分割原圖像的方法大不相同。以下說(shuō)明幾個(gè)例子。圖10是用于說(shuō)明本實(shí)施方式中的塊分割方法的原圖像的例子。另外，圖10 14表示灰度，實(shí)際可以是全彩色。原圖像200具有例如92323X34630像素，將其分割為361X136個(gè)平鋪圖像。圖11 14將基礎(chǔ)塊大小作為IM字節(jié)，用各種各樣的識(shí)別號(hào)碼的賦予順序，表示分割了圖10的原圖像200的情況。為了容易分別圖像塊的邊界，各圖像使每個(gè)圖像塊灰度的濃淡不同。圖11表示像圖8那樣對(duì)于平鋪圖像按柵格順序賦予識(shí)別號(hào)碼時(shí)的分割的情況。柵格順序分割圖像202將平鋪圖像分割成在橫方向匯集的形式圖像塊。在擴(kuò)大圖像 204表示的寬度206是圖像塊的縱方向的長(zhǎng)度。橫方向的長(zhǎng)度根據(jù)包含在圖像塊的平鋪圖像的壓縮后的數(shù)據(jù)大小而變化，有時(shí)一個(gè)圖像塊跨多個(gè)行的平鋪圖像。如果是圖11那樣的識(shí)別號(hào)碼的賦予順序，則賦予本身的處理變得容易。另外，如這樣地進(jìn)行塊分割，則一個(gè)圖像塊保存的信息在橫方向變多。為此，在圖像的內(nèi)容上、當(dāng)使顯示區(qū)域在橫方向移動(dòng)較多時(shí)，可用少的下載次數(shù)，將可覆蓋移動(dòng)后的顯示區(qū)域的圖像塊存儲(chǔ)到主存儲(chǔ)器60。另一方面，當(dāng)顯示區(qū)域的移動(dòng)沒(méi)有那樣的特征時(shí)，為了生成一個(gè)顯示圖像，需要下載多個(gè)圖像塊，較多地取得距顯示圖像較遠(yuǎn)處的無(wú)用的信息，效率變差。圖12表示以“Z形狀”的順序?qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割情況。在此，所謂 "Z形狀”的順序，如同圖的識(shí)別號(hào)碼賦予例212的掃描順序214中表示的那樣，是在圖像的橫方向(X方向)和縱方向(Y方向)交互增量(4 >々U J >卜)的順序。于是，如同圖中記載的數(shù)字那樣，賦予識(shí)別號(hào)碼。如按該順序匯集圖像塊，則分割成Z形狀順序分割圖像 208那樣的圖像塊。在擴(kuò)大圖像210，一個(gè)圖像塊具有圖像塊216那樣的形狀。S卩，在該方法中，以某個(gè)平鋪圖像為始點(diǎn)，以在橫方向、縱方向按每個(gè)同樣量擴(kuò)大的方式賦予識(shí)別號(hào)碼，因此，此時(shí)的圖像塊216成為接近正方形的形狀。詳細(xì)的形狀以及大小依存于包含在各圖像塊中的平鋪圖像的壓縮后的數(shù)據(jù)大小。如按圖12那樣地進(jìn)行塊分割，1個(gè)圖像塊具有的信息的空間局部性變好，生成顯示圖像或其近傍的區(qū)域的圖像所需的圖像塊與圖11時(shí)相比變少。無(wú)用的區(qū)域的信息較難下載，主存儲(chǔ)器60的使用效率提高。圖13表示以正方形的大平鋪?lái)樞驅(qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割的情況。此處所謂“大平鋪”是指由多個(gè)平鋪圖像構(gòu)成的矩形，預(yù)先設(shè)定包含在縱、橫方向的平鋪圖像的數(shù)量。圖12的例子可以認(rèn)為是將由2X2個(gè)平鋪圖像構(gòu)成的大平鋪遞歸形成的。在圖13 中，如在大平鋪222所示，將8 X 8個(gè)平鋪圖像構(gòu)成的正方形作為1個(gè)大平鋪。并且，在大平鋪222內(nèi)以箭頭方向，S卩，柵格順序賦予識(shí)別號(hào)碼。由此，如該圖中記載的數(shù)字那樣，對(duì)各平鋪圖像賦予識(shí)別號(hào)碼。對(duì)1個(gè)大平鋪完成賦予識(shí)別號(hào)碼后，對(duì)所有的大平鋪按柵格順序進(jìn)行同樣的賦予。如按該順序匯集圖像塊，分割成正方形大平鋪?lái)樞蚍指顖D像218那樣的圖像塊。 即，此時(shí)的圖像塊具有在橫方向匯集大塊的形狀。在擴(kuò)大圖像220，大平鋪222的一邊的長(zhǎng)度、或其整數(shù)倍成為圖像塊的縱方向的長(zhǎng)度。橫方向的長(zhǎng)度根據(jù)包含在各圖像塊中的平鋪圖像的壓縮后的數(shù)據(jù)大小而變化。在像圖13那樣地進(jìn)行了塊分割時(shí)也和圖12時(shí)相同，可以減少生成顯示圖像或其近傍的區(qū)域的圖像所需的圖像塊數(shù)，提高下載效率。圖14表示以長(zhǎng)方形大平鋪?lái)樞驅(qū)ζ戒亪D像賦予識(shí)別號(hào)碼時(shí)的分割情況。長(zhǎng)方形大平鋪只設(shè)定包含在橫方向的平鋪圖像的數(shù)量，縱方向是無(wú)限制的大平鋪。在圖14的情況下，如大平鋪230所示，橫方向由16個(gè)平鋪圖像構(gòu)成。在大平鋪230內(nèi)，在箭頭的方向、即柵格順序賦予識(shí)別號(hào)碼。由此，如記載在該圖中的數(shù)字那樣，向各平鋪圖像賦予識(shí)別號(hào)碼。 如賦予識(shí)別號(hào)碼到原圖像的下端，則對(duì)位于其右的大平鋪進(jìn)行，按柵格順序?qū)φ麄€(gè)大平鋪進(jìn)行同樣的賦予。如以該順序匯集圖像塊，分割成長(zhǎng)方形大平鋪?lái)樞蚍指顖D像2M那樣的圖像塊。 即，此時(shí)的圖像塊具有將縱向一列的大平鋪根據(jù)平鋪圖像壓縮后的數(shù)據(jù)大小在中途分割的形狀。根據(jù)情況，有時(shí)跨多個(gè)列的大平鋪。在擴(kuò)大圖像226，大平鋪的寬度228、或其整數(shù)倍成為圖像塊的橫方向的寬度。在圖像塊的分割部分的邊界線的詳細(xì)的形狀也根據(jù)平鋪圖像壓縮后的數(shù)據(jù)大小而變化。圖14那樣地進(jìn)行了塊分割時(shí)也和圖12、13時(shí)同樣地，用于生成顯示圖像或其近傍區(qū)域的圖像所需的圖像塊的數(shù)量得到抑制，下載效率得到提高。如上所述，根據(jù)賦予識(shí)別號(hào)碼的順序和基本塊大小不同，圖像塊的形狀、大小、包含的信息也大不相同。因此，圖像的內(nèi)容和類型、例如根據(jù)是風(fēng)景照片還是報(bào)紙等的文字圖像等，最高效地求得取得數(shù)據(jù)的可能的條件，也可以根據(jù)實(shí)際的圖像進(jìn)行選擇。另外，如前所述，也可以根據(jù)硬件的構(gòu)成，選擇最合適的方法。如上所述地分割圖像的結(jié)果，得到的圖像塊是以幾乎平均的數(shù)據(jù)大小匯集的平鋪圖像，其面積依存于如上所述地構(gòu)成的平鋪圖像壓縮后的數(shù)據(jù)大小。在圖10的原圖像200， 圖像的上半部分在空白區(qū)域色比較平均，高周波成分少，壓縮率高。另一方面，原圖像200 的中央付近由于有建造物，色的變化較大，高周波成分多，所以壓縮率低。因此，原圖像200 中，具有上半部分的平鋪圖像的壓縮后數(shù)據(jù)大小比中央付近的數(shù)據(jù)要小的趨勢(shì)。在此基礎(chǔ)上，如看例如圖14的長(zhǎng)方形大平鋪?lái)樞蚍指顖D像124，具有上半部分圖像塊的面積比中央付近的圖像塊大的趨勢(shì)。其他的分割圖像也同樣。即，在本實(shí)施方式中， 不是單純地將圖像的面積平均地分割，而是根據(jù)數(shù)據(jù)大小進(jìn)行分割。這樣，對(duì)于每單位面積的數(shù)據(jù)大小較小的區(qū)域，用一次下載可將大面積的壓縮數(shù)據(jù)存儲(chǔ)到主存儲(chǔ)器60，在存儲(chǔ)器內(nèi)需要管理的塊數(shù)減少，管理變得容易，下載效率得到提高。在圖12表示的Z形狀順序分割圖像208的例子中，通過(guò)按Z形狀賦予識(shí)別號(hào)碼， 使圖像塊接近正方形，提高空間局部性。在該圖的例子中，當(dāng)賦予完識(shí)別號(hào)碼的平鋪圖像達(dá)到設(shè)定的大小的正方形時(shí)，從新的始點(diǎn)賦予識(shí)別號(hào)碼，將該始點(diǎn)在原圖像200內(nèi)配置成矩陣狀。為此，成為圖像塊的邊界線幾乎相互正交的格子狀。另一方面，也可以設(shè)法使圖像塊的邊界線不成為格子狀。圖15示意性地表示圖像塊的邊界線形成為格子狀時(shí)的、圖像塊和顯示圖像的描繪區(qū)域的關(guān)系。在原圖像的一區(qū)域132，圖像塊13 形成橫3個(gè)、縱2個(gè)的矩陣狀，其邊界線為格子狀。當(dāng)進(jìn)行這樣的塊分割，如該圖所示，當(dāng)描繪區(qū)域136a在包含格子的交點(diǎn)那樣的位置時(shí)，需要描繪的圖像塊變?yōu)?個(gè)。圖16示意性地表示當(dāng)圖像塊邊界線為T字路形狀時(shí)，圖像塊和顯示圖像的描繪區(qū)域的關(guān)系。在原圖像的一區(qū)域238，圖像塊134b的縱方向的邊界線根據(jù)不同的行錯(cuò)開(kāi)地配置，其結(jié)果，邊界線成為T字路形狀。當(dāng)進(jìn)行這樣的塊分割時(shí)，如該圖所示，描繪區(qū)域136b 即使跨邊界線，描繪所需的圖像塊最大為3個(gè)，與圖15的情況相比，下載的效率更高。為了這樣地進(jìn)行圖像塊的配置，例如，不要將上述的識(shí)別號(hào)碼賦予的始點(diǎn)配置成矩陣狀，而是按行錯(cuò)開(kāi)地配置即可。至此敘述的塊分割的方法都是對(duì)同一層次的圖像進(jìn)行的。另一方面，也可以通過(guò)跨多個(gè)層次地賦予識(shí)別號(hào)碼，在一個(gè)圖像塊包含多個(gè)層次平鋪圖像的信息。這樣，不只是在同一層次的圖像上的顯示區(qū)域的移動(dòng)，即使對(duì)顯示圖像的擴(kuò)大或縮小，也可以減少下載的次數(shù)。此時(shí)，可以將多個(gè)層次平鋪圖像簡(jiǎn)單地進(jìn)行同樣的壓縮后作為圖像塊來(lái)匯集，利用分辨率不同的相同圖像之間的冗余(冗長(zhǎng)性)，使用一方的圖像對(duì)另一方的圖像進(jìn)行還原，提高壓縮率。在本實(shí)施方式中，由于包含在一個(gè)圖像塊中的信息總是成套被下載，使這樣的方法成為可能。例如、對(duì)將低分辨率圖像擴(kuò)大到高分辨率圖像的倍數(shù)的圖像、和實(shí)際的高分辨率圖像的差分圖像進(jìn)行壓縮，與低分辨率圖像的壓縮數(shù)據(jù)一起包含到圖像塊中。此時(shí)，以低分辨率圖像、差分圖像的順序匯集圖像塊，當(dāng)成為不超過(guò)基礎(chǔ)塊大小的最大的數(shù)據(jù)大小時(shí)，形成下一個(gè)圖像塊。圖17是用于說(shuō)明將高分辨率圖像作為和低分辨率圖像的擴(kuò)大圖像的差分圖像來(lái)壓縮的方法的圖。本處理由壓縮數(shù)據(jù)分割單元104來(lái)進(jìn)行，也可以在生成層次數(shù)據(jù)階段，與圖像顯示相關(guān)的其他處理分開(kāi)進(jìn)行。首先，分別讀取在層次數(shù)據(jù)139中的第2層次34以及第3層次36的原圖像(S20、S22)。在該例中，如該圖所示，第3層次圖像36b是將第2層次圖像34b在縱向以及橫向擴(kuò)大2倍后的圖像。這些圖像中，對(duì)第2層次圖像34b的平鋪圖像中的幾個(gè)進(jìn)行通常的壓縮(SM)。接著，作為代替對(duì)第3層次圖像36b的對(duì)應(yīng)的平鋪圖像的壓縮，對(duì)與將該平鋪圖像和第2層次圖像34b的平鋪圖像擴(kuò)大2X2倍的圖像的差分圖像進(jìn)行壓縮(S26)。此時(shí)，第2層次圖像34b中的壓縮對(duì)象的平鋪圖像與在圖11 14舉例表示的一樣，作為以成為幾乎相同大小的數(shù)據(jù)的方式分割原圖像而成的區(qū)域的平鋪圖像等，或者作為預(yù)先確定的數(shù)量的平鋪圖像，如上所述地在形成圖像塊的階段，平均地調(diào)整數(shù)據(jù)大小。其結(jié)果，生成第2層次圖像34b的壓縮數(shù)據(jù)140和差分圖像的壓縮數(shù)據(jù)142。在該圖中，為了容易理解，壓縮數(shù)據(jù)也用圖像來(lái)表現(xiàn)，為了表示差分圖像的壓縮數(shù)據(jù)142是差分，表示為陰影圖像。將這些壓縮數(shù)據(jù)包含在一個(gè)圖像塊144中。另外，在該例中圖示成只有第2層次圖像34b和第3層次圖像36b的一個(gè)組合在圖像塊144中，也可以同樣地包含 3個(gè)以上的層次的圖像。即，最低分辨率的圖像直接壓縮，高分辨率的圖像由與上一個(gè)層次的圖像的差分圖像來(lái)表現(xiàn)。另外，也可以將具有這樣的依存關(guān)系的壓縮數(shù)據(jù)的多個(gè)組包含在圖像塊144中。這樣生成的圖像塊144存儲(chǔ)在硬盤驅(qū)動(dòng)器50中。并且，下載單元108根據(jù)需要下載到主存儲(chǔ)器60中。此后，根據(jù)前瞻處理單元110等的判斷由解碼單元112進(jìn)行解碼。此時(shí)、第2層次圖像34b的壓縮數(shù)據(jù)140用通常的處理來(lái)解碼，成為第2層次圖像34b (S28)。 另一方面，差分圖像的壓縮數(shù)據(jù)142首先按通常方式解碼后(S30)，將解碼的第2層次圖像 34b與擴(kuò)大了 2X2倍的圖像結(jié)合(足合h # 3 ) (S32、S34)，成為第3層次圖像36b。在上述的例子中，將與低分辨率圖像的擴(kuò)大圖像的差分圖像作為高分辨率圖像的數(shù)據(jù)進(jìn)行壓縮，但也可以相反地，利用高分辨率圖像作成低分辨率圖像。例如也可以將高分辨率圖像子波壓縮(々-一 O 7卜)，并存儲(chǔ)到硬盤驅(qū)動(dòng)器50，根據(jù)需要，下載到主存儲(chǔ)器60后，解碼單元112生成該高分辨率圖像的壓縮圖像的低通圖像，作為低分辨率圖像。同樣地，也可以JPEG壓縮高分辨率圖像，去掉高周波成分，作為低分辨率圖像?；驂嚎s這樣生成的低分辨率圖像與原來(lái)的低分辨率圖像的差分圖像，包含到同一個(gè)圖像塊中，與上述同樣地，也可以通過(guò)加算差分圖像，還原低分辨率圖像?；蛴山鹱炙^(guò)濾器從2X2的像素群求得1像素。通過(guò)這些方法，可以實(shí)現(xiàn)向主存儲(chǔ)器60的下載時(shí)間的縮短，有效利用主存儲(chǔ)器60的區(qū)域。下面決定應(yīng)從存儲(chǔ)在硬盤驅(qū)動(dòng)器50的圖像塊下載到主存儲(chǔ)器60的圖像塊，說(shuō)明下載方法。圖18是表示決定應(yīng)下載的圖像塊，并實(shí)施下載的處理順序的流程圖。該處理以例如設(shè)定的時(shí)間間隔隨時(shí)進(jìn)行。首先下載塊決定單元106識(shí)別下載單元108現(xiàn)在是否是在下載中(S40)。如果是下載中，結(jié)束處理(S40的Y)。如果不是下載中(S40的N)，對(duì)于后面敘述的圖像上的區(qū)域，判定在主存儲(chǔ)器60中是否有該當(dāng)?shù)臄?shù)據(jù)(S42)。為此，將例如存儲(chǔ)在主存儲(chǔ)器60中的圖像塊的識(shí)別信息，S卩，由頂頭的平鋪圖像的識(shí)別號(hào)碼和平鋪圖像的數(shù)量構(gòu)成的信息，和與該頂頭地址相對(duì)應(yīng)的表存儲(chǔ)到主存儲(chǔ)器60。并且根據(jù)必要的平鋪圖像的識(shí)別號(hào)碼，通過(guò)檢索該表，可以判定有無(wú)數(shù)據(jù)。在此，判定對(duì)象的區(qū)域可以是1個(gè)平鋪圖像，也可以包含多個(gè)平鋪圖像。將這些區(qū)域稱為“必要區(qū)域”。如果必要區(qū)域中存在沒(méi)有下載到主存儲(chǔ)器60的區(qū)域(S44的Y)，則從包含在該區(qū)域中的平鋪圖像的識(shí)別號(hào)碼和圖像塊的識(shí)別信息，確定包含該區(qū)域的圖像塊，將其作為下載對(duì)象來(lái)決定(S46)。此時(shí)，在必須下載多個(gè)圖像塊的情況產(chǎn)生時(shí)，根據(jù)預(yù)先確定的規(guī)則，將優(yōu)先度高的圖像塊作為下載對(duì)象來(lái)決定。即，在1次下載處理中，不一次下載多的圖像塊。一次下載的圖像塊越多，下載所要的時(shí)間增加，其間如用戶作出顯示圖像的變更要求，必要區(qū)域發(fā)生變化，此時(shí)的下載處理可能力5成為徒勞。為了回避這樣的事情發(fā)生，下載塊決定單元106隨時(shí)決定應(yīng)下載的圖像塊，將1度下載的圖像塊制限在1個(gè)、或設(shè)定的數(shù)量以內(nèi)。如下載塊決定單元106決定了下載對(duì)象，下載單元108根據(jù)將圖像塊的識(shí)別信息和存儲(chǔ)區(qū)域?qū)?yīng)起來(lái)的表，從硬盤驅(qū)動(dòng)器50讀取是下載對(duì)象的圖像塊，并存儲(chǔ)到主存儲(chǔ)器 60 (S48)。在S44，當(dāng)必要區(qū)域全體被存儲(chǔ)到主存儲(chǔ)器60，則結(jié)束處理(S44的N)。圖19是在S42、決定作為判定在主存儲(chǔ)器60中是否存儲(chǔ)了必要區(qū)域的數(shù)據(jù)的對(duì)象的必要區(qū)域時(shí)的概念圖。在主存儲(chǔ)器60，最好是基本上現(xiàn)在顯示的區(qū)域的周邊的圖像的壓縮數(shù)據(jù)已經(jīng)下載。此處的“周邊”，可以包含同一層次的圖像中的上下左右(X軸、Y軸)方向和層次結(jié)構(gòu)的深度(Z軸)方向的周邊。所謂Z軸方向的周邊是指包括顯示圖像以及其近傍的擴(kuò)大圖像以及縮小圖像。
圖19表示從上開(kāi)始第n-1層次、第η層次、第η+1層次的圖像的一部分，在各圖像內(nèi)表示有平鋪圖像。在各層表示的圖像在中心線1 表示同一處。并且第η層次的圖像的中央付近的區(qū)域150是現(xiàn)在顯示的區(qū)域，必要區(qū)域例如是包含黑圓15加、152b、152c等的區(qū)域。即，在作為顯示圖像的層次的第η層次的圖像中，將顯示圖像的區(qū)域150內(nèi)的中心(中心線154的地點(diǎn))以及四角的地點(diǎn)、和包含將區(qū)域150向上下左右延伸的矩形的各邊的中點(diǎn)和四角的地點(diǎn)的平鋪圖像作為必要區(qū)域。另一方面，在與顯示圖像相鄰的層次、即第n-1層次和第η+1層次的圖像中，將包含中心線154的地點(diǎn)和以其為重心的設(shè)定大小的矩形的四角的地點(diǎn)的平鋪圖像作為必要區(qū)域。此時(shí)的矩形可以是與顯示圖像的矩形的大小相當(dāng)?shù)拇笮?。即使顯示區(qū)域移動(dòng)，如果總是包含這樣的地點(diǎn)的圖像塊下載到主存儲(chǔ)器60，則可以順利進(jìn)行解碼以及描繪，對(duì)用戶提出的圖像變更要求的響應(yīng)速度得到加快。圖19中表示的地點(diǎn)只是示例，根據(jù)圖像的內(nèi)容或圖像處理裝置10的處理性能、主存儲(chǔ)器60的容量等，也可以增減數(shù)量，變化配置形狀。另外，也可以根據(jù)圖像的內(nèi)容上的重要區(qū)域或同一用戶的顯示履歷，不管顯示圖像的變化而優(yōu)先下載過(guò)去高頻率顯示的區(qū)域或被認(rèn)為與用戶的嗜好相一致的區(qū)域。此處的“重要區(qū)域”是指例如，如果是人物的圖像，則指面部付近，如果是電子廣告則是指特色商品等的顯示區(qū)域。另外，所謂用戶的嗜好是指， 如果是報(bào)紙的圖像，則指用戶經(jīng)常閱讀的欄目等。這樣的區(qū)域在圖18的S46，即使在產(chǎn)生下載多個(gè)圖像塊的必要性時(shí)，也給與高的優(yōu)先度，進(jìn)行下載。也可以在開(kāi)始圖像顯示的階段先下載。關(guān)于在圖18的S46的優(yōu)先度，在此之外，還可以準(zhǔn)備例如下面的規(guī)則。首先，從與顯示圖像在同一層次內(nèi)的圖像塊，到其它層次，即，優(yōu)先擴(kuò)大圖像以及縮小圖像的圖像塊。 這是由于在同一層次內(nèi)的顯示區(qū)域的移動(dòng)時(shí)、由存儲(chǔ)在緩沖存儲(chǔ)器70的2個(gè)緩沖區(qū)域72 以及74的解碼圖像來(lái)處理的可能性變高，而在層次間的移動(dòng)，必須全部更新緩沖存儲(chǔ)器70 的解碼圖像的可能性變高。但是，在往復(fù)于2個(gè)層次之間時(shí)，有時(shí)靠緩沖存儲(chǔ)器70來(lái)補(bǔ)充。層次深，S卩，優(yōu)先擴(kuò)大圖像的圖像塊，層次淺，S卩，優(yōu)先縮小圖像的圖像塊。這是因?yàn)榧词箾](méi)有來(lái)得及下載、解碼，擴(kuò)大圖像通過(guò)將縮小圖像擴(kuò)大，也可以容易進(jìn)行臨時(shí)的對(duì)應(yīng)，但反過(guò)來(lái)就比較困難。圖20是用于說(shuō)明前瞻處理單元110進(jìn)行的前瞻處理的圖。圖20表示了層次數(shù)據(jù)的結(jié)構(gòu)，各層表示為L(zhǎng)O (第0層次)、Ll (第1層次)、L2 (第2層次)、L3 (第3層次)。箭頭80表示來(lái)自用戶的圖像變更要求是要求縮小顯示圖像，是跨越L 2的情況。在本實(shí)施方式的圖像處理裝置10中，將原來(lái)的圖像數(shù)據(jù)所存在的L1、L2的深度方向的位置作為深度方向的前瞻邊界來(lái)設(shè)定，在從輸入裝置20來(lái)的圖像變更要求超過(guò)前瞻邊界的時(shí)刻，開(kāi)始前瞻處理。當(dāng)顯示圖像的比例系數(shù)在L2的近傍時(shí)，使用L2(第2層次)的圖像，制作顯示圖像。具體地說(shuō)，顯示的圖像的比例系數(shù)在Ll的圖像和L2的圖像的切換邊界82、以及L2的圖像和L3的圖像的切換邊界84之間時(shí)，縮小、擴(kuò)大L2的圖像，生成顯示圖像。因此，如箭頭80所示，當(dāng)圖像的縮小處理被要求時(shí)，從L2的擴(kuò)大圖像變換為縮小圖像來(lái)顯示。本實(shí)施方式的圖像處理裝置10確定根據(jù)圖像變更要求來(lái)預(yù)測(cè)的將來(lái)必要的圖像，從主存儲(chǔ)器60 讀取并解碼。在圖20的例子中，根據(jù)圖像變更要求的要求比例系數(shù)跨越L2時(shí)，將在縮小方向的Ll的圖像從主存儲(chǔ)器60前瞻解碼，寫(xiě)入緩沖存儲(chǔ)器70。在同一層次的上下左右方向的前瞻處理也是同樣處理。具體地說(shuō)，對(duì)存儲(chǔ)在緩沖存儲(chǔ)器70的圖像數(shù)據(jù)設(shè)定前瞻邊界，在根據(jù)圖像變更要求的顯示位置跨越前瞻邊界時(shí)，開(kāi)始前瞻處理。圖21是表示前瞻處理單元110以及解碼單元112進(jìn)行圖像的解碼時(shí)的處理順序的流程圖。首先，根據(jù)來(lái)自輸入裝置20的圖像變更要求信號(hào)，導(dǎo)出被要求的顯示圖像的變更量(S50)。顯示圖像的變更量是上下左右方向的移動(dòng)量以及深度方向的移動(dòng)量。接著，從層次結(jié)構(gòu)中的此前的顯示區(qū)域的四角的幀坐標(biāo)，根據(jù)導(dǎo)出的變更量，決定移動(dòng)目的地的顯示區(qū)域的四角的幀坐標(biāo)(S52)。用于顯示由決定的四角的幀坐標(biāo)確定的區(qū)域的圖像區(qū)域已經(jīng)被解碼，判定存儲(chǔ)在緩沖存儲(chǔ)器70的緩沖區(qū)域72或緩沖區(qū)域74某一個(gè)中(SM)。在緩沖區(qū)域72或緩沖區(qū)域74中已經(jīng)存在必要的圖像區(qū)域時(shí)(SM的Y)，判定被要求的比例系數(shù)是否超越前瞻邊界 (S56)。如果沒(méi)有超越前瞻邊界，緩沖存儲(chǔ)器70直接結(jié)束處理。當(dāng)用于顯示由在S52決定的四角的幀坐標(biāo)確定的區(qū)域的圖像區(qū)域在緩沖存儲(chǔ)器 70中不存在時(shí)(SM的N)，以及被要求的比例系數(shù)超過(guò)前瞻邊界時(shí)(S56的Y)，前瞻處理單元110對(duì)解碼單元112指示必要的圖像區(qū)域的解碼。解碼單元112從主存儲(chǔ)器60取得被指示的圖像區(qū)域的數(shù)據(jù)，進(jìn)行解碼，并存儲(chǔ)到緩沖區(qū)域72或緩沖區(qū)域74(S60)。由此，在由顯示圖像處理單元114生成顯示圖像之前，可將必要的圖像區(qū)域展開(kāi)到緩沖存儲(chǔ)器70。在存儲(chǔ)在顯示用緩沖中的圖像的一部被顯示時(shí)，在解碼用緩沖中成為下一個(gè)所需的圖像是、在同一層次內(nèi)移動(dòng)，例如，當(dāng)顯示區(qū)域跨越前瞻邊界時(shí)，該顯示區(qū)域包含在移動(dòng)方向的始點(diǎn)側(cè)一端那樣的圖像。此時(shí)，存儲(chǔ)在緩沖區(qū)域72以及緩沖區(qū)域74的圖像至少具有顯示圖像的大小的重復(fù)區(qū)域，并且根據(jù)前瞻邊界的設(shè)定位置，重復(fù)區(qū)域增加。當(dāng)超越前瞻邊界時(shí)，應(yīng)新解碼的圖像的范圍根據(jù)處理速度等預(yù)先設(shè)定。也可以根據(jù)圖像的內(nèi)容使其變化。如上所述，當(dāng)使用解碼用緩沖時(shí)，有可能新存儲(chǔ)的圖像和此前存儲(chǔ)在解碼用緩沖中的圖像的一部分重復(fù)。利用這種性質(zhì)，在本實(shí)施方式中，通過(guò)下面所述的處理，減少新解碼的區(qū)域，減輕解碼處理的負(fù)荷。圖22表示在緩沖存儲(chǔ)器70的解碼用緩沖中，應(yīng)新存儲(chǔ)的圖像與此前存儲(chǔ)的圖像有重復(fù)部分時(shí)的、解碼單元112的功能塊。解碼單元112包括確定重復(fù)部分的區(qū)域的重復(fù)區(qū)域取得單元170 ；對(duì)沒(méi)有重復(fù)的區(qū)域進(jìn)行重新解碼，覆蓋此前存儲(chǔ)的圖像的一部分的部分區(qū)域解碼單元172 ；生成反復(fù)排列覆蓋的圖像而成的圖像的反復(fù)圖像生成單元174 ；以及將排列的圖像的一部分取出，作為最終的解碼圖像存儲(chǔ)到解碼用緩沖的解碼圖像存儲(chǔ)單元 176。圖23示意性地表示圖22的解碼單元112將圖像存儲(chǔ)到解碼用緩沖的順序。如上所述，在存儲(chǔ)于顯示用緩沖中的圖像內(nèi)，當(dāng)顯示區(qū)域超越前瞻邊界等時(shí)，產(chǎn)生在解碼用緩沖中存儲(chǔ)新的圖像的必要性。此時(shí)，已經(jīng)存儲(chǔ)在解碼用緩沖中的圖像是該圖左上的圖像160。 另一方面，應(yīng)新存儲(chǔ)的圖像是該圖右上的圖像162。即，該圖表示顯示區(qū)域向左移動(dòng)，有從原來(lái)的“圓”或“三角”圖形，顯示在其左的“星”的圖形的可能性的狀態(tài)。根據(jù)上述理由，圖像160和圖像162具有重復(fù)區(qū)域。在該圖的例子中，由在橫方向(X軸)從xO到x2的區(qū)域構(gòu)成的圖像162中，從Xl到x2的區(qū)域和圖像160重復(fù)。此時(shí)，在已存儲(chǔ)的圖像160中，重復(fù)的從Xl到x2的區(qū)域作為應(yīng)新存儲(chǔ)的圖像的一部分，直接利用。具體地說(shuō)，部分區(qū)域解碼單元172只對(duì)應(yīng)新存儲(chǔ)的圖像162中的、與圖像160不重復(fù)的、從xO到xl的區(qū)域進(jìn)行解碼，覆蓋已存儲(chǔ)的圖像160中的已經(jīng)不需要的、從x2到x3 的區(qū)域(S70)。但是，有時(shí)例如在以平鋪圖像單位進(jìn)行壓縮時(shí)等，根據(jù)壓縮單位的配置，不能只解碼不重復(fù)的、從xO到xl的區(qū)域。此時(shí)對(duì)包含該區(qū)域的、可解碼的最小區(qū)域進(jìn)行解碼后，只抽出從xO到xl的區(qū)域，覆蓋從x2到x3的區(qū)域。為了進(jìn)行S70的處理，在緩沖存儲(chǔ)器70的緩沖區(qū)域72、74設(shè)置存儲(chǔ)現(xiàn)在正存儲(chǔ)的圖像的左下的坐標(biāo)的區(qū)域。重復(fù)區(qū)域取得單元170通過(guò)與應(yīng)新存儲(chǔ)的區(qū)域的左下的坐標(biāo)進(jìn)行比較，確定重復(fù)區(qū)域。另外，當(dāng)在解碼前確定重復(fù)區(qū)域的處理會(huì)產(chǎn)生設(shè)定值以上的負(fù)荷時(shí)，也可以在對(duì)應(yīng)新存儲(chǔ)的圖像162進(jìn)行全部解碼的基礎(chǔ)上，覆蓋不重復(fù)的區(qū)域。接下來(lái)，反復(fù)圖像生成單元174臨時(shí)制作將這樣生成的中間圖像164在橫方向反復(fù)而成的反復(fù)圖像166(S7》。將單位圖像在縱方向、橫方向反復(fù)而成的圖像在圖像處理中可由一般使用的技術(shù)來(lái)生成。解碼圖像存儲(chǔ)單元176在反復(fù)圖像166中，在將中間圖像的邊界坐標(biāo)作為0時(shí)，取出從-(xl-xO)到x2-xl的區(qū)域，重新存儲(chǔ)到解碼用緩沖(S74)。由此，應(yīng)新存儲(chǔ)的圖像162被存儲(chǔ)到解碼用緩沖。在該圖的例子中，只著眼于橫方向的移動(dòng)， 但對(duì)只在縱方向的移動(dòng)、在縱方向和橫方向雙方移動(dòng)時(shí)，也可以通過(guò)同樣的處理，只對(duì)重復(fù)區(qū)域以外的區(qū)域進(jìn)行解碼即可。但是，在縱方向和橫方向雙方移動(dòng)時(shí)，反復(fù)圖像166成為在縱橫各2次將中間圖像164反復(fù)而成的圖像。這樣，因?yàn)榭梢杂米畹拖薅鹊慕獯a，將前瞻的區(qū)域存儲(chǔ)到解碼用圖像，因此可以抑制由于解碼處理產(chǎn)生的圖像顯示的等待時(shí)間(X f >〉一)。存儲(chǔ)在解碼用緩沖的圖像也可以作為中間圖像164。此時(shí)，顯示圖像處理單元114根據(jù)來(lái)自用戶的指示輸入，從解碼用緩沖讀取該中間圖像164，進(jìn)行上述的S72、S74的處理，將應(yīng)新存儲(chǔ)的圖像162描繪在顯示處理單元44的幀存儲(chǔ)器90上。以上是對(duì)在同一層次的顯示區(qū)域的移動(dòng)的前瞻處理的解碼方法。另一方面，要求不改變顯示的中心地點(diǎn)，但進(jìn)行擴(kuò)大或縮小的可能性也較高。如果是向擴(kuò)大方向或縮小方向的某一個(gè)方向的變更，在超越前述的前瞻邊界的時(shí)點(diǎn)，在解碼用圖像順序存儲(chǔ)新的圖像， 在要求不超越2個(gè)前瞻邊界且回到原來(lái)的比例系數(shù)時(shí)，沒(méi)有必要對(duì)解碼用圖像重新存儲(chǔ)圖像，可以直接利用已存儲(chǔ)的圖像。為此，也可以在緩沖存儲(chǔ)器70的緩沖區(qū)域72、74設(shè)置存儲(chǔ)現(xiàn)在存儲(chǔ)著的圖像的層次號(hào)碼的區(qū)域。當(dāng)超越設(shè)定在層次的深度方向的前瞻邊界時(shí)，如果應(yīng)存儲(chǔ)在解碼用緩沖中的層次和已存儲(chǔ)的層次是同一個(gè)，則不進(jìn)行解碼處理，使已存儲(chǔ)的圖像保留為原狀態(tài)。由此，在顯示圖像的擴(kuò)大或縮小方面也可以將解碼處理維持在最低限的次數(shù)，可以減少處理的負(fù)荷和等待時(shí)間。根據(jù)以上記載的本實(shí)施方式，在根據(jù)來(lái)自用戶的要求，顯示被壓縮的圖像的至少一部分的圖像處理裝置中，將數(shù)據(jù)的一部分從存儲(chǔ)壓縮數(shù)據(jù)的硬盤驅(qū)動(dòng)器下載到主存儲(chǔ)器。通過(guò)將下載到主存儲(chǔ)器的數(shù)據(jù)解碼并顯示，在用戶要求變更顯示圖像時(shí)，可以節(jié)約從硬盤驅(qū)動(dòng)器讀取必要數(shù)據(jù)所要的時(shí)間，提高響應(yīng)速度。通過(guò)只下載數(shù)據(jù)的一部分的形式，即使是具有主存儲(chǔ)器的容量以上的大小的圖像，也可以作為顯示對(duì)象，減少了對(duì)可處理圖像的制約。另外，圖像數(shù)據(jù)以基本相同的數(shù)據(jù)大小分割為塊，存儲(chǔ)到硬盤驅(qū)動(dòng)器，下載到主存儲(chǔ)器是以塊單位來(lái)進(jìn)行。由此，即使在主存儲(chǔ)器的連續(xù)區(qū)域順序存儲(chǔ)下載的塊，在新下載塊時(shí)也不會(huì)產(chǎn)生碎片，可有效使用主存儲(chǔ)器，且使地址管理變得容易。另外，在將圖像數(shù)據(jù)分割為塊時(shí)，使各塊具有的信息具有空間局部性。具體地說(shuō)， 以從始點(diǎn)的平鋪圖像向橫方向、縱方向同樣地?cái)U(kuò)張的方式，增加包含在一塊中的平鋪圖像， 在剛要達(dá)到設(shè)定的數(shù)據(jù)大小之前，決定一塊的區(qū)域，且使塊為接近正方形的形狀。或者，在預(yù)先設(shè)定的正方形或長(zhǎng)方形的區(qū)域中，以柵格順序增加平鋪圖像，使其成為接近具有設(shè)定的寬度的長(zhǎng)方形的形狀。這樣，可以抑制顯示所需的塊數(shù)，減少下載的次數(shù)，使得從主存儲(chǔ)器讀取解碼所需的數(shù)據(jù)變得容易。同樣的道理，也可以使塊之間的邊界成為T字形那樣地進(jìn)行分割。另外，即使在顯示圖像的變更時(shí)以外的時(shí)間，也以設(shè)定的時(shí)間間隔等隨時(shí)進(jìn)行向塊的主存儲(chǔ)器的下載。此時(shí)，以現(xiàn)在的顯示圖像為起點(diǎn)，在位置以及層次上，根據(jù)設(shè)定的規(guī)則決定成為周邊區(qū)域的地點(diǎn)，隨時(shí)下載在包含該地點(diǎn)的塊當(dāng)中沒(méi)有下載的部分。在圖像的內(nèi)容上，根據(jù)重要區(qū)域或顯示履歷，使每個(gè)用戶的、可預(yù)測(cè)的顯示概率比設(shè)定的閾值高的區(qū)域優(yōu)先下載。由此，可使當(dāng)用戶要求顯示圖像變更后，必須突然從硬盤驅(qū)動(dòng)器下載數(shù)據(jù)，或通過(guò)網(wǎng)絡(luò)下載的事態(tài)發(fā)生的可能性變低，不需要一次下載多塊，可抑制下載處理導(dǎo)致的等待時(shí)間的發(fā)生。在塊分割時(shí)，將不同層次的圖像的同一區(qū)域部分包含在一塊中。此時(shí)、利用這些圖像具有的冗余，對(duì)于在還原一個(gè)圖像所需的信息中的、其它圖像保存的信息，在塊內(nèi)不重復(fù)保存。例如，如果將低分辨率的圖像，和將其擴(kuò)大得到的擴(kuò)大圖像與高分辨率的圖像的差分圖像包含在一塊中進(jìn)行壓縮，可還原高分辨率圖像。在本實(shí)施方式中，如上所述，由于以塊單位下載到主存儲(chǔ)器，這樣可利用圖像之間的冗余。這樣，數(shù)據(jù)的壓縮率得到提高，可有效使用主存儲(chǔ)器。另外，作為存儲(chǔ)解碼了的圖像的緩沖區(qū)域，準(zhǔn)備了顯示用緩沖和解碼用緩沖2個(gè)緩沖，對(duì)可以預(yù)測(cè)為將來(lái)要顯示的區(qū)域進(jìn)行預(yù)先解碼，存儲(chǔ)到解碼用緩沖中。此時(shí)，當(dāng)應(yīng)該將新的圖像存儲(chǔ)到解碼用緩沖時(shí)，直接利用與此前存儲(chǔ)的圖像相重復(fù)的區(qū)域。具體地說(shuō)，生成用新圖像區(qū)域覆蓋已存儲(chǔ)的圖像當(dāng)中的不重復(fù)的區(qū)域的中間圖像，通過(guò)從重復(fù)該處理形成的反復(fù)圖像中抽出必要的部分，由此可使解碼處理控制在最小限度，可容易存儲(chǔ)新的圖像。通過(guò)使緩沖區(qū)域具有以上的構(gòu)成，由于在同一層次內(nèi)的顯示區(qū)域的移動(dòng)的處理負(fù)荷變小，容易使對(duì)用戶的顯示圖像變更要求的響應(yīng)速度保持在一定程度以上。為此，通過(guò)將與顯示圖像不同層次的數(shù)據(jù)優(yōu)先下載到主存儲(chǔ)器，由和緩沖存儲(chǔ)器的組合，整體上響應(yīng)速度提高。這些方式可以不用使裝置的構(gòu)成復(fù)雜化和大規(guī)模即可實(shí)現(xiàn)。以上根據(jù)實(shí)施方式對(duì)本發(fā)明進(jìn)行了說(shuō)明。上述實(shí)施方式是示例，這些各構(gòu)成要素或各處理過(guò)程的組合可有各種變形例，這些變形例也在本發(fā)明的保護(hù)范圍內(nèi)，這一點(diǎn)是本領(lǐng)域技術(shù)人員能夠理解的。如上所述，本發(fā)明可用于圖像處理裝置、圖像顯示裝置、計(jì)算機(jī)、游戲機(jī)等信息處
理裝置。
符號(hào)說(shuō)明1圖像處理系統(tǒng)、10圖像處理裝置、12顯示裝置、20輸入裝置、30第0層次、32第1 層次、34第2層次、36第3層次、38平鋪圖像、44顯示處理單元、50硬盤驅(qū)動(dòng)器、60主存儲(chǔ)器、70緩沖存儲(chǔ)器、72緩沖區(qū)域、74緩沖區(qū)域、90幀存儲(chǔ)器、100控制單元、102輸入信息取得單元、104壓縮數(shù)據(jù)分割單元、106下載塊決定單元、108下載單元、110前瞻處理單元、112 解碼單元、114顯示圖像處理單元、120識(shí)別號(hào)碼賦予單元、122圖像塊生成單元、170重復(fù)區(qū)域取得單元、172部分區(qū)域解碼單元、174反復(fù)圖像生成單元、176解碼圖像存儲(chǔ)單元。
權(quán)利要求
1.一種圖像處理裝置，將圖像的至少一部分顯示在顯示器上，其特征在于，具有記憶裝置，保存按設(shè)定的規(guī)則將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割而成的多個(gè)圖像塊； 下載單元，根據(jù)顯示中的圖像的區(qū)域，從所述記憶裝置，將包含按設(shè)定的規(guī)則決定的必要區(qū)域的數(shù)據(jù)的圖像塊下載到存儲(chǔ)器；顯示圖像處理單元，根據(jù)來(lái)自用戶的、關(guān)于顯示區(qū)域的移動(dòng)、擴(kuò)大或縮小的某一個(gè)要求，從存儲(chǔ)器讀取并解碼所述下載單元下載的所述圖像塊的至少一部分，生成新的顯示圖像。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于所述記憶裝置保存將處理對(duì)象的圖像的、多個(gè)分辨率的圖像各自的壓縮數(shù)據(jù)進(jìn)行分割而成的圖像塊。
3.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于還具有壓縮數(shù)據(jù)分割單元，將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割，生成所述圖像塊，并存儲(chǔ)到所述記憶裝置；所述壓縮數(shù)據(jù)分割單元將作為壓縮圖像的最小單位的平鋪圖像的壓縮數(shù)據(jù)、以成為不超過(guò)設(shè)定數(shù)據(jù)大小的最大數(shù)據(jù)尺寸的方式，匯集為一個(gè)圖像塊。
4.如權(quán)利要求3所述的圖像處理裝置，其特征在于 所述壓縮數(shù)據(jù)分割單元具有識(shí)別號(hào)碼賦予單元，對(duì)構(gòu)成圖像的所述平鋪圖像，按柵格順序賦予識(shí)別號(hào)碼； 圖像塊生成單元，按所述識(shí)別號(hào)碼賦予單元賦予的識(shí)別號(hào)碼順序，將平鋪圖像的壓縮數(shù)據(jù)匯集成一個(gè)圖像塊。
5.如權(quán)利要求3所述的圖像處理裝置，其特征在于 所述壓縮數(shù)據(jù)分割單元具有識(shí)別號(hào)碼賦予單元，對(duì)構(gòu)成圖像的所述平鋪圖像，以在橫方向以及縱方向交互增量的方式，賦予識(shí)別號(hào)碼；圖像塊生成單元，按所述識(shí)別號(hào)碼賦予單元賦予的識(shí)別號(hào)碼順序，將平鋪圖像的壓縮數(shù)據(jù)匯集為一個(gè)圖像塊。
6.如權(quán)利要求3所述的圖像處理裝置，其特征在于 所述壓縮數(shù)據(jù)分割單元具有識(shí)別號(hào)碼賦予單元，對(duì)以設(shè)定間隔分割構(gòu)成圖像的平鋪圖像的大平鋪，按柵格順序賦予識(shí)別號(hào)碼，且對(duì)構(gòu)成各大平鋪的平鋪圖像，按柵格順序賦予識(shí)別號(hào)碼；圖像塊生成單元，按所述識(shí)別號(hào)碼賦予單元賦予的識(shí)別號(hào)碼順序，將平鋪圖像的壓縮數(shù)據(jù)匯集為一個(gè)圖像塊。
7.如權(quán)利要求3所述的圖像處理裝置，其特征在于所述壓縮數(shù)據(jù)分割單元以所述圖像塊的圖像上的邊界線的至少一部分成為T字形狀的方式，生成圖像塊。
8.如權(quán)利要求2所述的圖像處理裝置，其特征在于所述下載單元將從顯示中的區(qū)域設(shè)定的范圍內(nèi)的區(qū)域、以及將顯示中的圖像以設(shè)定的比例系數(shù)擴(kuò)大或縮小的圖像當(dāng)中包含顯示中的區(qū)域的設(shè)定區(qū)域的至少一個(gè)，作為所述必要區(qū)域。
9.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于還具有下載塊決定單元，以設(shè)定的時(shí)間間隔判定包含所述必要區(qū)域的數(shù)據(jù)的圖像塊是否都存儲(chǔ)在存儲(chǔ)器中，并要求所述下載單元下載沒(méi)有被存儲(chǔ)的圖像塊；所述下載單元根據(jù)所述下載塊決定單元的要求，下載所述圖像塊。
10.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于在所述必要區(qū)域以外，所述下載單元還下載包含預(yù)先設(shè)定的圖像內(nèi)的區(qū)域、以及從用戶的顯示履歷推測(cè)的顯示概率比設(shè)定的閾值高的區(qū)域的數(shù)據(jù)的圖像塊。
11.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于所述記憶裝置將處理對(duì)象的圖像中的、表示共同區(qū)域的多個(gè)分辨率的圖像的壓縮數(shù)據(jù)包含到一個(gè)圖像塊進(jìn)行保存。
12.如權(quán)利要求1所述的圖像處理裝置，其特征在于所述記憶裝置從表示共同區(qū)域的2個(gè)分辨率的圖像中，將低分辨率的圖像、和將該低分辨率的圖像擴(kuò)大的圖像與高分辨率的圖像的差分圖像分別壓縮得到的數(shù)據(jù)包含到一個(gè)圖像塊進(jìn)行保存；所述顯示圖像處理單元通過(guò)將所述低分辨率的圖像和所述差分圖像分別解碼合在一起，對(duì)所述高分辨率的圖像進(jìn)行解碼。
13.如權(quán)利要求1所述的圖像處理裝置，其特征在于所述顯示圖像處理單元包括解碼單元，從存儲(chǔ)器讀取并解碼所述圖像塊的至少一部分；緩沖存儲(chǔ)器，存儲(chǔ)所述解碼單元解碼的圖像；描繪部，讀取存儲(chǔ)在所述緩沖存儲(chǔ)器的圖像的至少一部分，描繪顯示的區(qū)域；所述解碼單元包括重復(fù)區(qū)域取得單元，在將新的圖像存儲(chǔ)到所述緩沖存儲(chǔ)器時(shí)，確定此前存儲(chǔ)的圖像和新圖像的重復(fù)區(qū)域；部分區(qū)域解碼單元，對(duì)包含在所述新圖像中除去所述重復(fù)區(qū)域的部分區(qū)域的區(qū)域的數(shù)據(jù)進(jìn)行解碼；解碼圖像存儲(chǔ)單元，在此前存儲(chǔ)的圖像當(dāng)中，將所述重復(fù)區(qū)域與所述部分區(qū)域解碼單元解碼的所述部分區(qū)域相結(jié)合，存儲(chǔ)到所述緩沖存儲(chǔ)器。
14.一種圖像處理方法，將圖像的至少一部分顯示在顯示器上，包括生成按設(shè)定的規(guī)則將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割而成的多個(gè)圖像塊，并存儲(chǔ)到記憶裝置的步驟；根據(jù)顯示中的圖像的區(qū)域，從所述記憶裝置，將包含按設(shè)定的規(guī)則決定的必要區(qū)域的數(shù)據(jù)的圖像塊下載到存儲(chǔ)器的步驟；根據(jù)來(lái)自用戶的、關(guān)于顯示區(qū)域的移動(dòng)、擴(kuò)大或縮小的某一個(gè)要求，從存儲(chǔ)器讀取并解碼下載的所述圖像塊的至少一部分，生成新的顯示圖像的步驟。
15.如權(quán)利要求14所述的圖像處理方法，其特征在于所述存儲(chǔ)步驟將作為壓縮圖像的最小單位的平鋪圖像的壓縮數(shù)據(jù)，以成為不超過(guò)設(shè)定數(shù)據(jù)大小的最大數(shù)據(jù)尺寸的方式，匯集為一個(gè)圖像塊。
16.如權(quán)利要求14或15所述的圖像處理方法，其特征在于所述存儲(chǔ)步驟將表示同一區(qū)域的不同的分辨率的圖像的壓縮數(shù)據(jù)包含到一個(gè)圖像塊。
17.一種計(jì)算機(jī)程序，可使計(jì)算機(jī)實(shí)現(xiàn)將圖像的至少一部分顯示在顯示器上的功能，并可使計(jì)算機(jī)實(shí)現(xiàn)以下功能生成按設(shè)定的規(guī)則將處理對(duì)象的圖像的壓縮數(shù)據(jù)分割而成的多個(gè)圖像塊，并存儲(chǔ)到記憶裝置的功能；根據(jù)顯示中的圖像的區(qū)域，從所述記憶裝置，將包含按設(shè)定的規(guī)則決定的必要區(qū)域的數(shù)據(jù)的圖像塊下載到存儲(chǔ)器的功能；根據(jù)來(lái)自用戶的、關(guān)于顯示區(qū)域的移動(dòng)、擴(kuò)大或縮小的某一個(gè)要求，從存儲(chǔ)器讀取并解碼下載的所述圖像塊的至少一部分，生成新的顯示圖像的功能。
18.一種圖像的數(shù)據(jù)結(jié)構(gòu)，是為了將圖像的至少一部分顯示到顯示器，而從記憶裝置讀取的圖像的數(shù)據(jù)結(jié)構(gòu)；將作為壓縮圖像的最小單位的平鋪圖像的每一個(gè)的壓縮數(shù)據(jù)以成為不超過(guò)設(shè)定數(shù)據(jù)大小的最大數(shù)據(jù)尺寸的方式匯集成的圖像塊的數(shù)據(jù)、和各圖像塊的識(shí)別信息相對(duì)應(yīng)。
19.如權(quán)利要求18所述的圖像的數(shù)據(jù)結(jié)構(gòu)，其特征在于對(duì)于構(gòu)成圖像的所述平鋪圖像，按柵格順序賦予識(shí)別號(hào)碼，按該識(shí)別號(hào)碼順序?qū)⑺銎戒亪D像的壓縮數(shù)據(jù)匯集為一個(gè)圖像塊。
20.如權(quán)利要求18所述的圖像的數(shù)據(jù)結(jié)構(gòu)，其特征在于對(duì)于構(gòu)成圖像的所述平鋪圖像，以在橫方向以及縱方向交互增量的方式賦予識(shí)別號(hào)碼，按該識(shí)別號(hào)碼順序?qū)⑺銎戒亪D像的壓縮數(shù)據(jù)匯集為一個(gè)圖像塊。
21.如權(quán)利要求18所述的圖像的數(shù)據(jù)結(jié)構(gòu)，其特征在于對(duì)于以設(shè)定的間隔分割構(gòu)成圖像的平鋪圖像的大平鋪，按柵格順序賦予識(shí)別號(hào)碼，且對(duì)于構(gòu)成各大平鋪的平鋪圖像，按柵格順序賦予識(shí)別號(hào)碼，按該識(shí)別號(hào)碼順序，將所述平鋪圖像的壓縮數(shù)據(jù)匯集為一個(gè)圖像塊。
22.—種圖像處理裝置，根據(jù)用戶的要求，將圖像內(nèi)的區(qū)域顯示到顯示器，其特征在于， 包括解碼單元，根據(jù)所述要求，從存儲(chǔ)器讀取并解碼必要區(qū)域的壓縮圖像數(shù)據(jù)；緩沖存儲(chǔ)器，存儲(chǔ)所述解碼單元解碼的圖像；顯示圖像處理單元，描繪讀取并顯示存儲(chǔ)在所述緩沖存儲(chǔ)器中的圖像的至少一部分的區(qū)域；所述解碼單元包括重復(fù)區(qū)域取得單元，在將新的圖像存儲(chǔ)到所述緩沖存儲(chǔ)器時(shí)，確定此前存儲(chǔ)的圖像和新的圖像的重復(fù)區(qū)域；部分區(qū)域解碼單元，對(duì)包含從所述新的圖像中除去所述重復(fù)區(qū)域的部分區(qū)域的區(qū)域的壓縮圖像數(shù)據(jù)進(jìn)行解碼；解碼圖像存儲(chǔ)單元，在此前存儲(chǔ)的圖像中，將所述重復(fù)區(qū)域、和所述部分區(qū)域解碼單元解碼的所述部分區(qū)域相結(jié)合，存儲(chǔ)到所述緩沖存儲(chǔ)器。
23.如權(quán)利要求22所述的圖像處理裝置，其特征在于所述部分區(qū)域解碼單元生成以新解碼的所述部分區(qū)域覆蓋此前存儲(chǔ)在所述緩沖存儲(chǔ)器的圖像中的所述重復(fù)區(qū)域以外的區(qū)域而成的中間圖像；所述圖像處理裝置還具有反復(fù)圖像生成單元，生成將所述部分區(qū)域解碼單元生成的中間圖像反復(fù)排列而成的反復(fù)圖像；所述解碼圖像存儲(chǔ)單元從所述反復(fù)圖像生成單元生成的反復(fù)圖像中，抽出由所述重復(fù)區(qū)域和所述部分區(qū)域組成的區(qū)域，存儲(chǔ)到所述緩沖存儲(chǔ)器。
24.如權(quán)利要求22或23所述的圖像處理裝置，其特征在于 所述緩沖存儲(chǔ)器包括存儲(chǔ)用于描繪現(xiàn)在顯示的區(qū)域的圖像的顯示用緩沖區(qū)域；和用于重新解碼并存儲(chǔ)根據(jù)所述要求預(yù)測(cè)的、存儲(chǔ)在所述顯示用緩沖區(qū)域的圖像的下一個(gè)所需的圖像的解碼用緩沖區(qū)域；所述解碼單元將存儲(chǔ)在所述解碼用緩沖區(qū)域的圖像中的所述重復(fù)區(qū)域和新解碼的所述部分區(qū)域相結(jié)合，存儲(chǔ)到所述解碼用緩沖區(qū)域。
25.一種圖像處理方法，其特征在于根據(jù)用戶的要求，將圖像內(nèi)的區(qū)域顯示到顯示器，包括在根據(jù)所述要求將必要區(qū)域的壓縮圖像數(shù)據(jù)重新解碼并存儲(chǔ)到緩沖存儲(chǔ)器時(shí)，確定此前存儲(chǔ)的圖像和新的圖像的重復(fù)區(qū)域的步驟；從主存儲(chǔ)器讀取并解碼包含所述新的圖像中的除去所述重復(fù)區(qū)域的部分區(qū)域的區(qū)域的壓縮圖像數(shù)據(jù)的步驟；將此前存儲(chǔ)的圖像中的所述重復(fù)區(qū)域和新解碼的所述部分區(qū)域相結(jié)合，存儲(chǔ)到所述緩沖存儲(chǔ)器中的步驟；描繪讀取并顯示存儲(chǔ)在所述緩沖存儲(chǔ)器的圖像的至少一部分的區(qū)域的步驟。
26.如權(quán)利要求25所述的圖像處理方法，其特征在于，還包括生成以新解碼的所述部分區(qū)域覆蓋此前存儲(chǔ)在所述緩沖存儲(chǔ)器的圖像中的所述重復(fù)區(qū)域以外的區(qū)域而成的中間圖像的步驟； 存儲(chǔ)在所述緩沖存儲(chǔ)器的步驟包括 生成反復(fù)排列所述中間圖像而成的反復(fù)圖像的步驟；和從所述反復(fù)圖像中抽出由所述重復(fù)區(qū)域和所述部分區(qū)域組成的區(qū)域，存儲(chǔ)到所述緩沖存儲(chǔ)器的步驟。
27.一種計(jì)算機(jī)程序，可使計(jì)算機(jī)實(shí)現(xiàn)根據(jù)用戶的要求，將圖像內(nèi)的區(qū)域顯示在顯示器上的功能，并可使計(jì)算機(jī)實(shí)現(xiàn)以下功能在根據(jù)所述要求重新解碼必要區(qū)域的壓縮圖像數(shù)據(jù)，并存儲(chǔ)到緩沖存儲(chǔ)器時(shí)、確定此前存儲(chǔ)的圖像和新的圖像的重復(fù)區(qū)域的功能；從主存儲(chǔ)器讀取并解碼包含所述新圖像中的除去所述重復(fù)區(qū)域的部分區(qū)域的區(qū)域的壓縮圖像數(shù)據(jù)的功能；將此前存儲(chǔ)的圖像中的所述重復(fù)區(qū)域和新解碼的所述部分區(qū)域相結(jié)合，存儲(chǔ)到所述緩沖存儲(chǔ)器的功能；描繪讀取并顯示存儲(chǔ)在所述緩沖存儲(chǔ)器中的圖像的至少一部分的區(qū)域的功能。
全文摘要
本發(fā)明提供一種圖像處理技術(shù)。存儲(chǔ)在硬盤驅(qū)動(dòng)器50的不同分辨率的壓縮圖像數(shù)據(jù)被分割為幾乎一定的數(shù)據(jù)大小的塊。以設(shè)定的時(shí)間間隔識(shí)別所需的塊是否存儲(chǔ)在主存儲(chǔ)器60中，如果沒(méi)有存儲(chǔ)，則下載到主存儲(chǔ)器60(S10)。接著，在下載的壓縮圖像數(shù)據(jù)當(dāng)中，對(duì)需要顯示的區(qū)域的圖像、或預(yù)測(cè)為需要的區(qū)域的圖像的數(shù)據(jù)進(jìn)行解碼，并存儲(chǔ)到緩沖存儲(chǔ)器70(S12)。存儲(chǔ)在作為顯示用緩沖的緩沖區(qū)域72的圖像當(dāng)中，將顯示區(qū)域68的圖像描繪到幀存儲(chǔ)器90(S14)。相應(yīng)于解碼完成的時(shí)間或顯示區(qū)域68的變更量等，切換顯示用緩沖和解碼用緩沖(S16)。
文檔編號(hào)H04N1/41GK102165515SQ20098013806
公開(kāi)日2011年8月24日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2008年9月30日
發(fā)明者勢(shì)川博之, 大場(chǎng)章男, 稻田徹悟 申請(qǐng)人:索尼計(jì)算機(jī)娛樂(lè)公司