圖像生成裝置以及圖像生成方法
【專利摘要】位置/旋轉(zhuǎn)信息取得部(730)取得與穿戴了頭戴式顯示器(100)的用戶的頭部的位置以及旋轉(zhuǎn)有關(guān)的信息。坐標(biāo)變換部(740)以及全景圖像處理部(750)使用通過位置/旋轉(zhuǎn)信息取得部(730)在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)有關(guān)的信息，生成應(yīng)顯示在頭戴式顯示器上的圖像。校正處理部(780)使用在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn)有關(guān)的信息，對所生成的圖像進(jìn)行校正。
【專利說明】
圖像生成裝置以及圖像生成方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種對圖像進(jìn)行生成并校正的裝置以及方法。
【背景技術(shù)】
[0002] 將與游戲機(jī)連接了的頭戴式顯示器(HMD)穿戴在頭部上，一邊觀看在頭戴式顯示 器上被顯示的畫面，一邊對控制器等進(jìn)行操作而進(jìn)行游戲娛樂的情況正在進(jìn)行。關(guān)于與游 戲機(jī)連接了的通常的固定放置型顯示器，由于用戶的視野范圍也會擴(kuò)大到顯示器的畫面的 外側(cè)，因此，存在不能集中于顯示器的畫面上、或者欠缺對游戲的沉浸感的情況。這一點(diǎn)，若 穿戴頭戴式顯示器，則用戶看不見頭戴式顯示器所顯示的映像以外，因此，對映像世界的沉 浸感提尚，存在進(jìn)一步提尚游戲的娛樂性的效果。
[0003] 此外，使頭戴式顯示器顯示全景圖像，使得若穿戴了頭戴式顯示器的用戶旋轉(zhuǎn)頭 部則會顯示360度的全景圖像或虛擬空間，則對映像的沉浸感進(jìn)一步增高，游戲等的應(yīng)用的 操作性也提高。

【發(fā)明內(nèi)容】

[0004] 發(fā)明要解決的課題
[0005] 這樣使頭戴式顯示器具有頭部追蹤功能，在與用戶的頭部的動(dòng)作進(jìn)行連動(dòng)而改變 視點(diǎn)或視線方向從而生成全景圖像的情況下，由于從全景圖像的生成到顯示為止存在滯 后，因此，在全景圖像生成時(shí)作為前提的用戶的頭部的朝向、與將全景圖像顯示在頭戴式顯 示器上的時(shí)間點(diǎn)的用戶的頭部的朝向之間發(fā)生偏差，存在用戶陷入如眩暈?zāi)菢拥母杏X的情 況。
[0006] 本發(fā)明是鑒于這樣的課題而完成的，其目的在于，提供一種能夠顯示降低了從圖 像的生成到顯示為止的滯后的校正圖像的圖像生成裝置以及圖像生成方法。
[0007] 用于解決課題的手段
[0008] 為了解決上述課題，本發(fā)明的某一方式的圖像生成裝置包括:取得部，取得與視點(diǎn) 位置以及視線方向的至少一個(gè)有關(guān)的信息；圖像生成部，使用由所述取得部在某個(gè)時(shí)刻所 取得的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，生成圖像；以及校正處理部，從所 述取得部接受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，使用 被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對由所述圖像生成部生成的圖 像進(jìn)行校正。
[0009] 本發(fā)明的另一方式也是圖像生成裝置。該裝置是被安裝在經(jīng)由網(wǎng)絡(luò)連接到服務(wù)器 的客戶端中的圖像生成裝置，其包括:取得部，取得包含與視點(diǎn)位置以及視線方向的至少一 個(gè)有關(guān)的信息的視野信息；以及校正處理部，從所述服務(wù)器接收使用由所述取得部在某個(gè) 時(shí)刻取得的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息而生成的圖像，從所述取得部 接受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，并使用被更新 的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對所接收到的圖像進(jìn)行校正。
[0010] 本發(fā)明的又另一方式也是圖像生成裝置。該裝置包括:取得部，取得與穿戴了頭戴 式顯示器的用戶的頭部的位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息；圖像生成部，使用由所述 取得部在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，生成應(yīng)顯示在頭戴式 顯示器上的圖像；以及校正處理部，從所述取得部接受在其他時(shí)刻被更新的與位置以及旋 轉(zhuǎn)的至少一個(gè)有關(guān)的信息，使用被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，對由所 述圖像生成部生成的圖像進(jìn)行校正。
[0011] 本發(fā)明的又另一方式是圖像生成方法。該方法包含:取得步驟，取得與視點(diǎn)位置以 及視線方向的至少一個(gè)有關(guān)的信息；圖像生成步驟，使用通過所述取得步驟在某個(gè)時(shí)刻所 取得的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，生成圖像；以及校正處理步驟，接 受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，使用被更新的與 視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對通過所述圖像生成步驟生成的圖像進(jìn)行 校正。
[0012] 本發(fā)明的又另一方式也是圖像生成方法。該方法包含:取得步驟，取得與穿戴了頭 戴式顯示器的用戶的頭部的位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息；圖像生成步驟，使用通 過所述取得步驟在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，生成應(yīng)顯示 在頭戴式顯示器上的圖像；以及校正處理步驟，接受在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn) 的至少一個(gè)有關(guān)的信息，使用被更新的與位置以及旋轉(zhuǎn)有關(guān)的信息，對通過所述圖像生成 步驟生成的圖像進(jìn)行校正。
[0013] 另外，對以上的構(gòu)成要素的任意的組合、本發(fā)明的表現(xiàn)，在方法、裝置、系統(tǒng)、計(jì)算 機(jī)程序、數(shù)據(jù)結(jié)構(gòu)、記錄介質(zhì)等之間進(jìn)行了變換的方式，作為本發(fā)明的方式也是有效的。
[0014] 發(fā)明效果
[0015] 根據(jù)本發(fā)明，能夠?qū)档土藦膱D像的生成到顯示為止的滯后的校正圖像進(jìn)行顯 不。
【附圖說明】
[0016] 圖1是頭戴式顯示器的外觀圖。
[0017] 圖2是頭戴式顯示器的功能結(jié)構(gòu)圖。
[0018] 圖3是實(shí)施方式所涉及的全景圖像生成系統(tǒng)的結(jié)構(gòu)圖。
[0019] 圖4是實(shí)施方式所涉及的全景圖像生成裝置的功能結(jié)構(gòu)圖。
[0020] 圖5是用于說明頭戴式顯示器所顯示的全景圖像的圖。
[0021] 圖6是用于說明對頭戴式顯示器所顯示的全景圖像需要校正處理的理由的圖。 [0022]圖7是用于說明不進(jìn)行校正處理的以往的圖像生成處理的時(shí)序圖。
[0023]圖8是用于說明伴隨實(shí)施方式的校正處理的圖像生成處理的時(shí)序圖。
[0024] 圖9A是用于說明追蹤坐標(biāo)系和HMD坐標(biāo)系的關(guān)系的圖。
[0025] 圖9B是用于說明HMD坐標(biāo)系和視野坐標(biāo)系的關(guān)系的圖。
[0026] 圖10是用于說明穿戴了頭戴式顯示器的用戶的視野的圖。
[0027] 圖11是用于說明基于圖4的全景圖像生成裝置的全景圖像生成過程的流程圖。 [0028]圖12是用于說明實(shí)施方式的圖像校正處理的圖。
[0029]圖13是用于說明實(shí)施方式的變形例的圖像校正處理的圖。
【具體實(shí)施方式】 [0030](第丨實(shí)施方式）
[0031]圖1是頭戴式顯示器100的外觀圖。頭戴式顯示器100包括主體部110、前頭部接觸 部120、以及側(cè)頭部接觸部130。
[0032]頭戴式顯示器100是用于穿戴在用戶的頭部上而對顯示器所顯示的靜止圖像或動(dòng) 態(tài)圖像等進(jìn)行鑒賞，對從頭戴式耳機(jī)所輸出的聲音或音樂等進(jìn)行聆聽的顯示裝置。
[0033]通過在頭戴式顯示器100上內(nèi)置或者外掛的GPS (全球定位系統(tǒng)（Global Positioning System))等的位置傳感器能夠?qū)τ脩舻奈恢眯畔⑦M(jìn)行測量。此外，通過在頭 戴式顯示器100上內(nèi)置或者外掛的姿勢傳感器能夠?qū)Υ┐髁祟^戴式顯示器100的用戶的頭 部的旋轉(zhuǎn)角或傾斜這樣的姿勢信息進(jìn)行測量。
[0034]在主體部110中包括顯示器、位置信息取得傳感器、姿勢傳感器、通信裝置等。在前 頭部接觸部120以及側(cè)頭部接觸部130中，作為一個(gè)選項(xiàng)，也可以具有能夠?qū)τ脩舻捏w溫、脈 搏、血液成分、出汗、腦電波、腦血流等的生物體信息進(jìn)行測量的生體信息取得傳感器。 [0035]在頭戴式顯示器100中，也可以進(jìn)一步設(shè)置用于拍攝用戶的眼睛的攝像機(jī)。通過在 頭戴式顯示器100上搭載的攝像機(jī)，能夠檢測用戶的視線、瞳孔的運(yùn)動(dòng)、眨眼等。
[0036] 在此，說明在頭戴式顯示器100上顯示的圖像的生成方法，但是，本實(shí)施方式的圖 像生成方法不限于狹義的頭戴式顯示器100,也適用于穿戴了眼鏡、眼鏡型顯示器、眼鏡型 攝像機(jī)、頭戴式耳機(jī)、耳麥(附帶麥克風(fēng)的頭戴式耳機(jī)）、耳機(jī)、耳環(huán)、耳掛式攝像機(jī)、帽子、附 帶攝像機(jī)的帽子、發(fā)帶等的情況。
[0037] 圖2是頭戴式顯示器100的功能結(jié)構(gòu)圖。
[0038] 控制部10是對圖像信號、傳感器信號等的信號、命令或數(shù)據(jù)進(jìn)行處理并輸出的主 處理器。輸入接口 20從觸摸面板以及觸摸面板控制器接受操作信號或設(shè)定信號，供應(yīng)給控 制部10。輸出接口 30從控制部10接受圖像信號，使顯示器進(jìn)行顯示。背光燈32向液晶顯示器 供應(yīng)背光。
[0039] 通信控制部40經(jīng)由網(wǎng)絡(luò)適配器42或者天線44,通過有線或者無線通信，將從控制 部10輸入的數(shù)據(jù)發(fā)送到外部。此外，通信控制部40經(jīng)由網(wǎng)絡(luò)適配器42或者天線44,通過有線 或者無線通信，從外部接收數(shù)據(jù)，輸出至控制部10。
[0040]存儲部50對控制部10處理的數(shù)據(jù)或參數(shù)、操作信號等暫時(shí)地進(jìn)行存儲。
[00411 GPS單元60根據(jù)來自控制部10的操作信號，從GPS衛(wèi)星接收位置信息而供應(yīng)給控制 部10。無線單元62根據(jù)來自控制部10的操作信號，從無線基站接收位置信息而供應(yīng)給控制 部100
[0042]姿勢傳感器64對頭戴式顯示器100的主體部110的旋轉(zhuǎn)角或傾斜等的姿勢信息進(jìn) 行檢測。姿勢傳感器64通過對陀螺儀傳感器、加速度傳感器、角加速度傳感器等進(jìn)行適當(dāng)組 合而實(shí)現(xiàn)。
[0043] 外部輸入輸出端子接口70是用于連接USB(Universal Serial Bus)控制器等的外 圍設(shè)備的接口。外部存儲器72是閃存存儲器等的外部存儲器。
[0044]計(jì)時(shí)部80根據(jù)來自控制部10的設(shè)定信號而設(shè)定時(shí)間信息，將時(shí)間數(shù)據(jù)供應(yīng)給控制 部10〇
[0045] 控制部10能夠使圖像或文本數(shù)據(jù)供應(yīng)給輸出接口 30而在顯示器上顯示、或者使其 供應(yīng)給通信控制部40而發(fā)送到外部。
[0046] 圖3是本實(shí)施方式所涉及的全景圖像生成系統(tǒng)的結(jié)構(gòu)圖。頭戴式顯示器100通過無 線通信或者用于連接USB等的外圍設(shè)備的接口而連接到游戲機(jī)200。游戲機(jī)200也可以還經(jīng) 由網(wǎng)絡(luò)而連接到服務(wù)器。該情況下，服務(wù)器也可以將能夠多個(gè)用戶經(jīng)由網(wǎng)絡(luò)而參加的游戲 等的在線應(yīng)用提供給游戲機(jī)200。也可以代替游戲機(jī)200,頭戴式顯示器100連接到計(jì)算機(jī)或 便攜終端。
[0047] 圖4是本實(shí)施方式所涉及的全景圖像生成裝置700的功能結(jié)構(gòu)圖。同圖描繪了著眼 于功能的方框圖，這些功能方框能夠通過僅硬件、僅軟件、或者它們的組合而以各種形式來 實(shí)現(xiàn)。
[0048]全景圖像生成裝置700被安裝在連接了頭戴式顯示器100的游戲機(jī)200中，但是，也 可以將全景圖像生成裝置700的至少一部分的功能安裝在頭戴式顯示器100的控制部10中。 特別是也可以將后述的校正處理部780的功能安裝在頭戴式顯示器100側(cè)。或者，也可以將 全景圖像生成裝置700的至少一部分的功能安裝在經(jīng)由網(wǎng)絡(luò)而與游戲機(jī)200連接的服務(wù)器 中。
[0049]放大（文一Λ)指示取得部710經(jīng)由頭戴式顯示器100的輸入接口 20而取得用戶所 指示的放大的倍率。放大指示取得部710取得的放大倍率被供應(yīng)給靈敏度調(diào)整部720和全景 圖像處理部750。
[0050] 位置/旋轉(zhuǎn)信息取得部730基于由頭戴式顯示器100的GPS單元60或運(yùn)動(dòng)傳感器探 測的位置信息和由姿勢傳感器64探測的姿勢信息，取得與穿戴了頭戴式顯示器100的用戶 的頭部的位置和旋轉(zhuǎn)有關(guān)的信息。用戶的頭部的位置也可以通過游戲機(jī)200的攝像機(jī)對頭 戴式顯示器100的運(yùn)動(dòng)進(jìn)行檢測從而取得。
[0051] 位置/旋轉(zhuǎn)信息取得部730基于從靈敏度調(diào)整部720指示的靈敏度，取得用戶的頭 部的位置和旋轉(zhuǎn)。例如，若用戶轉(zhuǎn)頭，則通過姿勢傳感器64而檢測用戶的頭部的角度的變 化，但是，靈敏度調(diào)整部720對位置/旋轉(zhuǎn)信息取得部730進(jìn)行指示，以使直到角度的變化超 過規(guī)定的值為止忽略所檢測到的角度的變化。
[0052]此外，靈敏度調(diào)整部720基于從放大指示取得部710取得的放大倍率，對頭部的角 度檢測的靈敏度進(jìn)行調(diào)整。放大倍率變得越大，則越降低頭部的角度檢測的靈敏度。由于進(jìn) 行放大則視場角變小，因此，通過降低頭部的角度檢測靈敏度，從而能夠抑制由頭部的搖動(dòng) 引起的顯示圖像的振動(dòng)。
[0053] 作為運(yùn)動(dòng)傳感器，也可以使用3軸地磁傳感器、3軸加速度傳感器以及3軸陀螺儀 (角速度）傳感器的至少一個(gè)以上的組合，對用戶的頭部的前后、左右、上下的運(yùn)動(dòng)進(jìn)行檢 測。此外，也可以將用戶的頭部的位置信息進(jìn)行組合，提高頭部的運(yùn)動(dòng)檢測的精度。
[0054]坐標(biāo)變換部740使用由位置/旋轉(zhuǎn)信息取得部730取得的頭戴式顯示器100的位置 以及旋轉(zhuǎn)，進(jìn)行用于生成應(yīng)顯示在附帶追蹤功能的頭戴式顯示器100上的圖像的坐標(biāo)變換。 [0055]全景圖像處理部750從全景圖像存儲部760中讀出全景圖像數(shù)據(jù)，根據(jù)由坐標(biāo)變換 部740進(jìn)行的坐標(biāo)變換，將與頭戴式顯示器100的位置以及旋轉(zhuǎn)相應(yīng)的全景圖像，以從放大 指示取得部710指定的放大倍率來進(jìn)行生成，賦予給校正處理部780。在此，全景圖像數(shù)據(jù)可 以是事先制成的動(dòng)態(tài)圖像或者靜止圖像內(nèi)容，也可以是渲染后的計(jì)算機(jī)圖形。
[0056]校正處理部780從位置/旋轉(zhuǎn)信息取得部730中取得頭戴式顯示器100的最新的被 更新的位置以及旋轉(zhuǎn)，使用最新的被更新的位置以及旋轉(zhuǎn)來對由全景圖像處理部750生成 的圖像進(jìn)行校對。關(guān)于該校正處理的細(xì)節(jié)在后面敘述。
[0057]校正處理部780將校正后的圖像賦予給圖像提供部770。圖像提供部770將由全景 圖像處理部750生成的全景圖像數(shù)據(jù)，供應(yīng)給頭戴式顯示器100。
[0058]圖5是用于說明頭戴式顯示器100所顯示的全景圖像500的圖。相對于全景圖像 500,在用戶正朝向左前方的情況下，在頭戴式顯示器IOOa的方向上位于視場角150a的范圍 的圖像510a被顯示，在用戶轉(zhuǎn)頭而正朝向右前方的情況下，在頭戴式顯示器IOOb的方向上 位于視場角150b的范圍的圖像51 Ob被顯示。
[0059] 如此根據(jù)頭部的運(yùn)動(dòng)，觀看頭戴式顯示器100所顯示的全景圖像的視點(diǎn)和視線方 向也發(fā)生變化，因此，能夠提高對于全景圖像的沉浸感。
[0060] 圖6是用于說明對頭戴式顯示器100所顯示的全景圖像需要校正處理的理由的圖。 在用戶轉(zhuǎn)頭而朝向了右前方的情況下，生成在頭戴式顯示器IOOb的方向上位于視場角150b 的范圍的圖像510b，在頭戴式顯示器100上進(jìn)行顯示，但是，在圖像510b的顯示的時(shí)點(diǎn)，頭戴 式顯示器IOOb的位置和旋轉(zhuǎn)已經(jīng)如標(biāo)號150c所示那樣在進(jìn)行變化。因此，需要將本來在視 場角150c的范圍能看到的圖像顯示在頭戴式顯示器IOOc上，但是，實(shí)際上所生成且顯示的 圖像成為在不久前的時(shí)點(diǎn)的頭戴式顯示器IOOb的方向上在視場角150b的范圍能看到的圖 像。由于該時(shí)間差引起的偏差，與用戶正觀看的方向稍微偏差的圖像在頭戴式顯示器100上 被顯示，用戶有時(shí)會感覺到某種"眩暈"。
[0061] 在本實(shí)施方式中，為了消除該偏差，執(zhí)行對所生成的圖像進(jìn)行校正的處理。首先， 為了比較，參照圖7,說明不進(jìn)行校正處理的以往的圖像生成處理，其后，參照圖8而說明本 實(shí)施方式的校正處理。
[0062]圖7是用于說明不進(jìn)行校正處理的以往的圖像生成處理的時(shí)序圖。
[0063]全景圖像生成裝置700進(jìn)行3維物體或紋理等的資源（7七分)的準(zhǔn)備，取得在時(shí)刻 tl的頭戴式顯示器100的位置Pl和旋轉(zhuǎn)ql。與資源準(zhǔn)備并行地，執(zhí)行對在時(shí)刻tl的位置Pl和 旋轉(zhuǎn)ql上的圖像進(jìn)行描繪的處理。例如，在以60幀/秒進(jìn)行渲染的情況下，為了生成1幀的圖 像而花費(fèi)約16毫秒。
[0064]由全景圖像生成裝置700生成的圖像被供應(yīng)給頭戴式顯示器100。頭戴式顯示器 100和全景圖像生成裝置700通過有線或者無線而被連接，從全景圖像生成裝置700向頭戴 式顯示器100的圖像的供應(yīng)需要一定的傳輸時(shí)間。在全景圖像生成裝置700和頭戴式顯示器 100經(jīng)由網(wǎng)絡(luò)而連接的情況下，產(chǎn)生網(wǎng)絡(luò)延遲。
[0065]頭戴式顯示器100取得由全景圖像生成裝置700生成的圖像，進(jìn)行用于在面板上進(jìn) 行顯示的掃描等的顯示處理。為了該顯示處理而產(chǎn)生延遲，圖像在時(shí)刻t'在面板上被顯示。 [0066]如此，從在時(shí)刻tl將頭戴式顯示器100的位置pl、旋轉(zhuǎn)ql提供給全景圖像生成裝置 700起，直到在時(shí)刻t'在頭戴式顯示器100的面板上圖像被顯示為止，渲染、圖像傳輸、顯示 處理需要一定的時(shí)間，如圖7所示那樣，產(chǎn)生滯后。在為了圖像生成而賦予了頭戴式顯示器 100的位置和旋轉(zhuǎn)的時(shí)刻tl、和在頭戴式顯示器100上圖像被顯示的時(shí)刻t'之間，穿戴了頭 戴式顯示器100的用戶也正在移動(dòng)、或者改變姿勢。其結(jié)果，成為用戶看到時(shí)間差分At = t'-tl以前的頭戴式顯示器100的位置以及旋轉(zhuǎn)上的圖像，由于所顯示的圖像作為前提的位 置/旋轉(zhuǎn)、和當(dāng)前的位置/旋轉(zhuǎn)的偏差，所以用戶感到"眩暈"。
[0067]圖8是用于說明伴隨本實(shí)施方式的校正處理的圖像生成處理的時(shí)序圖。
[0068]全景圖像生成裝置700從頭戴式顯示器100取得時(shí)刻tl的位置pi和旋轉(zhuǎn)ql，進(jìn)行資 源準(zhǔn)備和描繪處理，將所生成的圖像提供給頭戴式顯示器100為止是與圖7的以往的圖像生 成處理相同的。在本實(shí)施方式中，在全景圖像生成裝置700對頭戴式顯示器100提供圖像的 時(shí)點(diǎn)t2,對所生成的圖像進(jìn)行校正處理。該校正處理可以在頭戴式顯示器100、全景圖像生 成裝置700的任一個(gè)中進(jìn)行。在頭戴式顯示器100具有充分的處理性能的情況下能夠在頭戴 式顯示器100中進(jìn)行校正處理，但是，在并非如此的情況下，全景圖像生成裝置700進(jìn)行校正 處理，將校正后的圖像提供給頭戴式顯示器100。
[0069]校正處理取得圖像被生成的時(shí)刻t2的頭戴式顯示器100的位置p2和旋轉(zhuǎn)q2的信 息，基于渲染開始時(shí)的時(shí)刻tl和最新的時(shí)刻t2之間的頭戴式顯示器100的位置和旋轉(zhuǎn)的偏 差，對圖像進(jìn)行校正。頭戴式顯示器100對校正后的圖像進(jìn)行顯示處理，在面板上進(jìn)行顯示。 由此，看起來的滯后如圖11所示那樣被減少為時(shí)刻t2和時(shí)刻t'之差。
[0070] 以下，對本實(shí)施方式的校正處理進(jìn)行詳細(xì)敘述，但首先對成為前提的技術(shù)事項(xiàng)進(jìn) 行說明。
[0071] (1)坐標(biāo)系
[0072] 圖9A以及圖9B是用于說明在頭戴式顯示器100中使用的坐標(biāo)系的圖。在頭戴式顯 示器100中，使用追蹤坐標(biāo)系802、HMD坐標(biāo)系804、左右的視野坐標(biāo)系806。
[0073] 圖9A是用于說明追蹤坐標(biāo)系802和HMD坐標(biāo)系804的關(guān)系的圖。
[0074]追蹤坐標(biāo)系802是成為頭戴式顯示器100的位置p和旋轉(zhuǎn)q的基準(zhǔn)的坐標(biāo)系。只要是 正交坐標(biāo)系即可，可以將各軸選為任意方向，原點(diǎn)也可以是任意的。對在頭戴式顯示器100 中所采用的傳感器，選擇適合的傳感器。例如，也可以在游戲等的應(yīng)用的開始時(shí)，由穿戴了 頭戴式顯示器100的用戶在成為基準(zhǔn)的位置上獲取成為基準(zhǔn)的姿勢，且從此時(shí)的頭戴式顯 示器100的傳感器信息中取得頭戴式顯示器100的基準(zhǔn)位置P〇、基準(zhǔn)旋轉(zhuǎn)q〇,從而決定追蹤 坐標(biāo)系802。
[0075]此外，用戶也可以將游戲機(jī)200的運(yùn)動(dòng)控制器350拿在手中。用戶在穿戴了頭戴式 顯示器100的狀態(tài)下對運(yùn)動(dòng)控制器350進(jìn)行操作。根據(jù)游戲應(yīng)用，有時(shí)會一邊拿著運(yùn)動(dòng)控制 器350-邊挪動(dòng)手或者使身體移動(dòng)。在運(yùn)動(dòng)控制器350中包含3軸的陀螺儀傳感器、3軸的加 速度傳感器、以及磁傳感器。
[0076]在運(yùn)動(dòng)控制器350中附帶了標(biāo)志物-力）300,通過與游戲機(jī)200連接了的攝像 機(jī)而對標(biāo)志物300的位置進(jìn)行檢測，結(jié)合從運(yùn)動(dòng)控制器350的傳感器得到的位置信息，能夠 準(zhǔn)確地確定標(biāo)志物300的3維坐標(biāo)。通過對該標(biāo)志物300的3維坐標(biāo)設(shè)定頭戴式顯示器100的 追蹤坐標(biāo)系802,從而能夠同步地處理通過運(yùn)動(dòng)控制器350的運(yùn)動(dòng)而控制的虛擬對象物的位 置/姿勢、和通過頭戴式顯示器100的運(yùn)動(dòng)而控制的觀看全景圖像500的視點(diǎn)/視線方向。 [0077] HMD坐標(biāo)系804是用于表示配置于用戶穿戴的頭戴式顯示器100上的顯示器面板等 的器件的位置的移動(dòng)坐標(biāo)系。對原點(diǎn)以及軸沒有限制，為了方便，原點(diǎn)以成為用戶的頭的中 心的方式進(jìn)行定義，關(guān)于軸，在將頭戴式顯示器100戴在頭上的狀態(tài)下，將上下方向的上方 向設(shè)為Y軸，將從正面向右方向設(shè)為X軸，將從正面朝向跟前的方向設(shè)為Z軸。
[0078]用戶在穿戴了頭戴式顯示器100的狀態(tài)下在現(xiàn)實(shí)空間中進(jìn)行移動(dòng)、改變身體的方 向、或者使頭部進(jìn)行旋轉(zhuǎn)。在應(yīng)用的開始時(shí)位于初始位置PO以及初始旋轉(zhuǎn)qO的頭戴式顯示 器100隨著時(shí)間進(jìn)行移動(dòng)，如圖9A所示那樣，當(dāng)前，頭戴式顯示器100位于位置P、旋轉(zhuǎn)q。
[0079]圖9B是用于說明HMD坐標(biāo)系804和視野坐標(biāo)系806的關(guān)系的圖。
[0080] 如前述那樣，HMD坐標(biāo)系804是，以穿戴了頭戴式顯示器100的用戶的頭頂設(shè)為原 點(diǎn)，將上方向設(shè)為Y軸，將從正面向右方向設(shè)為X軸，將從正面朝向跟前的方向設(shè)為Z軸的坐 標(biāo)系。另一方面，視野坐標(biāo)系806是用于決定左眼用以及右眼用的顯示器的方向的坐標(biāo)系。 將從左右任意一只眼起右方向設(shè)為X軸，將上方向設(shè)為Y軸，將從正面朝向跟前的方向設(shè)為Z 軸。
[0081 ] (2)坐標(biāo)變換
[0082]為了將圖像在頭戴式顯示器100的面板上進(jìn)行顯示，介入3個(gè)坐標(biāo)變換。每一個(gè)都 是仿射變換。
[0083]首先，將圖像生成坐標(biāo)系（在CG中為攝像機(jī)坐標(biāo)系）變換為追蹤坐標(biāo)系802。由此， 從攝像機(jī)觀看現(xiàn)實(shí)或者虛擬的對象物所存在的現(xiàn)實(shí)世界或者虛擬世界所得的觀察坐標(biāo)系 被映射到表示頭戴式顯示器100的基準(zhǔn)位置和基準(zhǔn)旋轉(zhuǎn)的追蹤坐標(biāo)系。
[0084]接著，從傳感器信息取得頭戴式顯示器100的當(dāng)前的位置P和旋轉(zhuǎn)q的值，將追蹤坐 標(biāo)系802變換為HMD坐標(biāo)系804。由此，頭戴式顯示器100的基準(zhǔn)位置和基準(zhǔn)旋轉(zhuǎn)被變換為當(dāng) 前的位置和旋轉(zhuǎn)。
[0085]最后，將HMD坐標(biāo)系804變換為視野坐標(biāo)系806。該變換是根據(jù)穿戴著頭戴式顯示器 100的人物和狀態(tài)而決定的變換，在穿戴著頭戴式顯示器100的期間是固定的。由此，被變換 為與頭戴式顯示器100的用戶的眼的位置相符合的坐標(biāo)系。
[0086] 在圖像生成時(shí)，使用從追蹤坐標(biāo)系802經(jīng)由HMD坐標(biāo)系804而向視野坐標(biāo)系806進(jìn)行 變換的坐標(biāo)變換，但是，在校正處理時(shí)，使用從視野坐標(biāo)系806經(jīng)由HMD坐標(biāo)系804而向追蹤 坐標(biāo)系802進(jìn)行逆變換的坐標(biāo)變換。
[0087] (3)頭戴式顯示器100的視野角數(shù)據(jù)
[0088]圖10是用于說明穿戴了頭戴式顯示器100的用戶的視野的圖。將從眼的中心向上 下左右擴(kuò)展的視野(field of view)通過4個(gè)參數(shù)?〇￥11、？〇￥13、？〇￥1、？〇￥1'而決定，使用這些 參數(shù)而通過反正切來定義視野角的信息。由于在右眼用的視野和左眼用的視野中分別同樣 地進(jìn)行定義，因此，合計(jì)使用8個(gè)參數(shù)。
[0089]接著，說明通過本實(shí)施方式的全景圖像生成裝置700而生成在頭戴式顯示器100上 顯示的圖像的過程的概略。關(guān)于詳細(xì)的計(jì)算式在后面敘述。
[0090]圖11是用于說明基于全景圖像生成裝置700的全景圖像生成過程的流程圖。
[0091 ]作為初始化處理，生成從圖像生成坐標(biāo)系向追蹤坐標(biāo)系的坐標(biāo)變換矩陣(SlO)。這 是決定成為頭戴式顯示器100的運(yùn)動(dòng)的基準(zhǔn)的位置和旋轉(zhuǎn)的作業(yè)。在用戶指示的位置上從 頭戴式顯示器100的傳感器信息中取得初始位置PO和初始旋轉(zhuǎn)q〇,使用該值而求出從圖像 生成坐標(biāo)系向追蹤坐標(biāo)系的坐標(biāo)變換矩陣。例如，在競速游戲中為了將坐在游戲內(nèi)的車上 的姿勢設(shè)為基準(zhǔn)，在競速開始時(shí)使用戶采取坐在椅子上朝向正面的狀態(tài)，將該位置和旋轉(zhuǎn) 設(shè)為基準(zhǔn)。
[0092] 從頭戴式顯示器100的傳感器信息中，取得在時(shí)刻tl的頭戴式顯示器100的位置pi 和旋轉(zhuǎn)ql(S12)。頭戴式顯示器100將在時(shí)刻tl的位置pi和旋轉(zhuǎn)ql賦予給全景圖像生成裝置 700(S14)〇
[0093]全景圖像生成裝置700對在時(shí)刻tl位于位置pi和旋轉(zhuǎn)ql的頭戴式顯示器100的顯 示器上應(yīng)顯示的圖像進(jìn)行渲染(S16)。
[0094]具體而言，位置/旋轉(zhuǎn)信息取得部730從頭戴式顯示器100中取得時(shí)刻tl的位置pi 和旋轉(zhuǎn)ql。坐標(biāo)變換部740從圖像生成坐標(biāo)系(攝像機(jī)坐標(biāo)系)經(jīng)由追蹤坐標(biāo)系802、HMD坐標(biāo) 系804而向視野坐標(biāo)系806進(jìn)行變換，從而全景圖像處理部750按左右眼的每一只而描繪全 景圖像。在此，在從追蹤坐標(biāo)系802向HMD坐標(biāo)系804的變換時(shí)，使用仿射變換，該仿射變換是 根據(jù)由位置/旋轉(zhuǎn)信息取得部730取得的在時(shí)刻tl的頭戴式顯示器100的位置pi以及旋轉(zhuǎn)ql 而生成的仿射變換。視野角與從頭戴式顯示器100中取得的視野角信息匹配。
[0095]全景圖像生成裝置700在時(shí)刻tl的渲染完成后，從頭戴式顯示器100的傳感器信息 中，取得時(shí)刻t2的頭戴式顯示器100的位置p2和旋轉(zhuǎn)q2(S18)。頭戴式顯示器100將時(shí)刻t2的 位置p2和旋轉(zhuǎn)q2賦予給全景圖像生成裝置700 (S20)。
[0096]在全景圖像生成裝置700對圖像進(jìn)行渲染的期間，穿戴了頭戴式顯示器100的用戶 也進(jìn)行移動(dòng)、或者改變方向，因此，頭戴式顯示器100的在時(shí)刻t2的位置p2和旋轉(zhuǎn)q2與在時(shí) 刻11的位置p 1和旋轉(zhuǎn)q 1相比稍微偏差。
[0097]全景圖像生成裝置700為了吸收時(shí)刻tl和時(shí)刻t2之間的頭戴式顯示器100的位置 和旋轉(zhuǎn)的偏差，執(zhí)行對渲染后的圖像進(jìn)行校正的處理(S22)。
[0098]具體而言，位置/旋轉(zhuǎn)信息取得部730從頭戴式顯示器100中取得在最新的時(shí)刻t2 的被更新的位置p2和旋轉(zhuǎn)q2,賦予給校正處理部780。校正處理部780進(jìn)一步從位置/旋轉(zhuǎn)信 息取得部730中取得為了坐標(biāo)變換部740制成仿射變換所利用的頭戴式顯示器100的時(shí)刻tl 的位置Pl以及旋轉(zhuǎn)ql。此外，校正處理部780取得用于表示頭戴式顯示器100的顯示器的描 繪視場角的視野角數(shù)據(jù)。校正處理部780從全景圖像處理部750取得所生成的圖像，將位于 時(shí)刻tl的位置pl、旋轉(zhuǎn)ql上的視野坐標(biāo)系上的長方形，在時(shí)刻t2的位置p2、旋轉(zhuǎn)q2上的視野 坐標(biāo)系中進(jìn)行渲染。
[0099 ]時(shí)刻11的位置p 1、旋轉(zhuǎn)ql上的視野坐標(biāo)系的長方形的4個(gè)頂點(diǎn)的坐標(biāo)為
[0100] (-FoVl Xd,FoVuXd,-d)
[0101] (-FoVl Xd,-FoVbXd,-d)
[0102] (FoVr Xd, FoVu Xd,-d)
[0103] (FoVr XcU-FoVb X d，_d)
[0104] (參照圖11)。在此作為值d，使用頭戴式顯示器100的光學(xué)系統(tǒng)的焦點(diǎn)距離。
[0105]校正處理部780將該長方形的4個(gè)頂點(diǎn)映射到時(shí)刻t2的位置p2、旋轉(zhuǎn)q2上的視野坐 標(biāo)系。這由如以下那樣進(jìn)行坐標(biāo)變換而完成。
[0106] (A)首先，使用時(shí)刻tl的位置pi、旋轉(zhuǎn)ql的值，將視野坐標(biāo)系逆變換為HMD坐標(biāo)系， 進(jìn)而將該HMD坐標(biāo)系逆變換為追蹤坐標(biāo)系。由此，從時(shí)刻11的位置pi、旋轉(zhuǎn)ql看到的情況的 視野坐標(biāo)系被暫時(shí)還原為基準(zhǔn)位置PO以及基準(zhǔn)旋轉(zhuǎn)q〇的追蹤坐標(biāo)系。
[0107] (B)接著，使用時(shí)刻t2的位置p2、旋轉(zhuǎn)q2的值而將追蹤坐標(biāo)系變換為HMD坐標(biāo)系，進(jìn) 而將該HMD坐標(biāo)系變換為視野坐標(biāo)系。由此，基準(zhǔn)位置p0以及基準(zhǔn)旋轉(zhuǎn)q0的追蹤坐標(biāo)系被變 換為從時(shí)刻t2的位置p2、旋轉(zhuǎn)q2看到的情況的視野坐標(biāo)系。
[0108]若看(A)以及(B)的坐標(biāo)變換整體，則成為從時(shí)刻tl的位置pi、旋轉(zhuǎn)ql看到的情況 的視野坐標(biāo)系被變換為從時(shí)刻t2的位置p2、旋轉(zhuǎn)q2看到的情況的視野坐標(biāo)系。
[0109]對這樣坐標(biāo)變換后的視野的矩形，將以時(shí)刻tl的位置pl、旋轉(zhuǎn)ql為前提而生成的 圖像作為紋理進(jìn)行粘貼，則其成為從時(shí)刻t2的位置p2、旋轉(zhuǎn)q2上的視野坐標(biāo)系中看到的校 正圖像。在用戶的當(dāng)前的視野中能夠看見對時(shí)刻tl和時(shí)刻t2之間頭戴式顯示器100的位置 以及旋轉(zhuǎn)所偏差的量進(jìn)行了校正的圖像，時(shí)刻tl和時(shí)刻t2的時(shí)間差分的滯后被吸收，且用 戶的"眩暈"被減輕。
[0110]圖像提供部770將通過校正處理部780校正后的圖像數(shù)據(jù)，賦予給頭戴式顯示器 100(S24)。在頭戴式顯示器100中顯示校正后的全景圖像(S26)。其后，返回步驟S12,反復(fù)進(jìn) 行其以后的處理。
[0111] 以下，關(guān)于由校正處理部780進(jìn)行的校正處理，使用算式而詳細(xì)地進(jìn)行說明。
[0112] 作為前提，設(shè)為傳感器能夠提供來自頭戴式顯示器100的絕對的基準(zhǔn)的位置和旋 轉(zhuǎn)的信息。作為傳感器，使用頭戴式顯示器100的GPS單元60以及姿勢傳感器64。此外，也可 以使用運(yùn)動(dòng)控制器350。根據(jù)穿戴了頭戴式顯示器100的用戶的運(yùn)動(dòng)，位置p和旋轉(zhuǎn)q發(fā)生變 化。頭戴式顯示器100是剛體，且不是點(diǎn)，但位置P定義為頭戴式顯示器100上固定的一點(diǎn)的 位置。以下，將該固定的一點(diǎn)稱為頭戴式顯示器100的中心點(diǎn)。
[0113] 使用頭戴式顯示器100的位置p和旋轉(zhuǎn)q，根據(jù)平行移動(dòng)矩陣T和旋轉(zhuǎn)矩陣R，通過下 式而求出HMD位置旋轉(zhuǎn)矩陣H。
[0114] (數(shù) 1)
[0115] H(p，q)=T(_p)XR(q-工）
[0116] p = (tx，ty，tz)
[0117] q=(ql，q2，q3，q4)
[0118] I qI = I
[0119] 位置p是3維向量，旋轉(zhuǎn)q是4元數(shù)(Quaternion)是將p的各要素取負(fù)后的向量， q+1是q的共輒(q的實(shí)部保持原狀態(tài)，且將q的虛部取負(fù)后的向量）。
[0120] 另外，基于平行移動(dòng)矩陣T(p)的平行移動(dòng)通過下式來定義。
[0121] [數(shù) 2] fl 0 0 % I / H o 1 ο I，I
[0122] r f ^ i I I I : " 0 0 !《I，I
[lj [ο 0 0
[0123] 基于旋轉(zhuǎn)矩陣R(q)的旋轉(zhuǎn)通過下式來定義。
[0124] [數(shù) 3] ff) ?她 1也)2(f%、"必）〇? Γηι"? l / I」於）H d 0 I LU I zDj ^ f $ ·> 六 々 x I 矣 I^l I 2(祕 + 祕)f卜H LU L ^ ^ IA1J
[0126] 使用了四元數(shù)的計(jì)算機(jī)圖形相關(guān)的3維旋轉(zhuǎn)等的計(jì)算方法在「3D - 7 一(Dfc(6)(7)夕才一夕二才^入門」（工學(xué)社、2004年1月）中被記載。
[0127] 在一般的計(jì)算機(jī)圖形的坐標(biāo)變換中，使用世界變換矩陣W、攝像機(jī)(觀察)變換矩陣 V、透視變換矩陣P，將世界坐標(biāo)系的點(diǎn)（x，y，z，l)通過下式變換為投影坐標(biāo)系的點(diǎn)（X'，y'， z'，1)〇
[0128] (數(shù) 4)
[0129] (X'，y'，z'，l) = (x，y，z，l)XWXVXP
[0130] 要在頭戴式顯示器100的顯示器上進(jìn)行顯示，就必須對頭戴式顯示器100的位置和 旋轉(zhuǎn)進(jìn)行追蹤，在當(dāng)前的頭戴式顯示器100的位置和旋轉(zhuǎn)上進(jìn)行顯示。因此，在附帶追蹤功 能的頭戴式顯示器100用的圖像生成中，進(jìn)一步使用追蹤基準(zhǔn)變換矩陣B和HMD位置旋轉(zhuǎn)矩 陣H和HMD顯示位置矩陣D，進(jìn)行下式的坐標(biāo)變換。另外，留意在此示出了沒有進(jìn)行上述的校 正處理的計(jì)算。
[0131] (數(shù) 5)
[0132] (X'，y'，Z'，l) = (x，y，Z，l) XWXVXBXHXDXP
[0133] 在此，追蹤基準(zhǔn)變換矩陣B是將攝像機(jī)(觀察)坐標(biāo)系變換為頭戴式顯示器100的基 準(zhǔn)位置和基準(zhǔn)旋轉(zhuǎn)上的追蹤坐標(biāo)系802的矩陣。追蹤基準(zhǔn)變換矩陣B能夠作為HMD位置旋轉(zhuǎn) 矩陣H的逆矩陣而求出，其中，該HMD位置旋轉(zhuǎn)矩陣H根據(jù)將頭戴式顯示器100放置于基準(zhǔn)位 置P〇、基準(zhǔn)旋轉(zhuǎn)q〇時(shí)的傳感器信息而制成。
[0134] HMD位置旋轉(zhuǎn)矩陣H是從追蹤坐標(biāo)系802變換為HMD坐標(biāo)系804的矩陣。如前述那樣 使用在渲染開始時(shí)從傳感器中取得的位置P、旋轉(zhuǎn)q，根據(jù)平行移動(dòng)矩陣T和旋轉(zhuǎn)矩陣R而生 成HMD位置旋轉(zhuǎn)矩陣H(p，q)。
[0135] HMD顯示位置矩陣D是將HMD坐標(biāo)系804變換為視野坐標(biāo)系806的矩陣。通過該矩陣， 以頭戴式顯示器100的頭頂為原點(diǎn)的HMD坐標(biāo)系804中的點(diǎn)，被變換為以穿戴了頭戴式顯示 器100的用戶的視點(diǎn)為原點(diǎn)的視野坐標(biāo)系806中的點(diǎn)。該矩陣根據(jù)從頭戴式顯示器100的中 心點(diǎn)到穿戴了頭戴式顯示器100的用戶的眼的位置的距離、和從用戶的眼向顯示器中心的 方向相對于頭戴式顯示器100的中心軸傾斜的旋轉(zhuǎn)角度而求出。由于基于頭戴式顯示器100 的穿戴者的眼的位置的差異足夠小，因此，對于頭戴式顯示器100的設(shè)備，通常HMD顯示位置 矩陣D設(shè)為固定。
[0136] 另外，由于與眼的位置有關(guān)，因此，HMD顯示位置矩陣存在左眼用和右眼用，用于生 成左眼用、右眼用各自的圖像。根據(jù)系統(tǒng)，也有在雙眼使用相同的圖像的系統(tǒng)，在該情況下 使用雙眼用的1個(gè)HMD顯示位置矩陣。
[0137] 透視變換矩陣P是從觀察坐標(biāo)變換為透視坐標(biāo)的矩陣，在一般的計(jì)算機(jī)圖形中視 場角自由地決定，但是，在頭戴式顯示器100中，使視場角與頭戴式顯示器100穿戴者的視場 角匹配。使用用于表示用戶的視野角的4個(gè)參數(shù)Fo Vu、Fo Vb、FoVl、FoVr，透視變換矩陣P被定 義如下。
[0138] [數(shù) 6]
[0139]
[0140] 在此，α、β由進(jìn)深的剪裁（夕先/匕。^夕'')而決定，± 1由坐標(biāo)系為左手系還是右手系 而決定。由于也存在左眼和右眼視場角不同（一般來說成為左右對稱）的情況，因此，透視變 換矩陣P存在左右不同的情況。
[0141] 針對基于校正處理部780的校正處理進(jìn)行說明。被賦予給校正處理部780的輸入是 對在時(shí)刻tl的頭戴式顯示器100的位置pi、旋轉(zhuǎn)ql所生成的圖像、在生成該圖像時(shí)在HMD位 置旋轉(zhuǎn)矩陣H中所使用的位置pi和旋轉(zhuǎn)ql、在最新的時(shí)刻t2的頭戴式顯示器100的被更新的 位置p2和旋轉(zhuǎn)q2。
[0142] 校正處理部780對將對在時(shí)刻tl的位置pi、旋轉(zhuǎn)ql所生成的圖像映射到投影面的 矩形圖像，實(shí)施如下的變換處理，從而生成校正圖像。若將矩形圖像的頂點(diǎn)設(shè)為(x，y，z，l)、 將校正后的投影坐標(biāo)系中的點(diǎn)設(shè)為(x'，y'，z'，1)，將校正矩陣設(shè)為C，則變換處理能夠表示 如下。
[0143] (數(shù) 7)
[0144] (X'，y'，z'，l) = (x，y，z，l) XC
[0145] 在此，校正矩陣C是
[0146] C = D_1XH(pl,ql)_1XH(p2,q2) XDXP〇
[0147] 對在時(shí)刻tl的位置pi、旋轉(zhuǎn)ql所生成的矩形圖像的4個(gè)頂點(diǎn)為(-FoVl XcUFoVuX d，-d，l)、（-FoVlXd，-FoVbXd，-d，l)、（FoVrXd，F(xiàn)oVuXd，-d，l)、（FoVrXd，-FoVbXd，-d， 1)。作為d的值，例如使用頭戴式顯示器100的光學(xué)系統(tǒng)的焦點(diǎn)距離。
[0148] 校正矩陣C的前半的fXiKpUqir1意味著:通過HMD顯示位置矩陣的逆矩陣IT1而 將視野坐標(biāo)系還原為HMD坐標(biāo)系，通過使用了在時(shí)刻tl的位置pi、旋轉(zhuǎn)ql的HMD位置旋轉(zhuǎn)矩 陣的逆矩陣IKpUqir 1而將HMD坐標(biāo)系還原為追蹤坐標(biāo)系。在此基礎(chǔ)上，后半的H(p2，q2) XD XP意味著:通過使用了在時(shí)刻t2的被更新的位置p2、旋轉(zhuǎn)q2的HMD位置旋轉(zhuǎn)矩陣H(p2，q2) 而將追蹤坐標(biāo)系變換為HMD坐標(biāo)系，進(jìn)而通過HMD顯示位置矩陣D而將HMD坐標(biāo)系變換為視野 坐標(biāo)系，最后通過透視變換矩陣P而變換為投影坐標(biāo)系。
[0149] 若假設(shè)在時(shí)刻tl和時(shí)刻t2頭戴式顯示器100的位置以及旋轉(zhuǎn)不變化、即pi =p2且 ql = q2,則H(pl ,Ciir1XH(PS^S)成為單位矩陣，因此，校正矩陣C變得與透視變換矩陣P相 等，不進(jìn)行校正處理，而是成為如以下那樣僅進(jìn)行透視變換。
[0150] (X'，y'，z'，l) = (x，y，z，l) XP
[0151] 可是，在時(shí)刻tl和時(shí)刻t2頭戴式顯示器100的位置以及旋轉(zhuǎn)的至少一個(gè)發(fā)生變化、 即pi辛p2以及/或者ql#q2的情況下，校正矩陣C具有通過H(pl，Qir 1XH(PSM)的計(jì)算，對 頭戴式顯示器100的位置以及/或者旋轉(zhuǎn)的偏差進(jìn)行校正的作用。
[0152] 這樣通過校正矩陣C變換后的矩形圖像是將對于時(shí)刻tl的位置pl、旋轉(zhuǎn)ql的投影 圖像校正為對于時(shí)刻t2的位置p2、旋轉(zhuǎn)q2的投影圖像后的圖像。由此，即使在時(shí)刻tl和時(shí)刻 t2之間頭戴式顯示器100的位置和旋轉(zhuǎn)偏差，通過圖像處理對圖像進(jìn)行校正，也能夠?qū)⑵?吸收。
[0153] 以下，對幾個(gè)變形例進(jìn)行說明。
[0154] (變形例1)
[0155] 參照圖12以及圖13,說明第1實(shí)施方式的校正處理的變形例。圖12是為了比較而說 明第1實(shí)施方式的圖像校正處理的圖。如同圖所示，全景圖像生成裝置700接受在時(shí)刻tl頭 戴式顯示器100的位置Pl和旋轉(zhuǎn)ql，開始渲染。全景圖像生成裝置700對使用在時(shí)刻t2頭戴 式顯示器100的最新的位置P2和旋轉(zhuǎn)q2而生成的圖像進(jìn)行校正處理。若頭戴式顯示器100的 面板的幀率設(shè)為30幀/秒，則全景圖像生成裝置700按30幀/秒來生成幀，進(jìn)行校正處理，將 校正后的圖像提供給頭戴式顯示器100。另外，校正處理也可以在頭戴式顯示器100側(cè)進(jìn)行。 [0156]圖13是用于說明第1實(shí)施方式的變形例的圖像校正處理的圖。在相對于基于全景 圖像生成裝置700的渲染的幀率為30幀/秒，頭戴式顯示器100的面板的幀率為高幀率、例如 60幀/秒的情況下，在變形例中與頭戴式顯示器100的面板的幀率匹配而提高校正處理的頻 度。
[0157] 如同圖所示，使用時(shí)刻t2的頭戴式顯示器100的位置p2和旋轉(zhuǎn)q2,對由全景圖像生 成裝置700所生成的圖像進(jìn)行第一次校正處理，將校正后的圖像顯示在頭戴式顯示器100 上。其后，使用時(shí)刻t3的頭戴式顯示器100的位置p3和旋轉(zhuǎn)q3,對相同的圖像進(jìn)行第二次校 正處理，將校正后的圖像顯示在頭戴式顯示器100上。由此，即使全景圖像生成裝置700的幀 率為30幀/秒，校正后的圖像也以60幀/秒來顯示。如此，通過以規(guī)定的頻度來進(jìn)行校正處 理，能夠?qū)蔬M(jìn)行提高、或者降低，尤其是在全景圖像生成裝置700和頭戴式顯示器100的 幀率不同的情況下，能夠使系統(tǒng)具有幀率變換的功能。
[0158] 在圖13的說明中，對由全景圖像生成裝置700生成的相同的圖像，進(jìn)行了使用時(shí)刻 t2的位置p2和旋轉(zhuǎn)q2的第一次校正處理、和使用時(shí)刻t3的位置p3和旋轉(zhuǎn)q3的第二次校正處 理。作為其他的方法，第二次校正處理也可以對通過第一次校正處理而生成的校正后的圖 像而進(jìn)行。
[0159] (變形例2)
[0160] 在上述的坐標(biāo)變換式(X'，y'，z'，i) = (x，y，z，Dxwxvxbxhxdxp中，有追蹤 基準(zhǔn)變換矩陣B和HMD位置旋轉(zhuǎn)矩陣H的乘法運(yùn)算，該計(jì)算能夠簡化。將追蹤基準(zhǔn)變換矩陣B 與HMD位置旋轉(zhuǎn)矩陣H乘法運(yùn)算后的結(jié)果的矩陣，稱為標(biāo)準(zhǔn)化HMD矩陣N。追蹤基準(zhǔn)變換矩陣B 能夠作為根據(jù)將頭戴式顯示器100放置于基準(zhǔn)位置P〇、基準(zhǔn)旋轉(zhuǎn)q〇時(shí)的傳感器信息而制成 的HMD位置旋轉(zhuǎn)矩陣H的逆矩陣而求出，HMD位置旋轉(zhuǎn)矩陣H(p，q)使用在渲染開始時(shí)從傳感 器取得的位置P、旋轉(zhuǎn)q，根據(jù)平行移動(dòng)矩陣T和旋轉(zhuǎn)矩陣R而生成，因此，若將逆矩陣通過Inv (·)來記述，則標(biāo)準(zhǔn)化HMD矩陣N被計(jì)算如下。
[0161] N=BXH(p，q)
[0162] =Inv(T(-pO) XR(qO_1)) X (T(-p) XR(q_1))
[0163] = Inv(R(qO_1)) X Inv(T(-pO)) XT(-p) XR(q_1)
[0164] =R(q〇) ΧΤ(ρΟ) ΧΤ(-ρ) XR(q_1)
[0165] =R(q〇) XT(p〇-p) XR(q-工）
[0166] =R(q〇) XR(q-4 XR(q) XT(pO-p) XR(q-工）
[0167] =R(q-1 X qO) X T(Rot(pO_p，q-工））
[0168] 在此，Rot(p，q)意味著將向量p通過四元數(shù)q進(jìn)行旋轉(zhuǎn)。具體而言，若將旋轉(zhuǎn)后的向 量P設(shè)為P '，則計(jì)算為P ' = q X P X q'Rot (p〇-p，q^1)是將向量p〇-p通過四元數(shù)(T1進(jìn)行旋轉(zhuǎn)。 根據(jù)上述的最后的變形式，標(biāo)準(zhǔn)化HMD矩陣N意味著通過四元數(shù)(T 1XqO進(jìn)行旋轉(zhuǎn)之后，平行 移動(dòng) Rot(p〇-p，q-4 的量。
[0169] 若對計(jì)算量進(jìn)行評價(jià)，僅從乘法運(yùn)算次數(shù)來看，平行移動(dòng)矩陣T為0次、旋轉(zhuǎn)矩陣R 為16次、2個(gè)四元數(shù)的積為16次、2個(gè)旋轉(zhuǎn)矩陣R的積為36次，且平行移動(dòng)矩陣T和旋轉(zhuǎn)矩陣R 的積為〇次。若使用上述的第4變形式，N=R(q0) XT(pO) XT(-p) XR(q'，旋轉(zhuǎn)矩陣R的計(jì)算 需要16次乘法運(yùn)算、RXT需要0次、此外的2次矩陣的積需要36次乘法運(yùn)算，合計(jì)需要16 X 2+ 36\2 = 104次的乘法運(yùn)算。對此，若使用上述的最后的變形式』=1^_1\9〇)\1'(1^(?〇-p，q4))，2次四元數(shù)的積需要16次乘法運(yùn)算、旋轉(zhuǎn)矩陣R的計(jì)算需要16次乘法運(yùn)算，在Rot的 計(jì)算中需要2次四元數(shù)的計(jì)算，因此，合計(jì)需要16+16+16X2 = 64次的乘法運(yùn)算。比較而言， 若通過上述的最后的變形式來計(jì)算標(biāo)準(zhǔn)化矩陣N，則乘法運(yùn)算從104次減少為64次，計(jì)算被 簡化。
[0170] (變形例3)
[0171] 頭戴式顯示器100的位置p和旋轉(zhuǎn)q能夠使用卡爾曼濾波(Kalman filter)等而根 據(jù)過去的傳感器信息進(jìn)行預(yù)測。上述的圖像校正處理能夠用于校正預(yù)測值和現(xiàn)實(shí)的值的偏 差。
[0172]在頭戴式顯示器100或者全景圖像生成裝置700中設(shè)置傳感器信息的預(yù)測部，預(yù)測 部基于頭戴式顯示器100的過去的運(yùn)動(dòng)來預(yù)測在圖像被顯示時(shí)的定時(shí)的位置Pf和旋轉(zhuǎn)qf·。 全景圖像生成裝置700對預(yù)測位置pf和預(yù)測旋轉(zhuǎn)qf生成圖像。校正處理部780從頭戴式顯示 器100的當(dāng)前時(shí)點(diǎn)的傳感器信息中接受當(dāng)前位置Pt和當(dāng)前旋轉(zhuǎn)qt，使用當(dāng)前位置pt和當(dāng)前 旋轉(zhuǎn)qt而進(jìn)行圖像的校正處理。由此，即使在預(yù)測位置pf和預(yù)測旋轉(zhuǎn)qf從當(dāng)前位置pt和當(dāng) 前旋轉(zhuǎn)qt偏差了的情況下，通過圖像校正處理，也能夠?qū)υ撈钸M(jìn)行吸收。
[0173](變形例4)
[0174]在校正處理中，將進(jìn)行一次渲染后的結(jié)果的圖像用作再次描繪源，進(jìn)行透視變換 以使與最新的位置和旋轉(zhuǎn)相符合，因此，在運(yùn)動(dòng)量大的情況下，存在需要未被描繪的區(qū)域的 信息的情況。說明幾個(gè)應(yīng)對產(chǎn)生欠缺部分的問題的方法。
[0175] 作為欠缺部分的補(bǔ)償方法，有以下的方法。
[0176] (1)欠缺部分通過最外周的像素的顏色來填充。
[0177] (2)欠缺部分通過單色(例如黑色)來填充。
[0178] (3)預(yù)先描繪比最外周更大的區(qū)域，以使不產(chǎn)生欠缺部分。
[0179]為采取(3)的方法，作為用于賦予在附帶追蹤功能的頭戴式顯示器100用的圖像生 成時(shí)的坐標(biāo)變換和校正處理時(shí)的變換處理中使用的矩形區(qū)域的4個(gè)頂點(diǎn)的參數(shù)，代替頭戴 式顯示器固有的視場角參數(shù)?〇￥11、？〇￥13、？〇￥1、？〇￥^而使用表示描繪視場角的參數(shù)?〇￥11'、 卩〇^、？〇￥1'、？〇￥,。在此^〇￥1'沖〇￥1'（在此1 = 11，13，14)。其中，在校正處理時(shí)的變換處 理中使用的透視變換矩陣P中，使用頭戴式顯示器固有的角參數(shù)FoVu、FoVb、FoVl、FoVr。
[0180] 也存在對2個(gè)時(shí)刻tl和時(shí)刻t2之間的運(yùn)動(dòng)量進(jìn)行限制以使不產(chǎn)生欠缺部分的方 法。
[0181] (1)將運(yùn)動(dòng)量限制為限制值A(chǔ)，即使在運(yùn)動(dòng)量超過限制值A(chǔ)而成為了B(>A)的情況 下，也設(shè)為運(yùn)動(dòng)量為A而進(jìn)行校正處理。
[0182] (2)在運(yùn)動(dòng)量超過了限制值A(chǔ)的情況下，不進(jìn)行校正處理，而是作為錯(cuò)誤來處理。
[0183] (3)將上述（1)、（2)進(jìn)行組合，在運(yùn)動(dòng)量超過第1限制值A(chǔ)但是為第2限制值B(>A)以 下的情況下，設(shè)為運(yùn)動(dòng)量為A而進(jìn)行校正處理，在運(yùn)動(dòng)量超過了第2限制值B的情況下，不進(jìn) 行校正處理，而是作為錯(cuò)誤來處理。
[0184] 通過這樣對運(yùn)動(dòng)量進(jìn)行限制，從而認(rèn)為運(yùn)動(dòng)量收斂在限制值A(chǔ)以內(nèi)，能夠預(yù)先描繪 與運(yùn)動(dòng)量對應(yīng)的區(qū)域以使不產(chǎn)生欠缺部分。
[0185] 運(yùn)動(dòng)量能夠如下進(jìn)行計(jì)算。旋轉(zhuǎn)的變化量qd能夠通過qd = q4 XqO來計(jì)算，位置的 變化量pd能夠通過pd = p〇-p來計(jì)算。旋轉(zhuǎn)的變化量qd的大小由實(shí)部決定，實(shí)部越小則旋轉(zhuǎn) 量越大。計(jì)算上述的標(biāo)準(zhǔn)化HMD矩陣N的式子為N = Rk1 XqO) XT(Rot(p〇-p，q4)) =R(qd) XT(Rot(pd，q4))，因此，旋轉(zhuǎn)的變化量qd和位置的變化量pd的值在計(jì)算標(biāo)準(zhǔn)化HMD矩陣N的 過程中已被進(jìn)行了計(jì)算。如此，運(yùn)動(dòng)量在計(jì)算標(biāo)準(zhǔn)化HMD矩陣N的過程中被得到，因此，存在 不需要根據(jù)圖像對運(yùn)動(dòng)進(jìn)行分析而檢測運(yùn)動(dòng)向量的處理的優(yōu)點(diǎn)。
[0186] 通過采取限制運(yùn)動(dòng)量的方法，從而能夠?qū)⒚枥L視場角設(shè)為一定，能夠構(gòu)成只要運(yùn) 動(dòng)量不超過限制值，在校正后的圖像中就不產(chǎn)生欠缺的系統(tǒng)。在如變形例3那樣使用傳感器 的預(yù)測值而進(jìn)行描繪的情況下，能夠根據(jù)預(yù)測值和現(xiàn)實(shí)的值的偏差(誤差）的大小，決定描 繪視場角。在該情況下，在預(yù)測為誤差大的情況下描繪大范圍的區(qū)域，在預(yù)測為誤差小的情 況下描繪小范圍的區(qū)域。
[0187] (變形例5)
[0188] 在第1實(shí)施方式中，考慮平行移動(dòng)和旋轉(zhuǎn)的雙方，因此，在校正處理中需要3維的運(yùn) 算，但是，以僅進(jìn)行平行移動(dòng)而不伴隨旋轉(zhuǎn)的情況為前提，能夠?qū)⑿Ｕ幚磉M(jìn)行簡化。由于 只要支持平行移動(dòng)即可，因此，只要準(zhǔn)備能夠進(jìn)行由固定行數(shù)的行緩沖所構(gòu)成的平行移動(dòng) 的圖像處理裝置即可，能夠構(gòu)成便宜的系統(tǒng)。
[0189] 具體而言，校正處理只要通過校正矩陣C對圖像的中心即坐標(biāo)(0,0，-d)進(jìn)行變換 即可。只要使圖像在x、y方向上平行移動(dòng)通過該變換而求出的X的變化量、y的變化量即可。 [0190]在穿戴了頭戴式顯示器100的用戶向上下或者左右搖頭的情況下，能夠設(shè)為上下 或者左右的平行移動(dòng)，應(yīng)用該變形例的校正處理。
[0191] (第2實(shí)施方式）
[0192] 在第1實(shí)施方式中，說明了將由全景圖像生成裝置700生成的全景圖像在頭戴式顯 示器100上進(jìn)行顯示時(shí)的校正處理，在第2實(shí)施方式中，說明用戶對現(xiàn)實(shí)或者虛擬的空間進(jìn) 行攝像機(jī)操作，在計(jì)算機(jī)或便攜設(shè)備的畫面上顯示圖像時(shí)的校正處理。以下，針對與第1實(shí) 施方式相同的結(jié)構(gòu)和動(dòng)作，省略說明，針對基于第2實(shí)施方式的校正處理部780的校正處理 進(jìn)行說明。
[0193] 在第1實(shí)施方式中，以穿戴了頭戴式顯示器100的用戶在空間中進(jìn)行移動(dòng)的情況為 前提，因此，需要從追蹤坐標(biāo)系802經(jīng)由HMD坐標(biāo)系804而向視野坐標(biāo)系806進(jìn)行變換的坐標(biāo) 變換。因?yàn)樵诘?實(shí)施方式中，必須將攝像機(jī)的視點(diǎn)和視線方向，坐標(biāo)變換為穿戴了頭戴式 顯示器100的用戶的當(dāng)前的位置和旋轉(zhuǎn)。在第2實(shí)施方式中，用戶操作的攝像機(jī)的視點(diǎn)和視 線方向按原狀態(tài)成為計(jì)算機(jī)或便攜設(shè)備的觀察者的視點(diǎn)和視線方向，因此，不需要在頭戴 式顯示器100的情況下所需的坐標(biāo)變換。
[0194] 使用攝像機(jī)的位置(視點(diǎn))p、攝像機(jī)的方向（視線方向）q，根據(jù)平行移動(dòng)矩陣T和旋 轉(zhuǎn)矩陣R，通過下式而求出第2實(shí)施方式的攝像機(jī)變換矩陣V。
[0195] (數(shù) 8)
[0196] V(p,q)=T(-p)XR(q_1)
[0197]在此，攝像機(jī)的位置p為3維向量，攝像機(jī)的方向q為四元數(shù)。
[0198] 在第2實(shí)施方式中，使用一般的計(jì)算機(jī)圖形中的坐標(biāo)變換。使用世界變換矩陣W、攝 像機(jī)(觀察)變換矩陣V、透視變換矩陣P，世界坐標(biāo)系的點(diǎn)(x，y，z，l)通過下式而變換為投影 坐標(biāo)系的點(diǎn)(X'，y'，z'，1)。另外，留意在此示出了沒有進(jìn)行校正處理的計(jì)算。
[0199] (數(shù) 9)
[0200] (X'，y'，z'，l) = (x，y，z，l)XWXVXP
[0201] 在此，與第1實(shí)施方式同樣地，使用表示用戶的視野角的4個(gè)參數(shù)FoVu、F〇Vb、FoVl、 FoVr來定義透視變換矩陣P，但是，由于依賴于視場角，因此，在對攝像機(jī)進(jìn)行了放大的情況 下，視場角變化，透視變換矩陣P也被變更。將時(shí)刻tl的視野角參數(shù)設(shè)為FoVul、F 〇Vbl、 FoVll、FoVrl，將時(shí)刻t2的視野角參數(shù)設(shè)為?〇￥112、？〇￥匕2、？〇￥12、？〇￥^。將時(shí)刻七1的透視變 換矩陣P記述為P(tl)，將時(shí)刻t2的透視變換矩陣P記述為P(t2)。
[0202] 針對基于第2實(shí)施方式的校正處理部780的校正處理進(jìn)行說明。被賦予給校正處理 部780的輸入是，對時(shí)刻tl的攝像機(jī)的位置P1、攝像機(jī)的方向Ql所生成的圖像、在生成該圖 像時(shí)在攝像機(jī)變換矩陣V中所使用的攝像機(jī)的位置Pl和攝像機(jī)的方向Ql、最新的時(shí)刻t2的 攝像機(jī)的位置P2、攝像機(jī)的方向Q2。
[0203]校正處理部780通過對將對時(shí)刻tl的位置pi、方向ql所生成的圖像映射到投影面 的矩形圖像，實(shí)施如下的變換處理，從而生成校正圖像。若將矩形圖像的頂點(diǎn)設(shè)為(x，y，z， 1)、將校正后的投影坐標(biāo)系的點(diǎn)設(shè)為(X'，y'，z'，1)、將校正矩陣設(shè)為C，則變換處理能夠表 示如下。
[0204] (數(shù) 1〇)
[0205] (X'，y'，z'，l) = (x，y，z，l) XC
[0206] 在此，校正矩陣C為
[0207] C = V(pl,ql)_1XV(p2,q2)XP(t2)〇
[0208] 對在時(shí)刻11的位置p 1、方向q 1所生成的矩形圖像的4個(gè)頂點(diǎn)為(-FoVl I X d，F(xiàn)oVu 1 Xd，-d，l)、（-FoVllXd，-FoVblXd，-d，l)、（FoVrlXd，F(xiàn)oVulXd，-d，l)、（FoVrlXd，-FoVbl Xd，-d，l)。作為d的值，使用適當(dāng)?shù)木嚯x的固定值(例如10米等)或進(jìn)深的統(tǒng)計(jì)數(shù)據(jù) (例如全區(qū)域的進(jìn)深值的中值、區(qū)域的中心附近的進(jìn)深的平均值等）。
[0209] 校正矩陣C的前半的VbUqir1意味著:通過使用了時(shí)刻tl的位置pl、旋轉(zhuǎn)ql的攝 像機(jī)變換矩陣的逆矩陣V(pl，ql Γ1而將攝像機(jī)坐標(biāo)系還原為世界坐標(biāo)系。在此基礎(chǔ)上，后半 的V(p2，q2)XP(t2)意味著:通過使用了時(shí)刻12的位置p 2、旋轉(zhuǎn)q2的攝像機(jī)變換矩陣V (p2， q2)而將世界坐標(biāo)系變換為攝像機(jī)坐標(biāo)系，進(jìn)而通過使用了時(shí)刻t2的視場角的透視變換矩 陣P (t2)而變換為投影坐標(biāo)系。
[0210]若假設(shè)在時(shí)刻tl和時(shí)刻t2攝像機(jī)的位置以及方向不變化、即pl=p2且ql = q2,則V (pUqirixVb〗，^)成為單位矩陣，因此，校正矩陣C變得與透視變換矩陣P(t2)相等，不進(jìn) 行校正處理，而是成為如以下那樣僅進(jìn)行對時(shí)刻t2的視場角進(jìn)行反映的透視變換。
[0211] (x'，y'，z'，l) = (x，y，z，l)XP(t2)
[0212] 可是，在時(shí)刻tl和時(shí)刻t2攝像機(jī)的位置以及旋轉(zhuǎn)的至少一個(gè)發(fā)生變化、即pi辛p2 以及/或者ql辛q2的情況下，校正矩陣C具有通過V(pl ,qlpXVWW)的計(jì)算，對攝像機(jī)的 位置以及/或者方向的偏差進(jìn)行校正的作用。此外，最后通過透視變換矩陣P(t2)進(jìn)行變換， 從而時(shí)刻tl和時(shí)刻t2之間的視場角的變化也被反映。
[0213] 這樣通過校正矩陣C變換后的矩形圖像是將對于時(shí)刻tl的位置pl、方向ql、視場角 的投影圖像校正為對于時(shí)刻t2的被更新的位置p2、方向q2、視場角的投影圖像后的圖像。由 此，即使在時(shí)刻tl和時(shí)刻t2之間攝像機(jī)的位置和方向變化、或者通過放大而視場角變化，通 過圖像處理對圖像進(jìn)行校正，也能夠?qū)⑵钗铡?br>[0214] 第2實(shí)施方式在多個(gè)終端經(jīng)由網(wǎng)絡(luò)而利用由應(yīng)用服務(wù)器提供的服務(wù)的云服務(wù)的結(jié) 構(gòu)中是有益的。該情況下，圖像生成裝置是服務(wù)器，終端將攝像機(jī)操作的信息發(fā)送給服務(wù) 器，經(jīng)由網(wǎng)絡(luò)接收服務(wù)器所生成的圖像，但是，根據(jù)服務(wù)器的圖像生成所花費(fèi)的時(shí)間和網(wǎng)絡(luò) 傳輸所花費(fèi)的時(shí)間，產(chǎn)生一定的滯后，因此，不能實(shí)時(shí)地反映用戶的攝像機(jī)操作。根據(jù)第2實(shí) 施方式，能夠?qū)⒒趫D像生成時(shí)的攝像機(jī)的位置以及方向而生成的圖像，進(jìn)行校正以使與 圖像顯示時(shí)的最新的攝像機(jī)的位置以及方向相符合，能夠使其模擬地具有實(shí)時(shí)性。
[0215]尤其是在游戲應(yīng)用中，用戶使用游戲控制器的按鈕或便攜終端的觸摸屏等而改變 虛擬空間內(nèi)的視點(diǎn)位置和視線方向，與游戲中的其他的用戶的角色進(jìn)行互動(dòng)的情況下，實(shí) 時(shí)性成為重要的要素。在這樣的情況下，通過校正處理而使模擬地具有實(shí)時(shí)性是有益的。 [0216]如以上已說明那樣，根據(jù)第1實(shí)施方式以及第2實(shí)施方式，通過使用圖像顯示時(shí)點(diǎn) 的視點(diǎn)位置以及視線方向，對以圖像生成時(shí)點(diǎn)的視點(diǎn)位置以及視線方向?yàn)榍疤岫傻膱D 像進(jìn)行校正，從而吸收從圖像生成時(shí)點(diǎn)到圖像顯示時(shí)點(diǎn)為止的時(shí)間差分，能夠減輕看起來 的滯后。
[0217]以上，基于實(shí)施方式而說明了本發(fā)明。實(shí)施方式是例示，本領(lǐng)域技術(shù)人員應(yīng)理解在 這些各結(jié)構(gòu)要素或各處理過程的組合中各種的變形例是可能的，并且這樣的變形例也屬于 本發(fā)明的范圍。對這樣的變形例進(jìn)行說明。
[0218] 標(biāo)號說明
[0219] 10控制部、20輸入接口、30輸出接口、32背光燈、40通信控制部、42網(wǎng)絡(luò)適配器、44 天線、50存儲部、60GPS單元、62無線單元、64姿勢傳感器、70外部輸入輸出端子接口、72外部 存儲器、80計(jì)時(shí)部、100頭戴式顯示器、110主體部、120前頭部接觸部、130側(cè)頭部接觸部、200 游戲機(jī)、300標(biāo)志物、350運(yùn)動(dòng)控制器、500全景圖像、700全景圖像生成裝置、710放大指示取 得部、720靈敏度調(diào)整部、730位置/旋轉(zhuǎn)信息取得部、740坐標(biāo)變換部、750全景圖像處理部、 760全景圖像存儲部、770圖像提供部、780校正處理部。
[0220]產(chǎn)業(yè)上的利用可能性
[0221 ]能夠利用于生成圖像并進(jìn)行校正的技術(shù)。
【主權(quán)項(xiàng)】
1. 一種圖像生成裝置，其特征在于，包括： 取得部，取得與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息； 圖像生成部，使用由所述取得部在某個(gè)時(shí)刻所取得的與視點(diǎn)位置以及視線方向的至少 一個(gè)有關(guān)的信息，生成圖像;以及 校正處理部，從所述取得部接受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少 一個(gè)有關(guān)的信息，使用被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對由所 述圖像生成部生成的圖像進(jìn)行校正。2. 如權(quán)利要求1所述的圖像生成裝置，其特征在于， 所述圖像生成部使用在某個(gè)時(shí)刻所取得的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān) 的信息，進(jìn)行將世界坐標(biāo)系變換為觀察坐標(biāo)系的觀察變換，從而生成所述圖像， 所述校正處理部為了對由所述圖像生成部生成的圖像進(jìn)行校正，在使用在某個(gè)時(shí)刻所 取得的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，進(jìn)行所述觀察變換的逆變換，從 而將觀察坐標(biāo)系暫時(shí)還原為世界坐標(biāo)系之后，使用在其他時(shí)刻被更新的與視點(diǎn)位置以及視 線方向的至少一個(gè)有關(guān)的信息，進(jìn)行所述觀察變換，從而再次變換為觀察坐標(biāo)系。3. -種圖像生成裝置，被安裝在經(jīng)由網(wǎng)絡(luò)連接到服務(wù)器的客戶端中， 所述圖像生成裝置包括： 取得部，取得包含與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息的視野信息；以及 校正處理部，從所述服務(wù)器接收使用由所述取得部在某個(gè)時(shí)刻取得的與視點(diǎn)位置以及 視線方向的至少一個(gè)有關(guān)的信息而生成的圖像，從所述取得部接受在其他時(shí)刻被更新的與 視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，并使用被更新的與視點(diǎn)位置以及視線方向 的至少一個(gè)有關(guān)的信息，對所接收到的圖像進(jìn)行校正。4. 一種圖像生成裝置，其特征在于，包括： 取得部，取得與穿戴了頭戴式顯示器的用戶的頭部的位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的 信息； 圖像生成部，使用由所述取得部在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān) 的信息，生成應(yīng)顯示在頭戴式顯示器上的圖像；以及 校正處理部，從所述取得部接受在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān) 的信息，使用被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，對由所述圖像生成部生成 的圖像進(jìn)行校正。5. 如權(quán)利要求4所述的圖像生成裝置，其特征在于， 所述圖像生成部使用在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，進(jìn) 行從頭戴式顯示器的基準(zhǔn)坐標(biāo)系變換為頭戴式顯示器的移動(dòng)坐標(biāo)系的坐標(biāo)變換，從而生成 所述圖像， 所述校正處理部為了對由所述圖像生成部生成的圖像進(jìn)行校正，在使用在某個(gè)時(shí)刻所 取得的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，進(jìn)行所述坐標(biāo)變換的逆變換，從而將移動(dòng) 坐標(biāo)系暫時(shí)還原為基準(zhǔn)坐標(biāo)系之后，使用在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn)的至少一個(gè) 有關(guān)的信息，進(jìn)行所述坐標(biāo)變換，從而再次變換為移動(dòng)坐標(biāo)系。6. 如權(quán)利要求4或者5所述的圖像生成裝置，其特征在于， 所述校正處理部以與頭戴式顯示器的幀率匹配的頻度，從所述取得部接受被更新的與 位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，使用被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信 息，對由所述圖像生成部生成的圖像進(jìn)行校正。7. -種圖像生成方法，其特征在于，包含： 取得步驟，取得與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息； 圖像生成步驟，使用通過所述取得步驟在某個(gè)時(shí)刻所取得的與視點(diǎn)位置以及視線方向 的至少一個(gè)有關(guān)的信息，生成圖像;以及 校正處理步驟，接受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的 信息，使用被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對通過所述圖像生 成步驟生成的圖像進(jìn)行校正。8. -種圖像生成方法，其特征在于，包含： 取得步驟，取得與穿戴了頭戴式顯示器的用戶的頭部的位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān) 的信息； 圖像生成步驟，使用通過所述取得步驟在某個(gè)時(shí)刻所取得的與位置以及旋轉(zhuǎn)的至少一 個(gè)有關(guān)的信息，生成應(yīng)顯示在頭戴式顯示器上的圖像；以及 校正處理步驟，接受在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，使 用被更新的與位置以及旋轉(zhuǎn)有關(guān)的信息，對通過所述圖像生成步驟生成的圖像進(jìn)行校正。9. 一種程序，其特征在于，使計(jì)算機(jī)執(zhí)行以下步驟： 取得步驟，取得與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息； 圖像生成步驟，使用通過所述取得步驟在某個(gè)時(shí)刻所取得的與視點(diǎn)位置以及視線方向 的至少一個(gè)有關(guān)的信息，生成圖像;以及 校正處理步驟，接受在其他時(shí)刻被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的 信息，使用被更新的與視點(diǎn)位置以及視線方向的至少一個(gè)有關(guān)的信息，對通過所述圖像生 成步驟生成的圖像進(jìn)行校正。10. -種程序，其特征在于，使計(jì)算機(jī)執(zhí)行以下步驟： 取得步驟，取得與穿戴了頭戴式顯示器的用戶的頭部的位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān) 的信息； 圖像生成步驟，使用通過所述取得步驟在某個(gè)時(shí)刻所取得的位置以及旋轉(zhuǎn)的至少一個(gè) 有關(guān)的信息，生成應(yīng)顯示在頭戴式顯示器上的圖像； 校正處理步驟，接受在其他時(shí)刻被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，使 用被更新的與位置以及旋轉(zhuǎn)的至少一個(gè)有關(guān)的信息，對通過所述圖像生成步驟生成的圖像 進(jìn)行校正。
【文檔編號】G09G3/20GK106062826SQ201480061487
【公開日】2016年10月26日
【申請日】2014年10月31日
【發(fā)明人】大戶友博, S.M.本森, I.H.比克斯塔夫
【申請人】索尼互動(dòng)娛樂股份有限公司, 索尼電腦娛樂歐洲有限公司