頭部佩戴型顯示裝置、控制頭部佩戴型顯示裝置的方法、圖像顯示系統(tǒng)及信息處理裝置制造方法
【專利摘要】本發(fā)明提供一種頭部佩戴型顯示裝置、控制頭部佩戴型顯示裝置的方法、計(jì)算機(jī)程序、圖像顯示系統(tǒng)以及信息處理裝置。在該頭部佩戴型顯示裝置中，能夠使使用者看到頭部佩戴型顯示裝置的顯示圖像和連接于頭部佩戴型顯示裝置的外部裝置的顯示圖像這兩方。使用者能夠看到虛像和外景的頭部佩戴型顯示裝置具有：生成包含連接于頭部佩戴型顯示裝置的外部裝置的顯示圖像即第1圖像和頭部佩戴型顯示裝置具有的第2圖像的一覽圖像的生成部；和形成表示所生成的一覽圖像的虛像的圖像顯示部。
【專利說明】頭部佩戴型顯示裝置、控制頭部佩戴型顯示裝置的方法、圖像顯示系統(tǒng)及信息處理裝置

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及頭部佩戴型顯示裝置。

【背景技術(shù)】
[0002]已知安裝在頭部的作為顯示裝置的頭部佩戴型顯示裝置(頭戴式顯示器(HeadMounted Display, HMD))。頭部佩戴型顯示裝置,例如,利用液晶顯示器和光源生成表示圖像的圖像光，并利用投射光學(xué)系統(tǒng)和導(dǎo)光板等將生成的圖像光導(dǎo)向使用者的眼睛，由此使使用者識(shí)別虛像。這樣的頭部佩戴型顯示裝置通過例如MicroUSB(Universal Serial Bus,通用串行總線)等的有線接口與智能電話等外部裝置連接，以MHL(Mobile High definit1nLink，移動(dòng)高清連接)等標(biāo)準(zhǔn)為基準(zhǔn)接收來(lái)自外部裝置的影像信號(hào)。同樣地，頭部佩戴型顯示裝置例如通過無(wú)線LAN等的無(wú)線接口與外部裝置連接，以Miracast等標(biāo)準(zhǔn)為基準(zhǔn)接收來(lái)自外部裝置的圖像信號(hào)。頭部佩戴型顯示裝置基于這樣接收的圖像信號(hào)，使頭部佩戴型顯示裝置的使用者看到與外部裝置的顯示畫面中所顯示的圖像(顯示圖像)相同的虛像。
[0003]專利文獻(xiàn)I中記載了一種結(jié)構(gòu)，在使搭載于移動(dòng)信息終端的預(yù)定功能顯示在移動(dòng)信息終端的顯示畫面和頭部佩戴型顯示裝置的顯示畫面中的一方上時(shí)，根據(jù)移動(dòng)信息終端的開閉狀態(tài)來(lái)確定顯示目標(biāo)。專利文獻(xiàn)2中記載了一種文本輸入系統(tǒng)，不管在什么時(shí)間地點(diǎn)為了能夠用單手對(duì)頭部佩戴型顯示裝置輸入文本，而具有檢測(cè)各根手指的動(dòng)作的單元和對(duì)所檢測(cè)到的動(dòng)作進(jìn)行解析并生成文字編碼等編碼的單元。專利文獻(xiàn)3中記載了一種用于向頭部佩戴型顯示裝置提供具有良好的直覺性和可見性的輸入機(jī)構(gòu)的假想鼠標(biāo)。專利文獻(xiàn)4中記載了一種在多個(gè)電子裝置之間通過W1- Fi基礎(chǔ)架構(gòu)模式的無(wú)線通信方式發(fā)送接收電子數(shù)據(jù)的簡(jiǎn)易操作型無(wú)線數(shù)據(jù)發(fā)送接收系統(tǒng)。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2013 - 92781號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開2000 - 284886號(hào)公報(bào)
[0008]專利文獻(xiàn)3:日本特開2000 - 29619號(hào)公報(bào)
[0009]專利文獻(xiàn)4:日本特許第5037718號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0010]在專利文獻(xiàn)I記載的技術(shù)中，存在僅考慮了搭載在移動(dòng)信息終端的預(yù)定功能，而沒有考慮搭載在頭部佩戴型顯示裝置上的功能的顯示這一課題。另外，專利文獻(xiàn)2?4記載的技術(shù)中，存在在頭部佩戴型顯示裝置中，沒有考慮到使其他的裝置的顯示圖像顯示這一課題。
[0011]因此，希望有一種使用者能夠看到頭部佩戴型顯示裝置的顯示圖像和連接于頭部佩戴型顯示裝置的外部裝置的顯示圖像這兩方的頭部佩戴型顯示裝置。除此以外，對(duì)于頭部佩戴型顯示裝置，希望能夠?qū)崿F(xiàn)可用性的提高、通用性的提高、便利性的提高、可靠性的提高、制造成本的降低等各種要求。
[0012]本發(fā)明是用于解決上述課題的至少一部分而作出的發(fā)明，能夠作為以下方式來(lái)實(shí)現(xiàn)。
[0013](I)根據(jù)本發(fā)明的一個(gè)方式，提供一種使用者能夠看到虛像和外景的頭部佩戴型顯示裝置。該頭部佩戴型顯示裝置具有:生成部，其生成一覽圖像，該一覽圖像包含作為連接于所述頭部佩戴型顯示裝置的外部裝置的顯示圖像的第I圖像和所述頭部佩戴型顯示裝置所具有的第2圖像；和形成表示所述生成的一覽圖像的所述虛像的圖像顯示部。根據(jù)該方式的頭部佩戴型顯示裝置，圖像顯示部形成表示一覽圖像的虛像，能夠使使用者看到，所述一覽圖像包括連接于頭部佩戴型顯示裝置的外部裝置的顯示圖像即第I圖像和頭部佩戴型顯示裝置所具有的圖像即第2圖像。因此，能夠提供一種使用者能夠看到頭部佩戴型顯示裝置的顯示圖像和外部裝置的顯示圖像這兩方的頭部佩戴型顯示裝置。
[0014](2)上述方式的頭部佩戴型顯示裝置中，也可以，還具有從所述外部裝置獲取所述第I圖像的獲取部，所述生成部生成所述一覽圖像，所述一覽圖像是在第I區(qū)域配置有所述獲取的第I圖像、在與所述第I區(qū)域不同的第2區(qū)域配置有所述第2圖像的圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部在第I區(qū)域配置從外部裝置獲取的第I圖像、在第2區(qū)域配置頭部佩戴型顯示裝置的第2圖像，由此能夠簡(jiǎn)便地生成一覽圖像。
[0015](3)上述方式的頭部佩戴型顯示裝置中，也可以，所述生成部將所述頭部佩戴型顯示裝置中的當(dāng)前的顯示圖像作為所述第2圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部能夠?qū)㈩^部佩戴型顯示裝置的顯示圖像直接作為第2圖像使用以生成一覽圖像。因此，能夠使生成部中的處理內(nèi)容簡(jiǎn)潔。
[0016](4)上述方式的頭部佩戴型顯示裝置中，也可以，所述生成部通過改變所述頭部佩戴型顯示裝置所具有的圖標(biāo)圖像的配置來(lái)生成所述第2圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部能夠通過變更頭部佩戴型顯示裝置具有的圖標(biāo)圖像的配置，來(lái)生成使縱橫比自由變化了的第2圖像，并利用生成的第2圖像來(lái)生成一覽圖像。
[0017](5)上述方式的頭部佩戴型顯示裝置中，也可以，所述生成部在生成所述第2圖像時(shí)，還對(duì)所述圖標(biāo)圖像實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一項(xiàng)。根據(jù)該方式的頭部佩戴型顯示裝置，生成部在生成第2圖像時(shí)，對(duì)頭部佩戴型顯示裝置的圖標(biāo)圖像實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種。其結(jié)果，使用者在一覽圖像中容易識(shí)別頭部佩戴型顯示裝置的圖標(biāo)圖像。
[0018](6)上述方式的頭部佩戴型顯示裝置中，也可以，所述生成部還改變所述第I圖像和所述第2圖像中的至少一個(gè)圖像的大小，并利用所述改變后的所述圖像來(lái)生成所述一覽圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部能夠使第I圖像的大小與第I區(qū)域的大小相配地變更。另外，生成部能夠使第2圖像的大小與第2區(qū)域的大小相配地變更。
[0019](7)上述方式的頭部佩戴型顯示裝置中，也可以，所述生成部還對(duì)所述第I圖像和所述第2圖像中的至少一個(gè)圖像實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種，并利用所述實(shí)施后的所述圖像來(lái)生成所述一覽圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部在生成一覽圖像時(shí)，能夠?qū)Φ贗圖像和第2圖像整個(gè)的至少一方實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種。其結(jié)果，使用者在一覽圖像中能夠相互容易識(shí)別開第I圖像和第2圖像。
[0020](8)上述方式的頭部佩戴型顯示裝置中，也可以，還具有:獲取所述使用者針對(duì)所述一覽圖像的操作的操作獲取部；和在所述獲取的操作為針對(duì)所述第I圖像的操作的情況下，向所述外部裝置通知所述操作的第I通知部。根據(jù)該方式的頭部佩戴型顯示裝置，第I通知部將使用者針對(duì)一覽圖像的第I圖像的操作向外部裝置通知。因此，使用者能夠經(jīng)由頭部佩戴型顯示裝置的輸入接口對(duì)外部裝置進(jìn)行操作，所以，能夠提高頭部佩戴型顯示裝置的可用性。
[0021](9)上述方式的頭部佩戴型顯示裝置中，也可以，所述圖像顯示部形成對(duì)所述一覽圖像進(jìn)一步重疊有指示圖像而成的所述虛像，所述生成部使重疊于所述第I圖像的所述指示圖像和重疊于所述第2圖像的所述指示圖像成為不同的圖像。根據(jù)該方式的頭部佩戴型顯示裝置，圖像顯示部能夠使重疊于第I圖像的指示圖像和重疊于第2圖像的指示圖像成為不同的圖像(虛像)供使用者看到。其結(jié)果，使用者雖在一覽圖像中自己進(jìn)行操作，但能夠容易地識(shí)別出是第I圖像所表示的外部裝置還是第2圖像所表示的頭部佩戴型顯示裝置。
[0022](10)上述方式的頭部佩戴型顯示裝置中，也可以，所所述生成部還對(duì)重疊于所述第I圖像的所述指示圖像和重疊于所述第2圖像的所述指示圖像中的至少一方實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種，由此，使各所述指示圖像成為不同的圖像。根據(jù)該方式的頭部佩戴型顯示裝置，生成部對(duì)重疊于第I圖像的指示圖像和重疊于第2圖像的指示圖像中的至少一方實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種。其結(jié)果，使用者在一覽圖像中能夠容易識(shí)別出指示圖像。
[0023](11)上述方式的頭部佩戴型顯示裝置中，也可以，所述圖像顯示部形成對(duì)所述一覽圖像進(jìn)一步重疊有指示圖像而成的所述虛像，并具有第2通知部，該第2通知部在所述指示圖像重疊于所述第I圖像的情況下，向所述外部裝置通知位置信息，該位置信息用于使所述外部裝置用的指示圖像重疊于在所述外部裝置的顯示圖像中、與重疊有所述指示圖像的位置相對(duì)應(yīng)的位置。根據(jù)該方式的頭部佩戴型顯示裝置，第2通知部，在指示圖像重疊于第I圖像上的情況下，向外部裝置通知位置信息，該位置信息用于使外部裝置用的指示圖像重疊于在外部裝置的顯示圖像中、與重疊有指示圖像的位置相對(duì)應(yīng)的位置。因此，外部裝置能夠基于獲取的位置信息顯示外部裝置用的指示圖像。其結(jié)果為，外部裝置的使用者能夠在外部裝置中看到頭部佩戴型顯示裝置的第I圖像上的指示圖像。換言之，能夠與外部裝置共有頭部佩戴型顯示裝置中的指針的顯示。
[0024](12)上述方式的頭部佩戴型顯示裝置中，也可以，所述圖像顯示部形成所述虛像，所述虛像是在基于所述頭部佩戴型顯示裝置的輸入設(shè)備中的指示體的運(yùn)動(dòng)和所述使用者的視線的移動(dòng)中的至少任一方所確定的位置上重疊有所述指示圖像而成的圖像。根據(jù)該方式的頭部佩戴型顯示裝置，頭部佩戴型顯示裝置能夠基于輸入設(shè)備的指示體的運(yùn)動(dòng)和使用者的視線的移動(dòng)中的至少任一方，來(lái)確定指示圖像的位置。
[0025](13)上述方式的頭部佩戴型顯示裝置中，也可以，所述獲取部從一個(gè)所述外部裝置獲取所述第I圖像，并從別的所述外部裝置獲取所述別的外部裝置的顯示圖像即第3圖像，所述生成部生成在與所述第I區(qū)域及所述第2區(qū)域不同的第3區(qū)域配置有所述第3圖像而成的所述一覽圖像。根據(jù)該方式的頭部佩戴型顯示裝置，能夠提供一種即使在作為外部裝置連接有多個(gè)裝置的情況下、使用者也能夠看到頭部佩戴型顯示裝置的顯示圖像和外部裝置的顯示圖像這兩方的頭部佩戴型顯示裝置。
[0026](14)根據(jù)本發(fā)明的一個(gè)方式，提供一種圖像顯示系統(tǒng)。該圖像顯示系統(tǒng)具有:使用者能夠看到虛像和外景的頭部佩戴型顯示裝置；和連接于所述頭部佩戴型顯示裝置的外部裝置，所述外部裝置具有發(fā)送部，該發(fā)送部獲取所述外部裝置的顯示圖像即第I圖像，并將所述獲取的第I圖像向所述頭部佩戴型顯示裝置發(fā)送，所述頭部佩戴型顯示裝置具有:生成包含所述第I圖像和所述頭部佩戴型顯示裝置所具有的第2圖像的一覽圖像的生成部；和形成表示所述生成的一覽圖像的所述虛像的圖像顯示部。
[0027](15)根據(jù)本發(fā)明的一個(gè)方式，提供信息處理裝置，該信息處理裝置連接于頭部佩戴型顯示裝置，生成供所述頭部佩戴型顯示裝置顯示的圖像。該信息處理裝置具有:獲取部，其獲取連接于所述頭部佩戴型顯示裝置的外部裝置的顯示圖像即第I圖像和所述頭部佩戴型顯示裝置所具有的第2圖像；一覽圖像生成部，其生成包括所述獲取的第I圖像和所述獲取的第2圖像的一覽圖像；和一覽圖像發(fā)送部，其將所述生成的一覽圖像向所述頭部佩戴型顯示裝置發(fā)送。根據(jù)該方式的信息處理裝置，能夠利用連接于頭部佩戴型顯示裝置的信息處理裝置得到與上述方式同樣的效果。
[0028]上述的本發(fā)明的各方式具有的多個(gè)構(gòu)成要素并非全部必須，為了解決上述課題的一部分或全部、或者為了實(shí)現(xiàn)本說明書記載的效果的一部分或全部，對(duì)于所述多個(gè)構(gòu)成要素的一部分構(gòu)成要素，能夠適當(dāng)?shù)剡M(jìn)行變更、刪除、與新構(gòu)成要素的替換、刪除限定內(nèi)容的一部分。另外，為了解決上述的課題的一部分或全部、或者為了實(shí)現(xiàn)本說明書中記載的效果的一部分或全部，能夠?qū)⑸鲜霰景l(fā)明的一個(gè)方式中所包含的技術(shù)特征的一部分或全部與上述本發(fā)明的其他方式所包含的技術(shù)特征的一部分或全部組合，而作為本發(fā)明的獨(dú)立的一個(gè)方式。
[0029]例如，本發(fā)明的一個(gè)方式能夠作為具有生成部和圖像顯示部這兩個(gè)要素中的一部分或全部要素的裝置來(lái)實(shí)現(xiàn)。即，該裝置既可以具有生成部，也可以沒有。另外，該裝置既可以具有圖像顯示部，也可以沒有。這樣的裝置，例如能夠作為頭部佩戴型顯示裝置來(lái)實(shí)現(xiàn)，但也能夠作為頭部佩戴型顯示裝置以外的其他的裝置來(lái)實(shí)現(xiàn)。上述的頭部佩戴型顯示裝置的各方式的技術(shù)特征的一部分或全部都能夠應(yīng)用于該裝置。
[0030]此外，本發(fā)明能夠以各種方式來(lái)實(shí)現(xiàn)，例如，能夠以頭部佩戴型顯示裝置、頭部佩戴型顯示裝置的控制方法、利用頭部佩戴型顯示裝置的圖像顯示系統(tǒng)、這些方法、裝置或用于實(shí)現(xiàn)系統(tǒng)的功能的計(jì)算機(jī)程序、記錄有該計(jì)算機(jī)程序的記錄介質(zhì)等的方式來(lái)實(shí)現(xiàn)。

【專利附圖】

【附圖說明】
[0031]圖1是表示本發(fā)明的一個(gè)實(shí)施方式的圖像顯示系統(tǒng)1000的概要結(jié)構(gòu)的說明圖。
[0032]圖2是功能性地表示頭戴式顯示器100的結(jié)構(gòu)的框圖。
[0033]圖3是表示存儲(chǔ)在區(qū)域信息存儲(chǔ)部122中的區(qū)域信息的一例的說明圖。
[0034]圖4是表示使使用者看到的虛像的一例的說明圖。
[0035]圖5是表示配置處理的順序的順序圖。
[0036]圖6是表示在頭戴式顯示器100中顯示有一覽圖像的樣子的說明圖。
[0037]圖7是用于說明一覽圖像中的指示圖像的變化的說明圖。
[0038]圖8是表示通知處理的順序的順序圖。
[0039]圖9是用于說明通知處理的步驟S202的說明圖。
[0040]圖10是功能性地表示第2實(shí)施方式中的頭戴式顯示器10a的結(jié)構(gòu)的框圖。
[0041]圖11是表示存儲(chǔ)在構(gòu)架信息124中的構(gòu)架的一例的說明圖。
[0042]圖12是表示第2實(shí)施方式中的配置處理的順序的順序圖。
[0043]圖13是表示在頭戴式顯示器10a中顯示有一覽圖像的樣子的說明圖。
[0044]圖14是表示第3實(shí)施方式中的圖像顯示系統(tǒng)的概要結(jié)構(gòu)的說明圖。
[0045]圖15是功能性地表示第3實(shí)施方式中的頭戴式顯示器的結(jié)構(gòu)的框圖。
[0046]圖16是表示第3實(shí)施方式中的在區(qū)域信息存儲(chǔ)部所存儲(chǔ)的區(qū)域信息的一例的說明圖。
[0047]圖17是表示第3實(shí)施方式的配置處理的順序的順序圖。
[0048]圖18是表示在頭戴式顯示器中顯示有一覽圖像的樣子的說明圖。
[0049]圖19是表示第3實(shí)施方式中的指針通知處理的順序的順序圖。
[0050]圖20是表示在頭戴式顯示器中在一覽圖像上重疊顯示有指示圖像的樣子的說明圖。
[0051]圖21是表示在作為外部裝置的頭戴式顯示器中、在一覽圖像上重疊顯示指示圖像的樣子的說明圖。
[0052]圖22是表示第3實(shí)施方式的通知處理的順序的順序圖。
[0053]圖23是用于說明第3實(shí)施方式中的通知處理的步驟S600?S606的說明圖。
[0054]圖24是表示變形例中的頭戴式顯示器的外觀的結(jié)構(gòu)的說明圖。
[0055]附圖標(biāo)記的說明
[0056]10…控制部
[0057]20…圖像顯示部
[0058]22…右顯示驅(qū)動(dòng)部
[0059]24…左顯示驅(qū)動(dòng)部
[0060]26…右光學(xué)像顯示部
[0061]28…左光學(xué)像顯示部
[0062]32…右耳機(jī)
[0063]34…左耳機(jī)
[0064]40...連接部
[0065]51...發(fā)送部
[0066]52...發(fā)送部
[0067]53…接收部
[0068]100、100a、10b…頭戴式顯示器(頭部佩戴型顯示裝置)
[0069]10x…頭戴式顯示器(外部裝置)
[0070]10y…頭戴式顯示器(外部裝置)
[0071]110…輸入信息獲取部(操作獲取部)
[0072]120…存儲(chǔ)部
[0073]122…區(qū)域信息存儲(chǔ)部
[0074]124…構(gòu)架信息
[0075]130…電源
[0076]132…無(wú)線通信部(獲取部)
[0077]140…CPU
[0078]142、142a、142b…生成部(獲取部、生成部)
[0079]144、144a…通知部(第I通知部)
[0080]144b…通知部(第I通知部、第2通知部)
[0081]160…圖像處理部
[0082]170…聲音處理部
[0083]180 …接口
[0084]190…顯示控制部
[0085]201…右背光源控制部
[0086]202…左背光源控制部
[0087]221…右背光源
[0088]222…左背光源
[0089]251…右投射光學(xué)系統(tǒng)
[0090]252…左投射光學(xué)系統(tǒng)
[0091]261…右導(dǎo)光板
[0092]262…左導(dǎo)光板
[0093]300…智能電話(外部裝置)
[0094]1000、1000a、1000b...圖像顯示系統(tǒng)
[0095]Data…圖像數(shù)據(jù)
[0096]BI?BlO…圖像邊框
[0097]BC…粗邊框
[0098]SC…外景
[0099]RE…右眼
[0100]LE…左眼
[0101]Al、AIb…區(qū)域信息
[0102]VI…虛像
[0103]VR...可見區(qū)
[0104]FMl…構(gòu)架
[0105]頂1…第I圖像
[0106]頂2…第2圖像
[0107]頂3…第3圖像
[0108]POl…指示圖像
[0109]P02…指示圖像
[0110]ARl…第I區(qū)域
[0111]AR2…第2區(qū)域
[0112]AR3…第3區(qū)域
[0113]LTl…圖像列表
[0114]LT2…圖像列表
[0115]INT…互聯(lián)網(wǎng)

【具體實(shí)施方式】
[0116]A.第I實(shí)施方式:
[0117]A-1.圖像顯示系統(tǒng)的結(jié)構(gòu):
[0118]圖1是表示本發(fā)明的一個(gè)實(shí)施方式中的圖像顯示系統(tǒng)1000的概要結(jié)構(gòu)的說明圖。圖像顯示系統(tǒng)1000具有頭部佩戴型顯示裝置100和作為外部裝置的移動(dòng)信息終端300。圖像顯示系統(tǒng)1000是使包括移動(dòng)信息終端300的顯示圖像和頭部佩戴型顯示裝置100所具有的圖像的一覽圖像顯示于頭部佩戴型顯示裝置100的系統(tǒng)。這里，“智能電話300的顯示圖像”是指在智能電話300的顯示畫面中顯示的圖像。此外，智能電話300的顯示圖像還包括雖為應(yīng)顯示于顯示畫面的圖像但作為外部輸出的結(jié)果而沒有被顯示的圖像。另外，“頭部佩戴型顯示裝置100所具有的圖像”是指在頭部佩戴型顯示裝置100的顯示畫面中當(dāng)前所顯示的圖像。此外，頭部佩戴型顯示裝置100的顯示圖像還包括雖為應(yīng)顯示于顯示畫面的圖像但作為外部輸出的結(jié)果而沒有被顯示的圖像。
[0119]頭部佩戴型顯示裝置100是佩戴在頭部的顯示裝置，也被稱作頭戴式顯示器(Head Mounted Display,HMD)。本實(shí)施方式的頭戴式顯示器100是使用者在看到虛像的同時(shí)還能夠直接看到外景的光學(xué)透射型的頭部佩戴型顯示裝置。移動(dòng)信息終端300為能夠移動(dòng)的信息通信終端。本實(shí)施方式中，作為移動(dòng)信息終端例示了智能電話(smartphone)。頭戴式顯示器100和智能電話300能夠以無(wú)線通信或有線通信的方式連接。
[0120]A- 2.頭部佩戴型顯示裝置的結(jié)構(gòu):
[0121]圖2是功能性地表示頭戴式顯示器100的結(jié)構(gòu)的框圖。
[0122]如圖1、2所示，頭戴式顯示器100具有:在佩戴于使用者頭部的狀態(tài)下使使用者看到虛像的圖像顯示部20 ;和控制圖像顯示部20的控制部(控制器)10。圖像顯示部20和控制部10通過連接部40連接，并經(jīng)由連接部40進(jìn)行各種信號(hào)的傳送。連接部40能夠采用金屬線纜或光纖。
[0123]A - 2 - 1.控制部的構(gòu)成:
[0124]控制部10是用于控制頭戴式顯示器100的裝置?？刂撇?0具有輸入信息獲取部110、存儲(chǔ)部120、電源130、無(wú)線通信部132、GPS模塊134、CPU140、接口 180和發(fā)送部(Tx) 51及52，各部分通過未圖示總線相互連接(圖2)。
[0125]輸入信息獲取部110獲取與針對(duì)輸入設(shè)備的操作輸入相應(yīng)的信號(hào)，該輸入設(shè)備例如是觸摸板、十字鍵、腳開關(guān)(通過使用者的腳來(lái)操作的開關(guān))、手勢(shì)檢測(cè)器(利用照相機(jī)等檢測(cè)使用者的手勢(shì)，獲取與手勢(shì)相對(duì)應(yīng)的指令所代表的操作輸入)、視線檢測(cè)器(利用紅外線傳感器等檢測(cè)使用者的視線，獲取與視線的移動(dòng)相對(duì)應(yīng)的指令所代表的操作輸入)、麥克風(fēng)等。此外，手勢(shì)檢測(cè)時(shí)，還可以將使用者的指尖、使用者的手上戴的戒指或使用者手上拿的道具等作為用于檢測(cè)動(dòng)作的標(biāo)識(shí)。只要設(shè)為獲取針對(duì)腳開關(guān)、視線檢測(cè)器、麥克風(fēng)的操作輸入，即使在使用者難以用手進(jìn)行操作的現(xiàn)場(chǎng)(例如，醫(yī)療現(xiàn)場(chǎng)、建筑業(yè)和制造業(yè)等的需要手頭作業(yè)的現(xiàn)場(chǎng)等)，也能夠大幅度提高使用頭戴式顯示器100的情況下的使用者的便利性。
[0126]存儲(chǔ)部120包括ROM、RAM、DRAM、硬盤等。存儲(chǔ)部120包括區(qū)域信息存儲(chǔ)部122。區(qū)域信息存儲(chǔ)部122存儲(chǔ)至少一個(gè)區(qū)域信息。區(qū)域信息是規(guī)定在配置處理(圖5)中要生成的一覽圖像的區(qū)域的信息。若換言之，則區(qū)域信息作為用于配置頭戴式顯示器100所具有的圖像和智能電話300的顯示圖像的邊框被使用。
[0127]圖3是表示存儲(chǔ)于區(qū)域信息存儲(chǔ)部122的區(qū)域信息的一例的說明圖。圖3所示的區(qū)域信息Al具有長(zhǎng)方形狀的區(qū)域(以后，還稱作“區(qū)域Al”)。區(qū)域Al，優(yōu)選，具有與頭戴式顯示器100的顯示元件(圖2:右IXD241、左IXD242)的縱橫比相同的縱橫比。
[0128]區(qū)域Al包括第I區(qū)域ARl和第2區(qū)域AR2這兩個(gè)區(qū)域。第I區(qū)域ARl是在配置處理(圖5)中配置智能電話300的顯示圖像的區(qū)域。第2區(qū)域AR2是在配置處理中配置頭戴式顯示器100所具有的圖像的區(qū)域。在圖3的例中，第I區(qū)域ARl被配置在將區(qū)域Al沿水平方向等分后的一個(gè)區(qū)域，第2區(qū)域AR2被配置在將區(qū)域Al沿水平方向等分后的另一個(gè)區(qū)域。即，第I區(qū)域ARl和第2區(qū)域AR2為大小相同的區(qū)域。
[0129]此外，圖3所示的第I區(qū)域ARl和第2區(qū)域AR2的配置及大小為一例，能夠任意確定。例如，第I區(qū)域ARl和第2區(qū)域AR2還可以為將區(qū)域Al沿水平方向η等分(η為3以上的整數(shù))后的大小。該情況下，在利用區(qū)域信息Al所生成的一覽圖像被顯示于頭戴式顯示器100時(shí)，從不妨礙使用者的可見區(qū)的觀點(diǎn)考慮，第I區(qū)域ARl和第2區(qū)域AR2，優(yōu)選配置在區(qū)域Al的端部(左右的端部)。另外，第I區(qū)域ARl和第2區(qū)域AR2還可以為將區(qū)域Al沿鉛垂方向m等分(m為2以上的整數(shù))后的大小。這里，在m為3以上的情況下，第I區(qū)域ARl和第2區(qū)域AR2，優(yōu)選配置在區(qū)域Al的端部(上下的端部)。另外，第I區(qū)域ARl和第2區(qū)域AR2還可以為不同的大小。另外，第I區(qū)域ARl和第2區(qū)域AR2，其區(qū)域的至少一部分還可以重疊。
[0130]電源130向頭戴式顯示器100的各部分供給電力。作為電源130，例如能夠使用二次電池。無(wú)線通信部132按照預(yù)定無(wú)線通信標(biāo)準(zhǔn)(例如，紅外線、Bluetooth(注冊(cè)商標(biāo))所例示的近距離無(wú)線通信、IEEE802.11所例示的無(wú)線LAN等)，與外部裝置之間進(jìn)行無(wú)線通信。外部裝置是指頭戴式顯示器100以外的其他設(shè)備，除圖1所示的智能電話300外，還有平板電腦、個(gè)人電腦、游戲終端、AV(Aud1 Video，影音)終端、家電制品等。GPS模塊134通過接收來(lái)自GPS衛(wèi)星的信號(hào)，檢測(cè)頭戴式顯示器100的使用者的當(dāng)前位置，并生成表示使用者的當(dāng)前位置的當(dāng)前位置信息。此外，當(dāng)前位置信息能夠通過例如表示緯度經(jīng)度的坐標(biāo)來(lái)實(shí)現(xiàn)。
[0131]CPU140讀出并獲執(zhí)行存儲(chǔ)在存儲(chǔ)部120中的計(jì)算機(jī)程序，由此，作為生成部142、通知部144、操作系統(tǒng)(OS) 150、圖像處理部160、聲音處理部170和顯示控制部190發(fā)揮作用。
[0132]生成部142在配置處理(圖4)中利用頭戴式顯示器100具有的圖像和智能電話300的顯示圖像來(lái)生成一覽圖像。通知部144在通知處理(圖8)中，在一覽圖像中的、智能電話300的顯示圖像被操作了的情況下，向智能電話300通知操作內(nèi)容。
[0133]圖像處理部160基于從生成部142、接口 180和無(wú)線通信部132等經(jīng)由0S150輸入的影像信號(hào)而生成信號(hào)。圖像處理部160通過將生成的信號(hào)經(jīng)由連接部40向圖像顯示部20供給，由此，控制圖像顯示部20中的顯示。用于向圖像顯示部20供給的信號(hào)在模擬形式和數(shù)字形式的情況下不同。
[0134]例如，在為數(shù)字形式的情況下，輸入數(shù)字R信號(hào)、數(shù)字G信號(hào)、數(shù)字B信號(hào)和時(shí)鐘信號(hào)PCLK為同步狀態(tài)的影像信號(hào)。圖像處理部160根據(jù)需要對(duì)包括數(shù)字R信號(hào)、數(shù)字G信號(hào)和數(shù)字B信號(hào)的圖像數(shù)據(jù)Data執(zhí)行公知的析像度轉(zhuǎn)換處理、輝度彩度的調(diào)整等各種色調(diào)修正處理、梯形修正處理等的圖像處理。然后，圖像處理部160經(jīng)由發(fā)送部51、52發(fā)送時(shí)鐘信號(hào)PCLK和圖像數(shù)據(jù)Data。
[0135]在為模擬形式的情況下，輸入包括模擬R信號(hào)、模擬G信號(hào)、模擬B信號(hào)、垂直同步信號(hào)VSync和水平同步信號(hào)HSync構(gòu)成的影像信號(hào)。圖像處理部160從輸入的信號(hào)中分離出垂直同步信號(hào)VSync和水平同步信號(hào)HSync，并根據(jù)它們的周期利用未圖示PLL電路等來(lái)生成時(shí)鐘信號(hào)PCLK。另外，圖像處理部160利用A/D轉(zhuǎn)換電路等將模擬R信號(hào)、模擬G信號(hào)、模擬B信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。圖像處理部160在根據(jù)需要對(duì)包括轉(zhuǎn)換后的數(shù)字R信號(hào)、數(shù)字G信號(hào)和數(shù)字B信號(hào)的圖像數(shù)據(jù)Data執(zhí)行公知的圖像處理后，經(jīng)由發(fā)送部51、52發(fā)送時(shí)鐘信號(hào)PCLK、圖像數(shù)據(jù)Data、垂直同步信號(hào)Vsync和水平同步信號(hào)HSync。此外，以后，還將經(jīng)由發(fā)送部51發(fā)送的圖像數(shù)據(jù)Data稱作“右眼用圖像數(shù)據(jù)Datal”，將經(jīng)由發(fā)送部52發(fā)送的圖像數(shù)據(jù)Data稱作“左眼用圖像數(shù)據(jù)Data2”。
[0136]顯示控制部190生成對(duì)圖像顯示部20所具有的右顯示驅(qū)動(dòng)部22和左顯示驅(qū)動(dòng)部24進(jìn)行控制的控制信號(hào)?？刂菩盘?hào)是指用于獨(dú)立地在下述動(dòng)作之間切換的信號(hào):由右IXD控制部211驅(qū)動(dòng)/停止驅(qū)動(dòng)右IXD241、由右背光源控制部201驅(qū)動(dòng)/停止驅(qū)動(dòng)右背光源221、由左IXD控制部212驅(qū)動(dòng)/停止驅(qū)動(dòng)左IXD242、由左背光源控制部202驅(qū)動(dòng)/停止驅(qū)動(dòng)左背光源222。顯示控制部190通過這些控制信號(hào)，對(duì)右顯示驅(qū)動(dòng)部22和左顯示驅(qū)動(dòng)部24中的圖像光的生成及出射進(jìn)行控制。顯示控制部190經(jīng)由發(fā)送部51、52發(fā)送生成了的控制信號(hào)。
[0137]聲音處理部170獲取內(nèi)容中所包含的聲音信號(hào)，對(duì)獲取的聲音信號(hào)進(jìn)行放大，并向右耳機(jī)32的未圖不揚(yáng)聲器和左耳機(jī)34的未圖不揚(yáng)聲器供給。
[0138]接口180 按照預(yù)定有線通信標(biāo)準(zhǔn)(例如，MicroUSB (Universal Serial Bus)、USB、HDMI (High Definit1n Multimedia Interface,高清晰度多媒體接口，HDMI 為注冊(cè)商標(biāo))、DVI (Digital Visual Interface,數(shù)字視頻接口)、VGA(Video Graphics Array,視頻圖形陣列)'composite (合成)、RS — 232C (Recommended Standard 232,推薦性標(biāo)準(zhǔn))、IEEE802.3例示的有線LAN等)，在與外部裝置之間進(jìn)行有線通信。外部裝置是指頭戴式顯示器100以外的其他設(shè)備，除圖1所示的智能電話300外，還有平板電腦、個(gè)人電腦、游戲終端、AV終端、豕電制品等。
[0139]A - 2 - 2.圖像顯示部的結(jié)構(gòu):
[0140]圖像顯示部20為佩戴在使用者頭部的佩戴體，本實(shí)施方式中具有眼鏡形狀。圖像顯示部20包括右顯示驅(qū)動(dòng)部22、左顯示驅(qū)動(dòng)部24、右光學(xué)像顯示部26(圖1)、左光學(xué)像顯示部28 (圖1)和9軸傳感器66。
[0141]右顯示驅(qū)動(dòng)部22和左顯示驅(qū)動(dòng)部24被配置于在使用者佩戴了圖像顯示部20時(shí)與使用者的鬢角相對(duì)的位置。本實(shí)施方式中的右顯示驅(qū)動(dòng)部22和左顯示驅(qū)動(dòng)部24利用液晶顯示器(Liquid Crystal Display,以下稱作“IXD”)和投射光學(xué)系統(tǒng),生成并出射表示圖像的圖像光。右顯示驅(qū)動(dòng)部22包括接收部(Rx) 53、作為光源發(fā)揮功能的右背光源(BL)控制部201及右背光源(BL) 221、作為顯示元件發(fā)揮功能的右IXD控制部211及右IXD241、和右投射光學(xué)系統(tǒng)251。
[0142]接收部53接收從發(fā)送部51發(fā)送的數(shù)據(jù)。右背光源控制部201基于所輸入的控制信號(hào)而驅(qū)動(dòng)右背光源221。右背光源221，例如為L(zhǎng)ED或電致發(fā)光(EL)等的發(fā)光體。右LCD控制部211基于所輸入的時(shí)鐘信號(hào)PCLK、右眼用圖像數(shù)據(jù)Datal、垂直同步信號(hào)VSync和水平同步信號(hào)HSync來(lái)驅(qū)動(dòng)右IXD241。右IXD241為將多個(gè)像素配置成矩陣狀而成的透射型液晶面板。右IXD241通過對(duì)配置成矩陣狀的各像素位置的液晶進(jìn)行驅(qū)動(dòng)，使透射右IXD241的光的透射率變化，由此，將從右背光源221照射的照明光向表示圖像的有效圖像光調(diào)制。右投射光學(xué)系統(tǒng)251包括將從右LCD241出射了的圖像光形成為平行狀態(tài)的光束的準(zhǔn)直鏡頭。
[0143]左顯示驅(qū)動(dòng)部24具有與右顯示驅(qū)動(dòng)部22大致同樣的構(gòu)成,與右顯示驅(qū)動(dòng)部22同樣地工作。即，左顯示驅(qū)動(dòng)部24包括接收部(Rx) 54、作為光源發(fā)揮功能的左背光源(BL)控制部202及左背光源(BL) 222、作為顯示元件發(fā)揮功能的左IXD控制部212及左IXD242、和左投射光學(xué)系統(tǒng)252。詳細(xì)的說明省略。此外，本實(shí)施方式中雖采用背光源方式，但還可以利用前光源方式或反射方式來(lái)出射圖像光。
[0144]右光學(xué)像顯示部26和左光學(xué)像顯示部28被配置成，在使用者佩戴圖像顯示部20時(shí)分別位于使用者的左右的眼前(參照?qǐng)D1)。右光學(xué)像顯示部26包括右導(dǎo)光板261和未圖示調(diào)光板。右導(dǎo)光板261由光透射性的樹脂材料等形成。右導(dǎo)光板261 —邊使從右顯示驅(qū)動(dòng)部22輸出的圖像光沿預(yù)定光路反射一邊將其導(dǎo)向使用者的右眼RE。右導(dǎo)光板261既可以使用衍射光柵，也可以使用半透射反射膜。調(diào)光板為薄板狀的光學(xué)元件，被配置成覆蓋圖像顯示部20的表側(cè)。調(diào)光板保護(hù)右導(dǎo)光板261，并抑制右導(dǎo)光板261的損傷和污潰的附著等。另外，通過對(duì)調(diào)光板的光透射率進(jìn)行調(diào)整，能夠調(diào)整進(jìn)入到使用者的眼睛的外光量從而調(diào)整虛像的可見容易性。此外，調(diào)光板能夠省略。
[0145]左光學(xué)像顯示部28具有與右光學(xué)像顯示部26大致同樣的結(jié)構(gòu)，并與右光學(xué)像顯示部26同樣地工作。即，左光學(xué)像顯示部28包括左導(dǎo)光板262和未圖示調(diào)光板，將從左顯示驅(qū)動(dòng)部24輸出的圖像光導(dǎo)向使用者的左眼LE。詳細(xì)的說明省略。
[0146]9軸傳感器66是檢測(cè)加速度(3軸)、角速度(3軸)和地磁場(chǎng)(3軸)的工作傳感器。9軸傳感器66由于設(shè)在圖像顯示部20，所以，在圖像顯示部20佩戴在使用者頭部時(shí)，作為檢測(cè)頭戴式顯示器100的使用者的頭部的運(yùn)動(dòng)的移動(dòng)檢測(cè)部發(fā)揮功能。這里，頭部的運(yùn)動(dòng)包括頭部的速度、加速度、角速度、朝向和朝向的變化。
[0147]圖4是表示被使用者看到的虛像的一例的說明圖。圖4中例示了使用者的可見區(qū)VR0如上述那樣，被導(dǎo)入頭戴式顯示器100的使用者的雙眼的圖像光在使用者的視網(wǎng)膜上成像，由此,使用者能夠看到虛像VI。圖4的例中，虛像VI為頭戴式顯示器100的OS的待機(jī)畫面。另外，使用者透射右光學(xué)像顯示部26及左光學(xué)像顯示部28看到外景SC。這樣，本實(shí)施方式的頭戴式顯示器100的使用者，針對(duì)可見區(qū)VR中的顯示有虛像VI的部分，能夠看見虛像VI和虛像VI背后的外景SC。另外，使用者針對(duì)可見區(qū)VR中沒有顯示虛像VI的部分，能夠透射右光學(xué)像顯示部26及左光學(xué)像顯示部28而直接觀察外景SC。此外，本說明書中，“頭戴式顯示器100顯示圖像”的情況還包括使頭戴式顯示器100的使用者看到虛像的情況。
[0148]A— 3.配置處理:
[0149]圖5是表示配置處理的順序的順序圖。配置處理是生成頭戴式顯示器100所具有的圖像和智能電話300的顯示圖像并排配置而成的一覽圖像，并使生成的一覽圖像在頭戴式顯示器100中顯示的處理。配置處理主要通過生成部142來(lái)執(zhí)行。
[0150]步驟SlOO中，起動(dòng)用于進(jìn)行配置處理的應(yīng)用。步驟SlOO的應(yīng)用的起動(dòng)，既可以將輸入信息獲取部110檢測(cè)到了使用者所進(jìn)行的起動(dòng)操作的情況作為觸發(fā)條件，也可以將檢測(cè)到了來(lái)自其他的應(yīng)用的起動(dòng)命令的情況作為觸發(fā)條件。通過步驟SlOO的應(yīng)用的起動(dòng)，使CPU140能夠?qū)崿F(xiàn)生成部142及通知部144的功能。
[0151]步驟S102中，無(wú)線通信部132或接口 180檢測(cè)到了連接有智能電話300的情況。此外，以后，例示了頭戴式顯示器100和智能電話300利用以IEEE802.11為基準(zhǔn)的無(wú)線LAN進(jìn)行通信的情況。步驟S104中，生成部142進(jìn)行對(duì)經(jīng)由無(wú)線通信部132而連接的智能電話300的認(rèn)證。該認(rèn)證能夠利用各種認(rèn)證技術(shù)來(lái)實(shí)施。例如，生成部142既可以利用智能電話300的MAC(Media Access Control,介質(zhì)訪問控制)地址對(duì)智能電話300進(jìn)行認(rèn)證,也可以利用用戶名和密碼對(duì)智能電話300進(jìn)行認(rèn)證。另外，生成部142還可以利用認(rèn)證站發(fā)行的數(shù)字證書對(duì)智能電話300進(jìn)行認(rèn)證，還可以對(duì)使用者的身體特征(臉、指紋、聲紋)進(jìn)行識(shí)別來(lái)對(duì)智能電話300進(jìn)行認(rèn)證。步驟S104中的認(rèn)證成功后，步驟S106中，生成部142在與智能電話300之間確立連接。
[0152]步驟S108中，智能電話300獲取智能電話300的顯示圖像。具體而言，智能電話300根據(jù)預(yù)定標(biāo)準(zhǔn)對(duì)智能電話300中再現(xiàn)期間的內(nèi)容和應(yīng)用⑶I (Graphical UserInterface,圖形用戶界面)等在智能電話300中所顯示的畫面進(jìn)行描繪,獲取構(gòu)架(frame)圖像。在步驟S108中獲取到的構(gòu)架圖像為智能電話300的顯示圖像，以后也稱作“第I圖像”。
[0153]步驟SllO中，智能電話300向頭戴式顯示器100發(fā)送獲取到的第I圖像。頭戴式顯示器100的生成部142經(jīng)由無(wú)線通信部132獲取第I圖像。此時(shí)，生成部142和無(wú)線通信部132作為“獲取部”發(fā)揮功能。
[0154]步驟S112中，生成部142獲取當(dāng)前顯示在頭戴式顯示器100的顯示畫面中的圖像，作為頭戴式顯示器100所具有的圖像。具體而言，生成部142利用與步驟S108同樣的方法，獲取構(gòu)架圖像。此外，生成部142也可以從圖像處理部160或圖像存儲(chǔ)器直接獲取構(gòu)架圖像。步驟S112中獲取到的構(gòu)架圖像為頭戴式顯示器100所具有的圖像，以后也稱作“第2圖像”。
[0155]步驟SI 14中，生成部142對(duì)第I圖像和第2圖像進(jìn)行放大、縮小。具體而言，生成部142將在步驟SllO中獲取到的第I圖像放大或縮小使得其與區(qū)域信息Al (圖3)的第I區(qū)域ARl的大小相配。同樣地，生成部142將在步驟S112中獲取到的第2圖像放大或縮小使得其與區(qū)域信息Al的第2區(qū)域AR2的大小相配。此外，生成部142，優(yōu)選在分別維持第I圖像及第2圖像的縱橫比的狀態(tài)下進(jìn)行放大或縮小。這樣一來(lái)，生成部142能夠生成忠實(shí)地再現(xiàn)了智能電話300的顯示圖像和頭戴式顯示器100所具有的圖像(顯示圖像)的一覽圖像。
[0156]步驟S116中，生成部142將第I圖像配置在區(qū)域信息Al的第I區(qū)域AR1、將第2圖像配置在區(qū)域信息Al的第2區(qū)域AR2而生成一覽圖像。此時(shí)，生成部142也可以對(duì)第I圖像和第2圖像中的至少一方實(shí)施以下al?a5所例示的加工。此外，加工al?a5既可以單獨(dú)采用，也可以組合采用。
[0157](al)生成部142改變第I圖像、第2圖像的形狀。例如，生成部142能夠?qū)⑺倪呅蔚牡贗圖像、第2圖像變更成圓形或梯形。
[0158](a2)生成部142改變第I圖像、第2圖像的透射率。如果改變第I圖像、第2圖像的透射率，則在看到了作為虛像顯示的一覽圖像時(shí)，能夠抑制使用者的可見區(qū)受一覽圖像妨礙。
[0159](a3)生成部142實(shí)施第I圖像、第2圖像的顏色轉(zhuǎn)換處理。例如，圖像顯示部20成為具有照相機(jī)的結(jié)構(gòu)，該照相機(jī)拍攝使用者的可見區(qū)方向的外景(外部的景色)，并獲取外景圖像。而且，生成部142對(duì)第I圖像、第2圖像實(shí)施增強(qiáng)外景圖像的互補(bǔ)色或減弱外景圖像的互補(bǔ)色的顏色轉(zhuǎn)換處理。據(jù)此，生成部142能夠使第I圖像、第2圖像與外景相比更醒目。
[0160](a4)生成部14改變第I圖像、第2圖像的大小。例如，生成部142與區(qū)域信息Al的第1、2的區(qū)域的大小無(wú)關(guān)地將第I圖像、第2圖像放大或縮小。
[0161](a5)生成部142對(duì)第I圖像、第2圖像附加文字、圖形、符號(hào)等的裝飾。例如，生成部142能夠?qū)Φ贗圖像、第2圖像附加用于說明圖像的文字。另外，例如，生成部142還能夠?qū)Φ贗圖像、第2圖像追加劃出圖像的周圍邊界的邊框。
[0162]這樣，只要設(shè)為對(duì)第I圖像和第2圖像中的一方實(shí)施上述al?a5那樣的加工，則看到了一覽圖像的使用者在一覽圖像中就可容易地將第I圖像和第2圖像相互識(shí)別開。另夕卜，即使利用不同方式對(duì)第I圖像和第2圖像這兩方實(shí)施上述al?a5那樣的加工，也能夠同樣地提高使用者對(duì)其的識(shí)別性。
[0163]步驟S118中，生成部142使一覽圖像顯示在頭戴式顯示器100中。具體而言，生成部142將在步驟S116中生成了的一覽圖像向圖像處理部160發(fā)送。在接收了一覽圖像的圖像處理部160中，進(jìn)行上述顯示處理。其結(jié)果，被導(dǎo)入頭戴式顯示器100的使用者雙眼的圖像光在使用者的視網(wǎng)膜上成像，由此，頭戴式顯示器100的使用者能夠在可見區(qū)中看到一覽圖像的虛像。若換言之，則頭戴式顯示器100能夠?qū)σ挥[圖像進(jìn)行顯示。
[0164]圖6是表示在頭戴式顯示器100中顯示有一覽圖像的樣子的說明圖。如圖6所示，頭戴式顯示器100的使用者，在可見區(qū)VR中，能夠作為虛像VI看到在區(qū)域信息Al (圖3)的第I區(qū)域ARl配置有第I圖像Ml而在第2區(qū)域AR2配置有第2圖像頂2的一覽圖像。另外，對(duì)第2圖像頂2附加了利用粗邊框BC的裝飾。因此，使用者能夠容易識(shí)別開第I圖像和第2圖像。
[0165]此外，在對(duì)動(dòng)畫圖像應(yīng)用圖5的配置處理的情況下，重復(fù)執(zhí)行上述步驟S108?SllS0另外，在使用壓縮動(dòng)畫圖像的標(biāo)注的情況下，步驟S108中，存在發(fā)送表示從原圖像或構(gòu)架圖像變化后的部分的差分圖像(構(gòu)架間差分)的情況。該情況下，生成部142只要在步驟SllO與S112之間，進(jìn)行利用上次的構(gòu)架圖像和獲取到的構(gòu)架間差分來(lái)合成構(gòu)架圖像的處理，即可。
[0166]圖7是用于說明一覽圖像中的指示圖像的變化的說明圖。圖7(A)表示了重疊于第I圖像IMl的指示圖像P01。在圖示的例子中，指示圖像POl為表示二層圓圈的圖形。圖7(B)表示了重疊于第2圖像頂2的指示圖像P02。在圖示的例子中，指示圖像P02為按圓形描繪成笑臉的圖形。如上所述，在配置處理(圖5)的步驟S118中，生成部142經(jīng)由0S150向圖像處理部160發(fā)送一覽圖像。此時(shí)，0S150根據(jù)從輸入信息獲取部110獲取到的使用者的操作，對(duì)一覽圖像重疊地描繪指示圖像。生成部142指示0S150將在一覽圖像的第I圖像Ml上重疊地描繪的指示圖像與在第2圖像頂2上重疊地描繪的指示圖像為不同的圖像。
[0167]其結(jié)果，如圖7(A)、⑶所示，圖像顯示部能夠使使用者作為不同的虛像VI看到重疊在一覽圖像的第I圖像頂I上的指示圖像POl和重疊在第2圖像頂2上的指示圖像P02。據(jù)此，頭戴式顯示器100的使用者，雖在一覽圖像中自己進(jìn)行操作，但能夠容易地識(shí)別出是第I圖像頂1所表示的智能電話300 (外部裝置)還是第2圖像頂2所表示的頭戴式顯示器100 (頭部佩戴型顯示裝置)。
[0168]此外，生成部142還可以將使指示圖像POl和P02中的至少一方的形狀改變這一主旨的指示變更為圖7所說明的指示后向0S150發(fā)送，或與利用圖7說明了的指示一并，將使指示圖像POl和P02中的至少一方的形狀改變這一主旨的指示向0S150發(fā)送，由此，使重疊描繪于一覽圖像的第I圖像頂I的指示圖像POl和重疊描繪于第2圖像頂2的指示圖像P02成為不同的圖像。另外，生成部142還可以代替上述的“形狀的變更”，而指示改變透射率、實(shí)施顏色轉(zhuǎn)換處理、改變大小、附加文字圖形符號(hào)等的裝飾等等。據(jù)此，頭戴式顯示器100的使用者能夠容易地識(shí)別一覽圖像所顯示的指針P01、P02。
[0169]如以上那樣，根據(jù)第I實(shí)施方式的配置處理，圖像顯示部20能夠形成表示一覽圖像(圖6)的虛像VI并使使用者看到，其中，該一覽圖像包括連接于頭戴式顯示器100(頭部佩戴型顯示裝置)的智能電話300 (外部裝置)的顯示圖像即第I圖像和頭戴式顯示器100所具有的圖像即第2圖像。因此，能夠提供一種使使用者能夠看到頭戴式顯示器100的顯示圖像和智能電話300的顯示圖像這兩方的頭戴式顯示器100。
[0170]而且，根據(jù)第I實(shí)施方式的配置處理，生成部142基于區(qū)域信息Al (圖3)，在第I區(qū)域ARl配置從智能電話300 (外部裝置)獲取的第I圖像，在第2區(qū)域AR2配置頭戴式顯示器100 (頭部佩戴型顯示裝置)的第2圖像，由此，能夠簡(jiǎn)單地生成一覽圖像。
[0171]而且，通過第I實(shí)施方式的配置處理，生成部142獲取當(dāng)前顯示于頭戴式顯示器100的顯示畫面的構(gòu)架圖像(顯示圖像)，作為頭戴式顯示器100 (頭部佩戴型顯示裝置)具有的圖像，并將所獲取的顯示圖像直接作為第2圖像進(jìn)行使用，能夠生成一覽圖像。因此，能夠使生成部中的配置處理的處理內(nèi)容簡(jiǎn)潔。
[0172]A —4.通知處理:
[0173]圖8是表示通知處理的順序的順序圖。通知處理是在進(jìn)行了針對(duì)一覽圖像中的第I圖像、第2圖像的操作的情況下，向智能電話300或頭戴式顯示器100通知操作內(nèi)容的處理。通知處理主要由通知部144來(lái)執(zhí)行。此外，此時(shí)，通知部144作為“第I通知部”發(fā)揮功能。
[0174]步驟S200中，輸入信息獲取部110檢測(cè)使用者對(duì)一覽圖像的操作(例如點(diǎn)擊、雙擊、拖拽、獲得焦點(diǎn)、輕敲、雙輕敲、滑動(dòng)等)，獲取操作的坐標(biāo)(x、y)。此時(shí)，輸入信息獲取部110作為“操作獲取部”發(fā)揮功能。
[0175]步驟S202中，通知部144從輸入信息獲取部110接收坐標(biāo)(x、y)，執(zhí)行以下的順序 1、ii0
[0176](i)基于接收的坐標(biāo)，確定被操作了的圖像為第I圖像還是第2圖像。
[0177](ii)基于接收的坐標(biāo)，求出配置處理(圖5)的步驟S114的放大、縮小前、圖像的坐標(biāo)。
[0178]圖9是用于說明通知處理的步驟S202的說明圖。圖9 (A)是用于說明上述順序i的說明圖。通知處理的步驟S202中，通知部144從輸入信息獲取部110接收坐標(biāo)COl (xl、yl)。坐標(biāo)COl是將一覽圖像的左上端部的坐標(biāo)設(shè)為(0、0)的情況下的、表示X方向的變化量和y方向的變化量的數(shù)值。通知部144基于配置處理(圖5)的步驟S116中的處理內(nèi)容，確定坐標(biāo)COl (xl、yl)位于第I圖像頂I上還是位于第2圖像頂2上。圖9 (A)的例子中，坐標(biāo)COl (xl、yl)位于第I圖像Ml上，即位于智能電話300的顯示圖像上。
[0179]圖9(B)是用于說明上述順序ii的說明圖。通知部144利用在配置處理(圖5)的步驟S114中所使用的放大率、縮小率，對(duì)一覽圖像實(shí)施與在步驟S114中進(jìn)行的轉(zhuǎn)換相反的轉(zhuǎn)換。即，在步驟S114中縮小了的情況下，放大一覽圖像，在步驟S114中放大了的情況下就縮小一覽圖像。然后，通知部144求出在使圖9 (A)中確定了的圖像(即，第I圖像頂I或第2圖像頂2)的左上端部的坐標(biāo)為(0、0)的情況下的、相當(dāng)于與坐標(biāo)C01(xl、yl)相同位置的坐標(biāo)C02 (x2、y2)。
[0180]步驟S204中，通知部144對(duì)步驟S202中所確定的圖像是否為第2圖像，即是否為頭戴式顯示器100所具有的圖像(顯示圖像)進(jìn)行判定。在為第2圖像的情況下，通知部144向0S150發(fā)送坐標(biāo)C02(x2、y2)和操作內(nèi)容(例如，點(diǎn)擊，雙擊、拖拽、獲得焦點(diǎn)、輕敲、雙輕敲、滑動(dòng)等)。0S150中，根據(jù)接收到的坐標(biāo)和操作內(nèi)容，進(jìn)行應(yīng)用的起動(dòng)等處理。
[0181]步驟S206中，通知部144對(duì)步驟S202中所確定的圖像是否為第I圖像，即是否為智能電話300的顯示圖像進(jìn)行判定。在為第I圖像的情況下，通知部144向智能電話300發(fā)送坐標(biāo)C02(x2、y2)和操作內(nèi)容。智能電話300中，根據(jù)接收到的坐標(biāo)和操作內(nèi)容，進(jìn)行應(yīng)用的起動(dòng)等處理(步驟S208)。
[0182]以上那樣，通過第I實(shí)施方式的通知處理，通知部144(第I通知部)不僅向0S150通知使用者對(duì)一覽圖像的第2圖像頂2(圖9)進(jìn)行的操作，還對(duì)智能電話300 (外部裝置)通知使用者對(duì)第I圖像頂1(圖9)進(jìn)行的操作。因此，使用者不僅能夠經(jīng)由頭戴式顯示器100 (頭部佩戴型顯示裝置)的輸入接口操作頭戴式顯示器100，還能夠經(jīng)由頭戴式顯示器100 (頭部佩戴型顯示裝置)的輸入接口對(duì)智能電話300進(jìn)行遠(yuǎn)程操作。其結(jié)果，利用者，例如在連接于頭戴式顯示器100的外部裝置(本實(shí)施方式中為智能電話300)放入包中或口袋中的狀態(tài)下，能夠?qū)υ撏獠垦b置進(jìn)行操作，能夠提高頭戴式顯示器100的可用性。
[0183]B.第2實(shí)施方式:
[0184]本發(fā)明的第2實(shí)施方式中，作為“頭部佩戴型顯示裝置具有的圖像”，說明了利用從圖標(biāo)圖像生成的第2圖像的結(jié)構(gòu)。以下，僅說明具有與第I實(shí)施方式不同的結(jié)構(gòu)及工作的部分。此外，圖中對(duì)與第I實(shí)施方式同樣的結(jié)構(gòu)部分標(biāo)注與之前說明了的第I實(shí)施方式同樣的附圖標(biāo)記，省略對(duì)其的詳細(xì)說明。
[0185]B-1.圖像顯示系統(tǒng)的結(jié)構(gòu):
[0186]第2實(shí)施方式的圖像顯示系統(tǒng)的概要結(jié)構(gòu)與圖1所示的第I實(shí)施方式相同。
[0187]B-2.頭部佩戴型顯示裝置的結(jié)構(gòu):
[0188]圖10是功能性地表示第2實(shí)施方式中的頭戴式顯示器10a的結(jié)構(gòu)的框圖。與圖2所示的第I實(shí)施方式的不同之處在于，代替控制部10而具有控制部10a?？刂撇?a代替生成部142而具有生成部142a、代替通知部144而具有通知部144a、代替存儲(chǔ)部120而具有存儲(chǔ)部120a。
[0189]生成部142a的配置處理的處理內(nèi)容與用圖5說明了的第I實(shí)施方式不同。通知部144a的通知處理的處理內(nèi)容與用圖8說明了的第I實(shí)施方式不同。存儲(chǔ)部120a除區(qū)域信息存儲(chǔ)部122外還具有構(gòu)架信息124。構(gòu)架信息124中存儲(chǔ)有至少一個(gè)構(gòu)架。存儲(chǔ)在構(gòu)架信息124中的框架，在第2實(shí)施方式的配置處理(圖12)中，在生成第2圖像(即，變更頭戴式顯示器10a所具有的圖標(biāo)圖像的配置而生成的圖像)時(shí)，被用作配置圖標(biāo)圖像的邊框。
[0190]本實(shí)施方式中，“圖標(biāo)圖像”是指利用圖、畫、文字、符號(hào)等將程序和設(shè)備的內(nèi)容容易明白地進(jìn)行表現(xiàn)的圖像。本實(shí)施方式的“圖標(biāo)圖像”是指，安裝在頭戴式顯示器10a中的應(yīng)用的起動(dòng)用的圖像。此外，“圖標(biāo)圖像”除此以外還可以包含:通過安裝在頭戴式顯示器10a中的應(yīng)用(所謂Widget、Gadget)所描繪的圖像；存儲(chǔ)在頭戴式顯示器10a中的數(shù)據(jù)(各種的文件)的起動(dòng)用的圖像；和表示頭戴式顯示器10a所包含的器件的存在的圖像等。若換言之，則圖標(biāo)圖像還可以被稱作對(duì)應(yīng)用(程序)、數(shù)據(jù)、或器件進(jìn)行抽象化后的標(biāo)
O
[0191]圖11是表示存儲(chǔ)在構(gòu)架信息124中的構(gòu)架的一例的說明圖。圖11所示的構(gòu)架FMl具有在長(zhǎng)方形狀的區(qū)域(以后，還稱作“構(gòu)架FMl的區(qū)域”)的內(nèi)側(cè)配置有圖像列表LT1、圖像列表LT2和用于對(duì)它們進(jìn)行區(qū)分的區(qū)分線BA的結(jié)構(gòu)。構(gòu)架FMl的區(qū)域，優(yōu)選具有與區(qū)域信息Al的第2區(qū)域AR2相同的縱橫比。
[0192]圖像列表LT1、LT2是在第2實(shí)施方式的配置處理中實(shí)際上配置有圖標(biāo)圖像的區(qū)域。圖11的例子中，圖像列表LT1、LT2在構(gòu)架FMl區(qū)域的下端的整體范圍內(nèi)分兩層配置。此外，圖像列表LT1、LT2能夠配置在構(gòu)架FMl的任意位置。例如，圖像列表LT1、LT2還可以配置在構(gòu)架FMl的區(qū)域的下端的一部分，還可以配置在構(gòu)架FMl的區(qū)域的上端的一部分或整體上，還可以配置在構(gòu)架FMl的區(qū)域的右端的一部分或整體上，還可以配置在構(gòu)架FMl的區(qū)域的左端的一部分或整體上，還可以配置在構(gòu)架FMl整個(gè)區(qū)域。
[0193]圖像列表LTl包括多個(gè)(圖的例中為5個(gè))長(zhǎng)方形狀的圖像邊框BI?B5。圖像邊框BI?B5在圖像列表LTl內(nèi)配置成，長(zhǎng)方形狀的長(zhǎng)邊相互相鄰。圖像列表LT2包括多個(gè)長(zhǎng)方形狀的圖像邊框B6?BlO。圖像邊框B6?BlO在圖像列表LT2內(nèi)，配置成長(zhǎng)方形狀的長(zhǎng)邊相互相鄰。圖像邊框BI?BlO是在第2實(shí)施方式的配置處理(圖12)中用于配置頭戴式顯示器10a所具有的圖標(biāo)圖像的區(qū)域。
[0194]B— 3.配置處理:
[0195]圖12是表示第2實(shí)施方式的配置處理的順序的順序圖。與圖5所示的第I實(shí)施方式的不同之處僅在于，代替步驟S112而具有步驟S300和步驟S302，其他處理內(nèi)容與第I實(shí)施方式相同。
[0196]步驟S300中，生成部142a收集頭戴式顯示器10a所具有的圖標(biāo)圖像。具體而言，生成部142a收集存儲(chǔ)在存儲(chǔ)部120的預(yù)定區(qū)域中的多個(gè)圖標(biāo)圖像中的、應(yīng)顯示于頭戴式顯示器10a的待機(jī)畫面的多個(gè)圖標(biāo)圖像。作為圖標(biāo)圖像的一例，例如有照相機(jī)和揚(yáng)聲器等各種設(shè)備、SNS服務(wù)、郵件服務(wù)等的各種服務(wù)的起動(dòng)用圖標(biāo)。
[0197]步驟S302中，生成部142a通過對(duì)步驟S300中收集到的多個(gè)圖標(biāo)圖像的配置進(jìn)行變更，從而生成第2圖像。具體而言，生成部142a獲取存儲(chǔ)在構(gòu)架信息124中的構(gòu)架FMl (圖11)。生成部142a對(duì)構(gòu)架FMl的圖像列表LTl的圖像邊框BI?B5和圖像列表LT2的圖像邊框B6?BlO依次配置獲取到的多個(gè)圖標(biāo)圖像。
[0198]此外，生成部142a還可以在步驟S300與S302之間進(jìn)行以下處理bl?b3。
[0199](bl)圖標(biāo)圖像的過濾處理。
[0200].例如，生成部142a還可以利用圖像解析或文件名解析求出重復(fù)的圖標(biāo)圖像，并從在步驟S300中收集到的圖標(biāo)圖像中廢棄重復(fù)了的圖標(biāo)圖像的一方。
[0201]?例如，生成部142a還可以利用圖像解析或文件名解析在步驟S300中收集到的圖標(biāo)圖像中確定圖標(biāo)圖像所表不的應(yīng)用，并廢棄與預(yù)定的應(yīng)用相關(guān)的圖標(biāo)圖像。
[0202].例如，生成部142a還可以參照附隨在步驟S300中收集的到圖標(biāo)圖像上的信息，求出圖標(biāo)圖像所表示的應(yīng)用的使用頻率，并廢棄使用頻率低的圖標(biāo)圖像。
[0203](b2)圖標(biāo)圖像的分組及分類處理。
[0204]?例如，生成部142a還可以利用圖像解析或文件名解析從在步驟S300中收集到的圖標(biāo)圖像中確定圖標(biāo)圖像的種類(應(yīng)用起動(dòng)用的圖像、通過應(yīng)用描繪出的圖像或數(shù)據(jù)起動(dòng)用的圖像)，并根據(jù)特定的圖標(biāo)圖像的種類對(duì)圖標(biāo)圖像進(jìn)行分組或分類。
[0205]?例如，生成部142a還可以利用圖像解析或文件名解析從在步驟S300中收集到的圖標(biāo)圖像中確定圖標(biāo)圖像所表示的應(yīng)用的種類或名稱進(jìn)，并根據(jù)特定的應(yīng)用的種類或名稱對(duì)圖標(biāo)圖像進(jìn)行分組或分類。
[0206].例如，生成部142a還可以參照附隨在步驟S300所收集的圖標(biāo)圖像上的信息，求出圖標(biāo)圖像所表示的應(yīng)用的使用頻率，并根據(jù)使用頻率對(duì)圖標(biāo)圖像進(jìn)行分組或分類。
[0207](b3)圖標(biāo)圖像的加工處理。
[0208].例如，生成部142a還可以對(duì)圖標(biāo)圖像的形狀、透射率、大小任意地變更。
[0209]?例如，生成部142a還可以對(duì)圖標(biāo)圖像實(shí)施顏色轉(zhuǎn)換處理。該情況下，成為具有對(duì)圖像顯示部20拍攝使用者的可見區(qū)方向的外景(外部的景色)，并獲取外景圖像的照相機(jī)的結(jié)構(gòu)。而且，生成部142a對(duì)圖標(biāo)圖像實(shí)施增強(qiáng)外景圖像的補(bǔ)色的顏色轉(zhuǎn)換處理。據(jù)此，生成部142a能夠使圖標(biāo)圖像與外景相比更醒目。
[0210].例如，生成部142a對(duì)圖標(biāo)圖像附加文字、圖形、符號(hào)等的裝飾。具體而言，生成部142a能夠?qū)D標(biāo)圖像追加用于說明圖標(biāo)圖像的文字。據(jù)此，在看到了作為虛像而顯示的第2圖像時(shí)，使用者容易識(shí)別第2圖像所包含的各圖標(biāo)圖像是什么。另外，生成部142a能夠?qū)D標(biāo)圖像追加劃出圖標(biāo)圖像的周圍邊界的框架。據(jù)此，生成部142a能夠使圖標(biāo)圖像與外景相比更醒目。
[0211]圖13是表示在頭戴式顯示器10a中顯示有一覽圖像的樣子的說明圖。如圖13所示，第2實(shí)施方式的頭戴式顯示器10a的使用者，在可見區(qū)VR中，能夠作為虛像VI看到在區(qū)域信息Al (圖3)的第I區(qū)域ARl配置有第I圖像Ml且在第2區(qū)域AR2配置有利用頭戴式顯示器10a的圖標(biāo)圖像所生成的第2圖像頂2的一覽圖像。
[0212]此外，在對(duì)動(dòng)畫圖像應(yīng)用圖12的配置處理的情況下，與第I實(shí)施方式同樣地，重復(fù)執(zhí)行上述步驟S108?S118。另外，關(guān)于一覽圖像中的指示圖像的變化，與第I實(shí)施方式相同。
[0213]如以上那樣，根據(jù)第2實(shí)施方式的配置處理，生成部142a通過對(duì)頭戴式顯示器10a (頭部佩戴型顯示裝置)所具有的圖標(biāo)圖像的配置進(jìn)行變更，能夠按照構(gòu)架FMl生成使縱橫比自由變化的第2圖像頂2，并能夠利用生成的第2圖像頂2生成一覽圖像。其結(jié)果，生成部142a能夠根據(jù)區(qū)域信息Al (圖3)的第2區(qū)域AR2的大小，生成最佳的第2圖像，并顯示在圖像顯示部20中。
[0214]B - 4.通知處理:
[0215]第2實(shí)施方式的通知處理與利用圖8說明了的第I實(shí)施方式大致相同。不過，在步驟S202的順序i中確定下來(lái)的圖像為第2圖像的情況下，上述順序ii由以下的iii代替。
[0216](iii)通知部144a基于配置處理(圖12)的步驟S302中的處理內(nèi)容(S卩，圖標(biāo)圖像的配置)，求出與從輸入信息獲取部I1獲取到的坐標(biāo)COl (xl、yl)相當(dāng)?shù)淖鴺?biāo)C02(x2、y2)。
[0217]C.第3實(shí)施方式:
[0218]本發(fā)明的第3實(shí)施方式中，就對(duì)一個(gè)頭戴式顯示器、作為外部裝置連接有多個(gè)其他的頭戴式顯示器且與外部裝置共有這一個(gè)頭戴式顯示器的指針的顯示的結(jié)構(gòu)進(jìn)行說明。以下，僅說明具有與第I實(shí)施方式不同的結(jié)構(gòu)及工作的部分。此外，圖中，對(duì)于與第I實(shí)施方式同樣的結(jié)構(gòu)部分標(biāo)注與之前說明了的第I實(shí)施方式同樣的附圖標(biāo)記，省略對(duì)其詳細(xì)的說明。
[0219]C-1.圖像顯示系統(tǒng)的結(jié)構(gòu):
[0220]圖14是表示第3實(shí)施方式的圖像顯示系統(tǒng)100b的概要結(jié)構(gòu)的說明圖。與圖1所示的第I實(shí)施方式的不同之處在于，代替頭戴式顯示器100而具有頭戴式顯示器10b和代替智能電話300而具有頭戴式顯示器10x及頭戴式顯示器10y這兩點(diǎn)。
[0221]頭戴式顯示器10b和10x能夠通過無(wú)線通信或有線通信連接。同樣地，頭戴式顯示器10b和10y能夠通過無(wú)線通信或有線通信連接。頭戴式顯示器10x和10y的結(jié)構(gòu)與頭戴式顯示器10b相同，所以省略說明。
[0222]C- 2.頭部佩戴型顯示裝置的結(jié)構(gòu):
[0223]圖15是功能性地表示第3實(shí)施方式的頭戴式顯示器10b的結(jié)構(gòu)的框圖。與圖2所示的第I實(shí)施方式的不同之處在于，代替控制部10而具有控制部1b和代替圖像顯示部20而具有圖像顯示部20b這兩點(diǎn)。
[0224]控制部1b代替生成部142而具有生成部142b，代替通知部144而具有通知部144b。生成部142b的配置處理的處理內(nèi)容與利用圖5說明了的第I實(shí)施方式不同。通知部144b的通知處理的處理內(nèi)容與圖8說明的第I實(shí)施方式不同。另外，通知部144b執(zhí)行后述的指針通知處理。
[0225]圖像顯示部20b除第I實(shí)施方式中所說明的各部分外，還具有視線檢測(cè)部62。視線檢測(cè)部62被配置在使用者佩戴了圖像顯示部20b時(shí)與右側(cè)的眼角對(duì)應(yīng)的位置上(圖14)。視線檢測(cè)部62具有可視光照相機(jī)。視線檢測(cè)部62利用可視光照相機(jī)對(duì)佩戴了頭戴式顯示器10b的狀態(tài)下的使用者的左右的眼睛進(jìn)行拍攝，并通過對(duì)得到的眼睛的圖像進(jìn)行解析來(lái)檢測(cè)使用者的視線的方向。此外，視線檢測(cè)部62還可以代替可視光照相機(jī)而利用紅外線傳感器來(lái)檢測(cè)使用者的視線的方向。
[0226]圖16是表示第3實(shí)施方式中存儲(chǔ)在區(qū)域信息存儲(chǔ)部122中的區(qū)域信息的一例的說明圖。與圖3所示的第I實(shí)施方式的不同之處在于，長(zhǎng)方形狀的區(qū)域AIb除第I區(qū)域ARl和第2區(qū)域AR2外，還具有第3區(qū)域AR3及各區(qū)域的配置。第I區(qū)域ARl是在配置處理(圖17)中配置頭戴式顯示器10x的顯示圖像的區(qū)域。第2區(qū)域AR2是在配置處理中配置頭戴式顯示器10b的顯示圖像的區(qū)域。第3區(qū)域AR3是在配置處理中配置頭戴式顯示器10y的顯示圖像的區(qū)域。
[0227]第2區(qū)域AR2被配置在區(qū)域AIb的整個(gè)面范圍內(nèi)。第I區(qū)域ARl和第3區(qū)域AR3被配置在將區(qū)域AIb沿水平方向等分后的左右各大致中央部。第I區(qū)域AR1、第3區(qū)域AR3的鉛垂方向上的長(zhǎng)度比第2區(qū)域AR2的鉛垂方向上的長(zhǎng)度短。第I區(qū)域ARl、第3區(qū)域AR3的水平方向上的長(zhǎng)度比第2區(qū)域AR2的水平方向的長(zhǎng)度除以2后的長(zhǎng)度還短。另外，第I區(qū)域AR1、第3區(qū)域AR3作為一層而重疊于第2區(qū)域AR2。
[0228]C - 3.配置處理:
[0229]圖17是表示第3實(shí)施方式的配置處理的順序的順序圖。與圖5所示的第I實(shí)施方式的不同之處在于，代替步驟S102?SI 16而具有步驟S402?S420這一點(diǎn)。
[0230]步驟S402中，頭戴式顯示器10b的無(wú)線通信部132檢測(cè)到連接了頭戴式顯示器10x的情況，并檢測(cè)到連接了頭戴式顯示器10y的情況。詳細(xì)情況與圖5的步驟S102相同。步驟S404中，頭戴式顯示器10b的生成部142b實(shí)施對(duì)所連接的頭戴式顯示器10x的認(rèn)證，并實(shí)施對(duì)頭戴式顯示器10y的認(rèn)證。詳細(xì)情況與圖5的步驟S104相同。認(rèn)證成功后，步驟S406中，生成部142b在頭戴式顯示器10b與10x之間確立連接，并在頭戴式顯示器10b與10y之間確立連接。
[0231]步驟S408中，頭戴式顯示器10x獲取頭戴式顯示器10x的顯示圖像。詳細(xì)情況與圖5的步驟S108相同。步驟S408中獲取到的構(gòu)架圖像為作為外部裝置的頭戴式顯示器10x的顯示圖像，以后還稱作“第I圖像”。步驟S410中，頭戴式顯示器10x將獲取到的第I圖像向頭戴式顯示器10b發(fā)送。詳細(xì)情況與圖5的步驟SllO相同。
[0232]步驟S412中，頭戴式顯示器10y獲取頭戴式顯示器10y的顯示圖像。詳細(xì)情況與圖5的步驟S108相同。步驟S412中獲取到的構(gòu)架圖像為作為外部裝置的頭戴式顯示器10y的顯示圖像，以后還稱作“第3圖像”。步驟S414中，頭戴式顯示器10y將獲取到的第3圖像向頭戴式顯示器10b發(fā)送。詳細(xì)情況與圖5的步驟SllO相同。
[0233]步驟S416中，頭戴式顯示器10b的生成部142b獲取頭戴式顯示器10b的顯示畫面中當(dāng)前所顯示的圖像。詳細(xì)情況與圖5的步驟S112相同。
[0234]步驟S418中，生成部142b對(duì)第I圖像、第2圖像、第3圖像進(jìn)行放大縮小。具體而言，生成部142b將在步驟S410中獲取到的第I圖像放大或縮小使得其與區(qū)域信息AIb (圖16)的第I區(qū)域ARl的大小相配。同樣地，生成部142b將在步驟S416中獲取到的第2圖像放大或縮小使得其與區(qū)域信息AIb的第2區(qū)域AR2的大小相配，將在步驟S414中獲取到的第3圖像放大或縮小使得其與區(qū)域信息AIb的第3區(qū)域AR3的大小相配。此外，步驟S418中，生成部142b還可以代替放大縮小，而是將獲取到的第I?3的圖像頂1?3的一部分切割成與第I?3的區(qū)域ARl?3相配的大小。
[0235]步驟S420中，生成部142b將第I圖像配置在區(qū)域信息AIb的第I區(qū)域ARl，將第2圖像配置在區(qū)域信息AIb的第2區(qū)域AR2，將第3圖像配置在區(qū)域信息AIb的第3區(qū)域AR3，以生成一覽圖像。詳細(xì)情況與圖5的步驟S116相同。
[0236]圖18是表示在頭戴式顯示器10b中顯示有一覽圖像的樣子的說明圖。圖18中，為了圖示的方便，關(guān)于使用者透射左右的光學(xué)像顯示部26、28而看到的外景SC(圖4)，省略圖示。如圖所示，頭戴式顯示器10b的使用者，在可見區(qū)VR中，能夠作為虛像VI看到在區(qū)域信息AIb (圖16)的第I區(qū)域ARl中配置有第I圖像頂1、在第2區(qū)域AR2中配置有第2圖像頂2、在第3區(qū)域AR3中配置有第3圖像頂3的一覽圖像。此外，圖的例子中，第I圖像頂I為頭戴式顯示器10b的OS的待機(jī)畫面的圖像，第2圖像頂2為頭戴式顯示器10x的OS的待機(jī)畫面的圖像，第3圖像頂3為透射頭戴式顯示器10y的照相機(jī)所拍攝到的圖像。
[0237]此外，在第3實(shí)施方式的配置處理(圖17)中，與第I實(shí)施方式同樣地，能夠進(jìn)行以下變形。各變形的詳細(xì)情況如第I實(shí)施方式所說明的那樣。
[0238].對(duì)第I?3的圖像頂1?3付與不同的裝飾(邊框等)。
[0239].對(duì)動(dòng)畫圖像應(yīng)用第3實(shí)施方式的配置處理。
[0240].使重疊于第I?3的圖像IMl?3的指示圖像分別成為不同的圖像。
[0241]如以上那樣，根據(jù)第3實(shí)施方式的配置處理，即使在作為外部裝置連接有多個(gè)裝置的情況下，也能夠得到與第I實(shí)施方式的配置處理同樣的效果。
[0242]C - 4.通知處理:
[0243]第3實(shí)施方式中，通知部144b并行地執(zhí)行指針通知處理和通知處理。這里，指針通知處理是用于使一個(gè)頭戴式顯示器中的指針的顯示與外部裝置共有的處理。通知處理，是在進(jìn)行了對(duì)一覽圖像的操作的情況下，向作為圖像的獲取源的裝置通知操作內(nèi)容的處理。
[0244]C - 4 - 1.指針通知處理:
[0245]圖19是表示第3實(shí)施方式的指針通知處理的順序的順序圖。指針通知處理主要由通知部144b執(zhí)行。此外，此時(shí)，通知部144b作為“第2通知部”發(fā)揮功能。本實(shí)施方式中，作為一個(gè)頭戴式顯示器例示了頭戴式顯示器100b，作為外部裝置例示了頭戴式顯示器ΙΟΟχλ10y0
[0246]步驟S500中，頭戴式顯示器10b的輸入信息獲取部110檢測(cè)經(jīng)由頭戴式顯示器10b的輸入設(shè)備而施加的指示體的運(yùn)動(dòng)，獲取輸入設(shè)備上的指示體的坐標(biāo)(x、y)。這里“指示體”是指例如使用者的手指或觸屏筆。另外，輸入設(shè)備是指例如觸摸板、十字鍵、腳開關(guān)等。此時(shí)，輸入信息獲取部I1作為“位置獲取部”發(fā)揮功能。步驟S502中，頭戴式顯示器10b的通知部144b從輸入信息獲取部110接收指示體的坐標(biāo)，并將接收的指示體的坐標(biāo)向0S150發(fā)送。0S150中，執(zhí)行重疊于一覽圖像中的、接收的指示體的坐標(biāo)的位置描繪出指示圖像的描繪處理。
[0247]圖20是表示在頭戴式顯示器10b中在一覽圖像上重疊顯示有指示圖像的樣子的說明圖。圖20中，也與圖18同樣地，省略了關(guān)于外景SC(圖4)的圖示。如圖所示，頭戴式顯示器10b的使用者，在可見區(qū)VR中能夠作為虛像VI看到指示圖像POl相對(duì)于第I?3的圖像IMl?3在與自身的手指的運(yùn)動(dòng)對(duì)應(yīng)的位置重疊后的圖像。在圖的例子中，指示圖像POl為表示二層圓圈的圖形。
[0248]在圖19的步驟S504中，頭戴式顯示器10b的通知部144b，在在步驟S502中獲取到的指示體的坐標(biāo)位于第I圖像上的情況下，向作為第I圖像的獲取源的外部裝置、即向頭戴式顯示器10x發(fā)送指示體的坐標(biāo)。此外，對(duì)于指示體的坐標(biāo)是否位于第I圖像上的判定方法與圖8的步驟S202的順序i 一樣。另外，在圖19的步驟S504中，通知部144b發(fā)送以圖8的步驟S202的順序ii為準(zhǔn)的轉(zhuǎn)換后的坐標(biāo)C02(x2、y2)。步驟S506中，頭戴式顯示器10x的OS執(zhí)行在步驟S504中接收到的指示體的坐標(biāo)的位置重疊地描繪指示圖像的描繪處理。
[0249]圖21是表示在作為外部裝置的頭戴式顯示器10x中、在一覽圖像上重疊顯示指示圖像的樣子的說明圖。圖21中也與圖18同樣，省略關(guān)于外景SC(圖4)的圖示。如圖所示，頭戴式顯示器10x的使用者，在可見區(qū)VR中能夠作為虛像VI看到下述圖像，該圖像是相對(duì)于頭戴式顯示器10x的顯示畫面中當(dāng)前顯示的圖像Μχ，在與頭戴式顯示器10b的使用者的手指的運(yùn)動(dòng)對(duì)應(yīng)的位置重疊有指示圖像Ρ02后的圖像。圖的例子中，指示圖像Ρ02為按圓形描繪成笑臉的圖形。
[0250]圖19的步驟S508中，頭戴式顯示器10b的通知部144b，在在步驟S502中獲取到的指示體的坐標(biāo)位于第3圖像上的情況下，對(duì)作為第3圖像的獲取源的外部裝置、即對(duì)頭戴式顯示器10y發(fā)送指示體的坐標(biāo)。詳細(xì)情況與步驟S504相同S。步驟S510中，頭戴式顯示器10y的OS執(zhí)行在在步驟S508中接收到的指示體的坐標(biāo)的位置重疊地描繪指示圖像的描繪處理。其結(jié)果，與圖21同樣地，頭戴式顯示器10y的使用者能夠作為虛像看到對(duì)于頭戴式顯示器10y的顯示畫面上當(dāng)前顯示的圖像、在與頭戴式顯示器10b的使用者的手指的運(yùn)動(dòng)對(duì)應(yīng)的位置重疊有指示圖像后的圖像。
[0251]此外，指針通知處理中還可以代替“指示體的運(yùn)動(dòng)”或與“指示體的運(yùn)動(dòng)”一起顯示基于使用者的“視線的移動(dòng)”的指針。在使用“視線的移動(dòng)”的情況下，步驟S500中，頭戴式顯示器10b的視線檢測(cè)部62獲取使用者的視線的移動(dòng)，并向通知部144b發(fā)送。在這以后的步驟中，也可以將記載成“指示體的運(yùn)動(dòng)”的部分替換成“使用者的視線的移動(dòng)”。此外，在顯示基于指示體的運(yùn)動(dòng)和視線的移動(dòng)這兩方的指針的情況下，優(yōu)選，預(yù)先設(shè)定在檢測(cè)到了指示體的運(yùn)動(dòng)和視線的移動(dòng)這兩方的情況下、使誰(shuí)更優(yōu)先。據(jù)此，頭戴式顯示器10b (頭部佩戴型顯示裝置)的0S150能夠基于頭戴式顯示器10b的輸入設(shè)備中的指示體的運(yùn)動(dòng)和使用者的視線的移動(dòng)中的至少某一個(gè)，來(lái)確定指示圖像POl的位置。
[0252]如以上那樣，通過第3實(shí)施方式的指針通知處理，通知部144b (第2通知部)，在指示圖像POl重疊于一覽圖像中的第I圖像頂1的情況下，在頭戴式顯示器100x(外部裝置)的顯示圖像Mx中，向頭戴式顯示器10x通知將用于使外部裝置用的指示圖像P02重疊于與重疊有指示圖像POl的位置對(duì)應(yīng)的位置上的坐標(biāo)C02(位置信息)。因此，頭戴式顯示器10x能夠基于獲取到的坐標(biāo)C02顯示外部裝置用的指示圖像P02。其結(jié)果，頭戴式顯示器10x的使用者，能夠在頭戴式顯示器10x中看到頭戴式顯示器10b (頭部佩戴型顯示裝置)的第I圖像頂I上的指示圖像POl (圖21)。若換言之，則能夠與作為外部裝置的頭戴式顯示器10x共有頭戴式顯示器10b中的指針的顯示。
[0253]C - 4 - 2.通知處理:
[0254]圖22是表示第3實(shí)施方式中的通知處理的順序的順序圖。與圖8所示的第I實(shí)施方式的不同之處在于，代替步驟S206、S208而具有步驟S600?S606這一點(diǎn)。此外，此時(shí)，通知部144b作為“第I通知部”發(fā)揮功能。
[0255]步驟S600中，通知部144b判定在步驟S202中確定下來(lái)的圖像是否為第I圖像、即是否為頭戴式顯示器10x的顯示圖像。在為第I圖像的情況下，通知部144b向頭戴式顯示器10x發(fā)送以步驟S202的順序ii為準(zhǔn)的轉(zhuǎn)換后的坐標(biāo)⑶2(x2、y2)和操作內(nèi)容。頭戴式顯示器10x中，根據(jù)接收到的坐標(biāo)和操作內(nèi)容，進(jìn)行應(yīng)用的起動(dòng)或針對(duì)起動(dòng)過程中的應(yīng)用的操作等的處理(步驟S602)。
[0256]步驟S604中，通知部144b判定在步驟S202中確定下來(lái)的圖像是否為第3圖像、即是否為頭戴式顯示器10y的顯示圖像。在為第3圖像的情況下，通知部144b向頭戴式顯示器10y發(fā)送以步驟S202的順序ii為準(zhǔn)的轉(zhuǎn)換后的坐標(biāo)⑶2 (x2、y2)和操作內(nèi)容。在頭戴式顯示器10y中，根據(jù)接收的坐標(biāo)和操作內(nèi)容，進(jìn)行應(yīng)用的起動(dòng)或針對(duì)起動(dòng)過程中的應(yīng)用的操作等的處理(步驟S606)。
[0257]圖23是用于說明第3實(shí)施方式的通知處理的步驟S600?S606的說明圖。圖23表示在頭戴式顯示器10b中顯示有一覽圖像的樣子。
[0258]例如，頭戴式顯示器10b的使用者在作為圖像Ml顯示的文件應(yīng)用上實(shí)施某些操作(例如文字輸入或文字刪除等的編輯操作、文件的認(rèn)可操作、保存操作等)。此時(shí)，通過執(zhí)行通知處理(圖22)的步驟S600，操作的坐標(biāo)和操作內(nèi)容被向頭戴式顯示器10x發(fā)送。而且，通過執(zhí)行通知處理的步驟S602，在頭戴式顯示器10x的文件應(yīng)用上也能夠反映出頭戴式顯示器10b的利用者的操作內(nèi)容。
[0259]另外，例如，頭戴式顯示器10b的使用者在作為圖像頂3顯示的照相機(jī)應(yīng)用上實(shí)施某些操作(例如，放大/縮小操作、快門按下操作、設(shè)定操作等)。該情況下也同樣地通過執(zhí)行通知處理的步驟S604、S606，在頭戴式顯示器10y的照相機(jī)應(yīng)用上反映出頭戴式顯示器10b的利用者的操作內(nèi)容。
[0260]如以上那樣，通過第3實(shí)施方式的通知處理，即使在作為外部裝置連接有多個(gè)裝置的情況下，也能夠得到與第I實(shí)施方式的通知處理同樣的效果。
[0261]D.變形例:
[0262]上述實(shí)施方式中，還可以將通過硬件實(shí)現(xiàn)的結(jié)構(gòu)的一部分置換成軟件，相反，還可以將通過軟件實(shí)現(xiàn)的結(jié)構(gòu)的一部分置換成硬件。其他，還可以進(jìn)行以下的變形。
[0263].變形例1:
[0264]上述實(shí)施方式中，例示了圖像顯示系統(tǒng)的結(jié)構(gòu)。但是，圖像顯示系統(tǒng)的結(jié)構(gòu)能夠在不脫離本發(fā)明主旨的范圍內(nèi)任意決定，例如，能夠進(jìn)行構(gòu)成圖像顯示系統(tǒng)的各裝置的追加、削除、轉(zhuǎn)換等。另外，能夠進(jìn)行構(gòu)成圖像顯示系統(tǒng)的裝置的網(wǎng)絡(luò)構(gòu)成的變更。
[0265]例如，還可以在頭戴式顯示器連接多個(gè)外部裝置(例如智能電話和PDA)。該情況下，與第1、2實(shí)施方式同樣地，生成部還可以生成一覽圖像，該一覽圖像是第I外部裝置的顯示圖像、第2外部裝置的顯示圖像、第m(m為3以上的整數(shù))的外部裝置的顯示圖像全部并列配置而成的圖像。這樣，圖像顯示部能夠作為虛像供使用者看到一覽圖像，該一覽圖像是并列配置有頭戴式顯示器所具有的圖像和連接于頭戴式顯示器的多個(gè)外部裝置的顯示圖像而成的。因此，能夠進(jìn)一步提高頭戴式顯示器中的使用者的便利性。
[0266]例如，還可以代替上述實(shí)施方式的智能電話，使用經(jīng)由互聯(lián)網(wǎng)INT的云服務(wù)器。另夕卜，在頭戴式顯示器連接有多個(gè)外部裝置的情況下，作為外部裝置中的至少一個(gè)還可以使用經(jīng)由互聯(lián)網(wǎng)INT的云服務(wù)器。即使在這種情況下，生成部通過進(jìn)行與上述第1、2實(shí)施方式同樣的處理，也能夠得到與上述第I實(shí)施方式及第2實(shí)施方式同樣的效果。
[0267]例如，上述實(shí)施方式的頭戴式顯示器的生成部的功能還可以通過與頭戴式顯示器不同的信息處理裝置來(lái)提供。作為信息處理裝置，例如還可以使用經(jīng)由互聯(lián)網(wǎng)INT的云服務(wù)器。該情況下，信息處理裝置具有:獲取部，其獲取連接于頭戴式顯示器(頭部佩戴型顯示裝置)的外部裝置的顯示圖像即第I圖像和頭戴式顯示器所具有的第2圖像；一覽圖像生成部，其生成包含所獲取的第I圖像和所獲取的第2圖像的一覽圖像；和一覽圖像發(fā)送部，其向頭戴式顯示器發(fā)送所生成的一覽圖像。一覽圖像生成部進(jìn)行與上述實(shí)施方式所說明的頭戴式顯示器的生成部同樣的處理，由此，生成向頭戴式顯示器發(fā)送的一覽圖像。
[0268].變形例2:
[0269]上述實(shí)施方式中，例示了頭戴式顯示器的結(jié)構(gòu)。但是，頭戴式顯示器的結(jié)構(gòu)能夠在不脫離本發(fā)明主旨的范圍內(nèi)任意確定，例如，能夠進(jìn)行各結(jié)構(gòu)部分的追加、削除、轉(zhuǎn)換等。
[0270]上述實(shí)施方式的針對(duì)控制部和圖像顯示部的構(gòu)成要素的分配僅為一例，能夠采用各種方式。例如，還可以為以下方式。(i)在控制部搭載CPU和存儲(chǔ)器等的處理功能，而在圖像顯示部?jī)H搭載顯示功能的方式，(?)在控制部和圖像顯示部這兩方搭載CPU和存儲(chǔ)器等的處理功能的方式，(iii)使控制部和圖像顯示部一體化了的方式(例如，圖像顯示部包含控制部并發(fā)揮眼鏡型的穿戴式計(jì)算機(jī)的功能的方式)，(iv)代替控制部而使用智能電話或移動(dòng)型游戲機(jī)的方式，(V)通過將控制部和圖像顯示部形設(shè)為能夠無(wú)線通信且無(wú)線供電的結(jié)構(gòu)而廢棄連接部(導(dǎo)線)的方式。(vi)從控制部中廢棄觸摸板，而在圖像顯示部上設(shè)置觸摸板的方式。
[0271 ] 上述實(shí)施方式中，為了說明的方便，設(shè)為控制部具有發(fā)送部、圖像顯示部具有接收部。但是，上述實(shí)施方式的發(fā)送部及接收部都具有能夠雙向通信的功能，能夠發(fā)揮收發(fā)部的功能。另外，例如，圖5所示的控制部設(shè)為經(jīng)由有線的信號(hào)傳送路與圖像顯示部連接。但是，控制部和圖像顯示部還可以通過經(jīng)由無(wú)線LAN、紅外線通信或Bluetooth等無(wú)線信號(hào)傳送路徑的連接而連接。
[0272]例如，圖2所示的控制部、圖像顯示部的結(jié)構(gòu)能夠任意變更。具體地，例如，控制部除上述的各種的輸入設(shè)備(觸摸板、十字鍵、腳開關(guān)、手勢(shì)檢測(cè)器、視線檢測(cè)器、麥克風(fēng))夕卜，還能夠具有各種輸入設(shè)備(例如操作用桿、鍵盤、鼠標(biāo)等)。另外，上述實(shí)施方式中，作為電源使用二次電池，但作為電源不限于二次電池，能夠使用各種電池。例如，一次電池、燃料電池、太陽(yáng)能電池、熱電池等。
[0273]例如，頭戴式顯示器為雙眼型的透射型頭戴式顯示器，但也可以為單眼型的頭戴式顯示器。另外，還可以構(gòu)成為，在使用者佩戴了頭戴式顯示器的狀態(tài)下、遮斷外景的透射的非透射型頭戴式顯示器。上述實(shí)施方式中，設(shè)為以眼鏡的方式佩戴圖像顯示部的頭戴式顯示器，但例如還可以為采用以帽子的方式佩戴的類型的圖像顯示部等其他的形狀的圖像顯示部的頭戴式顯示器。另外，耳機(jī)可以采用掛耳型或發(fā)帶型，也可以省略。而且，例如，還可以構(gòu)成為搭載在汽車或飛機(jī)等的移動(dòng)體上的平視顯示器(HUD，Head-Up Display)。除此以外，還可以構(gòu)成為內(nèi)置在頭盔等身體防護(hù)用具中的頭戴式顯示器。
[0274]圖24是表示變形例的頭戴式顯示器的外觀的結(jié)構(gòu)的說明圖。圖24(A)的例中，圖像顯示部20c代替右光學(xué)像顯示部26而具有右光學(xué)像顯示部26c，代替左光學(xué)像顯示部28而具有左光學(xué)像顯示部28c。
[0275]右光學(xué)像顯示部26c及左光學(xué)像顯示部28c形成得比第I實(shí)施方式的光學(xué)部件小，被配置于在頭戴式顯示器的佩戴時(shí)的使用者的右眼及左眼的斜上方。在圖24(B)的例子中，圖像顯示部20d代替右光學(xué)像顯示部26而具有右光學(xué)像顯示部26d，代替左光學(xué)像顯示部28而具有左光學(xué)像顯示部28d。右光學(xué)像顯示部26d及左光學(xué)像顯示部28d形成得比第I實(shí)施方式的光學(xué)部件小，被配置于在頭戴式顯示器的安裝時(shí)的使用者的右眼及左眼的斜下方。這樣，光學(xué)像顯示部只要配置在使用者的眼睛的附近即可。另外，形成光學(xué)像顯示部的光學(xué)部件的大小也是任意的，能夠?qū)崿F(xiàn)光學(xué)像顯示部?jī)H覆蓋使用者的眼睛的一部分的方式，若換言之，則是光學(xué)像顯示部沒有完全覆蓋使用者的眼睛的方式的頭戴式顯示器。此夕卜，在為圖24那樣的結(jié)構(gòu)的情況下，能夠適當(dāng)調(diào)整一覽圖像的第I圖像和第2圖像的配置以成為既提高對(duì)于使用者的可見性又適于頭戴式顯示器。該情況下，不限于上述實(shí)施方式所例示的配置例子。
[0276]例如，上述實(shí)施方式中，顯示驅(qū)動(dòng)部利用背光源、背光源控制部、LCD、LCD控制部和投射光學(xué)系統(tǒng)而構(gòu)成。但是，上述的方式僅為例示。顯示驅(qū)動(dòng)部還可以與這些結(jié)構(gòu)一起、或代替這些結(jié)構(gòu)部，具有用于實(shí)現(xiàn)其他的方式的結(jié)構(gòu)部。例如，顯示驅(qū)動(dòng)部還可以構(gòu)成為具有有機(jī)EL(有機(jī)電致發(fā)光，Organic Electro-Luminescence)的顯示器、有機(jī)EL控制部和投射光學(xué)系統(tǒng)。另外，例如，顯示驅(qū)動(dòng)部還可以代替LCD而使用數(shù)字微鏡器件等。另外，例如，還能夠?qū)⒈景l(fā)明應(yīng)用于激光視網(wǎng)膜投影型的頭部佩戴型顯示裝置。
[0277]例如，記載了生成部、通知部、圖像處理部、顯示控制部、聲音處理部等的各功能部，通過CPU將存儲(chǔ)在ROM或硬盤中的計(jì)算機(jī)程序向RAM展開并執(zhí)行而實(shí)現(xiàn)。但是，這些功能部還可以利用用于實(shí)現(xiàn)該功能而設(shè)計(jì)的ASIC (Applicat1n Specific IntegratedCircuit:專用集成電路)來(lái)構(gòu)成。
[0278].變形例3:
[0279]上述實(shí)施方式中例示了配置處理的一例。但是，配置處理的順序僅為一例，能夠進(jìn)行各種變形。例如，既可以省略一部分的步驟，也可以進(jìn)一步追加其他的步驟。另外，還可以變更所執(zhí)行的步驟的順序。
[0280]例如，生成部還可以不使用區(qū)域信息而生成一覽圖像。具體來(lái)說，步驟S116中，生成部還可以代替區(qū)域信息，而通過在預(yù)先確定的坐標(biāo)位置上配置第I圖像和第2圖像來(lái)生成一覽圖像。作為其他的例子，步驟S116中，生成部還可以通過將第I圖像和第2圖像配置在根據(jù)獲取到的第I圖像及第2圖像的大小而動(dòng)態(tài)地計(jì)算出的坐標(biāo)位置上，從而生成一覽圖像。這樣，不需要區(qū)域信息也能夠生成一覽圖像。
[0281]例如，還可以省略步驟S114中的第I圖像、第2圖像的放大、縮小的處理。另外，例如，還可以省略步驟S104的智能電話的認(rèn)證和S106的連接的確立的任一方，或替換執(zhí)行順序。
[0282]例如，上述實(shí)施方式中說明的一覽圖像假定為按二維表現(xiàn)的圖像。但是，圖像處理部還可以通過使右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)成為不同的數(shù)據(jù)而將一覽圖像按三維方式表現(xiàn)。
[0283]例如，生成部使在一覽圖像的第I圖像、第2圖像上重疊描繪的指示圖像分別為不同的圖像。但是，生成部還可以指示OS以使在一覽圖像的第I區(qū)域重疊地描繪的指示圖像和在第2區(qū)域重疊地描繪的指示圖像分別成為不同的圖像。
[0284]例如，作為在一覽圖像的第I圖像上重疊地描繪的指示圖像和在第2圖像上重疊地描繪的指示圖像，可以使用相同形狀且使顏色和/或裝飾具有變化的圖像。
[0285]例如，還能夠代替使在一覽圖像的第I圖像上重疊描繪的指示圖像和在第2圖像上重疊描繪的指示圖像成為不同的圖像的情況，而利用其他的方法，成為能夠看到使用者正在操作的圖像的結(jié)構(gòu)。具體而言，也可以降低使用者正在操作的一個(gè)圖像的透射率，并提高另一個(gè)圖像的透射率。另外，對(duì)于使用者正在操作的一個(gè)圖像實(shí)施與外景相比強(qiáng)調(diào)圖像那樣的顏色轉(zhuǎn)換處理，而對(duì)另一個(gè)圖像實(shí)施使圖像與外景同化那樣的顏色轉(zhuǎn)換處理。另外，還可以對(duì)使用者正在操作的一個(gè)圖像施加裝飾，另一個(gè)圖像為未裝飾的狀態(tài)。這樣，能夠成為能夠利用第I圖像和第2圖像的透射率、顏色或有無(wú)裝飾而看到使用者正在操作的圖像的結(jié)構(gòu)。
[0286]例如，上述第2實(shí)施方式中，生成部也可以不使用構(gòu)架而生成第2圖像。具體而言，生成部也可以通過在預(yù)先確定的坐標(biāo)位置上配置圖標(biāo)圖像來(lái)生成第2圖像。作為其他的例子，生成部還可以通過將圖標(biāo)圖像配置在根據(jù)獲取到的圖標(biāo)圖像的大小而動(dòng)態(tài)地計(jì)算出的坐標(biāo)位置上來(lái)生成第2圖像。這樣，不需要構(gòu)架信息也能夠生成第2圖像。
[0287]例如，上述第2實(shí)施方式中，生成部也可以動(dòng)態(tài)地生成第2圖像以避開使用者的視線方向。具體而言，在上述頭戴式顯示器中，追加對(duì)使用者的眼睛進(jìn)行拍攝的照相機(jī)或紅外線傳感器等檢測(cè)使用者的視線方向的結(jié)構(gòu)(還稱作“視線方向檢測(cè)部”)。生成部能夠優(yōu)先選擇構(gòu)架所具有的多個(gè)圖像列表中的、在被檢測(cè)到的視線方向上較遠(yuǎn)的圖像列表，并進(jìn)行圖標(biāo)圖像的配置。這樣一來(lái)，第2圖像中，能夠進(jìn)行避開了使用者的視線方向的動(dòng)態(tài)的圖標(biāo)圖像的配置。
[0288].變形例4:
[0289]上述實(shí)施方式中，示出了通知處理的一例。但是，通知處理的順序僅為一例，能夠進(jìn)行各種變形。例如，可以省略一部分步驟，還可以進(jìn)一步追加其他的步驟。另外，還可以變更所執(zhí)行的步驟的順序。
[0290].變形例5:
[0291]上述實(shí)施方式(圖3)中，示出了存儲(chǔ)在區(qū)域信息存儲(chǔ)部的區(qū)域信息的例子。但是，上述區(qū)域信息的詳細(xì)情況僅為一例，能夠進(jìn)行各種變更。例如，能夠進(jìn)行構(gòu)成要素的追加、削除、變更。
[0292]例如，還可以在區(qū)域信息存儲(chǔ)部中存儲(chǔ)多個(gè)區(qū)域信息。另外，還可以根據(jù)頭戴式顯示器的使用者的喜好(設(shè)定)、使用者的視線的移動(dòng)、使用者的頭的運(yùn)動(dòng)、周圍的明暗度等任意條件，來(lái)選擇生成一覽圖像時(shí)所使用的構(gòu)架。
[0293].變形例6:
[0294]上述第2實(shí)施方式(圖11)中示出了存儲(chǔ)在構(gòu)架信息中的構(gòu)架的例子。但是，上述構(gòu)架的詳細(xì)僅為一例，能夠進(jìn)行各種變更。例如，能夠進(jìn)行構(gòu)成要素的追加、削除、變更。
[0295]例如，構(gòu)架信息中還可以存儲(chǔ)多個(gè)構(gòu)架。另外，可以根據(jù)頭戴式顯示器的使用者的喜好(設(shè)定)、使用者的視線的移動(dòng)、使用者的頭的運(yùn)動(dòng)、周圍的明暗度等任意條件，來(lái)選擇生成第2圖像時(shí)所使用的構(gòu)架。
[0296]例如，構(gòu)架具有兩個(gè)圖像列表LT1、LT2。但是，構(gòu)架所具有的圖像列表可以為一個(gè)，也可以為三個(gè)以上。另外，圖像列表內(nèi)的圖像邊框的形狀、大小、個(gè)數(shù)能夠任意確定。而且，構(gòu)架的區(qū)域的大小(縱橫比)還可以不與區(qū)域信息的第2區(qū)域?yàn)橄嗤拇笮?縱橫比)。
[0297].變形例7:
[0298]本發(fā)明不限于上述的實(shí)施方式、實(shí)施例或變形例，在不脫離其主旨的范圍內(nèi)能夠通過各種結(jié)構(gòu)來(lái)實(shí)現(xiàn)。例如，與
【發(fā)明內(nèi)容】
部分記載的各方式中的技術(shù)特征相對(duì)應(yīng)的實(shí)施方式、實(shí)施例、變形例中的技術(shù)特征，為了解決上述課題的一部分或全部、或者為了實(shí)現(xiàn)上述效果的一部分或全部，能夠進(jìn)行適當(dāng)?shù)靥鎿Q或組合。另外，只要在本說明書中沒有說明該技術(shù)特征是必須的，就能夠適當(dāng)?shù)貏h除。
【權(quán)利要求】
1.一種頭部佩戴型顯示裝置，其特征在于，使用者能夠看到虛像和外景，具有: 生成部，其生成一覽圖像，該一覽圖像包含作為連接于所述頭部佩戴型顯示裝置的外部裝置的顯示圖像的第1圖像和所述頭部佩戴型顯示裝置所具有的第2圖像；和 形成表示所述生成的一覽圖像的所述虛像的圖像顯示部。
2.根據(jù)權(quán)利要求1所述的頭部佩戴型顯示裝置，其特征在于， 還具有從所述外部裝置獲取所述第1圖像的獲取部， 所述生成部生成所述一覽圖像，所述一覽圖像是在第1區(qū)域配置有所述獲取的第1圖像、在與所述第1區(qū)域不同的第2區(qū)域配置有所述第2圖像的圖像。
3.根據(jù)權(quán)利要求1或2所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部將所述頭部佩戴型顯示裝置中的當(dāng)前的顯示圖像作為所述第2圖像。
4.根據(jù)權(quán)利要求1或2所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部通過改變所述頭部佩戴型顯示裝置所具有的圖標(biāo)圖像的配置來(lái)生成所述第2圖像。
5.根據(jù)權(quán)利要求4所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部在生成所述第2圖像時(shí)，還對(duì)所述圖標(biāo)圖像實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一項(xiàng)。
6.根據(jù)權(quán)利要求1?5中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部還改變所述第1圖像和所述第2圖像中的至少一個(gè)圖像的大小，并利用所述改變后的所述圖像來(lái)生成所述一覽圖像。
7.根據(jù)權(quán)利要求1?6中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部還對(duì)所述第1圖像和所述第2圖像中的至少一個(gè)圖像實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種，并利用所述實(shí)施后的所述圖像來(lái)生成所述一覽圖像。
8.根據(jù)權(quán)利要求1?7中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，還具有: 獲取所述使用者針對(duì)所述一覽圖像的操作的操作獲取部；和 在所述獲取的操作為針對(duì)所述第1圖像的操作的情況下，向所述外部裝置通知所述操作的第1通知部。
9.根據(jù)權(quán)利要求1?8中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述圖像顯示部形成對(duì)所述一覽圖像進(jìn)一步重疊有指示圖像而成的所述虛像， 所述生成部使重疊于所述第1圖像的所述指示圖像和重疊于所述第2圖像的所述指示圖像成為不同的圖像。
10.根據(jù)權(quán)利要求9所述的頭部佩戴型顯示裝置，其特征在于， 所述生成部還對(duì)重疊于所述第1圖像的所述指示圖像和重疊于所述第2圖像的所述指示圖像中的至少一方實(shí)施形狀的改變、透射率的改變、顏色的改變、大小的改變和裝飾的付與中的至少任一種，由此，使各所述指示圖像成為不同的圖像。
11.根據(jù)權(quán)利要求1?10中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述圖像顯示部形成對(duì)所述一覽圖像進(jìn)一步重疊有指示圖像而成的所述虛像， 并具有第2通知部，該第2通知部在所述指示圖像重疊于所述第1圖像的情況下，向所述外部裝置通知位置信息，該位置信息用于使所述外部裝置用的指示圖像重疊于在所述外部裝置的顯示圖像中、與重疊有所述指示圖像的位置相對(duì)應(yīng)的位置。
12.根據(jù)權(quán)利要求9?11中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于， 所述圖像顯示部形成所述虛像，所述虛像是在基于所述頭部佩戴型顯示裝置的輸入設(shè)備中的指示體的運(yùn)動(dòng)和所述使用者的視線的移動(dòng)中的至少任一方所確定的位置上重疊有所述指示圖像而成的圖像。
13.根據(jù)權(quán)利要求2?12中任一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于: 所述獲取部從一個(gè)所述外部裝置獲取所述第1圖像，并從別的所述外部裝置獲取所述別的外部裝置的顯示圖像即第3圖像， 所述生成部生成在與所述第1區(qū)域及所述第2區(qū)域不同的第3區(qū)域配置有所述第3圖像而成的所述一覽圖像。
14.一種控制頭部佩戴型顯示裝置的方法，其特征在于，具有以下步驟: (a)生成一覽圖像的步驟，所述一覽圖像包括:連接于所述頭部佩戴型顯示裝置的外部裝置的顯示圖像即第1圖像和所述頭部佩戴型顯示裝置所具有的第2圖像； (b)形成表示所述生成的一覽圖像的虛像的步驟。
15.一種計(jì)算機(jī)程序，其特征在于， 使計(jì)算機(jī)實(shí)現(xiàn)以下功能: 生成一覽圖像的功能，所述一覽圖像包括:連接于頭部佩戴型顯示裝置的外部裝置的顯示圖像即第1圖像；和所述頭部佩戴型顯示裝置所具有的第2圖像；和 使表示所述生成的一覽圖像的虛像形成于所述頭部佩戴型顯示裝置的功能。
16.一種圖像顯示系統(tǒng)，其特征在于，具有: 使用者能夠看到虛像和外景的頭部佩戴型顯示裝置；和 連接于所述頭部佩戴型顯示裝置的外部裝置， 所述外部裝置具有發(fā)送部，該發(fā)送部獲取所述外部裝置的顯示圖像即第1圖像，并將所述獲取的第1圖像向所述頭部佩戴型顯示裝置發(fā)送， 所述頭部佩戴型顯示裝置具有: 生成包含所述第1圖像和所述頭部佩戴型顯示裝置所具有的第2圖像的一覽圖像的生成部；和 形成表示所述生成的一覽圖像的所述虛像的圖像顯示部。
17.一種信息處理裝置，其特征在于，是連接于頭部佩戴型顯示裝置，并生成用于供所述頭部佩戴型顯示裝置顯示的圖像的信息處理裝置，具有: 獲取連接于所述頭部佩戴型顯示裝置的外部裝置的顯示圖像即第1圖像和所述頭部佩戴型顯示裝置所具有的第2圖像的獲取部； 生成包括所述獲取的第1圖像和所述獲取的第2圖像的一覽圖像的一覽圖像生成部；和 將所述生成的一覽圖像向所述頭部佩戴型顯示裝置發(fā)送的一覽圖像發(fā)送部。
【文檔編號(hào)】G02B27/01GK104423583SQ201410442968
【公開日】2015年3月18日 申請(qǐng)日期:2014年9月2日 優(yōu)先權(quán)日:2013年9月5日
【發(fā)明者】小林伸一, 高野正秀 申請(qǐng)人:精工愛普生株式會(huì)社