信息處理裝置、客戶端裝置、信息處理方法以及程序的制作方法
【技術領域】
[0001]本公開涉及一種信息處理裝置、客戶端裝置、信息處理方法以及程序。
【背景技術】
[0002]過去，已經實際地實現(xiàn)了將人工地構建的虛擬空間呈現(xiàn)給用戶的多種虛擬現(xiàn)實(VR)技術。例如，專利文獻I提議了下述技術:該技術用于當用戶對在存在于虛擬空間中的替身進行操作時實現(xiàn)高的可操作性。相反，成為近來關注的焦點的增強現(xiàn)實(AR)技術通過對真實空間部分地進行修改來將增強現(xiàn)實空間(AR空間)呈現(xiàn)給用戶。采用典型的AR技術，虛擬地生成的對象(虛擬對象)被疊加在來自指向真實空間的圖像捕獲裝置的圖像上，從而提供了仿佛對象存在于在圖像中所描繪的真實空間中的用戶體驗。
[0003]引用列表
[0004]專利文獻
[0005]專利文獻IJP 2003-150978A

【發(fā)明內容】

[0006]技術問題
[0007]在AR技術中通過使用用戶替身作為虛擬對象，實現(xiàn)了可以表示AR替身的應用。然而，簡單地使得真實空間的圖像作為替身活動的空間的背景，不能充分地展現(xiàn)增強現(xiàn)實的吸引力。
[0008]因此，本公開提議了下述機制:與虛擬現(xiàn)實相反，該機制用于提供良好地利用了增強現(xiàn)實的特性的具有吸引力的用戶體驗。
[0009]問題的解決方案
[0010]根據(jù)本公開的實施例，提供了一種信息處理裝置，包括:圖像獲取單元，從圖像捕獲裝置獲取真實空間的捕獲圖像；設置單元，與真實空間相關聯(lián)地設置增強現(xiàn)實空間，該增強現(xiàn)實空間虛擬地增強了在捕獲圖像中所描繪的真實空間，增強現(xiàn)實空間根據(jù)與捕獲圖像有關的相關信息而不同；以及控制單元，使得在增強現(xiàn)實空間內針對每個用戶所放置的虛擬對象的圖像顯示在畫面上。
[0011]根據(jù)本公開的實施例，提供了一種客戶端裝置，包括:圖像捕獲單元，通過對真實空間進行捕獲生成捕獲圖像；通信單元，與服務器裝置進行通信，該服務器裝置與真實空間相關聯(lián)地設置增強現(xiàn)實空間，該增強現(xiàn)實空間虛擬地增強了在捕獲圖像中所描繪的真實空間，增強現(xiàn)實空間根據(jù)與捕獲圖像有關的相關信息而不同；以及控制單元，使得在增強現(xiàn)實空間內針對每個用戶所放置的虛擬對象的圖像顯示在畫面上。
[0012]根據(jù)本公開的實施例，提供了一種信息處理方法，該信息處理方法由客戶端裝置所執(zhí)行，該客戶端裝置設置有圖像捕獲單元和與服務器裝置進行通信的通信單元。服務器裝置與真實空間相關聯(lián)地設置增強現(xiàn)實空間，該增強現(xiàn)實空間虛擬地增強了在捕獲圖像中所描繪的真實空間，增強現(xiàn)實空間根據(jù)與捕獲圖像有關的相關信息而不同，該信息處理方法包括通過使用圖像捕獲單元對真實空間進行捕獲來生成捕獲圖像，以及使得在由服務器裝置所設置的增強現(xiàn)實空間內針對每個用戶所放置的虛擬對象的圖像顯示在畫面上。
[0013]根據(jù)本公開的實施例，提供了一種程序，該程序用于使得控制客戶端裝置的計算機用作:圖像獲取單元，從圖像捕獲裝置獲取真實空間的捕獲圖像；以及控制單元，使得在增強現(xiàn)實空間內針對每個用戶所放置的虛擬對象的圖像顯示在畫面上，該增強現(xiàn)實空間由服務器裝置所設置，該服務器裝置與真實空間相關聯(lián)地設置增強現(xiàn)實空間，該增強現(xiàn)實空間虛擬地增強了在捕獲圖像中所描繪的真實空間，該增強現(xiàn)實空間根據(jù)與捕獲圖像有關的相關信息而不同。
[0014]發(fā)明的有利效果
[0015]根據(jù)依照本公開的技術，可以提供良好地利用了增強現(xiàn)實的特性的具有吸引力的用戶體驗。
【附圖說明】
[0016]圖1是用于描述根據(jù)實施例的信息處理裝置的概述的第一說明圖；
[0017]圖2是用于描述根據(jù)實施例的信息處理裝置的概述的第二說明圖；
[0018]圖3是示出了根據(jù)實施例的信息處理裝置的硬件配置的示例的框圖；
[0019]圖4是示出了根據(jù)實施例的信息處理裝置的邏輯功能的配置的示例的框圖；
[0020]圖5是用于描述用于AR空間的坐標系統(tǒng)的說明圖；
[0021]圖6是用于描述真實對象的離散化的示例的說明圖；
[0022]圖7是用于描述從真實空間映射所構建的AR空間的示例的說明圖；
[0023]圖8是用于描述AR空間的定制化的示例的說明圖；
[0024]圖9是用于描述設置虛擬對象的紋理或顏色的技術的第一示例的說明圖；
[0025]圖10是用于描述設置虛擬對象的紋理或顏色的技術的第二示例的說明圖；
[0026]圖11是用于描述設置虛擬對象的顯示屬性的技術的示例性修改的說明圖；
[0027]圖12是用于描述在多個用戶之間共享AR空間的技術的第一示例的說明圖；
[0028]圖13是用于描述在多個用戶之間共享AR空間的技術的第二示例的說明圖；
[0029]圖14是用于描述在多個用戶之間共享AR空間的技術的第三示例的說明圖；
[0030]圖15是用于描述由多個用戶所共享的AR空間的顯示的示例的說明圖；
[0031]圖16是用于描述指定對象進行共享或不進行共享的用戶界面的示例的說明圖；
[0032]圖17是用于描述體元粒度的設置的說明圖；
[0033]圖18是用于描述替身選擇窗口的示例的說明圖；
[0034]圖19是用于描述基本操作窗口的示例的說明圖；
[0035]圖20是用于描述移動替身的操作的示例的說明圖；
[0036]圖21是用于描述停止替身移動的操作的示例的說明圖；
[0037]圖22是用于描述改變替身的方向的操作的示例的說明圖；
[0038]圖23是用于描述改變替身的方向的操作的另一示例的說明圖；
[0039]圖24A是用于描述由替身所執(zhí)行的物品使用動作的第一示例的第一說明圖；
[0040]圖24B是用于描述由替身所執(zhí)行的物品使用動作的第一示例的第二說明圖；
[0041]圖25是用于描述切換由替身所使用的物品的操作的示例的說明圖；
[0042]圖26是用于描述由替身所執(zhí)行的物品使用動作的第二示例的說明圖；
[0043]圖27是用于描述經由替身進行的通信的第一示例的說明圖；
[0044]圖28是用于描述經由替身進行的通信的第二示例的說明圖；
[0045]圖29是用于描述顯示替身信息的操作的示例的說明圖；
[0046]圖30是用于描述改變AR空間的位置的操作的示例的說明圖；
[0047]圖31是用于描述改變AR空間的定向的操作的示例的說明圖；
[0048]圖32是用于描述可以在AR應用中實現(xiàn)的若干菜單的示例的說明圖；
[0049]圖33是用于描述實時模式和快照模式的說明圖；
[0050]圖34是用于描述圖33所示的兩種類型的操作模式之間的轉變的說明圖；
[0051]圖35是用于描述藍圖模式的說明圖；
[0052]圖36是用于描述攝像裝置視角模式和替身視角模式的說明圖；
[0053]圖37是用于描述圖36所示的兩種類型的顯示模式之間的轉變的說明圖；
[0054]圖38是用于描述選擇AR空間的技術的第一示例的說明圖；
[0055]圖39是用于描述選擇AR空間的技術的第二示例的說明圖；
[0056]圖40是用于描述選擇AR空間的技術的第三示例的說明圖；
[0057]圖41是用于描述選擇AR空間的技術的第四示例的說明圖；
[0058]圖42是用于描述調整AR空間的可變參數(shù)的第一示例的說明圖；
[0059]圖43是用于描述調整AR空間的可變參數(shù)的第二示例的說明圖；
[0060]圖44是用于描述設置在AR空間中虛擬對象的初始位置的技術的第一示例的說明圖；
[0061]圖45是用于描述設置在AR空間中虛擬對象的初始位置的技術的第二示例的說明圖；
[0062]圖46是用于描述在正常模式下AR空間中替身數(shù)量的改變的說明圖；
[0063]圖47是用于描述在回放模式下AR空間中替身數(shù)量的改變的說明圖；
[0064]圖48是用于描述追蹤t旲式的說明圖；
[0065]圖49是用于描述在AR空間之間移動的路徑的示例的說明圖；
[0066]圖50A是用于描述登記進入(check into)AR空間的畫面轉變的示例的轉變圖的第一部分；
[0067]圖50B是用于描述登記進入AR空間的畫面轉變的示例的轉變圖的第二部分；
[0068]圖51是示出了用于執(zhí)行AR應用的信息處理的流程的示例的流程圖；
[0069]圖52是示出了圖51所示的動作確定處理的詳細流程的示例的流程圖；
[0070]圖53是示出了根據(jù)示例性修改例的信息處理裝置的邏輯功能的配置的示例的框圖；以及
[0071]圖54是用于描述確定虛擬對象放置的技術的示例性修改例的說明圖。
【具體實施方式】
[0072]在下文中，將參照附圖詳細地描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，采用相同的附圖標記來標示基本上具有相同的功能和結構的元件，并且省略重復的說明。
[0073]另外，將按照下面的順序繼續(xù)描述。
[0074]1.概述
[0075]2.根據(jù)實施例的信息處理裝置的示例性配置
[0076]2-1.硬件配置
[0077]2-2.邏輯功能配置
[0078]3.AR空間設置
[0079]3-1.AR空間的坐標系統(tǒng)
[0080]3-2.從真實空間映射構建AR空間
[0081]3-3.對AR空間進行定制
[0082]3-4.設置虛擬對象顯示屬性
[0083]3-5.共享AR空間
[0084]3-6.與共享對象有關的設置
[0085]4.虛擬對象操作
[0086]4-1.操作窗口示例
[0087]4-2.替身動作
[0088]4-3.使用替身進行的通信
[0089]4-4.對AR空間的操作
[0090]4-5.其他操作
[0091]4-6.各種操作模式
[0092]5.AR 社群(coummunity)
[0093]5-1.形成AR社群
[0094]5-2.調整可變參數(shù)
[0095]5-3.設置初始位置
[0096]5-4.各種訪問模式
[0097]6.處理流程示例
[0098]6-1.登記進入處的畫面轉變
[0099]6-2.執(zhí)行AR應用
[0100]6-3.動作確定處理
[0101]7.示例性修改例
[0102]7-1.客戶端/服務器鏈接
[0103]7-2.簡單真實空間識別
[0104]8.結論
[0105]〈1.概述〉
[0106]首先，將使用圖1和圖2來描述根據(jù)本公開的技術的概述。圖1和圖2是用于描述根據(jù)實施例的信息處理裝置100的概述的說明圖。
[0107]參照圖1，示出了由用戶Ua所擁有的信息處理裝置100a。用戶Ua朝向真實空間Ila舉起信息處理裝置100a。信息處理裝置10a配備有攝像裝置(圖像捕獲裝置)，該攝像裝置包括指向真實空間Ila的透鏡和顯示屏幕。在圖1的示例中，真實對象R10a、Rlla、R12以及R13存在于真實空間Ila中。真實對象RlOa是桌子。真實對象Rlla是海報。真實對象R12是書。真實對象R13是杯子。信息處理裝置10a的攝像裝置通過對真實空間Ila進行捕獲來生成捕獲圖像。信息處理裝置10a的顯示器可以在屏幕上顯示捕獲圖像。信息處理裝置10a可以配備有控制器(未示出)，該控制器使得增強現(xiàn)實(AR)應用進行操作。AR應用接收描繪真實空間的捕獲圖像作為輸入圖像，并且將疊加有虛擬對象的輸出圖像輸出到顯示器。在圖1的示例中，虛擬對象Al I被疊加在輸出圖像Imll上，仿佛虛擬對象All站立在桌子RlOa之上。
[0108]參照圖2，示出了由用戶Ub所擁有的信息處理裝置100b。用戶Ub朝向真實空間Ilb舉起信息處理裝置100b。信息處理裝置10b配備有攝像裝置(圖像捕獲裝置)，該攝像裝置包括指向真實空間Ilb的透鏡和顯示屏幕。在圖2的示例中，真實對象RlOb、Rllb、R14以及R15存在于真實空間Ilb中。真實對象RlOb是桌子。真實對象Rllb是海報。真實對象R14是筆。真實對象R15是咖啡杯。信息處理裝置10b的攝像裝置通過對真實空間Ilb進行捕獲來生成捕獲圖像。信息處理裝置10b的顯示器可以在屏幕上顯示捕獲圖像。信息處理裝置10b可以配備有控制器(未示出)，該控制器使得AR應用進行操作。AR應用接收描繪真實空間的捕獲圖像作為輸入圖像，并且將疊加有虛擬對象的輸出圖像輸出到顯示器。在圖2的示例中，虛擬對象All、A12以及A13被疊加在輸出圖像Iml2上，仿佛虛擬對象A11、A12以及A13在桌子RlOa之上行走。
[0109]在圖1的示例中，虛擬對象All是用戶Ua的替身。替身All被放置在與現(xiàn)實空間Ila相關聯(lián)地設置的增強現(xiàn)實空間(AR空間)中，并且可以執(zhí)行各種動作。用戶Ua能夠通過查看或操作在屏幕上所顯示的替身All來享受AR應用。
[0110]AR應用可以由單獨的用戶使用，或可以由多個用戶使用。在圖2的示例中，虛擬對象All是用戶Ua的替身，而虛擬對象A12是用戶Ub的替身。換言之，與圖1中的真實空間Ila相關聯(lián)地所設置的AR空間通用地共享的AR空間被與圖2中的真實空間Ilb相關聯(lián)地設置。作為結果，在用戶Ua與用戶Ub之間共享同一 AR空間。用戶Ua可以使用信息處理裝置10a以對替身All進行操作，而用戶Ub可以使用信息處理裝置10b以對替身A12進行操作。替身All和替身A12也能夠彼此交互。作為結果，創(chuàng)建經由AR應用進行的用戶之間的通信。替身A13可以是另一用戶的替身，或可以根據(jù)某種算法自主地進行動作的角色(也被稱為非玩家角色(NPC))。
[0111]以這種方式，當采用AR技術用戶替身被用作虛擬對象時，簡單地使得真實空間的圖像作為在其中替身活動的空間的背景不能充分地展示增強現(xiàn)實的吸引力。因此，在下面的部分中詳細地描述的各種實施例實現(xiàn)了下述機制:與虛擬現(xiàn)實相反，該機制用于提供良好地利用增強現(xiàn)實的特性的具有吸引力的用戶體驗。
[0112]注意，在下面的說明中，當信息處理裝置10a和10b不彼此進行區(qū)分時，通過省略附圖標記中尾部的字母來將這些裝置整體地稱為信息處理裝置100。
[0113]在圖1和圖2中，平板式裝置被示為信息處理裝置100的一個示例。然而，信息處理裝置100不限于這樣的示例。信息處理裝置100還可以是例如個人計算機(PC)、個人數(shù)字助理(PDA)、智能電話、游戲控制器、便攜式導航裝置(PND)、內容播放器、數(shù)字設備等。另夕卜，信息處理裝置100還可以是可穿戴裝置，諸如頭戴式顯示器(HMD)。另外，代替于在由用戶所操作的客戶端上進行操作的AR應用，AR應用還可以在能夠與客戶端進行通信的另一裝置(例如，應用服務器)上進行操作。
[0114]〈2.根據(jù)實施例的信息處理裝置的示例性配置〉
[0115][2_1.硬件配置]
[0116]圖3是示出了根據(jù)實施例的信息處理裝置100的硬件配置的示例的框圖。參照圖3，信息處理裝置100配備有攝像裝置102、傳感器104、輸入接口 106、存儲器108、顯示器110、通信接口 112、總線116以及處理器118。
[0117](I)攝像裝置
[0118]攝像裝置102是對圖像進行捕獲的攝像模塊。攝像裝置102是下述裝置:該裝置使用諸如電耦合器件(CCD)傳感器或互補金屬氧化物半導體(CMOS)傳感器的圖像傳感器對真實空間進行捕獲并且生成捕獲圖像。由攝像裝置102所生成的捕獲圖像是用于由處理器118所執(zhí)行的信息處理的輸入圖像。注意，攝像裝置102未被嚴格地限制為信息處理裝置100的一部分。例如，以有線方式或無線方式連接到信息處理裝置100的圖像捕獲裝置也可以被當做攝像裝置102。
[0119](2)傳感器
[0120]傳感器104是傳感器模塊，該傳感器模塊包括測量信息處理裝置100的地理位置的定位傳感器。例如，定位傳感器可以接收全球定位系統(tǒng)(GPS)信號以測量瑋度、經度以及高度，或基于被傳送到無線接入點以及從無線接入點所接收的無線信號測量位置。此外，傳感器104還可以包括其他類型的傳感器，諸如加速度傳感器和陀螺儀傳感器。由傳感器104所生成的傳感器數(shù)據(jù)可以被用于各種應用，諸如被用于輔助于真實空間的識別、被用于獲取用于地理位置的專業(yè)數(shù)據(jù)、或被用于檢測用戶輸入。
[0121](3)輸入接口
[0122]輸入接口 106是為了使得用戶對信息處理裝置100進行操作或將信息輸入到信息處理裝置100所使用的輸入裝置。輸入接口 106可以包括例如觸摸傳感器，該觸摸傳感器檢測由用戶在顯示器110的屏幕(或在屏幕相對側的殼體表面)上所執(zhí)行的觸摸。代替于上述(或除了上述之外)，輸入接口 106還可以包括其他類型的輸入裝置，諸如按鈕、開關、按鍵或指點裝置。另外，輸入接口 106還可以包括:語音輸入模塊，該語音輸入模塊將由用戶所發(fā)出的語音命令識別為用戶輸入；或凝視檢測模塊，該凝視檢測模塊將用戶的凝視的方向檢測為用戶輸入。
[0123](4)存儲器
[0124]存儲器108被實現(xiàn)為諸如半導體存儲器或硬盤的存儲介質，并且存儲由信息處理裝置100進行的處理中所使用的程序和數(shù)據(jù)。由存儲器108所存儲的數(shù)據(jù)可以包括捕獲圖像數(shù)據(jù)、傳感器數(shù)據(jù)以及在稍后討論的數(shù)據(jù)存儲單元內部的各種數(shù)據(jù)。注意，在本說明書中所討論的一些程序和數(shù)據(jù)還可以從外部數(shù)據(jù)源(諸如，數(shù)據(jù)服務器、網(wǎng)絡存儲、或外部地附接的存儲器，例如)獲取而不是被存儲在存儲器108中。
[0125](5)顯示器
[0126]顯示器110是顯示模塊，該顯示模塊包括顯示器，諸如液晶顯示器(IXD)、有機發(fā)光二極管(OLED)、或陰極射線管(CRT)。顯示器110被用于例如顯示由信息處理裝置100所生成的AR應用圖像。注意顯示器110同樣地未被嚴格地限制為信息處理裝置100的一部分。例如，以有線方式或無線方式連接到信息處理裝置100的圖像顯示裝置也可以被當做顯示器110。
[0127](6)通信單元
[0128]通信接口 112是在信息處理裝置100與其他裝置之間傳達通信的通信接口。通信接口 112支持任意無線通信協(xié)議或有線通信協(xié)議，并且創(chuàng)建與其他裝置的通信連接。
[0129](7)總線
[0130]總線116將攝像裝置102、傳感器104、輸入接口 106、存儲器108、顯示器110、通信接口 112以及處理器118彼此連接。
[0131](8)控制器
[0132]處理器118可以對應于中央處理單元(CPU)、數(shù)字信號處理器(DSP)等。處理器118通過執(zhí)行在存儲器108或其他存儲介質中所存儲的程序，使得稍后描述的信息處理裝置100的各種功能進行操作。
[0133][2-2.邏輯功能配置]
[0134]圖4是示出了由圖3所示的信息處理裝置100的存儲器108和處理器118所實現(xiàn)的邏輯功能的示例性配置的框圖。參照圖4，信息處理裝置100配備有圖像獲取單元120、數(shù)據(jù)獲取單元130、AR處理單元140以及數(shù)據(jù)存儲單元160。AR處理單元140包括識別單元142、AR空間設置單元144以及對象控制單元146。
[0135](I)圖像獲取單元
[0136]圖像獲取單元120從攝像裝置102獲取描繪真實空間的捕獲圖像作為輸入圖像。由圖像獲取單元120所獲取的輸入圖像通常為構成視頻的各個幀。圖像獲取單元120將所獲取的輸入圖像輸出到AR處理單元140。
[0137](2)數(shù)據(jù)獲取單元
[0138]數(shù)據(jù)獲取單元130獲取為了 AR處理單元140使得AR應用進行操作所使用的數(shù)據(jù)。例如，數(shù)據(jù)獲取單元130獲取由傳感器104所生成的傳感器數(shù)據(jù)，和經由通信接口 112從外部裝置所接收到的外部數(shù)據(jù)。稍后描述的數(shù)據(jù)存儲單元160內部的各個數(shù)據(jù)可以由信息處理裝置100預先存儲，或可以從外部裝置動態(tài)地接收。
[0139](3)識別單元
[0140]識別單元142識別在從圖像獲取單元120所輸入的輸入圖像中所描繪的真實對象，并且生成真實空間映射164，該真實空間映射表示每個所識別出的真實對象在真實空間中的位置和定向。另外，識別單元142還識別信息處理裝置100 (攝像裝置102)的位置和定向。識別單元142例如可以根據(jù)所創(chuàng)建的圖像識別算法(諸如同時定位與建圖(SLAM)技術的運動結構(SfM)技術)識別真實對象和信息處理裝置100的三維位置和定向。作為示例，JP 2011-159162A公開了通過利用SLAM技術動態(tài)地構建真實空間映射(環(huán)境映射)的技術。通過應用這樣的技術，識別單元142能夠實時地識別真實對象和信息處理裝置100的三維位置和定向，并且生成真實空間映射164。另外，識別單元142還可以基于來自可以在攝像裝置102中額外地提供的深度傳感器的深度數(shù)據(jù)，識別真實對象關于信息處理裝置100的相對位置和定向。識別單元142還可以基于來自諸如紅外測距系統(tǒng)或運動捕獲系統(tǒng)的環(huán)境識別系統(tǒng)的輸出數(shù)據(jù)執(zhí)行識別處理。識別單元142使得數(shù)據(jù)存儲單元160存儲真實空間映射164，其可以每當輸入新的輸入圖像時進行更新。
[0141](4) AR空間設置單元
[0142]AR空間設置單元144設置增強現(xiàn)實空間(AR空間)，該增強現(xiàn)實空間虛擬地增強在輸入圖像中所描繪的真實空間。在本實施例中，AR空間是與真實空間相關聯(lián)地設置的三維空間。使用圖1和圖2所描述的替身和其他虛擬對象被放置在由AR空間設置單元144所設置的AR空間中，并且在AR空間內進行各種動作。因為AR空間與真實空間相關聯(lián)地設置，所以即使攝像裝置102的視角改變，例如，仍然可以呈現(xiàn)虛擬對象在真實空間內顯得保持在同一位置的顯示，或呈現(xiàn)替身顯得在真實對象的表面上移動的顯示。AR空間設置單元144生成或獲取表示要設置的AR空間的AR空間模型166，并且使得數(shù)據(jù)存儲單元160存儲AR空間模型166。
[0143]在工作示例中，AR空間設置單元144通過以體元為單位使得在輸入圖像中所描繪的真實空間內的真實對象