專利名稱：圖像識別裝置、操作判斷方法以及程序的制作方法
技術領域：
本發(fā)明涉及圖像識別裝置以及操作判斷方法，更詳細地說，涉及從由攝像機等拍攝得到的圖像中對測量對象的動作進行判斷的圖像識別裝置以及操作判斷方法。
背景技術：
近年來，作為計算機、電子設備與人之間的接口、即人機接口而提出了各種設備、 方法，特別是提出了一種技術即在游戲機、操作引導設備等中使用照相機來拍攝操作者整體或者一部分，根據(jù)其圖像來判斷操作者的意向并進行動作。例如，在專利文獻1中提出了一種技術，即具備主計算機，其對由CCD照相機拍攝得到的圖像中的物體的形狀、動作進行識別；以及顯示器，其顯示由主計算機識別得到的物體的形狀、動作，當用戶面朝向CCD 照相機并通過手勢等施加指示時，施加的手勢被顯示在顯示器的顯示畫面上，能夠通過手勢使用箭頭光標的圖標來選擇顯示在顯示畫面上的虛擬開關等，不需要鼠標等輸入裝置， 就能夠非常簡單地進行設備的操作。最近，還提出了一種輸入系統(tǒng)，從拍攝得到的圖像中將手指的動作、形狀識別為某種姿勢，從而進行操作輸入。例如，在能夠用姿勢進行畫面操作的演示、不需要觸摸面板的非接觸公眾信息系統(tǒng)(kiosk)終端的輸入裝置中，當面向大畫面的操作者朝向一般設置于畫面下部位置的照相機進行各種操作時，其內容被反映到大畫面上。通過在本技術領域中公知的方法從這樣拍攝得到的圖像中提取操作者的形狀、動作，例如與預先確定并保存在數(shù)據(jù)庫中的圖案進行比較，由此判斷操作者的形狀、動作的意義而用于設備的控制。另一方面，如圖13所示，作為對操作者圖像的讀取技術，使用支持三維或者立體的照相機來拍攝操作者，也能夠再現(xiàn)立體圖像，還用于安全檢查等用途。通過再現(xiàn)立體圖像，能夠立體地掌握操作者的動作，例如操作者的動作、特別是手的動作在前后都能夠進行識別，因此與使用二維圖像的情況相比，姿勢的變化增加。另外，如果提取出多個操作者作為圖像，即使是多人也因為立體圖像而分為前后關系，因此能夠僅提取最前面的操作者的動作來用于操作的輸入。專利文獻1 日本特開2004-078977號公報

發(fā)明內容
發(fā)明要解決的問題然而，以往的姿勢操作沒有確立約定俗成的標準這樣的任何標準姿勢，除了使用食指進行XY坐標的指示操作以外，無法直觀地識別用戶通過什么樣的動作能夠進行怎樣的操作。關于“點擊”、“雙擊”、“拖動”等…、有通過在幾秒鐘的等待時間的期間中固定在空間坐標來指示點擊操作的情況，但是由于設定的等待時間過長等而妨礙舒適的操作的情況也不少。因而，存在以下問題沒有一種現(xiàn)實的方法能夠容易理解且舒適地進行點擊、決定 (雙擊等)等操作。另外，以往的姿勢檢測裝置與如觸摸面板這樣的操作者能夠直接接觸的輸入裝置不同，以往的姿勢檢測裝置難以獲取操作者明確的意思。即，存在以下問題即使操作者進行某種動作，也不容易判斷該動作是有意輸入的動作還僅是習慣性動作。其結果，存在以下問題如果例如不以不自然的明顯的方式進行單純的姿勢則無法識別，或者需要與姿勢有關的預先的規(guī)定，并且無法使用復雜的姿勢。本發(fā)明是鑒于這種問題而完成的，其目的在于提供一種圖像識別裝置以及操作判斷方法，通過使操作者在識別出處于正在進行與哪一個輸入有關的操作的狀態(tài)的基礎上對裝置進行動作，由此能夠準確地判斷操作。用于解決問題的方案為了達到這種目的，本發(fā)明涉及一種圖像識別裝置，其特征在于，具備三維攝像單元，其獲取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成單元，其根據(jù)由上述三維攝像單元獲取到的操作者的圖像，形成虛擬操作面；操作判斷單元，其利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出單元， 當被判斷為上述動作是操作時，該信號輸出單元輸出規(guī)定的信號。本發(fā)明的特征在于，上述操作判斷單元在上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置時判斷為上述動作是操作。本發(fā)明的特征在于，上述操作判斷單元根據(jù)上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置的部分的形狀或者動作來判斷正在進行哪種操作。本發(fā)明的特征在于，上述操作判斷單元在預先保存有與操作者的一部分的形狀或者動作相對應的操作內容的存儲單元中進行搜索，將與匹配的形狀或者動作相對應的操作判斷為所輸入的操作。本發(fā)明的特征在于，還具備以面向操作者的方式配置的圖像顯示單元，上述操作判斷單元以使操作者能夠識別操作的判斷結果的方式，使當前時刻的操作判斷結果顯示于上述圖像顯示單元。本發(fā)明的特征在于，還具備以面向操作者的方式配置的圖像顯示單元，當上述虛擬操作層的區(qū)域內讀取到上述操作者的動作時，在上述圖像顯示單元中顯示預先分配給該虛擬操作層的標識。本發(fā)明的特征在于，還具備能夠由上述操作者進行視覺觀察的圖像顯示單元，該圖像顯示單元根據(jù)相對于由上述操作面形成單元形成的虛擬操作面在上述三維攝像單元的相反側的上述操作者的一部分與上述虛擬操作面之間的位置關系計算出相應的距離，顯示與該距離相應地發(fā)生變化的標識，從而顯示要判斷的操作。本發(fā)明的特征在于，在上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置時，上述圖像顯示單元停止該標識的變化而顯示判斷的操作。本發(fā)明的特征在于，還具備操作內容決定單元，當在根據(jù)與上述虛擬操作面之間的位置關系而確定的兩個以上的虛擬操作層中的任一個虛擬操作層的區(qū)域內讀取到上述操作者的動作時，該操作內容決定單元根據(jù)預先分配給該虛擬操作層的操作種類以及操作者在該虛擬操作層內的動作來決定上述操作的內容。本發(fā)明的特征在于，上述操作面形成單元在與上述操作者的上半身的位置信息相應的位置處形成上述虛擬操作面。
本發(fā)明的特征在于，上述操作面形成單元根據(jù)上述圖像顯示單元的位置來調整上述虛擬操作面的位置和角度。本發(fā)明涉及一種操作判斷方法，用于通過圖像識別裝置來識別操作者的圖像并判斷操作內容，該操作判斷方法的特征在于，具備以下步驟三維攝像步驟，讀取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成步驟，根據(jù)由^^三維攝像單元讀取到的操作者的圖像，形成虛擬操作面；操作判斷步驟，利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出步驟，當被判斷為上述動作是操作時，輸出規(guī)定的信號。本發(fā)明涉及一種程序，執(zhí)行使圖像識別裝置識別操作者的圖像并判斷操作內容的操作判斷方法，該程序的特征在于，該操作判斷方法具備以下步驟三維攝像步驟，讀取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成步驟，根據(jù)由上述三維攝像單元讀取到的操作者的圖像，形成虛擬操作面；操作判斷步驟，利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出步驟，當被判斷為上述動作是操作時，輸出規(guī)定的信號。發(fā)明的效果本發(fā)明具備三維攝像單元，其獲取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成單元，其根據(jù)由三維攝像單元獲取到的操作者的圖像來形成虛擬操作面；操作判斷單元，其利用三維攝像單元來讀取操作者的至少一部分圖像相對于所形成的該虛擬操作面的動作，根據(jù)操作者的一部分與虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出單元，其被當判斷為動作是操作時，該信號輸出單元輸出規(guī)定的信號，由此，操作者不需要掌握特殊姿勢也需要不熟悉操作，而使身體整體或者一部分進行動作，由此就能夠準確地將動作判斷為表示操作者意志的操作。


圖1是表示本實施方式的操作輸入系統(tǒng)的一例的圖。圖2是示意性地表示本實施方式的操作輸入系統(tǒng)與計算機之間的關系的框圖。圖3是表示本實施方式的在計算機的CPU內進行處理的程序的功能模塊的一例的框圖。圖4是本實施方式的處理的流程圖。圖5是表示本發(fā)明的一個實施方式所涉及的根據(jù)操作面形成基準形成的虛擬的操作面的樣子的圖。圖6是表示本發(fā)明的一個實施方式所涉及的根據(jù)操作面形成基準形成的虛擬的操作面的樣子的圖。圖7是表示以往的使用了 3D照相機取入多個操作者的圖像的情況下的圖像的一例的圖。圖8是表示本發(fā)明的一個實施方式所涉及的操作輸入輔助的操作區(qū)域設定的一例的圖。
圖9是表示本發(fā)明的一個實施方式所涉及的基于畫面或者照相機的位置來調整操作區(qū)域的一例的圖。圖10是表示本發(fā)明的一個實施方式所涉及的基于畫面或者照相機的位置來調整操作區(qū)域的另一例的圖。圖11是表示本發(fā)明的一個實施方式所涉及的基于畫面或者照相機的位置來調整操作區(qū)域的另一例的圖。圖12是用于說明本發(fā)明的一個實施方式所涉及的基于畫面或者照相機的位置來調整操作區(qū)域的方法的圖。圖13是表示以往的使用了 3D照相機取入操作者的圖像的方法的圖。圖14是表示本發(fā)明的一個實施方式的使用了基于標記的虛擬操作面的操作輸入系統(tǒng)的一例的圖。圖15是表示本發(fā)明的一個實施方式所涉及的操作輸入方法的具體操作的一例的圖。圖16是表示本發(fā)明的一個實施方式所涉及的基于畫面或者照相機的位置來調整操作區(qū)域的一例的圖。圖17是表示本發(fā)明的一個實施方式所涉及的操作輸入輔助的具體顯示的一例的圖。圖18是表示本發(fā)明的一個實施方式所涉及的虛擬操作面以及操作區(qū)域的樣子的圖。圖19是表示本發(fā)明的一個實施方式所涉及的操作者的動作與顯示在畫面中的圖標之間的關系的圖。圖20是表示本發(fā)明的一個實施方式所涉及的操作輸入畫面的具體顯示的一例的圖。圖21是表示本發(fā)明的一個實施方式所涉及的能夠在操作輸入畫面中使用的各種圖標的例子的圖。圖22是表示本發(fā)明的一個實施方式所涉及的操作者的動作與顯示在畫面中的圖標之間的關系的圖。圖23是表示本發(fā)明的一個實施方式所涉及的操作輸入畫面的菜單按鈕的顏色變化的樣子的圖。圖M是表示本發(fā)明的一個實施方式所涉及的操作輸入畫面的菜單按鈕的濃淡變化的樣子的圖。圖25是表示通過本實施方式輸入使顯示在畫面上的圖形進行移動的指示的一例的顯示畫面的圖。圖沈是表示本發(fā)明的一個實施方式所涉及的操作者的動作與顯示在畫面上的菜單之間的關系的圖。圖27是表示本發(fā)明的另一個實施方式所涉及的操作者的動作與顯示在畫面上的菜單之間的關系的圖。圖觀是表示本發(fā)明的又一個實施方式所涉及的操作者的動作與顯示在畫面上的菜單之間的關系的圖。
圖四是表示本發(fā)明的一個實施方式所涉及的虛擬操作面和操作面形成基準的樣子的圖。圖30是表示本發(fā)明的一個實施方式所涉及的根據(jù)投影儀的畫面或者照相機的位置來調整操作區(qū)域的一例的圖。圖31是表示本發(fā)明的一個實施方式所涉及的操作者的動作與顯示在畫面上的菜單之間的關系的圖。
具體實施例方式下面，參照附圖詳細說明本發(fā)明的實施方式。(第一實施方式)圖1是表示本實施方式的操作輸入系統(tǒng)的一例的圖。本實施方式的顯示器111被配置在操作者102的前面，操作者102考慮到在與顯示器111之間的固定位置上存在虛擬的操作面，而認識到手指等的形狀成為操作判斷的對象，能夠對操作輸入系統(tǒng)進行操作。在顯示器111中顯示本系統(tǒng)作為目標的各種應用程序用的各種影像，但是除此以外，可以如后述那樣輔助操作輸入，即例如將成為對象的操作者102的部位等顯示在畫面的角落，使操作者102識別在當前時刻能夠被判斷為操作的動作。使用攝像機201對操作者102的動作進行拍攝，通過計算機110對拍攝得到的影像進行處理，根據(jù)操作者102的位置、身高以及臂長等，或者根據(jù)身高、肩寬等身體尺寸信息，來設定最佳虛擬操作面以及包括該虛擬操作面的操作區(qū)域的位置和大小，判斷從虛擬操作面向顯示器111側伸出的部分的姿勢是指哪種操作。即，計算機110根據(jù)從攝像機201得到的數(shù)據(jù)，制作操作者102的立體圖像，并且計算出虛擬操作面的位置，并且根據(jù)后述的攝像機201、顯示器111的位置、配置方式來對虛擬操作面的位置和大小等進行調整，以虛擬操作面為基準來確定操作者102的手指等是否向攝像機201側伸出，將該部分作為操作的對象來判斷操作內容。在圖1中，為了獲取圖像，將攝像機201安裝于顯示器111的上部來進行拍攝，但是只要能夠如圖8至圖12那樣得到所需的圖像，則并不限定于此，還能夠使用紅外線照相機等在本技術領域中公知的任意攝像單元，設置位置也能夠選擇顯示器附近的任意位置。 在此，在本實施方式中作為攝像機201使用三維(或者3D)照相機，由此能夠制作包括操作者在內的立體圖像。并且，在本實施方式的系統(tǒng)中安裝有未圖示的揚聲器等聲音輸出裝置，還能夠通過聲音將顯示內容、與操作有關的信息傳達給操作者。通過設置這種功能，不僅在顯示器中以圖像的方式顯示操作內容，關于指示事項、結果，還同時以聲音傳播來判明虛擬操作面， 因此即使是視覺有障礙的操作者也能夠進行操作。圖5以及圖6是用于具體地說明虛擬操作面的作用的圖。本實施方式的虛擬操作面701是根據(jù)操作者102的身高、臂長或者身高、肩寬等身體尺寸信息來設定的，用戶102 在自己自然地伸展手臂時，捕捉虛擬存在的操作面701，在要進行各種操作的情況下，能夠以操作面701為基準將手601向前伸出并表示姿勢。另外，在包括虛擬操作面的操作區(qū)域內，用戶采用任意的姿勢之后，能夠以向虛擬操作面的前方按壓(決定)的行為來決定動作，或者設定為在決定操作之后進行按壓這種判斷的基準，因此用戶易于識別，操作性接近以往的觸摸面板操作。另一方面，與以往的觸摸面板相比，操作變化壓倒性地增加(兩手操
8作、動作、多個手指等)。在本實施方式中，當照相機201捕捉到操作者102的圖像時，實時地形成圖5以及圖6所示那樣的虛擬操作面701，但是在操作者開始操作之前，操作者的站立位置不固定， 因此虛擬操作面不確定，也不容易進行操作判斷。因此，在本實施方式中，在操作者的身體在三維照相機的攝像范圍內靜止固定時間的時刻開始虛擬操作面的設定處理。這樣能夠實時地形成本實施方式的虛擬操作面，但是在這種情況下，也通過某種方法將操作者的站立位置限制在對于其系統(tǒng)來說最佳的固定范圍內，由此能夠更正確地進行操作判斷。例如，雖然未圖示，但還能夠在地板上描繪表示站立位置的腳印，或者通過顯示器、系統(tǒng)的配置使操作者識別固定的限制范圍的存在或者豎立屏風來使其在固定范圍內進行操作。操作者能夠自然地識別的虛擬操作面的位置、大小等受到操作者與顯示器之間的位置關系的很大影響，優(yōu)選在系統(tǒng)整體上預先假設顯示器、照相機、操作者的位置等，因此通過這樣進行限制，操作者能夠對虛擬操作面所存在的位置大致進行推測并操作。另外，如圖7所示，在本實施方式中在存在多個操作對象者、即由照相機201讀取多個人物的情況下，將其中的例如處于最前列的人710確定為操作者102而形成虛擬操作面。當然，能夠與系統(tǒng)對應地以各種方式確定將多人中的哪個選擇為操作者102，但是除了最前面的優(yōu)先用戶之外不提供操作區(qū)域，由此能夠防止錯誤動作、錯誤輸入(單人輸入的情況)。圖2是示意性地示出本實施方式的圖像識別裝置的計算機110的結構的框圖。在計算機110中安裝有顯示器701，連接有對操作者102等進行拍攝的攝像機201，拍攝得到的圖像被取入到計算機110。在CPU 210中對拍攝得到的圖像進行作為本實施方式的特征的圖像的提取、位置的計算等，根據(jù)計算出的位置來決定身體的一部分是否從操作面朝向攝像機側伸出。計算機110通常具備CPU 210，在RAM 212上執(zhí)行存儲在ROM 211等中的程序，將基于從圖像識別裝置輸入的圖像所得到的處理結果輸出到顯示器111等。在本實施方式中，顯示器111主要用于輸出由操作者要體驗的各種應用程序提供的各種影像，但是如后述那樣還顯示成為操作輸入的輔助的信息。圖3是表示本實施方式的計算機110的CPU 210內進行處理的程序的功能模塊的一例的框圖。如圖3所示，通過圖像讀取部301、圖像提取部302、圖像位置計算部303以及操作判斷部304來執(zhí)行本系統(tǒng)中的處理。此外，在本實施方式中，通過四個模塊來執(zhí)行從接收來自攝像機201的圖像到進行數(shù)據(jù)的輸出為止的處理，但是并不限定于此，還能夠使用其它模塊、或者更少的模塊來進行處理。(本實施方式的處理)如圖6所示，在本實施方式中，根據(jù)由攝像機201拍攝得到的操作者102的圖像來形成虛擬操作面，確定同樣拍攝得到的操作者102的一部分即手、手指的位置，并且進行處理來算出虛擬的操作面701與操作者102的手指601之間的位置關系。在本實施方式中， 作為進行這種處理的前提，當設想本技術領域中公知的初始設定、例如重新設置了本實施方式的圖像識別裝置的情況時，需要將作為預先準備而利用的攝像機201的利用透鏡的失真、顯示器111與透鏡之間的距離等信息輸入到裝置。并且，預先調整閾值設定等。當系統(tǒng)的初始設定結束時，進行本實施方式的處理，下面，參照圖4說明該處理。圖4是本實施方式的處理的流程圖。首先，在圖像讀取部301中讀取由攝像機201拍攝得到的數(shù)據(jù)(S401)，使用圖像提取部302從該數(shù)據(jù)中提取操作者的圖像(S402)。這種準備的結果是，根據(jù)提取出的操作者102的圖像來形成虛擬操作面和操作區(qū)域(S40;3)。在此，參照圖8等，操作面的形狀呈從地板起垂直地豎立的長方形，但是并不限定于此，能夠根據(jù)操作者的操作方式來形成各種形狀、大小的操作面。在此，操作區(qū)域是指包括作為本實施方式的特征的虛擬操作面并且操作者的成為操作主體的手、手指等主要進行動作的區(qū)域，如在到達后述的虛擬操作面為止的輔助中說明的那樣，從操作者的身體超過虛擬操作面的固定區(qū)域被用于本申請的發(fā)明的操作識別。 例如，如圖8所示，對于成人操作者810，可以考慮身高(視線的位置)、臂長而形成為操作區(qū)域811那樣，在兒童操作者820的情況下，身高變得更低而手臂也變短，因此可以與此相應地設定操作區(qū)域821。如果在這種操作區(qū)域中設定虛擬操作面，則通過操作者自然地活動手、手指，能夠根據(jù)手、手指的動作來判斷操作者意圖進行的操作。更具體地說，例如，能夠將深度設為到操作者向前方伸出手的指尖兒為止，將寬度設為到操作者向正側面伸出手時的左右手腕的長度為止，將高度設為從操作者的頭部位置起至腰部位置的范圍。另外，在將本實施方式的系統(tǒng)的對象者設為從小學低年級至成人的情況下，身高幅度大致為IOOcm至195cm左右，作為其身高差，操作區(qū)域或者虛擬操作面的上下位置的校正幅度大約需要100cm。此外，關于虛擬操作面、操作區(qū)域的設定，能夠每次執(zhí)行，也能夠在固定條件下執(zhí)行，或者還能夠預先或者每次選擇它們的設定時刻。操作判斷部304當利用操作輸入系統(tǒng)所形成的虛擬操作面與操作者102之間的相對關系(S404)，從操作面的攝像機201來看，操作者102的一部分來到近前時，判斷為操作開始(S405)，根據(jù)各部的形狀(打開手掌或者立起兩個手指等)、動作，判斷其形狀、動作為預先設想的哪種操作(S406)。在此，什么樣的形狀、動作與哪種操作對應，能夠由系統(tǒng)獨立地決定，也能夠引入本技術領域所公知的任意方法來決定。判斷的結果是，作為存在這種操作的輸入而通過計算機110來執(zhí)行(S407)，在本來沒有從虛擬操作面向近前側伸出手的情況下，判斷為沒有進行操作而結束(S408)。操作內容的判斷并不限定于在此說明的方法，在本實施方式中還能夠使用公知的任意方法。另外，還省略了具體的判斷方法，但是通常將預先確定的姿勢等操作者的身體形狀、動作以及該形狀、動作所意味的操作內容保存到數(shù)據(jù)庫等，在圖像提取之后，對該數(shù)據(jù)庫進行訪問，判斷操作內容。此時，當然也能夠通過在本技術領域中公知的方法來利用圖像識別技術、人工智能等，來提高判斷精度。在此，可以理解在操作者為成人的情況下與操作者為兒童的情況下，在哪個位置以哪種程度的大小形成虛擬操作面會發(fā)生變化，但除了操作者的身高等體形之差以外，還需要根據(jù)照相機201的位置、顯示器111的位置、安裝角度來調整虛擬操作面。通常，三維照相機能夠相對于CCD、透鏡面平行或者同心圓狀地進行相對于對象物的距離的測量。在將顯示器設置成操作者的視線高度，照相機處于接近的位置，并分別與地板垂直設置的情況下， 如果操作者也處于直立位置，則生成適當操作區(qū)域之后，可以說不需要特別對相互的位置關系等進行調整、校正。但是，在天花板吊掛式顯示器的情況下、利用超大型顯示器或者投影儀等的情況下，與照相機設置位置、顯示器以及操作者之間的位置關系可假設各種狀況。通常，操作者一邊觀察操作對象畫面一邊進行輸入操作，因此始終與將操作者的視線和操作對象畫面連結起來的直線垂直地配置虛擬操作面，如果不生成沿著該虛擬操作面的操作區(qū)域，則操作者沿Z方向的按壓行程的角度產(chǎn)生不一致，即使操作者對作為目標的點進行按壓操作，也隨著按壓而沿著某角度偏斜而無法進行正常的操作。因而，在形成虛擬操作面的情況下，需要根據(jù)顯示器、照相機以及操作者的位置、配置方式來調整要形成的角度、大小或者根據(jù)情況調整位置。參照圖9，如圖8所示那樣配合操作者820來確定操作區(qū)域821和虛擬操作面601， 但是在如圖9示出的例子那樣照相機201被配置于顯示器111的上部的情況下，如果虛擬操作面601不與操作者820伸出手臂的方向910垂直，則操作者820得不到對虛擬操作面的良好的操作感，因此需要形成與照相機201的視場方向垂直的平面。另外，參照圖10，顯示器111本身被設置于上方，并且安裝成形成角度，因此虛擬操作面701形成與向上方傾斜的方向1010相垂直的面，使得操作者820能夠仰視而操作顯示器111。在這種情況下，也與圖9示出的例子同樣地，照相機201的視場1011與視場方向 1010形成一定的角度而傾斜，因此需要進行校正使得由照相機201讀取到的信息與傾斜的虛擬操作面701 —致。并且，參照圖11，照相機201被設置在與顯示器111分離的地板附近，操作者820的視場1110與照相機201的視場形成更大的角度，因此需要進行相應量的校正。圖12是用于說明確定虛擬操作面701和操作區(qū)域821的一例的圖。在本實施方式中，為了形成虛擬操作面，使用顯示器111和照相機201的位置、設置方法(以哪種程度的角度進行了設置等)、操作者820的站立位置、身高等信息。即，作為一例，首先計算出操作者820的眼睛相對于顯示器111的高度(身高)、從站立位置起與操作者的視線垂直的虛擬操作面701。接著，測量將操作者820的頭部與身體連結起來的線A-B以及照相機201 的視場的中心線1210的角度，校正虛擬操作面和操作區(qū)域的傾斜。手臂的行程也可以從操作者的圖像中提取，還可以根據(jù)得到的身高的信息、還根據(jù)每個身高的平均手臂長度信息來確定手臂的行程?；蛘撸€能夠使用與后述的第二實施方式的操作面形成基準相同的標記等，設定虛擬操作面的位置、大小、角度等。例如，在設置系統(tǒng)的階段，將附加了標記的臺、 引導桿等放置在最佳的位置來使用照相機進行拍攝，根據(jù)這些拍攝得到的標記的位置來設定虛擬操作面，在實際使用時，能夠除去最初設置的臺、引導桿，根據(jù)操作者的體形等來進行校正而形成虛擬操作面和操作區(qū)域。如上所述，本實施方式的虛擬操作面和操作區(qū)域根據(jù)照相機、顯示器以及操作者的位置、配置方式等，被確定為能夠進行自然的操作以及更容易的操作判斷，對實際操作者的動作進行檢測，判斷正在進行哪種操作。但是，在此沒有說明的具體處理、例如從三維照相機的圖像中如何確定位置、形狀或者操作者的一部分是否經(jīng)過了虛擬操作面的判斷處理等本實施方式的安裝時所需的處理，使用本技術領域中公知的任意方法都能夠完成。(操作輸入的輔助)如上述說明的那樣，僅使用三維攝像機來形成虛擬操作面，操作者就能夠在空間上識別觸摸面板那樣的操作面，通過對該操作面進行各種操作，能夠利用身體的全部或者一部分進行操作輸入，并且通過將操作者相對于虛擬操作面的影像顯示在顯示器111等來輔助操作輸入，由此能夠更容易地有效利用本實施方式的系統(tǒng)。圖17是表示將成為這種操作輸入的輔助的引導部顯示在顯示器111的一例的圖。 例如，在用指針指示顯示在顯示器111的中心部的圖像的某個部位的情況下，操作者與顯
11示虛擬操作面的圖像重疊地伸出手指從而能夠指示期望的位置，但是如圖17示出的指針 901那樣顯示這樣指示的樣子，由此操作者能夠一邊識別確認當前進行的操作，一邊執(zhí)行下一個操作。根據(jù)本例進行說明，例如，當從操作面伸出手指時顯示在畫面上，指針901縮回而消失或者濃淡變化來進行顯示，操作者能夠根據(jù)手的動作以及顯示在顯示器111中的指針的樣子，以自然的方式執(zhí)行本實施方式的輸入法。同樣地將以圖5以及圖6示出那樣的方式表示操作者本身的樣子的操作畫面902以縮小的方式顯示在顯示器111的右上角，從而能夠顯示出在系統(tǒng)中當前正在進行哪種動作、判斷為哪種操作，并且，表示將手的動作圖形化而得到的折線圖903，使操作者本身意識到手的前后動作是怎樣等，由此能夠期望得到更正確的操作。另外，雖然未圖示，但可以將能夠用于系統(tǒng)中的姿勢顯示在引導中，促使操作者效仿該姿勢進行操作輸入來進行輔助。(虛擬操作面的近前側的操作輔助)在本實施方式中，操作者以在空間上虛擬地形成的虛擬操作面為基準，以如同在此存在觸摸面板那樣的輸入設備的方式進行操作，由此來可靠地判斷其操作內容，但是在作為操作者的一部分的手或者手指等達到虛擬操作面之前，即在從操作者要執(zhí)行某種操作而開始活動手或者手指開始，直到按壓虛擬操作面為止的期間也進行操作輔助，由此能夠更容易、更高精度地進行操作輸入?；旧?，這種操作輔助的原理在于，操作者相對于虛擬操作面的部位、例如與手或者手指的位置的動作一致地，在顯示器111上可視地顯示操作者要進行哪種操作，由此能夠引導操作者來進行正確的操作輸入。參照圖18以及圖19說明這一點，在本實施方式中，在預先由操作者在固定的站立位置上進行操作的情況下而預先設定的、適合于在該站立位置對虛擬操作面進行操作的位置、或者與操作者的站立位置相配合的適當位置來形成虛擬操作面701。同樣地，如圖18所示，設定操作者820的適當?shù)牟僮鲄^(qū)域821。如上所述，在顯示器111中通過各種方式來表示當前正要進行哪種操作，由此使操作者能夠識別自己的操作。參照圖19說明這種方式之一，在操作者要對系統(tǒng)進行某種操作的情況下，在本例中將手臂MOl相對于顯示器111前后進行活動，由此手或者手指601的位置發(fā)生變化，因此當其樣子顯示在顯示器111中時，當伸出的手指601到達固定位置時，此時執(zhí)行在顯示器 111的畫面上指示的項目等從而系統(tǒng)進行固定處理。在圖19的例子中，由于手指601相對于虛擬操作面701的位置(深度)不同而圖標的大小發(fā)生變化，手指601越接近虛擬操作面則圖標越小，能夠使操作者識別通過自己的操作聚焦到固定的位置的情況。并且，在圖標變得最小的位置，確定操作而執(zhí)行與此相應的處理。圖20是表示以上操作的結果是圖標在顯示器111的畫面2501上如何發(fā)生變化的圖。參照圖20，假設在顯示器111的畫面2501中例如顯示電視節(jié)目表，要進行與某一節(jié)目有關的操作。在這種狀態(tài)下，例如在操作者要選擇“設定變更”的菜單按鈕的情況下，操作者如上述那樣要向顯示器111伸出手指601而進行選擇。在本實施方式中，當手指601相對于虛擬操作面接近到固定距離時，在畫面2501中顯示圖標2503。手指的位置還較遠，因此該圖標顯示圖19示出的圖標中的位于右側的比較大的圖標。當操作者進一步伸出手臂MOl 時，該圖標在接近作為目標的選擇項目“設定變更”的同時變小，在固定大小的圖標2502時成為特別的圖標，當手指橫穿虛擬操作面時判斷為選擇了指示位置的項目。
這樣，在圖20的例子中，根據(jù)手指601的位置使顯示在畫面2501中的圖標的大小發(fā)生變化，由此操作者能夠掌握自己的動作在系統(tǒng)中是如何被識別的，直觀地識別虛擬操作面的位置，從而能夠進行菜單的選擇等操作。在此，與操作者的整體圖像同樣地能夠通過使用三維照相機來提取包括手指601、手臂MOl的操作者整體以及各部位的位置、大小。由此，能夠掌握畫面內的物體的進深等，因此能夠根據(jù)這些信息來算出與虛擬操作面之間的距離、位置關系。但是，本實施方式中使用的三維照相機、位置的提取、距離的計算等能夠使用在本技術領域中公知的任意方法，因此，在此省略其說明。在此，顯示在畫面上的圖標呈圓形且大小與操作者的動作一致地發(fā)生變化，但是并不限定于此，能夠如圖21示出的那樣使用各種方式的圖標并使其發(fā)生各種變化。即，參照圖21，(1)是手指的方式的圖標，與上述圖20的例子同樣地，越接近虛擬操作面則越小。 (2)表示圓形且逐漸變小但是當輸入或者選擇被確定時變化為特別的形狀來表示被確定的情況。在該圖標、其它圖標的情況下，還能夠代替形狀、大小的變化，或者與形狀、大小的變化相配合地使圖標的顏色發(fā)生變化。例如，以藍色、綠色、黃色、紅色等使得從冷色系變化為暖色系，由此操作者能夠直觀地識別操作被聚焦而被確定的情況。( 是X那樣的形狀，在位于遠處的情況下，不僅大并且變得模糊，隨著接近而圖標的大小變小，并且模糊消失而形成明顯的形狀。(4)是圖標整體的大小不變化，成為描繪在其中的圖形產(chǎn)生形狀變化并被聚焦的樣子來進行識別。在這種情況下，也能夠使圖形的顏色發(fā)生變化。圖21示出的(5)也是使形狀發(fā)生變化的情況。在圖21中，還能夠與手指的動作相應地使圖標的形狀、顏色等發(fā)生變化，當超過虛擬操作面時如欄沈01所示那樣瞬間變化為各種形狀、顏色或者閃爍而使操作者識別判斷為操作的情況。另外，雖然未圖示，但作為其它圖標的變化，最初透明而手指越接近虛擬操作面則越變?yōu)椴煌该鬟@種變化也是有效的。在此，在圖標的變化中不怎么使形狀特別發(fā)生變化而使顏色、濃度發(fā)生變化的情況下，如圖22所示，當不怎么使圖標移動而使手指601接近時，顏色變?yōu)榕祷蛘咦儩猓?從而能夠確定輸入。另外，在以上例子中，為了確認操作的判斷狀況，顯示圖標，根據(jù)操作者的動作使顏色、形狀發(fā)生變化，但是，例如圖23、圖M所示，在本來如菜單那樣預先將指示的位置固定的情況下，即使不特意顯示圖標，也根據(jù)手指601所指示的位置與菜單的哪個項目按鈕最接近來決定，通過使對根據(jù)手指601的動作、特別是相對于虛擬操作面的距離來指示的項目按鈕填充的顏色或者填充濃度發(fā)生變化，來識別虛擬操作面的位置，從而能夠容易地進行操作輸入。圖23是表示隨著接近手指601而使所選擇的該按鈕的顏色從冷色系變化為暖色系的例子的圖。作為本例的顏色的選擇，例如設為⑵藍色、(3)綠色、(4)黃色、(5) 紅色時，操作者能夠直觀地識別出當成為紅色時被確定。同樣地，圖M是表示使按鈕的填充濃度發(fā)生變化的例子的圖。作為同樣的菜單的選擇例，還存在圖沈示出的一例，在此進行說明，例如當圖19 的手指601進入到虛擬操作面701的近前的固定區(qū)域時，在畫面上顯示菜單4301，當該手指601進一步接近虛擬操作面701時，在圖沈示出的菜單的例如項目4302上顯示大圖標沈10。之后，當手指601到達虛擬操作面701時，項目4302的選擇被確定而顯示小圖標 2611，通知該情況。之后，還能夠當通過使手指601左右上下移動來使菜單的選擇項目進行移動并在期望的項目上靜止固定時間時，進行與所選擇的項目相應的處理。另外，還能夠當在執(zhí)行選擇之前手指601向虛擬操作面701近前的固定區(qū)域的后方移動時消除菜單。在圖 31中，也與圖沈同樣地，當手指601進入到虛擬操作面701近前的固定區(qū)域時，顯示菜單， 但是，在此為視頻影像控制的例子。在本例中，也與圖沈示出的例子同樣地，能夠使用大圖標3110和小圖標3111來進行菜單操作。并且，參照圖25說明其它輸入操作的例子。圖25是表示通過本實施方式而輸入使顯示在畫面中的圖形進行移動的指示的一例的顯示畫面的圖。通過使操作者的手或者手指與虛擬操作面接觸而進行移動來進行指示。首先，示出當使手指等接近畫面時使圖標從畫面4211的圖標4201縮小為畫面4212的圖標4202而接近虛擬操作面的情況。之后，當接觸虛擬操作面時，如畫面4213的圖標4203那樣使顏色發(fā)生變化來放置，當在這種狀態(tài)下向上移動手指等時顯示畫面4214的橡皮筋4204等來表示移動方向，由此操作者能夠確認自己的操作。另外，當向右方向移動手指時，能夠顯示畫面4215的橡皮筋4205。這樣，顯示根據(jù)手指等到達虛擬操作面之后的上下左右的拖拽距離而伸縮的橡皮筋(在圖25中箭頭)(在手指移出虛擬操作面之前圖標4203的位置是固定的)，能夠根據(jù)伸縮距離使移動速度發(fā)生變化，并根據(jù)伸展角度使得在3D空間內進行移動的方向發(fā)生變化(箭頭前端跟隨手臂、手指等的動作)。以上，關于圖18示出的操作者與顯示器大致處于相同高度的、即虛擬操作面與操作者的水平方向前面大致垂直地形成的情況，說明了本實施方式的原理，但是該原理不受到這種操作者與顯示器之間的位置關系、形狀的影響，而能夠具有各種配置、結構。例如， 還能夠應用圖10至圖12示出的系統(tǒng)的配置。在這種情況下，三維照相機201也與顯示器 111 一起傾斜，因此基本上與上述配置在水平位置的情況沒有很大差異，但是假設為將照相機設置于其它位置，通過本技術領域中公知的任意方法來進行位置校正等，由此也能夠計算出操作者的部位與虛擬操作面之間的位置關系，從而判斷操作。(虛擬操作面的深側的操作-虛擬操作層)在本實施方式中，操作者以在空間上虛擬地形成的虛擬操作面為基準，以如同在此存在觸摸面板那樣的輸入設備的方式進行操作，由此來可靠地判斷其操作內容，根據(jù)向相對于虛擬操作面的深側方向、即從操作者離開的方向的虛擬操作面與操作者的手等身體的一部分或者穿戴在身體上的物體的位置關系，來決定這樣判斷的操作的內容。例如，在從操作者離開的方向即ζ軸方向上設定兩層或者三層的操作區(qū)域作為虛擬操作層，根據(jù)操作者的手進入到哪一層來決定操作的種類，根據(jù)該層內的手的動作來決定操作內容。此時，如果在操作者視覺識別的顯示畫面上顯示手的位置、操作的種類等，則操作者能夠更容易地進行操作的識別。此外能夠通過算出上述形成的虛擬操作面與操作者的一部分之間的距離的方法來獲取操作者的一部分與分割各層的面之間的ζ方向的距離。更具體地進行說明，圖27示出的觸發(fā)面701是本實施方式的虛擬操作面，當利用上述實施方式中的任一個而手指601從觸發(fā)面701向ζ軸方向進入時，判斷為進行了操作。 并且，通過面4501和4502將觸發(fā)面701前面的操作區(qū)域分割成層A至C這三層，從而分配分別不同的操作的種類。在圖27的例子中，對層A分配對象的旋轉操作，對層B分配放大縮小的操作，對層C分配對象的移動操作。在各層中，通過移動手指601來執(zhí)行所決定的操作。例如，在層A中，在手指601通過觸發(fā)面701時表示手指601的圖標、例如以旋轉圖標 4503所示的位置為中心而指定的對象與手指601的動作相配合地旋轉。在層B中，例如能夠在顯示器111中顯示放大縮小圖標4504，當將手指601向ζ方向移動時對象被放大，當向相反方向移動時對象縮小。同樣地，在層C中能夠在顯示器111中顯示的指定的對象上的手指601的位置處顯示移動圖標4505，并與手指601的動作相配合地移動。在此，能夠將分割層間的面4501 和4502配置成各層形成相同的厚度，還能夠將分割層間的面4501和4502配置成根據(jù)分配給層的操作種類不同而層的厚度不同。例如在圖27的例子中，在層B中被分配放大縮小的操作，但是必須通過前后的移動來表現(xiàn)放大縮小，因此與層Α、層C相比，通常ζ方向的移動大，因此還能夠使層B更厚來易于進行操作。圖洲是表示本實施方式的其它圖標的例子的圖。在圖觀示出的例子中，對層A分配確定顯示器111上的操作位置的操作，對層B分配對所確定的位置上的對象進行“捕捉” 的操作，對層C分配將捕捉到的對象拋出或者移動的操作。如上所述，在對通過虛擬操作面被判斷為操作后的操作內容進行判斷時，不僅通過手指、手的動作，還能夠根據(jù)其ζ方向的位置、即虛擬操作層來確定操作的種類，因此在手指、手的動作中準備多個各種姿勢圖案，并且用戶需要掌握這些，與此相比，能夠僅通過簡單的動作來分別使用復雜的操作。此外，在上述、特別是圖27示出的例子中，配置了在各層間能夠連續(xù)地進行手、手指等的一系列動作的操作，但在無法連續(xù)地進行操作的配置的情況下(圖觀示出的例子)， 以下兩個點成為問題。即，(1)在到達作為目標的虛擬操作層之前通過其它層，而施加了操作者不需要的指示；以及(2)在結束目的操作而將手從操作區(qū)域抽出的情況下，通過其它虛擬操作層，而施加了操作者不需要的指示。為了避免上述問題，例如考慮以下方法等。即， 將與操作的手相反的手插入到操作區(qū)域內的多傳感狀態(tài)(例如，在用右手進行操作的情況下，將左手放入到操作區(qū)域內的狀態(tài))設定為無操作(或者其相反的有操作)的狀態(tài)，根據(jù)與操作的手相反的手的抽出和放入來判斷是否進行各層的操作(在本例中通過兩手操作， 但是也可以考慮在XY平面上設置抽出用區(qū)域等各種方法)。以上，當使用本實施方式時，操作者不需要預先記住或者決定姿勢，就能夠通過其動作來進行系統(tǒng)的操作，除此以外，可以知道操作者的姿勢、各部例如手的動作，因此還可以用于使用了全身的游戲中，從而實現(xiàn)復合現(xiàn)實感(Ml )。(第二實施方式)本實施方式除了操作面形成基準以外基本上與上述第一實施方式的系統(tǒng)結構相同。即，在本實施方式中，根據(jù)第一實施方式的系統(tǒng)以及處理，通過導入圖14所示那樣還能夠使操作者感知的固定的標記101那樣的被稱為操作面形成基準的概念，操作者將其作為標記而更容易識別虛擬操作面。即，圖14等示出的標記101是操作者102用于識別虛擬操作面的操作面形成基準，如圖16所示，用戶102捕捉顯示在地板上的標記101的上方虛擬地存在的操作面701來進行各種操作，能夠以標記101為基準將手601伸向前方來表示姿勢。還能夠將標記101的橫向寬度設為操作面的寬度。另外，還能夠使用輔助標記等來劃分標記101的前后，或者使用輔助標記來確定操作區(qū)域，或者作為三維角度(perspective) 計算要素，形狀、方向也是自由的，還可以表示適合于測量的區(qū)域。在這種具備標記101的操作輸入系統(tǒng)中，如圖16所示，在標記101的上部虛擬地形成操作面701，操作者102根據(jù)標記101設想虛擬的操作面701而伸出手601，或者與顯示器111連動地移動手601而在觸摸面板上選定畫面上的一部分和操作面701并進行觸摸， 由此能夠容易地進行輸入操作。另外，在操作區(qū)域中用戶作任意姿勢之后，通過線段式的向前方按壓(決定)的行為來決定動作，或者設定為在決定操作之后按壓這樣的判斷基準，因此用戶易于識別，操作性接近以往的觸摸面板操作。在本實施方式中，參照圖16等，虛擬操作面被表示為在標記的正上方垂直地形成，但是在圖9至圖11示出的系統(tǒng)的配置的情況下，例如可以是只有虛擬操作面的底邊與操作面形成基準相配合而虛擬操作面整體傾斜，或者使所形成的位置與身高相配合地改變位置。在這種情況下，例如，首先根據(jù)標記101來算出固定的操作面，之后根據(jù)操作者的圖像來進行校正，由此調整為在適當?shù)奈恢眯纬商摂M操作面。或者，根據(jù)測量出的標記101的位置以及預先設定的顯示器111和照相機201的位置來算出操作面，并且能夠從操作者的圖像中提取身高、臂長等，添加這些信息來校正虛擬操作面的位置、大小以及角度等。另外，作為操作面形成基準的標記是能夠視覺識別的，操作者視覺識別標記而將其作為基準，大致估計虛擬操作面所存在的位置而進行操作。因而，虛擬操作面需要形成于標記的上方，但是從操作者來看，前后的位置關系有可能根據(jù)操作者、系統(tǒng)整體的狀況而發(fā)生變化。通常，如圖四所示，例如在地板等上配置標記4401的情況等下，根據(jù)操作者102 的眼睛的位置進行設置時，考慮到站立在接近標記4401的正上方的位置的情況較多，因此在相對于標記4401而與操作者102相反的相反側稍微離開的位置4402處形成虛擬操作面 701，這是考慮到為手臂提供充裕的動作空間而使其能夠自然地進行操作。另一方面，如后所述，在圖15示出的桌子的邊上粘貼標記1902的情況下，通過粘貼了標記的相反側的邊來限制操作者的動作、即在該邊的前面無法使身體接近操作面，因此能夠適當?shù)剡x定桌子的寬度使得容易進行操作。在這種情況下，考慮到虛擬操作面形成于標記的正上方能夠使操作者更容易識別虛擬操作面。在第一實施方式中，測量操作者的臂長來設定這種前后的位置，但是如果采用操作者能夠感知的標記則也能夠客觀地形成操作面。這樣，在上述第一實施方式中考慮手臂的行程來設定包括虛擬操作面的操作區(qū)域，但是通過對標記進行各種各樣的組合，能夠更客觀地、即能夠以任意操作者都能用眼睛觀察并以固定的精確度進行識別的方式來確定操作區(qū)域。并且，作為本實施方式的操作面形成基準，能夠在捕捉到的畫面上大范圍、適當且同時分散配置測量標記，因此能夠進行可靠性非常高的測量。另外，除了這種效果之外，還能夠與保證標記始終處于照相機的攝影范圍內的情況的校準系統(tǒng)一起使用，從而能夠實現(xiàn)節(jié)省空間、多功能的裝置，基本上在初始設置的校準之后，不需要每次再次進行測量。如上所述那樣，標記101被攝像機201拍攝而成為操作面形成基準，為了使之更容易，標記材料能夠使用本技術領域中公知的各種材料。但是，通常根據(jù)所使用的照相機選擇適當?shù)牟牧?。例如，通常在照相機的情況下，需要從背景顏色突出的有特征的著色法，在使用紅外線照相機的情況下，能夠使用回射材料等。另一方面，激光在黑色部分等反射較小的顏色、材料的情況下不容易測量反射光，因此通過激光不使用標記、回射材料等而使用黑色條等，由此激光照射的部分不反射而畫面上產(chǎn)生缺損，因此這樣也能夠檢測條的位置。例如，在通過固定的著色法來附加標記的情況下，具體地說，能夠如以下那樣進行處理而提取標記。在圖像讀取部301中讀取由攝像機201拍攝得到的數(shù)據(jù)，從該數(shù)據(jù)中提取標記101的圖像，例如在彩色圖像的情況下，由圖像提取部302選出被預先決定為標記的顏色區(qū)域而僅提取標記101的圖像。具體地說，在本實施方式中，對彩色NTSC信號的亮度信號Y與色差信號U、V各自中設定上下閾值而提取滿足全部閾值的像素，但是并不限定于此，還能夠使用本技術領域中公知的任意方法。這樣，三維地掌握標記101的位置，算出虛擬的操作面成為什么樣的操作面并存儲到數(shù)據(jù)庫。當彩色提取結束時，并且在存在輔助標記的情況下也進行同樣的處理來提取輔助標記之后，通過圖像位置計算部303對提取出的標記部分進行黑白二值化，算出構成從攝像機201拍攝得到的圖像中提取出的標記的縱橫的邊的像素數(shù)。將獲取到的圖像的縱橫的邊長度、傾斜，與成為基準的圖像進行比較來算出攝像空間的傾斜、刻度。在本實施方式中，在算出傾斜、刻度的情況下，還能夠至少在四點以上的部位設置標記而設為基準。例如，如果存在四點以上的基準點則將這些基準點進行連結而設為線段，從而能夠進行校準。如上所述那樣，能夠將適當?shù)牟牧险迟N到地板上來作為標記使用，但是并不限定于此，能夠直接涂敷到地板上或者使用本技術領域中公知的任意的附著方法。另外，在上述說明中，作為操作面形成基準使用標記101，但是并不限定于此，能夠將任意的部件、結構用于立體測量基準。例如，標記不僅是圖1示出的形狀，還能夠設為各種形狀的圖形，也可以在多個點上設置多個具有固定面積的標記。另外，作為操作面形成基準，還能夠在立體物、例如圖15示出的桌子狀的立體物 1901上附加標記1902、1903而設為操作面形成基準由此形成虛擬操作面701，例如使用手指601對該虛擬操作面701進行操作，由此能夠進行輸入操作。此外，當參照圖16時，虛擬操作面的形狀形成為從地板起垂直地豎立的長方形，但是并不限定于此，能夠根據(jù)標記101 的形狀、配置方法來形成各種形狀、大小的操作面。例如圖16示出的標記101為與顯示器 111的面平行的固定長度的直線，因此虛擬的操作面變?yōu)椴僮髅?01的形狀，但是還能夠將標記設為傾斜地形成固定角度的直線，在這種情況下，形狀與圖16示出的操作面701相同， 但是形成為方向是與顯示器111形成固定角度而傾斜地放置的標記。在這種情況下，操作者102也能夠捕捉到通過將標記傾斜地配置而虛擬地形成的操作面，因此意識到該操作面而進行操作即可。另外，立體地配置輔助標記，還能夠設為相對于地板也形成固定角度的斜面的操作面或者設為曲面的操作面。此外，在本實施方式中說明了以根據(jù)標記等形成的虛擬操作面為基準進行處理，但是本技術領域人員能夠理解到，在實際的計算處理中，也可以根據(jù)操作面來算出操作者的位置。這是由于，始終是由操作者意識到虛擬的操作面而進行操作輸入。另外，在使用圖15示出的帶標記的放置臺的情況下，后述的圖18所示，例如使用標記1903僅將操作者102的上半身作為對象區(qū)域2301，還能夠僅將從虛擬操作面701向前面伸出的部分的動作判斷為操作。通過設為這種結構，在操作者將圖15示出的放置臺設為身體的支承而進行輸入操作的情況下，即使下半身、特別是腳部從虛擬操作面向前伸出，也能夠始終僅將上半身的動作識別為操作。在使用操作面形成基準來形成虛擬操作面等的情況下，還能夠在通過立體標記進行測量而設定基準面和測量區(qū)域之后除去立體標記，事后在地板上僅設置線等標記，以使得可判斷所生成的基準面。例如，在無法設立立體引導桿等的狹窄空間等不合適始終設置立體標記的環(huán)境中，這種虛擬操作面的形成方法較有效。另外，在地板平面校準圖案的情況下，盡管會由于3D照相機的設置角度不同而比立體校準更難測量、或者在利用地板時會難以選擇具備良好的適應性(耐磨損、滑動防止等)的材料，但是替換為無校準機的簡單的地板校準會更容易實施。另外，與上述同樣地進行測量之后，替換為不具有校準功能(標記) 的立體引導。替換為重視設計或廉價的的類型會較有效，用戶仍然能夠視覺識別。上述任意方法都成為在進行校準后用戶能夠視覺識別其位置而替換為與移動限制有關的其它單元(立體或者平面)的方法。并且，不限于僅以照相機側進行校準方法，而可以預先將基準面設定在易于使用的距離、位置，之后，在該面(區(qū)域)上事后設置地板面或者立體弓I導，使得用戶側能夠進行識別。在此，參照圖四說明本實施方式中的標記與虛擬操作面之間的關系。在本實施方式中，基本上在桌子、臺等的邊上附加標記而操作者對形成于標記的上方的虛擬操作面進行接觸或者移動手來使系統(tǒng)識別作為輸入操作的情況。此時，桌子、臺的沒有附加標記的邊限制操作者的動作，適度地輔助舉起的手自然地接觸虛擬操作面。當參照圖四說明該概念時，在作為操作面形成單元的標記4402的上方形成虛擬操作面701，但是，另一方面，通過任意的動作限制單元4401使操作者102與虛擬操作面保持固定距離，由此能夠使操作者 102通過自然向前伸出的手601對虛擬操作面進行操作。在本實施方式中，虛擬操作面701 形成于標記4402的正上方，但是第一實施方式說明那樣還能夠以標記4402為基準進行前后移動。例如，動作限制單元4401基本上是固定的，因此當根據(jù)操作者102的體形在標記 4402的正上方形成虛擬操作面時，有可能會變得過近或者過遠而導致使用感變差，在這種情況下，能夠按照每個操作者而根據(jù)標記4402使形成虛擬操作面的位置前后移動。以上，在本實施方式中，根據(jù)使用三維照相機對操作者能夠感知的操作面形成基準和操作者本身進行拍攝得到的圖像來形成虛擬操作面，因此易于客觀地確定虛擬操作面的位置，也結合考慮操作者的身高等，因此操作者能夠得到?jīng)]有不適感的自然操作感覺。(第三實施方式)本實施方式基本上與上述第一和第二實施方式的系統(tǒng)結構相同，代替顯示器作為顯示用而使用投影儀這一點與上述第一和第二實施方式不同。即，在本實施方式中，其處理與上述第一和第二實施方式基本相同，但是代替IXD、等離子等顯示器111，而如圖30所示那樣將影像從投影儀3011投影到屏幕3010，由此對操作者通知各種信息。在本實施方式的系統(tǒng)中，在第一實施方式等中配置了 IXD等的顯示面上僅配置有屏幕，因此如圖30所示那樣能夠將投影影像的投影儀3011、照相機201以及對它們進行控制的計算機設為一體型。這種一體型的系統(tǒng)通常放置在操作者與屏幕之間，因此例如圖示那樣，為了識別進入禁止區(qū)域，放置有引導桿3012，還能夠將該引導桿3012借用于第二實施方式那樣的操作面形成基準。在本實施方式中，僅顯示方法與第一實施方式不同，顯示面本身差別不大，因此虛擬操作面和操作區(qū)域的設定以及操作的判斷處理等基本上與第一和第二實施方式相同。 但是，如上所述，投影儀、照相機以及計算機形成一體型，被配置在操作者與顯示面(屏幕 3010)之間，因此照相機201的位置有些不同，與照相機被設置于顯示面的下部等的第一實施方式等的情況相比，操作區(qū)域等的角度的調整幅度變大。另外，引導桿3012與虛擬操作面701之間的位置關系與第二實施方式所說明的情況不同，并不限定于在引導桿3012的正上方形成虛擬操作面701。這是由于，例如當操作者感知到在地板上有意識地描繪有如圖 14所示的固定的標記101時，與兼用于進入防止的本實施方式的導桿3012作為操作面形成
18基準的作用相同，但是形成虛擬操作面的位置根據(jù)與操作者之間的位置關系、與操作者之間的關系不同而不同。能夠使用本技術領域中公知的任意知識，根據(jù)系統(tǒng)以導桿3012為基準在遠端側或者近前側形成虛擬操作面。 以上，在本實施方式中，通過將投影儀用于顯示用，能夠將投影儀、照相機以及計算機設為一體型，因此設置、處理變得容易，并且在畫面為大型的情況下，與使用大型IXD 相比，其對設置容易性、費用更為有利。
權利要求
1.一種圖像識別裝置，其特征在于，具備三維攝像單元，其獲取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成單元，其根據(jù)由上述三維攝像單元獲取到的操作者的圖像，形成虛擬操作面；操作判斷單元，其利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出單元，當被判斷為上述動作是操作時，該信號輸出單元輸出規(guī)定的信號。
2.根據(jù)權利要求1所述的圖像識別裝置，其特征在于，上述操作判斷單元在上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置時判斷為上述動作是操作。
3.根據(jù)權利要求1或2所述的圖像識別裝置，其特征在于，上述操作判斷單元根據(jù)上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置的部分的形狀或者動作來判斷正在進行哪種操作。
4.根據(jù)權利要求3所述的圖像識別裝置，其特征在于，上述操作判斷單元在預先保存有與操作者的一部分的形狀或者動作相對應的操作內容的存儲單元中進行搜索，將與匹配的形狀或者動作相對應的操作判斷為所輸入的操作。
5.根據(jù)權利要求1 4中的任一項所述的圖像識別裝置，其特征在于，還具備以面向操作者的方式配置的圖像顯示單元，上述操作判斷單元以使操作者能夠識別操作的判斷結果的方式，使當前時刻的操作判斷結果顯示于上述圖像顯示單元。
6.根據(jù)權利要求1 4中的任一項所述的圖像識別裝置，其特征在于，還具備以面向操作者的方式配置的圖像顯示單元，當上述虛擬操作層的區(qū)域內讀取到上述操作者的動作時，在上述圖像顯示單元中顯示預先分配給該虛擬操作層的標識。
7.根據(jù)權利要求1 4中的任一項所述的圖像識別裝置，其特征在于，還具備能夠由上述操作者進行視覺觀察的圖像顯示單元，該圖像顯示單元根據(jù)相對于由上述操作面形成單元形成的虛擬操作面在上述三維攝像單元的相反側的上述操作者的一部分與上述虛擬操作面之間的位置關系計算出相應的距離，顯示與該距離相應地發(fā)生變化的標識，從而顯示要判斷的操作。
8.根據(jù)權利要求7所述的圖像識別裝置，其特征在于，在上述操作者的一部分位于比上述虛擬操作面更靠上述三維攝像單元側的位置時，上述圖像顯示單元停止該標識的變化而顯示判斷的操作。
9.根據(jù)權利要求1 8中的任一項所述的圖像識別裝置，其特征在于，還具備操作內容決定單元，當在根據(jù)與上述虛擬操作面之間的位置關系而確定的兩個以上的虛擬操作層中的任一個虛擬操作層的區(qū)域內讀取到上述操作者的動作時，該操作內容決定單元根據(jù)預先分配給該虛擬操作層的操作種類以及操作者在該虛擬操作層內的動作來決定上述操作的內容。
10.根據(jù)權利要求1 9中的任一項所述的圖像識別裝置，其特征在于，上述操作面形成單元在與上述操作者的上半身的位置信息相應的位置處形成上述虛擬操作面。
11.根據(jù)權利要求1 10中的任一項所述的圖像識別裝置，其特征在于，上述操作面形成單元根據(jù)上述圖像顯示單元的位置來調整上述虛擬操作面的位置和角度。
12.—種操作判斷方法，用于通過圖像識別裝置來識別操作者的圖像并判斷操作內容， 該操作判斷方法的特征在于，具備以下步驟三維攝像步驟，讀取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成步驟，根據(jù)由上述三維攝像單元讀取到的操作者的圖像，形成虛擬操作面；操作判斷步驟，利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出步驟，當被判斷為上述動作是操作時，輸出規(guī)定的信號。
13.一種程序，執(zhí)行使圖像識別裝置識別操作者的圖像并判斷操作內容的操作判斷方法，該程序的特征在于，該操作判斷方法具備以下步驟三維攝像步驟，讀取操作者的圖像來生成立體圖像數(shù)據(jù)；操作面形成步驟，根據(jù)由上述三維攝像單元讀取到的操作者的圖像，形成虛擬操作面；操作判斷步驟，利用上述三維攝像單元來讀取操作者的至少一部分的圖像相對于所形成的該虛擬操作面的動作，根據(jù)上述操作者的一部分與上述虛擬操作面之間的位置關系來判斷該動作是否為操作；以及信號輸出步驟，當被判斷為上述動作是操作時，輸出規(guī)定的信號。
全文摘要
本發(fā)明提供一種圖像識別裝置、操作判斷方法以及程序，能夠準確地判斷操作。在圖像讀取部(301)中讀取由攝像機(201)拍攝得到的數(shù)據(jù)(S401)，使用圖像提取部(302)從該數(shù)據(jù)中提取操作者的圖像(S402)。根據(jù)提取出的操作者(102)的圖像來形成虛擬操作面和操作區(qū)域(S403)。針對成人操作者(810)根據(jù)身高即視線的位置、臂長來形成操作區(qū)域(811)，在兒童操作者(820)的情況下，考慮身高變矮且手臂也變短，由此能夠相應地設定操作區(qū)域(821)。
文檔編號G06F3/038GK102473041SQ20108003569
公開日2012年5月23日 申請日期2010年8月12日 優(yōu)先權日2009年8月12日
發(fā)明者泉賢二 申請人:島根縣