本發(fā)明涉及計算機應(yīng)用領(lǐng)域，尤其涉及一種人機交互自適應(yīng)調(diào)整方法以及系統(tǒng)。

背景技術(shù)：

利用深度相機(3d相機)可以獲取人體的深度圖像，進一步利用深度圖像可以識別出人體姿勢或動作從而實現(xiàn)人機交互。比如目前比較常見的設(shè)備中，將深度相機(比如kinect，astra等)與主機設(shè)備(如游戲主機、智能電視等)相連，當(dāng)人體對象處在深度相機的可測范圍內(nèi)，由深度相機獲取含人體的深度圖像，將深度圖像傳輸?shù)街鳈C設(shè)備中，通過處理器對深度圖像進行人體姿勢或動作(如手勢等)識別后，將識別到的手勢與預(yù)設(shè)的主機指令對應(yīng)后觸發(fā)該指令以實現(xiàn)體感交互。

當(dāng)用戶在進行體感交互時，理想的狀況是在有足夠大的交互空間，該空間需要盡可能的覆蓋深度相機的測量區(qū)域，比如對于測量范圍在1～4m、橫向fov為60°的深度相機而言，交互空間要盡可能地覆蓋該扇形測量區(qū)域。然而實際情形中交互空間常常受限，比如用戶客廳范圍有限、交互空間中有其他物體阻礙等等，在此情形下，用戶的體感難以覆蓋整個深度相機測量區(qū)域以至于降低用戶的體感交互體驗。

已有的解決方案中，往往需要用戶在進行體感交互前對當(dāng)前的交互區(qū)域進行把握，然后對深度相機進行相應(yīng)的調(diào)整；另外在進行具體的體感應(yīng)用時，需要一個對用戶進行激活的指令，該激活指令要求用戶站在深度相機測量區(qū)域的中心位置以被更好的識別，通過此類的方法來盡可能提升后續(xù)體感交互的用戶體驗。然而這些方法均不夠智能，用戶體驗較差。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中人機交互方案在交互空間受限時，用戶的體感難以覆蓋整個深度相機測量區(qū)域，以至于用戶的體感交互體驗較差的問題，提出一種人機交互自適應(yīng)調(diào)整方法及系統(tǒng)。

本發(fā)明的人機交互自適應(yīng)調(diào)整方法，包括以下步驟：

s1：獲取當(dāng)前目標(biāo)區(qū)域的深度圖像；

s2：根據(jù)所述深度圖像識別出交互對象以及交互區(qū)域；

s3：根據(jù)所述交互對象以及所述交互區(qū)域來確定虛擬操控空間屬性。

優(yōu)選地，所述交互區(qū)域小于所述目標(biāo)區(qū)域。

優(yōu)選地，所述步驟s2還包括以下步驟：

s21：利用所述深度圖像識別出交互對象；

s22：對所述深度圖像進行平面檢測；

s23：識別出含有交互對象的平面區(qū)域，將該區(qū)域作為交互區(qū)域。

優(yōu)選地，所述步驟s3中確定虛擬操控空間屬性包括：根據(jù)所述交互對象在所述交互區(qū)域中的相對位置，確定所述虛擬操控空間中虛擬操控對象的位置。

優(yōu)選地，所述步驟s3中確定虛擬操控空間屬性包括：根據(jù)所述交互區(qū)域?qū)τ谒鎏摂M操控空間的相對位置及相對大小，確定所述虛擬操控空間中所述虛擬操控對象與所述交互對象的映射關(guān)系。

優(yōu)選地，所述映射關(guān)系包括所述虛擬操控對象與所述交互對象的移動速度之間的映射關(guān)系；

優(yōu)選地，所述映射關(guān)系包括所述虛擬操控對象與所述交互對象的大小之間的映射關(guān)系。

本發(fā)明還提出一種人機交互自適應(yīng)調(diào)整系統(tǒng)，包括存儲器，用于存放程序；處理器，運行所述程序，以用于控制所述人機交互自適應(yīng)調(diào)整系統(tǒng)執(zhí)行上述的人機交互自適應(yīng)調(diào)整方法。

優(yōu)選地，所述系統(tǒng)還包括深度相機和計算設(shè)備，所述深度相機用于獲取當(dāng)前目標(biāo)區(qū)域的深度圖像；所述計算設(shè)備與所述深度相機相連，計算設(shè)備中包含所述處理器。

本發(fā)明還提出一種包含計算機程序的計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行上述的人機交互自適應(yīng)調(diào)整方法。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果有：

本發(fā)明提供了一種人機交互自適應(yīng)調(diào)整方法及系統(tǒng)，利用對深度相機獲取的深度圖像進一步處理后，識別出交互對象以及與深度相機測量區(qū)域不同的交互區(qū)域，進一步根據(jù)交互對象和交互區(qū)域來確定虛擬操控空間屬性，對虛擬操控對象在虛擬操控空間中的位置，以及虛擬操控對象的大小和/或移動速度進行適當(dāng)?shù)恼{(diào)整，以滿足用戶在交互空間受限的情形下依然可以擁有較好的交互體驗。

附圖說明

圖1是本發(fā)明實施例1中人機交互的場景示意圖。

圖2是本發(fā)明實施例1中人機交互自適應(yīng)調(diào)整方法的總流程圖。

圖3是本發(fā)明實施例1中人機交互自適應(yīng)調(diào)整系統(tǒng)的結(jié)構(gòu)示意圖。

圖4是本發(fā)明實施例1中人機交互自適應(yīng)調(diào)整方法的步驟s2的子流程圖。

具體實施方式

下面結(jié)合具體實施例并對照附圖對本發(fā)明做進一步詳細說明。需要說明的是，以下的實施例并非是對本發(fā)明的限制。

實施例1

圖1是根據(jù)本發(fā)明實施例的用于人機交互的場景示意圖。用戶17處在含有一些家具如座椅16和沙發(fā)18的環(huán)境中，面對配備有深度相機12的電視11進行交互，這種人機交互方式也被稱為體感交互，即利用人體的姿勢或動作，比如利用手勢或手部動作來控制電視，或者利用手勢來與電視11中的應(yīng)用進行交互。深度相機12的視場為扇形，凡是在扇形區(qū)域中的物體均能被深度相機采集到，在本實施例中將該區(qū)域稱為目標(biāo)區(qū)域。圖1中深度相機12與電視11相連，深度相機12被用來獲取目標(biāo)區(qū)域的深度圖像。

目前深度相機主要有三種形式：基于雙目視覺的深度相機、基于結(jié)構(gòu)光的深度相機以及基于tof(時間飛行法)的深度相機。以下進行簡要說明，無論哪種形式都可以被用在實施例中。

基于雙目視覺的深度相機是利用雙目視覺技術(shù)，利用處在不同視角的兩個相機對同一空間進行拍照，兩個相機拍攝出的圖像中相同物體所在像素的差異與該物體所在的深度直接相關(guān)，因而通過圖像處理技術(shù)通過計算像素偏差來獲取深度信息。

基于結(jié)構(gòu)光的深度相機通過向目標(biāo)空間投射編碼結(jié)構(gòu)光圖案，再通過相機采集目標(biāo)空間含有結(jié)構(gòu)光圖案的圖像，然后將該圖像進行處理比如與參考結(jié)構(gòu)光圖像進行匹配計算等可以直接得到深度信息。

基于tof的深度相機通過向目標(biāo)空間發(fā)射激光脈沖，激光脈沖經(jīng)目標(biāo)反射后被接收單元接收后并記錄下激光脈沖的來回時間，通過該時間計算出目標(biāo)的深度信息。

這三種方法中第一種一般采集彩色相機，因而受光照影響大，同時獲取深度信息的計算量較大。后兩種一般利用紅外光，不受光照影響，同時計算量相對較小。在室內(nèi)環(huán)境中，使用結(jié)構(gòu)光或tof深度相機是更佳的選擇。

圖1中的電視11一般意義上為智能電視或數(shù)字電視，也可以是含有顯示器、處理器以及諸多接口的計算設(shè)備，目前大多數(shù)的智能電視運行android操作系統(tǒng)，也可以是windows、linux等操作系統(tǒng)。深度相機擁有usb等接口，用于與計算設(shè)備相連，還可以進行供電。圖1中深度相機12與電視11連接，將獲取到的深度圖像傳輸?shù)诫娨曋?，通過存儲在電視中的軟件對深度圖像進行處理，比如圖像去噪預(yù)處理、骨架提取等，進一步地將處理的結(jié)果變成相應(yīng)的指令來控制電視中的應(yīng)用程序，比如選中、翻頁等。

另外，在本實施例中，計算設(shè)備為電視機，在其他實施例中，計算設(shè)備也可以為含有顯示器、處理器以及諸多接口的電腦、平板、手機、游戲設(shè)備等，均屬于對本案的簡單變形或變換，落入本案的保護范圍。

深度相機12的視場在三維空間中可以近似看成是一個錐形(視錐體)，為了便于分析，僅分析二維平面的情形。在二維平面上(以水平平面為例)，深度相機12的視場為扇形，凡是在扇形區(qū)域中的物體均能被深度相機采集到，在本實施例中將該區(qū)域稱為目標(biāo)區(qū)域20，如圖1所示。圖1中用戶17(交互對象)處在目標(biāo)區(qū)域20中，此外，還有一些其他物體也會出現(xiàn)在目標(biāo)區(qū)域中，比如沙發(fā)18、坐椅16等。實際上用戶17在交互過程中會受到其他物體的阻礙，如圖1中所示，用戶的活動區(qū)域僅局限在左下角的一小部分，在這里將該部分的區(qū)域稱為交互區(qū)域19，交互區(qū)域19明顯要小于目標(biāo)區(qū)域20。

若當(dāng)前電視中運行了一個體感應(yīng)用程序(比如網(wǎng)球、乒乓球等)，用戶用身體來控制應(yīng)用程序中虛擬操控對象13或15的運動。在應(yīng)用程序，虛擬操控對象13或15也擁有其虛擬操控空間14(圖中陰影表示的網(wǎng)球場半場區(qū)域)，目前通用的做法有兩種：

一種方法是：虛擬操控空間14與深度相機的目標(biāo)區(qū)域20是對應(yīng)關(guān)系，即將目標(biāo)區(qū)域20的四個頂點分別與虛擬操控空間14的四個頂點相對應(yīng)，這種情形下當(dāng)前用戶17處在目標(biāo)區(qū)域20的中間位置，相應(yīng)的虛擬對象應(yīng)處在虛擬操控空間的中間位置，如圖中虛擬操控對象15所示的位置。然而，在這種設(shè)置下，由于圖1中的用戶17處在交互區(qū)域19的右側(cè)，并且用戶的活動區(qū)域僅局限于該交互區(qū)域中，因此，圖1中的用戶17將僅能實現(xiàn)將虛擬操控對象移動到左側(cè)，無法將其移動到右側(cè)。解決此類問題的方案在背景技術(shù)中有描述，即需要用戶自己把控來對深度相機進行調(diào)整，使得當(dāng)前用戶處在深度相機目標(biāo)區(qū)域的中心，這種解決方案并不智能，用戶體驗較差。

另一種方法是：無論用戶17處在目標(biāo)區(qū)域的何處位置，將虛擬操控對象13或15在虛擬操控空間14中選取一個默認的位置，比如球場邊緣的中間位置，即虛擬操控對象15所在的位置。在獲取包含用戶17的深度圖像中，通過識別用戶的左右前后移動來控制虛擬控制對象13或15的左右前后移動。同樣地，這種方法也會出現(xiàn)如前一種方法類似的問題。

以下將結(jié)合本系統(tǒng)的組成說明本發(fā)明的人機交互自適應(yīng)調(diào)整方法。

本發(fā)明的人機交互自適應(yīng)調(diào)整方法，如圖2所示，包括以下步驟：s1：獲取當(dāng)前目標(biāo)區(qū)域的深度圖像；s2：識別出交互對象以及交互區(qū)域；s3：確定虛擬操控空間屬性，其中，步驟s3中的虛擬操控空間屬性包括虛擬操控對象在虛擬操控空間中的位置，以及虛擬操控對象的大小和/或移動速度。

本實施例將結(jié)合人機交互自適應(yīng)調(diào)整系統(tǒng)的結(jié)構(gòu)組成，來說明本發(fā)明的人機交互自適應(yīng)調(diào)整方法。圖3所示的是本發(fā)明實施例中人機交互自適應(yīng)調(diào)整系統(tǒng)的結(jié)構(gòu)示意圖。系統(tǒng)由計算設(shè)備以及深度相機組成，其中計算設(shè)備包含處理器、存儲器2、接口單元2以及顯示器，顯示器也可以是獨立的設(shè)備通過接口與計算設(shè)備相連。深度相機中包含深度計算單元、存儲器1以及接口單元1，深度相機中還包含有圖像采集單元，對于結(jié)構(gòu)光深度相機以及tof深度相機，圖像采集單元包括光學(xué)投影儀以及圖像傳感器；而對于雙目深度相機，圖像采集單元包括兩個圖像傳感器。計算設(shè)備與深度相機之間通過接口單元連接，該接口單元可以為usb等有線連接，也可以為wifi等無線連接。

深度相機采集到目標(biāo)區(qū)域的圖像后，由深度計算單元計算出目標(biāo)區(qū)域的深度圖像，根據(jù)不同原理的深度相機，其計算方式也有區(qū)別，以結(jié)構(gòu)光深度相機為例。

結(jié)構(gòu)光深度相機中結(jié)構(gòu)光投影儀向空間中投影結(jié)構(gòu)光圖像，該圖像由圖像傳感器采集后傳給深度計算單元，由結(jié)構(gòu)光圖像計算深度圖像是基于結(jié)構(gòu)光三角法來實現(xiàn)的。以結(jié)構(gòu)光圖像為散斑圖像為例，預(yù)先需要對采集一幅已知深度平面上的結(jié)構(gòu)光圖像為參考圖像，然后深度計算單元利用當(dāng)前獲取的結(jié)構(gòu)光圖像與參考圖像，通過圖像匹配算法計算各個像素的偏離值δ(變形)，最后利用三角法原理可以計算出深度，計算公式如下：

其中，zd指三維空間點距離采集模組的深度值，即待求的深度數(shù)據(jù)，b是采集相機與結(jié)構(gòu)光投影儀之間的距離，z0為參考圖像離采集模組的深度值，f為采集相機中透鏡的焦距。其中參考圖像、b及f等參數(shù)預(yù)先要存儲在存儲器中。這里的存儲器一般為flash閃存等非易失性存儲器?？梢岳斫獾氖牵羯疃认鄼C被集成到計算設(shè)備中，該存儲器與計算設(shè)備中的存儲器可以指合二為一。

深度計算單元計算出目標(biāo)區(qū)域的深度圖像后，深度圖像經(jīng)由接口單元1傳輸?shù)接嬎阍O(shè)備中，深度圖像可以被保存在存儲器2中，也可以直接經(jīng)由處理器進行實時的處理，處理的程序(如深度圖像預(yù)處理、人體識別、骨架提取等)被預(yù)先保存在存儲器中。處理器將調(diào)用這些程序?qū)ι疃葓D像進行處理，該處理包括深度圖像預(yù)處理、人體識別、骨架提取，人體姿勢、手勢或動作識別等步驟，然后將識別到的姿勢、手勢或動作與預(yù)設(shè)的主機指令對應(yīng)后，最終可以輸出控制其他應(yīng)用程序的指令。

在本實施例中，處理器對深度圖像的處理除了可以對深度圖像進行人體識別或交互對象識別外，還需要識別出交互區(qū)域。這里的交互區(qū)域指的是用戶可以自由行走且沒有阻礙的區(qū)域，比如圖1中所示的方形，也可以為圓形或者其他形狀，形狀與具體的應(yīng)用相關(guān)?？梢岳斫獾氖牵@里僅以二維區(qū)域進行說明，該發(fā)明的方法可以向三維空間區(qū)域進行延伸。本發(fā)明的人機交互自適應(yīng)調(diào)整方法，步驟s2中根據(jù)深度圖像識別出交互對象和交互區(qū)域，如圖4所示，具體還包括以下子步驟：s21：利用深度圖像識別出交互對象；s22：對深度圖像進行平面檢測；s23：識別出含有交互對象的平面區(qū)域為交互區(qū)域。其中，步驟s22中，對深度圖像進行平面檢測，具體操作為：首先獲得一個能反應(yīng)空白地面的曲面圖，然后在該曲面圖中以交互對象所在的地面交點為原點，進行方形擴充直到與曲面圖中的邊緣重疊為至。

具體地，在本實施例中，以方形交互區(qū)域為例，如圖1所示，在獲取的深度圖像中首先識別出地面以及用戶、除用戶之外的障礙物，通過對障礙物與地面坐標(biāo)的識別可以得到一個能反應(yīng)空白地面的曲面圖，最后在該曲面圖中以用戶所在的地面交點為原點，進行方形擴充直到與曲面圖中的邊緣重疊為至，該方法又稱為平面檢測，就可以得到含有用戶的最大方形交互區(qū)域。從曲面圖中提取交互區(qū)域的方法，除了平面檢測的方法外，也可以為其他方法，在此不做限定。

在提取到交互對象以及交互區(qū)域之后，就可以得到交互對象相對于交互區(qū)域的相對位置。若當(dāng)前人機交互的應(yīng)用程序為網(wǎng)球，程序中虛擬操控對象的虛擬操控空間應(yīng)與該交互區(qū)域?qū)?yīng)，換句話說，即根據(jù)得到的交互對象相對于交互區(qū)域的相對位置，來確定虛擬操控對象相對于虛擬操控空間的位置。為了滿足這一要求，在程序啟動時，虛擬操控對象在虛擬操控空間中的初始位置應(yīng)與交互對象相對于交互區(qū)域的初始相對位置一致，比如圖1中，用戶17相對于交互區(qū)域19的位置在右上角，網(wǎng)球應(yīng)用中虛擬操控對象的初始位置也應(yīng)處在虛擬操控空間14的右上角位置，如圖1中虛擬操控對象13的位置。此外，虛擬操控對象的移動速度與人體的真實移動速度之間的比例映射關(guān)系也需要與虛擬操控空間與交互區(qū)域的尺寸之間的比例映射關(guān)系相一致。

虛擬操控對象的大小也可以根據(jù)交互對象相對于交互區(qū)域的大小進行調(diào)整。在一種實施例中，若交互區(qū)域相對較小，交互對象活動區(qū)域有限的情形下，交互對象相對于交互區(qū)域較大，則虛擬操控對象可以調(diào)整到較大，以便于更好的識別出虛擬操控對象的運動。

計算設(shè)備中的存儲器2用于存儲操作系統(tǒng)以及深度圖像處理程序和應(yīng)用程序；處理器通過對深度圖像的處理后發(fā)出相應(yīng)的指令，通過該指令進一步控制應(yīng)用程序。顯示器用于應(yīng)用程序的顯示。深度圖像處理程序包括深度圖像預(yù)處理、人體識別、骨架提取，人體姿勢、手勢或動作識別等，處理器通過對深度圖像的處理后，將識別到的姿勢、手勢或動作與預(yù)設(shè)的主機指令對應(yīng)后，最終可以輸出控制其他應(yīng)用程序的指令。

在本實施例中，應(yīng)用程序為體感應(yīng)用程序，比如網(wǎng)球、乒乓球等，計算設(shè)備中的處理器通過對深度圖像的處理后，將識別到交互對象的姿勢、手勢或動作與預(yù)設(shè)的主機指令對應(yīng)后，最終可以輸出控制虛擬操控對象的指令，如左右移動、奔跑、揮手等。在其他實施例中，應(yīng)用程序可以為其他體感應(yīng)用程序，虛擬操控對象可能僅有部分被呈現(xiàn)在虛擬操控空間中，例如，握有方向盤的伸出的手、握有步槍的伸出的手臂等。在另外一些實施例中，虛擬操控對象可以不是人體模型，而是可顯示光標(biāo)，計算設(shè)備中的處理器通過對深度圖像的處理后，將識別到交互對象的姿勢、手勢或動作與預(yù)設(shè)的主機指令對應(yīng)后，最終可以輸出控制可顯示光標(biāo)的指令，如左右移動、選中、翻頁等。

實施例2

在本實施例中，人機交互自適應(yīng)調(diào)整系統(tǒng)的結(jié)構(gòu)組成與實施例1相同，不同的是，本實施例的交互對象為手部，交互區(qū)域為以肩部為中心且在人體盡可能靜止的情況下手部可以到達的空間三維區(qū)域。這種情形下，交互區(qū)域的識別相對于平面檢測要簡單，只需要在空間中設(shè)定到一個虛擬的交互區(qū)域即可。處理器根據(jù)手部在交互區(qū)域中的相對位置來確定虛擬操控對象在虛擬操控空間中的位置。

實施例3

本發(fā)明的人機交互自適應(yīng)調(diào)整系統(tǒng)，其深度圖像的處理也可以由深度相機獨立來完成，即計算設(shè)備的處理器也可以設(shè)置在深度相機中；另外，深度相機也可以被集成到計算設(shè)備如電視中，因此，上述實施例1和實施例2為較佳的實施例，并非對深度相機以及計算設(shè)備的功能進行限定。

在本實施例中，人機交互自適應(yīng)調(diào)整系統(tǒng)，可以不包含具體的深度相機和計算設(shè)備，只包含存儲器，用于存放程序；處理器，運行所述程序，以用于控制所述人機交互自適應(yīng)調(diào)整系統(tǒng)執(zhí)行上述的人機交互自適應(yīng)調(diào)整方法。

實施例4

在本實施例中，人機交互自適應(yīng)調(diào)整系統(tǒng)，也可以不包含具體的深度相機、計算設(shè)備、存儲器和/或處理器，直接為一種包含計算機程序的計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行上述的人機交互自適應(yīng)調(diào)整方法。

以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。