一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示 的方法。
【背景技術(shù)】
[0002] 隨著智能電器設(shè)備的發(fā)展，使得人們可以通過智能電器設(shè)備實現(xiàn)更加豐富、便捷 的操作。智能電器設(shè)備相比較傳統(tǒng)電器設(shè)備具有更加強(qiáng)大的信息處理能力及通訊功能，因 此，使得其應(yīng)用體感識別技術(shù)來實現(xiàn)和用戶的交互控制成為可能。
[0003] 現(xiàn)有的體感識別技術(shù)廣泛應(yīng)用于機(jī)器人、計算機(jī)、游戲機(jī)等領(lǐng)域，使用對用戶的手 勢或者肢體動作等目標(biāo)對象進(jìn)行識別來實現(xiàn)對上述裝置設(shè)備的控制。這種利用體感識別技 術(shù)來實現(xiàn)的人機(jī)交互方式更加先進(jìn)、方便、可靠。
[0004] 在利用體感識別技術(shù)對智能電器設(shè)備進(jìn)行控制時，智能電器設(shè)備的顯示界面中的 按鍵進(jìn)行ui (User Interface,用戶界面）反饋的方式是通過響應(yīng)模擬鼠標(biāo)的目標(biāo)對象所 進(jìn)行的點擊（click)操作事件，模擬觸摸屏的目標(biāo)對象所進(jìn)行的觸控（touch)操作事件或 模擬遙控器的目標(biāo)對象所進(jìn)行的確定（0K)按鍵操作事件。智能電器設(shè)備的顯示界面響應(yīng) 上述操作事件，通常通過替換相應(yīng)圖片的方式將按鍵顯示為按下狀態(tài)，即將正常狀態(tài)的按 鍵圖片替換成為按下狀態(tài)的按鍵圖片。
[0005] 現(xiàn)有的人機(jī)交互的體感識別技術(shù)中，智能電器設(shè)備的顯示界面僅響應(yīng)識別出的操 作事件，但對操作事件識別前的目標(biāo)對象的操作狀態(tài)無法進(jìn)行顯示。例如，采用目標(biāo)對象前 推（push)的方式觸發(fā)按鍵的點擊操作事件。但是，智能電器設(shè)備的顯示界面中的按鍵無法 對目標(biāo)對象前推的操作狀態(tài)進(jìn)行UI反饋。這樣即導(dǎo)致無法得知目標(biāo)對象前推多深即可觸 發(fā)按鍵的點擊操作事件。
[0006] 因此，如何對目標(biāo)對象的操作狀態(tài)進(jìn)行顯示成為人機(jī)交互技術(shù)中亟待解決的技術(shù) 問題。

【發(fā)明內(nèi)容】

[0007] 有鑒于此，本發(fā)明提供一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的方法及其裝置， 其可以對目標(biāo)對象的操作狀態(tài)進(jìn)行UI的顯示反饋。
[0008] 本發(fā)明提供一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的方法，應(yīng)用于智能電器設(shè) 備，包括：
[0009] 獲取目標(biāo)對象的位置信息；
[0010] 解析所述目標(biāo)對象的位置信息，獲得所述目標(biāo)對象的狀態(tài)信息；
[0011] 根據(jù)所述目標(biāo)對象的狀態(tài)信息，控制對應(yīng)的UI反饋控件進(jìn)行顯示。
[0012] 本發(fā)明還提供一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的裝置，應(yīng)用于智能電器設(shè) 備，包括：
[0013] 信息獲取模塊，用于獲取目標(biāo)對象的位置信息；
[0014] 信息解析模塊，用于解析所述目標(biāo)對象的位置信息，獲得所述目標(biāo)對象的狀態(tài)信 息；
[0015] 狀態(tài)顯示模塊，用于根據(jù)所述目標(biāo)對象的狀態(tài)信息，控制對應(yīng)的UI反饋控件進(jìn)行 顯不〇
[0016] 由以上技術(shù)方案可見，本發(fā)明根據(jù)目標(biāo)對象的位置信息，獲得所述目標(biāo)對象的狀 態(tài)信息。根據(jù)所述目標(biāo)對象的狀態(tài)信息，控制對應(yīng)的UI反饋控件進(jìn)行顯示。因此，本發(fā)明 UI反饋控件可以根據(jù)目標(biāo)對象的狀態(tài)信息控制UI反饋控件進(jìn)行顯示操作，即可實現(xiàn)對目 標(biāo)對象的操作狀態(tài)進(jìn)行UI的顯示反饋。本發(fā)明便于根據(jù)顯示的UI反饋控件的情況，繼續(xù) 進(jìn)行操作，完成操作事件。
【附圖說明】
[0017] 圖1是本發(fā)明對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的方法的流程圖；
[0018] 圖2是本發(fā)明所述方法中步驟S3的流程圖；
[0019] 圖3是本發(fā)明對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的裝置的使用示意圖；
[0020] 圖4是本發(fā)明對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的裝置的結(jié)構(gòu)框圖；
[0021] 圖5是本發(fā)明裝置中的信息解析模塊的結(jié)構(gòu)框圖；
[0022] 圖6是本發(fā)明裝置中的狀態(tài)顯示模塊的結(jié)構(gòu)框圖。
【具體實施方式】
[0023] 本發(fā)明根據(jù)目標(biāo)對象的位置信息，獲得所述目標(biāo)對象的狀態(tài)信息。根據(jù)所述目標(biāo) 對象的狀態(tài)信息，控制對應(yīng)的UI反饋控件進(jìn)行顯示。因此，本發(fā)明UI反饋控件可以根據(jù)目 標(biāo)對象的狀態(tài)信息控制UI反饋控件進(jìn)行顯示操作，即可實現(xiàn)對目標(biāo)對象的操作狀態(tài)進(jìn)行 UI的顯示反饋。本發(fā)明便于根據(jù)顯示的UI反饋控件的情況，繼續(xù)進(jìn)行操作，完成操作事件。
[0024] 下面結(jié)合本發(fā)明附圖進(jìn)一步說明本發(fā)明具體實現(xiàn)。
[0025] 本發(fā)明提供一種對人機(jī)交互中的操作狀態(tài)進(jìn)行顯示的方法，應(yīng)用于智能電器設(shè) 備，如智能電視等。該智能電器設(shè)備連接一圖像捕獲裝置，如PrimeSense體感攝像頭。該 智能電器設(shè)備和該圖像捕獲裝置可以通過USB連接。
[0026] 該圖像捕獲裝置將捕獲的圖像數(shù)據(jù)進(jìn)行識別，當(dāng)識別到目標(biāo)對象的時候，分析目 標(biāo)對象的位置信息，并將所述位置信息發(fā)送給智能電器設(shè)備，智能電器設(shè)備獲取目標(biāo)對象 的位置信息。當(dāng)然，所述圖像捕獲裝置也可以將捕獲的圖像數(shù)據(jù)直接發(fā)送給智能電器設(shè)備， 由智能電器設(shè)備對圖像數(shù)據(jù)進(jìn)行識別，獲取目標(biāo)對象的位置信息。
[0027] 參見圖1，本發(fā)明方法包括：
[0028] S1、獲取目標(biāo)對象的位置信息。
[0029] 為了更好的反映目標(biāo)對象所在的位置，本發(fā)明在圖像捕獲裝置所在位置建立一三 維坐標(biāo)系，本發(fā)明所述位置信息為所述目標(biāo)對象在該三維坐標(biāo)系中的點信息（X，y，z)。
[0030] 本發(fā)明對捕獲的圖像進(jìn)行識別亦采用已有的圖像識別算法來對圖像中的目標(biāo)對 象進(jìn)行識別獲取其三維位置信息，比如采用現(xiàn)有的kinect以及PrimeSense方法，獲取目標(biāo) 對象在三維坐標(biāo)系中的點信息，故在此不再贅述。
[0031] 具體地，該目標(biāo)對象為手部、頭部或者其他肢體，甚至某特定操作裝置，如游戲桿、 感應(yīng)手套等。
[0032] 具體地，本發(fā)明按照預(yù)設(shè)周期獲取目標(biāo)對象的位置信息，所述預(yù)設(shè)周期可以設(shè)置 為2ms。所述預(yù)設(shè)周期設(shè)置的越短，則本發(fā)明位置信息識別的精度越高，但相應(yīng)的所占用的 智能電器設(shè)備的內(nèi)存資源和CPU資源越多。該預(yù)設(shè)周期由本領(lǐng)域技術(shù)人員根據(jù)需求進(jìn)行設(shè) 置。
[0033] 本發(fā)明在具體實現(xiàn)中，獲取目標(biāo)對象的多個位置信息，通常通過一隊列來保存獲 取的多個位置信息。即，將接收的位置信息按照接收的時間順序保存到該隊列中。優(yōu)選地， 該隊列可采用固定長度的隊列，該隊列的長度可由本領(lǐng)域普通技術(shù)人員根據(jù)對目標(biāo)對象進(jìn) 行識別的時效進(jìn)行設(shè)定。當(dāng)隊列存滿位置信息時，清空該隊列，重新保存獲取的位置信息。 這樣，既可以避免保存過多的位置信息占用內(nèi)存資源，也避免起始位置信息超出對目標(biāo)對 象進(jìn)行識別的時效。
[0034] S2、解析所述目標(biāo)對象的位置信息，獲得所述目標(biāo)對象的狀態(tài)信息。
[0035] 本發(fā)明的一種實現(xiàn)中，為了避免目標(biāo)對象的輕微抖動影響對目標(biāo)對象所產(chǎn)生操作 事件的識別。首先，判斷目標(biāo)對象在水平平面上的運(yùn)動情況，即判斷所述目標(biāo)對象的當(dāng)前位 置信息的X坐標(biāo)和y坐標(biāo)與起始位置信息的X坐標(biāo)和y坐標(biāo)的差值是否在預(yù)設(shè)的第一閾值 范圍內(nèi)。其次，若當(dāng)前位置信息與起始位置信息的X、Y坐標(biāo)的差值在預(yù)設(shè)的第一閾值范圍 內(nèi)，則解析Z坐標(biāo)，根據(jù)所述Z坐標(biāo)的差值計算出的深度值作為所述目標(biāo)對象的狀態(tài)信息。
[0036] 具體地，所述目標(biāo)對象的深度值是通過Z軸方向上坐標(biāo)數(shù)據(jù)進(jìn)行算法矯正計算獲 得的，所述矯正算法采用最小二乘矯正等已有算法，故在此不再贅述。
[0037] 為了避免獲得過多的無意義狀態(tài)信息，本發(fā)明亦可根據(jù)解析的目標(biāo)對象的位置信 息，判斷目標(biāo)對象的操作狀態(tài)，根據(jù)操作狀態(tài)，確定是否需要獲得所述目標(biāo)對象的狀態(tài)信 肩、。
[0038] 在本發(fā)明一實施例中，如當(dāng)前位置信息的z坐標(biāo)小于隊列中所保存