基于Kinect的手勢識別智能家居控制方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于Kinect的手勢識別智能家居控制方法及系統(tǒng)，所述方法包括：通過Kinect攝像機采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據；對每個用戶的骨架關節(jié)點信息數據進行篩選，得到實際操作用戶的骨架關節(jié)點信息數據，并在計算該實際操作用戶的手掌與肩部的位置關系；將右手臂的可移動空間劃分為不重疊的四個區(qū)域，根據右手掌與右肩的位置關系判斷右手臂所處的區(qū)域，若此時左手掌抬起到與左肩、右肩近似平行的位置，則實際操作用戶下達了控制指令，將控制指令通過無線網絡傳輸裝置傳輸到Wiser模塊進行解析，并將解析后的控制指令發(fā)送到對應某個設備的C-Bus控制模塊，由該模塊對設備進行相應的操作。本發(fā)明方法可以隔空操作，方式簡單直接。
【專利說明】基于Kinect的手勢識別智能家居控制方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種智能家居控制系統(tǒng)及方法，尤其是一種基于Kinect的手勢識別智能家居控制方法及系統(tǒng)，屬于家居控制【技術領域】。
【背景技術】
[0002]智能家居是以住宅為平臺，利用綜合布線技術、網絡通信技術、安全防范技術、自動控制技術、音視頻技術將家居生活的設施集成，構成高效的住宅設施與家庭日程事務的管理系統(tǒng)，提升家居安全性、便捷性、舒適性、藝術性，并實現(xiàn)環(huán)保節(jié)能的居住環(huán)境。
[0003]網絡通信技術作為智能家居控制系統(tǒng)的載體，其有效性、可擴展性和安全性是衡量其的重要指標。長期以來，不同的家居設備采用不同的控制方法，不同的設備之間無法解析其它設備的指令，所以各個設備只能實現(xiàn)各自的功能，無法組織起來提供更復雜的功能。施耐德公司的C-Bus是一個十分靈活的柔性控制系統(tǒng)，所有的輸入和輸出元件通過總線互聯(lián)。每一個元件都可以按照需求進行編程以適應任何使用場合，其靈活的編程可在不改變任何硬件連線的情況下非常方便地調整控制程序。
[0004]智能家居的控制界面是面向用戶的，其接口的便捷性和易用性直接影響用戶體驗?，F(xiàn)有的用戶控制界面包括機械開關、電腦控制、觸摸屏控制等，都需要用戶近距離操作設備，在控制設備離用戶較遠時，其便捷性大打折扣。
[0005]Kinect的出現(xiàn)彌補了用戶需要近距離操作設備的缺陷，Kinect通過彩色攝像機和深度傳感器識別和追蹤人體的骨骼關節(jié)點，能夠讓用戶無需接觸控制設備便能方便地與設備交互；目前，Kinect已經在PC、游戲娛樂、廣告等領域取得了巨大的成功，但在家居環(huán)境中的使用才剛剛起步，尚未形成高效便捷的使用方法。

【發(fā)明內容】

[0006]本發(fā)明的目的是為了解決上述現(xiàn)有技術的缺陷，提供一種可以隔空操作，方式簡單直接的基于Kinect的手勢識別智能家居控制方法。
[0007]本發(fā)明的另一目的在于提供一種基于Kinect的手勢識別智能家居控制方法的控制系統(tǒng)。
[0008]本發(fā)明的目的可以通過采取如下技術方案達到:
[0009]基于Kinect的手勢識別智能家居控制方法，其特征在于包括以下步驟:
[0010]I)將Kinect攝像機安裝在家居的客廳，平放于用戶的正前方；
[0011]2)通過Kinect攝像機采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據，每個用戶的骨架關節(jié)點信息數據包含20個骨架關節(jié)點的三維坐標信息數據；
[0012]3)利用數據處理裝置對每個用戶的骨架關節(jié)點信息數據進行篩選，得到實際操作用戶的骨架關節(jié)點信息數據，并在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系；
[0013]4)將右手臂的可移動空間劃分為不重疊的四個區(qū)域，根據右手掌與右肩的位置關系判斷右手臂所處的區(qū)域，若此時左手掌抬起到與左肩、右肩近似平行的位置，則實際操作用戶下達了與右手臂所處的區(qū)域對應的控制指令，將控制指令通過無線網絡傳輸裝置傳輸到Wiser模塊；
[0014]5) Wiser模塊對控制指令進行解析，并將解析后的控制指令發(fā)送到具體家居設備的C-Bus控制模塊，由該C-Bus控制模塊對家居設備進行相應的操作。
[0015]作為一種優(yōu)選方案，步驟I)所述Kinect攝像機平放于用戶的正前方1.2~3.5m處，平放高度為1.lm。
[0016]作為一種優(yōu)選方案，步驟3)利用數據處理裝置對每個用戶的骨架關節(jié)點信息數據進行篩選，將滿足以下兩個條件的用戶當作實際操作用戶:
[0017]a)該用戶的骨架關節(jié)點信息數據的有效關節(jié)點個數大于預先設定的閾值Nth ；
[0018]b)在所有用戶的骨架關節(jié)點信息數據中，該用戶的骨架關節(jié)點信息數據擁有最多的有效關節(jié)點。
[0019]作為一種優(yōu)選方案，所述有效關節(jié)點是指Kinect攝像機采集的原始骨架關節(jié)點信息數據中標定為準確值而非推斷值的關節(jié)點。
[0020]作為一種優(yōu)選方案,步驟3)所述Kinect三維空間的坐標系為:Z軸與Kinect攝像機的攝像頭中軸線平行，依右手螺旋定則定義與水平方向平行的方向為X軸，豎直平面為Y軸；所述在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系為:從實際操作用戶的骨架關節(jié)點信息數據中取出左手掌、右手掌、左肩和右肩共四個點的三維坐標，其中右肩到右手掌關節(jié)點的矢量V與Z軸負方向的夾角定義為右手臂的張角為α，右肩到右手掌關節(jié)點的矢量V在X-Y平面上的投影射線與X軸正方向的夾角定義為右手臂的轉角β，左肩到左手掌關節(jié)點的矢量U與左肩到右肩關節(jié)點的矢量W的夾角為左手臂的水平角
Y O
[0021]作為一種優(yōu)選方案，步驟4)所述四個區(qū)域的劃分，如下:
[0022]首先為右手臂的張角為α取定一個閾值ath，以及為右手臂的轉角β取定四個范圍 BM、Be2、Be3 和 B04,區(qū)域 1={ a ≥a th, β e B0J ,區(qū)域 2={ a ≥a th，β e BeJ，區(qū)域 3={α ≥ath，β e Β03}，區(qū)域 4={α ≥a th，β e B0J ；
[0023]所述左手掌抬起到與左肩、右肩近似平行的位置判斷方式如下:
[0024]為左手臂的水平角Y取定一個閾值Yth，當Y≥Yth時，判斷為左手掌已抬起到與兩肩部近似平行的位置。
[0025]作為一種優(yōu)選方案，所述801、802、803和804的范圍如下:
[0026]BM={x I 2k π + Ji/3 < X < 2k π+2 /3, k 為整數}；
[0027]Be2={x I 2k π - Ji/6 < X < 2k π + Ji/6, k 為整數}；
[0028]Β03={χ I 2k π-4 π/3 < X < 2k π+5 3?/3, k 為整數}；
[0029]B04= {χ I 2k π +5 3? /6 < X < 2k π +7 3? /6, k 為整數}。
[0030]作為一種優(yōu)選方案，步驟3)所述的篩選過程是每10幀圖像執(zhí)行一次，而所述Kinect攝像機的攝像頭幀率為30幀/秒。
[0031]本發(fā)明的另一目的可以通過采取如下技術方案達到:
[0032]基于Kinect的手勢識別智能家居控制系統(tǒng)，其特征在于:包括手勢識別裝置和控制平臺，所述手勢識別裝置包括依次相連的Kinect攝像機、數據處理裝置和無線網絡傳輸裝置，所述數據處理裝置通過無線網絡傳輸裝置與控制平臺相連，其中:
[0033]所述Kinect攝像機，用于采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據；
[0034]所述數據處理裝置，用于接收Kinect攝像機采集的骨架關節(jié)點信息數據并進行處理，識別出用戶的手勢，通過無線網絡傳輸裝置將手勢所對應的控制指令傳輸到控制平臺，同時將識別結果顯示在屏幕上；
[0035]所述控制平臺，用于對數據處理裝置傳輸的控制指令進行解析，并根據解析后的控制指令對家居設備進行相應的操作。
[0036]作為一種優(yōu)選方案，所述數據處理裝置采用PC機；所述無線網絡傳輸裝置采用無線路由器；所述控制平臺采用施耐德控制裝置，包括Wiser模塊和多個C-Bus控制模塊，所述每個C-Bus控制模塊都有與其對應的家居設備，所述Wiser模塊用于對數據處理裝置傳輸的控制指令進行解析，并將解析后的控制指令發(fā)送到對應具體家居設備的C-Bus控制模塊，使C-Bus控制模塊根據解析后的控制指令對家居設備進行相應的操作。
[0037]本發(fā)明相對于現(xiàn)有技術具有如下的有益效果:
[0038]1、本發(fā)明利用Kinect攝像機采集其攝像頭前面所有用戶的骨架關節(jié)點信息數據，并通過數據處理裝置對這些數據進行處理，將控制指令發(fā)送到基于施耐德控制裝置的控制平臺，使得用戶可以徒手遠距離對家居設備進行有效控制，無需直接進行操作，方式簡單直接，更加自然、便捷和高效。
[0039]2、本發(fā)明方法借助了 Kinect對于人體骨架檢測的高精度，同時采用一種手勢識別算法篩選出實際用戶的骨架關節(jié)點信息數據，并通過計算實際操作用戶的手掌與肩部的位置關系得到相應的控制指令，具有計算簡單、計算量少、準確度高、實時性好的優(yōu)點，在實踐中也取得了很好的效果。
[0040]3、本發(fā)明方法將基于Kinect的手勢識別裝置(與用戶進行交互)與基于施耐德控制裝置的控制平臺分離開，當需要改變控制命令的時候，只需要對Kinect設定的控制命令進行修改，無需對C-Bus控制模塊進行修改，實現(xiàn)了用戶平面與控制平面的分離，有利于修改和擴展。
【專利附圖】

【附圖說明】
[0041]圖1為本發(fā)明的基于Kinect的手勢識別智能家居控制系統(tǒng)結構原理框圖。
[0042]圖2為本發(fā)明的基于Kinect的手勢識別智能家居控制方法的流程示意圖。
[0043]圖3為Kinect三維空間坐標系示意圖。
[0044]圖4為實際操作用戶的右手臂的張角為α的示意圖。
[0045]圖5為實際操作用戶的右手臂的轉角β的示意圖。
[0046]圖6為實際操作用戶的左手臂的水平角Y的示意圖。
[0047]圖7為手勢識別區(qū)域的示意圖。
[0048]圖8為實際操作用戶的左手掌與左肩、右肩的位置關系示意圖。
【具體實施方式】
[0049]實施例1:[0050]如圖1所示，本發(fā)明的基于Kinect的手勢識別智能家居控制系統(tǒng)包括手勢識別裝置和控制平臺，所述手勢識別裝置包括依次相連的Kinect攝像機、數據處理裝置和無線網絡傳輸裝置，所述數據處理裝置通過無線網絡傳輸裝置與控制平臺相連，所述數據處理裝置采用PC機，所述無線網絡傳輸裝置采用無線路由器，所述控制平臺采用施耐德控制裝置，其中:
[0051]所述Kinect攝像機，用于采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據；
[0052]所述數據處理裝置，用于接收Kinect攝像機采集的骨架關節(jié)點信息數據并進行處理，識別出用戶的手勢，通過無線網絡傳輸裝置將手勢所對應的控制指令傳輸到控制平臺，同時將識別結果顯示在屏幕上；
[0053]所述控制平臺，包括Wiser模塊和多個C-Bus控制模塊，所述每個C-Bus控制模塊都有與其對應的家居設備(如圖1中所示，五個C-Bus控制模塊分別對應燈光、家庭影院、門窗、窗簾和中央空調)，所述Wiser模塊用于對數據處理裝置傳輸的控制指令進行解析，并將解析后的控制指令發(fā)送到具體家居設備的C-Bus控制模塊，使C-Bus控制模塊根據解析后的控制指令對家居設備進行相應的操作。
[0054]如圖1和圖2所示，基于Kinect的手勢識別智能家居控制方法，包括以下步驟:
[0055]I)將Kinect攝像機安裝在家居的客廳，平放于用戶的正前方1.2?3.5m處，平放高度為1.1m ；
[0056]2)通過Kinect攝像機采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據，每個用戶的骨架關節(jié)點信息數據包含20個骨架關節(jié)點的三維坐標信息數據；
[0057]3)利用數據處理裝置對每個用戶的骨架關節(jié)點信息數據進行篩選，篩選過程是每10幀圖像執(zhí)行一次，而所述Kinect攝像機的攝像頭幀率為30幀/秒，即每秒執(zhí)行三次，將滿足以下兩個條件的用戶當作實際操作用戶:
[0058]a)該用戶的骨架關節(jié)點信息數據的有效關節(jié)點個數大于預先設定的閾值Nth=15 ；
[0059]b)在所有用戶的骨架關節(jié)點信息數據中，該用戶的骨架關節(jié)點信息數據擁有最多的有效關節(jié)點；
[0060]所述有效關節(jié)點是指Kinect攝像機采集的原始骨架關節(jié)點信息數據中標定為準確值而非推斷值的關節(jié)點；在用戶的骨架關節(jié)點信息數據滿足a)和b)的條件后，得到實際操作用戶的骨架關節(jié)點信息數據，并在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系；
[0061]所述Kinect三維空間的坐標系為:Z軸與Kinect攝像機的攝像頭中軸線平行,依右手螺旋定則定義與水平方向平行的方向為X軸，豎直平面為Y軸；
[0062]所述在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系為:從實際操作用戶的骨架關節(jié)點信息數據中取出左手掌、右手掌、左肩和右肩共四個點的三維坐標，其中右肩到右手掌關節(jié)點的矢量V與Z軸負方向的夾角定義為右手臂的張角為a，如圖4所示；右肩到右手掌關節(jié)點的矢量V在X-Y平面上的投影射線與X軸正方向的夾角定義為右手臂的轉角β，如圖5所示；左肩到左手掌關節(jié)點的矢量U與左肩到右肩關節(jié)點的矢量W的夾角為左手臂的水平角Y，如圖6所示；
[0063]4)如圖7所示，將右手臂的可移動空間劃分為不重疊的四個區(qū)域，根據右手掌與右肩的位置關系判斷右手臂所處的區(qū)域；如圖8所示，若此時左手掌抬起到與左肩、右肩近似平行的位置，則表示實際操作用戶下達了與右手臂所處的區(qū)域對應的控制指令，本實施例以中央空調為例，其中區(qū)域I表示中央空調溫度增加控制指令，區(qū)域2表示開啟中央空調控制指令，區(qū)域4表不關閉中央空調控制指令，區(qū)域3表不中央空調溫度降低控制指令；控制指令通過無線網絡傳輸裝置傳輸到施耐德控制裝置的主控中心——Wiser模塊；
[0064]所述四個區(qū)域的劃分如下:
[0065]首先為右手臂的張角為α取定一個閾值a th= π /4，以及為右手臂的轉角β取定四個范圍~^^^^和~^區(qū)域匕卜≥ath，β e BeJ，區(qū)域2= {a≥a th，β e B0J ,區(qū)域 3={α ≥ ath，β e Β03}，區(qū)域 4={α ≥ a th，β e B0J ；
[0066]所述BM、B02、Be3和B04的范圍如下:
[0067]ΒΜ={χ I 2k π + Ji/3 < X < 2k π+2 JI/3, k 為整數}；
[0068]B02= {x I 2k π - π / 6^x^2k3i + 3i / 6, k 為整數}；
[0069]Β03={χ I 2k π-4 π/3 < X < 2k π+5 3i/3, k 為整數}；
[0070]B04= {χ I 2k π+5 3?/6 < X < 2k π+7 3?/6, k 為整數}；
[0071]所述左手掌抬起到與左肩、右肩近似平行的位置的判斷方式如下:
[0072]為左手臂的水平角Y取定一個閾值/ 6,當Y≥Yth時，判斷為左手掌已抬起到與兩肩部近似平行的位置；
[0073]5) Wiser模塊對控制指令進行解析，并將解析后的控制指令發(fā)送到中央空調的C-Bus控制模塊，由該C-Bus控制模塊對中央空調進行相應的操作。
[0074]綜上所述，本發(fā)明方法使得用戶可以徒手遠距離對家居設備進行有效控制，無需直接進行操作，方式簡單直接，更加自然、便捷和高效。
[0075]以上所述，僅為本發(fā)明較佳的實施例，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術領域】的技術人員在本發(fā)明所公開的范圍內，根據本發(fā)明的技術方案及其發(fā)明構思加以等同替換或改變，都屬于本發(fā)明的保護范圍。
【權利要求】
1.基于Kinect的手勢識別智能家居控制方法，其特征在于包括以下步驟: 1)將Kinect攝像機安裝在家居的客廳，平放于用戶的正前方； 2)通過Kinect攝像機采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據，每個用戶的骨架關節(jié)點信息數據包含20個骨架關節(jié)點的三維坐標信息數據； 3)利用數據處理裝置對每個用戶的骨架關節(jié)點信息數據進行篩選，得到實際操作用戶的骨架關節(jié)點信息數據，并在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系； 4)將右手臂的可移動空間劃分為不重疊的四個區(qū)域，根據右手掌與右肩的位置關系判斷右手臂所處的區(qū)域，若此時左手掌抬起到與左肩、右肩近似平行的位置，則實際操作用戶下達了與右手臂所處的區(qū)域對應的控制指令，將控制指令通過無線網絡傳輸裝置傳輸到Wiser模塊； 5)Wiser模塊對控制指令進行解析，并將解析后的控制指令發(fā)送到具體家居設備的C-Bus控制模塊，由該C-Bus控制模塊對家居設備進行相應的操作。
2.根據權利要求1所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:步驟I)所述Kinect攝像機平放于用戶的正前方1.2~3.5m處,平放高度為1.lm。
3.根據權利要求1所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:步驟3)利用數據處理裝置對每個用戶的骨架關節(jié)點信息數據進行篩選，將滿足以下兩個條件的用戶當作實際操作用戶: a)該用戶的骨架關節(jié)點信息數據的有效關節(jié)點個數大于預先設定的閾值Nth； b)在所有用戶的骨架關節(jié)點信息數據中，該用戶的骨架關節(jié)點信息數據擁有最多的有效關節(jié)點。
4.根據權利要求3所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:所述有效關節(jié)點是指Kinect攝像機采集的原始骨架關節(jié)點信息數據中標定為準確值而非推斷值的關節(jié)點。
5.根據權利要求1所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:步驟3)所述Kinect三維空間的坐標系為:Z軸與Kinect攝像機的攝像頭中軸線平行，依右手螺旋定則定義與水平方向平行的方向為X軸，豎直平面為Y軸；所述在Kinect三維空間中計算該實際操作用戶的手掌與肩部的位置關系為:從實際操作用戶的骨架關節(jié)點信息數據中取出左手掌、右手掌、左肩和右肩共四個點的三維坐標，其中右肩到右手掌關節(jié)點的矢量V與Z軸負方向的夾角定義為右手臂的張角為α，右肩到右手掌關節(jié)點的矢量V在X-Y平面上的投影射線與X軸正方向的夾角定義為右手臂的轉角β，左肩到左手掌關節(jié)點的矢量U與左肩到右肩關節(jié)點的矢量W的夾角為左手臂的水平角Y。
6.根據權利要求5所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:步驟4)所述四個區(qū)域的劃分，如下: 首先為右手臂的張角為α取定一個閾值ath，以及為右手臂的轉角β取定四個范圍BM、B02、B03 和 B04，區(qū)域 1={α ≥ a th, β eBM}，區(qū)域 2={α ≥ α th，β eB02}，區(qū)域3={α ^ a th, β e B03I，區(qū)域 4={ α ≥ α th, β E BeJ ； 所述左手掌抬起到與左肩、右肩近似平行的位置判斷方式如下: 為左手臂的水平角Y取定一個閾值Yth，當Y ^ Yth時，判斷為左手掌已抬起到與兩肩部近似平行的位置。
7.根據權利要求6所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:所述ΒΜ、Β02、Β03和B04的范圍如下:
8.根據權利要求1-7任一項所述的基于Kinect的手勢識別智能家居控制方法，其特征在于:步驟3)所述的篩選過程是每10幀圖像執(zhí)行一次，而所述Kinect攝像機的攝像頭幀率為30幀/秒。
9.基于Kinect的手勢識別智能家居控制系統(tǒng)，其特征在于:包括手勢識別裝置和控制平臺，所述手勢識別裝置包括依次相連的Kinect攝像機、數據處理裝置和無線網絡傳輸裝置，所述數據處理裝置通過無線網絡傳輸裝置與控制平臺相連，其中: 所述Kinect攝像機，用于采集出現(xiàn)在其攝像頭前面所有用戶的骨架關節(jié)點信息數據； 所述數據處理裝置，用于接收Kinect攝像機采集的骨架關節(jié)點信息數據并進行處理，識別出用戶的手勢，通過無線網絡傳輸裝置將手勢所對應的控制指令傳輸到控制平臺，同時將識別結果顯示在屏幕上； 所述控制平臺，用于對數據處理裝置傳輸的控制指令進行解析，并根據解析后的控制指令對家居設備進行相應的操作。
10.根據權利要求9所述的基于Kinect的手勢識別智能家居控制系統(tǒng)，其特征在于:所述數據處理裝置采用PC機；所述無線網絡傳輸裝置采用無線路由器；所述控制平臺采用施耐德控制裝置，包括Wiser模塊和多個C-Bus控制模塊，所述每個C-Bus控制模塊都有與其對應的家居設備，所述Wiser模塊用于對數據處理裝置傳輸的控制指令進行解析，并將解析后的控制指令發(fā)送到對應具體家居設備的C-Bus控制模塊，使C-Bus控制模塊根據解析后的控制指令對家居設備進行相應的操作。
【文檔編號】G06F3/01GK103760976SQ201410011329
【公開日】2014年4月30日 申請日期:2014年1月9日 優(yōu)先權日:2014年1月9日
【發(fā)明者】錢世奇, 曹祖略, 肖毅強, 徐少杰, 林偉輝, 黃旭為, 劉樹強, 石亞林 申請人:華南理工大學