基于雙目視覺的人手三維信息實時提取方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人手三維信息的實時提取方法及系統(tǒng)，尤其涉及一種基于雙目視覺的人手三維信息實時提取方法及系統(tǒng)，涉及數(shù)字圖像處理和模式識別、空間三維信息獲取和人機(jī)交互等技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]近年來，隨著計算機(jī)視覺技術(shù)的迅速發(fā)展，基于視覺的手勢交互，因其所獨有的便利性，在人機(jī)交互領(lǐng)域中得到了越來越多的研宄和應(yīng)用。同時，3D技術(shù)的迅速發(fā)展以及人們對人機(jī)交互中的真實性和沉浸性的要求的不斷提高，3D交互技術(shù)得到了越來越多的人的研宄和青睞，相關(guān)技術(shù)也取得了突飛猛進(jìn)的發(fā)展，3D交互逐漸成為很多交互技術(shù)的主要發(fā)展趨勢，市面上也出現(xiàn)了一些新型的3D體感交互設(shè)備，如Kinect、Leap Mot1n、Google Glass等，說明基于視覺的交互，特別是三維交互技術(shù)具有廣闊的市場前景。
[0003]手的檢測、跟蹤與三維信息的提取是實現(xiàn)三維交互的基礎(chǔ)。目前，手的檢測方法有多種，總的來說主要分為兩類:基于膚色的檢測和基于機(jī)器學(xué)習(xí)的檢測。基于膚色的檢測對光照和陰影比較敏感，同時人體的其他部位如胳膊、臉等以及其它與皮膚顏色接近的物體都會對手的檢測產(chǎn)生干擾，因此單純基于膚色進(jìn)行人手的檢測并不是一種十分可靠的方法。而基于機(jī)器學(xué)習(xí)的方法主要是依賴于人手的除膚色以外的其他特征如HAAR、LBP、HOG等特征與ADAB00ST等算法結(jié)合進(jìn)行訓(xùn)練得到人手的分類器用來對人手的檢測。由于手中所包含的細(xì)節(jié)信息并不是很豐富，HAAR特征和LBP特征用于人手的檢測并不是十分有效，誤檢率較高。因此，首先我們需要找到有效的方法實現(xiàn)復(fù)雜背景下的人手檢測與跟蹤，這樣我們才能進(jìn)一步進(jìn)行人手三維信息的提取。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于雙目視覺的人手三維信息實時提取方法及系統(tǒng)，以實現(xiàn)對復(fù)雜背景下人手的檢測與跟蹤，以及在此基礎(chǔ)上實現(xiàn)對人手三維信息的可靠重建。
[0005]本發(fā)明的具體技術(shù)方案為:
[0006]一種基于雙目視覺的人手三維信息實時提取方法，該提取方法包括:
[0007]實時獲取雙目攝像機(jī)系統(tǒng)的左、右攝像機(jī)采集的圖像信息；
[0008]實時檢測左、右攝像機(jī)采集到的圖像中的人手，具體的，采用H0G(Histogram ofOriented Gradient)特征和SVM(Support Vector Machine)線性分類器檢測首幀中的人手，采用目標(biāo)跟蹤算法檢測后序幀中的人手；
[0009]實時提取檢測到的人手的掌心和指尖，作為人手的特征點；以及
[0010]根據(jù)雙目視覺原理，用提取到的所述特征點計算出所述特征點的三維坐標(biāo)，從而獲得實時的人手二維?目息。
[0011]優(yōu)選地，在所述的實時檢測左、右攝像機(jī)采集到的圖像中的人手的步驟中，采用HOG特征和SVM線性分類器檢測首幀中的人手的方法包括:
[0012]對目標(biāo)圖像進(jìn)行不同尺度的HOG特征提??；以及
[0013]用訓(xùn)練好的SVM線性分類器對提取到的目標(biāo)圖像的HOG特征進(jìn)行檢測，獲得人手所在區(qū)域；
[0014]而且，所述訓(xùn)練好的SVM線性分類器通過以下方法獲得:
[0015]分別提取人手樣本和背景樣本的HOG特征；
[0016]將提取到的人手樣本和背景樣本的HOG特征輸入到SVM線性訓(xùn)練器中進(jìn)行訓(xùn)練獲得初始SVM線性分類器；以及
[0017]用所述初始SVM線性分類器收集一定數(shù)目的誤檢樣本作為難例和原有樣本一起訓(xùn)練，得到所述訓(xùn)練好的SVM線性分類器。
[0018]優(yōu)選地，在所述的實時檢測左、右攝像機(jī)采集到的圖像中的人手的步驟中，所述的目標(biāo)跟蹤算法為CamShift算法。
[0019]優(yōu)選地，所述的實時提取檢測到的人手的掌心和指尖，作為人手的特征點的步驟包括:
[0020]對檢測窗口運用橢圓膚色模型進(jìn)行膚色檢測，得到人手區(qū)域；
[0021]對膚色檢測后的人手區(qū)域做中值濾波，得到純凈的人手區(qū)域；
[0022]對中值濾波后獲得的人手區(qū)域進(jìn)行距離變換；
[0023]對距離變換后的人手區(qū)域進(jìn)行閾值化操作得到手掌區(qū)域；
[0024]計算所述手掌區(qū)域的質(zhì)心，將該質(zhì)心作為掌心；以及
[0025]計算掌心到人手輪廓的距離，將其局部最大值點作為人手的指尖。
[0026]優(yōu)選地，在所述的根據(jù)雙目視覺原理，用提取到的所述特征點計算出所述特征點的三維坐標(biāo)，從而獲得實時的人手三維信息的步驟中，采用的雙目攝像機(jī)系統(tǒng)的系統(tǒng)參數(shù)通過以下方法獲得:
[0027]雙目攝像機(jī)系統(tǒng)的左、右攝像機(jī)同步采集10到20幅不同距離、不同方位的棋盤格圖像；
[0028]提取左、右攝像機(jī)采集到的棋盤格圖像中棋盤格圖案的角點，分別對左、右攝像機(jī)進(jìn)行單個攝像機(jī)的標(biāo)定，獲得左、右攝像機(jī)的內(nèi)外參數(shù)和畸變矯正系數(shù)；以及
[0029]對雙目攝像機(jī)系統(tǒng)進(jìn)行標(biāo)定獲得左、右攝像機(jī)之間的平移矩陣和旋轉(zhuǎn)矩陣。
[0030]一種基于雙目視覺的人手三維信息實時提取系統(tǒng)，該提取系統(tǒng)包括:
[0031]雙目攝像機(jī)系統(tǒng)；以及
[0032]信息處理裝置，該信息處理裝置包括:
[0033]人手檢測模塊，用于實時檢測左、右攝像機(jī)采集到的圖像中的人手，具體的，采用HOG特征和SVM線性分類器檢測首幀中的人手，采用目標(biāo)跟蹤算法檢測后序幀中的人手；
[0034]特征點提取模塊，用于實時提取檢測到的人手的特征點；以及
[0035]三維重建模塊，用于根據(jù)雙目視覺原理，用提取到的特征點計算出掌心和指尖的三維坐標(biāo)。
[0036]優(yōu)選地，該提取系統(tǒng)還包括系統(tǒng)標(biāo)定裝置，該系統(tǒng)標(biāo)定裝置用于對雙目攝像機(jī)系統(tǒng)標(biāo)定，得到雙目攝像機(jī)系統(tǒng)的系統(tǒng)參數(shù)。
[0037]優(yōu)選地，該提取系統(tǒng)還包括信號傳輸裝置，該信號傳輸裝置用于將雙目攝像機(jī)系統(tǒng)采集到的圖像信息傳送到所述系統(tǒng)標(biāo)定裝置和所述信息處理裝置。
[0038]本發(fā)明方法和系統(tǒng)能夠?qū)崿F(xiàn)復(fù)雜背景下人手實時、可靠的檢測與跟蹤，并在此基礎(chǔ)上實現(xiàn)對人手三維信息的可靠重建。
【附圖說明】
[0039]圖1為一些實施例基于雙目視覺的人手三維信息實時提取方法的流程圖；
[0040]圖2為一些實施例中人手檢測的流程圖；
[0041]圖3為一些實施例中人手特征點提取的流程圖；
[0042]圖4為一些實施例基于雙目視覺的人手三維信息實時提取系統(tǒng)的框圖。
【具體實施方式】
[0043]下面將結(jié)合示意性實施案例對本發(fā)明的實施方式進(jìn)行說明。為了清楚起見，在本說明書中并未描述實際實施的所有特征。應(yīng)該理解的是，在任何這種實際實施方案的發(fā)展中，必須做出許多實施方案特定的決定以實現(xiàn)開發(fā)者的特定目標(biāo)，例如與設(shè)計系統(tǒng)和涉及商業(yè)的約束相符，所述約束將根據(jù)實施過程的不同而發(fā)生變化。此外，應(yīng)該理解的是，這種開發(fā)工作可能是復(fù)雜和費時的，但對于受益于本公開內(nèi)容的本領(lǐng)域普通技術(shù)人員來說仍將是所從事的日常工作。
[0044]雖然本發(fā)明允許各種修改和替代的形式，但已經(jīng)借助附圖中的實例顯示了本發(fā)明的特定實施方案并在此對其進(jìn)行詳細(xì)說明。然而，應(yīng)該理解的是，此處對特定實施方案的說明是為了對本發(fā)明的理解更加透徹全面，并不意欲將本發(fā)明限制為所公開的特定形式，而是相反，本發(fā)明將覆蓋落在如通過所附的權(quán)利要求所定義的本發(fā)明精神和范圍內(nèi)的所有修改、等價內(nèi)容和替代方案。
[0045]如圖1所示，一些實施例基于雙目視覺的人手三維信息實時提取方法包括以下步驟:
[0046]步驟S1、實時獲取雙目攝像機(jī)系統(tǒng)的左、右攝像機(jī)采集的圖像信息。
[0047]步驟S2、實時檢測左、右攝像機(jī)采集到的圖像中的人手，具體的，采用HOG特征和SVM線性分類器檢測首幀中的人手，采用目標(biāo)跟蹤算法檢測后序幀中的人手。
[0048]為了能夠?qū)崿F(xiàn)復(fù)雜背景下的人手檢測，這里采用HOG特征+SVM線性分類器的方法(即采用HOG特征和SVM線性分類器檢測首幀中的人手)。參照圖2，采用HOG特征+SVM線性分類器的方法檢測人手的具體檢測過程包括:步驟S21、對目標(biāo)圖像進(jìn)行不同尺度的HOG特征提??；以及步驟S22、用訓(xùn)練好的SVM線性分類器對提取到的目標(biāo)圖像的HOG特征進(jìn)行檢測，獲得人手所在區(qū)域。對于SVM線性分類器，首先需要收集足夠的人手樣本和背景樣本制作訓(xùn)練集，分別提取人手樣本和背景樣本的HOG特征，將提取到的HOG特征輸入到SVM線性訓(xùn)練器中進(jìn)行訓(xùn)練以得到一個基于HOG特征的人手線性分類器。
[0049]使用單純由人手樣本和背景樣本訓(xùn)練出來的SVM線性分類器雖然有著很高的檢出率，但同時其誤檢率也相當(dāng)高。為了得到檢出率高、誤檢率低的SVM線性分類器用于人手的檢測，在一些較佳實施例中，進(jìn)一步對使用人手樣本和背景樣本訓(xùn)練出來的SVM線性分類器進(jìn)行了優(yōu)化，具體的，參照圖2，所述訓(xùn)練好的SVM線性分類器通過以下方法獲得:分別提取人手樣本和背景樣本的HOG特征；將提取到的人手樣本和背景樣本的HOG特征輸入到SVM線性訓(xùn)