一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法。通過(guò)張正友標(biāo)定法獲得相機(jī)內(nèi)外參數(shù)，實(shí)時(shí)采集上半身人正面的照片圖像，通過(guò)相機(jī)內(nèi)外參數(shù)對(duì)照片圖像預(yù)處理。利用雙目相機(jī)采集的兩幅圖像的視差獲得圖像的深度信息，對(duì)每張圖像進(jìn)行檢測(cè)獲得人臉、雙眼、嘴巴和雙肩肩膀的位置，從而獲得頭部的姿態(tài)角、人體上半身的姿態(tài)角和眼睛與閱讀對(duì)象之間的距離。本發(fā)明能實(shí)時(shí)坐姿檢測(cè)，可用于糾正坐姿，評(píng)估用戶(hù)的疲勞程度和認(rèn)真程度，疲勞提醒，將有助于青少年視力的保護(hù)；采用被動(dòng)式探測(cè)，對(duì)人無(wú)影響，并且全面考慮了各種實(shí)際環(huán)境中可能遇到的干擾因素，具有快速，高精度，魯棒性好，性?xún)r(jià)比高等優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】
一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其是涉及了一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法。
【背景技術(shù)】
[0002]視覺(jué)信息是人類(lèi)與外界發(fā)生聯(lián)系的最重要信息來(lái)源，視力至關(guān)重要。但如今，面對(duì)電子產(chǎn)品的普及、生活工作學(xué)習(xí)壓力增大，近視及更嚴(yán)重的視力問(wèn)題屢見(jiàn)不鮮。不正確的坐姿及用眼習(xí)慣極易導(dǎo)致近視，我國(guó)小學(xué)生近視眼發(fā)病率為22.78%，中學(xué)生為55.22%，高中生為70.34%。醫(yī)學(xué)研究表明，人體坐姿、用眼習(xí)慣和環(huán)境光亮度對(duì)近視發(fā)病率有著較大的影響。研發(fā)出能實(shí)時(shí)高精確度識(shí)別錯(cuò)誤閱讀文字、看電子屏幕等的姿勢(shì)、評(píng)估專(zhuān)注度、疲勞度，進(jìn)而給出有效提醒的便攜式人體坐姿系統(tǒng)，對(duì)于降低青少年由于用眼姿勢(shì)不對(duì)而引發(fā)的近視率具有實(shí)際的意義。
[0003]人體坐姿檢測(cè)，基于圖像處理算法，利用模式識(shí)別技術(shù)原理，結(jié)合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，獲取頭與肩的角度、頭與傳感器距離、頭與閱讀對(duì)象的距離，滿(mǎn)足在各種光照下的有效性，算法主要包括深度圖獲取，人臉、雙眼、嘴巴檢測(cè)，雙肩檢測(cè)，環(huán)境光檢測(cè)等方面。
[0004]采用雙目系統(tǒng)，因其在計(jì)算機(jī)視覺(jué)、距離檢測(cè)等應(yīng)用中有極其重要的作用。測(cè)距前，兩個(gè)相機(jī)需要進(jìn)行標(biāo)定，利用張正友標(biāo)定法獲取雙目相機(jī)的內(nèi)參和外參是較準(zhǔn)確的標(biāo)定方法。Semiglobal Matching(SGM)實(shí)現(xiàn)深度匹配是獲取深度信息的重要方法。
[0005]目前，圖像式人體坐姿檢測(cè)設(shè)備，比可穿戴式對(duì)人的影響小，但其有速度慢、功能單一等缺陷。同時(shí)，對(duì)人體坐姿自動(dòng)檢測(cè)的研究處于起步探索階段。研究主要從頭部和肩部與水平的角度和基于模糊神經(jīng)網(wǎng)絡(luò)兩個(gè)方面，但前者不能對(duì)坐姿進(jìn)行全面分析判斷，后者現(xiàn)階段主要針對(duì)人體四類(lèi)姿勢(shì)而不是坐姿進(jìn)行研究。

【發(fā)明內(nèi)容】

[0006]為了解決常見(jiàn)的威脅到人身體健康的坐姿問(wèn)題，本發(fā)明提出了一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，能實(shí)現(xiàn)實(shí)時(shí)坐姿檢測(cè)，用于評(píng)估疲勞度、專(zhuān)注度以及環(huán)境亮度、色溫檢測(cè)。
[0007]如圖1所示，本發(fā)明采用的技術(shù)方案是:
[0008]I)對(duì)雙目相機(jī)進(jìn)行標(biāo)定，通過(guò)張正友標(biāo)定法獲得雙目相機(jī)的內(nèi)外參數(shù)；
[0009]2)通過(guò)雙目相機(jī)實(shí)時(shí)采集上半身人正面的照片圖像，通過(guò)雙目相機(jī)的內(nèi)外參數(shù)對(duì)照片圖像預(yù)處理；
[0010]所述步驟2)預(yù)處理具體是:根據(jù)內(nèi)外參數(shù)矯正圖像的畸變，使得每張圖像水平對(duì)齊，并且為消除不同光照的影響，矯正圖像的亮度，使得實(shí)時(shí)采集獲得的每幅圖像的平均亮度和亮度均方差一致。
[0011]3)利用雙目相機(jī)采集的兩幅圖像的視差獲得圖像的深度信息:雙目相機(jī)的兩幅圖像灰度化處理后，通過(guò)SGM視差匹配算法處理雙目相機(jī)生成的兩幅圖像進(jìn)行兩幅圖像的深度匹配，獲得視差圖，再利用相機(jī)的內(nèi)部參數(shù)和外部參數(shù)計(jì)算獲得圖像的深度信息；
[0012]4)對(duì)每張圖像進(jìn)行檢測(cè)，獲得人臉位置、雙眼位置、嘴巴位置和雙肩的肩膀位置；
[0013]所述的步驟4)中具體為:
[0014]4.1)通過(guò)機(jī)器學(xué)習(xí)方法檢測(cè)獲得人臉區(qū)域，以人臉區(qū)域的幾何中心作為人臉位置；
[0015]4.2)在人臉區(qū)域內(nèi)，再利用機(jī)器學(xué)習(xí)方法檢測(cè)獲得雙眼區(qū)域和嘴巴區(qū)域，以雙眼區(qū)域和嘴巴區(qū)域的幾何中心分別作為雙眼位置和嘴巴位置；
[0016]所述步驟4.2)中以人臉區(qū)域的上半部分為對(duì)象檢測(cè)獲得雙眼區(qū)域，以人臉區(qū)域的下半部分為對(duì)象檢測(cè)獲得嘴巴區(qū)域。
[0017]4.3)為提高檢出率，利用compressive tracking跟蹤算法對(duì)已檢測(cè)出的人臉位置、雙眼位置和嘴巴位置進(jìn)行跟蹤；
[0018]4.4)利用圖像的深度信息和梯度信息，檢測(cè)獲得肩膀位置。
[0019]所述步驟4.4)具體為:對(duì)整幅圖像進(jìn)行邊緣檢測(cè)，去除邊緣中的直線(xiàn)，保留下來(lái)的邊緣作為GraphCut算法的邊界約束項(xiàng)，以圖像的深度信息作為GraphCut算法的數(shù)據(jù)項(xiàng)，通過(guò)GraphCut算法進(jìn)行全局優(yōu)化提取出人上半身的目標(biāo)區(qū)域并去除背景區(qū)域，由目標(biāo)區(qū)域通過(guò)邊界檢測(cè)獲得上半身人體輪廓線(xiàn)，計(jì)算上半身人體輪廓線(xiàn)下部?jī)蓚?cè)每處的曲率，曲率最大所在的像素點(diǎn)作為人兩肩的肩膀位置；
[0020]5)根據(jù)步驟4)獲得人臉立體位置、雙眼立體位置、嘴巴立體位置和肩膀立體位置獲得頭部的姿態(tài)角、人體上半身的姿態(tài)角和眼睛與閱讀對(duì)象之間的距離；
[0021]所述步驟5)具體包括:由雙眼和嘴巴所在的立體位置構(gòu)成平面，作為頭部的垂直面，再與世界坐標(biāo)相比較進(jìn)而獲得頭部的姿態(tài)角，雙眼和嘴巴所在的立體位置通過(guò)雙眼的位置和嘴巴的位置及其深度信息獲得，姿態(tài)角包括頭部水平旋轉(zhuǎn)姿態(tài)角和頭部俯仰旋轉(zhuǎn)姿態(tài)角。
[0022]由人臉和雙肩的肩膀所在的立體位置構(gòu)成平面，作為人體上半身的垂直面，再與世界坐標(biāo)相比較進(jìn)而獲得人體上半身的姿態(tài)角。
[0023]根據(jù)已知的雙目相機(jī)和閱讀對(duì)象之間的相對(duì)位置結(jié)合雙眼位置的深度信息計(jì)算獲得眼睛與閱讀對(duì)象之間的距離。
[0024]進(jìn)一步地，在所述步驟4)獲得雙眼位置后，對(duì)所述雙目相機(jī)實(shí)時(shí)采集的實(shí)時(shí)圖像中的相鄰幀進(jìn)行差分運(yùn)算，計(jì)算人眼區(qū)域的差分量，從而檢測(cè)眼皮的運(yùn)動(dòng)狀態(tài)，進(jìn)而獲得人眼的眨眼次數(shù)，以人眼的眨眼次數(shù)作為人體坐姿情況的輔助檢測(cè)數(shù)據(jù)。以上作為主要檢測(cè)數(shù)據(jù)。
[0025]根據(jù)圖像的RGB值和雙目相機(jī)的內(nèi)參計(jì)算獲得圖像的色溫，進(jìn)行誤差校準(zhǔn)后作為人處于當(dāng)前環(huán)境光下的色溫，以當(dāng)前環(huán)境光下的色溫作為人體坐姿情況的輔助檢測(cè)數(shù)據(jù)。
[0026]誤差校準(zhǔn)是指利用標(biāo)準(zhǔn)色溫測(cè)量工具測(cè)量真實(shí)環(huán)境的色溫作為基準(zhǔn)，通過(guò)其檢測(cè)結(jié)果進(jìn)行誤差校準(zhǔn)。
[0027]本發(fā)明可進(jìn)一步建立姿態(tài)評(píng)估標(biāo)準(zhǔn)，通過(guò)主要檢測(cè)數(shù)據(jù)輸出坐姿檢測(cè)中頭部?jī)A斜、身體傾斜、眼睛與攝像頭的距離、閱讀對(duì)象的距離、頸椎彎曲程度等準(zhǔn)確參數(shù)結(jié)果，評(píng)估用戶(hù)的坐姿是否正確，結(jié)合閱讀時(shí)間、坐姿，評(píng)估用戶(hù)的疲勞度和專(zhuān)注度，若人坐姿不合適的給予用戶(hù)適當(dāng)?shù)奶嵝?。并且，可將?dāng)前環(huán)境光下的色溫結(jié)合照度計(jì)測(cè)量出的當(dāng)前環(huán)境光亮度，評(píng)估當(dāng)前環(huán)境光下進(jìn)行閱讀是否對(duì)人眼有傷害。
[0028]為了實(shí)現(xiàn)本發(fā)明方法的硬件需要雙目相機(jī)、照度計(jì)和處理器芯片。
[0029]本發(fā)明方法相比現(xiàn)有的圖像式人體坐姿檢測(cè)系統(tǒng)的優(yōu)勢(shì)在于:
[0030]本發(fā)明性?xún)r(jià)比高:只需要雙目相機(jī)和照度計(jì)，而且對(duì)相機(jī)的分辨率、畫(huà)質(zhì)等各方面要求都比較低，因此成本很低，但是本發(fā)明在此基礎(chǔ)上實(shí)現(xiàn)了很多的功能，因此有著很高的性?xún)r(jià)比。
[0031]本發(fā)明無(wú)不良影響:利用相機(jī)作為主要傳感器，可擺放在桌上、掛在墻上等地方，相對(duì)于現(xiàn)有穿戴式的坐姿檢測(cè)系統(tǒng)，本發(fā)明不會(huì)給人帶來(lái)任何身體上的不適感。另外本發(fā)明使用被動(dòng)探測(cè)方式，因此對(duì)人體健康沒(méi)有任何影響。
[0032]本發(fā)明實(shí)時(shí)性強(qiáng):本發(fā)明的算法部分雖然復(fù)雜，但是通過(guò)對(duì)有效區(qū)域進(jìn)行篩選后再計(jì)算，避免了不必要的運(yùn)算量，通過(guò)對(duì)數(shù)據(jù)進(jìn)行壓縮，加快信息的處理速度，基于此，本發(fā)明一秒能處理約十幀圖像。
[0033]魯棒性高:通過(guò)相機(jī)的自動(dòng)曝光控制和算法上對(duì)圖像的亮度進(jìn)行調(diào)整，本發(fā)明對(duì)于普遍的室內(nèi)光照環(huán)境都表現(xiàn)的很好。本發(fā)明有效的利用深度信息，結(jié)合邊界信息，提取視場(chǎng)里的主要目標(biāo)，消除了不同的背景影響，因此適用于復(fù)雜環(huán)境。
[0034]本發(fā)明方法主要應(yīng)用于小孩讀書(shū)和寫(xiě)字的近視保護(hù)、白領(lǐng)辦公工作的頸椎腰椎保護(hù)等場(chǎng)景。
【附圖說(shuō)明】
[0035]圖1是本發(fā)明方法的流程圖。
[0036]圖2是人臉、雙眼、嘴巴檢測(cè)結(jié)果圖。其中綠色矩形框代表人臉?biāo)趨^(qū)域，藍(lán)色矩形框代表眼睛所在區(qū)域，紅色矩形框代表嘴巴所在區(qū)域。
[0037]圖3是人體上半身的提取結(jié)果圖。
[0038]圖4是人體上半身的輪廓線(xiàn)和肩膀檢測(cè)的結(jié)果，輪廓端點(diǎn)的灰色點(diǎn)群代表計(jì)算曲率的起點(diǎn)，曲線(xiàn)上的另外兩個(gè)灰色點(diǎn)群代表肩膀位置。
[0039]具體實(shí)現(xiàn)方式
[0040]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0041 ]如圖1所示，本發(fā)明的實(shí)施例如下:
[0042]1.深度信息獲取
[0043]利用張正友標(biāo)定法對(duì)雙目相機(jī)進(jìn)行標(biāo)定，獲得相機(jī)的內(nèi)外參數(shù)。根據(jù)內(nèi)外參數(shù)矯正每一幅圖像的畸變、實(shí)現(xiàn)水平和旋轉(zhuǎn)對(duì)齊，其中圖像畸變包括徑向畸變和切向畸變。為消除不同環(huán)境光照的影響，對(duì)實(shí)時(shí)采集獲得的每幀圖像都進(jìn)行亮度矯正，使得每幀圖像平均亮度和亮度均方差一致。經(jīng)過(guò)上述處理以后，利用SGM視差匹配算法獲得雙目相機(jī)輸出的左右兩幅圖的視差，結(jié)合相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，計(jì)算圖像的深度信息，即深度圖。
[0044]2.檢測(cè)人臉、雙眼、嘴巴、肩膀位置
[0045]通過(guò)機(jī)器學(xué)習(xí)的方法檢測(cè)人臉、雙眼和嘴巴的位置，檢測(cè)結(jié)果如圖2所示。
[0046]以人臉檢測(cè)為例，采集了18000個(gè)20x20像素的正樣本的Haar-1ike特征，另外從30000個(gè)50x50像素的負(fù)樣本隨機(jī)采集Haar-1ike特征，再將這些特征用來(lái)訓(xùn)練形成一個(gè)20級(jí)的Adaboost級(jí)聯(lián)分類(lèi)器，達(dá)到理想的分類(lèi)效果。為了提高檢出率，在識(shí)別的過(guò)程中，對(duì)進(jìn)行了 I?2倍的縮放，并對(duì)圖像進(jìn)行-15°?15°之間進(jìn)行旋轉(zhuǎn)。為了彌補(bǔ)分類(lèi)器有時(shí)不能正確識(shí)別目標(biāo)的缺點(diǎn)，實(shí)施例利用Compressive tracking跟蹤算法對(duì)已檢測(cè)出的目標(biāo)進(jìn)行跟足示O
[0047]由于肩膀缺少可靠的紋理信息，因此難以通過(guò)機(jī)器學(xué)習(xí)的方法檢測(cè)肩膀的位置，實(shí)施例利用圖像中物體的邊界信息和深度圖，通過(guò)GraphCut算法獲得人體輪廓。為了獲得圖像中的物體的邊界，將圖像從RGB色彩空間轉(zhuǎn)化為HSV色彩空間，并對(duì)三個(gè)H、S、V這三個(gè)通道分別進(jìn)行Canny邊界檢測(cè)，將這三個(gè)通道邊界信息進(jìn)行相加融合獲得輪廓圖。Canny邊界檢測(cè)除了能檢測(cè)人體的輪廓，也會(huì)檢測(cè)其它物體的輪廓，而這些輪廓是不需要的，因此需要剔除。
[0048]此外，Canny邊界檢測(cè)出的人體輪廓線(xiàn)也可能不完整?？紤]到人體的輪廓線(xiàn)為非直線(xiàn)，因此將輪廓圖中的直線(xiàn)直接剔除。通過(guò)對(duì)深度圖進(jìn)行閾值分割，可以獲得人體上半身的主干部分，但由于深度圖本身不完全正確，因此通過(guò)閾值分割獲得的人體上半身的主干部分存在缺失或者多余。
[0049]實(shí)施例通過(guò)把邊界檢測(cè)的結(jié)果作為Graphcut算法的邊界約束項(xiàng)，將閾值分割的結(jié)果作為Graphcut算法的數(shù)據(jù)項(xiàng)，通過(guò)mincut算法進(jìn)行全局優(yōu)化，獲得既基本符合邊界檢測(cè)結(jié)果又基本符合閾值分割結(jié)果的人體上半身的區(qū)域，如圖3所示。對(duì)人體上半身的區(qū)域圖像再次進(jìn)行邊界檢測(cè)獲得人體上半身輪廓線(xiàn)，如圖4所示。計(jì)算輪廓線(xiàn)上下部?jī)蓚?cè)的每個(gè)點(diǎn)的曲率，曲率最大所在的像素點(diǎn)作為人兩肩的肩膀位置?？紤]到輪廓線(xiàn)可能不光滑，存在奇異點(diǎn)，因此對(duì)曲率進(jìn)按空間關(guān)系進(jìn)行了平滑濾波。
[0050]獲得了人臉、雙眼、嘴巴和肩膀在圖像中的位置后，結(jié)合深度信息以及相機(jī)的內(nèi)外參數(shù)，可計(jì)算獲得人臉、雙眼、嘴巴和肩膀相對(duì)于相機(jī)中心的立體位置。
[0051 ] 3.評(píng)估人體坐姿
[0052]由雙眼和嘴巴所在的立體位置構(gòu)成平面，作為頭部的垂直面，再與世界坐標(biāo)相比較進(jìn)而獲得頭部的姿態(tài)角，姿態(tài)角包括頭部水平旋轉(zhuǎn)姿態(tài)角和頭部俯仰旋轉(zhuǎn)姿態(tài)角。由人臉和雙肩的肩膀所在的立體位置構(gòu)成平面，作為人體上半身的垂直面，再與世界坐標(biāo)相比較進(jìn)而獲得人體上半身的姿態(tài)角。根據(jù)已知的雙目相機(jī)和閱讀對(duì)象之間的相對(duì)位置結(jié)合雙眼位置的深度信息計(jì)算獲得眼睛與閱讀對(duì)象之間的距離。當(dāng)頭部的姿態(tài)角與理想頭部姿態(tài)角偏離角度大于10°，或者人體上半身的姿態(tài)角與理想的上半身姿態(tài)角偏離角度大于10°，判定坐姿不正確。當(dāng)眼睛距離閱讀對(duì)象的距離小于28cm時(shí)，判定為閱讀距離過(guò)近。當(dāng)坐姿不正確時(shí)，給予用戶(hù)適當(dāng)提醒。
[0053]4.疲勞度、專(zhuān)注度評(píng)估
[0054]人的眨眼頻率反映了人眼的干澀程度，因此可以作為判斷疲勞度的指標(biāo)之一，實(shí)施例利用幀間差分算法檢測(cè)是否眨眼。當(dāng)人眨眼時(shí)，眼皮會(huì)發(fā)生運(yùn)動(dòng)，前后圖像的眼皮位置的R、G、B值會(huì)發(fā)生較大的變化，因此通過(guò)對(duì)相鄰幀圖像進(jìn)行差分檢測(cè)到眼皮的運(yùn)動(dòng)，從而判斷是否發(fā)生眨眼，進(jìn)而統(tǒng)計(jì)人眼的眨眼頻率。
[0055]根據(jù)用戶(hù)的眨眼頻率結(jié)合用戶(hù)當(dāng)前的閱讀時(shí)間，評(píng)估用戶(hù)的疲勞度。當(dāng)用戶(hù)的閱讀時(shí)間較長(zhǎng)時(shí)，如果用戶(hù)的在近段時(shí)間的眨眼頻率高于之前的眨眼頻率，則判斷用戶(hù)已經(jīng)進(jìn)入疲勞狀態(tài)，給予用戶(hù)適當(dāng)提醒。
[0056]根據(jù)用戶(hù)長(zhǎng)時(shí)間的坐姿評(píng)估用戶(hù)的專(zhuān)注程度。當(dāng)用戶(hù)在閱讀時(shí)，動(dòng)作越頻繁，則認(rèn)定用戶(hù)的專(zhuān)注程度越低。
[0057]5.亮度、色溫檢測(cè)
[0058]利用相機(jī)的內(nèi)部參數(shù)和每幀圖像各像素點(diǎn)的R、G、B值，計(jì)算當(dāng)前環(huán)境光的色溫，以標(biāo)準(zhǔn)色溫測(cè)量工具檢測(cè)結(jié)果作為基準(zhǔn)，進(jìn)行誤差校準(zhǔn)。結(jié)合照度計(jì)測(cè)量出的當(dāng)前環(huán)境光亮度，評(píng)估在當(dāng)前環(huán)境光下進(jìn)行閱讀是否對(duì)人眼有傷害。實(shí)施例以400?700勒克斯作為適合閱讀的照度判斷標(biāo)準(zhǔn)，4000?4800k作為適合閱讀的色溫判斷標(biāo)準(zhǔn)。
[0059]由此可見(jiàn)，本發(fā)明實(shí)施例在多種光照環(huán)境情況下和相機(jī)距離人體不同遠(yuǎn)近的情況下進(jìn)行了實(shí)施，結(jié)果表明可準(zhǔn)確地獲得人臉、雙眼、嘴巴和肩膀位置，正確提取人體上半身輪廓，準(zhǔn)確統(tǒng)計(jì)眨眼次數(shù)。
[0060]考慮到復(fù)雜背景對(duì)人體上半身輪廓的提取有影響，本發(fā)明實(shí)施例在多種復(fù)雜背景情況下進(jìn)行了實(shí)施，可正確地提取人體輪廓。此外，考慮到佩戴眼鏡對(duì)人臉和眼睛檢測(cè)有影響，本發(fā)明實(shí)施例在佩戴眼鏡和不佩戴眼鏡的情況下進(jìn)行了實(shí)施，結(jié)果表明在不佩戴眼鏡的情況下，本發(fā)明可準(zhǔn)確無(wú)誤地檢測(cè)人臉和眼睛，在佩戴眼鏡的情況下，本發(fā)明可準(zhǔn)確無(wú)誤的檢測(cè)人臉，但是人眼檢測(cè)的誤檢率較高。
【主權(quán)項(xiàng)】
1.一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于包括以下步驟: 1)對(duì)雙目相機(jī)進(jìn)行標(biāo)定，通過(guò)張正友標(biāo)定法獲得雙目相機(jī)的內(nèi)外參數(shù)； 2)通過(guò)雙目相機(jī)實(shí)時(shí)采集上半身人正面的照片圖像，通過(guò)雙目相機(jī)的內(nèi)外參數(shù)對(duì)照片圖像預(yù)處理； 3)利用雙目相機(jī)采集的兩幅圖像的視差獲得圖像的深度信息:雙目相機(jī)的兩幅圖像灰度化處理后，通過(guò)SGM視差匹配算法處理雙目相機(jī)生成的兩幅圖像進(jìn)行兩幅圖像的深度匹配，獲得視差圖，再利用相機(jī)的內(nèi)部參數(shù)和外部參數(shù)計(jì)算獲得圖像的深度信息； 4)對(duì)每張圖像進(jìn)行檢測(cè)，獲得人臉位置、雙眼位置、嘴巴位置和雙肩的肩膀位置； 5)根據(jù)步驟4)獲得人臉立體位置、雙眼立體位置、嘴巴立體位置和肩膀立體位置獲得頭部的姿態(tài)角、人體上半身的姿態(tài)角和眼睛與閱讀對(duì)象之間的距離。2.根據(jù)權(quán)利要求1所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:所述步驟2)預(yù)處理具體是:根據(jù)內(nèi)外參數(shù)矯正照片圖像的畸變，使得每張圖像水平對(duì)齊，并且矯正圖像的亮度，使得實(shí)時(shí)采集獲得的每幅圖像的平均亮度和亮度均方差一致。3.根據(jù)權(quán)利要求1所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:所述的步驟4)具體為: 4.1)通過(guò)機(jī)器學(xué)習(xí)方法檢測(cè)獲得人臉區(qū)域，以人臉區(qū)域的幾何中心作為人臉位置； 4.2)在人臉區(qū)域內(nèi)，再利用機(jī)器學(xué)習(xí)方法檢測(cè)獲得雙眼區(qū)域和嘴巴區(qū)域，以雙眼區(qū)域和嘴巴區(qū)域的幾何中心分別作為雙眼位置和嘴巴位置； 所述步驟4.2)中以人臉區(qū)域的上半部分為對(duì)象檢測(cè)獲得雙眼區(qū)域，以人臉區(qū)域的下半部分為對(duì)象檢測(cè)獲得嘴巴區(qū)域。 4.3)利用compressivetracking跟蹤算法對(duì)已檢測(cè)出的人臉區(qū)域、雙眼區(qū)域和嘴巴區(qū)域進(jìn)行跟蹤； 4.4)利用圖像的深度信息和梯度信息，檢測(cè)獲得肩膀位置。4.根據(jù)權(quán)利要求3所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:所述步驟4.4)具體為:對(duì)整幅圖像進(jìn)行邊緣檢測(cè)，去除邊緣中的直線(xiàn)，保留下來(lái)的邊緣作為GraphCut算法的邊界約束項(xiàng)，以圖像的深度信息作為GraphCut算法的數(shù)據(jù)項(xiàng)，通過(guò)GraphCut算法進(jìn)行全局優(yōu)化提取出人上半身的目標(biāo)區(qū)域并去除背景區(qū)域，由目標(biāo)區(qū)域通過(guò)梯度檢測(cè)獲得上半身人體輪廓線(xiàn)，計(jì)算上半身人體輪廓線(xiàn)下部?jī)蓚?cè)每處的曲率，曲率最大所在的像素點(diǎn)作為人兩肩的肩膀位置。5.根據(jù)權(quán)利要求1所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:所述步驟5)具體包括:由雙眼位置和嘴巴位置所在的立體位置構(gòu)成平面，作為頭部的垂直面，進(jìn)而獲得頭部的姿態(tài)角；由人臉位置和雙肩的肩膀位置所在的立體位置構(gòu)成平面，作為人體上半身的垂直面，進(jìn)而獲得人體上半身的姿態(tài)角;根據(jù)已知的雙目相機(jī)和閱讀對(duì)象之間的相對(duì)位置結(jié)合雙眼位置的深度信息計(jì)算獲得眼睛與閱讀對(duì)象之間的距離。6.根據(jù)權(quán)利要求1所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:在所述步驟4)獲得雙眼位置后，對(duì)所述雙目相機(jī)實(shí)時(shí)采集的圖像利用幀間差分算法檢測(cè)眼皮的運(yùn)動(dòng)狀態(tài)，進(jìn)而獲得人眼的眨眼次數(shù)，以人眼的眨眼次數(shù)作為人體坐姿情況的輔助檢測(cè)數(shù)據(jù)。7.根據(jù)權(quán)利要求1所述的一種基于雙目相機(jī)的實(shí)時(shí)人體坐姿情況檢測(cè)方法，其特征在于:根據(jù)圖像的RGB值和雙目相機(jī)的內(nèi)參計(jì)算獲得圖像的色溫，進(jìn)行誤差校準(zhǔn)后作為人處于當(dāng)前環(huán)境光下的色溫，以當(dāng)前環(huán)境光下的色溫作為人體坐姿情況的輔助檢測(cè)數(shù)據(jù)。
【文檔編號(hào)】G06T7/00GK106022304SQ201610394250
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年6月3日
【發(fā)明人】林龍慶, 汪凱巍, 楊?lèi)饌?
【申請(qǐng)人】浙江大學(xué)