基于立體視覺的自動(dòng)人體跌倒識(shí)別方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺處理技術(shù)領(lǐng)域，特別是涉及一種基于立體視覺的自動(dòng)人體 跌倒識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 已有的基于視覺傳感器的人體跌倒系統(tǒng)是通過一個(gè)或多個(gè)視頻攝像頭捕捉人體 運(yùn)動(dòng)的畫面，經(jīng)過各自的圖像處理算法，驗(yàn)證是否存在跌倒特征的圖像，從而識(shí)別出人體跌 倒的發(fā)生。已有的人體跌倒識(shí)別技術(shù)通?；谝韵聨追N方案：?jiǎn)螖z像頭系統(tǒng)和多攝像頭系 統(tǒng)。單攝像頭系統(tǒng)通常依賴于從輪廓中提取出來的圖像空間特征，比如邊界盒子縱橫比。多 攝像頭系統(tǒng)并不單單依靠這些抽象特征，比如這種系統(tǒng)可以判定從多重投影中構(gòu)造出的三 維物體的速率。
[0003] 但是，上述兩種傳統(tǒng)的技術(shù)有很多的限制。例如，上述識(shí)別方法都是要先獲取人體 輪廓，然后提取出輪廓特征，用該特征對(duì)分類器進(jìn)行訓(xùn)練。但是，提取人體輪廓特征時(shí)，由于 需要用混合高斯模型對(duì)環(huán)境背景建模，然后用背景加法獲取人體前景圖像，這種方法由于 光照和場(chǎng)景的變化通常得不到理想的效果。另外人體跌倒識(shí)別的關(guān)鍵點(diǎn)是特征的選擇，由 于人體姿態(tài)的多樣性，這些方法用到的邊界盒子縱橫比等特征受到了嚴(yán)重的現(xiàn)在，因此尋 找適合人體動(dòng)作的特征也極其重要。最后，在多個(gè)攝像頭系統(tǒng)中，最復(fù)雜的任務(wù)往往變成了 安裝和校準(zhǔn)攝像頭，保證他們?cè)谙嗤膮⒖枷抵?，這種任務(wù)開銷隨著系統(tǒng)的復(fù)雜性而大大 增加。
[0004] 基于以上這些缺陷和限制，本發(fā)明提出了一種基于立體視覺攝像頭的人體跌倒識(shí) 別技術(shù)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中存在的由于實(shí)現(xiàn)技術(shù)受限于攝像頭缺陷影響、單 攝像頭系統(tǒng)提取準(zhǔn)確的圖像特征十分困難、多攝像頭系統(tǒng)安裝和配置起來十分的復(fù)雜，而 且隨著外界環(huán)境的變化，比如光線的強(qiáng)弱變化，對(duì)這些系統(tǒng)的影響很大等，導(dǎo)致這些已有的 系統(tǒng)在現(xiàn)實(shí)中很難被應(yīng)用的問題，而提供一種基于立體視覺的自動(dòng)人體跌倒識(shí)別方法及系 統(tǒng)
[0006] 為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明提供了一種基于立體視覺的自動(dòng)人體跌倒識(shí)別方 法，所述方法包括如下步驟：
[0007] 步驟一，通過立體視覺攝像頭，采集識(shí)別對(duì)象動(dòng)作的深度圖像和3D空間圖像；
[0008] 步驟二，從所述深度圖像和3D空間圖像中提取人體輪廓的曲率空間特征；
[0009] 步驟三，從所述人體輪廓的曲率空間特征中分析并構(gòu)建CSS特征圖；
[0010] 步驟四，使用詞包CSS模型（BoWCSS)來創(chuàng)建了一種一致性的動(dòng)作表示方法；
[0011] 步驟五，使用極限學(xué)習(xí)機(jī)（ELM)來對(duì)所有的詞包CSS模型進(jìn)行分類，用以區(qū)分跌倒 動(dòng)作和其它動(dòng)作。
[0012] 相應(yīng)地，本發(fā)明還提供了一種基于立體視覺的自動(dòng)人體跌倒識(shí)別系統(tǒng)，包括圖像 采集裝置和數(shù)據(jù)處理裝置，
[0013] 所述圖像采集裝置為立體視覺景深攝像頭，其用于采集識(shí)別對(duì)象動(dòng)作的深度圖像 和3D空間圖像；
[0014] 所述數(shù)據(jù)處理裝置包括人體輪廓的曲率空間特征提取模塊、構(gòu)建CSS特征圖模 塊、動(dòng)作表示方法創(chuàng)建模塊、ELM分類模塊，
[0015] 所述人體輪廓的曲率空間特征提取模塊用于從所述深度圖像和3D空間圖像中提 取人體輪廓的曲率空間特征；
[0016] 所述構(gòu)建CSS特征圖模塊用于從所述人體輪廓的曲率空間特征中分析并構(gòu)建CSS 特征圖；
[0017] 所述動(dòng)作表示方法創(chuàng)建模塊用于使用詞包CSS模型（BoWCSS)來創(chuàng)建了一種一致 性的動(dòng)作表示方法；
[0018] 所述ELM分類模塊用于使用極限學(xué)習(xí)機(jī)（ELM)來對(duì)所有的詞包CSS模型進(jìn)行分 類，用以區(qū)分跌倒動(dòng)作和其它動(dòng)作。
[0019] 與現(xiàn)有技術(shù)相比，本發(fā)明可以在降低攝像頭安裝成本和復(fù)雜性的條件下，提高人 體跌倒識(shí)別的準(zhǔn)確率。
【附圖說明】
[0020] 圖1為本發(fā)明方法第一流程圖；
[0021 ]圖2為本發(fā)明系統(tǒng)模塊圖；
[0022] 圖3為本發(fā)明方法第二流程圖；
【具體實(shí)施方式】
[0023] 以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述 的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0024] 本發(fā)明提出了一種新的基于立體視覺（比如應(yīng)用MicrosoftKinect景深攝像頭） 的人體跌倒識(shí)別系統(tǒng)。本技術(shù)可以在降低攝像頭安裝成本和復(fù)雜性的條件下，提高人體跌 倒識(shí)別的準(zhǔn)確率。基于本技術(shù)的人體跌倒識(shí)別系統(tǒng)，讓人體跌倒識(shí)別可以廣泛應(yīng)用到家庭 扶助或護(hù)理系統(tǒng)中。本發(fā)明基于立體視覺景深攝像頭，這種攝像頭有兩個(gè)深度傳感器，一個(gè) 紅外線發(fā)射器，一個(gè)紅外線接收器，可以用來識(shí)別目標(biāo)的相對(duì)位置。利用這種攝像頭可以得 到深度圖像和3D空間圖像。這種深度數(shù)據(jù)可以簡(jiǎn)單地理解為一個(gè)特殊的圖像，但是其每個(gè) 像素的數(shù)據(jù)不是普通的圖片的像素值，而是這個(gè)像素的位置距離攝像頭的距離。因此，無論 環(huán)境光線如何變化，測(cè)量結(jié)果都不會(huì)受到干擾。另外，我們還融合了 2種計(jì)算機(jī)視覺的技 術(shù)：跌倒的形態(tài)特征提取和區(qū)分日常活動(dòng)與跌倒的學(xué)習(xí)分類器。采用這種技術(shù)，我們不需要 設(shè)置多個(gè)攝像頭來識(shí)別三維物體的速率，從而還降低了安裝和配置的復(fù)雜度。
[0025] 使用本發(fā)明時(shí)，將立體視覺攝像頭安裝在墻壁之上，讓整個(gè)房間處于攝像頭的監(jiān) 視范圍之內(nèi)。房間內(nèi)人物的動(dòng)作視頻自動(dòng)的被摔倒識(shí)別系統(tǒng)分析。當(dāng)房內(nèi)人物摔倒在地 時(shí)，識(shí)別系統(tǒng)可根據(jù)上述描述的技術(shù)自動(dòng)識(shí)別出人員是否摔倒。如果判斷為真（摔倒），本 摔倒識(shí)別系統(tǒng)檢測(cè)人員的摔倒時(shí)間，若超出閾值，給出語音提示，若該人員仍無反應(yīng)，立即 發(fā)送警報(bào)給用戶登陸的mobile，并通知急救中心。
[0026] 如圖1、圖3所示，為本發(fā)明的方法流程圖：
[0027] 包括如下步驟：
[0028] 步驟一，通過立體視覺攝像頭，采集識(shí)別對(duì)象動(dòng)作的深度圖像和3D空間圖像；
[0029] 步驟二，從所述深度圖像和3D空間圖像中提取人體輪廓的曲率空間特征；
[0030] 步驟三，從所述人體輪廓的曲率空間特征中分析并構(gòu)建CSS特征圖；
[0031] 步驟四，使用詞包CSS模型（BoWCSS)來創(chuàng)建了一種一致性的動(dòng)作表示方法；
[0032] 步驟五，使用極限學(xué)習(xí)機(jī)（ELM)來對(duì)所有的詞包CSS模型進(jìn)行分類，用以區(qū)分跌倒 動(dòng)作和其它動(dòng)作。
[0033] 步驟六，使用多長度極小群適應(yīng)算法優(yōu)化隱藏神經(jīng)元的數(shù)量。
[0034] 需要說明的是，本發(fā)明方法優(yōu)選以下方式實(shí)施：
[0035] 從所述深度圖像和3D空間圖像中提取人體輪廓的曲率空間特征，具體包括：
[0036] 人體輪廓是封閉的平面曲線。曲率尺度空間表示描述了不同尺度水平下的平面曲 線的不變特征。尺度C表示為：
[0037] C (u) = (X (u)，y (U))
[0038] 其中參數(shù)u表示弧長。u處的曲率定義為：
[0039]
[0040] 考慮在尺度σ下對(duì)曲線的卷積，我們將曲率定義為：
[0041 ]
[0042] C。當(dāng)k(u，〇) =0的點(diǎn)，為曲線的興趣點(diǎn)。這些點(diǎn)稱為零交叉點(diǎn)ΖΡ。符號(hào)又負(fù) 變?yōu)檎腪P點(diǎn)表示為ZP+，它表示了凹陷的開始點(diǎn)。相反地，曲率符號(hào)有正變?yōu)樨?fù)的ZP點(diǎn) 表示為ZP-，它表示凸起的開始點(diǎn)或凹陷的結(jié)束點(diǎn)。對(duì)于閉合的曲線，ZP+和ZP-總是成對(duì) 出現(xiàn)。兩個(gè)點(diǎn)之前的曲線部分時(shí)凹陷（ZP+，ZP_)或凸起（ZP-，ZP+);利用由寬度為O的高 斯核函數(shù)對(duì)所述人體輪廓的平面曲線進(jìn)行卷積計(jì)算，得到尺度σ下的平滑曲線，獲取所述 平滑曲線的CSS圖，采用如下方法進(jìn)行：C。的ZPs位置是由不同的尺度確定。本過程從 〇 =1開始，尺度每次增加 A 〇，計(jì)算每個(gè)尺度〇下的ZPs。隨著〇的增大，收縮并變得更 加平滑，而且輪廓上的ZPs變少。最終當(dāng)σ足夠大時(shí)，將變?yōu)橐粋€(gè)沒有ZPs的凸曲線。如 果把所有的ZPs放到（u， 〇)平面上，就形成了一個(gè)二值圖，該二值圖稱為曲線的CSS圖，水 平軸為u，垂直軸為〇。在CSS圖中，每個(gè)水平線與輪廓的交點(diǎn)表示相應(yīng)卷積曲線上的ZPs 的位置。隨著曲線變得更為平滑，曲線上的凸起部分或凹陷部分的成對(duì)ZPs相互靠近，從而 構(gòu)成了該CSS圖，所述CSS圖輪廓頂點(diǎn)坐標(biāo)表示了人體輪廓相應(yīng)的凹陷部分或凸起部分的 位置和深度，這些點(diǎn)是表示輪廓的穩(wěn)定點(diǎn)，當(dāng)兩個(gè)點(diǎn)重合后，重合點(diǎn)表示了相關(guān)聯(lián)的輪廓的 最大值位置。CSS圖中輪廓的高度反映了輪廓凹陷或凸起的深度和尺度。因此CSS圖輪廓 頂點(diǎn)坐標(biāo)（u，0)表示了人體輪廓相應(yīng)的凹陷或凸起的位置和深度，這些點(diǎn)是表示輪廓的 穩(wěn)定點(diǎn)。
[0043] 步驟四使用詞包CSS模型（BoWCSS)來創(chuàng)建了一種一致性的動(dòng)作表示方法，包括： 根據(jù)權(quán)利要求3所述的基于立體視覺的自動(dòng)人體跌倒識(shí)別方法，其特征在于，所述詞包CSS 模型建立的步驟，具體包括：將每個(gè)CSS頂點(diǎn)作為一個(gè)單詞，而已用其歸一化的弧長ω和 尺度σ作為特征，因此每個(gè)視頻序列是這些單詞的總和；通過集合所有訓(xùn)練視頻序列的頂 點(diǎn)，采用k-means聚類方法對(duì)所有的特征向量（ω， 〇 )進(jìn)行聚類并創(chuàng)建密碼本，每個(gè)類別的 聚類中心就是一個(gè)單詞，用該單詞來代表相似的特征向量；然后，通過聚類過程，將收集的 視頻片段映射到一個(gè)密碼本，根據(jù)單詞出現(xiàn)的頻率構(gòu)建單詞直方圖，該單詞直方圖用來表 示視頻動(dòng)作特征，而這個(gè)單詞直方圖就是所構(gòu)建的詞包，根據(jù)單詞直方圖的匹配就可以進(jìn) 行特定動(dòng)作的檢測(cè)。
[0044] 步驟五使用極限學(xué)習(xí)機(jī)（ELM)來對(duì)所有詞包CSS模型進(jìn)行分類，用以區(qū)分跌倒動(dòng) 作和其它動(dòng)作，具體包括：ELM是前向反饋式神經(jīng)網(wǎng)絡(luò)，它有兩個(gè)特點(diǎn)。首先，由于其單隱層 結(jié)構(gòu)，所以可以對(duì)ELM進(jìn)行快速訓(xùn)練。其次，因?yàn)橹挥须[層節(jié)點(diǎn)權(quán)重需要調(diào)整，所以導(dǎo)致ELM 的通用性非常好。人體跌倒識(shí)別需要對(duì)各種跌倒動(dòng)作進(jìn)行分類，而且需要將跌倒動(dòng)作和其 他動(dòng)作進(jìn)行區(qū)分。為了用較小的數(shù)據(jù)集進(jìn)行快速的訓(xùn)練，我們選擇應(yīng)用極限學(xué)習(xí)機(jī)。給定 N個(gè)不同標(biāo)號(hào)的樣本，給定一組樣本Xj和它們的標(biāo)簽t j，含有L個(gè)隱節(jié)點(diǎn)的ELM被建模為：
[0045]
[0046] 其中g(shù)(x)是ELM的激活函數(shù)。CO1表示輸入節(jié)點(diǎn)和第i個(gè)隱節(jié)點(diǎn)之間的連接權(quán)重 向量，β i表示第i個(gè)隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的連接權(quán)重向量。b i是作用于第i個(gè)隱節(jié)點(diǎn)的 閾值。以矩陣方式重新上述方程，我們得到ELM的隱層輸出矩陣H :
[0047]
[0048] 矩陣H的第i列是第i個(gè)隱節(jié)點(diǎn)相對(duì)于輸入X1，…，Xn的輸出。方程的最小二乘 解為誃：爐!*;其中麥為H Moore-Penrose逆矩陣。權(quán)重ω;，…，〇^和閾值I3l，…，bL是 由ELM隨機(jī)分配的。為了使得#· :有意義，我們?cè)O(shè)定L彡N。
[0049] 步驟六為了顧及這個(gè)學(xué)習(xí)機(jī)對(duì)于參數(shù)的敏感性，我們使用一種多長度極小群適應(yīng) 算法去優(yōu)化隱藏神經(jīng)元的數(shù)量；<