一種基于全局期望最大算法的手勢分割方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人機(jī)交互圖像信息處理技術(shù)領(lǐng)域，更具體地，涉及一種基于全局期望 最大算法的手勢分割方法及系統(tǒng)。
【背景技術(shù)】
[0002] 基于圖像信息的生物特征識別是近年來計(jì)算機(jī)視覺研究中的一個(gè)熱點(diǎn)，其中，針 對人類生物特征的識別不可避免地成為了主要研究內(nèi)容，進(jìn)一步地，手勢識別研究是人類 生物特征識別的重要研究內(nèi)容，它主要從圖像數(shù)據(jù)中分割、跟蹤和識別出不同的手勢，并對 其加以描述和理解。手勢識別技術(shù)源于數(shù)字圖像處理與機(jī)器學(xué)習(xí)算法的研究，而手勢分割 是手勢識別研究流水線的基礎(chǔ)和先導(dǎo)，對最終的手勢識別結(jié)果有決定性影響。
[0003] 手勢分割是指把屬于手勢的像素點(diǎn)與不屬于手勢的像素點(diǎn)區(qū)分開來，手勢分割的 重要性在于把屬于手勢的像素點(diǎn)傳遞給手勢跟蹤和識別階段，保證后續(xù)研究的收斂性。為 了實(shí)現(xiàn)手勢分割，首先需要選擇一個(gè)合適的顏色空間對顏色進(jìn)行建模，目前常用的顏色空 間包括RGB、歸一化RGB、HSV、YCrCb、YUV等。由于要盡可能地避免環(huán)境光照和陰影的不利 影響，使手勢分割具備一定的魯棒性，在顏色空間的選擇上一般遵循一個(gè)通用的原則，即能 把色度和亮度較好地分離開來的顏色空間更有利于基于膚色的分割研究。
[0004] 顏色空間確定之后，還需要進(jìn)一步確定膚色在該顏色空間中的分布情況，即在顏 色空間中對膚色進(jìn)行建模。一般使用高斯概率密度函數(shù)估計(jì)像素點(diǎn)為膚色點(diǎn)的概率，以海 量圖像集合為訓(xùn)練數(shù)據(jù)，且每個(gè)圖像中標(biāo)注出了膚色像素點(diǎn)和非膚色像素點(diǎn)。具體的模型 訓(xùn)練過程為在某個(gè)特定的顏色空間中標(biāo)注出每個(gè)膚色像素點(diǎn)所在的位置，如果膚色像素點(diǎn) 足夠多的話，就可以最終得到一個(gè)近似高斯分布的膚色直方圖，從而進(jìn)一步得到高斯分布 的均值和方差等參數(shù)，從而成功建立膚色的高斯模型。對于膚色的高斯模型而言，對其輸入 任意像素點(diǎn)，輸出為該像素點(diǎn)膚色點(diǎn)的可能性。對高斯模型中的各個(gè)參數(shù)的求解，多采用期 望最大（ExpectationMaximization,EM)算法。EM算法是求參數(shù)極大似然估計(jì)的一種迭代 優(yōu)化策略，它能從非完整數(shù)據(jù)集中對參數(shù)進(jìn)行極大似然估計(jì)，是一種簡單實(shí)用的學(xué)習(xí)算法。
[0005] 但是在傳統(tǒng)的計(jì)算機(jī)視覺領(lǐng)域手勢分割問題中，仍凸顯出很多問題，如分割易受 干擾、EM算法難以獲得全局最優(yōu)解等，由于實(shí)際環(huán)境背景的復(fù)雜性，再考慮到背景可能發(fā)生 光照、陰影等變化，除了背景外還存在類膚色物體的干擾，比如當(dāng)人臉和手勢同時(shí)出現(xiàn)在圖 像中時(shí)，通過膚色很難將二者區(qū)分開來，因而很可能出現(xiàn)誤判。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于全局期望最大算法 的手勢分割方法及系統(tǒng)，以建立全局最優(yōu)EM算法為切入點(diǎn)，以融合深度數(shù)據(jù)為手段，采用 全局極大值搜索等方法，建立3D-S空間模型，進(jìn)而生成可比較的數(shù)學(xué)描述，實(shí)現(xiàn)兩種模型 融合的基礎(chǔ)，為不同模態(tài)數(shù)據(jù)之間的融合提供一種新的依據(jù)。
[0007] 為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于全局期望最大算法的 手勢分割方法，其特征在于，包括如下步驟：
[0008] (1)在YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模型；
[0009] (2)將待分割圖像的所有像素點(diǎn)的像素值代入膚色的高斯模型，得到待分割圖像 的所有像素點(diǎn)的膚色相似度，其中，膚色相似度是指像素點(diǎn)為膚色點(diǎn)的概率；
[0010] (3)根據(jù)待分割圖像的深度信息及其中所有像素點(diǎn)的膚色相似度，得到由三維空 間中各點(diǎn)及其膚色相似度組成的四維空間模型；
[0011] 所述四維空間模型以四維空間超曲面表示如下：
[0013] 其中，hh，x2,x3)表示三維空間中坐標(biāo)為（χ^x2,x3)的點(diǎn)的膚色相似度，叉2和 x3分別為三維空間中的點(diǎn)在三個(gè)維度上的坐標(biāo)，a。、a2、a3、a4、ajPa6均為已知系數(shù)；
[0014] ⑷將四維空間模型劃分為多個(gè)子空間，在每個(gè)子空間中，構(gòu)建評價(jià)超曲面擬合效 果的損失函數(shù)，利用梯度下降法使損失函數(shù)最小，得到子空間的四維空間超曲面，最后按照 梯度上升的方向得到各子空間的四維空間超曲面的極大值；
[0015] (5)將步驟⑷得到的各子空間的四維空間超曲面的極大值作為初值，分別進(jìn)行 EM算法迭代，將期望最大的子空間的四維空間超曲面的初始極大值作為手勢分割結(jié)果。
[0016] 優(yōu)選地，所述步驟（4)中，損失函數(shù)為： 降法，根據(jù)如下遞推公式調(diào)整A的值：A=A-λ▽AJ(A)，使J㈧取得最小值J㈧_，利用J(A)min對應(yīng)的A值確定子空間的四維空間超曲面，其中，A= (a。aia2a3a4a5a6)T，s(1)表 示子空間中第i個(gè)點(diǎn)的實(shí)際膚色相似度，表示X。由超曲面擬合計(jì)算得到的膚色 相似度，m為子空間中點(diǎn)的個(gè)數(shù)，VA表示A的梯度，λ為步長。
[0017] 優(yōu)選地，所述步驟（1)中，膚色的高斯模型如下：
[0018] pc(x) =aCrg(x,μ&, 5Cr) +acbg(x,μcb,δcb),
[0019] 其中，ρ?表示像素點(diǎn)為膚色點(diǎn)的概率，a&表示Cr分量在顏色空間中所占的比 重，acb表示Cb分量在顏色空間中所占的比重，X為Cr、Cb二維空間中的坐標(biāo)點(diǎn)，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)為X點(diǎn)在Cr分量中的膚色 相似度高斯模型，g(x，yeb，Seb)為X點(diǎn)在Cb分量中的膚色相似度高斯模型。
[0020] 按照本發(fā)明的另一方面，提供了一種基于全局期望最大算法的手勢分割系統(tǒng)，其 特征在于，包括：
[0021] 第一模塊，用于在YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模 型；
[0022] 第二模塊，用于將待分割圖像的所有像素點(diǎn)的像素值代入膚色的高斯模型，得到 待分割圖像的所有像素點(diǎn)的膚色相似度，其中，膚色相似度是指像素點(diǎn)為膚色點(diǎn)的概率；
[0023] 第三模塊，用于根據(jù)待分割圖像的深度信息及其中所有像素點(diǎn)的膚色相似度，得 至岫三維空間中各點(diǎn)及其膚色相似度組成的四維空間模型；
[0024]所述四維空間模型以四維空間超曲面表示如下：
[0026] 其中，h(Xdx2,x3)表示三維空間中坐標(biāo)為（Xdx2,x3)的點(diǎn)的膚色相似度，X。義2和 x3分別為三維空間中的點(diǎn)在三個(gè)維度上的坐標(biāo)，a。、a2、a3、a4、ajPa6均為已知系數(shù)；
[0027] 第四模塊，用于將四維空間模型劃分為多個(gè)子空間，在每個(gè)子空間中，構(gòu)建評價(jià)超 曲面擬合效果的損失函數(shù)，利用梯度下降法使損失函數(shù)最小，得到子空間的四維空間超曲 面，最后按照梯度上升的方向得到各子空間的四維空間超曲面的極大值；
[0028] 第五模塊，用于將第四模塊得到的各子空間的四維空間超曲面的極大值作為初 值，分別進(jìn)行EM算法迭代，將期望最大的子空間的四維空間超曲面的初始極大值作為手勢 分割結(jié)果。
[0029] 總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下有益效 果：
[0030] (1)針對手勢圖像易受光照和類膚色物體影響導(dǎo)致分割不盡如人意的問題，在圖 像數(shù)據(jù)的基礎(chǔ)上融合深度數(shù)據(jù)，建立3D-S空間模型，較傳統(tǒng)的基于膚色模型的手勢分割算 法增強(qiáng)了判斷的依據(jù)。
[0031] (2)引入全局極大搜索算法，避免了在EM迭代過程中進(jìn)行全局搜索，極大地降低 了計(jì)算量。
[0032] (3)EM算法在迭代之前的初值并非是隨機(jī)選擇的，而是經(jīng)過了全局極大搜索后的 結(jié)果，既能有效降低EM算法的迭代次數(shù)，又能彌補(bǔ)EM算法無法確定全局最優(yōu)的缺點(diǎn)，實(shí)現(xiàn) EM算法結(jié)果的全局最優(yōu)。
【附圖說明】
[0033]圖1是本發(fā)明實(shí)施例的基于全局期望最大算法的手勢分割方法流程圖。
【具體實(shí)施方式】
[0034] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0035] 如圖1所示，本發(fā)明實(shí)施例的基于全局期望最大算法的手勢分割方法包括如下步 驟：
[0036] (1)利用中國科學(xué)院計(jì)算技術(shù)研究所多媒體計(jì)算課題組的MCG-Skin數(shù)據(jù)集，在 YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模型如下：
[0037] pc (x) =aCrg(χ,μCr,δCr) +αcbg(χ,μcb,δcb),
[0038] 其中，ρ?表示像素點(diǎn)為膚色點(diǎn)的概率，α&表示Cr分量在顏色空間中所占的比 重，acb表示Cb分量在顏色空間中所占的比重，χ為Cr、Cb二維空間中的坐標(biāo)點(diǎn)，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)為χ點(diǎn)在Cr分量中的膚色 相似度