估計(jì)深度圖像中重疊的多個(gè)人體對(duì)象的姿態(tài)的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及一種圖像處理設(shè)備和方法，更具體地講，涉及一種用于估計(jì)深度圖像 中重疊的多個(gè)人體對(duì)象的姿態(tài)的設(shè)備和方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，人們可針對(duì)真實(shí)3D空間或虛擬3D空間中顯示的對(duì) 象進(jìn)行交互操作。在進(jìn)行這種交互操作時(shí)，需要對(duì)所述顯示的對(duì)象進(jìn)行自然的非接觸式遙 控。此時(shí)，人體本身（例如，頭部、手部/手指/臂、軀干或整個(gè)身體）可用作進(jìn)行控制的實(shí) 體，從而通過身體部位在真實(shí)場(chǎng)景中的各種動(dòng)作對(duì)顯示的對(duì)象進(jìn)行操作。在這種情況下，可 利用深度相機(jī)拍攝現(xiàn)場(chǎng)圖像或視頻，基于深度圖像數(shù)據(jù)估計(jì)出人體的姿態(tài)，借此分析出用 戶的意圖，從而不需要借助于鼠標(biāo)、鍵盤、操縱桿或觸摸屏等也能夠操縱在虛擬3D空間或 真實(shí)3D空間中顯示的對(duì)象。此外，在許多其它的應(yīng)用場(chǎng)景下也需要識(shí)別人體的姿態(tài)。
[0003] 現(xiàn)有的研究主要集中于對(duì)一個(gè)場(chǎng)景中的單個(gè)用戶或相互分開的多個(gè)用戶的姿態(tài) 進(jìn)行識(shí)別，并且現(xiàn)有的姿態(tài)識(shí)別策略也大多是針對(duì)這種狀況而設(shè)計(jì)的。然而，實(shí)際上在一個(gè) 場(chǎng)景中可能存在彼此重疊的多個(gè)用戶（例如，肢體接觸的多個(gè)用戶，或肢體未接觸但在拍攝 的圖像中呈現(xiàn)為彼此遮擋的多個(gè)用戶），在這種情況下，如何識(shí)別這樣的用戶的姿態(tài)已成為 新的問題。

【發(fā)明內(nèi)容】

[0004] 根據(jù)本發(fā)明的一方面，提供了一種用于估計(jì)深度圖像中重疊的多個(gè)人體對(duì)象的姿 態(tài)的設(shè)備，所述設(shè)備包括：對(duì)象提取單元，被配置為從深度圖像提取重疊的多個(gè)人體對(duì)象的 圖像區(qū)域，并確定所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象還是不可分離的重疊人體對(duì) 象；部位分類單元，被配置為基于對(duì)象提取單元的確定結(jié)果，確定所述多個(gè)人體對(duì)象的圖像 區(qū)域中的每個(gè)像素所屬的人體部位；部位假定單元，被配置為基于部位分類單元的確定結(jié) 果，針對(duì)所述多個(gè)人體對(duì)象產(chǎn)生各個(gè)人體部位的部位假定；姿態(tài)確定單元，被配置為將所述 部位假定組裝成至少一種姿態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定 每個(gè)人體對(duì)象的姿態(tài)。
[0005] 所述對(duì)象提取單元還可被配置為：當(dāng)所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象 時(shí)，將可分離的重疊人體對(duì)象的圖像區(qū)域分割為被遮擋的后方人體對(duì)象的圖像區(qū)域和遮擋 了后方人體對(duì)象的前方人體對(duì)象的圖像區(qū)域。所述部位分類單元可包括第一分類器和第二 分類器，可使用多個(gè)包含重疊的人體對(duì)象的深度圖像來預(yù)先建立和訓(xùn)練所述第一分類器， 并可使用多個(gè)包括非重疊的人體對(duì)象的深度圖像來預(yù)先建立和訓(xùn)練所述第二分類器?？蓪?duì) 可分離的重疊人體對(duì)象中的前方人體對(duì)象的圖像區(qū)域應(yīng)用第二分類器來確定所述前方人 體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位，并可對(duì)可分離的重疊人體對(duì)象中的后方 人體對(duì)象的圖像區(qū)域應(yīng)用第一分類器來確定被遮擋的后方人體對(duì)象的圖像區(qū)域中的每個(gè) 像素所屬的人體部位。
[0006] 當(dāng)所述多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象時(shí)，所述部位分類單元可對(duì)不可 分離的重疊人體對(duì)象的圖像區(qū)域應(yīng)用第一分類器來確定不可分離的重疊人體對(duì)象的圖像 區(qū)域中的每個(gè)像素所屬的人體部位。
[0007] 所述部位假定單元可包括：軟分割模塊，被配置為對(duì)不可分離的重疊人體對(duì)象的 圖像區(qū)域進(jìn)行分割，以確定可疑區(qū)域和不可分離的重疊人體對(duì)象中的每個(gè)人體對(duì)象的確定 區(qū)域，并在所述不可分離的重疊人體對(duì)象中確定被遮擋的后方人體對(duì)象和遮擋了后方人體 對(duì)象的前方人體對(duì)象；部位再分類模塊，被配置為對(duì)包括可疑區(qū)域和所述前方人體對(duì)象的 確定區(qū)域的組合圖像區(qū)域應(yīng)用第二分類器，以再次確定所述組合圖像區(qū)域中的每個(gè)像素所 屬的人體部位；部位假定模塊，被配置為針對(duì)不可分離的重疊人體對(duì)象，基于部位分類單元 的確定結(jié)果和部位再分類模塊的確定結(jié)果來產(chǎn)生各個(gè)人體部位的部位假定。所述確定區(qū)域 指可確定其所歸屬的人體對(duì)象的區(qū)域，所述可疑區(qū)域是無法確定其所歸屬的人體對(duì)象的區(qū) 域。
[0008] 所述軟分割模塊可包括：重疊程度確定模塊，被配置為確定不可分離的重疊人體 對(duì)象的軀干部位是否重疊；第一分割模塊，被配置為將軀干部位不重疊的多個(gè)人體對(duì)象的 圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定區(qū)域；第二分割模塊，被配置為將軀 干部位重疊的多個(gè)人體對(duì)象的圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定區(qū)域。 [0009]所述重疊程度確定模塊可基于通過部位分類單元的確定結(jié)果而確定的多個(gè)人體 對(duì)象的特定部位之間的距離，來確定不可分離的重疊人體對(duì)象的軀干部位是否重疊。
[0010] 所述第一分割模塊可通過以下步驟來確定可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定 區(qū)域：確定可疑區(qū)域的搜索范圍；找出搜索范圍周圍的所有可疑區(qū)域；通過深度對(duì)比或基 于像素標(biāo)記的結(jié)果來減少可疑區(qū)域的數(shù)量；基于可疑區(qū)域的分布來確定針對(duì)每個(gè)人體對(duì)象 的確定區(qū)域。
[0011] 所述第二分割模塊可通過以下步驟來確定可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定 區(qū)域：確定軀干像素；將軀干像素劃分給每個(gè)人體對(duì)象；基于劃分給每個(gè)人體對(duì)象的軀干 像素，通過深度增長(zhǎng)來確定每個(gè)人體對(duì)象的確定區(qū)域；將多個(gè)對(duì)象之間的未被確定為確定 區(qū)域的圖像區(qū)域確定為可疑區(qū)域。
[0012] 如果對(duì)象提取單元提取的重疊的多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象，則所 述姿態(tài)確定單元可通過以下步驟來確定每個(gè)人體對(duì)象的姿態(tài)假定：使用部位假定單元產(chǎn)生 的部位假定，針對(duì)每個(gè)人體對(duì)象分別產(chǎn)生每個(gè)人體對(duì)象的姿態(tài)假定并對(duì)每個(gè)人體對(duì)象的每 個(gè)姿態(tài)假定進(jìn)行評(píng)價(jià)；基于每個(gè)人體對(duì)象的多個(gè)姿態(tài)假定，產(chǎn)生重疊的多個(gè)人體對(duì)象的姿 態(tài)假定的多種組合，并確定每種姿態(tài)假定組合的評(píng)價(jià)；對(duì)產(chǎn)生的所有姿態(tài)假定組合的評(píng)價(jià) 進(jìn)行排序，并將評(píng)價(jià)最高的姿態(tài)假定組合中的每個(gè)人體對(duì)象的姿態(tài)假定確定為每個(gè)人體對(duì) 象的最終姿態(tài)。
[0013] 根據(jù)本發(fā)明的另一方面，提供了一種用于估計(jì)深度圖像中重疊的多個(gè)人體對(duì)象的 姿態(tài)的方法，所述方法包括:A)從深度圖像提取重疊的多個(gè)人體對(duì)象的圖像區(qū)域，并確定 所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象還是不可分離的重疊人體對(duì)象；B)基于步驟 A)的確定結(jié)果，確定所述多個(gè)人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位；C)基于 步驟B)的確定結(jié)果，針對(duì)所述多個(gè)人體對(duì)象產(chǎn)生各個(gè)人體部位的部位假定；D)將所述部位 假定組裝成至少一種姿態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定每個(gè) 人體對(duì)象的姿態(tài)。
[0014] 步驟A)還可包括：當(dāng)所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象時(shí)，將可分離的 重疊人體對(duì)象的圖像區(qū)域分割為被遮擋的后方人體對(duì)象的圖像區(qū)域和遮擋了后方人體對(duì) 象的前方人體對(duì)象的圖像區(qū)域。在步驟B)中可對(duì)可分離的重疊人體對(duì)象中的前方人體對(duì) 象的圖像區(qū)域應(yīng)用第二分類器來確定所述前方人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的 人體部位，并可對(duì)可分離的重疊人體對(duì)象中的后方人體對(duì)象的圖像區(qū)域應(yīng)用第一分類器來 確定被遮擋的后方人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位?？墒褂枚鄠€(gè)包含重 疊的人體對(duì)象的深度圖像來預(yù)先建立和訓(xùn)練所述第一分類器，并可使用多個(gè)包括非重疊的 人體對(duì)象的深度圖像來預(yù)先建立和訓(xùn)練所述第二分類器。
[0015] 當(dāng)所述多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象時(shí),可對(duì)不可分離的重疊人體對(duì) 象的圖像區(qū)域應(yīng)用第一分類器來確定不可分離的重疊人體對(duì)象的圖像區(qū)域中的每個(gè)像素 所屬的人體部位。
[0016] 當(dāng)所述多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象時(shí)，步驟C)可包括：C1)對(duì)不可 分離的重疊人體對(duì)象的圖像區(qū)域進(jìn)行分割，以確定可疑區(qū)域和不可分離的重疊人體對(duì)象中 的每個(gè)人體對(duì)象的確定區(qū)域，并在所述不可分離的重疊人體對(duì)象中確定被遮擋的后方人體 對(duì)象和遮擋了后方人體對(duì)象的前方人體對(duì)象；C2)對(duì)包括可疑區(qū)域和所述前方人體對(duì)象的 確定區(qū)域的組合圖像區(qū)域應(yīng)用第二分類器，以再次確定所述組合圖像區(qū)域中的每個(gè)像素所 屬的人體部位；C3)基于步驟B)的確定結(jié)果和步驟C2)的確定結(jié)果來針對(duì)不可分離的重疊 人體對(duì)象產(chǎn)生各個(gè)人體部位的部位假定。所述確定區(qū)域是指可確定其所歸屬的人體對(duì)象的 區(qū)域，所述可疑區(qū)域是無法確定其所歸屬的人體對(duì)象的區(qū)域。
[0017] 步驟C1)可包括：確定不可分離的重疊人體對(duì)象的軀干部位是否重疊；將軀干部 位不重疊的多個(gè)人體對(duì)象的圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定區(qū)域，或 將軀干部位重疊的多個(gè)人體對(duì)象的圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體對(duì)象的確定 區(qū)域。
[0018] 可基于通過步驟B)的確定結(jié)果而確定的多個(gè)人體對(duì)象的特定部位之間的距離，來 確定不可分離的重疊人體對(duì)象的軀干部位是否重疊。
[0019] 將軀干部位不重疊的多個(gè)人體對(duì)象的圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體 對(duì)象的確定區(qū)域的步驟塊包括：確定可疑區(qū)域的搜索范圍；找出搜索范圍周圍的所有可疑 區(qū)域；通過深度對(duì)比或基于像素標(biāo)記的結(jié)果來減少可疑區(qū)域的數(shù)量；基于可疑區(qū)域的分布 來確定針對(duì)每個(gè)人體對(duì)象的確定區(qū)域。
[0020] 將軀干部位重疊的多個(gè)人體對(duì)象的圖像區(qū)域分割為可疑區(qū)域和針對(duì)每個(gè)人體對(duì) 象的確定區(qū)域的步驟可包括：確定軀干像素；將軀干像素劃分給每個(gè)人體對(duì)象；基于劃分 給每個(gè)人體對(duì)象的軀干像素，通過深度增長(zhǎng)來確定每個(gè)人體對(duì)象的確定區(qū)域；將多個(gè)對(duì)象 之間的未被確定為確定區(qū)域的圖像區(qū)域確定為可疑區(qū)域。
[0021] 如果步驟A)中提取的重疊的多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象，則步驟 D)可包括：D1)使用步驟C)中產(chǎn)生的部位假定，針對(duì)每個(gè)人體對(duì)象分別產(chǎn)生每個(gè)人體對(duì)象 的姿態(tài)假定并對(duì)每個(gè)人體對(duì)象的每個(gè)姿態(tài)假定進(jìn)行評(píng)價(jià)；D2)基于每個(gè)人體對(duì)象的多個(gè)姿 態(tài)假定，產(chǎn)生重疊的多個(gè)人體對(duì)象的姿態(tài)假定的多種組合，并確定每種姿態(tài)假定組合的評(píng) 價(jià)；D3)對(duì)產(chǎn)生的所有姿態(tài)假定組合的評(píng)價(jià)進(jìn)行排序，并將評(píng)價(jià)最高的姿態(tài)假定組合中的 每個(gè)人體對(duì)象的姿態(tài)假定確定為每個(gè)人體對(duì)象的最終姿態(tài)。
[0022] 有益效果
[0023] 通過本發(fā)明的方案，能夠準(zhǔn)確地從包括重疊的多個(gè)人體對(duì)象的深度圖像中識(shí)別出 每個(gè)人體對(duì)象的姿態(tài)。
【附圖說明】
[0024] 通過下面結(jié)合附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其 他目的和特點(diǎn)將會(huì)變得更加清楚，其中：
[0025] 圖1是示出根據(jù)本發(fā)明示例性實(shí)施例的人體姿態(tài)估計(jì)系統(tǒng)的框圖；
[0026] 圖2是示出根據(jù)本發(fā)明示例性實(shí)施例的用于估計(jì)深度圖像中重疊的多個(gè)人體對(duì) 象的姿態(tài)的設(shè)備的邏輯框圖；
[0027] 圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的部位假定單元的框圖；
[0028] 圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的軟分割模塊的框圖；
[0029] 圖5是根據(jù)本發(fā)明的示例性實(shí)施例的對(duì)軀干部位不重疊的多個(gè)人體對(duì)象的圖像 區(qū)域進(jìn)行分割的操作的流程圖；
[0030] 圖6是示出根據(jù)本發(fā)明的示例性實(shí)施例的對(duì)重疊的人體對(duì)象的圖像區(qū)域進(jìn)行分 割的示例示意圖；
[0031] 圖7是根據(jù)本發(fā)明的示例性實(shí)施例的對(duì)軀干部位重疊的多個(gè)人體對(duì)象的圖像區(qū) 域進(jìn)行分割的操作的流程圖；
[0032] 圖8是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的對(duì)重疊的人體對(duì)象的圖像區(qū)域進(jìn) 行分割的示例示意圖；
[0033] 圖9是根據(jù)本發(fā)明的示例性實(shí)施例的由姿態(tài)確定單元確定的可分離的重疊人體 對(duì)象中的前方人體對(duì)象和被遮擋的后方人體對(duì)象；
[0034] 圖10是根據(jù)本發(fā)明的示例性實(shí)施例的由姿態(tài)確定單元確定不可分離的重疊人體 對(duì)象中的每個(gè)人體對(duì)象的姿態(tài)的方法的流程圖；
[0035] 圖11是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于估計(jì)深度圖像中