人體姿態(tài)，其 中，，fk為姿態(tài)假定&的部位約束特征，k=1，…， K，K為正整數(shù)，為部位約 束特征fk針對(duì)姿態(tài)類別Q的權(quán)重，wi;k的值可根據(jù)實(shí)驗(yàn)來(lái)確定。
[0096]應(yīng)該理解，以上方法僅是為了使本發(fā)明容易被本領(lǐng)域技術(shù)人員理解和實(shí)現(xiàn)而列舉 的示例，本發(fā)明不限于此，可應(yīng)用本領(lǐng)域已知的各種方法來(lái)確定人體姿態(tài)。
[0097] 以下將參照?qǐng)D9至圖10詳細(xì)描述姿態(tài)確定單元240確定可分離的重疊人體對(duì)象 中的被遮擋的后方人體對(duì)象以及確定不可分離的重疊人體對(duì)象中的每個(gè)人體對(duì)象的姿態(tài) 的操作。
[0098] 圖9是根據(jù)本發(fā)明的示例性實(shí)施例的由姿態(tài)確定單元240確定的可分離的重疊人 體對(duì)象中的前方人體對(duì)象和被遮擋的后方人體對(duì)象。
[0099] 由于所述后方人體對(duì)象的圖像區(qū)域在深度圖像中可能并不是連通的，例如，前方 人體對(duì)象(如圖9 (a)所示）的胳膊的遮擋可能使后方人體對(duì)象(如圖9 (b)所示）的圖像 區(qū)域分為兩部分，因此，與產(chǎn)生針對(duì)前方人體對(duì)象的姿態(tài)假定操作不同，在本發(fā)明的實(shí)施例 中，當(dāng)產(chǎn)生后方人體對(duì)象的姿態(tài)假定時(shí)，并不僅僅使用屬于后方人體對(duì)象的部位假定來(lái)產(chǎn) 生姿態(tài)假定，而是考慮包括前方人體對(duì)象的部位假定的所有部位假定來(lái)產(chǎn)生后方人體對(duì)象 的姿態(tài)假定。
[0100] 具體地講，姿態(tài)確定單元240可將產(chǎn)生的所有部位假定組裝成所有可能的假設(shè)姿 態(tài)，然后確定與預(yù)先定義的第二姿態(tài)類別集合中的某個(gè)姿態(tài)類別最符合的假設(shè)姿態(tài)。與確 定前方人體對(duì)象的姿態(tài)不同，這里使用的第二姿態(tài)類別集合是考慮重疊的多個(gè)人體對(duì)象而 由用戶預(yù)先建立的。
[0101]然后，姿態(tài)假定單元240可計(jì)算并評(píng)估每個(gè)姿態(tài)假定在所述預(yù)先定義的第二姿態(tài) 類別集合之間的概率分布。類似地，可按照與評(píng)估前方人體對(duì)象的每個(gè)姿態(tài)假定在其姿態(tài) 類別集合之間的概率的方法相似的方法來(lái)評(píng)估后方人體對(duì)象的姿態(tài)假定，但在設(shè)計(jì)評(píng)估函 數(shù)時(shí)，考慮包括前方人體對(duì)象和后方人體對(duì)象的重疊人體對(duì)象來(lái)設(shè)計(jì)評(píng)估函數(shù)。
[0102] 圖10是根據(jù)本發(fā)明的示例性實(shí)施例的由姿態(tài)確定單元240確定不可分離的重疊 人體對(duì)象中的每個(gè)人體對(duì)象的姿態(tài)的方法的流程圖。
[0103]在步驟1010,姿態(tài)確定單元240可使用部位假定單元230產(chǎn)生的部位假定，針對(duì)每 個(gè)人體對(duì)象分別產(chǎn)生每個(gè)人體對(duì)象的姿態(tài)假定并對(duì)每個(gè)人體對(duì)象的每個(gè)姿態(tài)假定進(jìn)行評(píng) 價(jià)。具體地講，例如，對(duì)于圖5中的重疊的兩個(gè)人體對(duì)象，可針對(duì)左側(cè)的人體對(duì)象選擇合適 的部位假定來(lái)組成多個(gè)姿態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)，同樣，也 可針對(duì)右側(cè)的人體對(duì)象選擇合適的部位假定來(lái)組成多個(gè)姿態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì) 每種姿態(tài)假定進(jìn)行評(píng)價(jià)。本領(lǐng)域技術(shù)人員可以根據(jù)已知的技術(shù)實(shí)施基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每 種姿態(tài)假定進(jìn)行評(píng)價(jià)的方法，因此為了簡(jiǎn)明將不具體描述。
[0104] 在步驟1020,姿態(tài)確定單元240基于每個(gè)人體對(duì)象的多個(gè)姿態(tài)假定，產(chǎn)生重疊的 多個(gè)人體對(duì)象的姿態(tài)假定的多種組合，并確定每種姿態(tài)假定組合的評(píng)價(jià)。具體地講，仍然 以圖5為例，可將從左側(cè)人體對(duì)象的多種姿態(tài)假定中任意選擇的一種姿態(tài)假定與從右側(cè)人 體對(duì)象的多種姿態(tài)假定中任意選擇的一種姿態(tài)假定組合為一組姿態(tài)假定，并確定所述姿態(tài) 假定組合是否合理。當(dāng)姿態(tài)假定組合合理時(shí)，可將兩個(gè)人體對(duì)象的姿態(tài)假定的評(píng)價(jià)之和確 定為所述姿態(tài)假定組合的評(píng)價(jià)，而當(dāng)姿態(tài)假定不合理時(shí)，例如，同一個(gè)部位既出現(xiàn)在左側(cè)人 體對(duì)象，又出現(xiàn)在右側(cè)人體對(duì)象，則不對(duì)該姿態(tài)假定組合進(jìn)行評(píng)價(jià)，或者將其評(píng)價(jià)設(shè)置為最 低。按照這種方式，能夠確定出多組姿態(tài)假定組合。
[0105] 在步驟1030,姿態(tài)確定單元240可對(duì)產(chǎn)生的所有姿態(tài)假定組合的評(píng)價(jià)進(jìn)行排序， 并將評(píng)價(jià)最高的姿態(tài)假定組合中的每個(gè)人體對(duì)象的姿態(tài)假定確定為每個(gè)人體對(duì)象的最終 姿態(tài)。
[0106] 圖11是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于估計(jì)深度圖像中重疊的多個(gè)人體 對(duì)象的姿態(tài)的方法的流程圖。
[0107] 參照?qǐng)D11，在步驟1110,可由對(duì)象提取單元210從深度圖像提取重疊的多個(gè)人體 對(duì)象的圖像區(qū)域，并確定所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象還是不可分離的重疊 人體對(duì)象。
[0108] 此外，在步驟1110中，當(dāng)所述多個(gè)人體對(duì)象是可分離的重疊人體對(duì)象時(shí)，對(duì)象提 取單元210可將可分離的重疊人體對(duì)象的圖像區(qū)域分割為被遮擋的后方人體對(duì)象的圖像 區(qū)域和遮擋了后方人體對(duì)象的前方的人體對(duì)象的圖像區(qū)域。
[0109] 在步驟1120,可由部位分類單元220依據(jù)步驟1110的對(duì)象提取單元210的確定結(jié) 果，確定所述多個(gè)人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位。在本發(fā)明中，部位分 類單元220可包括第一分類器和第二分類器來(lái)進(jìn)行分類，其中，可使用多個(gè)包含重疊的人 體對(duì)象的深度圖像來(lái)預(yù)先建立和訓(xùn)練所述第一分類器，并還可使用多個(gè)包括非重疊的人體 對(duì)象的深度圖像來(lái)預(yù)先建立和訓(xùn)練所述第二分類器。以上已參照?qǐng)D2詳細(xì)介紹了第一分類 器和第二分類器的建立、訓(xùn)練及其用法，因此為了簡(jiǎn)明將不再進(jìn)行詳細(xì)描述。
[0110] 在本發(fā)明的實(shí)施例中，當(dāng)重疊的多個(gè)人體對(duì)象是不可分離的重疊人體對(duì)象時(shí)，所 述部位分類單元220可對(duì)不可分離的重疊人體對(duì)象的圖像區(qū)域應(yīng)用第一分類器來(lái)確定不 可分離的重疊人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位。此外，當(dāng)重疊的多個(gè)人 體對(duì)象是可分離的重疊人體對(duì)象時(shí)，部位分類單元220可對(duì)可分離的重疊人體對(duì)象中的前 方人體對(duì)象的圖像區(qū)域應(yīng)用第二分類器來(lái)確定所述前方人體對(duì)象的圖像區(qū)域中的每個(gè)像 素所屬的人體部位，并對(duì)可分離的重疊人體對(duì)象中的后方人體對(duì)象的圖像區(qū)域應(yīng)用第一分 類器來(lái)確定被遮擋的后方人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位。
[0111] 在步驟1130,可由部位假定單元230基于部位分類單元220的確定結(jié)果，針對(duì)所述 多個(gè)人體對(duì)象產(chǎn)生各個(gè)人體部位的部位假定。
[0112] 具體地講，對(duì)于可分離的重疊人體對(duì)象，可直接由部位假定單元230中的部位假 定模塊330基于部位分類單元220的確定結(jié)果來(lái)產(chǎn)生各個(gè)人體部位的部位假定。
[0113] 對(duì)于不可分離的重疊人體對(duì)象，可首先由部位假定單元230中的軟分割模塊310 對(duì)不可分離的重疊人體對(duì)象的圖像區(qū)域進(jìn)行分割，以確定可疑區(qū)域和不可分離的重疊人體 對(duì)象中的每個(gè)人體對(duì)象的確定區(qū)域，并在所述不可分離的重疊人體對(duì)象中確定被遮擋的后 方人體對(duì)象和遮擋了后方人體對(duì)象的前方人體對(duì)象。在本發(fā)明中，所述確定區(qū)域是指可確 定其所歸屬的人體對(duì)象的區(qū)域，所述可疑區(qū)域是無(wú)法確定其所歸屬的人體對(duì)象的區(qū)域。以 上已結(jié)合圖4至圖8詳細(xì)描述了軟分割模塊310具體處理，因此為了簡(jiǎn)明，在此將不再進(jìn)行 詳細(xì)描述。
[0114] 在確定了可疑區(qū)域和確定區(qū)域之后，可由部位假定單元230中的部位再分類模塊 320對(duì)包括可疑區(qū)域和所述前方人體對(duì)象的確定區(qū)域的組合圖像區(qū)域應(yīng)用第二分類器，以 再次確定所述組合圖像區(qū)域中的每個(gè)像素所屬的人體部位。然后，可由部位假定單元230 中的部位假定模塊330基于部位分類單元220的確定結(jié)果和部位再分類模塊320的確定結(jié) 果來(lái)針對(duì)不可分離的重疊人體對(duì)象產(chǎn)生各個(gè)人體部位的部位假定。本領(lǐng)域技術(shù)人員可采 用已知的方法實(shí)現(xiàn)基于像素標(biāo)記的結(jié)果產(chǎn)生部位假定的方法，因此為了簡(jiǎn)明將不再詳細(xì)描 述。
[0115] 在步驟1140,可由姿態(tài)確定單元240將所述部位假定組裝成至少一種姿態(tài)假定， 并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定每個(gè)人體對(duì)象的姿態(tài)。以上已結(jié)合圖 9和圖10詳細(xì)描述了姿態(tài)確定單元240確定人體對(duì)象的姿態(tài)的方法，因此為了簡(jiǎn)明，在此將 不再進(jìn)行詳細(xì)描述。
[0116] 圖12是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于估計(jì)深度圖像中重疊的多個(gè)人體 對(duì)象的姿態(tài)的方法詳細(xì)流程圖。
[0117] 如圖12所示，在步驟1210,可由對(duì)象提取單元210從深度圖像提取重疊的多個(gè)人 體對(duì)象的圖像區(qū)域。
[0118] 然后，在步驟1220,對(duì)象提取單元210確定所述多個(gè)人體對(duì)象是可分離的重疊人 體對(duì)象還是不可分離的重疊人體對(duì)象。
[0119] 如果是可分離的重疊人體對(duì)象，則在步驟1230,對(duì)象提取單元210還將可分離的 重疊人體對(duì)象分割為被遮擋的后方人體對(duì)象的圖像區(qū)域和遮擋了后方人體對(duì)象的前方人 體對(duì)象的圖像區(qū)。
[0120] 接下來(lái)，在步驟1240,部位分類單元230可對(duì)可分離的重疊人體對(duì)象中的前方人 體對(duì)象的圖像區(qū)域應(yīng)用第二分類器(例如，S-PIXLA模型）來(lái)確定所述前方人體對(duì)象的圖像 區(qū)域中的每個(gè)像素所屬的人體部位。然后在步驟1250由部位假定單元230中的部位假定 模塊330基于步驟1240中的部位分類單元220的確定結(jié)果來(lái)產(chǎn)生各個(gè)人體部位的部位假 定，并在步驟1260由姿態(tài)確定單元240將步驟1250中產(chǎn)生的部位假定組裝成至少一種姿 態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定所述人體對(duì)象的姿態(tài)。
[0121] 類似地，在步驟1245,部位分類單元230可對(duì)可分離的重疊人體對(duì)象中的后方人 體對(duì)象的圖像區(qū)域應(yīng)用第一分類器來(lái)確定被遮擋的后方人體對(duì)象的圖像區(qū)域中的每個(gè)像 素所屬的人體部位。然后在步驟1255由部位假定單元230中的部位假定模塊330基于步 驟1245中的部位分類單元220的確定結(jié)果來(lái)產(chǎn)生各個(gè)人體部位的部位假定，并在步驟1260 由姿態(tài)確定單元240將步驟1255產(chǎn)生的部位假定組裝成至少一種姿態(tài)假定，并基于預(yù)設(shè)評(píng) 價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定所述人體對(duì)象的姿態(tài)。步驟1250和1255以及步驟 1260和1265的操作在前文中已被詳細(xì)介紹，因此為了簡(jiǎn)明，在此不再進(jìn)行詳細(xì)描述。
[0122] 返回到步驟1220,如果在步驟1220確定提取的重疊人體對(duì)象是不可分離的重疊 人體對(duì)象，則在步驟1270,部位分類單元220可對(duì)不可分離的重疊人體對(duì)象的圖像區(qū)域應(yīng) 用第一分類器來(lái)確定不可分離的重疊人體對(duì)象的圖像區(qū)域中的每個(gè)像素所屬的人體部位。
[0123] 接下來(lái)，在步驟1280,可由部位假定單元230中的軟分割模塊310對(duì)不可分離的重 疊人體對(duì)象的圖像區(qū)域進(jìn)行軟分割，以確定可疑區(qū)域和不可分離的重疊人體對(duì)象中的每個(gè) 人體對(duì)象的確定區(qū)域，并在所述不可分離的重疊人體對(duì)象中確定被遮擋的后方人體對(duì)象和 遮擋了后方人體對(duì)象的前方人體對(duì)象。在前文中已詳細(xì)介紹了軟分割模塊310的操作，因 此為了簡(jiǎn)明，在此不再進(jìn)行詳細(xì)描述。
[0124] 然后，在步驟1285,可由部位假定單元230中的部位再分類模塊320對(duì)包括可疑區(qū) 域和所述前方人體對(duì)象的確定區(qū)域的組合圖像區(qū)域應(yīng)用第二分類器，以再次確定所述組合 圖像區(qū)域中的每個(gè)像素所屬的人體部位。
[0125] 在步驟1290,由部位假定單元230中的部位假定模塊330基于步驟1270中的部位 分類單元220的確定結(jié)果和步驟1285中的部位再分類模塊320的確定結(jié)果來(lái)產(chǎn)生各個(gè)人 體部位的部位假定。最后，在步驟1295由姿態(tài)確定單元240將步驟1285產(chǎn)生的部位假定 組裝成多種姿態(tài)假定，并基于預(yù)設(shè)評(píng)價(jià)規(guī)則對(duì)每種姿態(tài)假定進(jìn)行評(píng)價(jià)以確定每個(gè)人體對(duì)象 的姿態(tài)。
[0126] 盡管在上文中以存在重疊的兩個(gè)人體對(duì)象的深度圖像為例進(jìn)行了說明，但本發(fā)明 不限于此，本發(fā)明的設(shè)備和方法也可應(yīng)用于存在一個(gè)人體對(duì)象或多個(gè)互不重疊的人體對(duì)象 的深度圖像，在這種情況下，可按照如圖12中示出的處理可分離的重疊人體對(duì)象中的前方 人體對(duì)象的流程來(lái)對(duì)深度圖像進(jìn)行處理。
[0127] 此外，本發(fā)明的設(shè)備和方法還可應(yīng)用于同時(shí)存在可分離的重疊人體對(duì)象和不可分 離的重疊人體對(duì)象的深度圖像。在這種情