基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)，特別是涉及一種基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方 法。
【背景技術(shù)】
[0002] 隨著數(shù)字技術(shù)和互聯(lián)網(wǎng)的發(fā)展，越來越多的圖片被上傳到網(wǎng)絡(luò)，當(dāng)用戶對這些上 傳的圖片進(jìn)行檢索和利用時，需要根據(jù)圖片的標(biāo)注信息提取所需要的圖片。通常，圖片的標(biāo) 注信息是將具有相同或者相近視覺特征的圖片標(biāo)注為相同或者相近的信息，這種標(biāo)注信息 的方法只適用于包含物體的圖片，并不適用于包含人體和物體的圖片。
[0003] 如果對包含人體和物體的圖片采用上述標(biāo)注信息的方法，則需要對人體和物體分 別進(jìn)行標(biāo)注，而對于人體和物體之間的交互動作所表達(dá)的語義信息會被忽略，從而使許多 具有相同的人體和物體的交互動作的圖片往往因?yàn)樗鼈兊囊曈X特征具有較大的差異性而 被分別進(jìn)行標(biāo)注。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法，從而通過計算機(jī)實(shí)現(xiàn)對包 含人體和物體的圖片中的人體和物體的交互動作進(jìn)行準(zhǔn)確地標(biāo)注。
[0005] 根據(jù)本發(fā)明的一方面，提供一種基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法，所述方 法包括：步驟S1 :設(shè)定人體和物體的交互動作的詞組，根據(jù)所述詞組選取所述詞組對應(yīng)的 圖片構(gòu)成第一圖片數(shù)據(jù)庫，所述詞組包括動詞和名詞；步驟S2 :從所述第一圖片數(shù)據(jù)庫中 提取各詞組對應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)所述特征信息和 空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型；步驟S3:根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對所述圖片數(shù)據(jù)中的人 體和物體的交互動作中的動詞進(jìn)行標(biāo)注。
[0006] 本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法，通過根據(jù)詞組選取 所述詞組對應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫，從第一圖片數(shù)據(jù)庫中提取各詞組對應(yīng)的圖片數(shù) 據(jù)中的人體和物體的特征信息和空間信息，根據(jù)特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模 型，從而通過計算機(jī)實(shí)現(xiàn)對包含人體和物體的圖片中的人體和物體的交互動作進(jìn)行準(zhǔn)確地 標(biāo)注。
【附圖說明】
[0007] 圖1為本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法的流程圖；
[0008]圖2為本發(fā)明實(shí)施例提供的貝葉斯網(wǎng)絡(luò)模型示意圖；
[0009] 圖3為本發(fā)明實(shí)施例提供的人體與物體之間的空間位置分割示意圖；
[0010] 圖4為本發(fā)明實(shí)施例提供的一組圖片的標(biāo)注結(jié)果；
[0011] 圖5為本發(fā)明實(shí)施例提供的另一組圖片的標(biāo)注結(jié)果。
【具體實(shí)施方式】
[0012] 本發(fā)明的總體構(gòu)思是，本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方 法，通過根據(jù)詞組選取所述詞組對應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫，從第一圖片數(shù)據(jù)庫中提 取各詞組對應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)特征信息和空間信 息構(gòu)建貝葉斯網(wǎng)絡(luò)模型，從而通過計算機(jī)實(shí)現(xiàn)對包含人體和物體的圖片中的人體和物體的 交互動作進(jìn)行準(zhǔn)確地標(biāo)注。
[0013] 下面結(jié)合附圖對本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法進(jìn) 行詳細(xì)描述。
[0014] 圖1為本發(fā)明實(shí)施例提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法的流程圖。
[0015] 參照圖1，在步驟S101，設(shè)定人體和物體的交互動作的詞組，根據(jù)所述詞組選取所 述詞組對應(yīng)的圖片構(gòu)成第一圖片數(shù)據(jù)庫，所述詞組包括動詞和名詞。
[0016] 這里，詞組是動詞和名詞的組合，可以是例如，但不限于，具體為"騎馬"、"洗車"、 "喂狗"和"喝牛奶"等。同時，為了更好地表達(dá)出人體和物體的每個交互動作，可選擇至少 兩個以上的"名詞"，分別與對應(yīng)的"動詞"組合，從而形成詞組，例如"騎自行車"和"騎摩托 車"等。
[0017] 根據(jù)本發(fā)明的示例性實(shí)施例，所述根據(jù)所述詞組獲取第一圖片數(shù)據(jù)庫包括：
[0018] 根據(jù)所述詞組從搜索引擎中獲取與所述詞組對應(yīng)的第二圖片數(shù)據(jù)庫；
[0019] 將所述第二圖片數(shù)據(jù)庫進(jìn)行篩選，獲取第一圖片數(shù)據(jù)庫。
[0020] 這里，為了使搜索的圖片內(nèi)容更加廣泛，可以在搜索引擎中搜索圖片時，對詞組進(jìn) 行一定的語義擴(kuò)展，可以是例如，但不限于，具體為可以對中文詞組、相同語義的英文詞組、 帶有主語的詞組或現(xiàn)在進(jìn)行時態(tài)的詞組進(jìn)行搜索。通過上述搜索方式，可以搜索到與詞組 對應(yīng)的圖片，并且對搜索到的圖片進(jìn)行篩選，即將圖片中不具有對應(yīng)詞組語義信息的圖片 去除，從而得到對應(yīng)詞組語義信息的圖片。
[0021] 在步驟S102,從所述第一圖片數(shù)據(jù)庫中提取各詞組對應(yīng)的圖片數(shù)據(jù)中的人體和物 體的特征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型。
[0022] 這里，人體和物體的特征信息為人體和物體之間的交互動作的各種姿態(tài)，人體和 物體的空間信息為人體和交互物體的空間位置關(guān)系。
[0023] 具體地，靜止圖片通常表達(dá)的是人體與物體之間的交互動作，人體在針對某個特 定的動作時，通常會使用某些大致相同的姿態(tài)與物體進(jìn)行交互，從而表明當(dāng)人體與物體進(jìn) 行交互動作的詞組中的"動詞"可以與至少一個特定的人體的姿態(tài)對應(yīng)，并且代表人體動作 的"動詞"的語義表達(dá)同時依賴于人的姿態(tài)以及人體和所交互物體的空間位置關(guān)系。
[0024] 根據(jù)本發(fā)明的示例性實(shí)施例，所述根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò) 模型包括：
[0025] 將所述特征信息和空間信息與貝葉斯網(wǎng)絡(luò)模型中的節(jié)點(diǎn)相對應(yīng)，并訓(xùn)練得到所述 貝葉斯網(wǎng)絡(luò)模型的參數(shù)。
[0026] 貝葉斯網(wǎng)絡(luò)模型是一種概率網(wǎng)絡(luò)，它是基于概率推理的數(shù)學(xué)模型，所謂概率推理 是通過一些變量的信息（例如人體的動作、人體的姿態(tài)等）獲取其他的概率信息的過程，其 他的概率信息可以為人體動作、物體和人體姿態(tài)之間的概率、人體姿態(tài)的概率等。
[0027] 具體地，貝葉斯網(wǎng)絡(luò)模型的參數(shù)是指各個節(jié)點(diǎn)在各個狀態(tài)下的概率，參照如圖2 所示的本發(fā)明實(shí)施例提供的貝葉斯網(wǎng)絡(luò)模型示意圖，V為人體的動作，G為人體的姿態(tài)，0為 與人體有交互動作的物體，氏、H2、…HN為人體的各個不同的部分，M。為物體的觀測狀態(tài)， MhpM^、…Mm為人體各個不同部分的觀測狀態(tài)。將特征信息和空間信息輸入貝葉斯網(wǎng)絡(luò)模 型，可以得到P(V，G，0,氏，…，HN |Mhl，…，Mm，M。)，而它可以通過各個子任務(wù)的概率信息獲得， 由公式⑴可知：
【主權(quán)項】
1. 一種基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法，其特征在于，所述方法包括： 步驟S1 :設(shè)定人體和物體的交互動作的詞組，根據(jù)所述詞組選取所述詞組對應(yīng)的圖片 構(gòu)成第一圖片數(shù)據(jù)庫，所述詞組包括動詞和名詞； 步驟S2 :從所述第一圖片數(shù)據(jù)庫中提取各詞組對應(yīng)的圖片數(shù)據(jù)中的人體和物體的特 征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型； 步驟S3 :根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對所述圖片數(shù)據(jù)中的人體和物體的交互動作中的 動詞進(jìn)行標(biāo)注。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述特征信息和空間信息構(gòu)建 貝葉斯網(wǎng)絡(luò)模型包括： 將所述特征信息和空間信息與貝葉斯網(wǎng)絡(luò)模型中的節(jié)點(diǎn)相對應(yīng)，并訓(xùn)練得到所述貝葉 斯網(wǎng)絡(luò)模型的參數(shù)。
3. 根據(jù)權(quán)利要求1-2任一項所述的方法，其特征在于，所述步驟S3包括： 根據(jù)所述貝葉斯網(wǎng)絡(luò)模型計算所述圖片數(shù)據(jù)中的人體和物體的交互動作的最大概 率； 對所述最大概率對應(yīng)的人體和物體的交互動作的動詞進(jìn)行標(biāo)注。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述貝葉斯網(wǎng)絡(luò)模型計算所述 圖片數(shù)據(jù)中的人體和物體的交互動作的最大概率包括： 根據(jù)下式計算所述圖片數(shù)據(jù)中的人體和物體的交互動作的最大概率：
其中，V為所述人體的動作，G為所述人體的姿態(tài)，0為與所述人體有交互動作的物體，Hi、H2、…HN為所述人體的各個不同的部分，M^為所述物體的觀測狀態(tài)，Mhl、Mh2、…^為所 述人體各個不同部分的觀測狀態(tài)。
【專利摘要】本發(fā)明提供的基于貝葉斯網(wǎng)絡(luò)的人體動作的標(biāo)注方法，包括：步驟S1：設(shè)定人體和物體的交互動作的詞組，根據(jù)所述詞組選取所述詞組對應(yīng)的圖片構(gòu)成獲取第一圖片數(shù)據(jù)庫，所述詞組包括動詞和名詞；步驟S2：從所述第一圖片數(shù)據(jù)庫中提取各詞組對應(yīng)的圖片數(shù)據(jù)中的人體和物體的特征信息和空間信息，根據(jù)所述特征信息和空間信息構(gòu)建貝葉斯網(wǎng)絡(luò)模型；步驟S3：根據(jù)所述貝葉斯網(wǎng)絡(luò)模型對所述圖片數(shù)據(jù)中的人體和物體的交互動作中的動詞進(jìn)行標(biāo)注。本發(fā)明實(shí)現(xiàn)根據(jù)貝葉斯網(wǎng)絡(luò)模型對圖片中的人體和物體的交互動作中的動詞進(jìn)行準(zhǔn)確地標(biāo)注。
【IPC分類】G06F17-30
【公開號】CN104615711
【申請?zhí)枴緾N201510058706
【發(fā)明人】徐常勝, 孫超, 鮑秉坤
【申請人】中國科學(xué)院自動化研究所
【公開日】2015年5月13日
【申請日】2015年2月4日