基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法
【專利摘要】本發(fā)明公開一種基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，包括以下步驟，S01，建立虛擬3D會議大廳；S02，建立云服務(wù)器；S03，實時三維人臉圖像采集終端采集參會人員真實人臉圖像；S04，云服務(wù)器接收所述三維人臉圖像；S05，三維人臉圖像預(yù)處理：對三維人臉圖像進(jìn)行噪聲預(yù)處理方法，并轉(zhuǎn)化為灰度圖像；S06，三維人臉的提取,從原始三維曲面中分離出頭部和肩部；S07，臉部標(biāo)志點定位；S08，三維人臉配準(zhǔn)；S09，云服務(wù)器將步驟S08恢復(fù)的人臉彩圖結(jié)果返回虛擬會議顯示終端；本發(fā)明通過云服務(wù)器終端進(jìn)行三維人臉特征識別，實時在虛擬網(wǎng)絡(luò)會議大廳中顯示與會人員圖像，傳輸計算效率高，相應(yīng)快，能夠推廣應(yīng)用。
【專利說明】基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬機場智能安檢領(lǐng)域，尤其涉及一種基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法。

【背景技術(shù)】
[0002]目前，虛擬網(wǎng)絡(luò)會議一般只能夠?qū)崿F(xiàn)音頻傳播，當(dāng)使用視頻傳播時，由于視頻圖像傳輸數(shù)據(jù)較大，視頻圖像顯示效果差，且丟幀嚴(yán)重，現(xiàn)有技術(shù)，虛擬網(wǎng)絡(luò)會議一般僅能夠模擬人像，使用特定的圖像或者頭像顯示與會人員，不能夠?qū)崟r顯示與會人員的真實面部表情。


【發(fā)明內(nèi)容】

[0003]為了解決現(xiàn)有技術(shù)問題，本發(fā)明提供了尤其涉及一種基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，通過云服務(wù)器終端進(jìn)行三維人臉特征識別，實時在虛擬網(wǎng)絡(luò)會議大廳中顯示與會人員圖像，傳輸計算效率高，相應(yīng)快，能夠推廣應(yīng)用。
[0004]本發(fā)明采用的技術(shù)方案為:基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，包括以下步驟，
8 01，建立虛擬30會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌； 802,建立云服務(wù)器，云服務(wù)器連接實時三維人臉圖像采集終端和虛擬會議顯示終端； 303，實時三維人臉圖像采集終端采集參會人員真實人臉圖像；
304，云服務(wù)器接收所述三維人臉圖像；
步驟304，云服務(wù)器接收圖像采集終端發(fā)送的三維人臉圖像后，將三維人臉圖像轉(zhuǎn)換成一系列數(shù)據(jù)傳遞至云服務(wù)器的計算單元，所述計算單元進(jìn)行三維人臉圖像預(yù)處理、三維人臉的提取和三維人臉配準(zhǔn)。本發(fā)明基于云服務(wù)器傳輸三維人臉圖像并在云服務(wù)器端進(jìn)行三維人臉識別，三維人臉圖像轉(zhuǎn)換成一系列數(shù)據(jù)傳遞至云服務(wù)器的計算單元，三維人臉圖像傳輸過程中為點云數(shù)據(jù)，傳輸效率高，丟幀現(xiàn)象少。
[0005]305，三維人臉圖像預(yù)處理:對三維人臉圖像進(jìn)行噪聲預(yù)處理方法，并轉(zhuǎn)化為灰度圖像；
步驟305三維人臉圖像預(yù)處理具體包括以下步驟:
(501)對三維人臉圖像進(jìn)行去噪處理，采用基于點云數(shù)據(jù)的三角曲面插值方法，對三維人臉圖像點云數(shù)據(jù)進(jìn)行曲面擬合和優(yōu)化重構(gòu)；
(502)使用拉普拉斯平滑和化油丨!!方法對模型進(jìn)行平滑處理；
(503)對人臉圖像進(jìn)行網(wǎng)格切割并姿態(tài)歸一化處理，獲取三維人臉模型。
[0006]圖像預(yù)處理濾除噪音，顯示畫面清晰，并有利于三維人臉提取。
[0007]306，三維人臉的提取，從原始三維曲面中分離出頭部和肩部；
步驟306具體包括以下步驟:
(601)從原始三維曲面中分離出頭部和肩部，使用方法獲取姿態(tài)的估計，去掉肩部區(qū)域；
(602)網(wǎng)格裁剪:基于標(biāo)志點的預(yù)配準(zhǔn)方法將人臉轉(zhuǎn)換到正面狀態(tài)，然后在XOY平面上使用一個矩形裁剪人臉。
[0008]本發(fā)明虛擬3D會議大廳僅實時顯示三維人臉圖像，用于面部表情顯示，因此，圖像僅保留人臉部分圖像。
[0009]S07，臉部標(biāo)志點定位；
步驟S07具體包括以下步驟:
(701)定位兩個內(nèi)眼角、兩個外眼角和鼻尖點；
(702)進(jìn)行坐標(biāo)映射，獲取五個標(biāo)志點(兩個內(nèi)眼角、兩個外眼角和鼻尖點)的坐標(biāo)位置；
(703)基于連續(xù)ShapeIndex和幾何約束的標(biāo)志點定位方法，基于三角網(wǎng)格格式的三維數(shù)據(jù)，通過對點的鄰域擬合二次曲面，計算Shape Index,獲取魯棒特征；
(704)通過幾何約束，實現(xiàn)姿態(tài)無關(guān)的標(biāo)志點定位。
[0010]S08，三維人臉配準(zhǔn):依據(jù)步驟S07定位的標(biāo)志點，配準(zhǔn)三維人臉后，恢復(fù)為人臉彩圖；
步驟S08具體包括以下步驟:配準(zhǔn)步驟S07定位后的標(biāo)志點，實現(xiàn)基于標(biāo)志點的粗配準(zhǔn)；當(dāng)三維人臉圖像標(biāo)志區(qū)域丟失時，標(biāo)志點無法穩(wěn)定提取通過基于主軸分析的粗配準(zhǔn)方法進(jìn)行三維人臉配準(zhǔn)。
[0011]人臉圖像配準(zhǔn)后，恢復(fù)為彩圖顯示，滿足虛擬網(wǎng)絡(luò)會議顯示需求。
[0012]S09,云服務(wù)器將步驟S08恢復(fù)的人臉彩圖結(jié)果返回虛擬會議顯示終端。
[0013]與現(xiàn)有技術(shù)相比，本發(fā)明有益效果包括:
本發(fā)明提供了一種基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，通過云服務(wù)器終端進(jìn)行三維人臉特征識別，實時在虛擬網(wǎng)絡(luò)會議大廳中顯示與會人員圖像，傳輸計算效率高，相應(yīng)快，能夠推廣應(yīng)用。

【具體實施方式】
[0014]下面結(jié)合具體實施例對本發(fā)明作更進(jìn)一步的說明。
[0015]基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，包括以下步驟，
S 01，建立虛擬3D會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌；
502,建立云服務(wù)器，云服務(wù)器連接實時三維人臉圖像采集終端和虛擬會議顯示終端；
503,實時三維人臉圖像采集終端采集參會人員真實人臉圖像；
S04，云服務(wù)器接收所述三維人臉圖像；
步驟S04，云服務(wù)器接收圖像采集終端發(fā)送的三維人臉圖像后，將三維人臉圖像轉(zhuǎn)換成一系列數(shù)據(jù)傳遞至云服務(wù)器的計算單元，所述計算單元進(jìn)行三維人臉圖像預(yù)處理、三維人臉的提取和三維人臉配準(zhǔn)。
[0016]S05，三維人臉圖像預(yù)處理:對三維人臉圖像進(jìn)行噪聲預(yù)處理方法，并轉(zhuǎn)化為灰度圖像；
步驟S05三維人臉圖像預(yù)處理具體包括以下步驟:
(501)對三維人臉圖像進(jìn)行去噪處理，采用基于點云數(shù)據(jù)的三角曲面插值方法，對三維人臉圖像點云數(shù)據(jù)進(jìn)行曲面擬合和優(yōu)化重構(gòu)；
(502)使用拉普拉斯平滑和化油丨!!方法對模型進(jìn)行平滑處理；
(503)對人臉圖像進(jìn)行網(wǎng)格切割并姿態(tài)歸一化處理，獲取三維人臉模型。
[0017]306，三維人臉的提取，從原始三維曲面中分離出頭部和肩部；
步驟306具體包括以下步驟:
(601)從原始三維曲面中分離出頭部和肩部，使用方法獲取姿態(tài)的估計，去掉肩部區(qū)域；
(602)網(wǎng)格裁剪:基于標(biāo)志點的預(yù)配準(zhǔn)方法將人臉轉(zhuǎn)換到正面狀態(tài)，然后在乂01平面上使用一個矩形裁剪人臉。
[0018]307，臉部標(biāo)志點定位；
步驟307具體包括以下步驟:
(701)定位兩個內(nèi)眼角、兩個外眼角和鼻尖點；
(702)進(jìn)行坐標(biāo)映射，獲取五個標(biāo)志點兩個內(nèi)眼角、兩個外眼角和鼻尖點的坐標(biāo)位置；
(703)基于連續(xù)311叩6111(161和幾何約束的標(biāo)志點定位方法，基于三角網(wǎng)格格式的三維數(shù)據(jù)，通過對點的鄰域擬合二次曲面，計算311^)6 111(161,獲取魯棒特征；
(704)通過幾何約束，實現(xiàn)姿態(tài)無關(guān)的標(biāo)志點定位。
[0019]308，三維人臉配準(zhǔn):依據(jù)步驟307定位的標(biāo)志點，配準(zhǔn)三維人臉后，恢復(fù)為人臉彩圖；
步驟308具體包括以下步驟:配準(zhǔn)步驟307定位后的標(biāo)志點，實現(xiàn)基于標(biāo)志點的粗配準(zhǔn)；當(dāng)三維人臉圖像標(biāo)志區(qū)域丟失時，標(biāo)志點無法穩(wěn)定提取通過基于主軸分析的粗配準(zhǔn)方法進(jìn)行三維人臉配準(zhǔn)。
[0020]809,云服務(wù)器將步驟308恢復(fù)的人臉彩圖結(jié)果返回虛擬會議顯示終端。
[0021]以上僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出:對于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于，包括以下步驟， S 01，建立虛擬3D會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌； 502,建立云服務(wù)器，云服務(wù)器連接實時三維人臉圖像采集終端和虛擬會議顯示終端； 503,實時三維人臉圖像采集終端采集參會人員真實人臉圖像； S04，云服務(wù)器接收所述三維人臉圖像； S05，三維人臉圖像預(yù)處理:對三維人臉圖像進(jìn)行噪聲預(yù)處理方法，并轉(zhuǎn)化為灰度圖像； S06，三維人臉的提取，從原始三維曲面中分離出頭部和肩部； S07，臉部標(biāo)志點定位； S08，三維人臉配準(zhǔn):依據(jù)步驟S07定位的標(biāo)志點，配準(zhǔn)三維人臉后，恢復(fù)為人臉彩圖； S09，云服務(wù)器將步驟S08恢復(fù)的人臉彩圖結(jié)果返回虛擬會議顯示終端。
2.根據(jù)權(quán)利要求1所述的基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于， 步驟S04，云服務(wù)器接收圖像采集終端發(fā)送的三維人臉圖像后，將三維人臉圖像轉(zhuǎn)換成一系列數(shù)據(jù)傳遞至云服務(wù)器的計算單元，所述計算單元進(jìn)行三維人臉圖像預(yù)處理、三維人臉的提取和三維人臉配準(zhǔn)。
3.根據(jù)權(quán)利要求1所述的基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于， 步驟S05三維人臉圖像預(yù)處理具體包括以下步驟: (501)對三維人臉圖像進(jìn)行去噪處理，采用基于點云數(shù)據(jù)的三角曲面插值方法，對三維人臉圖像點云數(shù)據(jù)進(jìn)行曲面擬合和優(yōu)化重構(gòu)； (502)使用拉普拉斯平滑和Taubin方法對模型進(jìn)行平滑處理； (503)對人臉圖像進(jìn)行網(wǎng)格切割并姿態(tài)歸一化處理，獲取三維人臉模型。
4.根據(jù)權(quán)利要求1所述的基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于， 步驟S06具體包括以下步驟: (601)從原始三維曲面中分離出頭部和肩部，使用PCA方法獲取姿態(tài)的估計，去掉肩部區(qū)域； (602)網(wǎng)格裁剪:基于標(biāo)志點的預(yù)配準(zhǔn)方法將人臉轉(zhuǎn)換到正面狀態(tài)，然后在XOY平面上使用一個矩形裁剪人臉。
5.根據(jù)權(quán)利要求1所述的基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于， 步驟S07具體包括以下步驟: (701)定位兩個內(nèi)眼角、兩個外眼角和鼻尖點； (702)進(jìn)行坐標(biāo)映射，獲取五個標(biāo)志點的坐標(biāo)位置； (703)基于連續(xù)ShapeIndex和幾何約束的標(biāo)志點定位方法，基于三角網(wǎng)格格式的三維數(shù)據(jù)，通過對點的鄰域擬合二次曲面，計算Shape Index,獲取魯棒特征； (704)通過幾何約束，實現(xiàn)姿態(tài)無關(guān)的標(biāo)志點定位。
6.根據(jù)權(quán)利要求1所述的基于三維人臉識別的虛擬網(wǎng)絡(luò)會議方法，其特征在于，S08具體包括以下步驟:配準(zhǔn)步驟S07定位后的標(biāo)志點，實現(xiàn)基于標(biāo)志點的粗配準(zhǔn)；當(dāng)三維人臉圖像標(biāo)志區(qū)域丟失時，標(biāo)志點無法穩(wěn)定提取通過基于主軸分析的粗配準(zhǔn)方法進(jìn)行三維人臉配準(zhǔn)。
【文檔編號】G06T17/00GK104408769SQ201410694849
【公開日】2015年3月11日 申請日期:2014年11月27日 優(yōu)先權(quán)日:2014年11月27日
【發(fā)明者】張會林, 孫利華 申請人:蘇州福豐科技有限公司