用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法
【專利摘要】本發(fā)明涉及光學(xué)三維輪廓測(cè)量【技術(shù)領(lǐng)域】，它是用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法。用兩個(gè)攝像機(jī)對(duì)被測(cè)物體同時(shí)進(jìn)行圖像采集，其中兩個(gè)CCD攝像機(jī)之間保持一定的距離，利用人眼的雙目立體視覺的原理進(jìn)行三維測(cè)量，采用據(jù)有特定的排列次序的不同顏色的幾何形狀在被測(cè)物體表面做出標(biāo)記，使兩個(gè)CCD攝像機(jī)獲得的圖像之間容易找到匹配點(diǎn)。根據(jù)同一匹配點(diǎn)在兩幅圖像中的視差計(jì)算出該點(diǎn)在三維空間中的位置。本發(fā)明可以對(duì)人體的運(yùn)動(dòng)行為進(jìn)行跟蹤測(cè)量。在計(jì)算機(jī)三維動(dòng)畫制作，運(yùn)動(dòng)員的選拔與訓(xùn)練等領(lǐng)域有著廣闊的應(yīng)用前景。
【專利說(shuō)明】用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法【技術(shù)領(lǐng)域】
[0001]在本發(fā)明涉及光學(xué)三維輪廓測(cè)量【技術(shù)領(lǐng)域】。它是一種用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法。
【背景技術(shù)】
[0002]利用雙目立體視覺的原理進(jìn)行三維觀測(cè)和測(cè)量已有廣泛的研究和應(yīng)用。目前已提出許多三維觀測(cè)和測(cè)量方法。中國(guó)專利CN1010466A公開的是將一系列具有單值編碼的光條帶圖案，以與攝象機(jī)的光軸間的一定傾角投射到目標(biāo)上，并由攝象機(jī)內(nèi)的象素接受目標(biāo)所反射的編碼光信號(hào).通過(guò)適當(dāng)?shù)倪x擇和坐標(biāo)系的標(biāo)度選取，以及相關(guān)的光條帶編碼，對(duì)每個(gè)象素單元，通過(guò)從反射到象素的二進(jìn)制編碼光信號(hào)中簡(jiǎn)單地減去該象素的一個(gè)坐標(biāo)就可以測(cè)定目標(biāo)的分布。CN1230254A揭示了一種通過(guò)光學(xué)圖像捕獲、投影圖案和三角測(cè)量計(jì)算進(jìn)行三維目標(biāo)測(cè)量的方法和裝置。圖案投影裝置和圖像捕獲裝置是分別設(shè)計(jì)的。在測(cè)量過(guò)程中可以被單獨(dú)定位和引導(dǎo)。CN1231724A揭示了一種通過(guò)光學(xué)記錄、投影樣本和三角測(cè)量提高計(jì)算三維目標(biāo)測(cè)量的顯著性的方法，為此把編碼樣本投影在目標(biāo)上，以在估算圖像數(shù)據(jù)期間防止重復(fù)性。CN1141427A提供的測(cè)量方法是由同步時(shí)鐘指揮對(duì)被測(cè)運(yùn)動(dòng)物體打標(biāo)記的同時(shí)攝取圖像，然后識(shí)別標(biāo)記并計(jì)算出標(biāo)記特征點(diǎn)的坐標(biāo)，再計(jì)算出被測(cè)物體運(yùn)動(dòng)軌跡、沿軌跡的長(zhǎng)度和當(dāng)前的運(yùn)動(dòng)速度等參數(shù)。
[0003]上述前三種文獻(xiàn)中都采用了向被測(cè)物體投射特定圖案的方法，這一方法可以獲得物體的三維輪廓或提高三維觀察的顯著性。但無(wú)法對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤。最后一篇文獻(xiàn)中公開的是在運(yùn)動(dòng)物體上打標(biāo)記，通過(guò)識(shí)別標(biāo)記來(lái)計(jì)算出物體的運(yùn)動(dòng)軌跡。這種方法只能對(duì)簡(jiǎn)單物體的運(yùn)動(dòng)進(jìn)行跟蹤，對(duì)于一些復(fù)雜的運(yùn)動(dòng)物體，如人體的運(yùn)動(dòng)則無(wú)法進(jìn)行測(cè)量。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，它是解決對(duì)運(yùn)動(dòng)物體、特別是運(yùn)動(dòng)的人體進(jìn)行三維輪廓跟蹤測(cè)量的問(wèn)題。
[0005]本發(fā)明用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法包括下述步驟:
1)用兩臺(tái)相對(duì)位置保持不變但可以整體移動(dòng)并能對(duì)物體進(jìn)行跟蹤測(cè)量的攝像機(jī)組成三維跟蹤測(cè)量系統(tǒng)；
2)用幾何圖形在二維面上進(jìn)行排列組成二維編碼圖，將二維編碼圖附著在被測(cè)物體的表面；
3)用三維跟蹤測(cè)量系統(tǒng)對(duì)附著了二維編碼圖的三維物體進(jìn)行測(cè)量，并將兩臺(tái)攝像機(jī)獲得的圖像送入計(jì)算機(jī)；
4)計(jì)算機(jī)通過(guò)三維測(cè)量軟件根據(jù)幾何圖形構(gòu)成的二維編碼圖找出兩幅圖像中的匹配點(diǎn)，并根據(jù)匹配點(diǎn)在兩幅圖像中的視差計(jì)算出匹配點(diǎn)所對(duì)應(yīng)的空間位置。
[0006]本發(fā)明是用兩個(gè)攝像機(jī)對(duì)被測(cè)物體同時(shí)進(jìn)行圖像采集，其中兩個(gè)CCD攝像機(jī)之間保持一定的距離，利用人眼的雙目立體視覺的原理進(jìn)行三維測(cè)量，釆用按照一定規(guī)則排列的幾何圖形組成二維編碼圖附著在被測(cè)物體的表面，使兩個(gè)攝像機(jī)獲得的圖像之間可以根據(jù)排列規(guī)則找到匹配點(diǎn)。根據(jù)同一匹配點(diǎn)在兩幅圖像中的視差計(jì)算出該點(diǎn)在三維空間中的位置。
[0007]利用雙目立體視覺進(jìn)行三維測(cè)量的基本原理是三角測(cè)量方法。當(dāng)左右兩個(gè)攝像機(jī)的相對(duì)位置確定后，根據(jù)被測(cè)物體上的同一點(diǎn)在左右兩個(gè)攝像機(jī)中成像位置的差別就可以計(jì)算出該點(diǎn)的空間位置。在計(jì)算機(jī)視覺領(lǐng)域中，為了保證測(cè)量精度一般采用特征匹配方式，即選擇物體上的特征點(diǎn)，如角點(diǎn)、邊界線等進(jìn)行計(jì)算。但對(duì)比較圓滑的物體，例如人體，找匹配點(diǎn)相當(dāng)困難。本發(fā)明采用具有明顯特征的幾何圖形在二維面上按照一定的規(guī)則進(jìn)行排列組成二維編碼圖，并將二維編碼圖附著在被測(cè)物體表面，從而在被測(cè)物體表面形成了一系列的匹配點(diǎn)。這就使得從兩個(gè)攝像機(jī)獲得的圖像之間可以根據(jù)排列規(guī)則找到匹配點(diǎn)。
[0008]用于編碼的幾何圖形可以是正方形、三角形、六邊形、圓形或者是其它有明顯特征的幾何圖形。只要計(jì)算機(jī)能夠準(zhǔn)確識(shí)別的圖形均可以采用。這里應(yīng)該注意的是，由于被測(cè)物體上的幾何圖形與圖像平面往往成一定的夾角，它在圖像中的投影會(huì)使幾何圖形發(fā)生變形，例如，正方形隨著投影角度的不同可以是矩形、菱形等，如果正方形的一部分被遮擋，就有可能是梯形或三角形。因此，選擇不同的幾何圖形進(jìn)行二維編碼時(shí)要避免使用容易混淆的幾何圖形。編碼所采用的幾何圖形最好能夠與三維重建軟件所要求的相一致。這樣能夠使數(shù)據(jù)處理更加方便。
[0009]用彩色CXD獲得的圖像中，紅、綠、藍(lán)三種顏色互相獨(dú)立，稱為三原色。在用計(jì)算機(jī)進(jìn)行圖像處理時(shí)，我們可以很容易地將這三種顏色區(qū)分開，因而顏色特征比幾何特征更容易識(shí)別。為了用有限的顏色獲得大的編碼面我們將相鄰的幾何圖形組成一組，每一組內(nèi)的排列次序都不相同。例如，用紅綠藍(lán)三種顏色進(jìn)行編碼，4個(gè)幾何圖形為一組，根據(jù)排列組合原理，一共可以有81種不同的排列組合方式。每一組中的排列方式可以是一行的幾何圖形組成一組，也可以是一列的幾何圖形組成一組，還可以是相鄰的幾個(gè)幾何圖形組成一組。每一組中幾何圖形的個(gè)數(shù)可根據(jù)測(cè)量的具體需求來(lái)確定。為了使編碼圖中每一個(gè)匹配點(diǎn)都能夠被唯一地確定，在一個(gè)編碼周期中，每一組的排列次序只出現(xiàn)一次。
[0010]在實(shí)際測(cè)量中，我們得不到單一的紅色、綠色或者藍(lán)色。由于各種原因，總會(huì)有一些雜散光。在測(cè)量中屬于噪聲干擾。為了使測(cè)量系統(tǒng)具有一定的抗干擾能力，盡量使每一種顏色之間的差別達(dá)到最大。在24位彩色模式下，紅綠藍(lán)三種顏色每一個(gè)顏色可以有256個(gè)灰階。為了使顏色的差別達(dá)到最大，每個(gè)顏色只取O和255兩個(gè)值。這時(shí)用三種顏色進(jìn)行組合，可得到白、紅、綠、藍(lán)，以及它們的補(bǔ)色黑、青、品、黃。如果用黑色做背底色，還有7種顏色可以用來(lái)編碼。
[0011]在很多情況下，并不需要很大的編碼面，而需要較快的解碼速度。這時(shí)可以采用紅綠藍(lán)三種顏色進(jìn)行編碼，或者采用紅綠藍(lán)白四種顏色進(jìn)行編碼。只用這幾種顏色進(jìn)行編碼，在進(jìn)行計(jì)算機(jī)處理時(shí)速度最快。
[0012]每一組中幾何圖形的個(gè)數(shù)越多，按照排列組合原理它的排列方式就越多，所組成的二維編碼面就越大。但同時(shí)還要考慮到，如果在一組中有部分元素被遮擋，對(duì)于這一組的編碼值將無(wú)法唯一地確定，這就造成測(cè)量的盲區(qū)，在一組中幾何圖形的個(gè)數(shù)越多，遮擋所造成的盲區(qū)的范圍也就越大。在對(duì)動(dòng)態(tài)的人體進(jìn)行測(cè)量時(shí)，人的肢體經(jīng)常會(huì)遮擋軀千的某一部分，如果遮擋造成的盲區(qū)過(guò)大就會(huì)影響測(cè)量的結(jié)果。[0013]為了使遮擋所造成的盲區(qū)減至最小，本發(fā)明將四個(gè)相鄰的正方形組成一組，在進(jìn)行編碼處理時(shí)，每一個(gè)非邊緣上的正方形都同時(shí)是相鄰四個(gè)組中的一個(gè)元素，如圖1所示。其中R、G、B分別代表紅、綠、藍(lán)三種顏色的正方形。以任意一點(diǎn)G為中心3X3個(gè)正方形組成的編碼圖(圖1e)中，可以看成是由四個(gè)2X2的編碼單元交錯(cuò)組成的。其中，第一組(圖1a)中右下角的元素同時(shí)也是第二組(圖1b)中左下角的元素，它還是第三組(圖1c)中右上角的元素和第四組(圖1d)中左上角的元素。按照這一規(guī)則進(jìn)行編碼得到的二維編碼圖中，任意相鄰的四個(gè)元素都可以組成一組，并且它們的排列次序在一個(gè)編碼周期內(nèi)是唯一的。按照這一規(guī)則進(jìn)行編碼處理時(shí)，任何一個(gè)元素受到遮擋都不會(huì)對(duì)其它元素造成任何影響。
[0014]用紅、綠、藍(lán)三種顏色按照以上的規(guī)則進(jìn)行編碼，可以組成一個(gè)9X9的編碼圖，如圖2所示；當(dāng)被測(cè)物體表面積較大時(shí)，可以采用更多的顏色進(jìn)行編碼，也可以用幾個(gè)編碼周期拼接成更大的編碼圖。
[0015]本發(fā)明的具體測(cè)量步驟詳細(xì)描述如下:
I) 按照?qǐng)D2所示的二維編碼的排列次序用紅綠藍(lán)三種顏色的正方形制成彩色二維編碼圖。如果是對(duì)人體進(jìn)行測(cè)量，則制成編碼服。
[0016]2) 將彩色二維編碼圖附著在被測(cè)物體的表面。如果是對(duì)人體進(jìn)行測(cè)量，則將編碼服穿在被測(cè)者的身上。
[0017]3) 用兩臺(tái)攝像機(jī)組成三維跟蹤測(cè)量系統(tǒng)。兩臺(tái)攝像機(jī)的相對(duì)位置保持不變，但可以整體移動(dòng)并對(duì)物體進(jìn)行跟蹤測(cè)量。
[0018]4) 在實(shí)際測(cè)量前，用己知三維輪廓的物體對(duì)系統(tǒng)進(jìn)行校正。經(jīng)過(guò)校正的跟蹤測(cè)量系統(tǒng)在整個(gè)測(cè)量過(guò)程中要保持恒定。
[0019]5) 用三維跟蹤測(cè)量系統(tǒng)對(duì)前面所述的附著了彩色二維編碼圖的三維物體的進(jìn)行測(cè)量。
[0020]6)將測(cè)量的圖像送入計(jì)算機(jī)。
[0021]7) 計(jì)算機(jī)通過(guò)圖像處理程序找出左右兩幅圖像中的匹配點(diǎn)，并根據(jù)匹配點(diǎn)在兩幅圖像中的視差計(jì)算出匹配點(diǎn)所對(duì)應(yīng)的空間位置。
[0022]8) 根據(jù)測(cè)量得到的空間點(diǎn)的位置用三維建模軟件在計(jì)算機(jī)內(nèi)重構(gòu)物體的三維模型。
[0023]用雙目視覺的原理獲取物體三維信息最大的困難是找匹配點(diǎn)。本發(fā)明采用彩色二維幾何圖形編碼的方法有效地解決了這一難題。用彩色二維幾何圖形編碼制成的服裝穿在人身上時(shí)，不僅可以測(cè)量出人體的三維輪廓，而且可以對(duì)人體的運(yùn)動(dòng)行為進(jìn)行跟蹤測(cè)量。由于整個(gè)測(cè)量過(guò)程是在白光條件下進(jìn)行，因而能適應(yīng)各種現(xiàn)場(chǎng)測(cè)量的條件。本發(fā)明在計(jì)算機(jī)三維動(dòng)畫制作，運(yùn)動(dòng)員的選拔與訓(xùn)練等領(lǐng)域有著廣闊的應(yīng)用前景。
【專利附圖】

【附圖說(shuō)明】
[0024]圖1RGB 二維編碼單元圖。
[0025]圖2 二維編碼排列圖。
[0026]圖3測(cè)量系統(tǒng)的裝置圖，1-左攝像機(jī)，2-右攝像機(jī)，3-被測(cè)物體，4-世界坐標(biāo)系x軸方向。
[0027]圖4圓柱體的左攝像機(jī)實(shí)驗(yàn)測(cè)量圖。[0028] 圖5圓柱體的右攝像機(jī)實(shí)驗(yàn)測(cè)量圖。[0029] 圖6圓柱體測(cè)量結(jié)果三維重建圖。[0030] 圖7人體模型的左攝像機(jī)實(shí)驗(yàn)測(cè)量圖。[0031] 圖8人體模型的左攝像機(jī)實(shí)驗(yàn)測(cè)量圖。[0032] 圖9人體模型測(cè)量結(jié)果三維重建圖。
【具體實(shí)施方式】
[0033]實(shí)施例1
首先用計(jì)算機(jī)繪圖軟件按照?qǐng)D2所示的二維編碼的排列次序用紅綠藍(lán)三種顏色的正方形制成彩色二維編碼圖，并用彩色打印機(jī)輸出制成二維編碼圖，其中正方形的邊長(zhǎng)為IOmm,每個(gè)正方形之間的間隔也是10mm。將二維編碼圖附著在直徑為135mm,高200mm的圓柱體上。用兩臺(tái)攝像機(jī)按照?qǐng)D3所示的裝置組成測(cè)量系統(tǒng)。兩個(gè)攝像機(jī)分別放在1、2的位置，并使它們處在同一水平高度。視頻輸出信號(hào)通過(guò)圖像采集卡送入計(jì)算機(jī)，圖像采集卡的分辨率為688x516像素，24位真彩色模式。燈光的配置盡量使左右照明均勻，以減少被測(cè)物體上的陰影。
[0034]在進(jìn)行實(shí)際測(cè)量前，要對(duì)測(cè)量系統(tǒng)進(jìn)行校正。由于圓柱體的半徑和高都是己知的，可以用來(lái)對(duì)系統(tǒng)進(jìn)行校正。用攝像機(jī)1、2分別對(duì)圓柱體進(jìn)行采樣并經(jīng)過(guò)圖像采集卡送入計(jì)算機(jī)，得到的采樣圖如圖4和圖5所示。在計(jì)算機(jī)中，通過(guò)圖像處理軟件對(duì)每一個(gè)正方形的顏色進(jìn)行識(shí)別，并根據(jù)其相鄰正方形的顏色得到該正方形的編碼值。
[0035]在二維編碼圖上，每一個(gè)正方形的四個(gè)角可以作為四個(gè)匹配點(diǎn)。在對(duì)測(cè)量圖像進(jìn)行處理時(shí)，要準(zhǔn)確確定每一個(gè)角點(diǎn)的位置，并通過(guò)每一個(gè)角點(diǎn)在左右圖像中的視差來(lái)確定它在空間的位置。
[0036]圖6是根據(jù)實(shí)驗(yàn)測(cè)得的空間點(diǎn)，用VRML2.0在計(jì)算機(jī)內(nèi)進(jìn)行三維重建的結(jié)果。用VRML2.0進(jìn)行三維重建的好處是可以通過(guò)瀏覽器進(jìn)行三維瀏覽。從三維重建的效果來(lái)看，基本與實(shí)際物體是一致的。
[0037]實(shí)施例2
測(cè)量系統(tǒng)經(jīng)過(guò)實(shí)施例1校正后保持恒定，我們對(duì)人體模型進(jìn)行三維測(cè)量。用紅、綠、藍(lán)三種顏色的正方形按照?qǐng)D2所示的排列次序貼在人體模型表面，用測(cè)量系統(tǒng)對(duì)模特進(jìn)行測(cè)量。圖7、圖8分別為左右攝像機(jī)得到的釆樣圖。通過(guò)計(jì)算機(jī)程序處理，可以得到每一個(gè)正方形四個(gè)角點(diǎn)的空間坐標(biāo)。根據(jù)實(shí)驗(yàn)測(cè)得的空間點(diǎn)，用VRML2.0在計(jì)算機(jī)內(nèi)進(jìn)行三維重建。圖9是由人體模型三維測(cè)量值在計(jì)算機(jī)內(nèi)三維重建的結(jié)果。
【權(quán)利要求】
1.一種用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于包括下述步驟:5)用兩臺(tái)相對(duì)位置保持不變但可以整體移動(dòng)并能對(duì)物體進(jìn)行跟蹤測(cè)量的攝像機(jī)組成三維跟蹤測(cè)量系統(tǒng)；6)用幾何圖形在二維面上進(jìn)行排列組成二維編碼圖，將二維編碼圖附著在被測(cè)物體的表面；7)用三維跟蹤測(cè)量系統(tǒng)對(duì)附著了二維編碼圖的三維物體進(jìn)行測(cè)量，并將兩臺(tái)攝像機(jī)獲得的圖像送入計(jì)算機(jī)；8)計(jì)算機(jī)通過(guò)三維測(cè)量軟件根據(jù)幾何圖形構(gòu)成的二維編碼圖找出兩幅圖像中的匹配點(diǎn)，并根據(jù)匹配點(diǎn)在兩幅圖像中的視差計(jì)算出匹配點(diǎn)所對(duì)應(yīng)的空間位置。
2.根據(jù)權(quán)利要求1所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于所述的幾何圖形是正方形、三角形、六邊形或圓形。
3.根據(jù)權(quán)利要求2所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于所述的幾何圖形具有顏色。
4.根據(jù)權(quán)利要求1所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于若干個(gè)相鄰的幾何圖形組成一組，每一組內(nèi)的排列次序各不相同。
5.根據(jù)權(quán)利要求4所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于所述的幾何圖形每一組的排列次序在一個(gè)編碼周期范圍內(nèi)是唯一的。
6.根據(jù)權(quán)利要求3所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于所述的幾何圖形采用分立顏色進(jìn)行排列。
7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的用二維編碼對(duì)運(yùn)動(dòng)物體進(jìn)行三維跟蹤測(cè)量的方法，其特征在于所述的幾何圖形是由四個(gè)不同顏色的相鄰正方形組成一組，每一個(gè)非邊緣上的正方形都同時(shí)是相鄰四個(gè)組中的一個(gè)元素。
【文檔編號(hào)】G01B11/25GK103591906SQ201210285575
【公開日】2014年2月19日 申請(qǐng)日期:2012年8月13日 優(yōu)先權(quán)日:2012年8月13日
【發(fā)明者】袁樺, 張玉 申請(qǐng)人:上海威塔數(shù)字科技有限公司