專利名稱：用二維編碼對運動物體進行三維跟蹤測量的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及光學(xué)三維輪廓測量技術(shù)領(lǐng)域。它是一種用二維編碼對運動物體進行三維跟蹤測量的方法。
背景技術(shù)：
利用雙目立體視覺的原理進行三維觀測和測量已有廣泛的研究和應(yīng)用。目前已提出許多三維觀測和測量方法。中國專利CN1010466A公開的是將一系列具有單值編碼的光條帶圖案，以與攝象機的光軸間的一定傾角投射到目標(biāo)上，并由攝象機內(nèi)的象素接受目標(biāo)所反射的編碼光信號。通過適當(dāng)?shù)倪x擇和坐標(biāo)系的標(biāo)度選取，以及相關(guān)的光條帶編碼，對每個象素單元，通過從反射到象素的二進制編碼光信號中簡單地減去該象素的一個坐標(biāo)就可以測定目標(biāo)的分布。CN1230254A揭示了一種通過光學(xué)圖像捕獲、投影圖案和三角測量計算進行三維目標(biāo)測量的方法和裝置。圖案投影裝置和圖像捕獲裝置是分別設(shè)計的。在測量過程中可以被單獨定位和引導(dǎo)。CN1231724A揭示了一種通過光學(xué)記錄、投影樣本和三角測量提高計算三維目標(biāo)測量的顯著性的方法，為此把編碼樣本投影在目標(biāo)上，以在估算圖像數(shù)據(jù)期間防止重復(fù)性。CN1141427A提供的測量方法是由同步時鐘指揮對被測運動物體打標(biāo)記的同時攝取圖像，然后識別標(biāo)記并計算出標(biāo)記特征點的坐標(biāo)，再計算出被測物體運動軌跡、沿軌跡的長度和當(dāng)前的運動速度等參數(shù)。
上述前三種文獻中都采用了向被測物體投射特定圖案的方法，這一方法可以獲得物體的三維輪廓或提高三維觀察的顯著性。但無法對運動物體進行三維跟蹤。最后一篇文獻中公開的是在運動物體上打標(biāo)記，通過識別標(biāo)記來計算出物體的運動軌跡。這種方法只能對簡單物體的運動進行跟蹤，對于一些復(fù)雜的運動物體，如人體的運動則無法進行測量。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種用二維編碼對運動物體進行三維跟蹤測量的方法，它是解決對運動物體、特別是運動的人體進行三維輪廓跟蹤測量的問題。本發(fā)明是用兩個攝像機對被測物體同時進行圖像采集，其中兩個CCD攝像機之間保持一定的距離，利用人眼的雙目立體視覺的原理進行三維測量，采用按照一定規(guī)則排列的幾何圖形組成二維編碼平面附著在被測物體的表面，使兩個攝像機獲得的圖像之間可以根據(jù)排列規(guī)則找到匹配點。根據(jù)同一匹配點在兩幅圖像中的視差計算出該點在三維空間中的位置。
利用雙目立體視覺進行三維測量的基本原理是三角測量方法。當(dāng)左右兩個攝像機的相對位置確定后，根據(jù)被測物體上的同一點在左右兩個攝像機中成像位置的差別就可以計算出該點的空間位置。在計算機視覺領(lǐng)域中，為了保證測量精度一般采用特征匹配方式，即選擇物體上的特征點，如角點、邊界線等進行計算。但對比較圓滑的物體，例如人體，找匹配點相當(dāng)困難。本發(fā)明采用具有明顯特征的幾何圖形在二維平面上按照一定的規(guī)則進行排列組成二維編碼平面，并將二維編碼平面附著在被測物體表面，從而在被測物體表面形成了一系列的匹配點。這就使得從兩個攝像機獲得的圖像之間可以根據(jù)排列規(guī)則找到匹配點。
用于編碼的幾何圖形可以是正方形、三角形、六邊形、圓形或者是其它有明顯特征的幾何圖形。只要計算機能夠準(zhǔn)確識別的圖形均可以采用。這里應(yīng)該注意的是，由于被測物體上的幾何圖形與圖像平面往往成一定的夾角，它在圖像中的投影會使幾何圖形發(fā)生變形，例如，正方形隨著投影角度的不同可以是矩形、菱形等，如果正方形的一部分被遮擋，就有可能是梯形或三角形。因此，選擇不同的幾何圖形進行二維編碼時要避免使用容易混淆的幾何圖形。編碼所采用的幾何圖形最好能夠與三維重建軟件所要求的相一致。這樣能夠使數(shù)據(jù)處理更加方便。
用彩色CCD獲得的圖像中，紅、綠、藍三種顏色互相獨立，稱為三原色。在用計算機進行圖像處理時，我們可以很容易地將這三種顏色區(qū)分開，因而顏色特征比幾何特征更容易識別。為了用有限的顏色獲得大的編碼平面我們將相鄰的幾何圖形組成一組，每一組內(nèi)的排列次序都不相同。例如，用紅綠藍三種顏色進行編碼，4個幾何圖形為一組，根據(jù)排列組合原理，一共可以有81種不同的排列組合方式。每一組中的排列方式可以是一行的幾何圖形組成一組，也可以是一列的幾何圖形組成一組，還可以是相鄰的幾個幾何圖形組成一組。每一組中幾何圖形的個數(shù)可根據(jù)測量的具體需求來確定。為了使編碼平面中每一個匹配點都能夠被唯一地確定，在一個編碼周期中，每一組的排列次序只出現(xiàn)一次。
在實際測量中，我們得不到單一的紅色、綠色或者藍色。由于各種原因，總會有一些雜散光。在測量中屬于噪聲干擾。為了使測量系統(tǒng)具有一定的抗干擾能力，盡量使每一種顏色之間的差別達到最大。在24位彩色模式下，紅綠藍三種顏色每一個顏色可以有256個灰階。為了使顏色的差別達到最大，每個顏色只取0和255兩個值。這時用三種顏色進行組合，可得到白、紅、綠、藍，以及它們的補色黑、青、品、黃。如果用黑色做背底色，還有7種顏色可以用來編碼。
在很多情況下，并不需要很大的編碼平面，而需要較快的解碼速度。這時可以采用紅綠藍三種顏色進行編碼，或者采用紅綠藍白四種顏色進行編碼。只用這幾種顏色進行編碼，在進行計算機處理時速度最快。
每一組中幾何圖形的個數(shù)越多，按照排列組合原理它的排列方式就越多，所組成的二維編碼平面就越大。但同時還要考慮到，如果在一組中有部分元素被遮擋，對于這一組的編碼值將無法唯一地確定，這就造成測量的盲區(qū)，在一組中幾何圖形的個數(shù)越多，遮擋所造成的盲區(qū)的范圍也就越大。在對動態(tài)的人體進行測量時，人的肢體經(jīng)常會遮擋軀干的某一部分，如果遮擋造成的盲區(qū)過大就會影響測量的結(jié)果。
為了使遮擋所造成的盲區(qū)減至最小，本發(fā)明將四個相鄰的正方形組成一組，在進行編碼處理時，每一個非邊緣上的正方形都同時是相鄰四個組中的一個元素，如圖1所示。其中R、G、B分別代表紅、綠、藍三種顏色的正方形。以任意一點G為中心3×3個正方形組成的編碼平面(圖1e)中，可以看成是由四個2×2的編碼單元交錯組成的。其中，第一組(圖1a)中右下角的元素同時也是第二組(圖1b)中左下角的元素，它還是第三組(圖1c)中右上角的元素和第四組(圖1d)中左上角的元素。按照這一規(guī)則進行編碼得到的二維編碼平面中，任意相鄰的四個元素都可以組成一組，并且它們的排列次序在一個編碼周期內(nèi)是唯一的。按照這一規(guī)則進行編碼處理時，任何一個元素受到遮擋都不會對其它元素造成任何影響。
用紅、綠、藍三種顏色按照以上的規(guī)則進行編碼，可以組成一個9×9的編碼平面，如圖2所示；當(dāng)被測物體表面積較大時，可以采用更多的顏色進行編碼，也可以用幾個編碼周期拼接成更大的編碼平面。
本發(fā)明的具體測量步驟詳細描述如下1)按照圖2所示的二維編碼的排列次序用紅綠蘭三種顏色的正方形制成彩色二維編碼平面。如果是對人體進行測量，則制成編碼服。
2)將彩色二維編碼平面附著在被測物體的表面。如果是對人體進行測量，則將編碼服穿在被測者的身上。
3)用兩臺攝像機組成三維跟蹤測量系統(tǒng)。兩臺攝像機的相對位置保持不變，但可以整體移動并對物體進行跟蹤測量。
4)在實際測量前，用已知三維輪廓的物體對系統(tǒng)進行校正。經(jīng)過校正的跟蹤測量系統(tǒng)在整個測量過程中要保持恒定。
5)用三維跟蹤測量系統(tǒng)對前面所述的附著了彩色二維編碼平面的三維物體的進行測量。
6)將測量的圖像送入計算機。
7)計算機通過圖像處理程序找出左右兩幅圖像中的匹配點，并根據(jù)匹配點在兩幅圖像中的視差計算出匹配點所對應(yīng)的空間位置。
8)根據(jù)測量得到的空間點的位置用三維建模軟件在計算機內(nèi)重構(gòu)物體的三維模型。用雙目視覺的原理獲取物體三維信息最大的困難是找匹配點。本發(fā)明采用彩色二維平面幾何圖形編碼的方法有效地解決了這一難題。用彩色二維平面幾何圖形編碼制成的服裝穿在人身上時，不僅可以測量出人體的三維輪廓，而且可以對人體的運動行為進行跟蹤測量。由于整個測量過程是在白光條件下進行，因而能適應(yīng)各種現(xiàn)場測量的條件。本發(fā)明在計算機三維動畫制作，運動員的選拔與訓(xùn)練等領(lǐng)域有著廣闊的應(yīng)用前景。


圖1RGB二維編碼單元圖。
圖2二維編碼排列圖。
圖3測量系統(tǒng)的裝置圖，1-左攝像機，2-右攝像機，3-被測物體，4-世界坐標(biāo)系x軸方向。
圖4圓柱體的左攝像機實驗測量圖。
圖5圓柱體的右攝像機實驗測量圖。
圖6圓柱體測量結(jié)果三維重建圖。
圖7人體模型的左攝像機實驗測量圖。
圖8人體模型的左攝像機實驗測量圖。
圖9人體模型測量結(jié)果三維重建圖。
具體實施例方式
實施例1首先用計算機繪圖軟件按照圖2所示的二維編碼的排列次序用紅綠藍三種顏色的正方形制成彩色二維編碼平面，并用彩色打印機輸出制成二維編碼平面，其中正方形的邊長為10mm，每個正方形之間的間隔也是10mm。將二維編碼平面附著在直徑為135mm，高200mm的圓柱體上。用兩臺攝像機按照圖3所示的裝置組成測量系統(tǒng)。兩個攝像機分別放在1、2的位置，并使它們處在同一水平高度。視頻輸出信號通過圖像采集卡送入計算機，圖像采集卡的分辨率為688×516像素，24位真彩色模式。燈光的配置盡量使左右照明均勻，以減少被測物體上的陰影。
在進行實際測量前，要對測量系統(tǒng)進行校正。由于圓柱體的半徑和高都是已知的，可以用來對系統(tǒng)進行校正。用攝像機1、2分別對圓柱體進行采樣并經(jīng)過圖像采集卡送入計算機，得到的采樣圖如圖4和圖5所示。在計算機中，通過圖像處理軟件對每一個正方形的顏色進行識別，并根據(jù)其相鄰正方形的顏色得到該正方形的編碼值。
在二維編碼平面上，每一個正方形的四個角可以作為四個匹配點。在對測量圖像進行處理時，要準(zhǔn)確確定每一個角點的位置，并通過每一個角點在左右圖像中的視差來確定它在空間的位置。
圖6是根據(jù)實驗測得的空間點，用VRML2.0在計算機內(nèi)進行三維重建的結(jié)果。用VRML2.0進行三維重建的好處是可以通過瀏覽器進行三維瀏覽。從三維重建的效果來看，基本與實際物體是一致的。
實施例2測量系統(tǒng)經(jīng)過實施例1校正后保持恒定，我們對人體模型進行三維測量。用紅、綠、藍三種顏色的正方形按照圖2所示的排列次序貼在人體模型表面，用測量系統(tǒng)對模特進行測量。圖7、圖8分別為左右攝像機得到的采樣圖。通過計算機程序處理，可以得到每一個正方形四個角點的空間坐標(biāo)。根據(jù)實驗測得的空間點，用VRML2.0在計算機內(nèi)進行三維重建。圖9是由人體模型三維測量值在計算機內(nèi)三維重建的結(jié)果。
權(quán)利要求
1.一種用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于用兩個攝像機對被測物體同時進行圖像采集，利用雙目立體視覺的原理進行三維測量，采用具有明顯特征的幾何圖形在二維平面上進行排列組成二維編碼平面，將二維編碼平面附著在被測物體表面，兩個攝像機根據(jù)排列的二維編碼平面獲得圖像之間的匹配點。
2.根據(jù)權(quán)利要求1所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于所述的幾何圖形是正方形、三角形、六邊形或其它具有可識別特征的圖形。
3.根據(jù)權(quán)利要求2所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于所述的幾何圖形具有顏色進行排列。
4.根據(jù)權(quán)利要求1所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于若干個相鄰的幾何圖形組成一組，每一組內(nèi)的排列次序各不相同。
5.根據(jù)權(quán)利要求4所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于所述的幾何圖形每一組的排列次序在一個編碼周期范圍內(nèi)是唯一的。
6.根據(jù)權(quán)利要求3所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于所述的幾何圖形采用分立顏色進行排列。
7.根據(jù)權(quán)利要求1至6所述的用二維編碼對運動物體進行三維跟蹤測量的方法，其特征在于所述的幾何圖形是由四個不同顏色的相鄰正方形組成一組，每一個非邊緣上的正方形都同時是相鄰四個組中的一個元素。
全文摘要
本發(fā)明涉及光學(xué)三維輪廓測量技術(shù)領(lǐng)域,它是用二維編碼對運動物體進行三維跟蹤測量的方法。用兩個攝像機對被測物體同時進行圖像采集,其中兩個CCD攝像機之間保持一定的距離,利用人眼的雙目立體視覺的原理進行三維測量,采用據(jù)有特定的排列次序的不同顏色的幾何形狀在被測物體表面做出標(biāo)記,使兩個CCD攝像機獲得的圖像之間容易找到匹配點。根據(jù)同一匹配點在兩幅圖像中的視差計算出該點在三維空間中的位置。本發(fā)明可以對人體的運動行為進行跟蹤測量。在計算機三維動畫制作,運動員的選拔與訓(xùn)練等領(lǐng)域有著廣闊的應(yīng)用前景。
文檔編號G06T11/00GK1332430SQ0112351
公開日2002年1月23日 申請日期2001年7月27日 優(yōu)先權(quán)日2001年7月27日
發(fā)明者劉維一 申請人:南開大學(xué)