專利名稱：特征信息附予方法、物體抽取方法、立體模型生成方法及其裝置的制作方法
技術領域：
本發(fā)明涉及根據(jù)對真實的對象物體進行拍攝得到的物體圖像、將特征信息附予該對象物體的形狀模型用的特征信息附予方法，從物體圖像除去背景那樣的不要的部分以抽取物體部分用的物體抽取方法，以及生成對象物體的立體模型的立體模型生成方法及其裝置。
背景技術：
由于計算機圖形學等的進展，正在盛行開發(fā)3維圖形學的實用的系統(tǒng)。但是，隨著這種實用化系統(tǒng)的普及，一個顯著的問題是形狀數(shù)據(jù)的輸入方法。也就是說，將具有自由曲面的物體和存在于自然界的很多物體等的復雜的3維形狀輸入到計算機等中，是非常麻煩、復雜和困難的作業(yè)。
此外，在計算機內等再次構成物體的場合，在單單僅再次構成物體形狀中的情況下，很難表現(xiàn)更加實際的物體表面的質感等。
因此，如果以通過拍攝實際的物體所得到的圖像信息為基礎，能在計算機內再次構成形狀信息和色彩/質感信息等，則能簡單地進行3維圖像信息的處理。
另一方面，在例如因特網(wǎng)等的3維圖像通信中，由作為信息發(fā)送者的一般用戶生成3維圖像的機會增加。因此，也需要用簡便而且小型的裝置構成來生成3維圖像。
(1)在日本特開平5-135155號公報中公開了一種立體模型生成裝置，該裝置能在普通的照明條件下，根據(jù)在旋轉臺上的對象物體的連續(xù)輪廓圖像，構成3維模型。
這種3維模型構成裝置，用拍攝機對在旋轉臺上旋轉的對象物體連續(xù)地進行拍攝，并利用圖像處理計算機由拍攝的圖像進行對象物體的輪廓圖像的抽取。在這種輪廓圖像中，由這種輪廓圖像的輪廓測量到垂直旋轉軸的水平距離，并根據(jù)這種水平距離和旋轉角度生成3維模型。也就是說，由連續(xù)拍攝的輪廓圖像抽取對象物體的輪廓，作為3維模型進行顯示。


圖1是表示基于由拍攝機連續(xù)拍攝的圖像信息、對于如前述生成的3維模型附加特征信息的方法的示意圖。
在前述的日本特開平5-135155號公報中，對連續(xù)地旋轉對象物體、并拍攝對象物體進行了說明，也就是說，對以人類對于3維模型的形狀識別的分辨率程度得到圖像信息的場合進行了說明。更具體地說，例如每隔1度旋轉角拍攝圖像，則對象物體得到360張圖像，對于這種情況進行說明。
下面，為簡單說明起見，對于每隔較大的角度拍攝圖像的場合進行說明，但其本質上是相同的。
如圖1所示所考慮的情況是，使對象物體不斷地每隔固定的角度旋轉，同時拍攝共計n張圖像。這種場合，對各個圖像信息作為標記號碼分別相應取1，2,…,n。
用使用多邊形(三角形拼塊)的形狀模型(wire frame model線框模型)300，表示對象物體。在對于這種形狀模型300附予特征信息時，對于各個三角形拼塊，對應于拍攝對象物體的拍攝機的方向，附予對應的標記號碼的圖像信息的色彩信息(特征信息)。
更詳細地說是這樣的方法，即考慮向量是從形狀模型300的旋轉軸指向所注意的三角形拼塊時，是從該向量和拍攝方向向量的方向最一致的圖像，獲得對于這種三角形拼塊的特征信息。或者，更直觀地進行說明是這樣的方法，即在表面模型上假定地球儀那樣的經線，對于0度到1×360/n度范圍的三角形拼塊從1號圖像信息獲得特征信號，對于1×360/n度到2×360/n度范圍的三角形拼塊從2號圖像信息獲得特征信息。下面，稱這種特征信息的獲得方法為中心投影方式。
采用前述的中心投影方式有這樣的優(yōu)點，即對于構成各個三角形拼塊或者與其相當?shù)男螤钅Ｐ偷臉嫵梢?下面稱為立體形狀構成要素)，能與圖像信息一一對應，而且很容易決定這種對應關系。
但是，對于中心投影方式的缺點是，在從旋轉軸看的情況下，對于不存在于同一旋轉角范圍內的立體形狀構成要素，因根據(jù)不同的圖像信息(標記號碼不同的圖像信息)附予特征信息，所以由于照明等的關系在色彩信息的光澤和質感有微妙不同時，其特征的接縫明顯。
此外，根據(jù)對象物體的形狀，在從某個拍攝方向得到的圖像信息中，因不能看到對應的立體形狀構成要素，所以在對應的圖像信息中，常常不能全部包含該立體形狀構成要素對應的特征信息。
圖2是用于說明這種情況的示意圖。也就是說，在圖2中，示出了在包含對象物體旋轉軸的垂直平面中旋轉軸、對象物體剖面和投影在拍攝機內的物體像的關系。當對象物體的形狀在圖2所示的場合，即包含有從拍攝機側不能看到的部分的場合，在從這種角度方向拍攝的圖像信息中，不存在這種沒有看到的部分的特征信息。但是，從例如與這種拍攝方向有一定的角度的其它的拍攝方向，有可能獲得這種沒有看到的部分的特征信息。
(2)作為從物體圖像僅抽取物體部分的以往的方法，是基于使用輔助工具的人工的方法。具體地說，將與背景一起拍攝對象物體得到的物體圖像分割成多個區(qū)域。然后，人們用鼠標器等選擇物體圖像中的背景部分，并逐步消除背景部分。但是，這種方法的問題是，因采用手工的方法，所以工作量很大。
此外，作為以往其它的物體抽取方法，有使用色度鍵技術的方法。具體地說，用同色的背景板從物體圖像抽取物體部分。但是，用這種方法的問題是，必須準備同色背景板的特殊的環(huán)境。
此外，作為以往其它的物體抽取方法，有使用單純差分的方法。具體地說，在物體圖像和僅拍攝對象物體的背景的背景圖像之間進行差分處理，并求出差分。然后，抽取差分的絕對值在閾值以上的部分作為物體部分。但是，用這種方法的問題是，當在對象物體中存在與背景色相同部分的情況下，就不能抽取該部分作為物體部分。也就是說，存在物體部分的抽取精度差的問題。
此外，作為以往其它的物體抽取方法，有利用基于立體法得到的進深信息的方法。具體地說，從與背景一起拍攝對象物體得到的物體圖像抽取進深信息在閾值以下的部分作為物體部分。但是，用這種方法的問題是，在對象物體和背景的邊界附近進深差較大，未必能得到正確的進深信息。因此存在錯誤抽取背景圖像的一部分作為物體部分的問題。
此外，采用任何一種前述以往的方法，必須預先給定閾值。這里的問題是，考慮到對圖像進行AD變換的A/D變換器的變換特性和照明的特性，很難確定適當?shù)拈撝?。特別，在A/D變換器的變換特性和照明的特性變動的場合，還存在必須重新修改確定閾值的問題。
(3)作為讀取對象物體形狀的以往的裝置，有3維數(shù)字化儀。3維數(shù)字化儀包括具有多個關節(jié)的臂和筆。人使這種筆接觸對象物體并在對象物體上移動。這樣，一移動筆，臂的關節(jié)的角度就變化。以這種臂的關節(jié)的角度信息為基礎，求得對象物體的3維形狀。但是，因這種數(shù)字化儀是用人工進行測量，所以存在作業(yè)時間和工作量非常大的問題。
此外，作為以往其它的裝置有激光掃描器。激光掃描器借助于將激光照射在對象物體上進行掃描，求得對象物體的3維形狀。但是，用這種激光掃描器的問題是，不能得到由吸收光的材料組成的對象物體的立體模型。此外的問題是，裝置非常復雜并且價格高。再有，因必須在暗室進行對象物體的測量，所以存在受拍攝環(huán)境限制的問題。此外，還存在難于取入色彩信息的問題。
在美國專利4982438號中公開了立體模型生成裝置。在這種裝置中，用對象物體的輪廓圖像算出假定存在區(qū)域。假定存在區(qū)域是以拍攝機的投影中心為頂點，以對象物體的輪廓為剖面形狀的錐體狀的區(qū)域。用體元(voxel)模型描述這種錐體狀的區(qū)域(假定存在區(qū)域)。對于多個輪廓圖像進行前述那樣的處理。然后，求得共同假定存在區(qū)域，生成對象物體的立體模型。這里，共同假定存在區(qū)域是對于多個輪廓圖像的多個假定存在區(qū)域的邏輯積部分。但是，在這種裝置中，因由邏輯積得到立體形狀，所以問題是，當有1個輪廓圖像不正確時，就不能生成高精度的立體模型。此外，因僅從水平方向(與旋轉軸垂直的方向)拍攝對象物體，所以還存在色彩信息不足或者不能識別局部地方的凹部的問題。
在前述日本特開平5-135155號公報公開了的立體模型生成裝置中，用拍攝機拍攝用旋轉臺旋轉的對象物體，得到多個輪廓圖像。以這種多個輪廓圖像為基礎，得到在多個水平面(垂直于旋轉軸的面)的對象物體的多個形狀。然后，在相鄰的水平面中，用三角形拼塊連接對象物體形狀的輪廓上的點。這里，對每個規(guī)定的角度規(guī)定1個水平面上對象物體的形狀輪廓線上的點。這樣，生成對象物體的立體模型。但是，這種裝置的問題是，為了生成輪廓圖像，必須使用背景板的特殊的拍攝環(huán)境。此外的問題是，因利用多個水平面的對象物體的形狀生成立體模型，所以數(shù)據(jù)量大，處理時間長。
因此，本發(fā)明的目的是提供在基于拍攝實際存在的物體的圖像信息并在計算機內等再次構成立體模型的場合，能將特征信息附予構成形狀模型的各個立體形狀構成要素而與對象物體的形狀無關的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供在基于拍攝實際存在的物體的圖像信息并將特征信息附予形狀模型時，能從被拍攝的圖像信息附予更加接近實際存在的物體所具有特征的特征信息的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供在以拍攝實際存在的物體而得的圖像信息為基礎將特征信息附予形狀模型時，附予各個構成形狀模型的立體形狀構成要素的特征的不連續(xù)性(接縫)不明顯的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供即使對象物體存在與背景的色彩相同的部分的場合，也能抽取該部分作為物體部分的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供即使在各種特性變動的場合，也總是能穩(wěn)定并抽取正確的物體部分的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供減少人工作業(yè)、同時不需要特殊的拍攝環(huán)境的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供能減少人工作業(yè)的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供對拍攝環(huán)境和對象物體的材料的限制小、結構簡單的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供即使多個輪廓圖像中的若干個不正確也能生成高精度的立體模型的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供能得到充分的色彩信息、也能識別對象物體的局部地方的凹部的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供不需要特殊的拍攝環(huán)境、處理的數(shù)據(jù)量少并能高速地生成立體模型的立體模型生成方法及其裝置。
發(fā)明概述按照本發(fā)明的1個方面，對于形狀模型的特征信息附予裝置，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，根據(jù)借助于從不同的視點對對象物體進行拍攝所獲得的多個物體圖像信息，對于每個立體形狀構成要素、對應于各物體圖像信息的立體形狀構成要素的特征信息量，對于形狀模型附予特征信息的手段。
比較理想的是，對于每個立體形狀構成要素，基于各立體形狀構成要素的面法線方向和對各物體圖像信息進行拍攝的方向的一致程度，表示所述特征信息量。
比較理想的是，對于每個立體形狀構成要素，基于投影在各物體圖像信息的立體形狀構成要素的面積，表示所述特征信息量。
按照本發(fā)明的另1個方面，對于形狀模型的特征信息附予裝置，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，根據(jù)借助于從不同的視點對對象物體進行拍攝所獲得的多個物體圖像信息，對于每個立體形狀構成要素、對應于各物體圖像信息的立體形狀構成要素的特征信息量和立體形狀構成要素間的特征連續(xù)性的兩個方面，對于形狀模型附予特征信息的手段。
比較理想的是，在附予所述特征信息的手段中，根據(jù)對應于每個立體形狀構成要素的物體圖像信息，對于形狀模型附予特征信息，以便使隨著特征信息量的增加而減少并且隨著立體形狀構成要素間的特征連續(xù)性的改善而減少的評價函數(shù)極小化。
比較理想的是，在所述評價函數(shù)中，用分別與所注意的立體形狀構成要素和與其相鄰的立體形狀構成要素對應的物體圖像信息的拍攝位置和拍攝方向的差的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評價函數(shù)中，在伴隨位置變化對物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的立體形狀構成要素的標記號碼和分配給與所注意的立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評價函數(shù)中，在伴隨規(guī)則的位置變化對物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的立體形狀構成要素的標記號碼和分配給與所注意的立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評價函數(shù)中，對于每個立體形狀構成要素，用投影到各物體圖像信息中的立體形狀構成要素的面積的函數(shù)，表示特征信息量。
比較理想的是，在所述評價函數(shù)中，對于每個立體形狀構成要素，用各立體形狀構成要素的面法線方向和對各物體圖像信息進行拍攝的方向的一致程度的函數(shù)，表示特征信息量。
比較理想的是，在所述評價函數(shù)中，用分配給第i號(i自然數(shù))立體形狀構成要素的標記號碼和分配給與第i號立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的全部立體形狀構成要素的總和，與用投影到分配給第i號立體形狀構成要素的標記號碼對應的物體圖像信息的第i號立體形狀構成要素的面積的全部立體形狀構成要素的總和的線性組合，表示特征信息量。
按照本發(fā)明的其它另外的1個方面，對于形狀模型的特征信息附予裝置，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，將標記號碼與每個立體形狀構成要素加以對應，以便在伴隨位置變化對多個物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，使隨著對于各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的手段。
基于與加以對應的標記號碼相對應的物體圖像信息和與包含加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到各物體圖像信息的立體形狀構成要素的面積的加權平均處理，將特征信息附予立體形狀構成要素的手段。
比較理想的是，在將特征信息附予立體形狀構成要素的手段中，對于前述立體形狀構成要素，求出投影到對應于與立體形狀構成要素對應的標記號碼的物體圖像信息和對應于包含前述對應的標記號碼的規(guī)定數(shù)的標記號碼的物體圖像信息的面積，并以其作為進行后述的加權平均處理時的加權系數(shù)。然后，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，并用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特征信息。
按照本發(fā)明的其它另外的1個方面，對于形狀模型的特征信息附予裝置，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，將標記號碼與每個立體形狀構成要素加以對應，以便在伴隨規(guī)則的位置變化對多個物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，使隨著對于各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的手段。
基于與加以對應的標記號碼相對應的物體圖像信息和與包含加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到各物體圖像信息的立體形狀構成要素的面積的加權平均處理，將特征信息附予立體形狀構成要素的手段。
比較理想的是，在將特征信息附予立體形狀構成要素的手段中，對于前述立體形狀構成要素，求出投影到對應于與立體形狀構成要素對應的標記號碼的物體圖像信息和對應于包含前述對應的標記號碼的規(guī)定數(shù)的標記號碼的物體圖像信息的面積，并以其作為進行后述的加權平均處理時的加權系數(shù)。然后，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，并用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特征信息。
按照本發(fā)明的其它另外的1個方面，對于形狀模型的特征信息附予裝置，包括借助于從不同的視點拍攝對象物體以獲得多個物體圖像信息的手段，將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，借助于對相應于分別投影到多個物體圖像信息的立體形狀構成要素相應的面積的全部物體圖像信息進行加權平均處理，將得到的特征信息附予各立體形狀構成要素的手段。
比較理想的是，在將特征信息附予立體形狀構成要素的手段中，對于前述各立體形狀構成要素，求出投影到物體圖像信息的面積，并以其作為進行后述的加權平均處理時的加權系數(shù)。然后，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，并用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特征信息。
因此，采用前述特征信息附予裝置，則在基于拍攝實際存在的物體的圖像信息并在計算機內等再次構成形狀模型的場合，能從拍攝該對象物體的多個圖像信息中有選擇地將最適合的圖像信息附予形狀模型，作為最實際存在的物體具有的特征信息。
此外，對于作為多個立體形狀構成要素的集合表現(xiàn)的形狀模型，在附予特征信息(色彩信息)的場合，能抑制各立體形狀構成要素間的特征信息的不連續(xù)性，同時有選擇地將與實際存在的物體具有的特征信息更接近的特征信息附予各立體形狀構成要素。
此外，對于多個立體形狀構成要素，因能基于從實際的對象物體拍攝的物體圖像信息，將附予特征信息的處理置換成對于各立體形狀構成要素的附標記(labelling)問題進行處理，所以能以計算機處理等適合的順序進行對于各立體形狀構成要素的特征信息的附予處理。
按照本發(fā)明的其它另外的1個方面，從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置，包括區(qū)域分割手段和抽取手段。
區(qū)域分割手段將物體圖像分割成多個區(qū)域。
抽取手段借助于進行將物體圖像的各圖像信息匯總在每個區(qū)域中的處理，確定并抽取物體圖像中的物體部分這里，不希望要的部分是例如背景部分。
比較理想的是，在抽取手段中，將物體圖像的各象素信息匯總在每個區(qū)域中的處理是在每個區(qū)域中將物體圖像的各象素的信息加以平均化的處理。
比較理想的是，抽取手段借助于對于匯總在每個區(qū)域中的各象素的信息進行閾值處理，確定物體圖像中的物體部分并進行抽取。
比較理想的是，物體圖像的各象素的信息是在僅拍攝對象物體的背景的背景圖像和物體圖像間進行差分處理得到的差分信息。
比較理想的是，抽取手段包括差分處理手段，平均值導出手段和閾值處理手段。
差分處理手段在僅拍攝對象物體的背景的背景圖像和物體圖像間進行差分處理。
平均值導出手段對于由差分處理得到的差分的絕對值，求出各區(qū)域內的平均值。
閾值處理手段比較區(qū)域內的平均值和預定值，并抽取平均值在預定值以上的區(qū)域作為物體部分。
比較理想的是，抽取手段包括差分處理手段，平均值導出手段和閾值處理手段。
平均值導出手段算出物體圖像的各區(qū)域內的象素的平均值，差分處理手段在物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的背景圖像的區(qū)域內的象素的平均值間進行差分處理，閾值處理手段比較基于差分處理得到的差分的絕對值和預定值，并抽取差分的絕對值在預定值以上的區(qū)域作為物體部分。
比較理想的是，物體圖像的各象素的信息是進深信息。
按照本發(fā)明的其它另外的1個方面，從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置，包括進深信息算出手段、區(qū)域分割手段、平均值算出手段和抽取手段。
進深信息算出手段算出物體圖像的進深信息，區(qū)域分割手段將物體圖像分割成多個區(qū)域，平均值算出手段對每個區(qū)域算出進深信息的平均值，抽取手段抽取多個區(qū)域中平均值在預定的范圍內的區(qū)域作為物體部分，特別在物體圖像中不包含位于較對象物體更加前方位置的物體的場合，抽取其平均值比預定值小的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個方面，基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括差分手段、抽取手段和閾值決定手段。
差分手段算出物體圖像和背景圖像的差，抽取手段抽取物體圖像中差值比閾值大的部分作為物體部分，閾值決定手段基于多個背景圖像的分布，統(tǒng)計決定閾值。
按照本發(fā)明的其它另外的1個方面，基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括算出手段、差分手段和抽取手段。
算出手段在多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差，差分手段算出物體圖像的各象素的值和與該象素對應的背景圖像的象素的平均值之差，抽取手段抽取物體圖像的象素中差值比標準偏差的規(guī)定倍數(shù)大的象素作為物體部分。
按照本發(fā)明的其它另外的1個方面，基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標準偏差算出手段、區(qū)域分割手段、差分手段、平均差算出手段、平均標準偏差算出手段和抽取手段。
平均/標準偏差算出手段在多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差，區(qū)域分割手段將物體圖像分割成多個區(qū)域，差分手段算出物體圖像的各區(qū)域內的各象素值和與該區(qū)域對應的背景圖像的區(qū)域內對應的象素的平均值之差，平均差算出手段對每個區(qū)域算出差的平均值，平均標準偏差算出手段對每個區(qū)域算出標準偏差的平均值，抽取手段抽取多個區(qū)域中差的平均值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個方面，基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標準偏差算出手段、區(qū)域分割手段、平均算出手段、差分手段、平均差算出手段、平均標準偏差算出手段和抽取手段。
平均/標準偏差算出手段在多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差，區(qū)域分割手段將物體圖像分割成多個區(qū)域，
平均算出手段算出物體圖像的各區(qū)域內的象素的平均值，差分手段算出物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的背景圖像的區(qū)域內的象素的平均值之差的絕對值，平均差算出手段對每個區(qū)域算出差的絕對值的平均值，平均標準偏差算出手段對每個區(qū)域算出標準偏差的平均值，抽取手段抽取多個區(qū)域中差的絕對值的平均值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個方面，基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標準偏差算出手段、區(qū)域分割手段、平均算出手段、差分手段、平均標準偏差算出手段和抽取手段。
平均/標準偏差算出手段在多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差，區(qū)域分割手段將物體圖像分割成多個區(qū)域，平均算出手段在算出物體圖像的各區(qū)域內的象素的平均值的同時，算出背景圖像的象素平均值的各區(qū)域內的平均值，差分手段算出物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的背景圖像的區(qū)域內的象素平均值的區(qū)域內的平均值之差的絕對值，平均標準偏差算出手段對每個區(qū)域算出標準偏差的平均值，抽取手段抽取多個區(qū)域中差的絕對值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個方面，基于多次拍攝對象物體得到的多個物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標準偏差算出手段、平均算出手段、區(qū)域分割手段、差分手段、平均差算出手段、平均標準偏差算出手段和抽取手段。
平均/標準偏差算出手段在多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差，平均算出手段在多個物體圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值，區(qū)域分割手段將物體圖像分割成多個區(qū)域，差分手段算出物體圖像的各區(qū)域內的各象素的平均值和與該區(qū)域對應的背景圖像的區(qū)域內的對應的象素的平均值之差的絕對值，平均差算出手段對每個區(qū)域算出差的絕對值的平均值，平均標準偏差算出手段對每個區(qū)域算出標準偏差的平均值，抽取手段抽取多個區(qū)域中差的絕對值的平均值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
因此，采用前述的物體抽取裝置，則即使對象物體存在與背景的色彩相同部分時，也能檢測并抽取該部分作為物體部分。此外，能減少采用人工的作業(yè)，同時不需要特殊的拍攝環(huán)境。
按照本發(fā)明的其它另外的1個方面，生成對象物體的立體模型的立體模型生成裝置，包括拍攝對象物體的背景而且包含背景拍攝對象物體的拍攝手段，求出僅拍攝背景得到的背景圖像和包含背景拍攝對象物體得到的多個物體圖像的差分、并生成輪廓圖像的輪廓生成手段，用多個輪廓圖像生成對象物體的立體模型的手段。
比較理想的是，前述的立體模型生成裝置，還包括使對象物體旋轉的旋轉手段。
按照本發(fā)明的其它另外的1個方面，生成對象物體的立體模型的立體模型生成裝置，包括生成對象物體的多個輪廓圖像的輪廓生成手段，以多個輪廓圖像為基礎，推定體元空間中對象物體的存在區(qū)域的推定手段，用由推定手段得到的對象物體的存在區(qū)域，生成對象物體的立體模型的手段。
比較理想的是，推定手段對體元空間進行表決(voting)處理。
比較理想的是，前述的立體模型生成裝置，還包括以表決處理的結果、投票數(shù)在規(guī)定的閾值以上的部分，作為對象物體的存在區(qū)域的閾值處理手段。
因此，采用前述的立體模型生成裝置，則因用進行差分處理而得到的輪廓圖像生成立體模型，所以不需要同一色彩的背景板等那樣的特殊的拍攝環(huán)境。
此外，因以多個輪廓圖像為基礎進行對體元空間的表決處理生成立體模型，所以即使多個輪廓圖像中有幾個不正確，也能高精度地生成立體模型。
此外，因通過將切斷對象物體的立體形狀得到的多個切斷面的輪廓線用多邊形近似而生成立體模型，所以能減少用于生成立體模型的數(shù)據(jù)量，并能高速地進行處理。
此外，因通過將對象物體的多個剖面形狀的輪廓線用多邊形近似而生成立體模型，所以能減少用于生成立體模型的數(shù)據(jù)量，并能高速地進行處理。
附圖簡要說明圖1是表示以往的特征信息附予方法的示意圖。
圖2是表示以往的特征信息附予方法的問題的剖視圖。
圖3是表示本發(fā)明實施形態(tài)1的立體模型生成裝置的結構的概略方框圖。
圖4是表示圖3所示的立體模型生成裝置中色彩信息附予處理單元的結構的概略方框圖。
圖5是表示從實際存在的物體生成立體模型的處理流程的流程圖。
圖6A是用于說明圖5的步驟S10的圖像拍攝的圖。
圖6B是用于說明圖5的步驟S12的輪廓圖像生成的圖。
圖6C是用于說明圖5的步驟S14的表決處理的圖。
圖6D是用于說明圖5的步驟S16的多邊形生成的圖。
圖6E是用于說明圖5的步驟S18的特征映射的圖。
圖7是表示表決處理的概念的透視圖。
圖8是表示表決處理中假定存在區(qū)域的P平面剖視圖。
圖9是表示表決處理的概念的P平面剖視圖。
圖10A是表示用于說明多邊形生成處理的示意圖。
圖10B是圖10A中的10B部分的放大圖。
圖11是表示基于多邊形的3維形狀模型的圖。
圖12A是表示特征信息附予處理的示意圖。
圖12B是表示圖12A中的12B部分的放大圖。
圖13是表示對各立體形狀結構要素的特征信息附予的處理流程的流程圖。
圖14是表示實施形態(tài)1的特征信息附予方法的處理流程的流程圖。
圖15是表示記錄實施形態(tài)1的特征信息附予方法的記錄媒體的示意圖。
圖16是表示實施形態(tài)2的特征信息附予方法的處理流程的流程圖。
圖17是表示實施形態(tài)3的特征信息附予方法的處理流程的流程圖。
圖18是表示對圖4中的色彩信息存儲器的特征信息的存儲方法的示意圖。
圖19是表示實施形態(tài)4的特征信息附予方法的處理流程的流程圖。
圖20是表示實施形態(tài)5的特征信息附予方法的示意圖。
圖21是表示實施形態(tài)5的特征信息附予方法的處理流程的流程圖。
圖22是表示本發(fā)明的實施形態(tài)6的物體抽取裝置(圖像切出裝置)的整體結構圖。
圖23是表示本發(fā)明的實施形態(tài)6的物體抽取裝置(圖像切出裝置)的概略的方框圖。
圖24是表示圖22的運算單元的概略方框圖。
圖25A-圖25C是用于詳細地說明圖24的差分處理單元、平均值導出單元和閾值處理單元的處理的圖。
圖26是表示本發(fā)明的實施形態(tài)7的物體抽取裝置的主要結構流程圖。
圖27A是表示分割成圖26所示的物體抽取裝置中得到的多個區(qū)域R的物體圖像的圖。
圖27B是表示用亮度顯示進深信息的圖像的圖。
圖27C是表示從物體圖像除去背景部分抽取的物體部分的圖像的圖。
圖28是表示實施形態(tài)8的物體抽取裝置的主要結構的流程圖。
圖29是表示實施形態(tài)9的物體抽取裝置的主要結構的流程圖。
圖30是表示實施形態(tài)10的物體抽取裝置的主要結構的流程圖。
圖31是表示實施形態(tài)11的物體抽取裝置的主要結構的流程圖。
圖32是表示實施形態(tài)12的立體模型生成裝置的概略方框圖。
圖33是表示圖32所示的立體模型生成裝置的處理流程的流程圖。
圖34是用于說明在圖33的步驟S8求得的透視(perspective)比的圖。
圖35A-圖35C是用于說明在圖33的步驟S8求得的拍攝機和旋轉臺的位置關系的圖。
圖36是用于說明在圖33的步驟S14中用的圓柱坐標系體元空間的體元的圖。
圖37是用于說明圖33的步驟S14的表決處理的圖。
圖38是用于說明圖33的步驟S14的表決處理結果的圖。
圖39A是用于說明圖33的步驟S16中多邊形生成的具體內容的圖。
圖39B是圖39A中的39B部分的放大圖。
圖40是用于說明圖33的步驟S16的多邊形生成的流程圖。
圖41是表示用圖40中步驟SA2求得的對應于相鄰切斷面的輪廓線的頂點間的關系圖。
圖42是用于說明圖40中步驟SA3的局部的最接近點相鄰策略的圖。
圖43是表示由圖40中步驟SA3的局部的最接近點相鄰策略得到的多邊形的圖。
圖44是表示圖40中步驟SA3的局部的最接近點相鄰策略的多邊形生成的一部分流程圖。
圖45是表示圖40中步驟SA3的局部的最接近點相鄰策略的多邊形生成的另外一部分流程圖。
圖46是用于說明圖40中步驟SA3的大區(qū)域的最短連接策略的多邊形生成的流程圖。
圖47是表示記錄用于使對象物體的立體模型生成在圖3計算機上的程序的CD-ROM的圖。
實施發(fā)明的最佳方式下面，參照附圖對本發(fā)明的實施形態(tài)詳細地進行說明。此外，在圖中相同的或者相當?shù)牟糠指揭韵嗤臉颂柌⑹÷灾貜偷恼f明。
實施形態(tài)1圖3是表示本發(fā)明實施形態(tài)1的用于從實際存在的物體再次構成3維模型的立體模型生成裝置1000的結構的概略方框圖。參照圖3，在旋轉臺110上裝有對象物體100。旋轉臺110根據(jù)例如來自計算機130的控制信號，控制其旋轉角度。拍攝機120對于各個指定角度對旋轉的對象物體100進行拍攝，并將得到的圖像數(shù)據(jù)供給計算機130。另一方面，從輸入裝置140將旋轉臺110的旋轉間隔等拍攝條件的數(shù)據(jù)供給計算機130。
計算機130根據(jù)由拍攝機120提供的圖像信息，從對應于各拍攝角度的圖像信息抽取輪廓圖像，生成3維形狀模型。這里，作為3維形狀模型，能用例如多邊形(三角形拼塊)的集合來表示。此外，所謂的前述圖像信息是指例如對應于由拍攝機120輸出的各象素的亮度、色彩或者濃度所表示的數(shù)值信息。但是，作為立體模型的表示方法不限于這種表示方法，例如也能用不同形狀的表面形狀要素的集合進行表示。因此，下面將用于表示形狀模型的要素的形狀總稱為立體形狀構成要素。
接著，計算機130根據(jù)在各角度中拍攝的圖像信息，對于再次構成的形狀模型附予特征信息。這里，所謂的計算機圖形學(CG)領域中的色彩信息(特征信息)是指貼附在物體表面上的、用于表示這種表面的微細的凸凹和圖案、樣子、材料質感的圖像信息。這樣，將再次構成的立體模型顯示在顯示裝置150上。
在對于3維圖像信息的色彩信息(更一般地說是特征信息)的附予方法詳細地進行說明前，首先對從實際存在的物體到生成物體的3維形狀模型為止的流程簡單地進行說明。
圖5是表示從生成物體圖像開始到將特征信息附予形狀模型為止的處理流程的流程圖。圖6A到圖6E是表示各流程的過程中數(shù)據(jù)處理的概要的概念圖。
首先，參照圖6A，計算機130根據(jù)由輸入裝置140供給的拍攝條件數(shù)據(jù)，控制旋轉臺110的旋轉角。對于各旋轉角取入拍攝機120拍攝的物體圖像A1～An(步驟S10)，例如假設對于每隔10°角度取入來自拍攝機120的物體圖像，則1轉取入36張物體圖像A1～An。
接著，參照圖6B，計算機130從各被拍攝的物體圖像A1～An抽取物體像的輪廓，生成從各個方向看到的物體的輪廓圖像B1～Bn(步驟S12)。
這里，得到的輪廓圖像B1～Bn表示從各個方向看到的對象物體100的輪廓。因此，如圖6C所示，根據(jù)這些從各方向看到的物體的輪廓圖像，對于分割成假想的體元(voxel)后的3維空間，用后面說明的表決處理在這種體元空間251內推定對象物體100的存在區(qū)域(步驟S14)。
接著，參照圖6D，對在這種體元空間251表示的物體區(qū)域進行變換，以便用多邊形(三角形拼塊)27的形狀模型300來表示(步驟S16)。這里，要求例如用于表示所必要的多邊形數(shù)要減少，而且維持表示形狀的精度。因此，能例如用以下的方法生成多邊形27。
也就是說，首先，在用圓柱坐標系表示的體元空間251中，對用圓柱坐標系的θ表面的切斷面輪廓線進行多邊形近似，決定多邊形27的頂點。接著，將各頂點分別與最接近的3頂點連接，生成三角形拼塊。
接著，參照圖6E，對于生成的多邊形27的各三角形拼塊，由在步驟S10中拍攝的圖像信息附予特征信息(步驟S18)。
按照前述的流程，以用拍攝機120拍攝現(xiàn)實存在的物體的圖像信息為基礎，在計算機130內再次構成立體模型27。
此外，如前所述，做成將對象物體100安裝在旋轉臺110上并用拍攝機120以固定的狀態(tài)然后使旋轉臺旋轉對圖像進行拍攝的結構，但獲得圖像信息的方法不限于這種結構。
例如，也可以是這樣構成，即對象物體100保持靜止，人拿著拍攝機120并移動，從多個視點拍攝對象物體100，從而得到圖像數(shù)據(jù)。這種場合，如果知道各圖像拍攝時的拍攝機120的位置和進行拍攝的方向，則以這些信息為基礎利用與下述相同的方法也能進行3維形狀模型300的再次構成和特征信息的附予。
下面，對于圖5所示的各處理步驟進一步詳細地進行說明。
(圖像拍攝和輪廓圖像生成)如前所述，用圖3所示的結構進行圖像拍攝時，將對象物體100安裝在旋轉臺110上，一邊使旋轉臺110旋轉一邊拍攝若干幅物體圖像A1～An。然后，為了下一步驟S12的輪廓圖像抽取，還進行背景圖像的拍攝。
接著，利用對象物體圖像A1～An與背景圖像間的差分處理，生成僅切出對象物體的輪廓圖像B1～Bn。
這時，由于不需要將背景圖像形成單一色彩的特殊的拍攝環(huán)境，而且能進行穩(wěn)定的輪廓圖像生成，所以還能夠不是單純的圖像間差分，而是進行加上如后所述的區(qū)域分割處理的圖像差分。
也就是說，對物體圖像A1～An進行區(qū)域分割，接著以區(qū)域為單位進行與背景圖像的差分處理。這里，所謂的差分處理是指對于每個象素將被拍攝的物體圖像信息就其信號強度算出差分的處理。再進一步，對區(qū)域單位中的差分平均進行閾值處理，進行物體部分的抽取。
在如前所述的方法中，即使在象素級中存在與背景同色的物體，只要在區(qū)域級中有不同與背景的色彩，則一般具有能檢測出作為物體部分的性質。因此，能提高生成輪廓圖像精度。
(表決處理)如前所述，能得到從多個視點拍攝對象物體100的輪廓圖像信息。為了從這些多個輪廓圖像信息再次構成物體的3維形狀，進行如后所述的表決處理。
下面，首先參照圖7對用于描述3維形狀的體元模型和體元空間251進行說明。
體元模型是用有無立體的格網(wǎng)點描述3維形狀的模型，并稱定義體元的空間為體元空間251。以包含識別物體那樣的大小、位置來配置體元空間251。下面，對應于一邊使對象物體100旋轉、一邊進行圖像拍攝，用能更加自然地表現(xiàn)對象物體形狀的圓柱坐標系表示這種體元空間251。
因此，當假設圓柱坐標的半徑方向的坐標為r、角度方向的坐標為θ、軸方向的坐標為z時，各體元成為表示用等間隔分割各r、θ、z時的體積要素。用這種體積要素的集合表示3維形狀模型是體元模型。
下面，對于從輪廓圖像B1～Bn再次構成這種體元模型的步驟簡單地進行說明。
首先，基于1個輪廓圖像，在體元空間251內算出對于對象物體的假定存在區(qū)域50。這里，如圖7所示，假定存在區(qū)域50表示以拍攝機120的投影中心51為頂點、以圖像的物體像為剖面形狀的錐體狀的區(qū)域。也就是說，對象物體100必定存在在這種區(qū)域的內側。
所謂表決處理是表示，對于存在在這種假定存在區(qū)域50內的各個體元，在相當于對于例如1個輪廓圖像的假定存在區(qū)域50的場合，則進行分配(投票)數(shù)值1的處理。
圖8是表示與圖7所示的z軸垂直的平面P上的輪廓圖像和圓柱體元空間251的剖面圖。
如前所述，因以拍攝機120的投影中心51形成的錐體狀的區(qū)域相當于假定存在區(qū)域50，所以對于存在于這種區(qū)域50中的圓柱體元空間251內的各體元，分配數(shù)值1。
圖9是在基于多個輪廓圖像B1～Bn進行表決處理的場合，表示平面P剖面的圓柱體元空間251的剖視圖。
圖9示出了基于從5個視點拍攝的輪廓圖像B1～B5對圓柱體元空間251進行表決處理的情況。這種情況下，由于基于各輪廓圖像的表決處理將對于各自的輪廓圖像的假定存在區(qū)域50分配數(shù)值1，所以在基于5個輪廓圖像B1～B5進行表決處理的場合，圖9中的用交叉影線表示的區(qū)域將與全部的基于輪廓圖像B1～B5的假定存在區(qū)域50重合。換言之，在這種交叉影線的區(qū)域內的體元中，分配分別基于5個輪廓圖像B1～B5的表決處理的結果即數(shù)值5。
因此，在例如圓柱體元空間251內的體元中，如果僅抽取分配5以上的體元，則能算出對象物體100在這種圓柱體元空間251內存在的區(qū)域。
更一般地說，對應于被拍攝的物體圖像數(shù)，設定適當?shù)拈撝?，通過這樣能表決處理算出圓柱體元空間251內的對象物體的存在區(qū)域。利用前述的處理，能在圓柱體元空間251內抽取對象物體100存在的區(qū)域。
作為用體元空間251的3維模型生成方法，雖然有其它的在美國專利4982438號中公開的錐體相關法，但是這種方法存在生成的輪廓圖像的誤差保持不變從而影響再次構成的物體形狀的問題。與此不同，利用表決處理的3維模型生成方法的特點是，即使在作為基礎的輪廓圖像中包含誤差，也能通過設定適當?shù)拈撝担砸种偏@得的3維形狀的精度降低。
(多邊形生成)接著，將用體元空間251表示的物體區(qū)域變換成用多邊形(三角形拼塊)27的形狀模型300來表示。
圖10A和圖10B是表示這種多邊形生成的過程的示意圖。參照圖10A和圖10B，對用圓柱體元空間251表示的物體區(qū)域的用圓柱坐標系θ1平面(在圓柱坐標系中是θ=θ1平面)的切斷面輪廓線進行多邊形近似。由這種多邊形近似得到的輪廓線Lθ1的各頂點，如后面說明的那樣，相當于多邊形27的頂點。同樣地，對用圓柱坐標系θ2平面的切斷面輪廓線進行多邊形近似，得到Lθ2。對于全部的體元相應的θ平面，進行以上的操作。
接著，將這些各輪廓線的各頂點分別與最接近的3個頂點連接，生成三角形拼塊27。借助于用這樣的輪廓線的多邊形近似和連接最接近的3頂點的手續(xù)、生成三角形拼塊27，能將用于表示所必須的多邊形數(shù)減少至最少，而且能維持所表示形狀的精度。
圖11所示為用多邊形27表示對象物體100的3維形狀模型300。利用前述的操作，能對于對象物體的形狀在計算機內等進行再次構成。
以上，是假定圓柱體元空間251進行了說明，但也可以用正交體元空間。此外，在多邊形生成處理中，也可以借助于連接相鄰的體元，在一旦生成細小的多邊形后就將它們合并以減少多邊形數(shù)。
(特征映射)接著，如前所述，為了對于在計算機內等再次構成的物體形狀附予特征信息、并生成更加真實的3維模型，將包含在拍攝的物體圖像A1～An中的特征信息對于前述的3維形狀模型300進行附予處理。
具體地說，在提供各多邊形27的特征信息的物體圖像(下面稱為參照圖像)決定后，將多邊形27投影到參照圖像上，并將其投影部分的特征信息附予對應的多邊形27。
圖12A和圖12B是用于說明這種特征信息的附予處理的示意圖。下面，為簡單說明起見，取標記號碼1～8的8張具有物體圖像信息的圖像作為參照圖像。也就是說，存在從每隔45°的角度拍攝對象物體的物體圖像。此外，在下面的說明中，是基于圍繞1個旋轉軸并每隔固定的角度拍攝對象物體的參照圖像，對將特征信息附予形狀模型300的場合進行說明，但本發(fā)明不限于這種場合，也能適用于基于從任意的位置和方向拍攝對象物體的多個參照圖像，對于形狀模型300附予特征信息的場合。
在對于所注意的多邊形27，當決定是對應于哪一個參照圖像時，作為應該考慮的地方，是首先采取選擇對于該多邊形27的特征信息量大的參照圖像的方針。
因此，在前述的方針下，通過對于各多邊形27相應的參照圖像、即標記號碼的分配，能對于用多邊形27表示的形狀模型300附予特征信息。
圖13是表示到附予特征信息為止的處理流程的流程圖。另一方面，圖4是表示在計算機130中，用于進行特征信息附予的色彩信息附予處理單元200的結構的示意方框圖。
色彩信息附予處理單元200包括存儲并保持由拍攝機120拍攝的物體圖像信息(參照圖像信息)的圖像存儲單元220，基于存儲在圖像存儲單元220中的參照圖像信息、生成對象物體的形狀模型300的運算單元210，存儲由運算單元210生成的形狀模型300、更具體地說存儲各多邊形27的位置和形狀的形狀存儲單元230，和如后所述將基于保持在圖像存儲單元220中的參照圖像信息、運算單元210對于各多邊形27分配的特征信息進行存儲保持的色彩信息存儲單元240。
如前所述，參照圖13和圖4，圖像存儲單元220存儲例如使對象物體旋轉一定的角度同時進行拍攝的圖像信息(步驟S20)。
接著，基于拍攝的圖像信息，運算單元210生成形狀模型300，并使該形狀數(shù)據(jù)保持在形狀存儲單元230中(步驟S22)。
接著，按照后面說明的順序，運算單元210進行立體形狀構成要素(例如多邊形27)和保持在圖像存儲單元220中的參照圖像信息的對應(步驟S24)。
運算單元210將對應的各多邊形27和特征信息保持在色彩信息存儲單元240中(步驟26)。
下面，對前述步驟S24的立體形狀構成要素和參照圖像信息的對應處理進一步詳細地進行說明。
圖14是更加詳細地表示步驟S24中用于進行立體形狀構成要素和參照圖像信息的對應的處理流程的流程圖。
在下面的處理中，利用各立體形狀構成要素(多邊形27)的法線向量和與拍攝參照圖像的方向平行的圖像拍攝面的法線向量的方向的一致性，判斷特征信息量的大小。也就是說，對于對應的多邊形27最正對的參照圖像，判斷為對于該多邊形27的特征信息最大。
在畫面拍攝(步驟S20)和形狀模型生成(步驟S22)的各處理結束后，運算單元210首先進行在后面的運算處理中使用的變量的初始化。
也就是說，將立體形狀構成要素代入到變量Emax中，將拍攝的圖像數(shù)代入到變量Imax中。此外，在以下的處理中將對與拍攝圖像對應的標記號碼進行計數(shù)用的輔助變量Icnt初始化為0。
此外，將分別對應于第i號(i=0～Emax-1)的立體形狀構成要素的1維數(shù)組變量Prod[i]的值全部初始化為0，另一方面，將第i號碼的立體形狀構成要素對應的參照圖像的標記號碼代入的1維數(shù)組變量Id[i]的值全部初始化為-1(步驟S2402)。
接著，將對多邊形27的號碼進行計數(shù)用的輔助變量Ecnt的值初始化為0(步驟S2403)。
接著，計算第Icnt號的圖像拍攝面的法線向量和第Ecnt號的立體形狀構成要素的法線向量的內積的值，并代入到變量Vtmp中(步驟S2404)。
接著，運算單元210對第Ecnt號的變量Prod[Ecnt]的值和前述變量Vtmp的值進行比較。
當判斷變量Prod[Ecnt]的值比變量Vtmp的值小時(步驟S2406)，將變量Vtmp的值代入到變量Prod[Ecnt]中，同時將在該時刻的計數(shù)器變量Icnt的值代入到變量Id[Ecnt]中(步驟S2408)。
另一方面，當判斷變量Prod[Ecnt]的值比變量Vtmp的值大時(步驟S2406)，使變量Ecnt的值僅增加1(步驟S2410)。
接著，如果判斷計數(shù)器變量Ecnt的值比立體形狀構成要素Emax小時(步驟S2412)，再次將處理返回到步驟S2404中，并對于下一個立體形狀構成要素重復相同的處理。
另一方面，如果判斷計數(shù)器變量Ecnt的值比立體形狀構成要素Emax大時(步驟S2412)，使計數(shù)器變量Icnt的值增加1(步驟S2414)。
接著，判斷計數(shù)器變量Icnt的值是否大于拍攝圖像數(shù)Imax(步驟S2416)。
在判斷變量Icnt的值小于拍攝圖像數(shù)Imax的場合(步驟S2416)，將對于下一個參照圖像重復從步驟S2403到步驟S2412為止的處理。
另一方面，在判斷變量Icnt的值大于拍攝圖像數(shù)Imax的場合(步驟S2416)，接著處理進行轉移。
也就是說，利用從步驟S2402到步驟S2416為止的處理，對于各參照圖像比較該參照圖像的面法線向量和全部的立體形狀構成要素的面法線向量的內積的值。利用這種處理，對于具有內積值比至此為止作為處理對象的參照圖像的內積值大的參照圖像，就將其內積值對于各立體形狀構成要素存儲在1維數(shù)組變量Prod[Ecnt]中。另一方面，將該時刻的參照圖像的標記號碼存儲在1維數(shù)組變量Id[Ecnt]中。
因此，在從步驟S2416的處理轉移到下面的處理的時刻，對于對應的第i號的立體形狀構成要素，將具有最大的內積值的參照圖像信息的標記號碼存儲在1維數(shù)組變量Id[i]中。
接著，對于色彩信息存儲單元240，運算單元210對于各立體形狀構成要素從圖像存儲單元220讀出對應的參照圖像信息并存儲到色彩信息存儲單元240中(步驟S2418)。
如前所述的構成，因在構成形狀模型300的各立體形狀構成要素(多邊形27)中附予從特征信息量最多的參照圖像信息中得到的色彩信息(特征信息)所以能將最接近于真實的物體的特征信息附予各立體形狀構成要素。
圖15是表示記錄計算機130執(zhí)行圖14所示的特征信息附予方法用的程序的記錄媒體的結構示意圖。
作為記錄媒體能用例如磁盤和CD-ROM(光盤只讀存儲器)等的光磁盤等。為了在計算機130中執(zhí)行圖14所示的處理，利用規(guī)定的程序語言描述各處理步驟的部分進行編碼并記錄在記錄媒體260中。
如前所述，根據(jù)記錄在記錄媒體260中的特征信息附予程序，能使計算機130動作，通過這樣能得到與前述相同的效果，也就是說，對于在計算機130內再次構成的形狀模型300，能附予更加接近于真實物體具有的特征的特征信息。
實施形態(tài)2在實施形態(tài)1中對于各立體形狀構成要素，根據(jù)內積值選擇判斷為特征信息量最大的參照圖像，并將特征信息附予各立體形狀構成要素。
但是，如圖2所示，根據(jù)不同的對象物體的形狀，有時會有在從某個方向拍攝的物體圖像信息中存在看不見的部分。這種場合，在與這種看不見的部分相當?shù)牧Ⅲw形狀構成要素的面法線向量具有最大內積值的參照圖像中，會存在完全沒有特征信息的情況。
在實施形態(tài)2中提供也能適用于這種場合的特征信息的附予方法和特征信息附予裝置以及記錄特征信息附予程序的媒體。
在實施形態(tài)2中，色彩信息附予處理單元的結構也與圖4所示的色彩信息附予處理單元200的結構相同。但如后所述，運算單元210進行的運算處理與實施形態(tài)1不同。
也就是說，在實施形態(tài)1中，對于各多邊形27，通過比較其法線向量和各參照圖像的法線向量的內積值，判斷特征信息量的大小。與此不同，在實施形態(tài)2中，對于各多邊形27，算出對于各參照圖像的投影面積，并根據(jù)這種算出的投影面積評價各參照圖像信息具有的特征信息量的大小。
圖16是表示根據(jù)對這種參照圖像的多邊形27的投影面積，決定對應于各多邊形27的參照圖像信息的標記號碼的處理流程的流程圖。
在圖16所示的流程圖中，除了作為評價對象的值是用投影到參照圖像上的立體形狀構成要素的投影面積Atmp代替參照圖像面的法線向量和立體形狀構成要素的法線向量的內積值Vtmp以外，與圖14所示的流程圖完全相同。
因此，在從步驟S2422到步驟S2436為止的處理結束的時刻，分別將對應的第i號的立體形狀構成要素具有最大的投影面積的參照圖像信息的標記號碼存儲在1維數(shù)組變量Id[i]中，將對于對應的第i號的立體形狀構成要素的對于具有Id[i]的標記號碼的參照圖像信息的投影面積存儲在1維數(shù)組變量Area[i]中。
與此相對應，運算單元210對于各立體形狀構成要素從圖像存儲單元220中讀出對應的參照圖像的特征信息，并存儲到色彩信息存儲單元240中。
利用前述的處理，即使對于具有比較復雜形狀的對象物體，也能對于在計算機內等再次構成的形狀模型300，根據(jù)最大特征信息量的參照圖像信息向多邊形27附予特征信息。此外，利用記錄圖16所示的從步驟S2422到步驟S2438為止的程序的媒體，使計算機130動作，能夠達到相同的效果。
實施形態(tài)3在前述的說明中，在將對象物體100作為形狀模型300再次構成的場合，根據(jù)對于該多邊形27的特征信息量的大小判斷對于各多邊形27對應的參照圖像。
但是，在對于各多邊形27決定適合的參照圖像的場合中應該考慮的地方，不僅限于特征信息量的大小。例如，在多邊形27間附予的特征信息中若還存在顯著的不連續(xù)時，則多邊形的邊界線特別顯眼，再次構成的立體模型29變得極不自然。
因此，對實施形態(tài)3的各立體形狀構成要素的參照圖像的分配方法，即作為特征信息的附予方法，其目的在于，第1選擇特征信息量大的參照圖像，第2能同時隱蔽多邊形的邊界線。
這里，如實施形態(tài)2中說明的，為了選擇特征信息量大的參照圖像，希望向對應的參照圖像的多邊形的投影面積要大另一方面，為了隱蔽多邊形邊界線，希望在相鄰的多邊形27間附予的色彩信息(特征信息)的連續(xù)性好。
在實施形態(tài)3中，為了隱蔽多邊形邊界線采用這樣的結構，即對于所注意的多邊形27，對與其相鄰的多邊形27的參照圖像的分配是相同的，或者即使在不同的場合，也盡量選擇拍攝角度差小的參照圖像。
更加具體地說，為了能對最適合滿足前述的2個條件的多邊形27的參照圖像信息進行分割，如后所述，將問題處理成為所謂的能量最小化問題。
也就是說，因每隔一定角度變化拍攝角度并拍攝各參照圖像，所以將號碼順序地附加到參照圖像上，用反復改善處理解決各多邊形27和參照圖像號碼的對應(標號labeling)問題，以便使用下式表示的能量局部最小。
此外，在不是每隔一定角度變化拍攝角度并拍攝各參照圖像的場合，也就是說，在拍攝角度的變化量分別不同的場合，只要使附加的前述號碼對應于拍攝角度即可。E=∑iPenalty(i)-k×area(i)……(1)]]>這里，Area(i)表示對多邊形i的參照圖像的投影面積，Penalty(i)表示多邊形與其相鄰的多邊形的參照圖像號碼(標號)的差，k是它們的組合系數(shù)。
也就是說，能量函數(shù)E是這樣一種函數(shù)，按分配到與多邊形i相鄰的多邊形上的參照圖像號碼與分配到多邊形i上的參照圖像號碼不同的程度而增加，并且隨對多邊形i的投影面積、即特征信息量的增加而減少。
如前所述，因分配到與多邊形i相鄰的多邊形上的參照圖像號碼的差越小，特征連續(xù)性越高，多邊形邊界線越隱蔽，所以在考慮到特征信息量大小(色彩信息量大小)和特征連續(xù)性兩方面的場合，極小化函數(shù)E就對應于對各多邊形的最適合的參照圖像號碼的分配。
此外，在前述的能量函數(shù)中，是用對多邊形i的參照圖像的投影面積作為特征信息量的大小，但如實施形態(tài)1所示，也能是用多邊形的法線向量和參照圖像的法線向量的內積值進行評價的結構。
這里，在能量函數(shù)E中，組合系數(shù)k可以是常數(shù)，也可以是各多邊形的函數(shù)(例如各多邊形的面積的函數(shù))。
此外，作為能量函數(shù)E，除前述的函數(shù)Penalty(i)和函數(shù)Area(i)的線性組合外，更一般地，如果是隨著對所注意的多邊形i和與其相鄰的多邊形分配的特征信息量的連續(xù)性的改善而減少、而且隨著對所注意的多邊形i的特征信息量的增加而減少的函數(shù)，則不限于前述的結構。
圖17是表示對于前述的能量函數(shù)E，用反復改善處理求得最佳值用的處理的流程圖。
首先，對于生成的形狀模型300的各多邊形，進行參照圖像號碼的臨時對應，作為初始設定(步驟S2440)。
接著，運算單元210將立體形狀構成要素數(shù)代入到變量N中，并將計數(shù)器變量Cnt初始化為數(shù)值0。此外，將“OFF”代入到標記變量Flg中(步驟S2442)。
接著，將對應于第Cnt號的立體形狀構成要素的參照圖像號碼預先代入到變量Pre_lbl中(步驟S2444)。
接著，對于第Cnt號的立體形狀構成要素，使對應的參照圖像號碼變化，并導出使能量函數(shù)E極小化的參照圖像號碼(步驟S2446)。
這里，將在步驟S2446中得到的新的對應參照圖像號碼代入到變量New_lbl中(步驟S2448)。
接著，比較變量New_lbl和變量Pre_lbl的值。在兩者不相等的場合(步驟S2450)，利用能量函數(shù)E的最小化計算，判斷所附標號進行了變換，并將“ON”代入到標記變量Flg中(步驟S2452)。接著，使計數(shù)器變量Cnt的值僅增加1(步驟S2454)。
另一方面，在變量New_lbl和變量Pre_lbl的值相等的場合，標記變量不變，使計數(shù)器變量Cnt的值僅增加1(步驟S2454)。
接著，當計數(shù)器變量Cnt的值小于立體形狀構成要素數(shù)N的情況下，再次使處理回到步驟S2444中。另一方面，在計數(shù)器變量Cnt的值為立體形狀構成要素數(shù)N以上的場合，轉移到下面的處理(步驟S2456)。
因此，對于全部的立體形狀構成要素，重復從步驟S2444到步驟S2454為止的處理。
接著，進行標記變量Flg和“OFF”的比較，在標記變量Flg不等于“OFF”的場合(步驟S2458)，判斷為利用至少1次以上的能量函數(shù)E的極小化計算，進行所附標號的變換，即判斷為局部地使能量函數(shù)E極小化的標記號碼的對應沒有結束，處理再次回到步驟S2442中。
另一方面，在標記變量Flg等于“OFF”的場合，在從步驟S2444到步驟S2456為止的處理中，即使進行能量函數(shù)E極小化的運算，也不意味著所附標號進行了變換。因為這也就是意味著當前的標記號碼的對應成為使能量函數(shù)E局部極小化的對應，所以作為最佳對應結束后的結果，處理結束(步驟S2460)。
利用以上的處理，對于多個多邊形，在進行參照圖像號碼的對應時，進行特征信息的分配使對于各多邊形選擇特征信息量大的參照圖像信息的條件和隱蔽多邊形邊界線的條件這2個條件同時最佳。
因此，分配結束后的形狀模型300具有更加接近于現(xiàn)實物體的色彩，而且具有更加自然的特征連續(xù)性。
利用記錄前述的從步驟S2440到步驟S2460為止的程序的媒體，使計算機130動作，也能得到相同的效果。
此外，因重復改善處理的順序影響到改善處理的最終結果，所以考慮適合的處理順序為佳。這里，在重復改善處理中，是因為在改善各多邊形的標記號碼時，假定其相鄰的多邊形的標記號碼是正確的或者可靠性高。因此，如果從可靠性較低的多邊形順序地進行改善處理，則能得到更好的改善結果。
作為評價多邊形的可靠性的方法之一，有多邊形的面積或將多邊形投影到參照畫面上時的面積等。
這里，是因為在前述的步驟S2240中進行的參照圖像號碼的臨時對應處理的可靠性，為面積越小的多邊形或者將多邊形投影到參照畫面上時面積越小的多邊形的可靠性越低。
實施形態(tài)4實施形態(tài)3的特征信息附予方法是考慮到特征信息量(色彩信息量)和多邊形邊界線的隱蔽、即特征連續(xù)性的兩方面，將特征信息附予各多邊形的方法。
但是，在由實際存在的物體拍攝圖像信息的場合，有時會由于照明等的關系，從特定方向拍攝的圖像信息，甚至與從接近其方向所拍攝的圖像信息，也會在光澤等方面存在顯著地不同。
因此，為了附予特征連續(xù)性更高地并且多邊形邊界線不明顯的特征信息，實施形態(tài)3的方法是不充分的。
這里，在實施形態(tài)4的特征信息附予方法中提供的方法是，對于1個多邊形，不是從1個參照圖像信息附予特征信息，而是根據(jù)從多個參照圖像信息、即從多個方向拍攝的圖像信息，將特征信息附予對應的多邊形。
在說明實施形態(tài)4的特征信息附予方法前，首先對于向色彩信息存儲單元240的特征信息的存儲方法進一步詳細地進行說明。
圖18是表示向色彩信息存儲單元的數(shù)據(jù)的存儲方法的示意圖。
色彩信息存儲單元240存儲立體形狀構成要素的基本形狀和特征。這里，參照圖像信息上的立體形狀構成要素，因為變成投影后的形狀，所以與本來的形狀不同。
因此，必須進行形狀變換并將色彩存儲在色彩信息存儲單元240中。
這里，以例如立體形狀構成要素為三角形的場合為例對其形狀變換進行說明?，F(xiàn)在考慮用圖18所示的2維離散空間存儲基本形狀的特征信息的情況。設(x0,y0),(x1,y1),(x2,y2)為基本形狀的頂點，(X0,Y0),(X1,Y1),(X2,Y2)為對于參照圖像信息投影的立體形狀構成要素的頂點。由后面所示的變換矩陣A和平行移動向量B對它們進行線性變換，能將投影的三角形形狀變換成本來的形狀。A=abcd,B=ef……(2)]]>這種場合意味著，基本形狀的象素(xn,yn)的特征信息只要從由下式計算的參照圖像信息上的象素(Xn,Yn)獲得即可。XnYn=abcdxnyn+ef……(3)]]>也就是說，利用前述所謂的仿射變換，對于投影的三角形形狀的多邊形，獲得對于本來的多邊形形狀的特征信息，并存儲在色彩信息存儲單元240中。
此外，在前面的說明中，是將多邊形的形狀設為三角形，但對于例如其形狀是四邊形和其它形狀的場合也能進行同樣的計算。
此外，坐標變換的方法除仿射變換外也可以用投影變換。用下式計算投影變換。Xn=a1xn+a2yn+a3a7xn+a8xn+1,Yn=a4xn+a5yn+a6a7xn+a8xn+1········(4)]]>如前所述，與在參照圖像信息上投影的多邊形的形狀無關，而是將對應于本來的多邊形形狀的特征信息存儲在色彩信息存儲單元240中。
這里，利用例如實施形態(tài)3所示的對于能量函數(shù)E的反復改善處理，完成對于各多邊形i對應的參照圖像信息號碼的分配。
實施形態(tài)4的特征信息附予方法，其目的在于，在這種標記號碼的分配結束后，進一步進行如后說明的加權平均處理，通過這樣實現(xiàn)進一步改善特征連續(xù)性的特征信息的附予方法。
如前所述，圖19是表示對于各多邊形i在參照圖像信息號碼的分配結束后進行的加權平均處理的流程的流程圖。
因此，示出了例如與圖17所示的流程中步驟S2460連接而繼續(xù)下去的處理。
首先，作為初始設定，分別將立體形狀構成要素數(shù)代入到變量Emax中，將投影的參照圖像信息數(shù)代入到變量Imax中。另一方面，將計數(shù)器變量Ecnt的值初始設定成0(步驟S2500)。
接著，將計數(shù)器變量Icnt和變量wacc的值初始設定成0(步驟S2501)。
接著，進行判斷，確定Icnt號碼的參照圖像信息是否為Ecnt號碼的立體形狀構成要素的特征信息的輸入對象(步驟S2502)。
這里，所謂的第Icnt號的圖像是特征信息的輸入對象，是表示利用已經進行的對于多邊形(立體形狀構成要素)的參照圖像號碼的分配，不僅是分配的圖像信息，而且與其相鄰的規(guī)定數(shù)的例如前后1個畫面的參照圖像信息也包含在輸入對象中。
接著，對于變量wght，代入第Icnt號的參照圖像信息上投影的第Ecnt號的立體形狀構成要素的面積的值(步驟S2504)。
接著，作為第Ecnt號的立體形狀構成要素的特征信息，在僅用變量wght進行加權處理后，將第Icnt號的參照圖像信息的信息存儲在色彩信息存儲單元240中(步驟S2506)。
對于變量wacc，累積變量wght的值(步驟S2508)，并使計數(shù)器變量Icnt的值僅增加1(步驟S2509)。
接著，比較計數(shù)器變量Icnt的值和拍攝的參照圖像數(shù)Imax(步驟S2510)。
在變量Icnt比變量Imax小的場合，處理再次返回到步驟S2502中。
另一方面，在步驟S2502中，在判斷Icnt號的參照圖像信息不是第Ecnt號的立體形狀構成要素的特征的輸入對象的場合，處理轉移到步驟S2509中，在變量Icnt的值僅增加1后(步驟S2509)，進行變量Icnt和變量Imax的比較。
因此，通過重復從步驟S2500到步驟S2510為止的處理，對于Ecnt號碼的立體形狀構成要素，從規(guī)定數(shù)的參照圖像信息獲得加權后的特征信息，并將這種特征信息累積到色彩信息存儲單元240中。
接著，用變量wacc的值除以累積在色彩信息存儲單元240中的特征信息(步驟S2512)。
用到此為止的處理，將對于第Ecnt號的立體形狀構成要素的特征信息作為來自對應規(guī)定數(shù)的參照圖像信息的特征信息加權平均，存儲在色彩信息存儲單元240中。
前述的處理換言之，對于各多邊形分別求得對應于分配的參照圖像號碼的參照圖像信息和投影到與其相鄰的規(guī)定數(shù)的物體圖像信息的多邊形面積，并將其作為進行后述的加權平均處理時的加權系數(shù)。
這里，在前述物體圖像信息中假定號碼，當其設為Icnt時，則對應于這種物體圖像信息的加權系數(shù)設為wght(Icnt)。此外，這些圖像信息數(shù)設為N。
多邊形的特征信息由多個象素構成，現(xiàn)在著眼于1個特征信息的象素。求得這種象素投影到前述物體圖像信息上的部位，并將其投影部位的圖像信息(投影部位的象素值、即色彩、濃度或者亮度)，包括全部前述物體圖像信息、即N個部分，進行加權平均處理，作為當前著眼的特征信息的象素值的值。這里，假設投影部位的圖像信息是v(Icnt)，則加權平均處理對應于具體進行用下式表示的計算。
/∑wght(Icnt)…(5)對于成為多邊形的特征信息的全部象素，進行這種處理。接著，使變量Ecnt的值僅增加1(步驟S2514)。
接著，比較計數(shù)器變量Ecnt的值和立體形狀構成要素數(shù)Emax的值(步驟S2516)。
在變量Ecnt的值比立體形狀構成要素數(shù)Emax小的場合，處理返回到步驟S2501。因此，對于全部的立體形狀構成要素，進行前述的特征信息的加權平均處理。
另一方面，在計數(shù)器變量Ecnt的值比立體形狀構成要素數(shù)Emax大的場合(步驟S2516)，向色彩信息存儲單元240的特征信息的存儲處理結束(步驟S2518)。
也就是說，實施形態(tài)4的特征信息的附予方法，首先，對于各多邊形進行參照圖像信息號碼(標記號碼)的對應。接著，對于包含對應的參照圖像信息號碼的規(guī)定數(shù)(例如對應的參照圖像信息號碼及其前后的1個畫面)的參照圖像信息號碼所對應的參照圖像信息，附予進行對應于在各參照圖像信息上投影的立體形狀構成要素的面積的加權平均處理的結果，作為該立體形狀構成要素的特征信息。
由于借助于如前所述的根據(jù)規(guī)定數(shù)的參照圖像信息進行的特征信息的加權平均處理，能得到對于對應的多邊形的特征信息，所以能將進一步改善特征連續(xù)性的特征信息分配給該多邊形。
例如，在拍攝現(xiàn)實的對象物體的場合，由于照明等的關系，即使在從特定方向拍攝的參照圖像信息中，對于該多邊形的色彩信息所包含的光澤特別高的情況下，也能利用加權平均處理減小其影響。
利用記錄圖19所示的從步驟S2500到步驟S2518為止的程序的媒體，使計算機130動作，也能達到相同的效果。
實施形態(tài)5在實施形態(tài)4中，在預先對于各多邊形獲得特征信息的參照圖像號碼的分配結束后，還根據(jù)規(guī)定數(shù)的相鄰的參照圖像信息對于對應的多邊形供給特征信息，對這樣的結構進行了說明。
但是，若考慮到更加重視特征連續(xù)性，則不必進行對于各多邊形的參照圖像畫面的分配，使能量函數(shù)E極小化。
實施形態(tài)5的特征信息附予方法是這樣構成，即對于各多邊形(立體形狀構成要素)，從具有對于該立體形狀構成要素的特征信息的多個參照圖像信息，對于各多邊形附予特征信息。
例如，對于各多邊形(立體形狀構成要素)，也可以從具有對于該立體形狀構成要素的特征信息的全部的參照圖像信息，對于該多邊形附予特征信息，對于各多邊形(立體形狀構成要素)，也可以從具有對于該立體形狀構成要素的特征信息隨機地或者有規(guī)則地選擇參照圖像信息，并由它們對于該多邊形附予特征信息。
圖20是表示對這種多邊形的特征信息的附予方法的示意圖，示出了從具有對于立體形狀構成要素的特征信息的全部的參照圖像信息，對于該多邊形附予特征信息的例。
按照實施形態(tài)4中的說明，對于色彩信息存儲單元240，存儲對應于本來的多邊形形狀的特征信息而與在各參照圖像信息上投影的多邊形的形狀無關，因此，在著眼于特定的多邊形i的場合，借助于從這種多邊形投影的面積不是0的全部的參照圖像信息，進行對應于其投影面積的加權平均處理，能獲得特征信息。
圖21是表示這種特征信息附予方法的流程的流程圖。
在對于現(xiàn)實的物體的多個圖像拍攝(步驟S20和形狀模型生成步驟S22)后，進行各立體形狀構成要素和該立體形狀構成要素的投影面積不是0的參照圖像信息的對應(步驟S30)。
接著，基于前述的對應，借助于對于色彩信息存儲單元240進行對應于投影面積的加權平均處理，對各個立體形狀構成要素進行特征信息累積(步驟S32)。
也就是說，在實施形態(tài)5的特征信息的附予方法中，對于每個立體形狀構成要素，以分別投影在多個參照圖像信息上的該立體形狀構成要素的面積作為加權系數(shù)，進行對于多個參照圖像信息的加權平均處理。將每個這種立體形狀構成要素得到的加權平均處理的結果作為特征信息附予各立體形狀構成要素。
如前所述，對于各立體形狀構成要素，根據(jù)具有特征信息的全部的參照圖像信息，附予特征信息，通過這樣的結構，進一步改善特征連續(xù)性。
也就是說，從特定方向拍攝的參照圖像信息，即使有時由于例如照明的關系等與從其它的方向拍攝的參照圖像信息相比，光澤異常亮，但通過對來自全部相關的參照圖像信息的特征信息進行加權平均，也能抑制這種特定方向的特征信息的影響。
此外，在前述說明了的實施形態(tài)1～5中，是在將形狀模型300變換成多邊形數(shù)據(jù)后附予特征信息，但是本申請當然不限于這種結構，也可以在體元表現(xiàn)的形狀模型300中，對表面的面方向進行運算，并附予特征信息。
但是，變換成多邊形數(shù)據(jù)后附予特征信息的結構，因能一次處理向著同一方向的面(多邊形)，所以能顯著地減少運算量。
實施形態(tài)6圖22是表示本發(fā)明實施形態(tài)6的物體抽取裝置(圖像切出裝置)的整體結構圖。參照圖22，這種物體抽取裝置包括計算機130。計算機130按照記錄在CD-ROM260中的程序301，檢測并抽取物體圖像中的物體部分。這種程序301包括進行物體圖像的區(qū)域分割處理的步驟S1、進行區(qū)域信息的存儲處理的步驟S2、進行各區(qū)域的物體圖像和背景圖像的差分處理的步驟S3、在各區(qū)域中導出差分的絕對值的平均值的步驟S4、利用差分的絕對值的平均值和閾值的比較進行物體部分的檢測處理的步驟S5和抽取檢測的物體部分的步驟S6。后面將詳細地說明步驟S1～S6的細節(jié)。
圖23是表示本發(fā)明的實施形態(tài)6的物體抽取裝置(圖像切出裝置)的概略方框圖。參照圖23，作為物體抽取裝置的計算機130包括圖像存儲單元220、運算單元210、區(qū)域信息存儲單元241和抽取圖像存儲單元231。此外，各單元220、210、231、241的細節(jié)將在后面描述。
圖24是表示圖23的運算單元210的概略方框圖。參照圖24，運算單元210包括區(qū)域分割單元9和抽取單元10。抽取單元10包括差分處理單元11、平均值導出單元13、閾值處理單元15和物體部分抽取單元16。利用拍攝機等的拍攝裝置，借助于與背景一起拍攝對象物體，得到物體圖像A。利用拍攝機等的拍攝裝置，借助于僅拍攝對象物體的背景，得到背景圖像B。將背景圖像B和物體圖像A存儲在圖23的圖像存儲單元220中。這里，作為拍攝物體的背景一般在對象物體的后方，但也有在對象物體的前方。
區(qū)域分割單元9將物體圖像A分割成多個區(qū)域(圖22的程序301的步驟S1)。將關于區(qū)域分割的信息存儲在圖23的區(qū)域信息存儲單元241中(圖22的程序301的步驟S2)。差分處理單元11以由區(qū)域分割單元9得到的區(qū)域為單位，在物體圖像A和背景圖像B之間進行差分處理，并求出差分(圖22的程序301的步驟S3)。差分是以象素為單位求得物體圖像A和背景圖像B的色彩信息的差。平均值導出單元13求得差分的絕對值，并以區(qū)域為單位導出差分的絕對值的平均值(圖22的程序301的步驟S4)。也就是說，平均值導出單元13導出每個區(qū)域的差分的絕對值的平均值。閾值處理單元15比較各區(qū)域的差分的絕對值的平均值和閾值，并檢測差分的絕對值的平均值大于閾值的區(qū)域作為物體部分(圖22的程序301的步驟S5)。此外，根據(jù)經驗設定閾值。物體部分抽取單元16抽取在閾值處理單元15檢測出的物體部分(圖22的程序301的步驟S6)。也就是說，物體部分抽取單元16從物體圖像取出在閾值處理單元15檢測出的物體部分。將抽取的物體部分的圖像存儲在圖23的抽取圖像存儲單元231中。
下面，對區(qū)域分割單元9進行的區(qū)域分割詳細地進行說明。例如，如“高木等編，增刊O plus E，圖像處理算法的最新動態(tài)，pp.227-233，新技術通訊”中敘述的那樣，區(qū)域分割采用一般使用的邊緣延長法，區(qū)域、邊緣并用法，F(xiàn)acetmodel的區(qū)域分割等。下面，對這種邊延長法進行說明。首先，第1步，從圖像的1次微分，計算各象素的邊緣強度和邊緣方向。第2步，根據(jù)對于邊緣強度的極大值抑制處理和閾值處理，抽取極大而且具有大于一定值的邊強度的邊緣要素(稱為強邊要素)。在這種階段，強邊要素未必連續(xù)。第3步，以強邊要素中的端點作為起點，進行邊緣延長。以上，稱為邊緣延長法。
圖25A到圖25C是用于詳細地說明圖24的差分處理單元11、平均值導出單元13、閾值處理單元15和物體部分抽取單元16所進行的處理的圖。參照圖25A，物體圖像17由物體部分19和背景部分21組成。背景圖像23僅由背景25組成。利用圖24的區(qū)域分割單元9，將物體圖像17分割成多個區(qū)域a1～an。
下面，著眼于區(qū)域a1，對圖24的差分處理單元11的動作進行說明。同時參照圖25B，求得區(qū)域a1的各象素的色彩信息和對應于區(qū)域a1的背景25的區(qū)域b1的各象素的色彩信息之差。這樣，得到區(qū)域a1的差分的集合c1。然后，圖24的平均值導出單元13求出構成差分的集合c1的差分的絕對值，并求出差分的絕對值的平均值。此外，圖24的閾值處理單元15比較構成差分的集合c1的差分的絕對值的平均值和閾值，在平均值大于閾值的場合，檢測對應于差分的集合c1的區(qū)域a1作為物體部分。差分處理單元11、平均值導出單元13和閾值處理單元15對于全部的區(qū)域a1～an，進行前述的差分處理，并進行差分的絕對值的平均值導出和閾值處理。然后，物體抽取部分16從物體圖像17抽取由閾值處理單元15檢測到的物體部分。圖25C示出了前述那樣抽取的物體部分19。因此，去除了背景圖像21那樣的不希望要的部分。當然，在位于對象物體的前方的物體包含在物體圖像17中的場合，也將這部分作為不要的部分去除。
這樣，基于本發(fā)明實施形態(tài)6的物體抽取裝置，將物體圖像分割成多個區(qū)域，以區(qū)域為單位求出差分的絕對值的平均值，并抽取平均值大于閾值的區(qū)域作為物體部分。因此，基于本發(fā)明實施形態(tài)6的物體抽取裝置、物體抽取方法和記錄物體抽取程序的媒體，即使在象素級即使在對象物體中存在與背景相同色彩的部分，但如果在區(qū)域級中存在與背景不同的色彩，則也能作為物體部分進行檢測、抽取。此外，人工作業(yè)少，同時不必使用同一色彩的背景板那樣的特殊的拍攝環(huán)境。
下面，對圖24的差分處理單元11中差分處理的其它例進行說明。在前述的說明中，差分處理單元11雖然以區(qū)域為單位求得差分，但也可以不以區(qū)域為單位，能在物體圖像全體和背景圖像全體間進行差分處理，求得差分。然后，在平均值導出單元13中，以在區(qū)域分割單元9求得的區(qū)域為單位，導出差分的絕對值的平均值。
此外，也可以算出物體圖像的各區(qū)域內的象素的平均值，算出該平均值和對應于該區(qū)域的背景圖像的區(qū)域內的象素的平均值之差的絕對值，并將該差的絕對值與預定的值進行比較，抽取該差的絕對值大于預定值的區(qū)域作為物體部分。
在前述實施形態(tài)6中，區(qū)域分割是求出邊緣作為參考，但本發(fā)明當然也可以以相同顏色的部分作為同一區(qū)域。此外，也可以組合多個區(qū)域分割方法。
此外，在前述實施形態(tài)6中，是對彩色圖像進行了敘述，當然本發(fā)明也適用于黑白圖像，此外，也可以用濃度信息(亮度信號電平)代替前述的色彩信息(色彩信號電平)。
此外，在前述實施形態(tài)6中，是以大于閾值的部分不加變化保持原樣地作為物體部分，但是，本申請不一定只限于1次處理。例如以用最初的處理檢測到的物體部分作為臨時的物體部分，并以其它的部分作為臨時的背景部分。然后，比較這種物體圖像的臨時的背景部分的亮度和對應于這種臨時的背景部分的背景圖像的區(qū)域的亮度，檢測背景圖像和輸入圖像的照明狀況的變化。然后，根據(jù)上述情況，也可以同樣地修正物體圖像的亮度，并再次進行相同的處理。
此外，在前述實施形態(tài)6中，閾值的值是固定的，但不限于此。例如，也可以在圖像的中央部分和周圍部分變更閾值的值。此外，也可以根據(jù)區(qū)域面積改變閾值的值。此外，如果進行再次處理，則也可以根據(jù)在附近是否存在物體部分進行變更。
此外，在前述實施形態(tài)6中，是將各區(qū)域的差分的絕對值進行平均并對其與閾值進行比較，但不一定限于此。例如還可以將差分的值的離亂性情況作為參考，判定是否為物體部分。
此外，在前述實施形態(tài)6中，最后抽取處理物體部分，但本申請不一定限于此。例如也可以不用抽取處理來判定物體的有無。此外，這種有無的判定用于大樓監(jiān)視系統(tǒng)檢測侵入者。
實施形態(tài)7圖26是表示本發(fā)明的實施形態(tài)7的物體抽取裝置的整體結構的流程圖。圖26的步驟S112～S118是計算機130從拍攝對象物體得到的物體圖像中去除背景部分抽取物體部分用的程序，存儲在CD-ROM260中。
這種程序包括對各象素(i,j)利用立體法算出在步驟S111得到的物體圖像的進深信息dp(i,j)的步驟S112、將物體圖像分割成多個區(qū)域R的步驟S113、對每個區(qū)域R算出進深信息的平均值mdp(R)的步驟S114、將進深信息的平均值mdp(R)與預定的閾值dpth進行比較的步驟S115、在進深信息的平均值mdp(R)比閾值dpth大時作為背景部分刪除該區(qū)域R、具體地說使該區(qū)域R內的各象素的值v(i,j)為0的步驟S116、在進深信息的平均值mdp(R)比閾值dpth小時抽取該區(qū)域R作為物體部分、具體地說使該區(qū)域R內的各象素的值v(i,j)為1的步驟S117、判定是否對全部區(qū)域R進行前述的步驟S115～步驟S117的處理的步驟S118。這里，能用亮度(濃度)、色彩信息或者它們的組合等作為象素的值。
下面，參照圖26的流程圖對這種實施形態(tài)7的物體抽取裝置的動作進行說明。
首先，在步驟S111中，用數(shù)字靜止拍攝機等，與對象物體的背景一起同時拍攝對象物體，得到物體圖像。這種物體圖像存儲在計算機130內的圖像存儲單元220中。因此，得到v(i,j)作為各象素(i,j)的值。這里，雖然用拍攝靜止畫面的靜止拍攝機，但也可以用拍攝活動圖像的視頻拍攝機和數(shù)字照攝機來代替。
接著，在步驟S112中，按照立體法等算出各象素(i,j)的進深信息dp(i,j)。例如在D.H.Ballard等著的“計算機圖形學”，Prentice Hall,pp.88～93中所揭示了立體法。采用立體法，則首先從僅離開規(guī)定距離的2個視點拍攝對象物體，確定由此得到的2個物體圖像間的對應點，用逆透視變換法或者單純的三角測量法算出進深信息dp(i,j)。例如日本特開平8-331607號公報中公開了立體法的應用例。此外，這里，是為了算出進深信息使用立體法，但也可以用根據(jù)運動的進深推定方法(Shape-from-motion)，同時考慮類似性和連續(xù)性的重復改善法(一種緩和法)等。
與步驟S112并行，在步驟S113中，與前述的實施形態(tài)6相同將拍攝到物體圖像分割成多個區(qū)域R。也可以不必將步驟S113的區(qū)域分割與步驟S112的進深信息計算同時進行，而在進深信息的算出后進行區(qū)域分割，相反，也可以在區(qū)域分割后進行進深信息的計算。
圖27A表示分割成多個區(qū)域R后的物體圖像，圖27B所示為用象素的亮度表示進深信息的圖像。表示亮度大的象素離開拍攝位置的距離近，亮度小的象素離開拍攝位置的距離遠。因此，物體部分亮，背景部分暗。
接著，在步驟S114中，按照下式(6)對每個區(qū)域R算出進深信息的平均值mdp(R)。mdp(R)=∑Rdp(i,j)n·······(6)]]>∑R區(qū)域R內的總和n區(qū)域R內的象素數(shù)接著，在步驟S115中，比較該算出的進深信息的平均值mdp(R)和閾值dpth。根據(jù)經驗預先確定該閾值dpth。
在進深信息的平均值mdp(R)比閾值dpth大的場合，該區(qū)域R內的象素的值v(i,j)全部置為0。也就是說，作為背景部分從物體圖像刪除該區(qū)域R。另一方面，在進深信息的平均值mdp(R)比閾值dpth小的場合，在步驟S117該區(qū)域R內的象素的值v(i,j)全部置為1。也就是說，從物體圖像抽取該區(qū)域R作為物體部分。
接著，在步驟S118中，判別前述步驟S115～S117的處理是否對于全部的區(qū)域R進行，在前述處理對于全部的區(qū)域R進行的場合，得到圖27C所示的圖像。
如前所述，采用本實施形態(tài)7，則將物體圖像分割成多個區(qū)域R，對每個區(qū)域R算出進深信息的平均值，因抽取其平均值比預定的閾值小的區(qū)域R作為物體部分，所以如圖27C所示，從物體圖像除去背景部分，用其輪廓能正確地僅切出物體部分。此外，因用進深信息，所以不必要用其它途徑僅拍攝對象物體的背景。
實施形態(tài)8圖28是表示基于本發(fā)明實施形態(tài)8的物體抽取裝置的主要結構的流程圖。在圖28中，步驟S222、S224～S227是計算機130基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲在CD-ROM260中。
這種程序包括對每個象素算出在步驟S221中得到的多個背景圖像中相互位于相同坐標的象素的平均值m(i,j)和標準偏差σ(i,j)的步驟S222，算出在步驟S223中得到的物體圖像的各象素的值v(i,j)和與該象素對應的背景圖像的象素的平均值m(i,j)之差的絕對值(下面簡單地稱為“差”)|v(i,j)-m(i,j)|，并將該差|v(i,j)-m(i,j)|與標準偏差σ(i,j)的k倍進行比較的步驟S224，在差|v(i,j)-m(i,j)|比kσ(i,j)小的場合，刪除該象素作為背景部分，也就是說，使該象素的值v(i,j)為0的步驟S225，在差|v(i,j)-m(i,j)|比kσ(i,j)大的場合，抽取該象素作為物體部分，也就是說，使該象素的值v(i,j)為1的步驟S226，以及判定是否對全部的象素進行前述步驟S224～S226的處理的步驟S227。
下面，參照圖28對基于這種實施形態(tài)8的物體抽取裝置的動作進行說明。
首先，在步驟S221中用數(shù)字化靜止拍攝機等從同一個視點多次僅拍攝對象物體的背景，得到多個背景圖像。這里，考慮到精度，背景圖像的張數(shù)在3張以上為佳，考慮到簡便性則以10張左右為佳。
接著，在步驟S222中，分別按照下式的(7)和(8)，對于各象素算出在多個背景圖像中相互位于相同坐標的象素的平均值m(i,j)和標準偏差σ(i,j)。由此，即使由于對圖像信號進行A/D變換的A/D變換器的變換特性和照明特性的變動或不穩(wěn)定等原因而拍攝的背景圖像的象素值得到異常的值，也能算出平均值，所以能得到穩(wěn)定的背景圖像。m(i,j)=∑v(i,j)N……(7)]]>σ(i,j)=∑v(i,j)2N-(∑v(i,j)N)2……(8)]]>這里，N是物體圖像的全部區(qū)域R內的象素數(shù)。
接著，在步驟S223中，拍攝對象物體，得到物體圖像。這里，得到v(i,j)作為物體圖像的各象素的值。
接著，在步驟224中，算出物體圖像的各象素的值v(i,j)和與該象素對應的背景圖像的象素的平均值m(i,j)之差的絕對值|v(i,j)-m(i,j)|。在差|v(i,j)-m(i,j)|比kσ(i,j)小的場合，在步驟225中使該象素的值v(i,j)為0。由此，作為背景部分從物體圖像刪除該象素。另一方面，在差|v(i,j)-m(i,j)|比kσ(i,j)大的場合，在步驟S226中使該象素的值v(i,j)為1，由此，從物體圖像抽取該象素作為物體部分。這里，k以3左右為佳。
接著，在步驟S227中，判定是否對全部的象素進行前述步驟S224～S226的處理，在對全部的象素進行了前述處理的場合，該程序結束。
采用如前所述的實施形態(tài)8，則因基于多個背景圖像算出象素的平均值，所以能減少用于對圖像信號進行A/D變換的A/D變換器的變換特性或照明特性的影響，而且因用多個背景圖像的象素的標準偏差作為用于判別是物體圖像還是背景圖像的閾值，所以能自動地設定適合的閾值。因此，能從物體圖像僅去除背景部分，而正確地抽取物體部分。
實施形態(tài)9圖29是表示基于本發(fā)明實施形態(tài)9的物體抽取裝置的主要結構的流程圖。在圖29中，步驟S222、S333B～S336,S227是計算機130基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲在CD-ROM260中。
前述實施形態(tài)8是在步驟S223中拍攝1次對象物體并得到1張物體圖像，而本實施形態(tài)9是在步驟S333A中多次拍攝對象物體并得到多張物體圖像。因此，這種程序包含對于每個象素算出在多個物體圖像中相互位于相同坐標的象素的平均值mv(i,j)的步驟S333B。在步驟S334～步驟S336中，用象素的平均值mv(i,j)代替圖28所示的象素的值v(i,j)。因此，在本實施形態(tài)9中，對于每個象素算出在步驟S333A中得到的多個物體圖像中相互位于相同坐標的象素的平均值mv(i,j)。
接著，在步驟S334中，算出物體圖像的各象素的平均值mv(i,j)和與該象素對應的背景圖像的象素的平均值m(i,j)之差|mv(i,j)-m(i,j)|，并比較該差|mv(i,j)-m(i,j)|和kσ(i,j)。
在差|mv(i,j)-m(i,j)|比kσ(i,j)小的場合，在步驟S335中使物體圖像的該象素的平均值mv(i,j)為0。由此，作為背景部分刪除該象素，另一方面，在差|mv(i,j)-m(i,j)|比kσ(i,j)大的場合，在步驟S336中使物體圖像的該象素的平均值mv(i,j)為1，由此，從物體圖像抽取該象素作為物體部分。
采用如前所述的實施形態(tài)9，則因用多次拍攝對象物體得到的多個物體圖像，所以能得到與背景圖像同樣穩(wěn)定的物體圖像。因此，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實施形態(tài)10
圖30是表示基于本發(fā)明實施形態(tài)10的物體抽取裝置的主要結構的流程圖。在圖30中，步驟S222、S441～S447是計算機130基于拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲在CD-ROM260中。
相對于在圖28所示的實施形態(tài)5中是對于每個象素處理物體圖像，而在本實施形態(tài)10中，則是將物體圖像分割成多個區(qū)域R，并對每個區(qū)域R進行處理。
因此，這種程序包括將在步驟S223中得到的物體圖像分割成多個區(qū)域R的步驟S441，算出物體圖像的各區(qū)域R內的各象素的值v(i,j)和與該區(qū)域對應的背景圖像的區(qū)域R內的對應的象素的平均值m(i,j)之差、并對各區(qū)域R算出用下式(9)表示的該差的平均值md(R)的步驟S442，以及按照下式(10)對于每個區(qū)域R算出在步驟S223中算出的標準偏差的平均值mσ(R)的步驟S443。md(R)=∑R|v(i,j)-m(i,j)|n······(9)]]>mσ(R)=∑Rσ(i,j)n·······(10)]]>在步驟S444～S446中，用差的平均值md(R)代替圖28所示的差|v(i,j)-m(i,j)|，用標準偏差的平均值mσ(R)代替標準偏差σ(R)。并且，將在步驟S223中得到的物體圖像在步驟S441中分割成多個區(qū)域R。
接著，在步驟S442中，算出物體圖像的各區(qū)域R內的各象素的值v(i,j)和與該區(qū)域對應的背景圖像的區(qū)域R內的象素的平均值m(i,j)之差|v(i,j)-m(i,j)|，并對于每個區(qū)域R算出該差的平均值md(R)。
接著，在步驟S443中，對于每個區(qū)域R算出在步驟S222中算出的標準偏差σ(i,j)的平均值mσ(R)。
接著，在步驟S444中，比較差的平均值md(R)和kmσ(R)。在差的平均值md(R)比kmσ(R)小的場合，在步驟S445中使該區(qū)域R內的象素的值v(i,j)全部為0。由此，作為背景部分從物體圖像中刪除該區(qū)域R。另一方面，在差的平均值md(R)比kmσ(R)大的場合，在步驟S446中使該區(qū)域R內的象素的值v(i,j)全部為1，由此，從物體圖像抽取該區(qū)域作為物體部分。
最后，在步驟S447中，判定是否對于全部的區(qū)域R進行了前述的步驟S444～步驟S446的處理。在對于全部的區(qū)域R進行了前述處理的場合，結束該程序。
這樣，采用如前所述的實施形態(tài)10，則因將對象物體分割成多個區(qū)域R，對于每個區(qū)域R算出物體圖像的各區(qū)域R內的各象素的值和對應于該區(qū)域R的背景圖像的區(qū)域R內的對應的象素的平均值之差的平均值md(R)，并抽取該差的平均值md(R)比標準偏差的平均值mσ(R)的k倍大的區(qū)域R作為物體部分，所以能從物體圖像去除背景部分，能更正確地抽取物體部分。
此外，如前述實施形態(tài)10那樣，在步驟S442中，雖然算出物體圖像的各區(qū)域R內的各象素的值v(i,j)和與該區(qū)域R對應的背景圖像的區(qū)域R內的象素的平均值m(i,j)之差是比較理想的，但也能算出物體圖像的各區(qū)域R內的象素的平均值mv(i,j)，算出物體圖像的各區(qū)域R內的象素的平均值和對應于該區(qū)域R的背景圖像的區(qū)域R內的象素的平均值m(i,j)之差的絕對值。這種場合，在圖30的流程圖中，只要將物體圖像的各區(qū)域R內的各象素的值v(i,j)置換成物體圖像的各區(qū)域R內的象素的平均值mv(i,j)即可。
或者，也可以算出物體圖像的各區(qū)域R內的象素的平均值mv(i,j)，此外，算出對應于該區(qū)域R的背景圖像的區(qū)域R內的每個象素的平均值m(i,j)在區(qū)域R內的平均值mm(R)，再算出這些差的絕對值，并根據(jù)這種值抽取物體部分。這種場合，在圖30的流程圖中，在步驟S442求得md(R)時，只要計算|mv(R)-mm(R)|作為md(R)即可。
實施形態(tài)11圖31是表示基于本發(fā)明實施形態(tài)11的物體抽取裝置的主要結構的流程圖。在前述實施形態(tài)10的步驟S223中，是拍攝1次對象物體得到1張物體圖像，而在本實施形態(tài)11步驟S333A中與此不同，是與前述實施形態(tài)9相同從同一視點多次拍攝對象物體得到多個物體圖像。因此，在步驟S551中將多個物體圖像加以平均后的物體圖像分割成多個區(qū)域R。因此，在步驟S555和S556中，用象素的平均值mv(i,j)代替象素的值v(i,j)。
采用本實施形態(tài)11，則因從同一視點多次拍攝對象物體得到多個物體圖像，所以能減少對象物體拍攝時的A/D變換器的變換特性和照明特性的變動的影響，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實施形態(tài)12
基于本發(fā)明實施形態(tài)12的立體模型生成裝置與圖3所示的實施形態(tài)1相同，包括旋轉臺110、拍攝機120和計算機130。這里，用機器人手臂等代替旋轉臺110。即能用使對象物體的方向變化的裝置代替旋轉臺110。
圖32是表示這種立體模型生成裝置的概略的方框圖。參照圖32，立體模型生成裝置包括拍攝單元109、圖像存儲單元220、運算/控制單元113、形狀存儲單元230和色彩信息存儲單元240。拍攝單元109由圖3的旋轉臺110和拍攝機120組成。圖像存儲單元220、運算/控制單元113、形狀存儲單元230和色彩信息存儲單元240包含在圖3的計算機130中。
圖33是用于說明圖3所示的立體模型生成裝置的處理流程的流程圖。圖6A到圖6E是用于說明圖3的立體模型生成裝置的具體處理內容的圖。圖6A是用于說明圖33的步驟S2的對象物體、背景的拍攝的圖。圖6B是用于說明圖33的步驟S12的輪廓圖像生成的圖。圖6C是用于說明圖33的步驟S14的表決處理的圖。圖6D是用于說明圖33的步驟S16的多邊形生成的圖。圖6E是用于說明圖33的步驟S18的特征映射的圖。
下面，參照圖3、圖6A～圖6E、圖32和圖33進行說明。在步驟S8中進行校準。基于本實施形態(tài)12的校準是求得拍攝機120的內部參數(shù)(透視比)和拍攝機120與旋轉臺110的位置關系的處理。在步驟S10中，進行對象物體和背景的拍攝。即不把對象物體放置在旋轉臺110上，僅拍攝背景，得到1張背景圖像。此外，將對象物體100放置在旋轉臺110上，并使對象物體100旋轉。并且，由拍攝機120用每個規(guī)定的角度與背景一起拍攝得到物體圖像A1～An。例如，使對象物體100每隔10°旋轉，得到36張物體圖像A1～A36。在以下的說明中對以這樣得到的36張物體圖像A1～A36為基礎生成立體模型29的場合進行說明。
這里，固定拍攝機120的位置和俯角(或者仰角)。此外，利用運算/控制單元113控制拍攝機120和旋轉臺110。此外，將在步驟S10求得的背景圖像和物體圖像存儲在圖像存儲單元220中。在本實施形態(tài)12中，固定拍攝機并使對象物體旋轉進行拍攝，為了使背景的拍攝次數(shù)僅可能少，僅拍攝1次背景，得到1張背景圖像。但是，為了得到有更好的可靠性的背景圖像，也可以拍攝2次以上背景并得到2張以上的背景圖像。
此外，如本實施形態(tài)12那樣，借助于固定拍攝機120，并使對象物體100旋轉，從對象物體100的周圍的多個方向拍攝包含背景的對象物體100的場合，背景的拍攝也可以1次，但借助于使對象物體100固定以對象物體100為中心旋轉拍攝機120，從對象物體100的周圍的多個方向拍攝包含背景的對象物體100的場合，必須多次拍攝背景。
在步驟S12中，未圖示的輪廓生成單元生成輪廓圖像。即進行各物體圖像A1～A36和背景圖像之間的差分處理，生成多個輪廓圖像B1～Bn。因物體圖像A1～A36是36張，所以輪廓圖像也是36張。這里，差分處理(求得差分的處理)是指對于每個象素求得物體圖像的色彩信息和背景圖像的色彩信息的差。在步驟S14中，未圖示的表決單元進行表決處理。即以多個輪廓圖像B1～B36為基礎，對圓柱坐標系體元空間251進行表決處理。并且，未圖示的閾值處理單元(立體形狀獲得單元)以投票數(shù)在閾值以上的部分作為對象物體100的立體形狀(存在區(qū)域)。
此外，雖然也可以用直角坐標系體元空間作為體元空間，但多數(shù)情況用圓柱坐標系體元空間251能減少存儲量并能獲得良好的形狀的場合也很多。
在步驟S16中，以在步驟S14求得的對象物體100的立體形狀為基礎生成多個立體形狀表現(xiàn)要素(例如，三角形拼塊等的多邊形，下面為簡單起見將立體形狀表現(xiàn)要素記為多邊形)27，用多個多邊形27表示在步驟S14求得的對象物體100的立體形狀。將用多邊形27表示的立體形狀存儲在形狀存儲器230中。在步驟S18從物體圖像獲得在步驟S16生成的對應于各多邊形27的特征，并映射到各多邊形27上。此外，將特征(色彩信息)存儲在色彩信息存儲單元240中。此外，步驟S12～S18的處理由運算/控制單元113進行，輪廓生成單元、形體單元、閾值處理單元包含在運算/控制單元113中。下面，對步驟S8的校準、步驟S14的表決處理和步驟S16的多邊形生成詳細地進行說明。
(校準)作為校準是求得拍攝機120的內部參數(shù)(透視比)和拍攝機120與旋轉臺110的位置關系。首先，對拍攝機120的內部參數(shù)(透視比)進行說明。圖34是用于說明拍攝機120的內部參數(shù)(透視比)的圖。參照圖34，利用拍攝機120對基準塊31進行拍攝。這種場合，拍攝時使基準塊31正好進入屏幕33。測量這時的拍攝機120和基準塊31之間的距離L。此外，再預先測量基準塊31的高度T。透視比是用距離L除基準塊31的高度T。即用T/L表示透視比。在遠近法中投影到畫面上的物體尺寸是對應于從視點開始到物體為止的距離進行放大/縮小，決定其放大/縮小比例的參數(shù)是透視比。
下面，對拍攝機120和旋轉臺110的位置關系的測量進行說明。圖35A到圖35C是表示用于說明測量拍攝機和旋轉臺的位置關系的圖。圖35A是表示置于旋轉臺110的坐標系(xyz坐標系)中的拍攝機120的圖。參照圖35A，用旋轉臺110的坐標系(xyz坐標系)求得拍攝機120的位置(x0,y0,z0)。此外，求得繞拍攝機120的光軸35的旋轉角α。圖35B是表示對圖35A的拍攝機120的yz平面的正投影的圖。參照圖35B，求得拍攝機120的光軸35和y軸所成的角β。圖35C是表示對圖35A的拍攝機120的xy平面的正投影的圖。參照圖35C，求得拍攝機120的光軸35和y軸所成的角γ。
也就是說，作為拍攝機120和旋轉臺110的位置關系，求得使用旋轉臺110的坐標系(xyz坐標系)的拍攝機120的位置和角度α、β和γ。此外，在本實施形態(tài)12中，α、γ大致為0°。這里，角度β是對于旋轉臺110的拍攝機120的俯角。此外，也稱角度β為對于放置在旋轉臺110上的對象物體的拍攝機120的俯角。這里，在俯角中包含負的俯角、即仰角。
如前所述，在本實施形態(tài)12中，作為校準，求得對于對象物體的拍攝機俯角，因此能將以這種俯角拍攝對象物體的物體圖像作為基礎生成立體模型29。也就是說，不僅能從橫方向(與xy平面平行的方向)拍攝對象物體得到的物體圖像為基礎，而且能從斜上方拍攝對象物體得到的物體圖像為基礎，生成立體模型29。因此，還包含僅從橫方向的拍攝不能得到的對象物體的上面部分，所以能充分地得到色彩信息。此外，因也能識別對象物體的局部地方的凹部，所以能更精確地生成立體模型29。
(表決處理)下面，詳細地說明圖33的步驟S14的表決處理。圖36是用于說明進行表決處理的圓柱坐標系體元空間251的圖。參照圖36，圓柱坐標系體元空間251由多個體元39組成。這里，為了方便地說明圓柱坐標系體元空間251的體元，考慮將圖36的圓柱坐標系體元空間251為具有中心軸40的圓柱。并且，用與中心軸40垂直的不同的多個平面，切斷這種圓柱25。此外，包含中心軸40而且用與中心軸40平行的多個平面，切斷圓柱25。此外，用以與中心軸40為軸的不同的多個旋轉面，切斷圓柱25。這樣，考慮借助于切斷圓柱25得到的圓柱25的各要素。這種各個要素對應于圓柱坐標系體元空間251的各個體元39。
圖37是用于說明表決處理的圖。以圖33的步驟S12得到的36張輪廓圖像B1～B36為基礎，對圓柱坐標系體元空間251進行表決處理。此外，圖37僅示出了2個輪廓圖像B1、B2。
這里，考慮假定存在區(qū)域50。圖7是用于說明假定存在區(qū)域的圖。在圖7中僅示出了1個輪廓圖像B1。參照圖37和圖7，并注意輪廓圖像B1，所謂的對于輪廓圖像B1的假定存在區(qū)域50是指以拍攝機的投影中心51為頂點，以輪廓圖像B1中的物體圖像42(對象物體100的輪廓)為斷面形狀的錐體狀的區(qū)域。此外，也能同樣地定義對于其它的輪廓圖像B2～B36的假定存在區(qū)域。對象物體100一定存在于這種假定存在區(qū)域的內側。
也參照圖36，在表決處理中將存在于假定存在區(qū)域50中的體元39全部投票成“1”。對于全部的輪廓圖像B1～B36進行這種表決處理。例如，存在于與36張輪廓圖像B1～B36對應的全部的假定存在區(qū)域重合的部分的體元39的投票數(shù)為“36”。
在圖33的步驟S10中，每隔10°拍攝對象物體得到36張物體圖像，在步驟S12中，生成36張輪廓圖像B1～B36。因此，假定存在區(qū)域的頂點(相當于拍攝機的投影中心)為圍繞中心軸40每隔10°的位置。此外，按照圖33的步驟S8的校準結果，決定假定存在區(qū)域的頂點(相當于拍攝機的投影中心)的位置。即根據(jù)透視比決定輪廓圖像B1～B36和與其對應的假定存在區(qū)域的頂點(相當于拍攝機的投影中心)的位置關系。也就是說，決定作為假定存在區(qū)域的錐體的展開角。此外，根據(jù)拍攝機120和旋轉臺110的位置關系，決定對應于輪廓圖像B1～B36的假定存在區(qū)域的頂點(相當于拍攝機的投影中心)與圓柱坐標系體元空間251的位置關系。
圖38是表示表決處理結果的圖。參照圖38，色彩濃的部分投票數(shù)多，色彩淡的部分投票數(shù)少。此外，圖38的z軸相當于圖37的中心軸40。
在對于全部的輪廓圖像B1～B36的表決處理結束后，進行閾值處理。即以具有規(guī)定的閾值以上的投票數(shù)的體元39存在的區(qū)域，作為對象物體100的存在區(qū)域。這種存在區(qū)域的形狀是對象物體的立體形狀。例如，假設閾值是“32”，則投票數(shù)“32”以上的體元39存在的區(qū)域的形狀為對象物體100的立體形狀。
如前所述，在本實施形態(tài)12中，根據(jù)表決處理求得對象物體的立體形狀。因此，即使在表決處理中用的多個輪廓圖像中有幾個不正確，也能高精度地生成立體模型29。此外，過去因利用多個假定存在區(qū)域的邏輯積得到立體形狀，所以在例如由于輪廓圖像中的物體圖像不正確而不能正確地表示對象物體的輪廓、表示的形狀缺少對象物體的形狀的一部分的場合，對于該缺少的部分不能作為對象物體的立體形狀被表示。這里，是用表決處理推斷體元空間251中對象物體的存在區(qū)域，但如果不能求得體元空間251中對象物體的存在概率，則也可以用表決處理以外的任何處理，推斷對象物體的存在區(qū)域。
(多邊形生成)圖39A和圖39B是用于說明圖33的步驟S16的多邊形生成的具體內容的圖。圖40是用于說明圖33的步驟S16的多邊形生成的流程圖。圖39B是表示基于存在于圖39A中的39B部分的輪廓線43a,43b求得的多邊形的圖。參照圖39A和圖40，在步驟SA1中未圖示的切斷部用多個平面(在圖39A中僅圖示3個平面41a,41b,41c)切斷基于表決處理的結果求得的對象物體100的立體形狀(參照圖38)，求得各切斷面(在圖39A中僅圖示3個切斷面44a,44b,44c)的輪廓線(在圖39A中僅圖示3條輪廓線43a,43b,43c)。這里，在圖33的步驟S10中，每隔10°拍攝對象物體，得到物體圖像，在步驟S12中，生成每隔10°的輪廓圖像B1～B36。因此，用多個平面圍繞著中心軸40每隔10°切斷對象物體100的立體形狀。即用相鄰的平面之間所成的角度θ為10°的多個平面，切斷對象物體100的立體形狀。切斷對象物體100的立體形狀的各平面是包含中心軸40的平面。
在步驟SA2中，未圖示的多邊形近似單元對各切斷面的各輪廓線進行多邊形近似，求得該多邊形的頂點坐標。這里，作為多邊形近似方法能用例如U.Ramer,“An Tterative Procedure for the Polygonal Approximation of Plane Curves”,CGIP,Vol.1,pp.244-256,1972所公開的方法等。然后，未圖示的連接單元在各切斷面中在相鄰的頂點之間用直線連接。在步驟SA3中，在相鄰的切斷面之間連接對應于各切斷面的輪廓線的頂點之間，并生成多邊形。此外，在步驟SA2的多邊形近似中，借助于改變其近似精度，也能控制最終生成的多邊形數(shù)。
參照圖39B，對步驟SA2和步驟SA3的處理進行說明。在步驟SA2中，對輪廓線43a,43b進行多邊形近似，求得該多邊形的頂點45a,45b的坐標。然后，對于借助于對輪廓線43a進行多邊形近似求得的多個頂點45a，對相鄰的頂點之間用直線進行連接。對于對輪廓線43b進行多邊形近似求得的多個頂點45b也進行同樣的處理。這里，對應于輪廓線43a的是頂點45a，對應于輪廓線43b的是頂點45b。在步驟SA3中，用直線連接對應于切斷面44a的輪廓線43a的頂點45a和對應于切斷面44b的輪廓線43b的頂點45b之間，生成多邊形27。這里，作為用直線連接頂點45a和頂點45b的方法有局部的最近接點連接策略和全局的最短連接策略。
局部的最近接點連接策略是在借助于對相鄰的切斷面的一方的輪廓線進行多邊形近似得到的頂點和借助于對相鄰的切斷面的另一方的輪廓線進行多邊形近似得到的頂點之間，對頂點間的長度最短的頂點之間用直線進行連接。全局的最短連接策略是在借助于對相鄰的切斷面的一方的輪廓線進行多邊形近似得到的頂點和借助于對相鄰的切斷面的另一方的輪廓線進行多邊形近似得到的頂點之間，對頂點間的長度的和為最小的頂點之間用直線進行連接。
下面，對局部的最近接點連接策略詳細地進行說明。圖41是表示對應于相鄰的切斷面的輪廓線的頂點間的關系的圖。這里，作為相鄰的切斷面，考慮切斷面Scnt和切斷面Scnt+1。參照圖41，頂點a,b,c,d,e,f是對切斷面Scnt的輪廓線進行多邊形近似得到的。頂點A,B,C,D,E,F,G是對切斷面Scnt+1的輪廓線進行多邊形近似得到的。此外，因以利用圓柱坐標系體元空間251的多邊形生成為前提，所以頂點a和頂點A是同一點，頂點f和頂點G是同一點。
圖42是用于說明局部的最近接點連接策略的圖。參照圖42，橫方向對應于切斷面Scnt的頂點a～f，縱方向對應于切斷面Scnt+1的頂點A～G。并且，各格網(wǎng)點的數(shù)字(在O中記載的數(shù)字)是對應于切斷面Scnt的輪廓線的頂點a～f(圖41)和對應于切斷面Scnt+1的輪廓線的頂點A～G(圖41)之間的距離。例如在d和D的交點(d和D決定的格網(wǎng)點)記有圖41的頂點d和D之間的距離。也就是說，圖41的頂點d和D之間的距離是“2”。
參照圖41和圖42，在局部的最近接點連接策略中，首先生成初始多邊形。初始多邊形的生成方法考慮以下的2個方法。用于初始多邊形生成的第1方法是無條件地用直線連接頂點bB之間。初始多邊形生成的第2方法是在頂點bB之間、頂點aC之間和頂點Ac之間，選擇距離最小的并用直線連接這種頂點之間。在圖41和圖42的例中，在初始多邊形生成的2個方法中的任何一個方法中都選擇頂點bB之間并用直線連接頂點bB。
接著，考慮連接頂點cB之間或者頂點bC之間的哪一個。因頂點bC之間的距離比頂點cB之間的距離短，所以用直線連接頂點bC之間。接著，考慮連接頂點cC之間或者頂點bD之間的哪一個。因頂點bD之間的距離和頂點cC之間的距離相等，所以可以連接任何一個，但這里用直線連接頂點bD之間。接著，考慮連接頂點cD之間或者頂點bE之間的哪一個。因頂點cD之間的距離比頂點bE之間的距離短，所以用直線連接頂點cD之間。下面，重復這種處理，用直線連接對應于切斷面Scnt的輪廓線的頂點和對應于切斷面Scnt+1的輪廓線的頂點。也就是說，在圖42的各格網(wǎng)點中比較位于右面的格網(wǎng)點對應的頂點之間的距離和位于下面的格網(wǎng)點對應的頂點之間的距離，用直線連接具有短距離的格網(wǎng)點的頂點之間。圖43是表示根據(jù)局部的最近接點連接策略連接圖41的頂點a～f和頂點A～G得到的多邊形的圖。此外，對于與圖41相同的部分，附以相同的參照標號并省略其說明。參照圖43，按照局部的最近接點連接策略連接頂點a～f和頂點A～G，形成多邊形(三角形拼塊)27。
圖44是表示用于說明根據(jù)局部的最近接點連接策略的多邊形生成的流程的一部分的圖。圖45是表示用于說明根據(jù)局部的最近接點連接策略的多邊形生成的流程的另外部分的圖。此外，作為初始多邊形生成方法，示出了用無條件地連接第1號的頂點之間的方法(初始多邊形生成的第1方法)的例子。參照圖44，在步驟SB1中，將用圖40的步驟SA1得到的切斷面的數(shù)代入到變量Smax中。此外，將“0”代入到變量Scnt中。在步驟SB2中，將第Scnt號的切斷面的頂點數(shù)代入到變量Vmax中。此外，將“0”代入到變量Vcnt中。在步驟SB3中，連接第Scnt號切斷面中第Vcnt號的頂點和第Scnt號的切斷面中第Vcnt+1號的頂點。這里，在考慮例如圖41所示的頂點a～f和A～G的場合，頂點a,A是第0號頂點，頂點b,B是第1號頂點，頂點c,C是第3號頂點，在步驟SB4中，將Vcnt+1代入到變量Vcnt中。在步驟SB5中，在變量Vcnt大于Vmax-1的場合，進入到步驟SB6。另一方面，在步驟SB5中，當變量Vcnt小于Vmax-1時，進入到步驟SB3中。在步驟SB6中，將Scnt+1代入到變量Scnt中，在步驟SB7中，當變量Scnt大于Smax時，進入到圖45的步驟SB8中。另一方面，在步驟SB7中，當變量Scnt小于Smax時，進入到步驟SB2中。
參照圖45，在步驟SB8中，將“0”代入到變量Scnt中。在步驟SB9中，將第Scnt號的切斷面的頂點數(shù)代入到變量imax中。此外，將第Scnt+1號的切斷面的頂點數(shù)代入到變量jmax中。在步驟SB10中生成初始多邊形。這里，示出了用無條件地連接第1號的頂點之間的方法(初始多邊形生成的第1方法)的例子，連接第Scnt號的切斷面的第1號的頂點和第Scnt+1號的切斷面的第1號的頂點。再將“1”代入到變量i中，并將“1”代入到變量j中。在步驟SB11中，將i+1代入到變量i_n中，并將j+1代入到變量j_n中。在步驟SB12中，dist([Scnt:i],[Scnt+1:j_n])表示第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點之間的距離。此外，dist([Scnt:i_n],[Scnt+1:j])表示第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點之間的距離。也就是說，在步驟SB12中，在第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點之間的距離比第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點之間的距離小的場合，進入到步驟SB13中，在其以外的場合，進入到步驟SB14中。
在步驟SB13中，連接第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點。再將j_n代入到變量j中。在步驟SB14中，連接第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點。再將i_n代入到變量i中。在步驟SB15中，在變量i大于imax-1的場合，進入到步驟SB17中，另一方面，在變量i小于imax-1的場合，進入到步驟SB16中。在步驟SB17中，連接第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j～jmax-1號的各頂點。在步驟SB16中，在變量j大于jmax-1的場合，進入到步驟SB18中。另一方面，在變量j小于jmax-1的場合，進入到步驟SB11中。在步驟SB18中，連接第Scnt+1號的切斷面的第j號的頂點和第Scnt號的切斷面的第i～imax-1號的各頂點。在步驟SB19中，將Scnt+1代入到變量Scnt中。在步驟SB20中，在變量Scnt小于Smax的場合，進入到步驟SB9中。另一方面，在變量Scnt大于Smax的場合，結束處理。此外，雖然切斷面存在于第0號到第Smax-1號，但在圖45中，在Scnt為Smax-1的場合，有時必須考慮第Smax號的切斷面的頂點。這種場合，第Smax號的切斷面看作與第0號的切斷面相同。
參照圖42，對于根據(jù)全局最短連接策略的多邊形的生成詳細地進行說明?？紤]以格網(wǎng)點aA(a與A的交點)為起點，以格網(wǎng)點fG(f與G的交點)為終點的路徑。并且，在每經過格網(wǎng)點時加上分配到經過的格網(wǎng)點的距離的值作為補償，求得補償為最小的路徑。也就是說，在從格網(wǎng)點aA到格網(wǎng)點fG為止的多個路徑中求得最短的路徑。作為這種最短的路徑可以用雙列(diallele)法、分支限定法、Dijkstra算法和A*算法等求得。在圖42中，用粗的實線表示的路徑是最小補償路徑(最短路徑)。然后，連接存在于最小補償路徑(最短路徑)上的格網(wǎng)點對應的頂點之間(參照圖41)。例如，因最小補償路徑(粗的實線)通過格網(wǎng)點bB上，所以連接圖41的頂點b和B。圖43示出了根據(jù)全局最短連接策略用直線連接圖41的頂點a～f和頂點A～G得到的多邊形。
圖46是用于說明全局最短連接策略的多邊形生成的流程圖。此外，對于與圖44和圖45相同的步驟，附以相同的標號并適當?shù)厥÷云湔f明。參照圖46，在步驟SC9中，連接第Scnt號的切斷面的頂點和第Scnt+1號的切斷面的頂點，使連接距離最短。在步驟SC10中，將Scnt+1代入到變量Scnt中。在步驟SC11中，在變量Scnt小于Smax的場合，進入到步驟SC9中，另一方面，在變量Scnt大于Smax的場合，結束處理。
這樣，在本實施形態(tài)12中，用圓柱坐標系體元空間251求得對象物體的立體形狀，用多個平面沿著圓柱坐標系體元空間251的中心軸，切斷這種立體形狀，并以切斷面的輪廓線為基礎生成形狀模型300。因此，與用直角坐標系體元空間生成形狀模型300的場合相比，用于生成形狀模型的數(shù)據(jù)量少并且能高速處理。此外，用多邊形近似和局部的最近接點連接策略或者全局最短連接策略生成構成形狀模型300的多邊形。因此，與用垂直于旋轉軸的多個平面來切斷對象物體的立體形狀而生成形狀模型300的以往技術相比，數(shù)據(jù)量少并且能進一步高速處理。即能實時生成形狀模型300。此外，用多邊形近似和局部的最近接點連接策略或者全局最短連接策略生成構成形狀模型300的多邊形27。因此，數(shù)據(jù)量少并且能高速處理。
在本實施形態(tài)12中，除去到此為止的說明的效果外，還有以下所述的效果。也就是說，在本實施形態(tài)12中，與用3維數(shù)字化儀生成形狀模型的場合相比，能減少人工的作業(yè)。此外，在本實施形態(tài)12中，沒有進行用激光的測量。因此，不受對象物體的材料的限制，必須在暗室中測量等拍攝環(huán)境的限制少。此外，在本實施形態(tài)12中，用旋轉臺110、拍攝機120和計算機130簡單的結構就能生成立體模型29。此外，在本實施形態(tài)12中，借助于進行差分處理，生成輪廓圖像，并用它生成形狀模型300。因此，不需要同一色彩的背景板等那樣的特殊的拍攝環(huán)境。
以上，是對用1臺拍攝機和旋轉臺每隔10°拍攝對象物體生成立體模型29的例子進行了說明，但拍攝機的臺數(shù)、拍攝視點的移動手段、拍攝角度的間隔寬度不限于此。也可以用多臺拍攝機拍攝對象物體，生成立體模型29。這樣，能進一步獲得高精度的形狀。此外，作為拍攝視點的移動手段，也可以用人工控制的旋轉臺和機器人手臂。此外，拍攝角度的間隔寬度對于復雜的物體也可以更加細，也可以根據(jù)方向改變拍攝角度的間隔寬度。也就是說，對于具有復雜的外形的方向也可以用更加細的刻度間隔進行旋轉及拍攝。此外，在變更對象物體的拍攝角度的間隔寬度的場合，也改變切斷體元空間251并再次構成多邊形表示的形狀模型300用的切斷面。拍攝角度和切斷面是相互關連而設定的。如果這樣的話，則能將來自拍攝得到的輪廓圖像的輪廓信息更高精度地反映在多邊形數(shù)據(jù)上。
圖47是表示記錄使圖3的計算機130生成對象物體的立體模型29用的程序301的CD-ROM的圖。參照圖47，計算機130按照記錄在CD-ROM260中的程序301，生成對象物體的立體模型29。記錄在CD-ROM260上的程序301包含生成對象物體的輪廓圖像的步驟S12、進行表決處理的步驟S14、進行多邊形生成的步驟S16和進行特征映射的步驟S18。
在本實施形態(tài)12中，在從體元表示的形狀模型再次構成多邊形表示的形狀模型300的場合，使用了斷面的多邊形近似的技術，但是本發(fā)明不一定限于此。例如，也可以用變形球(metaball)表示的形狀模型代替線框表示的形狀模型300。此外，在本實施形態(tài)12中，是根據(jù)輪廓圖像進行對體元空間251的表決處理并生成多邊形，但也可以用多邊形近似法將輪廓圖像變換成多邊形。此外，這種場合，因輪廓圖像不正確，所以當然有必要進行基于人工操作的校正。
權利要求
1．一種特征信息附予方法，其特征在于，在對于形狀模型的特征信息附予方法中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素，對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量，對于所述形狀模型附予特征信息的步驟。
2．如權利要求1所述的特征信息附予方法，其特征在于，對于每個所述立體形狀構成要素，基于所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度，表示所述特征信息量。
3．如權利要求1所述的特征信息附予方法，其特征在于，對于每個所述立體形狀構成要素，基于投影在所述各物體圖像信息的所述立體形狀構成要素的面積，表示所述特征信息量。
4．一種特征信息附予方法，其特征在于，在對于形狀模型的特征信息附予方法中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素、對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量和所述立體形狀構成要素間的特征連續(xù)性的兩個方面，對于所述形狀模型附予特征信息的步驟。
5．如權利要求4所述的特征信息附予方法，其特征在于，在附予所述特征信息的步驟中，根據(jù)對應于每個所述立體形狀構成要素的所述物體圖像信息，對于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構成要素間的特征連續(xù)性的改善而減少的評價函數(shù)極小化。
6．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，用分別與所注意的所述立體形狀構成要素和與其相鄰的所述立體形狀構成要素對應的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
7．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的所述立體形狀構成要素上的標記號碼和分配給與所注意的所述立體形狀構成要素相鄰的立體形狀構成要素上的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
8．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼供給到各物體圖像信息上時，用伴隨著分配到注意的所述立體形狀構成要素上的標記號碼和分配到與注意的所述立體形狀構成要素相鄰的立體形狀構成要素上的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
9．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用投影到所述各物體圖像信息中的所述立體形狀構成要素的面積的函數(shù)，表示所述特征信息量。
10．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
11．如權利要求5所述的特征信息附予方法，其特征在于，在所述評價函數(shù)中，用分配給第i號(i自然數(shù))所述立體形狀構成要素的標記號碼和分配給與所述第i號所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的全部立體形狀構成要素的總和，與用投影到分配所述第i號立體形狀構成要素的標記號碼對應的所述物體圖像信息的所述第i號立體形狀構成要素的面積的全部立體形狀構成要素的總和的線性組合，表示所述特征信息量。
12．一種特征信息附予方法，其特征在于，在對于形狀模型的特征信息附予方法中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素上的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的步驟?；谂c所述加以對應的標記號碼相對應的物體圖像信息和與包含所述加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予所述立體形狀構成要素的步驟。
13．一種特征信息附予方法，其特征在于，在對于形狀模型的特征信息附予方法中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的步驟?；趯谒鱿鄳郊拥臉擞浱柎a的物體圖像信息和對應于包含所述相應附加的標記號碼的規(guī)定數(shù)的標記號碼的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息上的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予所述立體形狀構成要素的步驟。
14．一種特征信息附予方法，其特征在于，在對于形狀模型的特征信息附予方法中，包括借助于從不同的視點拍攝對象物體以獲得多個物體圖像信息的步驟，將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，借助于對相應于分別投影到所述多個物體圖像信息的所述立體形狀構成要素相應的面積的多個所述物體圖像信息進行加權平均處理，將得到的特征信息附予所述各立體形狀構成要素的步驟。
15．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計算機將特征信息附予形狀模型用的程序的媒體，所述程序包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素，對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量，對于所述形狀模型附予特征信息的步驟。
16．如權利要求15所述的記錄特征信息附予程序的媒體，其特征在于，對于每個所述立體形狀構成要素，基于所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度，表示所述特征信息量。
17．如權利要求15所述的記錄特征信息附予程序的媒體，其特征在于，對于每個所述立體形狀構成要素，基于投影在所述各物體圖像信息的所述立體形狀構成要素的面積，表示所述特征信息量。
18．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計算機將特征信息附予形狀模型用的程序的媒體，所述程序包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素，對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量和所述立體形狀構成要素間的特征連續(xù)性的兩個方面，對于所述形狀模型附予特征信息的步驟。
19．如權利要求18所述的記錄特征信息附予程序的媒體，其特征在于，在附予所述特征信息的步驟中，根據(jù)對應于每個所述立體形狀構成要素的所述物體圖像信息，對于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構成要素間的特征連續(xù)性的改善而減少的評價函數(shù)極小化。
20．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，用分別與所注意的所述立體形狀構成要素和與其相鄰的所述立體形狀構成要素對應的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
21．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的所述立體形狀構成要素的標記號碼和分配給與所注意的所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
22．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，用隨著分配給所注意的所述立體形狀構成要素的標記號碼和分配給與所注意的所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
23．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用投影到所述各物體圖像信息中的所述立體形狀構成要素的面積的函數(shù)，表示特征信息量。
24．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
25．如權利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評價函數(shù)中，用分配給第i號(i自然數(shù))所述立體形狀構成要素的標記號碼和分配給與所述第i號所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的全部立體形狀構成要素的總和，與用投影到分配給所述第i號立體形狀構成要素的標記號碼對應的所述物體圖像信息的所述第i號立體形狀構成要素的面積的全部立體形狀構成要素的總和的線性組合，表示所述特征信息量。
26．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計算機特征信息附予形狀模型用的程序的媒體，所述程序包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的步驟。基于與所述加以對應的標記號碼相對應的物體圖像信息和與包含所述加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息上的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予所述立體形狀構成要素的步驟。
27．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計算機將特征信息附予形狀模型用的程序的媒體，所述程序包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型的進行描述步驟，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的步驟?；谂c所述加以對應的標記號碼相對應的物體圖像信息和與包含所述加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息上的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予所述立體形狀構成要素的步驟。
28．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計算機將特征信息附予形狀模型用的程序的媒體，所述程序包括借助于從不同的視點拍攝對象物體以獲得多個物體圖像信息的步驟，將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的步驟，借助于對相應于分別投影到所述多個物體圖像信息的所述立體形狀構成要素相應的面積的多個所述物體圖像信息進行加權平均處理，將得到的特征信息附予所述各立體形狀構成要素的步驟。
29．一種特征信息附予裝置，其特征在于，在對于形狀模型的特征信息附予裝置中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素，對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量，對于所述形狀模型附予特征信息的手段。
30．如權利要求29所述的記錄特征信息附予裝置，其特征在于，對于每個所述立體形狀構成要素，用所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度，表示所述特征信息量。
31．如權利要求29所述的記錄特征信息附予裝置，其特征在于，對于每個所述立體形狀構成要素，用投影到所述各物體圖像信息的所述立體形狀構成要素的面積，表示所述特征信息量。
32．一種特征信息附予裝置，其特征在于，在對于形狀模型的特征信息附予裝置中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，根據(jù)借助于從不同的視點對所述對象物體進行拍攝所獲得的多個物體圖像信息，對于每個所述立體形狀構成要素、對應于所述各物體圖像信息的所述立體形狀構成要素的特征信息量和所述立體形狀構成要素間的特征連續(xù)性的兩個方面，對于所述形狀模型附予特征信息的手段。
33．如權利要求32所述的記錄特征信息附予裝置，其特征在于，在附予所述特征信息的手段中，根據(jù)對應于每個所述立體形狀構成要素的所述物體圖像信息，對于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構成要素間的特征連續(xù)性的改善而減少的評價函數(shù)極小化。
34．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，用分別與所注意的所述立體形狀構成要素和與其相鄰的所述立體形狀構成要素對應的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
35．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的所述立體形狀構成要素的標記號碼和分配給與所注意的所述立體形狀構成要素相鄰的所述立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
36．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，用伴隨著分配給所注意的所述立體形狀構成要素的標記號碼和分配給與所注意的所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
37．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用投影到所述各物體圖像信息中的所述立體形狀構成要素的面積的函數(shù)，表示所述特征信息量。
38．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，對于每個所述立體形狀構成要素，用所述各立體形狀構成要素的面法線方向和對所述各物體圖像信息進行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
39．如權利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評價函數(shù)中，用分配給第i號(i自然數(shù))所述立體形狀構成要素的標記號碼和分配給與所述第i號所述立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的全部立體形狀構成要素的總和，與用投影到分配給所述第i號立體形狀構成要素的標記號碼對應的所述物體圖像信息的所述第i號立體形狀構成要素的面積的全部立體形狀構成要素的總和的線性組合，表示所述特征信息量。
40．一種特征信息附予裝置，其特征在于，在對于形狀模型的特征信息附予裝置中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨位置變化對所述物體圖像信息進行拍攝的場合將對應于位置變化的標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的手段?；谂c所述加以對應的標記號碼相對應的物體圖像信息和與包含所述加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予所述立體形狀構成要素的手段。
41．一種特征信息附予裝置，其特征在于，在對于形狀模型的特征信息附予裝置中，包括將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，將所述標記號碼對應附加給每個所述立體形狀構成要素，以便在伴隨規(guī)則的位置變化對所述物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，使隨著對于所述各立體形狀構成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構成要素和與其相鄰的立體形狀構成要素的特征信息的特征連續(xù)性的改善而減少的評價函數(shù)極小化的手段?；谂c所述加以對應的標記號碼相對應的物體圖像信息和與包含所述加以對應的標記號碼的規(guī)定數(shù)的標記號碼相對應的物體圖像信息，借助于進行對應于投影到所述各物體圖像信息的所述立體形狀構成要素的面積的加權平均處理，將特征信息附予到所述立體形狀構成要素的手段。
42．一種特征信息附予裝置，其特征在于，在對于形狀模型的特征信息附予裝置中，包括借助于從不同的視點拍攝對象物體以獲得多個物體圖像信息的手段，將對象物體的形狀作為基于多個立體形狀構成要素的集合的形狀模型進行描述的手段，借助于對相應于分別投影到所述多個物體圖像信息的所述立體形狀構成要素相應的面積的多個所述物體圖像信息進行加權平均處理，將得到的特征信息附予到所述各立體形狀構成要素的手段。
43．一種物體抽取裝置，其特征在于，在從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，借助于進行將所述物體圖像的各圖像信息匯總在所述每個區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取手段。
44．如權利要求43所述的物體抽取裝置，其特征在于，在所述抽取手段中，將所述物體圖像的各象素信息匯總在所述每個區(qū)域中的所述處理，是在所述每個區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
45．如權利要求43或44所述的物體抽取裝置，其特征在于，借助于對于匯總在所述每個區(qū)域中的所述各象素的信息進行閾值處理，所述抽取手段確定所述物體圖像中的物體部分并進行抽取。
46．如權利要求43至45任一項所述的物體抽取裝置，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理得到的差分信息。
47．如權利要求43至45任一項所述的物體抽取裝置，其特征在于，所述抽取手段包括在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理的差分處理手段，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對值的平均值的平均值導出手段，比較所述區(qū)域的差分的絕對值的所述平均值和預定值，并抽取所述平均值在所述預定值以上的區(qū)域作為物體部分的閾值處理手段。
48．如權利要求43至45任一項所述的物體抽取裝置，其特征在于，所述抽取手段包括算出所述物體圖像的各區(qū)域內的象素的平均值的平均值導出手段，在所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值間進行差分處理的差分處理手段，比較基于所述差分處理得到的差分的絕對值和預定值，并抽取所述差分的絕對值在所述預定值以上的區(qū)域作為物體部分的閾值處理手段。
49．如權利要求43至45任一項所述的物體抽取裝置，其特征在于，所述物體圖像的各象素的信息是進深信息。
50．一種物體抽取方法，其特征在于，在從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取方法中，包括將所述物體圖像分割成多個區(qū)域的區(qū)域分割步驟，借助于進行將所述物體圖像的各圖像信息匯總在所述每個區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取步驟。
51．如權利要求50所述的物體抽取方法，其特征在于，在所述抽取步驟中，將所述物體圖像的各象素信息匯總在所述每個區(qū)域中的所述處理是在所述每個區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
52．如權利要求50或51所述的物體抽取方法，其特征在于，借助于對于匯總在所述每個區(qū)域中的所述各象素的信息進行閾值處理，所述抽取步驟確定所述物體圖像中的物體部分并進行抽取。
53．如權利要求50至52任一項所述的物體抽取方法，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理得到的差分信息。
54．如權利要求50至52任一項所述的物體抽取方法，其特征在于，所述抽取步驟包括在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理的差分處理步驟，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對值的平均值的平均值導出步驟，比較所述區(qū)域的差分的絕對值的所述平均值和預定值，并抽取所述平均值在所述預定值以上的區(qū)域作為物體部分的閾值處理步驟。
55．如權利要求50至52任一項所述的物體抽取方法，其特征在于，所述抽取步驟包括算出所述物體圖像的各區(qū)域內的象素的平均值的平均值導出步驟，在所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值間進行差分處理的差分處理步驟，比較基于所述差分處理得到的差分的絕對值和預定值，并抽取所述差分的絕對值在所述預定值以上的區(qū)域作為物體部分的閾值處理步驟。
56．如權利要求50至52任一項所述的物體抽取方法，其特征在于，所述物體圖像的各象素的信息是進深信息。
57．一種記錄物體抽取程序的媒體，其特征在于，是記錄使計算機從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分用的程序的媒體，所述程序包括將所述物體圖像分割成多個區(qū)域的區(qū)域分割步驟，借助于進行將所述物體圖像的各圖像信息匯總在所述每個區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取步驟。
58．如權利要求57所述的記錄物體抽取程序的媒體，其特征在于，在所述抽取步驟中，將所述物體圖像的各象素信息匯總在所述每個區(qū)域中的所述處理，是在所述每個區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
59．如權利要求57或58所述的記錄物體抽取程序的媒體，其特征在于，借助于對于匯總在所述每個區(qū)域中的所述各象素的信息進行閾值處理，所述抽取步驟確定所述物體圖像中的物體部分并進行抽取。
60．如權利要求57至59任一項所述的記錄物體抽取程序的媒體，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理得到的差分信息。
61．如權利要求57至59任一項所述的記錄物體抽取程序的媒體，其特征在于，所述抽取步驟包括在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理的差分處理步驟，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對值的平均值的平均值導出步驟，比較所述區(qū)域的差分的絕對值的所述平均值和預定值，并抽取所述平均值在所述預定值以上的區(qū)域作為物體部分的閾值處理步驟。
62．如權利要求57至59任一項所述的記錄物體抽取程序的媒體，其特征在于，所述抽取步驟包括算出所述物體圖像的各區(qū)域內的象素的平均值的平均值導出步驟，在所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值間進行差分處理的差分處理步驟，比較基于所述差分處理得到的差分的絕對值和預定值，并抽取所述差分的絕對值在所述預定值以上的區(qū)域作為物體部分的閾值處理步驟。
63．如權利要求57至59任一項所述的記錄物體抽取程序的媒體，其特征在于，所述物體圖像的各象素的信息是進深信息。
64．一種物體抽取裝置，其特征在于，在從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括算出所述物體圖像的進深信息的進深信息算出手段，將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，對每個區(qū)域算出所述進深信息的平均值的平均值算出手段，抽取所述多個區(qū)域中所述平均值在預定的范圍內的區(qū)域作為所述物體部分的抽取手段。
65．一種物體抽取方法，其特征在于，在從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取方法中，包括算出所述物體圖像的進深信息的進深信息算出步驟，將所述物體圖像分割成多個區(qū)域的區(qū)域分割步驟，對每個區(qū)域算出所述進深信息的平均值的平均值算出步驟，抽取所述多個區(qū)域中所述平均值在預定的范圍內的區(qū)域作為所述物體部分的抽取步驟。
66．一種記錄物體抽取程序的媒體，其特征在于，是記錄使計算機從拍攝對象物體得到的物體圖像中除去不希望要的部分并抽取物體部分用的程序的媒體，所述程序包括算出所述物體圖像的進深信息的進深信息算出步驟，將所述物體圖像分割成多個區(qū)域的區(qū)域分割步驟，對每個區(qū)域算出所述進深信息的平均值的平均值算出步驟，抽取所述多個區(qū)域中所述平均值在預定的范圍內的區(qū)域作為所述物體部分的抽取步驟。
67．一種物體抽取裝置，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去背景部分并抽取物體部分的物體抽取裝置，包括算出所述物體圖像和所述背景圖像之差的絕對值的差分手段，抽取所述物體圖像中所述差的絕對值比閾值大的部分作為所述物體部分的抽取手段，基于所述多個背景圖像的圖像信息分布，統(tǒng)計決定所述閾值的閾值決定手段。
68．一種物體抽取裝置，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的算出手段，算出所述物體圖像的各象素的值和與該象素對應的所述背景圖像的象素的平均值之差的絕對值的差分手段，抽取所述物體圖像的象素中所述差的絕對值比所述標準偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的抽取手段。
69．一種物體抽取裝置，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出手段，將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內的各象素值和與該區(qū)域對應的所述背景圖像的區(qū)域內對應的象素的平均值之差的絕對值的差分手段，對每個區(qū)域算出所述差的絕對值的平均值的平均差算出手段，對每個區(qū)域算出所述標準偏差的平均值的平均標準偏差算出手段，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
70．一種物體抽取裝置，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出手段，將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內的象素的平均值的平均算出手段，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值之差的絕對值的差分手段，對每個區(qū)域算出所述差的絕對值的平均值的平均差算出手段，對每個區(qū)域算出所述標準偏差的平均值的平均標準偏差算出手段，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
71．一種物體抽取裝置，其特征在于，是基于多次拍攝對象物體得到的多個物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出手段，在所述多個物體圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值的平均算出手段，將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內的各象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的對應的象素的所述平均值之差的絕對值的差分手段，對每個區(qū)域算出所述差的絕對值的平均值的平均差算出手段，對每個區(qū)域算出所述標準偏差的平均值的平均標準偏差算出手段，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
72．一種物體抽取方法，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法中，包括基于所述多個背景圖像的分布，統(tǒng)計決定閾值的步驟，算出所述物體圖像和所述背景圖像之差的絕對值的步驟，抽取所述物體圖像中所述差的絕對值比閾值大的部分作為所述物體部分的步驟。
73．一種物體抽取方法，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，算出所述物體圖像的各象素的值和與該象素對應的所述背景圖像的象素的平均值之差的絕對值的步驟，抽取所述物體圖像的象素中所述差的絕對值比所述標準偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的步驟。
74．一種物體抽取方法，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去背景部分并抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的各象素值和與該區(qū)域對應的所述背景圖像的區(qū)域內對應的象素的平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
75．一種物體抽取方法，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
76．一種物體抽取方法，其特征在于，是基于多次拍攝對象物體得到的多個物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，在所述多個物體圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的各象素的所述平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的對應的象素的所述平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
77．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于拍攝對象物體得到的物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括基于所述多個背景圖像的分布，統(tǒng)計決定閾值的步驟，算出所述物體圖像和所述背景圖像之差的絕對值的步驟，抽取所述物體圖像中所述差的絕對值比所述閾值大的部分作為所述物體部分的步驟。
78．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于拍攝對象物體得到的物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個背景圖像中，對于每個象素算出相互地位于相同坐標上的象素的平均值和標準偏差的步驟，算出所述物體圖像的各象素的值和與該象素對應的所述背景圖像的象素的平均值之差的絕對值的步驟，抽取所述物體圖像的象素中所述差的絕對值比所述標準偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的步驟。
79．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于拍攝對象物體得到的物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的各象素值和與該區(qū)域對應的所述背景圖像的區(qū)域內對應的象素的平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
80．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于拍攝對象物體得到的物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
81．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于多次拍攝對象物體得到的多個物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，在所述多個物體圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的各象素的所述平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的對應的象素的所述平均值之差的絕對值的步驟，對每個區(qū)域算出所述差的絕對值的平均值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中所述差的絕對值的平均值比所述標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
82．一種立體模型生成裝置，其特征在于，包括拍攝所述對象物體的背景而且包含所述背景拍攝所述對象物體的拍攝手段，求出僅拍攝所述背景的背景圖像和包含所述背景拍攝所述對象物體得到的多個物體圖像的差分、并生成輪廓圖像的輪廓生成手段，用所述多個輪廓圖像生成所述對象物體的立體模型進行描述的手段。
83．如權利要求82所述的立體模型生成裝置，其特征在于，還包括使所述對象物體旋轉的旋轉手段。
84．一種立體模型生成裝置，其特征在于，是生成對象物體的立體模型的立體模型生成裝置，包括生成所述對象物體的多個輪廓圖像的輪廓生成手段，以所述多個輪廓圖像為基礎，推定體元空間的所述對象物體的存在區(qū)域的推定手段，用由所述推定手段得到的所述對象物體的存在區(qū)域，生成所述對象物體的立體模型進行描述的手段。
85．如權利要求84所述的立體模型生成裝置，其特征在于，所述推定手段對所述體元空間進行表決處理。
86．如權利要求85所述的立體模型生成裝置，其特征在于，還包括以所述表決處理的結果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對象物體的所述存在區(qū)域的閾值處理手段。
87．一種立體模型生成方法，其特征在于，由拍攝裝置僅拍攝所述對象物體的背景，并得到背景圖像的步驟，由所述拍攝裝置包含所述背景拍攝所述對象物體，得到多個物體圖像的步驟，求出所述背景圖像和所述多個物體圖像的差分，生成多個輪廓圖像的步驟，用所述多個輪廓圖像生成所述對象物體的立體模型的步驟。
88．如權利要求87所述的立體模型生成方法，其特征在于，還包括使所述對象物體旋轉的步驟。
89．一種立體模型生成方法，其特征在于，是生成對象物體的立體模型的立體模型生成方法，包括生成所述對象物體的多個輪廓圖像的步驟，以所述多個輪廓圖像為基礎，推定體元空間中所述對象物體的存在區(qū)域的步驟，用所述推定的所述對象物體的存在區(qū)域，生成所述立體模型的步驟。90．如權利要求89所述的立體模型生成方法，其特征在于，所述推定步驟對所述體元空間進行表決處理。
91．如權利要求90所述的立體模型生成方法，其特征在于，還包括以所述表決處理的結果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對象物體的所述存在區(qū)域的步驟。
92．一種記錄立體模型生成程序的媒體，其特征在于，是記錄使計算機生成對象物體的立體模型用的程序的媒體，所述程序包括生成所述對象物體的多個輪廓圖像的步驟，以所述多個輪廓圖像為基礎，推定體元空間中所述對象物體的存在區(qū)域的步驟，用所述推定的所述對象物體的存在區(qū)域，生成所述立體模型的步驟。
93．如權利要求92所述的記錄立體模型生成程序的媒體，其特征在于，所述程序中的所述推定步驟對所述體元空間進行表決處理。
94．如權利要求93所述的記錄立體模型生成程序的媒體，其特征在于，還包括以所述表決處理的結果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對象物體的所述存在區(qū)域的步驟。
95．一種物體抽取裝置，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出手段，將所述物體圖像分割成多個區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內的象素的平均值，同時算出背景圖像的象素的平均值的各區(qū)域內的平均值的平均算出手段，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的區(qū)域內的平均值之差的絕對值的差分手段，對每個區(qū)域算出所述標準偏差的平均值的平均標準偏差算出手段，抽取所述多個區(qū)域中差的絕對值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
96．一種物體抽取方法，其特征在于，是基于拍攝對象物體得到的物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值，同時算出背景圖像的象素的平均值的各區(qū)域內的平均值的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的區(qū)域內的平均值之差的絕對值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中差的絕對值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
97．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計算機基于拍攝對象物體得到的物體圖像和僅多次拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，包括在所述多個背景圖像中，對于每個象素算出相互位于相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區(qū)域的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值，同時算出背景圖像的象素的平均值的各區(qū)域內的平均值的步驟，算出所述物體圖像的各區(qū)域內的象素的平均值和與該區(qū)域對應的所述背景圖像的區(qū)域內的象素的區(qū)域內的平均值之差的絕對值的步驟，對每個區(qū)域算出所述標準偏差的平均值的步驟，抽取所述多個區(qū)域中差的絕對值的平均值比標準偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
全文摘要
本方法基于使實際存在的物體每旋轉任意的角度被拍攝的多個物體圖像信息,利用多邊形表示3維形狀模型,并對于各多邊形根據(jù)該多邊形具有最大的投影面積的物體圖像信息,附予特征信息。為了改善相鄰的多邊形間的色彩連續(xù)性,選擇對應于與所注意的多邊形和相鄰的多邊形的物體圖像信息,以便成為拍攝位置和拍攝方向接近的物體圖像信息。另一個方法是將物體圖像分割成多個區(qū)域,以區(qū)域為單位求得物體圖像和背景圖像的差分,以區(qū)域為單位導出差分的絕對值的平均值,并檢測差分的絕對值的平均值在閾值以上的區(qū)域作為物體部分。另一個其它的方法是僅拍攝對象物體的背景,同時一邊使對象物體旋轉一邊進行拍攝,得到多個物體圖像。然后,借助于在物體圖像和背景圖像之間進行差分處理,生成輪廓圖像,以該輪廓圖像為基礎在體元空間進行表決處理,以利用表決處理得到的立體形狀為基礎生成多邊形,并將從物體圖像獲得的特征映射到多邊形上。
文檔編號G06T15/10GK1234128SQ9719912
公開日1999年11月3日 申請日期1997年8月28日 優(yōu)先權日1996年8月29日
發(fā)明者松本幸則, 寺崎肇, 杉本和英, 荒川勉 申請人:三洋電機株式會社