標(biāo)記圖像處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于對(duì)標(biāo)記進(jìn)行圖像處理并提取各種信息的標(biāo)記圖像處理系統(tǒng)。
【背景技術(shù)】
[0002] 這樣的標(biāo)記在AR(Augmented Reality:增強(qiáng)現(xiàn)實(shí)）、局部部位的計(jì)測(cè)領(lǐng)域，進(jìn)一步 地在機(jī)器人技術(shù)領(lǐng)域，被用于攝像機(jī)對(duì)物體的位置或姿勢(shì)進(jìn)行識(shí)別，一般廣泛采用的是能 粘貼于作為對(duì)象的物體的、具備平面圖案的平板型的標(biāo)記。
[0003] 例如，在今后的服務(wù)機(jī)器人的實(shí)用化時(shí)，在構(gòu)筑輔助由服務(wù)機(jī)器人進(jìn)行的可靠的 自主工作的系統(tǒng)方面，標(biāo)記是必不可少的要素。
[0004] 標(biāo)記中具有代表性的標(biāo)記包含正方形的黑色框、印刷于其內(nèi)部的二維圖案以及代 碼(code)。然后，通過(guò)用攝像機(jī)識(shí)別標(biāo)記，能識(shí)別相對(duì)于標(biāo)記的攝像機(jī)的相對(duì)位置和姿勢(shì)， 并識(shí)別帶有標(biāo)記的物體的位置或姿勢(shì)。此外，還能通過(guò)攝像機(jī)讀取存儲(chǔ)于標(biāo)記的信息。
[0005] 圖1示出了通常使用的ARToolKit標(biāo)記、ARTag標(biāo)記、CyberCode標(biāo)記以及 ARToolKitPlus標(biāo)記的例子。此外，除了這樣的標(biāo)記以外，也可以利用QRCode這樣的能存儲(chǔ) 更多信息的標(biāo)記。
[0006] 例如，在AR領(lǐng)域中，對(duì)于現(xiàn)實(shí)世界的圖像，使CG(Computer GraphiCS:計(jì)算機(jī)圖形） 的模型與現(xiàn)實(shí)世界的圖像中的物體所帶的AR標(biāo)記的位置對(duì)齊并重疊地進(jìn)行顯示。
[0007] 此外，在機(jī)器人技術(shù)領(lǐng)域中，例如通過(guò)使機(jī)器人對(duì)物體所帶的標(biāo)記進(jìn)行計(jì)測(cè)，從而 使機(jī)器人識(shí)別帶有標(biāo)記的物體的位置或姿勢(shì)，并對(duì)物體進(jìn)行操作。
[0008] 作為一例，圖2是表示機(jī)器人技術(shù)領(lǐng)域中的使用了標(biāo)記的機(jī)器人任務(wù)(task)的例 子的圖。使裝接于輪椅的、為了輔助坐輪椅的人的生活而裝接于機(jī)器人手臂頂端的機(jī)器人 手的攝像機(jī)對(duì)帶有標(biāo)記的冰箱的把手進(jìn)行識(shí)別，使機(jī)器人手自動(dòng)地進(jìn)行冰箱門(mén)的打開(kāi)/關(guān) 閉。在圖2示出的任務(wù)中，攝像機(jī)識(shí)別了標(biāo)記之后，機(jī)器人自主地以標(biāo)記的位置和相對(duì)于該 位置的姿勢(shì)為基準(zhǔn)生成規(guī)定的機(jī)器人手臂的軌道，由此，能打開(kāi)冰箱門(mén)。
[0009]通過(guò)攝像機(jī)進(jìn)行的標(biāo)記的計(jì)測(cè)例如如下所示地進(jìn)行。
[0010]首先，例如在具備正方形的外框的平板型標(biāo)記的情況下，攝像機(jī)通過(guò)對(duì)所讀取的 圖像數(shù)據(jù)進(jìn)行圖像處理來(lái)提取外框，檢測(cè)出四個(gè)角。然后，通過(guò)使用了預(yù)先已知的該標(biāo)記的 四個(gè)角的位置(正方形的各頂點(diǎn)）與由攝像機(jī)讀取的圖像內(nèi)的四個(gè)角的位置關(guān)系的幾何學(xué) 計(jì)算，能對(duì)相對(duì)于標(biāo)記的攝像機(jī)的位置以及姿勢(shì)進(jìn)行解析，并識(shí)別帶有標(biāo)記的物體的位置 或姿勢(shì)。
[0011]但是，在標(biāo)記和攝像機(jī)正對(duì)的附近，標(biāo)記的計(jì)測(cè)誤差變大。此外，即使通過(guò)在攝像 機(jī)中使用濾波器(平均濾波器、卡爾曼濾波器、粒子濾波器等)和計(jì)測(cè)記錄能使標(biāo)記的計(jì)測(cè) 值的分散變小，也難以可靠地判定標(biāo)記的計(jì)測(cè)值是否為真值。
[0012]為了防止利用了這樣的平板型的標(biāo)記的、關(guān)于攝像機(jī)的位置或姿勢(shì)的計(jì)測(cè)精度的 惡化，在專利文獻(xiàn)1中記載了 ：在構(gòu)成標(biāo)記的圖樣上方設(shè)置根據(jù)觀測(cè)的方向使其濃淡圖案變 化的鏡頭，通過(guò)使?jié)獾瓐D案變化，正確地計(jì)測(cè)相對(duì)于標(biāo)記的攝像機(jī)的位置或姿勢(shì)，正確地識(shí) 別帶有標(biāo)記的物體的位置或姿勢(shì)。
[0013] 現(xiàn)有技術(shù)文獻(xiàn)
[0014] 專利文獻(xiàn)
[0015] 專利文獻(xiàn)1:日本特開(kāi)2012-145559號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0016] 發(fā)明所要解決的問(wèn)題
[0017] 但是，在以往的平板型標(biāo)記中，根據(jù)相對(duì)于標(biāo)記的攝像機(jī)的姿勢(shì)而產(chǎn)生計(jì)測(cè)誤差， 例如根據(jù)標(biāo)記的大小、攝像機(jī)與標(biāo)記的距離以及攝像機(jī)的視場(chǎng)角（焦距），恐怕會(huì)產(chǎn)生帶有 標(biāo)記的物體的位置或姿勢(shì)的識(shí)別不確定的問(wèn)題。
[0018] 圖3左側(cè)表示攝像機(jī)與標(biāo)記接近的情況或者攝像機(jī)的視場(chǎng)角大（廣角鏡頭）的情 況，圖3中央表示攝像機(jī)與標(biāo)記遠(yuǎn)離的情況或者攝像機(jī)的視場(chǎng)角小(望遠(yuǎn)鏡頭)的情況。 [0019]攝像機(jī)與標(biāo)記遠(yuǎn)離時(shí)、或者攝像機(jī)的視場(chǎng)角?。ㄍh(yuǎn)鏡頭）時(shí)，如圖3右側(cè)所示，當(dāng) 標(biāo)記的外框投影于以鏡頭的中心軸為法線的攝像面時(shí)，即使在通過(guò)鏡頭中心點(diǎn)和標(biāo)記的中 心點(diǎn)的直線(Visual line:視線)與標(biāo)記的平面所成的角度是反向傾斜的情況下，攝像面的 標(biāo)記外框的偏差也變小，兩者的判別不確定，例如在機(jī)器人技術(shù)的領(lǐng)域中，構(gòu)成對(duì)相對(duì)于標(biāo) 記的攝像機(jī)的姿勢(shì)做出錯(cuò)誤推定，機(jī)器人手進(jìn)行錯(cuò)誤的動(dòng)作的原因。
[0020] 圖4表示通過(guò)鏡頭中心和標(biāo)記的中心點(diǎn)的視線與標(biāo)記中心點(diǎn)的法線所成的角度為 45°時(shí)的實(shí)際所拍攝的圖像，攝像機(jī)l(Cameral)是使用視場(chǎng)角為7.1°的鏡頭拍攝時(shí)的圖像， 攝像機(jī)2 (Camera2)是使用視場(chǎng)角為40 · 0°的鏡頭拍攝時(shí)的圖像。與攝像機(jī)2的圖像相比，能 確認(rèn)在攝像機(jī)1的圖像中未與正對(duì)的情況產(chǎn)生大的差別。
[0021] 圖5是通過(guò)圖像處理連續(xù)地對(duì)手持的平板型標(biāo)記的姿勢(shì)進(jìn)行解析，將通過(guò)所獲得 的標(biāo)記的中心點(diǎn)的法線(Z軸)的矢量(vector)用箭頭表示。
[0022]可知:根據(jù)手的移動(dòng)，在02、06、08，法線矢量的朝向反轉(zhuǎn)，在該階段，在相對(duì)于六財(cái)示 記的攝像機(jī)的姿勢(shì)推定產(chǎn)生擺動(dòng)。
[0023] 為了防止這樣的錯(cuò)誤推定，可以想到：在平板型標(biāo)記中包含高度彼此不同的立體 標(biāo)識(shí)，形成六處標(biāo)識(shí)，除了外框以外，還確定各標(biāo)識(shí)，基于相對(duì)于平板型標(biāo)記的各立體標(biāo)識(shí) 的位置和高度的數(shù)據(jù)，對(duì)繞X軸、Y軸(標(biāo)記平面上的二維坐標(biāo)）、Z軸以及各軸的旋轉(zhuǎn)角度進(jìn) 行解析。
[0024] 但是，在這樣的方法中，為了確定相對(duì)于標(biāo)記的攝像機(jī)的位置或姿勢(shì)，需要通過(guò)圖 像處理來(lái)正確地確定六處標(biāo)識(shí)。但是，由于不能確定位于立體標(biāo)識(shí)的陰影的標(biāo)識(shí)，因此當(dāng)攝 像機(jī)偏離能對(duì)全部六處正確地進(jìn)行拍攝的限定范圍時(shí)，不可能確定正確的位置和姿勢(shì)。而 且，存在的問(wèn)題是:需要極其高精度地選定各立體標(biāo)識(shí)的位置、高度，標(biāo)記的成本大幅上升。
[0025] 因此，在本發(fā)明中，附加于平板型標(biāo)記的立體標(biāo)識(shí)只設(shè)一處，而且該立體標(biāo)識(shí)僅用 于對(duì)所推定的姿勢(shì)是否合理進(jìn)行判定。然后，其目的在于，在做出了錯(cuò)誤推定的情況下，僅 按照一定的規(guī)則對(duì)已經(jīng)運(yùn)算出的相對(duì)于標(biāo)記的攝像機(jī)的姿勢(shì)數(shù)據(jù)進(jìn)行變換，就能簡(jiǎn)單地進(jìn) 行修正。
[0026]用于解決問(wèn)題的方案
[0027]為了解決上述的問(wèn)題，本發(fā)明提供一種使用具有平面標(biāo)識(shí)的標(biāo)記，識(shí)別相對(duì)于該 標(biāo)記的攝像機(jī)的位置以及姿勢(shì)的圖像處理系統(tǒng)，其中，在所述標(biāo)記上，將具有預(yù)先設(shè)定的高 度的一個(gè)立體標(biāo)識(shí)配置于相對(duì)于所述平面標(biāo)識(shí)預(yù)先設(shè)定的位置，該圖像處理系統(tǒng)具備:第 一推定單元，通過(guò)比較由所述攝像機(jī)的圖像提取的所述平面標(biāo)識(shí)的配置和預(yù)先設(shè)定的所述 平面標(biāo)識(shí)的配置，推定相對(duì)于所述標(biāo)記的攝像機(jī)的位置和姿勢(shì);第二推定單元，基于所述立 體標(biāo)識(shí)的配置、高度以及由所述第一推定單元推定的相對(duì)于所述標(biāo)記的攝像機(jī)的位置，推 定所述攝像機(jī)的圖像上的所述立體標(biāo)識(shí)的上表面以及下表面的中央位置;檢測(cè)單元，基于 所述攝像機(jī)的圖像，檢測(cè)所述立體標(biāo)識(shí)的上表面的中央位置;判定單元，將由所述第二推定 單元推定的所述立體標(biāo)識(shí)的上表面以及下表面的中央位置和由所述檢測(cè)單元檢測(cè)出的所 述立體標(biāo)識(shí)的上表面以及下表面的中央位置，基于從所述攝像機(jī)觀察的三維矢量進(jìn)行比 較，其誤差為規(guī)定值以上時(shí)，判定為由所述第一推定單元推定的相對(duì)于所述標(biāo)記的攝像機(jī) 的姿勢(shì)是錯(cuò)誤的，該圖像處理系統(tǒng)具備:運(yùn)算單元，在所述判定單元判定為錯(cuò)誤時(shí)，分別使 基于由所述第一推定單元推定的姿勢(shì)的所述攝像機(jī)的繞X軸的視線角度以及繞Y軸的視線 角度的符號(hào)反轉(zhuǎn)之后，進(jìn)行旋轉(zhuǎn)變換，由此，對(duì)相對(duì)于所述標(biāo)記的攝像機(jī)的姿勢(shì)進(jìn)行再運(yùn) 算，以使所述第一推定單元推定的相對(duì)于所述標(biāo)記的攝像機(jī)的姿勢(shì)正確。
[0028] 其中，X軸和Y軸分別表示在以所述標(biāo)記上的一點(diǎn)為原點(diǎn)的三維坐標(biāo)中，在該標(biāo)記 平面上彼此正交的坐標(biāo)軸。
[0029] 發(fā)明效果
[0030] 根據(jù)本發(fā)明，僅將具有預(yù)先設(shè)定的高度的一個(gè)立體標(biāo)識(shí)配置于具有平面標(biāo)識(shí)的標(biāo) 記的預(yù)先設(shè)定的位置，就能判定所推定的姿勢(shì)是否恰當(dāng)，在做出了錯(cuò)誤推定的情況下，僅按 照一定的規(guī)則對(duì)已經(jīng)運(yùn)算出的相對(duì)于標(biāo)記的攝像機(jī)的姿勢(shì)數(shù)據(jù)進(jìn)行變換，就能簡(jiǎn)單地進(jìn)行 修正。因此，能以低成本、而且不被其他立體標(biāo)識(shí)妨礙地做出正確且可靠的姿勢(shì)推定。
【附圖說(shuō)明】
[0031] 圖1是表示普通的標(biāo)記的例子的圖。
[0032] 圖2是表示使用了標(biāo)記的機(jī)器人任務(wù)的例子的圖。
[0033] 圖3是對(duì)攝像機(jī)與標(biāo)記接近的情況或者攝像機(jī)的視場(chǎng)角大的情況(左側(cè))和攝像機(jī) 與標(biāo)記遠(yuǎn)離的情況或者攝像機(jī)的視場(chǎng)角小的情況（中央)進(jìn)行對(duì)比，并表示產(chǎn)生錯(cuò)誤推定的 情況(右側(cè))的圖。
[0034] 圖4是對(duì)視場(chǎng)角小時(shí)的圖像(攝像機(jī)1)和視場(chǎng)角大時(shí)的圖像(攝像機(jī)2)進(jìn)行對(duì)比的 圖。
[0035]圖5是通過(guò)圖像處理對(duì)手持標(biāo)記的姿勢(shì)連續(xù)地進(jìn)行解析，并表示通過(guò)所得的標(biāo)記 的中心點(diǎn)的法線(Z軸)方向的圖。
[0036]圖6是表不實(shí)施例中使用的標(biāo)記的一例的圖。
[0037] 圖7是表示形成于立體標(biāo)識(shí)底面的中央部和上表面的中央部的白色標(biāo)記的推定位 置、檢測(cè)位置的關(guān)系的圖。
[0038] 圖8是在固定攝像機(jī)、改變手持標(biāo)記的角度的情況下，對(duì)正確地進(jìn)行推定的情況和 錯(cuò)誤地進(jìn)行推定的情況進(jìn)行對(duì)比的圖。
[0039 ]圖9是表示以標(biāo)記的中心點(diǎn)c為原點(diǎn)的三維坐標(biāo)的圖。
[0040]圖10是表示在使標(biāo)記的角度連續(xù)地慢慢變化的情況下，基于所推定的姿勢(shì)算出的 視線角度Θ?。的變化的圖。
[0041] 圖11是表示固定攝像機(jī)、以二種方式改變手持標(biāo)記的角度，基于各自推定的姿勢(shì)， 求出繞X軸的視線角度Θ?。、繞Υ軸的視線角度9 vy。的結(jié)果的圖。
[0042] 圖12是對(duì)應(yīng)用了旋轉(zhuǎn)變換的姿勢(shì)推定值的修正進(jìn)行說(shuō)明的圖。
[0043] 圖13是表示本實(shí)施例的效果的實(shí)驗(yàn)結(jié)果。
【具體實(shí)施方式】
[0044]以下，使用附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。
[0045] 實(shí)施例
[0046] 首先，對(duì)本實(shí)施例中采用的標(biāo)記進(jìn)行說(shuō)明。
[0047]如圖6所示，平板型標(biāo)記構(gòu)成為:在外框?yàn)?0mm的正方形中，除了位于中央的直徑 12_的白色圓1、離外框的各頂點(diǎn)在對(duì)角線上位于相同位置的直徑3mm的白色圓2,其他部分 為黑色的正方形。本實(shí)施例中，在距離該平板型標(biāo)記的外框底邊的中心5mm的地方，粘貼了 由外徑4.9mm、高度3.2mm的圓筒體的立體標(biāo)識(shí)3。需要說(shuō)明的是，在該立體標(biāo)識(shí)3的上表面， 形成有在中央部留有直徑2.2mm的白色圓的部分，外周被涂黑的標(biāo)記。
[0048] 通過(guò)以往的同樣的方法，首先，從圖像數(shù)據(jù)提取