專利名稱：一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于工業(yè)維修和安裝的增強(qiáng)實(shí)現(xiàn)技術(shù)，特別涉及通過設(shè)置標(biāo) 志點(diǎn)的增強(qiáng)實(shí)現(xiàn)技術(shù)，具體的講是一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法 及系統(tǒng)。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)技術(shù)(AR: Aubmented Reality)是虛擬現(xiàn)實(shí)技術(shù)研究領(lǐng)域里一個(gè) 新的分支，是一種利用計(jì)算機(jī)對(duì)使用者所看到的真實(shí)世界進(jìn)行景象增強(qiáng)或擴(kuò) 張的技術(shù)。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，使用者可以在看到周圍真實(shí)環(huán)境的同時(shí)，看 到計(jì)算機(jī)產(chǎn)生的增強(qiáng)信息。這種增強(qiáng)的信息可以是在真實(shí)環(huán)境中與真實(shí)環(huán)境 共存的虛擬物體，也可以是真實(shí)物體的非幾何信息如標(biāo)注和提示等。增強(qiáng)現(xiàn)實(shí)借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的 虛擬對(duì)象，并通過傳感技術(shù)將虛擬對(duì)象準(zhǔn)確"放置"在真實(shí)環(huán)境中，借助顯 示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為 一體，并呈現(xiàn)給使用者一個(gè)感官效果真實(shí) 的新環(huán)境。因此增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)的新特點(diǎn)。 例如增強(qiáng)現(xiàn)實(shí)家庭裝修系統(tǒng)，通過在真實(shí)場(chǎng)景中放置的一系列標(biāo)志點(diǎn)，虛擬 的家具被疊加到場(chǎng)景中，并與真實(shí)背景融和在一起。波音公司完成了世界上第 一套實(shí)用化的增強(qiáng)現(xiàn)實(shí)工業(yè)輔助系統(tǒng)。這套系 統(tǒng)能夠幫助工人完成飛機(jī)制造中的電力線纜的連接和接線器的裝配工作。該 系統(tǒng)使用光學(xué)透射式頭盔作為顯示設(shè)備，通過在工人的視野中疊加布線的路 徑和文字等提示信息，指導(dǎo)工人完成復(fù)雜的裝配工作。美國(guó)哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)系的圖形與用戶接口實(shí)驗(yàn)室開發(fā)完成了 KARMA系統(tǒng)。該系統(tǒng)是一套打印機(jī)維修輔助系統(tǒng)，通過疊加打印機(jī)內(nèi)部構(gòu)
造等信息，該系統(tǒng)可以幫助〗吏用者完成打印才幾的日常維護(hù)工作。在歐盟多個(gè)國(guó)家共同參與的Starmate項(xiàng)目中，研究人員完成了一套完整 的基于增強(qiáng)現(xiàn)實(shí)的維修系統(tǒng)。在所研制的系統(tǒng)中通過頭盔式顯示器將多種輔 助信息顯示給用戶，包括虛擬儀表的面板、被維修設(shè)備的內(nèi)部結(jié)構(gòu)、被維修 設(shè)備零件圖等。在這種系統(tǒng)中，如何實(shí)現(xiàn)三維注冊(cè)是一個(gè)關(guān)鍵問題。三維注冊(cè)系統(tǒng)需要 實(shí)時(shí)跟蹤用戶頭部的位置和姿態(tài)，計(jì)算出用戶當(dāng)前視線方向，根據(jù)這個(gè)方向 確定虛擬物體的坐標(biāo)系與真實(shí)環(huán)境坐標(biāo)系之間的關(guān)系，最終將虛擬物體正確 地疊加到真實(shí)環(huán)境中。準(zhǔn)確的三維注冊(cè)是實(shí)現(xiàn)一個(gè)成功的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基礎(chǔ)，三維注冊(cè)的效 果和成敗決定了增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否能夠正常地運(yùn)行。現(xiàn)有系統(tǒng)中主要使用的三維注冊(cè)方式是基于標(biāo)志點(diǎn)的注冊(cè)方式。這種方 式需要在環(huán)境中安裝一定數(shù)量的，具有特殊圖案的人工標(biāo)志點(diǎn)。系統(tǒng)運(yùn)行時(shí) 通過分析攝像機(jī)拍攝的圖像，識(shí)別這些人工標(biāo)志點(diǎn)，并且提取出這些人工標(biāo) 志點(diǎn)在攝像機(jī)圖像上的位置。根據(jù)這些位置，以及預(yù)先測(cè)量的人工標(biāo)志點(diǎn)在 真實(shí)空間中安裝的三維位置，可以實(shí)時(shí)計(jì)算出攝像機(jī)相對(duì)于真實(shí)世界坐標(biāo)系 的位置和姿態(tài)。由于一般情況下，攝像機(jī)安裝在用戶的頭部，所以這個(gè)時(shí)候 就可以得到用戶頭部的位置和姿態(tài)。如圖l所示，為現(xiàn)有技術(shù)中基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的示意圖，工作臺(tái) 106上擺放有工件105,并且工作臺(tái)106上設(shè)置有多個(gè)標(biāo)志點(diǎn)104,攝像機(jī) 103對(duì)工作臺(tái)106、工件105、多個(gè)標(biāo)志點(diǎn)104進(jìn)行拍攝，并將拍攝的圖像傳 送給圖像采集裝置103，圖像采集裝置對(duì)接收的圖像進(jìn)行處理并將處理后的 圖像數(shù)據(jù)傳送給計(jì)算機(jī)IOI，計(jì)算機(jī)101對(duì)接收的圖像數(shù)據(jù)進(jìn)行處理，通過 分析攝像機(jī)拍攝的圖像，識(shí)別標(biāo)志點(diǎn)104,并且提取出這些標(biāo)志點(diǎn)104在攝 像機(jī)圖像上的位置。根據(jù)這些位置，以及預(yù)先測(cè)量的標(biāo)志點(diǎn)104在真實(shí)空間 中安裝的三維位置，可以實(shí)時(shí)計(jì)算出攝像機(jī)相對(duì)于真實(shí)世界坐標(biāo)系的位置和姿態(tài)。如圖2所示，為現(xiàn)有技術(shù)中基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)框圖，其中 攝像裝置通過圖像采集裝置與控制裝置連接，控制裝置連接有顯示裝置，所 述的攝像裝置對(duì)工作臺(tái)進(jìn)行拍攝，工作臺(tái)上設(shè)置有工件和標(biāo)志點(diǎn)。基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)普遍存在的一個(gè)問題是標(biāo)志點(diǎn)的跟蹤容易受 到外界光照條件變化的影響，即跟蹤的不穩(wěn)定性。這個(gè)問題存在兩個(gè)方面的 原因,第一個(gè)是單個(gè)標(biāo)志點(diǎn)的跟蹤容易丟失。這主要是因?yàn)楝F(xiàn)有普通攝像機(jī)的 拍攝速度不足以滿足用戶隨意移動(dòng)的要求，解決這個(gè)問題的方法是采用高速 的攝像機(jī)，但是這將大大增加增強(qiáng)現(xiàn)實(shí)系統(tǒng)的制造成本。第二個(gè)原因就是在 用戶的視野范圍之內(nèi)標(biāo)志點(diǎn)的個(gè)數(shù)不足以滿足計(jì)算攝像機(jī)姿態(tài)的需要。解決 這個(gè)問題的方法是在真實(shí)環(huán)境中增加大量的標(biāo)志點(diǎn)，并且讓它們布滿用戶視 線能夠到達(dá)的范圍，這樣才能保證用戶在任意時(shí)刻任意姿態(tài)下均能夠看到系 統(tǒng)實(shí)時(shí)生成的增強(qiáng)信息。但是這種方法用于工業(yè)維修會(huì)影響到實(shí)際的操作動(dòng) 作，因?yàn)榇罅繕?biāo)志點(diǎn)的存在無論在視覺還是在行動(dòng)上都會(huì)對(duì)維修人員產(chǎn)生干 擾，無法滿足工業(yè)上對(duì)于維修的需要。發(fā)明內(nèi)容為了解決了上述現(xiàn)有技術(shù)中的缺點(diǎn)，本發(fā)明提供一種基于標(biāo)志點(diǎn)的增強(qiáng) 實(shí)現(xiàn)工業(yè)維修方法及系統(tǒng)，用以克服現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)存在的可見標(biāo)志點(diǎn) 妨礙維修，以及跟蹤不穩(wěn)定的問題。本發(fā)明的目的之一在于，提供一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方 法，在工作臺(tái)空間內(nèi)標(biāo)志不可見光標(biāo)志點(diǎn)，l聶取工作臺(tái)空間內(nèi)的不可見光圖 像和可見光圖像，對(duì)攝取的不可見光圖像和可見光圖像進(jìn)行采集和處理，得 到增強(qiáng)圖像。所述的在工作臺(tái)空間內(nèi)標(biāo)志不可見光標(biāo)志點(diǎn)是指向工作臺(tái)空間內(nèi)投影 不可見光標(biāo)志點(diǎn)或不可見光標(biāo)志圖案。
所述的不可見光是指紅外光。向工作臺(tái)空間內(nèi)投影紅外光標(biāo)志點(diǎn)，所述的紅外光標(biāo)志點(diǎn)投影在工作臺(tái) 上和/或投影在工作臺(tái)空間內(nèi)工件的表面。所述的攝取工作臺(tái)空間內(nèi)的不可見光圖像是指在對(duì)所述的工作臺(tái)空間 進(jìn)行拍攝時(shí)，濾掉工作臺(tái)空間的可見光部分，而僅攝取工作臺(tái)空間的不可見 光部分。所述的對(duì)攝取的不可見光圖像和可見光圖像進(jìn)行采集和處理是指對(duì)不 可見光圖像進(jìn)行二值化處理，使所述的不可見光標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1, 其他的地方值為0;在圖像中尋找連通區(qū)域，每一個(gè)連通區(qū)域?yàn)橐粋€(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置；根據(jù)標(biāo)志點(diǎn)之間的空間關(guān)系 對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別；根據(jù)位置估計(jì)算法來計(jì)算不可見光攝取點(diǎn)的位置和姿態(tài)；根據(jù)不可見光攝取點(diǎn)和可見光攝取點(diǎn)之間的位置關(guān)系計(jì)算出可見光 攝取點(diǎn)的位置和姿態(tài)；根據(jù)可見光攝取點(diǎn)的位置和姿態(tài)生成虛擬物體和提示 信息的圖像；將生成的虛擬物體和提示信息的圖像疊加到可見光圖像上，得 到增強(qiáng)圖像，將所述的增強(qiáng)圖像輸出。本發(fā)明的另一目的在于，提供一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修系 統(tǒng)，包括工作臺(tái)、攝像裝置、圖像采集裝置、控制裝置和顯示裝置；所述 的攝像裝置通過所述的圖像采集裝置與所述的控制裝置聯(lián)接，所述的控制裝 置與所述的顯示裝置聯(lián)"l妾；所述的工作臺(tái)空間內(nèi)標(biāo)志有不可見光標(biāo)志點(diǎn)；所 述的攝像裝置至少包括兩個(gè)攝像頭；所述的系統(tǒng)還包括濾光裝置，設(shè)置在 所述兩個(gè)攝像頭之一的前端，用于過濾被攝圖像的可見光部分；所述的兩個(gè) 攝像頭分別攝取工作臺(tái)空間內(nèi)的不可見光圖像和可見光圖像并將攝取的圖 像傳送給所述的圖像采集裝置，所述的圖像采集裝置對(duì)接收的圖像進(jìn)行采集 和處理并將處理后的圖像數(shù)據(jù)傳送給所述的控制裝置，所述的控制裝置對(duì)接 收的圖像數(shù)據(jù)進(jìn)行處理得到增強(qiáng)圖像，所述的顯示裝置顯示所述的增強(qiáng)圖 像。
所述的系統(tǒng)還包括不可見光投影標(biāo)志點(diǎn)生成裝置，用于發(fā)射不可見光；所述的工作臺(tái)空間內(nèi)標(biāo)志有不可見光標(biāo)志點(diǎn)是指通過所述的不可見光投影標(biāo)志點(diǎn)生成裝置向工作臺(tái)空間內(nèi)投影不可見光標(biāo)志點(diǎn)或不可見光標(biāo)志圖案。 所述的不可見光是指紅外光。所述的不可見光投影標(biāo)志點(diǎn)生成裝置為紅外光投影標(biāo)志點(diǎn)生成裝置，所 述的紅外光投影標(biāo)志點(diǎn)生成裝置包括多個(gè)紅外激光管，所述的紅外激光管用 于產(chǎn)生紅外激光點(diǎn)作為系統(tǒng)增強(qiáng)現(xiàn)實(shí)采用的標(biāo)指點(diǎn)。所述的濾光裝置為紅外濾光裝置；所述的向工作臺(tái)空間內(nèi)投影不可見光 標(biāo)志點(diǎn)或不可見光標(biāo)志圖案是指向工作臺(tái)空間內(nèi)投影紅外光標(biāo)志點(diǎn)或紅外 光標(biāo)志圖案，所述的紅外光標(biāo)志點(diǎn)或紅外光標(biāo)志圖案投影在工作臺(tái)上和/或 投影在工作臺(tái)空間內(nèi)工件的表面。所述的系統(tǒng)還包括標(biāo)定裝置，用于標(biāo)定所述兩個(gè)才聶# 頭的位置關(guān)系。所述的控制裝置進(jìn)一步包括二值化處理單元，用于對(duì)不可見光圖像進(jìn) 行二值化處理，使所述的不可見光標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1,其他的地方值 為0;標(biāo)志點(diǎn)位置獲取單元，用于在圖像中尋找連通區(qū)域，每一個(gè)連通區(qū)域 為一個(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置；位置估計(jì)單 元，用于根據(jù)標(biāo)志點(diǎn)之間的空間關(guān)系對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別，并根據(jù)位置 估計(jì)算法來計(jì)算不可見光攝取點(diǎn)的位置和姿態(tài)，根據(jù)不可見光攝取點(diǎn)和可見 光攝取點(diǎn)之間的位置關(guān)系計(jì)算出可見光攝取點(diǎn)的位置和姿態(tài)；增強(qiáng)圖像生成 單元，用于根據(jù)可見光攝取點(diǎn)的位置和姿態(tài)生成虛擬物體和提示信息的圖 像，將生成的虛擬物體和提示信息的圖像疊加到可見光圖像上，得到增強(qiáng)圖 像，將所述的增強(qiáng)圖像輸出。本發(fā)明的有益效果在于，通過提供一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修 方法及系統(tǒng)，可以在任意工業(yè)維修的場(chǎng)景中快速搭建，而且可以提供給維修 人員穩(wěn)定的具有三維立體顯示效果的維修步驟以及方法的指示，并能在現(xiàn)有 的物體上進(jìn)行諸如添加聲音、圖像、視頻和進(jìn)行漫游等增強(qiáng)信息的顯示，使
得非專業(yè)人員也能夠高質(zhì)量高速度的完成維修的任務(wù)，從而降低企業(yè)培訓(xùn)成 本以及縮短維修人員成長(zhǎng)時(shí)間。


圖1為現(xiàn)有技術(shù)中的基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修系統(tǒng)的示意圖；圖2為現(xiàn)有技術(shù)中的基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修系統(tǒng)的結(jié)構(gòu)框圖；圖3為本發(fā)明系統(tǒng)的示意圖；圖4為本發(fā)明系統(tǒng)的結(jié)構(gòu)框圖；圖5為本發(fā)明系統(tǒng)的具有標(biāo)定裝置的結(jié)構(gòu)框圖；圖6為本發(fā)明系統(tǒng)控制裝置中各單元的結(jié)構(gòu)框圖；圖7為本發(fā)明控制流程圖；圖8為本發(fā)明標(biāo)定裝置的工作流程圖；圖9為本發(fā)明系統(tǒng)載有紅外投影標(biāo)志點(diǎn)和工件的工作臺(tái)的俯視圖；圖IO為本發(fā)明標(biāo)定裝置的示意圖；圖11為本發(fā)明系統(tǒng)攝像裝置的構(gòu)成示意圖；圖12為本發(fā)明圖像采集裝置的電路圖。
具體實(shí)施方式
以下結(jié)合

本發(fā)明的具體實(shí)施方式
。本發(fā)明是一種增強(qiáng)現(xiàn)實(shí)工業(yè) 輔助系統(tǒng)。該系統(tǒng)可以使用在例如安裝輔助，維修輔助等工業(yè)領(lǐng)域。如圖 3所示，本發(fā)明的基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法是，在工作臺(tái)306空 間內(nèi)采用紅外投影裝置307以投影的方式標(biāo)志不可見光標(biāo)志點(diǎn)304，攝像機(jī) 303的攝像頭1透過濾光片308攝取工作臺(tái)空間內(nèi)的不可見光圖像，攝像機(jī) 303的攝像頭2攝取工作臺(tái)空間內(nèi)的可見光圖像，圖像采集裝置302對(duì)攝取 的不可見光圖像和可見光圖像進(jìn)行采集和處理，計(jì)算機(jī)301根據(jù)圖像采集裝 置302傳來的數(shù)據(jù)得到增強(qiáng)圖像。如圖4所示，本發(fā)明的基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修系統(tǒng)包括工作 臺(tái)、攝像裝置、圖像采集裝置、控制裝置和顯示裝置；所述的攝像裝置通過 所述的圖像采集裝置與所述的控制裝置聯(lián)接，所述的控制裝置與所述的顯示裝置聯(lián)接；所述的工作臺(tái)空間內(nèi)標(biāo)志有不可見光標(biāo)志點(diǎn)；所述的攝像裝置至少包括兩個(gè)攝像頭；所述的系統(tǒng)還包括濾光裝置，設(shè)置在所述兩個(gè)攝像頭 之一的前端，用于過濾被攝圖像的可見光部分；所述的兩個(gè)攝像頭分別攝取 工作臺(tái)空間內(nèi)的不可見光圖像和可見光圖像并將攝取的圖像傳送給所述的 圖像采集裝置，所述的圖像采集裝置對(duì)接收的圖像進(jìn)行采集和處理并將處理 后的圖像數(shù)據(jù)傳送給所述的控制裝置，所述的控制裝置對(duì)接收的圖像數(shù)據(jù)進(jìn) 行處理得到增強(qiáng)圖像，所述的顯示裝置顯示所述的增強(qiáng)圖像。在本具體實(shí)施方式
中，采用的不可見光為紅外光。系統(tǒng)中使用了一種紅 外投影標(biāo)志點(diǎn)來代替現(xiàn)有技術(shù)系統(tǒng)中的普通標(biāo)志點(diǎn)。其優(yōu)點(diǎn)在于這種注冊(cè) 系統(tǒng)具有了更高的穩(wěn)定性。并且投影標(biāo)志點(diǎn)在視覺上不會(huì)對(duì)維修產(chǎn)生干擾。 系統(tǒng)的結(jié)構(gòu)如圖5所示。系統(tǒng)主要由7個(gè)部分組成攝像機(jī)組，圖像采集設(shè) 備，圖像處理設(shè)備，計(jì)算機(jī)，顯示設(shè)備，紅外投影標(biāo)志點(diǎn)生成裝置，標(biāo)定裝 置和工作臺(tái)組成。其中攝像機(jī)組由兩個(gè)攝像機(jī)組成，分別稱作攝像機(jī)1和攝像機(jī)2。如 圖11所示，是一種典型的攝像機(jī)組安裝的方式，兩個(gè)攝像機(jī)固定安裝在一 個(gè)固定板上，并且盡量靠近。并且在攝像機(jī)1前端安裝有一個(gè)紅外濾光片， 這個(gè)濾光片的作用是過濾掉波長(zhǎng)小于特定值的光線。在當(dāng)前系統(tǒng)中，濾光片 使得紅外光可以通過，而過濾掉可見光部分。由于一般的攝像機(jī)對(duì)于近紅外 都有一定的響應(yīng)。這種安裝方式使得通過攝像機(jī)1得到的圖像是現(xiàn)場(chǎng)的紅外 圖像，而攝像機(jī)2的圖像是現(xiàn)場(chǎng)的可見光圖像。圖像采集設(shè)備完成對(duì)兩路圖 像的采集，將其轉(zhuǎn)化為數(shù)字信號(hào)。圖像采集裝置對(duì)獲得的圖像進(jìn)行處理。得到的數(shù)據(jù)通過特定接口輸入控 制裝置，這里控制裝置可謂計(jì)算機(jī)、服務(wù)器等智能設(shè)備。接口包括而不限于 USB接口， 1394接口， PCI接口。圖12為圖像采集裝置的電路圖。
如圖6所示，計(jì)算機(jī)實(shí)現(xiàn)對(duì)圖像的處理，位置計(jì)算以及增強(qiáng)圖像合成的工作。其中在所述的計(jì)算機(jī)中，包括有二值化處理單元，用于對(duì)不可見光圖 像進(jìn)行二值化處理，使所述的不可見光標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1，其他的地方值為0;標(biāo)志點(diǎn)位置獲取單元，用于在圖像中尋找連通區(qū)域，每一個(gè)連通 區(qū)域?yàn)橐粋€(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置；位置估 計(jì)單元，用于根據(jù)標(biāo)志點(diǎn)之間的空間關(guān)系對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別，并根據(jù) 位置估計(jì)算法來計(jì)算不可見光攝取點(diǎn)的位置和姿態(tài)，根據(jù)不可見光攝取點(diǎn)和 可見光攝取點(diǎn)之間的位置關(guān)系計(jì)算出可見光攝取點(diǎn)的位置和姿態(tài)；增強(qiáng)圖像 生成單元，用于根據(jù)可見光攝取點(diǎn)的位置和姿態(tài)生成虛擬物體和提示信息的 圖像，將生成的虛擬物體和提示信息的圖像疊加到可見光圖像上，得到增強(qiáng) 圖像，將所述的增強(qiáng)圖像輸出。顯示設(shè)備用來顯示由計(jì)算機(jī)生成的現(xiàn)場(chǎng)實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)圖像。在這個(gè)系統(tǒng) 中所指的顯示器包括但不限于 一般的桌面顯示器，手持式平板顯示器，頭 盔式顯示器。紅外投影標(biāo)志點(diǎn)生成裝置主要用來投影紅外標(biāo)志點(diǎn)。這些紅外標(biāo)志點(diǎn)可 以投影在工作臺(tái)上，也可以直接投影在被維修零件的表面。并且這些投影出 的標(biāo)志點(diǎn)能夠形成特定的空間分布，以便于在圖像中可以對(duì)他們進(jìn)行識(shí)別。 需要說明的是，紅外投影標(biāo)志點(diǎn)生成裝置可以由一個(gè)或多個(gè)紅外激光二極管 組成。每一個(gè)激光二極管可以」投影出一個(gè)激光點(diǎn)或者是一個(gè)簡(jiǎn)單的圖案。如 果投影圖案，需要在激光二極管前面安裝特定的鏡頭，其結(jié)構(gòu)和形式與一般 的激光教鞭相同。如圖9所示工作臺(tái)主要用來擺放被維修的零件和設(shè)備，紅外投影標(biāo)志點(diǎn) 生成裝置會(huì)將紅外標(biāo)志投射到工作臺(tái)的表面，所以要求工作臺(tái)表面需要有一 定的粗糙度，以避免發(fā)生鏡面反射。系統(tǒng)中還包括一個(gè)標(biāo)定裝置，這個(gè)裝置用來標(biāo)定攝像機(jī)1和攝像機(jī)2之 間的位置關(guān)系。由于這兩個(gè)攝像機(jī)之間安裝關(guān)系基本固定，所以只有在初始 化時(shí)，需要對(duì)其進(jìn)行標(biāo)定。標(biāo)定設(shè)備由一組紅外標(biāo)志點(diǎn)和可見光標(biāo)志點(diǎn)組成。 每一個(gè)紅外標(biāo)志點(diǎn)的相同位置上都有一個(gè)可見光標(biāo)志點(diǎn)與其對(duì)應(yīng)。他們被固 定安裝在一個(gè)支架上。這個(gè)標(biāo)定裝置的一個(gè)典型結(jié)構(gòu)如圖10所示。在這個(gè)例子中使用紅外發(fā)光二極管作為紅外標(biāo)志點(diǎn)，并且將每個(gè)紅外發(fā)光二極管 的外側(cè)涂成紅色，作為可見光標(biāo)志點(diǎn)。所有的標(biāo)志點(diǎn)被安裝在一個(gè)平板上。 形成圖IO所示的圖案?？刂蒲b置中圖像的處理流程如圖7所示。系統(tǒng)首先同時(shí)獲取攝像機(jī)1和 攝像機(jī)2的圖像。由于攝像機(jī)l前端安裝了紅外濾光片，所以這里認(rèn)為從攝 像機(jī)1獲得的圖像是紅外圖像。從攝像機(jī)2獲得的圖像是可見光圖像。其中， 紅外圖像首先被二值化。二值化操作使得所有紅外標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1, 其他的地方值為0。之后在圖像中尋找連通區(qū)域，認(rèn)為每一個(gè)連通區(qū)域就是 一個(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置。之后根據(jù)標(biāo)志 點(diǎn)之間的特定空間關(guān)系對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別。在識(shí)別足夠多標(biāo)志點(diǎn)的情 況下。可以根據(jù)位置估計(jì)算法來計(jì)算攝像機(jī)l的位置和姿態(tài)。之后根據(jù)攝像 機(jī)1和攝像機(jī)2之間的安裝關(guān)系可以計(jì)算出攝像機(jī)2的位置和姿態(tài)。根據(jù)攝 像機(jī)2的位置和姿態(tài)生成虛擬物體和提示信息的圖像。并將這些圖像疊加到 可見光圖像上就可以得到增強(qiáng)圖像。最終將這個(gè)增強(qiáng)圖像輸出。系統(tǒng)標(biāo)定的 過程如圖8所示。同時(shí)獲取兩個(gè)攝像機(jī)的圖像。由于標(biāo)定設(shè)備上包含紅外和 可見光兩種標(biāo)志點(diǎn)。所以在兩個(gè)攝像機(jī)中都可以觀察到標(biāo)志點(diǎn)的圖像。分別 在兩個(gè)圖像中手工選取足夠數(shù)量的標(biāo)志點(diǎn)。根據(jù)這些標(biāo)志點(diǎn)可以計(jì)算出兩個(gè) 攝像機(jī)相對(duì)于標(biāo)定設(shè)備的位置和姿態(tài)，從而可以得到兩個(gè)攝像機(jī)的相對(duì)位置 關(guān)系。系統(tǒng)的一個(gè)典型應(yīng)用例子如圖3所示在這個(gè)應(yīng)用中，紅外投影標(biāo)志 點(diǎn)生成裝置由一組紅外激光二極管組成，它在工作臺(tái)上投影出5個(gè)紅外標(biāo)志 點(diǎn)。這5個(gè)標(biāo)志點(diǎn)的形式如圖9所示。其中4個(gè)點(diǎn)組成一個(gè)接近矩形的四邊 形。另一個(gè)點(diǎn)與四邊形某一定點(diǎn)很靠近。并且在實(shí)例中使用一個(gè)手持平板顯 示器作為顯示設(shè)備。攝像機(jī)組被安裝在這個(gè)平板
在使用時(shí)，用戶手持這個(gè)顯示器，通過安裝在背部的才聶像機(jī)2可以獲取 現(xiàn)場(chǎng)的可見光圖像。通過攝像機(jī)l可以獲得現(xiàn)場(chǎng)的紅外圖像。由于現(xiàn)場(chǎng)中具 有5個(gè)很強(qiáng)的紅外光點(diǎn)，對(duì)紅外圖像進(jìn)行二值化時(shí)，通過選擇合適的閾值，可以過濾掉紅外標(biāo)志點(diǎn)之外的圖像信息。這樣，在紅外圖像上就僅僅剩下5 個(gè)亮點(diǎn)。通過搜索4連通區(qū)域，將每個(gè)連通區(qū)域取重心，得到5個(gè)點(diǎn)的位置。 接著對(duì)每一個(gè)點(diǎn)進(jìn)行識(shí)別。首先尋找最靠近的兩個(gè)點(diǎn)，認(rèn)為是1號(hào)和2號(hào)點(diǎn)， 使用1號(hào)點(diǎn)和其他3個(gè)點(diǎn)求重心P。連接重心P與1號(hào)點(diǎn)，分別求出這條直 線與其他3個(gè)點(diǎn)與重心連線，沿順時(shí)針方向的夾角。按照這個(gè)夾角的大小， 依次識(shí)別3， 4， 5號(hào)點(diǎn)。接下來需要計(jì)算攝像機(jī)的位置。由于這些點(diǎn)都投影 在工作臺(tái)上，具有共面性。所以可以使用4點(diǎn)共面算法求得攝像機(jī)的位置。 此時(shí)帶入l, 3， 4, 5號(hào)點(diǎn)進(jìn)行求解，可求得攝像機(jī)l的位置。由于攝#^幾1 與攝像機(jī)2安裝方式固定，并且在系統(tǒng)運(yùn)行前已經(jīng)通過標(biāo)定裝置標(biāo)定。所以 由攝像機(jī)l的位置可以得到攝像機(jī)2的位置。這樣，就可以根據(jù)攝像機(jī)2的 位置來生成虛擬物體，并與攝像機(jī)2所拍攝的圖像進(jìn)行合成，從而得到增強(qiáng) 的圖像。這個(gè)增強(qiáng)圖像的效果是使得輔助信息(文字，圖像，三維結(jié)構(gòu)信 息)從屏幕上看起來好像真實(shí)存在于現(xiàn)場(chǎng)的空間中。并且當(dāng)用戶手中手持設(shè) 備的移動(dòng)時(shí)，這些輔助信息總是保持在場(chǎng)景中保持正確的位置和姿態(tài)。本發(fā)明采用紅外激光管作為投影標(biāo)志點(diǎn)，可以實(shí)現(xiàn)穩(wěn)定的足夠點(diǎn)數(shù)的跟 蹤；投影標(biāo)指點(diǎn)具有人眼不可見的特點(diǎn)，從而不會(huì)給操作人員的維修過程帶 來不便；采用截止紅外截止濾光片，避免了全光語的發(fā)光體對(duì)尋找標(biāo)志的干 擾；顯示設(shè)備采用手持式顯示器，方便維修人員從各個(gè)角度對(duì)零件進(jìn)行觀察 和維修。本發(fā)明具有定位精度高、標(biāo)志點(diǎn)不干擾維修，跟蹤穩(wěn)定、搭建簡(jiǎn)便、可 在任意工業(yè)維修環(huán)境中實(shí)現(xiàn)的特點(diǎn)。有效的解決了現(xiàn)有類似系統(tǒng)的諸多問 題，可以帶給維修人員快速，高效的維修操作指導(dǎo)。以上具體實(shí)施方式
僅用于說明本發(fā)明，而非用于限定本發(fā)明。
權(quán)利要求
1.一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法，其特征是，在工作臺(tái)空間內(nèi)標(biāo)志不可見光標(biāo)志點(diǎn)，攝取工作臺(tái)空間內(nèi)的不可見光圖像和可見光圖像，對(duì)攝取的不可見光圖像和可見光圖像進(jìn)行采集和處理，得到增強(qiáng)圖像。
2. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的在工作臺(tái)空間內(nèi)標(biāo)志不 可見光標(biāo)志點(diǎn)是指向工作臺(tái)空間內(nèi)^:影不可見光標(biāo)志點(diǎn)或不可見光標(biāo)志圖案。
3. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的不可見光是指紅外光。
4. 根據(jù)權(quán)利要求3所述的方法，其特征是，向工作臺(tái)空間內(nèi)投影紅外光標(biāo) 志點(diǎn)，所述的紅外光標(biāo)志點(diǎn)投影在工作臺(tái)上和/或」投影在工作臺(tái)空間內(nèi)工件的表 面。
5. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的攝取工作臺(tái)空間內(nèi)的不 可見光圖像是指在對(duì)所述的工作臺(tái)空間進(jìn)行拍攝時(shí)，濾掉工作臺(tái)空間的可見 光部分，而僅攝取工作臺(tái)空間的不可見光部分。
6. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的對(duì)攝取的不可見光圖像 和可見光圖像進(jìn)行采集和處理是指對(duì)不可見光圖像進(jìn)行二值化處理，使所述的不可見光標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1,其他的地方值為0;在圖像中尋找連通區(qū)域，每一個(gè)連通區(qū)域?yàn)橐粋€(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置；根據(jù)標(biāo)志點(diǎn)之間的空間關(guān)系對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別；根據(jù)位置估計(jì)算法來計(jì)算不可見光攝取點(diǎn)的位置和姿態(tài)；根據(jù)不可見光攝取點(diǎn)和可見光攝取點(diǎn)之間的位置關(guān)系計(jì)算出可見光攝取點(diǎn)的位置和姿態(tài)；根據(jù)可見光攝取點(diǎn)的位置和姿態(tài)生成虛擬物體和提示信息的圖像； 將生成的虛擬物體和提示信息的圖像疊加到可見光圖像上，得到增強(qiáng)圖像， 將所述的增強(qiáng)圖像輸出。
7. —種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維《'務(wù)系統(tǒng)，包括工作臺(tái)、4聶像裝置、 圖像采集裝置、控制裝置和顯示裝置；所述的攝像裝置通過所述的圖像采集裝 置與所述的控制裝置聯(lián)接，所述的控制裝置與所述的顯示裝置聯(lián)接；其特征是， 所述的工作臺(tái)空間內(nèi)標(biāo)志有不可見光標(biāo)志點(diǎn)；所述的攝像裝置至少包括兩個(gè)攝 像頭；所述的系統(tǒng)還包括濾光裝置，設(shè)置在所述兩個(gè)攝像頭之一的前端，用于過濾被攝圖像的可見 光部分；所述的兩個(gè)攝像頭分別攝取工作臺(tái)空間內(nèi)的不可見光圖像和可見光圖像并 將攝取的圖像傳送給所述的圖像采集裝置，所述的圖像采集裝置對(duì)接收的圖像 進(jìn)行采集和處理并將處理后的圖像數(shù)據(jù)傳送給所述的控制裝置，所述的控制裝 置對(duì)接收的圖像數(shù)據(jù)進(jìn)行處理得到增強(qiáng)圖像，所述的顯示裝置顯示所述的增強(qiáng) 圖像。
8. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征是，所述的系統(tǒng)還包括不可見光 投影標(biāo)志點(diǎn)生成裝置，用于發(fā)射不可見光；所述的工作臺(tái)空間內(nèi)標(biāo)志有不可見光標(biāo)志點(diǎn)是指通過所述的不可見光投 影標(biāo)志點(diǎn)生成裝置向工作臺(tái)空間內(nèi)投影不可見光標(biāo)志點(diǎn)或不可見光標(biāo)志圖案。
9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征是，所述的不可見光是指紅外光。
10. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征是，所述的不可見光投影標(biāo)志點(diǎn) 生成裝置為紅外光投影標(biāo)志點(diǎn)生成裝置，所述的紅外光投影標(biāo)志點(diǎn)生成裝置包 括多個(gè)紅外激光管，所述的紅外激光管用于產(chǎn)生紅外激光點(diǎn)作為系統(tǒng)增強(qiáng)現(xiàn)實(shí) 采用的標(biāo)指點(diǎn)。
11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征是，所述的濾光裝置為紅外濾光 裝置；所述的向工作臺(tái)空間內(nèi)投影不可見光標(biāo)志點(diǎn)或不可見光標(biāo)志圖案是指 向工作臺(tái)空間內(nèi)投影紅外光標(biāo)志點(diǎn)或紅外光標(biāo)志圖案，所述的紅外光標(biāo)志點(diǎn)或 紅外光標(biāo)志圖案投影在工作臺(tái)上和/或投影在工作臺(tái)空間內(nèi)工件的表面。
12. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征是，所述的系統(tǒng)還包括標(biāo)定裝 置，用于標(biāo)定所述兩個(gè)攝像頭的位置關(guān)系。
13.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征是，所述的控制裝置進(jìn)一步包括 二值化處理單元，用于對(duì)不可見光圖像進(jìn)行二值化處理，使所述的不可見光標(biāo)志點(diǎn)對(duì)應(yīng)的像素值為1，其他的地方值為0;標(biāo)志點(diǎn)位置獲取單元，用于在圖像中尋找連通區(qū)域，每一個(gè)連通區(qū)域?yàn)橐粋€(gè)標(biāo)志點(diǎn)，求得連通區(qū)域的重心位置作為該標(biāo)志點(diǎn)的位置；位置估計(jì)單元，用于根據(jù)標(biāo)志點(diǎn)之間的空間關(guān)系對(duì)每一個(gè)標(biāo)志點(diǎn)進(jìn)行識(shí)別， 并根據(jù)位置估計(jì)算法來計(jì)算不可見光攝取點(diǎn)的位置和姿態(tài)，根據(jù)不可見光攝取 點(diǎn)和可見光攝取點(diǎn)之間的位置關(guān)系計(jì)算出可見光攝取點(diǎn)的位置和姿態(tài)；增強(qiáng)圖像生成單元，用于根據(jù)可見光攝取點(diǎn)的位置和姿態(tài)生成虛擬物體和 提示信息的圖像，將生成的虛擬物體和提示信息的圖像疊加到可見光圖像上， 得到增強(qiáng)圖像，將所述的增強(qiáng)圖像輸出。
全文摘要
本發(fā)明提供一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法及系統(tǒng)，在工作臺(tái)空間內(nèi)標(biāo)志不可見光標(biāo)志點(diǎn)，攝取工作臺(tái)空間內(nèi)的不可見光圖像和可見光圖像，對(duì)攝取的不可見光圖像和可見光圖像進(jìn)行采集和處理，得到增強(qiáng)圖像。用以克服現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)存在的可見標(biāo)志點(diǎn)妨礙維修，以及跟蹤不穩(wěn)定的問題。
文檔編號(hào)G06T1/00GK101165719SQ20061011377
公開日2008年4月23日 申請(qǐng)日期2006年10月16日 優(yōu)先權(quán)日2006年10月16日
發(fā)明者艷 孟, 暉 李, 雷錦超, 魏舜儀 申請(qǐng)人:北京威亞視訊科技有限公司