專利名稱:遠程檢查設(shè)備的制作方法
技術(shù)領(lǐng)域：
本實用新型一般涉及管道鏡和視頻示波器。
技術(shù)背景
通常針對具體應用來定制用于可視地檢查隱蔽位置的管道鏡和視頻示波器。例如已經(jīng)定制一些管道鏡用于由水管工人用來檢查送水管和排水管。同樣地，已經(jīng)定制其它類型的管道鏡用于由機修工用來檢查修理的機器的內(nèi)部隔間。
在本節(jié)中的陳述僅提供與本公開內(nèi)容有關(guān)的背景信息并且可以不構(gòu)成現(xiàn)有技術(shù)。
實用新型內(nèi)容

本實用新型所要解決的技術(shù)問題是確定遠程檢查設(shè)備中包括的成像器頭部位置在三維坐標系中的坐標。
根據(jù)本實用新型的一方面，提供了一種遠程檢查設(shè)備，其特征在于包括成像器， 其設(shè)置在成像器頭部中并且用于捕獲圖像數(shù)據(jù)；柔性線纜，其具有遠端和近端，其中所述遠端連接到所述成像器頭部，其中所述柔性線纜的所述近端延伸到與用戶接近的位置，并且其中用于發(fā)送所述圖像數(shù)據(jù)的接線由所述柔性線纜容納并且從所述遠端延伸到所述近端； 有源顯示單元，其從所述成像器接收數(shù)字形式的所述圖像數(shù)據(jù)并且在有源顯示器上用圖形再現(xiàn)所述圖像數(shù)據(jù)；一個或者多個移動跟蹤傳感器，所述移動跟蹤傳感器中的至少一部分駐留在所述成像器頭部中并且配置成跟蹤所述成像器頭部的移動；以及計算機處理器，其位于所述有源顯示單元中并且使用來自所述移動跟蹤傳感器的信息以在所述有源顯示器上生成和顯示標記，所述標記指示所述成像器頭部的位置和所述成像器頭部相對于所述成像器頭部的起始位置穿越的路徑，其中所述成像器頭部穿越的所述路徑指示所述成像器頭部的當前位置、所述成像器頭部的中間位置和所述成像器頭部的起始位置。
在成像器頭部位置已知的情況下，用戶可以確定何處挖掘或者獲得對成像器頭部的位置的訪問。在成像器頭部的路徑也已知的情況下，用戶可以確定需要在訪問時避免的障礙物的位置，從而物理上獲得對與成像器頭部的位置匹配的位置的訪問。這一能力例如有助于尋求對破裂送水管進行定位的水管工人而無損于任何其它送水管。訪問策略因此可以由用戶計劃。
優(yōu)選地，所述標記包括所述成像器頭部的在以所述成像器頭部的起點作為其原點的三維坐標系中的坐標。
優(yōu)選地，所述標記包括圖標，所述圖標在以所述成像器頭部的起點作為其原點的三維坐標系中以坐標圖示所述成像器頭部的位置和定向。
優(yōu)選地，所述移動跟蹤傳感器中的至少一部分位于所述有源顯示單元中并且配置成跟蹤所述有源顯示單元的移動。
優(yōu)選地，所述有源顯示單元進一步具有擴充現(xiàn)實顯示器，并且所述標記由所述擴充現(xiàn)實顯示器再現(xiàn)以覆蓋用戶的周圍環(huán)境的視圖。
一種遠程檢查設(shè)備具有設(shè)置于成像器頭部中并且捕獲圖像數(shù)據(jù)的成像器。有源顯示單元接收數(shù)字形式的圖像數(shù)據(jù)并且在有源顯示器上用圖形再現(xiàn)圖像數(shù)據(jù)。移動跟蹤傳感器跟蹤成像器頭部和/或圖像顯示單元的移動。在一些方面中，位于有源顯示單元中的計算機處理器使用來自跟蹤成像器頭部的移動的移動跟蹤傳感器的信息以生成和顯示指示成像器頭部的位置的標記。在另外的方面中，計算機處理器使用來自跟蹤有源顯示單元的移動的移動跟蹤傳感器的信息以控制成像器頭部的移動。在其它方面中，計算機處理器使用來自跟蹤有源顯示單元的移動的移動跟蹤傳感器的信息以修改有源顯示器上再現(xiàn)的圖像數(shù)據(jù)。
更多應用領(lǐng)域根據(jù)這里提供的描述將變得清楚。應當理解該描述和具體例子僅用于示例目的而不用來限制本公開內(nèi)容的范圍。


包括圖1A-1F的圖1是圖示了用于與遠程檢查裝置一起使用的手持遠程用戶接口的一組視圖。
包括圖2A-2C的圖2是圖示了遠程檢查裝置的示圖。
圖3A是圖示了具有多個成像器和成像器移動傳感器的成像器頭部的透視圖。
圖:3B是圖示了圖3A的成像器頭部的橫截面圖。
圖4是圖示了模塊化遠程檢查裝置系統(tǒng)的框圖。
圖5是圖示了確定3D成像器頭部位置的流程圖。
圖6是圖示了用于圖4的模塊化遠程檢查裝置系統(tǒng)的操作方法的流程圖。
圖7是圖示了指示成像器頭部位置信息的標記的顯示的視圖。
包括圖8A-8C的圖8是圖示了數(shù)字成像器和數(shù)字顯示器的框圖。
這里描述的附圖僅用于圖示目的而不用來以任何方式限制本公開內(nèi)容的范圍。
具體實施方式
主要參照圖1A-1F，用于與遠程檢查裝置一起用的手持用戶接口 100具有一個或者多個輸出部件，比如有源顯示器102。也提供多個用戶接口輸入部件104，比如按鈕，操縱桿、推板等。在一些實施例中，用戶接口 100可以包括陀螺儀、加速計和/或GPS，比如差動 GPS0也可以提供連接機構(gòu)104，比如多個數(shù)據(jù)端口和/或?qū)蛹堋?br>在一些實施例中，連接機構(gòu)104的數(shù)據(jù)端口可以包括USB端口、火線端口、藍牙等。 這些數(shù)據(jù)端口可以位于用戶接口的由諸如橡膠索環(huán)(grommet)等之類的蓋105保護的腔內(nèi)。在一些實施例中，蓋105可以具有便于用戶拆卸蓋的突出部107。在另外或者替代的實施例中，蓋105可以在一端上通過鉸鏈附著到腔開口的邊緣，以保證蓋105在被拆卸時不會丟失。[0027]在另外或者替代的實施例中，連接機構(gòu)106的對接架包括保持兩個擴展卡108的擴展卡對接架。對接架使用鍵槽110以引導插入擴展卡108并且在板112上保持它們就位。 擴展卡108具有配合于鍵槽110內(nèi)的軌114。擴展卡也具有便于用戶操縱并且引導卡108 的定向的助握部件116。
現(xiàn)在轉(zhuǎn)向圖2A，遠程檢查裝置的一個實施例一般包括三個主要部件數(shù)字顯示器殼觀、數(shù)字成像器殼M以及將數(shù)字顯示器殼28和數(shù)字成像器殼M互連的柔性線纜22。柔性線纜22被配置成在它被推入視覺隱蔽區(qū)域如送水管、墻壁等中時彎曲和/或變彎。柔性線纜22是外徑范圍為Icm的肋式圓柱形管道。管道由金屬、塑料或者合成材料制成。根據(jù)應用可適用更小或者更大直徑。同樣地，本公開內(nèi)容也可以設(shè)想用于柔性線纜22的其它適當構(gòu)造。
數(shù)字成像器殼M耦合到柔性線纜22的遠端。數(shù)字成像器殼M呈與柔性線纜22 同心對準的基本上圓柱形狀。然而可以設(shè)想數(shù)字成像器殼M采用其它形狀。在任何情況下，圓柱形數(shù)字成像器殼104的外徑優(yōu)選地尺寸設(shè)定成基本上等于或者小于柔性線纜102 的外徑。
數(shù)字成像裝置沈嵌入于圓柱形數(shù)字成像器殼M的向外端。數(shù)字成像裝置沈捕獲與柔性線纜22的遠端鄰近的觀察區(qū)域的圖像，并且將圖像轉(zhuǎn)換成數(shù)字視頻信號。在一些實施例中，附件30可拆卸地耦合到數(shù)字成像器殼14。
數(shù)字成像裝置106需要比非數(shù)字成像裝置相對更多的信號接線。因此并且現(xiàn)在參照圖8A，在數(shù)字成像器殼M中包括數(shù)字視頻信號轉(zhuǎn)換裝置，以便使數(shù)字視頻信號串行化， 并且由此減少為了穿過柔性線纜22而需要的接線數(shù)目(參見圖2A)。例如并且具體參照圖 8A，通過使用數(shù)字成像器殼M中的差動LVDS串行器32以將數(shù)字視頻信號34重新格式化成差動LVDS信號36，為了從數(shù)字成像器殼向數(shù)字顯示器發(fā)送視頻信號而需要的接線數(shù)目可以從十八個接線減少至八個接線。然后，在數(shù)字顯示器殼觀中的差動LVDS去串行器38 接收LVDS信號36，并且將它轉(zhuǎn)換回數(shù)字視頻信號34以供數(shù)字視頻顯示器使用。在這種情況下，LVDS信號36將為了發(fā)送數(shù)字視頻信號而需要的十二個接線更換為為了發(fā)送LVDS信號而需要的兩個接線。還需要六個更多接線一個用于功率、一個用于接地、兩個用于LED 光源、一個用于串行時鐘信號而一個用于串行數(shù)據(jù)信號。本領(lǐng)域技術(shù)人員將認識到串行時鐘信號和串行數(shù)據(jù)信號用來在開機時啟動數(shù)字成像裝置26。在一些另外或者替代的實施例中，可以通過已知技術(shù)來甚至進一步減少接線數(shù)目。
現(xiàn)在參照圖8B，在另一實施例中，在數(shù)字成像器殼M中的數(shù)模轉(zhuǎn)換器40將數(shù)字視頻信號；34轉(zhuǎn)換成模擬視頻信號42。這一模擬視頻信號42又由顯示器殼觀中的模數(shù)轉(zhuǎn)換器44接收并且轉(zhuǎn)換回數(shù)字視頻信號34。類似于串行器的使用，模數(shù)轉(zhuǎn)換器的使用將接線數(shù)目從十八個接線減少至八個接線。同樣需要兩個接線以提供模擬電壓信號。
現(xiàn)在參照圖8C，在又一實施例中，數(shù)字視頻信號34由數(shù)字成像器殼M中的視頻編碼器46轉(zhuǎn)換成NTSC/PAL信號48。本領(lǐng)域技術(shù)人員將容易認識到NTSC是用于美國和日本電視廣播的標準，而PAL是它的等效歐洲標準。這一 NTSC/PAL信號48然后由顯示器殼觀的視頻解碼器50重新轉(zhuǎn)換成數(shù)字視頻信號34。
將數(shù)字視頻信號恢復成它的原有形式允許使用數(shù)字顯示器再現(xiàn)由數(shù)字成像裝置 104捕獲的視頻。數(shù)字顯示器的使用可以利用這樣的顯示器的各種能力。例如可以通過使
5用就像素而言比顯示器更大的成像器或者通過數(shù)字縮放來獲取數(shù)字搖攝和縮放能力。因此可以移動顯示器以得到在成像器頭部的固定視錐內(nèi)的更大細節(jié)/靈活性。也可以實施軟件輪轉(zhuǎn)以通過從彩色切換成黑白在低空間中增加感知的清晰度和對比度。
現(xiàn)在轉(zhuǎn)向圖2B，模塊化遠程檢查裝置20的另一實施例具有遠程數(shù)字成像器殼觀。 在這一實例中，遠程殼觀被配置成保持于檢查裝置20的用戶的另一只手中、放置于旁邊或者可拆卸地附著到用戶個人或者用戶環(huán)境中的便利結(jié)構(gòu)。柔性線纜22附著到配置成由用戶握住的推桿殼52并且/或者穿過推桿殼52。一系列肋式圓柱形管道部分22A-22C將推桿殼52連接到圓柱形數(shù)字成像器殼M。一個或者多個延伸部分22B可拆卸地附著于部分 22k與22C之間，以延長柔性線纜22的將推桿殼52和數(shù)字成像器殼M互連的部分。應當容易理解部分22A-C也可以使用于與圖2A中所示實施例類似的實施例中，其中數(shù)字顯示器殼28并未遠離而是代之以與推桿殼52組合。
回到圖2B，柔性線纜穿過推桿殼52到達數(shù)字顯示器殼28。例如，從推桿殼52延伸的卷繞線纜部分22D連接到從數(shù)字顯示器殼觀延伸的肋式圓柱形管道部分22E。因此柔性線纜22經(jīng)過肋式圓柱形管道部分22A-22C向推桿殼52輸送來自數(shù)字成像裝置沈的串行化數(shù)字視頻信號，它經(jīng)過該推桿殼由卷繞線纜部分22D和肋式圓柱形管道部分22E透明地傳向遠程數(shù)字視頻顯示器殼觀。應當容易理解一個或者多個延伸部分22B可以用來延長將推桿殼52與數(shù)字顯示器殼觀和數(shù)字成像器殼M互連的任一個或者兩個線纜部分。
可以設(shè)想另一如下實施例，在該實施例中柔性線纜22終結(jié)于推桿殼52并且推桿殼52包括無線發(fā)送器裝置，由此充當發(fā)送器殼。在這樣的實施例中，應當容易理解數(shù)字顯示器殼觀包含無線接收器裝置，并且從推桿殼52向數(shù)字顯示器殼觀無線發(fā)送串行化數(shù)字視頻信號。也應當容易理解向推桿殼52和數(shù)字顯示器殼觀提供一個或者多個天線以便于無線通信。適合于在這一實施例中使用的無線通信類型包括藍牙、802. 11(b),802. 11 (η)、 無線USB和其它無線通信類型。
主要參照圖2A-2C，遠程檢查裝置200的一些實施例具有虛擬現(xiàn)實和/或擴充現(xiàn)實顯示功能。在三個實施例中的一個或者多個實施例中，位于顯示單元和成像器頭部中的移動跟蹤傳感器提供可用于確定顯示單元位置和定向和域成像器頭部位置和定向的信息。 顯示單元移動跟蹤傳感器設(shè)置于顯示單元中。示例顯示單元移動跟蹤傳感器包括加速計、 陀螺儀、利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)和/或眼球鎮(zhèn)流器(eyekillkillast)。 成像器頭部移動跟蹤傳感器設(shè)置于成像器頭部、機動卷軸中和/或顯示單元中。設(shè)置于成像器頭部中的示例成像器頭部移動跟蹤傳感器包括加速計、陀螺儀、光學鼠標、利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)和/或眼球鎮(zhèn)流器。設(shè)置于卷軸中的示例成像器頭部移動跟蹤傳感器包括跟蹤饋送和收回成像器頭部的線纜的移動的部署傳感器。設(shè)置于顯示單元中的示例成像器頭部移動跟蹤傳感器包括從成像器頭部中的成像器捕獲的視頻提取運動矢量的軟件模塊。
在這些實施例中的一些實施例中，關(guān)于成像器頭部位置和定向的信息用來生成和在有源顯示器上再現(xiàn)標記，該標記向用戶指示成像器頭部位置和定向。示例標記包括成像器頭部的3D坐標、指示成像器頭部位置和定向的圖標以及成像器頭部的3D路徑。向有源顯示器直接再現(xiàn)標記。還通過使用顯示器的位置和定向來向擴充現(xiàn)實顯示器再現(xiàn)標記以動態(tài)顯示標記，從而在用戶的周圍環(huán)境中傳達成像器的路徑和位置。
6[0040]在一些實施例中，關(guān)于顯示位置和定向的信息用來控制成像器頭部移動。就這一點而言，將顯示器殼從一側(cè)移向另一側(cè)聯(lián)接于成像器頭部的角度。在成像器頭部中的微電機、軟線線纜和/或有線線纜用來聯(lián)接成像器頭部。在一些實施例中，前后移動顯示器殼使用機動線纜卷軸來饋送和收回成像器頭部。
在一些實施例中，關(guān)于顯示器殼的位置和定向的信息用來后處理數(shù)字圖像。進行這一后處理以搖攝、縮放和/或旋轉(zhuǎn)數(shù)字圖像。在一些實施例中，關(guān)于成像器頭部的位置的信息用來旋轉(zhuǎn)圖像以便獲得數(shù)字圖像的“順向(up is up)”顯示。
現(xiàn)在具體參照圖2C，體現(xiàn)為手持顯示器202的用戶接口具有用于控制成像器頭部 204之一的位置的用戶接口輸入部件。此外，手持顯示器202還具有用于跟蹤手持顯示器 202的移動的傳感器，比如加速計、陀螺儀、萬向節(jié)和/或眼球鎮(zhèn)流器。在用戶選擇的操作模式中，感測的手持顯示器202的移動也用來控制成像器頭部204的位置。在用戶選擇的另一操作模式中，用戶接口輸入部件和感測的手持顯示器202的移動用來處理(例如搖攝、縮放等)手持顯示器202顯示的捕獲圖像。還向遠程顯示器205傳達未處理的捕獲圖像。在用戶選擇的又一操作模式中，感測的手持顯示器的移動用來處理捕獲圖像，而用戶接口輸入部件用來控制一個或者多個成像器頭部的位置。在用戶選擇的另外操作模式中，感測的手持顯示器的移動用來控制一個或者多個成像器頭部的位置，而用戶接口輸入部件用來控制捕獲圖像的處理。
一種用于對頭部進行定位的機構(gòu)包括通過饋送和/或收回線纜來饋送和/或收回頭部的機動線纜卷軸208。適合于在對成像器頭部進行定位時使用的其它機構(gòu)包括成像器頭部中的聯(lián)接成像器和/或成像器頭部的微電機、線纜部分206中的聯(lián)接成像器頭部204 的接線和/或線纜部分的聯(lián)接成像器頭部204的軟線。
卷軸208可以包括無線發(fā)送器裝置，由此充當發(fā)送器殼。應當容易理解數(shù)字顯示器殼202包含無線接收器裝置，并且從卷軸208向手持顯示器202無線發(fā)送串行化數(shù)字視頻信號。適合于與遠程檢查一起使用的無線通信類型包括藍牙、802. 11(b) ,802. 11(g), 802. 11 (η)、無線USB、Xigbee、模擬、無線NTSC/PAL和其它無線通信類型。
如下文參照圖3進一步所述，兩個或者更多光源沿著一個或者多個成像器302和 /或304的周界從圓柱形成像器頭部300的向外端突出。成像器302和/或304直接或者間接凹陷于光源之間。光源是超亮LED。適合于與成像器頭部一起使用的超亮LED包括 Nichias牌LED。超亮LED與標準LED相比產(chǎn)生約十二倍的光強。具體而言，超亮LED如 5mm NichiasLED各自產(chǎn)生1.5以上流明。包括超亮LED產(chǎn)生了光輸出的明顯差異而且產(chǎn)生了比標準LED多得多的熱。因此，成像器殼包括用于容納超亮LED的散熱器。
透明管狀物包住成像器頭部300內(nèi)的成像器302和304以及光源。透明管狀物還可以提供成像光學器件(即分層透明成像器管狀物)，以便與一個或者多個成像器302和/ 或304的焦點的先前位置相比向外有效拉動焦點。對于給定形狀的成像器頭部300，焦點的這一改變加寬了有效視野，因此使由柔性線纜和成像器頭部300形成的蛇形物更有用。焦點的這一改變還允許一個或者多個成像器302和304相對于產(chǎn)生光的LED的垂直偏移，由此使得有可能組裝更小直徑的成像器頭部300。
暫時轉(zhuǎn)向圖2C，提供各種類型的成像器頭部204，各頭部具有不同類型和/或組合的以不同使用類型為目標的成像裝置、光源和/或成像光學器件。例如，成像器頭部204之一缺乏光源和成像光學器件。而且，成像器頭部204之一還具有如下光源，這些光源在紅外光譜中產(chǎn)生比另一成像器頭部提供的光相對更大數(shù)量的光。在這種情況下，使用在紅外光譜中產(chǎn)生光的LED，并且在成像光學器件中包括有選擇地通過紅外光的光學濾波器。這種紅外成像頭部尤其好地適合于夜視，并且增加電鍍管中的觀察距離和細節(jié)。在另一成像器頭部中省略光源，以實現(xiàn)具有紅外濾波器的熱成像頭部。成像器頭部204中的另一成像器頭部具有能夠在紫外光譜中產(chǎn)生光的光源。在這種情況下，使用在紫外光譜中產(chǎn)生光的LED， 成像光學器件包括有選擇地通過紫外光的光學濾波器。這種紫外光成像器頭部尤其好地適合于殺滅細菌和使生物材料發(fā)熒光。成像器頭部204中的又一成像器頭部具有白光源。另外，至少一個成像器頭部204具有多個成像器。一個這樣的成像器頭部具有熱成像裝置和可見光譜成像裝置。在這種情況下，當操作熱成像裝置而不是可見光譜成像裝置時，熄滅頭部的可見光源以允許熱成像。應當容易理解可以單獨地或者以任何組合供應任何或者所有不同類型的成像器頭部204。[0048]數(shù)字顯示器202在計算機可讀存儲器中存儲軟件，并且用計算機處理器執(zhí)行軟件以便操作頭部204。用于操作頭部204的軟件具有用于在操作不同類型的成像器頭部204 時使用的各種操作模式。用于操作數(shù)字顯示器的軟件還具有圖像處理能力以增強圖像。圖像處理能力為不同成像器頭部204所特有。[0049]可以在本發(fā)明的受讓人于2006年12月22日申請、于2007年8月9日作為美國公開號2007/0185379公開并且名稱為“Modular RemoteInspection Device with Digital Imager"的第11/645280號的美國專利申請中發(fā)現(xiàn)關(guān)于成像器頭部的更多信息、使用推桿而不是卷軸的實施例以及在前述實施例、替代實施例或者本公開內(nèi)容的另外實施例中使用的其它部件。前述專利申請和出版物出于任何目的整體結(jié)合于此。[0050]一個或者多個成像器頭部204包括環(huán)境條件傳感器。例如成像器頭部之一包括溫度傳感器。向手持顯示器202、頭部裝配的顯示器210和靜態(tài)顯示器205傳達這一感測的環(huán)境條件信息以便向用戶傳達。還應當容易理解一個或者多個成像器頭部204無成像器。[0051]現(xiàn)在轉(zhuǎn)向并且主要參照圖3A和3B，成像器頭部300具有多個成像器。例如成像器頭部300具有在不同方向上定向的第一成像器302和第二成像器304。成像器302和304 被正交地定向。用戶可選顯示模式顯示這些成像器302和304中的一個或者兩個成像器捕獲的視圖。[0052]成像器頭部300具有頭部移動位置傳感器。成像器頭部300的流由與發(fā)射激光束的激光器308組合的光學鼠標芯片流傳感器306感測。3軸陀螺儀芯片312和3軸加速計芯片314也設(shè)置于頭部300中?？梢栽O(shè)想設(shè)置于頭部300中的替代或者另外的傳感器包括利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)和/或眼球鎮(zhèn)流器。[0053]回到圖2C，線纜卷軸208也具有跟蹤線纜卷軸的饋送和/或收回的傳感器。除了捕獲的圖像之外，線纜206還向卷軸208傳達感測的成像器移動。卷軸208然后將捕獲的圖像與成像器頭部中的傳感器和卷軸208中的傳感器提供的傳感器信息一起向手持顯示器202無線傳達。[0054]手持顯示器202通過使用感測的成像器移動以遞歸地確定頭部位置來使用感測的成像器移動隨時間跟蹤成像器頭部移動。手持顯示器202在計算機可讀介質(zhì)中將這一跟蹤的成像器頭部移動記錄為成像器頭部位置序列。手持顯示器202通過從捕獲的圖像提取運動矢量并且使用運動矢量以遞歸地確定頭部位置來隨時間并行跟蹤成像器頭部移動。手持顯示器202在計算機可讀介質(zhì)中將這一跟蹤的成像器頭部移動記錄為這些成像器頭部位置的序列。接著手持顯示器202通過比較跟蹤的成像器頭部移動的兩個記錄來確定成像器頭部位置。比較兩個記錄實現(xiàn)提高確定成像器頭部位置的準確度。[0055]現(xiàn)在轉(zhuǎn)向圖5，用卡爾曼濾波器502實現(xiàn)3D成像器頭部位置的計算。例如，卡爾曼濾波器處理來自設(shè)置于成像器頭部中的三軸加速計502、陀螺儀506和光學鼠標傳感器508 的輸入。卡爾曼濾波器也處理來自如下卷軸上的部署傳感器510的輸入，該卷軸饋送頭部附著到的線纜。另外，卡爾曼濾波器處理來自光學流處理器512的輸入，比如運動矢量，該處理器從在頭部移動期間捕獲的視頻圖像514提取運動矢量。[0056]現(xiàn)在轉(zhuǎn)向并且主要參照圖7，成像裝置的一個實施例確定成像器頭部位置在三維坐標系802中的坐標800。相對于起點803(該處開始出現(xiàn)成像器頭部移動的感測)計算坐標800。起點803是頭部進入送水管時所在的點。用于感測成像器頭部的位置和/或定向的適當類型的示例傳感器包括加速計、陀螺儀、光學鼠標、利用三角測量的聲納技術(shù)、差動 GPS、萬向節(jié)和/或眼球鎮(zhèn)流器。[0057]傳達成像器頭部位置的一個或者多個標記根據(jù)多個用戶可選模式之一顯示于手持顯示器上。在用戶可選模式之一中，坐標800顯示于捕獲圖像的覆蓋圖中。在另一用戶可選模式中，指示頭部位置和定向的圖標804(圖7)與坐標800組合顯示。圖標804也與頭部從起點803向圖標804和坐標800所示當前頭部位置行進的路徑806組合顯示。通過隨時間確定頭部的位置并且在計算機可讀存儲器中依次記錄頭部位置來計算路徑806。[0058]在另一實施例中，起點是卷軸的位置。在這種情況下，通過使用差動GPS以隨時間觀測頭部和卷軸位置來確定卷軸的位置和成像器頭部到送水管的路徑。一旦成像器頭部進入送水管，成像器頭部的差動GPS對于跟蹤成像器頭部移動的有效性變低，因此如上文所述通過使用頭部中的傳感器和/或從捕獲的圖像提取運動矢量在送水管中進行跟蹤。[0059]在成像器頭部位置已知的情況下，用戶可以確定何處挖掘或者獲得對成像器頭部的位置的訪問。在成像器頭部的路徑806也已知的情況下，用戶可以確定需要在訪問時避免的障礙物的位置，從而物理上獲得對與成像器頭部的位置匹配的位置的訪問。這一能力例如有助于尋求對破裂送水管進行定位的水管工人而無損于任何其它送水管。訪問策略因此可以由用戶計劃。[0060]現(xiàn)在回到圖2C，另一實施例使用擴充現(xiàn)實技術(shù)以在用戶的周圍環(huán)境中傳達標記。 例如生成標記以圖示3D頭部位置和路徑。基于圖示3D成像器頭部位置和/或路徑的標記， 用戶佩戴的擴充現(xiàn)實顯示器210向用戶顯示標記。擴充現(xiàn)實顯示器在提供頭頂顯示器之時允許用戶查看他們的周圍環(huán)境，該頭頂顯示器覆蓋用戶對他們的周圍環(huán)境的查看。利用卷軸作為起點，基于來自如下傳感器的信息來計算標記，這些傳感器感測擴充現(xiàn)實顯示器210 的位置和定向以及卷軸208的位置。因此，無論顯示器201如何移動，用戶都持續(xù)地體驗標記。[0061]用于擴充現(xiàn)實顯示器的標記包括代表成像器頭部的圖標?；陲@示器的位置和定向以及已知起點(感測的卷軸位置)來生成這一圖標。代表成像器頭部的標記具有在用戶的周圍環(huán)境中與成像器頭部的位置一起向用戶傳達的尺寸、形狀、遠景、定向和標度。例如圖標是以45度角背離用戶的箭頭。該箭頭用圖形再現(xiàn)為向上，并且箭頭的基部大于箭頭的頂端以便傳達箭頭的定向。隨著用戶移向頭部位置和從頭部位置移開，再現(xiàn)箭頭改變以使箭頭看來變大和變小，以便向用戶提供更近地移向頭部位置和從頭部位置移開的體驗。隨著用戶上下移動，箭頭的外觀伸長和縮短，以便在用戶的周圍環(huán)境中向用戶提供與用戶在周圍環(huán)境內(nèi)的位置持續(xù)一致的觀測箭頭定向的體驗。隨著用戶改變顯示器210的定向以便在周圍環(huán)境中游覽，箭頭的外觀上下左右移動，以便在用戶的周圍環(huán)境中向用戶提供與用戶在周圍環(huán)境內(nèi)的查看方向持續(xù)一致的觀測箭頭位置的體驗。[0062]還再現(xiàn)從卷軸到成像器頭部的具有尺寸、形狀、遠景、定向和標度的如下路徑，該路徑在用戶的周圍環(huán)境中準確地引導用戶從起點(即卷軸208)到成像器頭部的位置。同樣根據(jù)顯示器210的位置和定向來控制路徑的尺寸、形狀、位置、遠景和定向。實現(xiàn)路徑的外觀控制以在用戶的周圍環(huán)境中向用戶提供與用戶在周圍環(huán)境中的查看方向和位置持續(xù)一致的觀測路徑的體驗。[0063]在用戶可選操作模式中，手持顯示器202作為擴充現(xiàn)實顯示器來操作。在手持顯示器202的后部上的相機捕獲用戶的周圍環(huán)境的圖像并且向用戶顯示圖像。然后用于頭部位置和路徑的標記呈現(xiàn)于手持顯示器202上以覆蓋用戶的周圍環(huán)境的捕獲圖像。響應于顯示器的位置和定向來控制標記(即圖標和路徑)的尺寸、形狀、遠景和定向。實現(xiàn)圖標和路徑的外觀控制以在用戶的周圍環(huán)境中向用戶提供與手持顯示器在用戶的周圍環(huán)境中的位置和定向持續(xù)一致的觀測圖標和路徑的體驗。適合于感測擴充現(xiàn)實顯示器、卷軸和成像器頭部的示例傳感器包括加速計、陀螺儀、光學鼠標、利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)和/或眼球鎮(zhèn)流器。[0064]在用戶可選操作模式中，顯示器210和/或顯示器202通過提供由成像器捕獲的圖像的視圖(比如送水管內(nèi)部)來充當虛擬現(xiàn)實顯示器。在這樣的實施例中，跟蹤的顯示器210和/或顯示器202的位置用來控制圖像的后處理，以便實現(xiàn)用戶與捕獲的圖像的虛擬現(xiàn)實交互。例如應用縮放、搖攝和/或圖像旋轉(zhuǎn)，并且在顯示器210和/或顯示器202上顯示縮放、搖攝和/或旋轉(zhuǎn)的圖像。因此用戶虛擬地瀏覽成像器查看的送水管或者其它周圍環(huán)境內(nèi)部。同時向靜態(tài)顯示器205顯示非縮放、非搖攝和/或非旋轉(zhuǎn)的圖像。適合于感測手持顯示器、卷軸和成像器頭部的位置和定向的示例傳感器包括加速計、陀螺儀、光學鼠標、利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)和/或眼球鎮(zhèn)流器。[0065]在另一用戶可選操作模式中，用戶選擇另外的圖像后處理模式。例如用戶在默認快門模式、夜間快門模式、運動模式、室內(nèi)環(huán)境模式、室外環(huán)境與反射環(huán)境模式之間選擇。 這一類后處理在虛擬現(xiàn)實操作模式期間應用于由成像器捕獲的圖像并且由佩戴的顯示器 210、手持顯示器202和靜態(tài)顯示器205顯示。正常查看模式和明亮查看模式的例子僅為一個例子。應當容易理解通過對捕獲的圖像的后處理、成像器頭部產(chǎn)生的光改變、頭部聯(lián)接和 /或其組合來實現(xiàn)這些查看模式和其它查看模式。[0066]現(xiàn)在轉(zhuǎn)向圖4，一種遠程檢查裝置系統(tǒng)包括手持顯示器上的手動用戶接口部件 400，該部件向圖像縮放模塊402、圖像旋轉(zhuǎn)模塊404和/或圖像搖攝模塊406傳達用戶選擇。模塊402-406存儲于手持顯示器和/或擴充現(xiàn)實顯示器的計算機可讀存儲器中。模塊 402-406也由駐留于手持顯示器或者擴充現(xiàn)實顯示器上的計算機處理器執(zhí)行。附著到手持顯示器和/或擴充現(xiàn)實顯示器的佩戴和/或保持的移動傳感器408向圖像縮放模塊402、 圖像旋轉(zhuǎn)模塊404和/或圖像搖攝模塊406傳達手持顯示器或者擴充現(xiàn)實顯示器的用戶移動。用戶接口部件400和/或移動傳感器408向駐留于機動卷軸上的成像器頭部移動控制模塊410傳達用戶選擇和顯示器的移動。頭部移動控制模塊410又生成對如下頭部的移動進行控制的一個或者多個頭部移動控制信號412，該頭部包含供應圖像數(shù)據(jù)416的成像器 414。控制信號412操作機動卷軸以控制線纜的饋送和收回?？刂菩盘?12也操作線纜或者線纜的軟線。機動卷軸還通過線纜向成像器頭部傳達一些控制信號412以操作成像器頭部的微電機。對于移動傳感器，加速計和陀螺儀的輸入是轉(zhuǎn)換成角度和角度測量的加速度和旋轉(zhuǎn)數(shù)據(jù)(弧度)。將這些測量轉(zhuǎn)換成控制信號(例如15度為15度)。[0067]圖像縮放模塊402、圖像旋轉(zhuǎn)模塊404和圖像搖攝模塊406協(xié)作以縮放、搖攝和旋轉(zhuǎn)圖像，以便實現(xiàn)部分圖像數(shù)據(jù)416的虛擬現(xiàn)實顯示。例如顯示器的包括傾斜和擺動的用戶移動可以實現(xiàn)圖像數(shù)據(jù)416從一側(cè)到另一側(cè)以及上下的搖攝。而且，顯示器的用戶移動和部件400的操縱桿或者按鈕板的促動縮放圖像數(shù)據(jù)。另外，按照計算的顯示器位置和成像器位置來旋轉(zhuǎn)縮放和搖攝的圖像，以參照成像器位置和顯示器位置基于重力矢量來實現(xiàn)圖像數(shù)據(jù)的豎立顯示。在頭部筆直向下或者筆直向上指向的情況下，加速計進入中間狀態(tài)并且被禁用，以保持于最后輸入直至加速計檢測到某種旋轉(zhuǎn)改變。然后向顯示器手持顯示器或者頭部裝配的顯示器上的虛擬現(xiàn)實圖像顯示模塊420提供圖像數(shù)據(jù)的所得縮放、搖攝和旋轉(zhuǎn)部分426，以便向用戶顯示。還旋轉(zhuǎn)和向顯示模塊420提供圖像數(shù)據(jù)416，以便作為原始分辨率圖像424向外部顯示器傳達。[0068]圖像模式選擇模塊422從手動用戶接口部件400接收用戶選擇，并且解釋這些選擇，以選擇用于向圖像數(shù)據(jù)416和部分圖像數(shù)據(jù)似6應用的圖像后處理。因而虛擬現(xiàn)實顯示模塊420向圖像數(shù)據(jù)416應用所選圖像后處理以獲得部分426。以原始分辨率的形式向外部顯示器供應旋轉(zhuǎn)圖像數(shù)據(jù)424，同時以似6的形式通過手持顯示器和頭部裝配的顯示器再現(xiàn)圖像數(shù)據(jù)的經(jīng)過后處理的縮放、搖攝和旋轉(zhuǎn)的部分。[0069]從卷軸向位于頭部裝配的顯示器上的擴充現(xiàn)實圖像顯示模塊4 發(fā)送感測的成像器移動信息418和圖像數(shù)據(jù)416。擴充現(xiàn)實顯示模塊4 通過從圖像數(shù)據(jù)416提取運動矢量并且使用運動矢量和感測的成像器移動信息418以確定成像器頭部位置來跟蹤成像器頭部位置和路徑。在頭部位置和路徑已知的情況下，擴充現(xiàn)實圖像顯示模塊428生成標記430以通過頭部裝配的顯示器的擴充現(xiàn)實顯示部件向用戶顯示頭部位置和路徑。部分地基于來自頭部裝配的顯示器上的移動傳感器408的輸入來計算這一標記430。[0070]現(xiàn)在轉(zhuǎn)向圖6，一種用于與遠程檢查裝置一起使用的操作方法包括在步驟600從設(shè)置于遠程檢查裝置的成像器頭部中的成像器接收圖像數(shù)據(jù)。手持顯示器和頭部裝配的顯示器的用戶接口輸入部件在步驟602監(jiān)視用戶選擇。附著到手持顯示器和頭部裝配的顯示器的顯示位置傳感器在步驟604監(jiān)視手持顯示器和頭部裝配的顯示器的移動。在步驟610 進行圖像數(shù)據(jù)的后處理，以根據(jù)用戶選擇和顯示器移動來搖攝、縮放和旋轉(zhuǎn)圖像數(shù)據(jù)。根據(jù)用戶所選后處理模式，在步驟612在手持顯示器和頭部裝配的顯示器上進行圖像數(shù)據(jù)的進一步后處理，以改變搖攝、縮放和旋轉(zhuǎn)的圖像數(shù)據(jù)的外觀。接著手持顯示器、頭部裝配的顯示器和外部顯示器的顯示部件在步驟614再現(xiàn)圖像數(shù)據(jù)。手持顯示器和頭部裝配的顯示器在步驟616基于用戶選擇和顯示器移動來生成成像器位置控制信號，并且向機動卷軸上的圖像位置控制機構(gòu)輸出這些控制信號，該機動卷軸響應于部分控制信號來饋送和收回成像器頭部。機動卷軸還響應于另一部分控制信號來控制線纜。機動卷軸進一步向成像器頭11部上的微電機傳達另外部分的控制信號。這些微電機響應于另外部分的控制信號以控制成像器頭部位置。[0071]在步驟606，在捕獲圖像數(shù)據(jù)期間，在手持顯示器和頭部裝配的顯示器上監(jiān)視成像器移動。例如，在步驟608通過來自設(shè)置于成像器頭部中的傳感器的輸入來監(jiān)視成像器移動。通過線纜向卷軸傳達傳感器輸入，在那里又無線傳達到手持顯示器或者頭部裝配的顯示器。在步驟606還通過從在步驟600接收的圖像數(shù)據(jù)提取運動矢量來檢測成像器移動。 通過手持顯示器和頭部裝配的顯示器來提取運動矢量。手持顯示器和頭部裝配的顯示器在步驟618跟蹤這些成像器移動以便計算成像器頭部的3D位置。然后手持顯示器和頭部裝配的顯示器在步驟618生成標記。頭部裝配的顯示器基于頭部裝配的顯示器的位置和定向來生成標記，以便向用戶圖示頭部位置和路徑。手持顯示器基于手持顯示器的位置和定向來生成標記，以向用戶圖示頭部位置和路徑。頭部裝配的顯示器和手持顯示器通過它們的相應顯示部件來再現(xiàn)它們的相應標記。[0072]前文描述在性質(zhì)上僅為舉例而不用來限制本公開內(nèi)容、應用或者用途。
權(quán)利要求
1.一種遠程檢查設(shè)備，其特征在于包括成像器，其設(shè)置在成像器頭部中并且用于捕獲圖像數(shù)據(jù)；柔性線纜，其具有遠端和近端，其中所述遠端連接到所述成像器頭部，其中所述柔性線纜的所述近端延伸到與用戶接近的位置，并且其中用于發(fā)送所述圖像數(shù)據(jù)的接線由所述柔性線纜容納并且從所述遠端延伸到所述近端；有源顯示單元，其從所述成像器接收數(shù)字形式的所述圖像數(shù)據(jù)并且在有源顯示器上用圖形再現(xiàn)所述圖像數(shù)據(jù)；一個或者多個移動跟蹤傳感器，所述移動跟蹤傳感器中的至少一部分駐留在所述成像器頭部中并且配置成跟蹤所述成像器頭部的移動；以及計算機處理器，其位于所述有源顯示單元中并且使用來自所述移動跟蹤傳感器的信息以在所述有源顯示器上生成和顯示標記，所述標記指示所述成像器頭部的位置和所述成像器頭部相對于所述成像器頭部的起始位置穿越的路徑，其中所述成像器頭部穿越的所述路徑指示所述成像器頭部的當前位置、所述成像器頭部的中間位置和所述成像器頭部的起始位置。
2.根據(jù)權(quán)利要求
1所述的設(shè)備，其特征在于，所述標記包括所述成像器頭部的在以所述成像器頭部的起點作為其原點的三維坐標系中的坐標。
3.根據(jù)權(quán)利要求
1所述的設(shè)備，其特征在于，所述標記包括圖標，所述圖標在以所述成像器頭部的起點作為其原點的三維坐標系中以坐標圖示所述成像器頭部的位置和定向。
4.根據(jù)權(quán)利要求
1所述的設(shè)備，其特征在于，所述移動跟蹤傳感器進一步被限定為加速計、陀螺儀、光學鼠標、利用三角測量的聲納技術(shù)、差動GPS、萬向節(jié)或者眼球鎮(zhèn)流器中的至少一個。
5.根據(jù)權(quán)利要求
1所述的設(shè)備，其特征在于，所述移動跟蹤傳感器中的至少一部分位于所述有源顯示單元中并且配置成跟蹤所述有源顯示單元的移動。
6.根據(jù)權(quán)利要求
5所述的設(shè)備，其特征在于，所述計算機處理器基于來自位于所述有源顯示單元中的所述移動跟蹤傳感器的輸入而生成成像器頭部移動控制信號，并且向控制所述成像器頭部的移動的機構(gòu)輸出所述成像器頭部移動控制信號。
7.根據(jù)權(quán)利要求
6所述的設(shè)備，其特征在于，所述機構(gòu)進一步被限定為位于所述成像器頭部中的微電機。
8.根據(jù)權(quán)利要求
6所述的設(shè)備，其特征在于，所述機構(gòu)包括機動卷軸，所述機動卷軸饋送和/或收回延伸所述成像器頭部的線纜。
9.根據(jù)權(quán)利要求
5所述的設(shè)備，其特征在于，所述計算機處理器根據(jù)從位于所述有源顯示單元中的所述移動跟蹤傳感器接收的輸入來操縱所述圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求
5所述的設(shè)備，其特征在于，所述計算機處理器從所述成像器在所述成像器頭部的移動期間捕獲的圖像數(shù)據(jù)中提取運動矢量來跟蹤所述成像器頭部的移動。
11.根據(jù)權(quán)利要求
1所述的設(shè)備，其特征在于，所述有源顯示單元進一步具有擴充現(xiàn)實顯示器，并且所述標記由所述擴充現(xiàn)實顯示器再現(xiàn)以覆蓋用戶的周圍環(huán)境的視圖。
專利摘要
本實用新型提供了一種遠程檢查設(shè)備，其特征在于包括成像器，其設(shè)置在成像器頭部中并且用于捕獲圖像數(shù)據(jù)；柔性線纜，其遠端連接到成像器頭部，近端延伸到與用戶接近的位置，并且用于發(fā)送圖像數(shù)據(jù)的接線由柔性線纜容納并且從遠端延伸到近端；有源顯示單元，其從成像器接收圖像數(shù)據(jù)并且在有源顯示器上再現(xiàn)；一個或者多個移動跟蹤傳感器，其中的至少一部分駐留在成像器頭部中并且配置成跟蹤成像器頭部的移動；以及計算機處理器，其位于有源顯示單元中并且使用來自移動跟蹤傳感器的信息以在有源顯示器上生成和顯示標記，所述標記指示成像器頭部的位置及其相對于起始位置穿越的路徑，其中所述路徑指示成像器頭部的當前位置、中間位置和起始位置。
文檔編號G09G5/08GKCN202258269SQ200990100111
公開日2012年5月30日 申請日期2009年2月2日
發(fā)明者保爾·J·埃克霍夫, 布蘭頓·瓦特, 杰夫·舍貝爾, 杰弗里·J·米勒, 泰伊·紐曼, 阿爾·伯恩萊因 申請人:視感控器有限公司導出引文BiBTeX, EndNote, RefMan