面中識(shí)別3D表面網(wǎng)格的坐標(biāo)系統(tǒng)的四個(gè)點(diǎn)來(lái)執(zhí)行。這產(chǎn)生在3D模型上的3D表面網(wǎng)格的近似位置。這可以通過(guò)基于成對(duì)的點(diǎn)的配準(zhǔn)來(lái)實(shí)現(xiàn)。在第二步驟中，基于3D表面網(wǎng)格和身體的3D模型的身體表面，身體的3D模型中的身體的3D表面網(wǎng)格的精確位置被確定。這可以通過(guò)身體的3D表面網(wǎng)格的點(diǎn)云和身體的3D模型表面的點(diǎn)云的迭代最近點(diǎn)算法來(lái)執(zhí)行。在步驟1.35中，形貌不同的區(qū)域被連續(xù)跟蹤，并且坐標(biāo)通過(guò)重復(fù)用于3D表面網(wǎng)格生成器的后續(xù)幀來(lái)更新。在步驟1.36中，更新后的坐標(biāo)被用于導(dǎo)航支持。用于檢測(cè)在對(duì)象的CAD模型中對(duì)象的3D表面網(wǎng)格的精確位置的過(guò)程對(duì)應(yīng)于圖4的過(guò)程。
[0106]圖5示出使用具有用于跟蹤工具802的相對(duì)位置的身體801的固定位置的形貌標(biāo)記809的跟蹤設(shè)備。在所示實(shí)施例中，身體是患者的頭部。頭801通過(guò)固定部件809被固定用于手術(shù)，其例如固定頭到手術(shù)臺(tái)808。由于頭部801處于與固定部件809的固定關(guān)系，所以取代身體的形貌特征，固定部件的形貌特征也可用于確定在3D表面網(wǎng)格中的身體的位置和取向。
[0107]在步驟812中，來(lái)自手術(shù)視野的相關(guān)表面的網(wǎng)格與它們的相對(duì)位置一起生成。在步驟814中，術(shù)前圖像數(shù)據(jù)被測(cè)量或接收，并且在步驟815中，3D模型基于這些術(shù)前圖像數(shù)據(jù)生成。在步驟816中，由3D表面網(wǎng)格生成器122、123生成的身體(這里為頭部)網(wǎng)格被配準(zhǔn)到在步驟815中生成的身體的3D模型。通過(guò)選擇在3D模型中和在用于身體的3D模型中的3D表面網(wǎng)格的近似位置的表面上的至少三個(gè)非共面點(diǎn)，這可以如用前述實(shí)施例解釋的來(lái)執(zhí)行。然后，使用近似位置作為起始點(diǎn)由迭代算法檢測(cè)精確位置。在步驟817中，基于身體的3D表面網(wǎng)格相對(duì)于固定部件的3D表面網(wǎng)格的位置，固定部件或其不同部分(在此以2指示)的3D表面網(wǎng)格配準(zhǔn)在身體的3D模型中。優(yōu)選地，固定部件的CAD模型被提供。固定部件的3D表面網(wǎng)格被用固定部件的CAD模型配準(zhǔn)。這可以如同身體表面到身體的3D模型的配準(zhǔn)來(lái)進(jìn)行。像從CAD模型到3D表面網(wǎng)格生成器122、123坐標(biāo)系統(tǒng)的變換是已知的。隨著身體和固定部件到3D表面網(wǎng)格坐標(biāo)的變換，與固定部件相比的身體的固定位置是已知的。在步驟818中，工具802的3D表面網(wǎng)格配準(zhǔn)到CAD模型。在步驟819中，工具802的工具末端用術(shù)前圖像體積(身體的3D模型)配準(zhǔn)。在步驟810中，固定部件和工具的3D表面網(wǎng)格被實(shí)施跟蹤。在步驟810中，在其3D模型中固定部件的3D表面的位置和在對(duì)象的CAD模型中的對(duì)象表面的位置被定期執(zhí)行。如前所述，為了確定位置，首先近似位置基于有限數(shù)量的點(diǎn)來(lái)確定，并且精確的位置基于大量的點(diǎn)通過(guò)使用迭代算法來(lái)確定?；谠摳櫧Y(jié)果，在步驟812中，術(shù)前圖像數(shù)據(jù)的圖像基于工具802的末端被示出。由于身體和固定部件之間的固定關(guān)系，跟蹤可以減小到形貌不同的固定部件。步驟814至819僅被執(zhí)行用于初始化跟蹤方法。然而，如果身體位置相對(duì)于固定部件改變，則它可以被檢測(cè)到。在該情況下，這種位置變化被檢測(cè)到，步驟816和817可被更新以更新身體對(duì)固定部件的新位置。
[0108]步驟816、817和818可以自動(dòng)或近似手動(dòng)選擇，然后基于成對(duì)點(diǎn)的配準(zhǔn)可以進(jìn)行。一旦手動(dòng)初始化，則這些步驟可以通過(guò)使用在先前循環(huán)中這些網(wǎng)格的先驗(yàn)位置信息來(lái)連續(xù)跟蹤表面，從而在下一循環(huán)中自動(dòng)化。
[0109]圖6示出其中無(wú)標(biāo)記跟蹤設(shè)備和跟蹤過(guò)程用于膝蓋手術(shù)以導(dǎo)航骨切割的可能性。圖6示出在開(kāi)放膝手術(shù)期間暴露的股骨433的關(guān)節(jié)面和脛骨434的關(guān)節(jié)面。表面網(wǎng)格生成器121 (這里沒(méi)有視頻攝像機(jī)124)捕獲股骨433的關(guān)節(jié)面和手術(shù)鋸955的3D表面網(wǎng)格，其邊緣為切割骨的目的必須被導(dǎo)航。圖6中列出涉及用于提供導(dǎo)航的步驟。在步驟1.51和1.52中，股骨關(guān)節(jié)和工具3D表面網(wǎng)格由表面網(wǎng)格生成器121捕獲并發(fā)送到控制器。股骨關(guān)節(jié)的3D表面網(wǎng)格在步驟1.54中配準(zhǔn)到3D模型，并且工具的3D表面網(wǎng)格在步驟1.53中配準(zhǔn)到工具的CAD模型。在步驟1.55中，在工具邊緣和術(shù)前圖像體積之間的變換基于在工具表面網(wǎng)格和股骨表面網(wǎng)格之間的相對(duì)3D位置來(lái)計(jì)算。在步驟1.56中，工具的邊緣在術(shù)前圖像中示出用于導(dǎo)航。
[0110]圖7示出根據(jù)第二實(shí)施例的與2D標(biāo)記耦合的跟蹤設(shè)備。作為例子，在頭部(耳、鼻和喉手術(shù)，頌面面部手術(shù)、牙科手術(shù)和神經(jīng)外科)周圍的手術(shù)被示出。包括3D表面網(wǎng)格生成器122、123和視頻攝像機(jī)124的裝置121用于從手術(shù)視野生成相關(guān)的表面。術(shù)前的視頻攝像機(jī)(124)和三維表面網(wǎng)格生成器(122、123)的傳感器被校準(zhǔn)和配準(zhǔn)。在手術(shù)前患者用顏色標(biāo)記111、112、113、114固定。這些標(biāo)記可容易地通過(guò)基于顏色的分段在視頻圖像中分割。標(biāo)記被設(shè)計(jì)成使得這些標(biāo)記的中心可以很容易地在分段圖像(例如，估計(jì)在二進(jìn)制圖像中的其質(zhì)心)中計(jì)算出。單獨(dú)的標(biāo)記可以基于由122-123生成的相應(yīng)表面-網(wǎng)格區(qū)域中的其具體尺寸和形狀來(lái)識(shí)別。單獨(dú)地識(shí)別標(biāo)記將幫助在這些標(biāo)記之間提取表面網(wǎng)格，以便自動(dòng)建立在患者身上的坐標(biāo)系統(tǒng)。坐標(biāo)系統(tǒng)可以僅基于四個(gè)顏色標(biāo)記或基于在根據(jù)四個(gè)顏色標(biāo)記確定的3D表面網(wǎng)格上的四個(gè)點(diǎn)來(lái)確定。在第二步驟中，在身體的3D模型上的3D表面網(wǎng)格的精確位置基于身體的表面網(wǎng)格和3D模型的表面計(jì)算。由于3D表面網(wǎng)格的近似位置，該第二步驟可實(shí)時(shí)進(jìn)行。指針131也具有顏色標(biāo)記132、133、134，以幫助其在視頻圖像中的分割并獲得其表面網(wǎng)格。即使各顏色標(biāo)記的中心點(diǎn)可能不準(zhǔn)確，但這足以用于確定在CAD模型中的工具的近似位置。這也將有助于自動(dòng)建立指針上的坐標(biāo)系統(tǒng)。指針135的末端在術(shù)前圖像數(shù)據(jù)的軸向103、矢狀104、冠狀105視圖上的監(jiān)視器102上被顯示為標(biāo)記109。它也顯示在患者術(shù)前數(shù)據(jù)的3D渲染場(chǎng)景106上。
[0111]圖7的跟蹤設(shè)備的跟蹤方法的步驟在圖8中示出。在步驟151中，3D表面網(wǎng)格生成器122、123和視頻攝像機(jī)被校準(zhǔn)，并且校準(zhǔn)數(shù)據(jù)被配準(zhǔn)，以便將用視頻攝像機(jī)124拍攝到的色點(diǎn)與3D表面網(wǎng)格的點(diǎn)相關(guān)聯(lián)。在步驟152中，顏色標(biāo)記111、112、113、114被粘貼于手術(shù)的相關(guān)表面上，以使得形貌不同的區(qū)域處于標(biāo)記111、112、113、114之間。在步驟153中，相關(guān)區(qū)域基于顏色標(biāo)記來(lái)識(shí)別。在步驟154中，身體的表面網(wǎng)格被獲得。在步驟155中，身體/患者的坐標(biāo)系統(tǒng)P基于在3D表面網(wǎng)格上的顏色編碼區(qū)域的位置或基于那些位置所確定的位置來(lái)建立。在步驟156中，從術(shù)前成像得到的3D模型被配準(zhǔn)到身體的坐標(biāo)系統(tǒng)P。在身體的3D模型中身體的3D表面網(wǎng)格的精確位置基于身體的3D表面網(wǎng)格和來(lái)自身體的3D模型的3D表面來(lái)計(jì)算。在3D模型和身體之間的變換在步驟157中更新。換句話說(shuō)，從3D表面網(wǎng)格生成器122、123到3D模型的變換被確定。在步驟161中，連同從視頻攝像機(jī)124獲得顏色信息，從3D表面網(wǎng)格生成器122、123獲得指針的表面網(wǎng)格。在步驟162中，指針的坐標(biāo)系統(tǒng)T基于在3D表面網(wǎng)格上的顏色代碼132、133、134的位置或基于那些位置所確定的位置來(lái)建立。在步驟163中，指針131的CAD模型通過(guò)兩步驟的過(guò)程被配準(zhǔn)到指針131的表面網(wǎng)格。首先，在對(duì)象的3D模型中找到定義坐標(biāo)系統(tǒng)的點(diǎn)，例如顏色代碼位置，以用于3D表面網(wǎng)格在對(duì)象的3D模型中的近似位置(例如通過(guò)基于成對(duì)點(diǎn)的配準(zhǔn))。在第二步驟中，基于工具的3D表面網(wǎng)格和來(lái)自該工具的3D模型的工具的表面來(lái)確定精確位置。在步驟164中，更新在CAD模型和T之間的變換。換句話說(shuō)，確定CAD模型的坐標(biāo)系統(tǒng)到3D表面網(wǎng)格生成器122、123的坐標(biāo)系統(tǒng)的變換。在步驟165中，使用從CAD模型到3D表面網(wǎng)格生成器122、123的變換以及從3D表面網(wǎng)格生成器122、123到患者的3D模型的變換來(lái)將指針末端變換到患者坐標(biāo)。在步驟158中，步驟157和164的變換實(shí)時(shí)更新。在步驟159中，工具末端位置被覆蓋到術(shù)前圖像數(shù)據(jù)。
[0112]圖9再次示出使用顏色標(biāo)記的跟蹤方法的步驟。在步驟181中，顏色標(biāo)記附著在身體上。在步驟182中，通過(guò)基于顏色的分段在視頻圖像中分割標(biāo)記。在步驟183中，獲得分段顏色斑點(diǎn)(blob)的中心。在步驟184中，在3D表面網(wǎng)格中的斑點(diǎn)中心的相應(yīng)點(diǎn)基于校準(zhǔn)數(shù)據(jù)來(lái)實(shí)現(xiàn)。在步驟184中，獲得在這些點(diǎn)之間的表面網(wǎng)格。在步驟188、189中，身體的3D模型基于術(shù)前成像來(lái)創(chuàng)建。在步驟190中，在3D模型上的點(diǎn)被選擇，以使得它們近似對(duì)應(yīng)于附著在身體上的標(biāo)記位置。在步驟194中，獲得在那些點(diǎn)之間的3D模型的表面網(wǎng)格。在步驟191，基于在3D模型上的近似點(diǎn)和顏色斑點(diǎn)的中心點(diǎn)，在身體的3D模型中確定身體的3D表面網(wǎng)格的近似位置。優(yōu)選地，這通過(guò)這兩個(gè)點(diǎn)組的基于成對(duì)點(diǎn)的配準(zhǔn)來(lái)完成。在步驟192中，基于這個(gè)近似位置，獲得在身體的3D表面網(wǎng)格和3D模型的3D表面之間的近似變換。在步驟193中，該近似變換或該近似位置被用于確定迭代算法的開(kāi)始/初始點(diǎn)，以確定在步驟186中的精確位置/變換。在步驟186中，利用基于近似位置在步驟193中確定的初始值，基于步驟194和185的表面網(wǎng)格，使用迭代算法找到在身體的3D模型中身體的3D表面網(wǎng)格的精確位置。優(yōu)選地，該迭代算法是迭代最近點(diǎn)算法。在步驟187中，術(shù)前數(shù)據(jù)被配準(zhǔn)到身體的3D表面網(wǎng)格。
[0113]相同的方法可以遵循以將手術(shù)指針的CAD模型配準(zhǔn)到其表面網(wǎng)格。
[0114]圖4示出涉及將術(shù)前數(shù)據(jù)配準(zhǔn)至患者用于3D形貌不同區(qū)域的步驟細(xì)節(jié)。然而，如果顏色點(diǎn)由不同形貌區(qū)域的四點(diǎn)替換，則圖9的過(guò)程還可以用于通過(guò)3D形貌不同區(qū)域?qū)⑿g(shù)前數(shù)據(jù)配準(zhǔn)到患者。同樣的方法可以遵循以用3D形貌不同的點(diǎn)將手術(shù)指針的CAD模型配準(zhǔn)到其表面網(wǎng)格。
[0115]圖10示出使用在身體(患者解剖結(jié)構(gòu))上的有色條以分割并且配準(zhǔn)表面網(wǎng)格的可能性。411和412是可以在患者的皮膚上粘貼的有色標(biāo)記條。同樣地條也可以在手術(shù)期間在暴露的骨表面上使用，以建立用于將它們的3D模型配準(zhǔn)到生成的表面網(wǎng)格的坐標(biāo)系統(tǒng)。
[0116]圖11示出其中自動(dòng)識(shí)別給定工具的各個(gè)計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型的方法。該工具也可以用用于識(shí)別的正方形標(biāo)簽或條形碼來(lái)固定。在第一步驟中，手術(shù)工具具有可視代碼，例如條形碼，其與在數(shù)據(jù)庫(kù)中的工具的CAD模型相關(guān)。該工具用3D表面網(wǎng)格生成器122、123捕獲，并且工具的3D表面網(wǎng)格被創(chuàng)建。在同一時(shí)間，該工具的視頻圖像由視頻攝像機(jī)124創(chuàng)建。可視代碼被分割并且在視頻圖像中識(shí)別。所識(shí)別的可視代碼被讀出，并且相關(guān)的CAD模型在數(shù)據(jù)庫(kù)中被查找。然后所識(shí)別的CAD模型被配準(zhǔn)到工具的表面網(wǎng)格。
[0117]圖12示出具有用二進(jìn)制代碼的正方形標(biāo)記301的工具302。在工具末端的形