X射線姿態(tài)恢復(fù)的制作方法
【專利摘要】本發(fā)明提供了用于在內(nèi)窺鏡流程期間進(jìn)行X射線姿態(tài)恢復(fù)的方法、系統(tǒng)和程序產(chǎn)品。利用處于第一姿態(tài)的C型臂拍攝X射線圖像，以捕獲其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域。將所述C型臂從所述第一姿態(tài)移動(dòng)到處于另一視角的第二姿態(tài)，同時(shí)維持所述內(nèi)窺鏡的位置。利用處于第二C型臂姿態(tài)的C型臂拍攝另一X射線圖像，以捕獲其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域。利用分割確定基準(zhǔn)物在每個(gè)X射線圖像上的位置。利用兩個(gè)X射線圖像中基準(zhǔn)物的位置進(jìn)行迭代優(yōu)化，以形成所述其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域的三維曲線的兩個(gè)二維投影，以確定從第一X射線姿態(tài)到第二X射線姿態(tài)的C型臂三維平移和旋轉(zhuǎn)。
【專利說明】X射線姿態(tài)恢復(fù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及X射線引導(dǎo)的醫(yī)學(xué)介入領(lǐng)域，更具體而言涉及用于X射線引導(dǎo)的醫(yī)學(xué)介入中的姿態(tài)恢復(fù)的方法和系統(tǒng)。
【背景技術(shù)】
[0002]在整個(gè)本申請(qǐng)中，下列術(shù)語意在傳達(dá)附隨的定義。
[0003]C型臂:意思是手術(shù)中X射線(熒光檢查法)
[0004]C型臂姿態(tài):意思是X射線源(增強(qiáng)器)的三維(3D)位置和取向
[0005]C型臂姿態(tài)跟蹤:意思是從一種姿態(tài)到另一種姿態(tài)估計(jì)C型臂姿態(tài)(與姿態(tài)恢復(fù)相同)。變換矩陣編碼3個(gè)平移和三個(gè)旋轉(zhuǎn)以從第一姿態(tài)確定第二姿態(tài)。
[0006]支氣管鏡檢查是利用內(nèi)窺鏡檢查支氣管氣道內(nèi)壁和執(zhí)行隨后的診斷或治療介入的實(shí)時(shí)模態(tài)。在支氣管鏡檢查過程期間，C型臂可用來實(shí)時(shí)監(jiān)測(cè)內(nèi)窺鏡的位置。然而，由于X射線圖像的低圖像對(duì)比度，病變和氣道都很難看見。這阻礙了 X射線熒光鏡檢查法作為一種協(xié)助支氣管鏡介入的實(shí)時(shí)圖像引導(dǎo)工具的應(yīng)用。
[0007]對(duì)低對(duì)比度問題的一個(gè)解決方案是將三維(3D)計(jì)算機(jī)斷層攝影(CT)圖像體積和二維X射線圖像進(jìn)行融合，而且將病變疊加到X射線圖像。通過在2D圖像和3D圖像體積之間配準(zhǔn)將3D圖像體積融合到2D X射線圖像。融合的可視化提供了手術(shù)中引導(dǎo)，以便人們可以精確定位病變并識(shí)別其與內(nèi)窺鏡的空間關(guān)系。
[0008]X射線圖像和CT體積之間的2D-3D配準(zhǔn)可以基于圖像或者基于基準(zhǔn)物?；趫D像的配準(zhǔn)方法使用分割，具有相對(duì)較小的捕捉范圍和緩慢的收斂速度。此外，為基于圖像的配準(zhǔn)的計(jì)算開銷很大。還有，當(dāng)使用圖像中的特征時(shí)，結(jié)果取決于分割的精確度和特征的特性。
[0009]為方便基于圖像的配準(zhǔn)方法，必須要提供C型臂的良好初始化姿態(tài)以減少在優(yōu)化方案中的搜索空間。然而，當(dāng)C型臂在手術(shù)中移動(dòng)到不同姿態(tài)時(shí)，在新的C型臂姿態(tài)中這個(gè)初始化不再可用。因此，2D X射線和3D圖像體積數(shù)據(jù)的實(shí)時(shí)融合不總是可行的。
[0010]基于基準(zhǔn)物的配準(zhǔn)解決了手術(shù)中C型臂運(yùn)動(dòng)后姿態(tài)恢復(fù)的問題。在基于基準(zhǔn)物的配準(zhǔn)中，對(duì)射線不透明的裝置，叫做基準(zhǔn)物，被放置在患者身體外部?；鶞?zhǔn)物既在手術(shù)中C型臂運(yùn)動(dòng)前的X射線幀中被拍攝，也在手術(shù)中C型臂運(yùn)動(dòng)后的X射線幀中被拍攝。因?yàn)榛鶞?zhǔn)物必須在這兩幀中都被拍 攝，所以它們限制了可用于手術(shù)中引導(dǎo)的體積尺寸。
[0011]基準(zhǔn)物的X射線圖像本質(zhì)上是二維的。如果外部基準(zhǔn)物的3D配置是未知的，為了進(jìn)行配準(zhǔn)，必須用對(duì)極幾何來在X射線空間中重建基準(zhǔn)物的3D位置。那么，X射線空間的基準(zhǔn)物可以配準(zhǔn)到CT空間中的基準(zhǔn)物。對(duì)極幾何把兩個(gè)已知的C型臂姿態(tài)作為輸入。
[0012]因此，基于圖像和基于基準(zhǔn)物的2D/3D配準(zhǔn)都需要快速和準(zhǔn)確的C型臂姿態(tài)恢復(fù)方法。遺憾的是，只有極少數(shù)醫(yī)院擁有有能力估計(jì)和跟蹤X射線姿態(tài)的昂貴的高端移動(dòng)C型臂。當(dāng)前應(yīng)用在醫(yī)院的大多數(shù)臨床C型臂不提供姿態(tài)跟蹤能力。
【發(fā)明內(nèi)容】

[0013]本發(fā)明提供了用于在內(nèi)窺鏡流程期間的X射線姿態(tài)恢復(fù)的方法、系統(tǒng)和程序產(chǎn)品O
[0014]根據(jù)一個(gè)實(shí)施例，提供了一種用于在內(nèi)窺鏡流程期間進(jìn)行X射線姿態(tài)恢復(fù)的方法?；鶞?zhǔn)物附著于內(nèi)窺鏡遠(yuǎn)端區(qū)域的表面。在姿態(tài)變化前以第一姿態(tài)拍攝X射線圖像，在姿態(tài)變化后以第二姿態(tài)拍攝X射線圖像，作為其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域的三維曲線的二維投影。在姿態(tài)變化期間保持內(nèi)窺鏡穩(wěn)定。利用分割方法確定基準(zhǔn)物在每個(gè)二維X射線圖像上的位置。然后，利用來自至少兩個(gè)不同姿態(tài)的二維投影的其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線執(zhí)行迭代優(yōu)化，以確定從第一 X射線姿態(tài)到第二 X射線姿態(tài)的C型臂三維平移和旋轉(zhuǎn)。
[0015]根據(jù)本發(fā)明的一個(gè)實(shí)施例，迭代優(yōu)化步驟整合對(duì)事先已知的先驗(yàn)形狀(例如曲率)、幾何約束來進(jìn)行姿態(tài)的迭代估計(jì)。
[0016]根據(jù)本發(fā)明的一個(gè)實(shí)施例，迭代優(yōu)化步驟利用基準(zhǔn)物的對(duì)應(yīng)關(guān)系進(jìn)行姿態(tài)的迭代估計(jì)。
[0017]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述迭代優(yōu)化還利用先驗(yàn)形狀模型以在迭代過程中約束估計(jì)并加快收斂。
[0018]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述迭代優(yōu)化還利用預(yù)定幾何約束以在迭代過程中約束估計(jì)并加快收斂。
[0019]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述迭代優(yōu)化步驟包括:
[0020]做出初始姿態(tài)估計(jì)；
·[0021]重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀；
[0022]測(cè)試收斂；
[0023]在不滿足收斂測(cè)試時(shí)，利用受限解剖結(jié)構(gòu)中內(nèi)窺鏡的先驗(yàn)幾何約束(例如內(nèi)窺鏡必須要在氣道支氣管中，因此內(nèi)窺鏡的曲率是預(yù)先定義的)，來細(xì)化其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀；
[0024]做出迭代姿態(tài)估計(jì)，并重復(fù)形狀估計(jì)和收斂測(cè)試的步驟；
[0025]在滿足收斂測(cè)試時(shí)，輸出最終的姿態(tài)估計(jì)。
[0026]根據(jù)本發(fā)明的一個(gè)實(shí)施例，將先驗(yàn)形狀與幾何約束中的至少一個(gè)與來自二維投影的三維形狀的重建進(jìn)行比較以改進(jìn)收斂。
[0027]根據(jù)本發(fā)明的一個(gè)實(shí)施例，將先驗(yàn)形狀與幾何約束中的至少一個(gè)與三維形狀的重建進(jìn)行比較以測(cè)試收斂。
[0028]根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種用于在內(nèi)窺鏡流程期間進(jìn)行X射線姿態(tài)恢復(fù)的系統(tǒng)。該系統(tǒng)包括:
[0029]內(nèi)窺鏡，其具有附著于其上的基準(zhǔn)物；
[0030]C型臂熒光鏡，其用于生成內(nèi)部的患者特征的熒光檢查圖像；
[0031]處理器，其用于處理來自C型臂的熒光檢查圖像，并提供內(nèi)部的患者特征的已處理圖像以供在流程中使用；
[0032]存儲(chǔ)器，其操作性連接到所述處理器并且其上編碼了:
[0033]能夠由處理器執(zhí)行以利用分割來定位所述基準(zhǔn)物的程序指令；[0034]能夠由所述處理器執(zhí)行以利用內(nèi)窺鏡帶基準(zhǔn)物區(qū)域的三維曲線的兩個(gè)二維投影來執(zhí)行迭代優(yōu)化以確定所述C型臂從第一 X射線姿態(tài)到第二 X射線姿態(tài)的三維平移和旋轉(zhuǎn)的程序指令。
[0035]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述基準(zhǔn)物是附著于內(nèi)窺鏡外表面的對(duì)輻射不透明的環(huán)。
[0036]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述迭代優(yōu)化程序指令重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀，所述基準(zhǔn)物間隔開已知間距，將所述間距與所述三維形狀的重建進(jìn)行比較以改進(jìn)收斂。
[0037]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述迭代優(yōu)化程序指令重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀，所述基準(zhǔn)物間隔開已知間距，將所述間距與所述三維形狀的重建進(jìn)行比較以測(cè)試收斂。
[0038]根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括其上具有指令程序的計(jì)算機(jī)可讀非易失性存儲(chǔ)介質(zhì)，包括:
[0039]用于利用處于第一 C型臂姿態(tài)的C型臂拍攝X射線熒光檢查圖像以捕獲內(nèi)窺鏡中的其上帶有基準(zhǔn)物的區(qū)域作為其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的二維投影的程序指令；
[0040]用于將所述C型臂從所述第一姿態(tài)移動(dòng)到處于另一視角的第二姿態(tài)同時(shí)維持所述內(nèi)窺鏡的位置的程序指令；
[0041]用于利用處于第二 C型臂姿態(tài)的C型臂拍攝另一 X射線熒光檢查圖像以捕獲其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域作為其上帶有基準(zhǔn)物的所述內(nèi)窺鏡中區(qū)域的三維曲線的另一二維投影的程序指令；
[0042]用于利用分割 方法確定所述基準(zhǔn)物在每個(gè)二維熒光檢查圖像上的位置的程序指令；以及
[0043]用于利用其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的兩個(gè)二維投影來執(zhí)行迭代優(yōu)化以確定從第一 X射線姿態(tài)到第二 X射線姿態(tài)的C型臂三維平移和旋轉(zhuǎn)的程序指令。
【專利附圖】

【附圖說明】
[0044]在結(jié)合附圖閱讀時(shí)，從優(yōu)選實(shí)施例的以下詳細(xì)描述，將更清晰地理解本發(fā)明的特征和優(yōu)點(diǎn)。附圖中包括以下圖示:
[0045]圖1是在本發(fā)明的實(shí)施例中使用的C型臂的等距視圖；
[0046]圖2示出了使用C型臂來弓丨導(dǎo)內(nèi)窺鏡的內(nèi)窺鏡流程；
[0047]圖3是根據(jù)本發(fā)明的實(shí)施例的在內(nèi)窺鏡流程期間用于X射線姿態(tài)恢復(fù)的系統(tǒng)的方框圖；
[0048]圖4示出了根據(jù)本發(fā)明實(shí)施例的內(nèi)窺鏡遠(yuǎn)端，所述內(nèi)窺鏡具有附著于其上的基準(zhǔn)物；
[0049]圖5示出了根據(jù)本發(fā)明的實(shí)施例的X射線姿態(tài)之間的C型臂運(yùn)動(dòng)；
[0050]圖6和7分別示出了根據(jù)本發(fā)明的實(shí)施例的姿態(tài)變化前后的X射線圖像；
[0051]圖8是根據(jù)本發(fā)明的實(shí)施例的在內(nèi)窺鏡流程期間用于X射線姿態(tài)恢復(fù)的方法的流程圖；并且
[0052]圖9是根據(jù)本發(fā)明實(shí)施例的用于姿態(tài)估計(jì)的迭代優(yōu)化程序指令的流程圖。
【具體實(shí)施方式】[0053]本發(fā)明提供了用于在內(nèi)窺鏡流程期間的X射線姿態(tài)恢復(fù)的方法、系統(tǒng)和程序產(chǎn)品。根據(jù)本發(fā)明的一個(gè)實(shí)施例，在程序之前將基準(zhǔn)物置于內(nèi)窺鏡的遠(yuǎn)端。利用內(nèi)窺鏡上內(nèi)部基準(zhǔn)物和內(nèi)窺鏡曲率的對(duì)應(yīng)關(guān)系來進(jìn)行姿態(tài)恢復(fù)。
[0054]圖1示出了具有X射線源110的移動(dòng)C型臂100。如圖2中所示，可以將移動(dòng)C型臂用于X射線引導(dǎo)的內(nèi)窺鏡檢查。通過來自C型臂100的X射線圖像引導(dǎo)內(nèi)窺鏡200。
[0055]圖3是根據(jù)本發(fā)明實(shí)施例的用于X射線姿態(tài)恢復(fù)的系統(tǒng)方框圖。處理單元300被操作性連接到存儲(chǔ)器320的處理器310。根據(jù)一個(gè)實(shí)施例，它們通過總線330連接。處理器310可以是能夠執(zhí)行程序指令的任何裝置，例如一個(gè)或多個(gè)微處理器。存儲(chǔ)器可以是任何易失性或非易失性存儲(chǔ)設(shè)備，例如可移除盤、硬盤驅(qū)動(dòng)器、CD、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)等。
[0056]顯示器340還操作性連接到處理器310。顯示器可以是適于呈現(xiàn)能夠呈現(xiàn)醫(yī)學(xué)圖像的圖形用戶界面(⑶I)的任何監(jiān)視器、屏幕等。
[0057]C型臂100操作性連接到處理器310。C型臂向處理器310提供X射線成像數(shù)據(jù)，以創(chuàng)建解剖特征的X射線圖像。然后在顯示器340上呈現(xiàn)X射線圖像。
[0058]內(nèi)窺鏡200裝配有基準(zhǔn)物400，基準(zhǔn)物400可以在處理器310生成的X射線圖像中看到并呈現(xiàn)于顯示器340上。基準(zhǔn)物400可以采取裝配于內(nèi)窺鏡200外表面的對(duì)輻射不透明的環(huán)的形式。根據(jù)一個(gè)實(shí)施例，基準(zhǔn)物400設(shè)置于內(nèi)窺鏡200的遠(yuǎn)端，使得它們將始終處于感興趣區(qū)域，因此處于C型臂100的視場(chǎng)中。這是在X射線圖像的幀中被捕獲的區(qū)域。精確測(cè)量(或設(shè)置)基準(zhǔn)物400之間的距離。
[0059]圖4示出了根據(jù)本發(fā)明實(shí)施例的內(nèi)窺鏡的遠(yuǎn)端，基準(zhǔn)物附著于其上。在圖示的實(shí)施例中，基準(zhǔn)物400是分別在位置afa4附著于內(nèi)窺鏡200外表面的一系列環(huán)401-404。相對(duì)于內(nèi)窺鏡200的遠(yuǎn)端尖端b,位置S1-S4是已知的。
[0060]根據(jù)各種備選的實(shí)施例，基準(zhǔn)物可以是能夠容易固定到內(nèi)窺鏡的規(guī)定數(shù)量的珠子、螺旋曲線、閉合曲線(其幾何結(jié)構(gòu)部分或完全已知)、或它們的組合。備選地，基準(zhǔn)物可以嵌入內(nèi)窺鏡中?；鶞?zhǔn)物400的相對(duì)位置是精確確定的或事先已知的。
[0061]返回到圖3，存儲(chǔ)器320上編碼有程序指令322，可以由處理器310執(zhí)行程序指令322以處理來自C型臂100的X射線圖像。除了用于處理圖像以在顯示器340上表達(dá)的程序指令之外，還提供了指令程序324，其進(jìn)行姿態(tài)恢復(fù)以及2D X射線圖像與流程之前產(chǎn)生的3D圖像空間的配準(zhǔn)。
[0062]姿態(tài)恢復(fù)指令程序324包括可以由處理器310執(zhí)行以利用分割來定位基準(zhǔn)物的程序指令326。亦即，基準(zhǔn)物位置程序指令326定位基準(zhǔn)物在2D X射線圖像中的位置。基準(zhǔn)物位置程序指令326可以使用適于在X射線圖像之內(nèi)定位高對(duì)比度圖像片段的中心的任何分割程序。這些分割程序是本領(lǐng)域公知的，在本申請(qǐng)中將不再進(jìn)一步描述?；鶞?zhǔn)物位置程序指令326可以是姿態(tài)恢復(fù)程序324的部分，或可以是可由姿態(tài)恢復(fù)程序324調(diào)用的獨(dú)立程序或模塊。[0063]姿態(tài)恢復(fù)指令程序324還包括可以由處理器310執(zhí)行以進(jìn)行內(nèi)窺鏡200形狀的迭代優(yōu)化的程序指令328。根據(jù)本發(fā)明的實(shí)施例，使用姿態(tài)估計(jì)以及內(nèi)窺鏡有基準(zhǔn)物區(qū)域的三維曲線從兩個(gè)不同姿態(tài)進(jìn)行的二維投影，重建的有基準(zhǔn)物功能的內(nèi)窺鏡的三維形狀。對(duì)姿態(tài)估計(jì)進(jìn)行細(xì)化并再次重建三維形狀。將過程重復(fù)固定的迭代次數(shù)或直到實(shí)現(xiàn)滿意的重建。使用這種迭代過程確定相對(duì)于彼此的姿態(tài)。即確定C型臂從第一X射線姿態(tài)到第二X射線姿態(tài)的三維平移和三維旋轉(zhuǎn)。在兩種C型臂姿態(tài)之間保持內(nèi)窺鏡的實(shí)際位置恒定，并將所得的X射線圖像用作優(yōu)化過程的輸入。
[0064]圖5示出了根據(jù)本發(fā)明實(shí)施例的C型臂重新定位。具體而言，C型臂100的X射線源110被示為在3D空間中相對(duì)于內(nèi)窺鏡200處于第一 X射線姿態(tài)IlOA和第二 X射線姿態(tài)IlOB0 X射線源具有六個(gè)自由度:沿X軸、Y軸和Z軸的三個(gè)平移(T)，以及關(guān)于X軸、Y軸和Z軸的三個(gè)旋轉(zhuǎn)(R)。將內(nèi)窺鏡200保持穩(wěn)定,使其對(duì)于第一姿態(tài)和第二姿態(tài)都處于具有相同曲線的相同位置。
[0065]圖6是來自圖5中的第一姿態(tài)的X射線圖像，圖7是來自圖5中的話第二姿態(tài)的X射線圖像。X射線圖像分別示出了內(nèi)窺鏡三維曲線從第一姿態(tài)和第二姿態(tài)的視角的二維投影。由于內(nèi)窺鏡200從第一姿態(tài)到第二姿態(tài)保持穩(wěn)定，因而X射線圖像是內(nèi)窺鏡200的相同三維曲線的投影。
[0066]假如內(nèi)窺鏡的3D曲線，從第一基準(zhǔn)物到尖端b，對(duì)于兩個(gè)X射線圖像的截圖保持相同，則可以使用這一 3D曲線的兩個(gè)2D投影:SI (aib)和S2 (aib)進(jìn)行變換矩陣從第一姿態(tài)到第二姿態(tài)的迭代優(yōu)化。如前所述，根據(jù)一個(gè)實(shí)施例，進(jìn)行姿態(tài)估計(jì)，并利用姿態(tài)估計(jì)和內(nèi)窺鏡3D曲線的2D投影，重建3D曲線。然后，細(xì)化姿態(tài)估計(jì)，再次重建內(nèi)窺鏡的3D曲線。重復(fù)這個(gè)迭代過程，直到符合結(jié)束條件，例如預(yù)定次數(shù)的迭代、姿態(tài)估計(jì)或重建的3D曲線中的閾值變化。根據(jù)一個(gè)實(shí)施例，姿態(tài)估計(jì)包括變換矩陣值的估計(jì)(X射線源的三個(gè)平移和三個(gè)旋轉(zhuǎn))。
[0067]在另一實(shí)施例中，作為先驗(yàn)知識(shí)精確確定每對(duì)基準(zhǔn)物之間的距離，可以使用基準(zhǔn)物的對(duì)應(yīng)關(guān)系(即，對(duì)于兩個(gè)X射線結(jié)果，基準(zhǔn)物都在三維空間中的相同點(diǎn)處)進(jìn)行姿態(tài)恢復(fù)估計(jì)。亦即，可以利用姿態(tài)估計(jì)和2D投影中的距離計(jì)算基準(zhǔn)物之間的距離。然后可以將這些計(jì)算的距離與預(yù)定的實(shí)際距離進(jìn)行比較，并可以細(xì)化姿態(tài)估計(jì)。
[0068]在又一實(shí)施例中，可以使用曲線和基準(zhǔn)物的對(duì)應(yīng)關(guān)系來進(jìn)行姿態(tài)恢復(fù)?；趯?duì)極幾何和三角測(cè)量算法，如果在2D圖像中識(shí)別了對(duì)應(yīng)的基準(zhǔn)物，就能夠恢復(fù)拍攝2D圖像的兩個(gè)攝像機(jī)姿態(tài)(或X射線姿態(tài))之間的相對(duì)平移和旋轉(zhuǎn)。如果內(nèi)窺鏡的3D曲線是已知的，優(yōu)化將會(huì)更快更準(zhǔn)確地收斂。
[0069]根據(jù)本發(fā)明的各個(gè)實(shí)施例，可以向優(yōu)化方案增加內(nèi)窺鏡的預(yù)定形狀(先驗(yàn)形狀)、預(yù)定的幾何約束或它們的組合。先驗(yàn)形狀和幾何約束可用于改進(jìn)迭代優(yōu)化的收斂速度和精確度。根據(jù)各實(shí)施例，先驗(yàn)形狀和幾何約束可以由系統(tǒng)用戶輸入、存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)的圖像數(shù)據(jù)(例如手術(shù)前CT掃描)來確定。
[0070]可以從內(nèi)窺鏡定位于特定氣道段(例如，在右上葉還是左下葉中，內(nèi)窺鏡的形狀會(huì)是有區(qū)別性的，符合氣道的形狀)的知識(shí)導(dǎo)出先驗(yàn)形狀?？梢詮尼t(yī)學(xué)圖集或患者的手術(shù)前CT掃描獲得先驗(yàn)形狀。
[0071]幾何約束可以從手術(shù)前測(cè)量導(dǎo)出，或者可以存儲(chǔ)在存儲(chǔ)器中，從數(shù)據(jù)源下載，或以其他方式針對(duì)具體內(nèi)窺鏡提供。幾何約束可以包括，例如內(nèi)窺鏡的直徑、基準(zhǔn)物的厚度、延長(zhǎng)的活檢針的長(zhǎng)度或可以在手術(shù)前獲得的內(nèi)窺鏡或基準(zhǔn)物的任何其他幾何性質(zhì)。
[0072]圖8是根據(jù)本發(fā)明的實(shí)施例的用于在內(nèi)窺鏡流程期間的X射線姿態(tài)恢復(fù)的方法方框圖。盡管以下描述討述了肺部氣道中的流程，但顯然，本發(fā)明不限于本范例。相反，可以在任何內(nèi)窺鏡流程期間實(shí)踐本發(fā)明。
[0073]肺病專家利用處于第一姿態(tài)的C型臂驅(qū)動(dòng)具有附接于周邊的氣道的基準(zhǔn)物400的內(nèi)窺鏡200 (步驟810)。因?yàn)樵谶@個(gè)步驟中C型臂保持在相同姿態(tài)，所以可以利用熒光檢查圖像實(shí)時(shí)跟蹤內(nèi)窺鏡。
[0074]肺病專家讓技術(shù)人員拍攝第一姿態(tài)的X射線圖像(步驟820)。因?yàn)榛鶞?zhǔn)物400定位于內(nèi)窺鏡的遠(yuǎn)端，所以被定位為拍攝內(nèi)窺鏡遠(yuǎn)端的X射線圖像拍攝了所有基準(zhǔn)物。
[0075]肺病專家將內(nèi)窺鏡200保持穩(wěn)定，讓技術(shù)人員移動(dòng)C型臂，將姿態(tài)從第一姿態(tài)變?yōu)榈诙藨B(tài)(步驟830 )。因?yàn)閮?nèi)窺鏡200保持穩(wěn)定，所以在第二姿態(tài)拍攝的X射線圖像中內(nèi)窺鏡200和附著于它的基準(zhǔn)物400將在它們?cè)诘谝蛔藨B(tài)拍攝的X射線圖像中處于三維空間中相同的位置。
[0076]肺病專家讓技術(shù)人員拍攝第二姿態(tài)的X射線圖像(步驟840)。由于重新定位C型臂導(dǎo)致視角變化，所以在第二姿態(tài)中，內(nèi)窺鏡三維曲線的二維投影將是不同的。
[0077]由處理器310執(zhí)行利用分割方法的姿態(tài)恢復(fù)指令程序324中用于定位基準(zhǔn)物的程序指令326，以確定在第一姿態(tài)下基準(zhǔn)物在二維X射線圖像中的位置(步驟850)?？梢栽谥匦露ㄎ籆型臂之前任選地執(zhí)行這個(gè)步驟。
[0078]由處理器310執(zhí)行利用分割方法的姿態(tài)恢復(fù)指令程序324中用于定位基準(zhǔn)物的程序指令326，以確定在第二姿態(tài)下基準(zhǔn)物在二維X射線圖像中的位置(步驟860)。
[0079]姿態(tài)恢復(fù)指令程序324中的迭代優(yōu)化程序指令328確定從第一姿態(tài)到第二姿態(tài)的變換矩陣(姿態(tài)恢復(fù))(步驟870)。`
[0080]圖9是根據(jù)本發(fā)明的實(shí)施例的來自圖8的姿態(tài)估計(jì)迭代優(yōu)化程序指令的詳細(xì)流程圖(步驟871 )。初始化是基于已知信息，例如2D投影圖像中基準(zhǔn)物的對(duì)應(yīng)關(guān)系，對(duì)X射線姿態(tài)進(jìn)行的粗略估計(jì)。初始姿態(tài)估計(jì)的形式是從第一姿態(tài)的X射線源110的位置和取向到第二姿態(tài)的X射線源110的位置和取向的變換矩陣。
[0081]利用初始姿態(tài)估計(jì)以及針對(duì)第一姿態(tài)和第二姿態(tài)的每個(gè)所確定的基準(zhǔn)物的2D投影位置，姿態(tài)恢復(fù)指令程序324中的迭代優(yōu)化程序指令328重建內(nèi)窺鏡2D形狀(步驟872 )。
[0082]迭代優(yōu)化程序指令328接收先驗(yàn)形狀和幾何約束(如果提供了的話)并將它們與計(jì)算的3D形狀比較(步驟873 )。先驗(yàn)形狀和幾何約束可以由技術(shù)人員基于手術(shù)前測(cè)量輸入，或可以從制造數(shù)據(jù)檢索它們，或可以從手術(shù)前CT圖像采集它們。例如，可以利用擬合計(jì)算優(yōu)度、最小方差剩余誤差估計(jì)、邏輯回歸等，來將計(jì)算的形狀和先驗(yàn)形狀或幾何約束進(jìn)行比較。
[0083]迭代優(yōu)化程序指令328測(cè)試迭代優(yōu)化的收斂(步驟874)?？梢詫⑹諗慷x為迭代可能收斂的預(yù)定次數(shù)。在這種情況下，測(cè)試會(huì)包括迭代計(jì)數(shù)器以及判斷是否達(dá)到閾值計(jì)數(shù)的測(cè)試。
[0084]備選地，可以將收斂定義為3D曲線的擬合閾值優(yōu)度或與3D曲線的先前迭代的閾值差異、3D空間中基準(zhǔn)物的位置或任何其他適當(dāng)?shù)氖諗繙y(cè)試。[0085]如果未滿足步驟874的收斂測(cè)試，那么迭代優(yōu)化程序指令328細(xì)化3D形狀(步驟875)。亦即，3D曲線的估計(jì)被變?yōu)楦芮衅ヅ湎闰?yàn)形狀和/或幾何約束?；蛘?，如果未提供先驗(yàn)形狀或幾何約束，通過進(jìn)行到達(dá)先前的形狀的迭代步驟來細(xì)化內(nèi)窺鏡曲線的3D形狀。
[0086]迭代優(yōu)化程序指令328基于細(xì)化的內(nèi)窺鏡3D形狀做出新的姿態(tài)估計(jì)(步驟876)。亦即，基于細(xì)化的內(nèi)窺鏡3D形狀做出變換矩陣新的估計(jì)值。
[0087]如果在步驟874中符合收斂測(cè)試，那么迭代優(yōu)化程序指令328將估計(jì)的姿態(tài)輸出為最終估計(jì)姿態(tài)(步驟877)。
[0088]本發(fā)明能夠采取有形介質(zhì)上編碼的程序指令的形式。這樣一來，本發(fā)明可以是完全硬件的實(shí)施例、完全軟件的實(shí)施例或包含硬件和軟件元件的實(shí)施例。在示范性實(shí)施例中，將本發(fā)明實(shí)現(xiàn)于軟件中，其包括，但不限于固件、常駐軟件、微代碼等。 [0089]此外，本發(fā)明可以采取可從計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)訪問的非易失性計(jì)算機(jī)程序產(chǎn)品的形式，提供程序代碼，供計(jì)算機(jī)或任何指令執(zhí)行系統(tǒng)或設(shè)備使用或者與其結(jié)合使用。出于本說明的目的，計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)可以是，可以包含或存儲(chǔ)由指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或結(jié)合指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用的程序的任何裝置。
[0090]可以由包括機(jī)器可讀介質(zhì)的程序產(chǎn)品實(shí)來現(xiàn)前述方法，機(jī)器可讀介質(zhì)具有機(jī)器可執(zhí)行指令程序，在由諸如計(jì)算機(jī)的機(jī)器執(zhí)行時(shí)，該程序執(zhí)行方法的步驟。這種程序產(chǎn)品可以存儲(chǔ)于任何各種已知的機(jī)器可讀介質(zhì)上，包括，但不限于光盤、軟盤、USB存儲(chǔ)設(shè)備等。
[0091]介質(zhì)可以是電子的、磁的、光的、電磁的、紅外的或半導(dǎo)體系統(tǒng)(或設(shè)備或設(shè)備)。計(jì)算機(jī)可讀介質(zhì)的范例包括半導(dǎo)體或固態(tài)存儲(chǔ)器、磁帶、可移除計(jì)算機(jī)盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬磁盤和光盤。當(dāng)前光盤的范例包括光盤-只讀存儲(chǔ)器(CD-ROM)、光盤-讀 / 寫(CD-R/W)和 DVD。
[0092]前面的描述和附圖意在進(jìn)行例示，并非要限制本發(fā)明。本發(fā)明的范圍意在在權(quán)利要求的最大可能范圍內(nèi)涵蓋等價(jià)變化和配置。
【權(quán)利要求】
1.一種用于在內(nèi)窺鏡流程期間進(jìn)行X射線姿態(tài)恢復(fù)的方法，包括如下步驟: 利用處于第一 C型臂姿態(tài)的C型臂拍攝X射線熒光檢查圖像，以捕獲其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域作為其上帶有所述基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的二維投影； 將所述C型臂從所述第一姿態(tài)移動(dòng)到處于另一視角的第二姿態(tài)，同時(shí)維持內(nèi)窺鏡的位置； 利用處于第二 C型臂姿態(tài)的所述C型臂拍攝另一 X射線熒光檢查圖像，以捕獲其上帶有所述基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域作為其上帶有所述基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的另一二維投影； 利用分割方法確定所述基準(zhǔn)物在每個(gè)二維熒光檢查圖像上的位置；以及利用其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的所述三維曲線的兩個(gè)二維投影來執(zhí)行迭代優(yōu)化，以確定從第一 X射線姿態(tài)到第二 X射線姿態(tài)的所述C型臂的三維平移和旋轉(zhuǎn)。
2.根據(jù)權(quán)利要求1所述的方法，其中，以變換矩陣的形式提供所述平移和旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述迭代優(yōu)化的步驟優(yōu)化所述基準(zhǔn)物處的所述內(nèi)窺鏡的曲線。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述優(yōu)化的步驟優(yōu)化所述基準(zhǔn)物的對(duì)應(yīng)關(guān)系。
5.根據(jù)權(quán)利要求1所述的方 法，其中，所述迭代優(yōu)化還利用先驗(yàn)形狀模型以在迭代過程中約束估計(jì)并加快收斂。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述迭代優(yōu)化還利用預(yù)定幾何約束以在迭代過程中約束估計(jì)并加快收斂。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述迭代優(yōu)化步驟包括: 做出初始姿態(tài)估計(jì)； 重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀； 測(cè)試收斂； 在不滿足收斂測(cè)試時(shí)，細(xì)化其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀； 做出迭代姿態(tài)估計(jì)，并重復(fù)形狀估計(jì)和收斂測(cè)試的步驟； 在滿足所述收斂測(cè)試時(shí)，輸出最終的姿態(tài)估計(jì)。
8.根據(jù)權(quán)利要求7所述的方法，其中，將先驗(yàn)形狀和幾何約束中的至少一項(xiàng)與所述三維形狀的重建進(jìn)行比較，以改進(jìn)收斂。
9.根據(jù)權(quán)利要求1所述的方法，其中，將先驗(yàn)形狀和幾何約束中的至少一項(xiàng)與所述三維形狀的重建進(jìn)行比較，以測(cè)試收斂。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述基準(zhǔn)物包括附著于所述內(nèi)窺鏡的外表面的對(duì)輻射不透明的環(huán)。
11.一種用于在內(nèi)窺鏡流程期間進(jìn)行X射線姿態(tài)恢復(fù)的系統(tǒng)，包括: 內(nèi)窺鏡，其具有附著于其上的基準(zhǔn)物； C型臂熒光鏡，其用于生成內(nèi)部患者特征的熒光檢查圖像； 處理器，其用于處理來自C型臂的熒光檢查圖像，并提供內(nèi)部患者特征的已處理圖像以在所述流程中使用； 存儲(chǔ)器，其操作性連接到所述處理器并且其上編碼了: 能夠由所述處理器執(zhí)行以利用分割來定位所述基準(zhǔn)物的程序指令；能夠由所述處理器執(zhí)行以利用其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的兩個(gè)二維投影來執(zhí)行迭代優(yōu)化以確定所述C型臂從第一 X射線姿態(tài)到第二 X射線姿態(tài)的三維平移和旋轉(zhuǎn)的程序指令。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述基準(zhǔn)物是附著于所述內(nèi)窺鏡的外表面的對(duì)輻射不透明的環(huán)。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述迭代優(yōu)化的程序指令優(yōu)化所述基準(zhǔn)物處的所述內(nèi)窺鏡的曲線。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述優(yōu)化的程序指令優(yōu)化所述基準(zhǔn)物的對(duì)應(yīng)關(guān)系。
15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述迭代優(yōu)化的程序指令重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀，所述基準(zhǔn)物間隔開已知的間距，將所述間距與所述三維形狀的重建進(jìn)行比較以改進(jìn)收斂。
16.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述迭代優(yōu)化的程序指令重建其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維形狀，所述基準(zhǔn)物間隔開已知的間距，將所述間距與所述三維形狀的重建進(jìn)行比較以測(cè)試收斂。
17.一種計(jì)算機(jī)程序產(chǎn)品，其包括其上具有指令程序的計(jì)算機(jī)可讀非易失性存儲(chǔ)介質(zhì)，包括: 用于利用處于第一C型臂姿態(tài)的C型臂拍攝X射線熒光檢查圖像以捕獲其上帶有基準(zhǔn)物的內(nèi)窺鏡區(qū)域作為其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的二維投影的程序指令； 用于將所述C型臂從第一姿態(tài)移動(dòng)到處于另一視角的第二姿態(tài)同時(shí)維持所述內(nèi)窺鏡的位置的程序指令； 用于利用處于第二 C型臂姿態(tài)的所述C型臂拍攝另一 X射線熒光檢查圖像以捕獲其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域作為其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的另一二維投影的程序指令； 用于利用分割方法來確定所述基準(zhǔn)物在每個(gè)二維熒光檢查圖像上的位置的程序指令；以及 用于利用其上帶有基準(zhǔn)物的所述內(nèi)窺鏡區(qū)域的三維曲線的兩個(gè)二維投影來執(zhí)行迭代優(yōu)化以確定從第一 X射線姿態(tài)到第二 X射線姿態(tài)的C型臂的三維平移和旋轉(zhuǎn)的程序指令。
【文檔編號(hào)】A61B6/12GK103582453SQ201280016368
【公開日】2014年2月12日 申請(qǐng)日期:2012年3月29日 優(yōu)先權(quán)日:2011年4月1日
【發(fā)明者】X·劉, A·K·賈殷 申請(qǐng)人:皇家飛利浦有限公司