熒光鏡位姿估計的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求2014年7月2日提交的美國臨時專利申請No. 62/020, 250的權(quán)益和 優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用合并于此。
技術(shù)領(lǐng)域
[0003] 本公開涉及用于外科程序的導(dǎo)航和位置確認的系統(tǒng)、裝置和方法。更具體地，本公 開涉及找出關(guān)于CT的熒光鏡投影變量（角度、焦點、變焦等等）以從CT提取有關(guān)數(shù)據(jù)并且 將其覆蓋在熒光鏡圖像上的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 已經(jīng)開發(fā)了與可視化患者的肺相關(guān)的可視化技術(shù)以幫助臨床醫(yī)生對患者的肺執(zhí) 行診斷和/或手術(shù)?？梢暬瘜τ谧R別患病區(qū)域的位置尤其重要。此外，當(dāng)治療患病區(qū)域時， 對識別患病區(qū)域的具體位置給予額外重視以使得在正確位置處執(zhí)行外科手術(shù)。
[0005] 例如，在肺中，已經(jīng)開發(fā)了支氣管內(nèi)導(dǎo)航系統(tǒng)，該支氣管內(nèi)導(dǎo)航系統(tǒng)使用CT圖像 數(shù)據(jù)來創(chuàng)建導(dǎo)航計劃，以便于使導(dǎo)航導(dǎo)管（或者其它合適的裝置）前進通過支氣管鏡和患 者的支氣管的分支而到感興趣區(qū)域?？梢栽谠\斷（即，活體組織檢查）階段和治療階段兩者 中采用支氣管內(nèi)導(dǎo)航。電磁跟蹤可以與CT數(shù)據(jù)結(jié)合使用以便于引導(dǎo)導(dǎo)航導(dǎo)管通過支氣管 的分支而到感興趣區(qū)域。在某些實例中，導(dǎo)航導(dǎo)管可以定位在鄰近感興趣區(qū)域或者感興趣 區(qū)域內(nèi)的分支內(nèi)腔網(wǎng)狀組織的氣道中的一個內(nèi)，以為一個或者多個醫(yī)療器械提供通路。然 而，由于繪制時間和對附近用戶的輻射危害，因此CT數(shù)據(jù)不是實時使用的。
[0006] -旦導(dǎo)航導(dǎo)管就位，可以使用熒光鏡檢查使醫(yī)療器械（包括活體組織檢查工具 (諸如，刷子、針和鑷子）以及治療工具（諸如消融導(dǎo)管））可視化，如它們實時穿過導(dǎo)航導(dǎo) 管并且進入到肺中以及到感興趣區(qū)域的那樣。常規(guī)熒光鏡檢查在醫(yī)療程序期間廣泛地用 作用于在人體內(nèi)部引導(dǎo)醫(yī)療器械的可視化成像工具。盡管在熒光鏡圖片上清楚地可見像導(dǎo) 管、活體組織檢查工具等等的醫(yī)療器械，但是諸如軟組織、血管、可疑腫瘤病變等等的器官 特性稍微透明或者完全透明并且因此難以用常規(guī)熒光鏡檢查識別。另外，熒光鏡圖像繪制 平面2D圖像，在該平面2D圖像上評估醫(yī)療器械的三維位置會稍微有挑戰(zhàn)性。因而，沒有向 臨床醫(yī)生提供能夠使患者身體內(nèi)的醫(yī)療裝置相對于感興趣區(qū)域的放置可視化所需要的全 部信息。
[0007] 盡管已知位姿估計方法，但這些方法具有限制。例如，由于非收斂最終可能沒有 解，或者收斂導(dǎo)致錯誤的解。計算時間沒有上限。一些方法需要使用4個點并且在這些點 上存在幾何約束，尤其是相對于共平面性。在以直觀方式調(diào)試故障中會有困難。此外，一些 方法需要精確的攝像機校準(zhǔn)。

【發(fā)明內(nèi)容】

[0008] 在實施例中，本公開公開了用于使用多個標(biāo)記使三維（3D)CT圖像數(shù)據(jù)與二維 (2D)熒光鏡圖像數(shù)據(jù)對準(zhǔn)的方法。方法包括搜索外側(cè)角和顱側(cè)角以及將標(biāo)記的3D質(zhì)心移 動至標(biāo)記的2D質(zhì)心與源之間的半線段。方法還包括計算傾側(cè)角、3D平移坐標(biāo)。連續(xù)預(yù)定次 數(shù)地計算傾側(cè)角和3D平移坐標(biāo)。基于外側(cè)角、顱側(cè)角、傾側(cè)角和3D平移坐標(biāo)將3D CT圖像 數(shù)據(jù)覆蓋在2D熒光鏡圖像數(shù)據(jù)上。
[0009] 在一個方面中，搜索外側(cè)角和顱側(cè)角包括在2D網(wǎng)格中嘗試樣本值、基于樣本值找 到最小值以及使用最陡下降法從最小值嘗試樣本值。
[0010] 在另一個方面中，計算傾側(cè)角包括計算在2D熒光鏡圖像數(shù)據(jù)中將標(biāo)記的2D質(zhì)心 接合至2D標(biāo)記的2D矢量、為投影的3D標(biāo)記計算投影的矢量以及確定傾側(cè)角，該傾側(cè)角為 2D矢量與投影的矢量之間的角度。
[0011] 在一個方面中，方法還包括基于外側(cè)角、顱側(cè)角和傾側(cè)角確定解的性能，其中通過 計算解的分?jǐn)?shù)確定性能。
[0012] 在另一個方面中，分?jǐn)?shù)確定為投影的3D標(biāo)記和2D標(biāo)記的中心之間的平均距離、投 影的3D標(biāo)記與2D標(biāo)記之間的長度的平均差和投影的3D標(biāo)記和2D標(biāo)記之間的平均角度差 的加權(quán)和。
[0013] 在一個方面中，計算3D平移坐標(biāo)包括獲得平行平移和獲得垂直平移。
[0014] 在另一個方面中，獲得平行平移包括通過將3D質(zhì)心移動至投影軸的中間并且對 3D質(zhì)心應(yīng)用平行于熒光平面的小平移來將投影的3D標(biāo)記的3D質(zhì)心擬合至2D質(zhì)心。
[0015] 在又另一個方面中，獲得垂直平移包括將2D標(biāo)記之間的相互距離與投影的3D標(biāo) 記之間的相互距離進行比較。
[0016] 在另一個實施例中，本公開公開了用于使用多個標(biāo)記使三維（3D)CT圖像數(shù)據(jù)與 二維（2D)熒光鏡圖像數(shù)據(jù)對準(zhǔn)的方法。方法包括獲得多個熒光標(biāo)記和CT標(biāo)記、搜索外側(cè) 角和顱側(cè)角、獲得平行平移坐標(biāo)和獲得垂直平移坐標(biāo)。確定多個較遠的熒光點和較遠的投 影點，并且還基于多個較遠的熒光點確定傾側(cè)角的多個可能的匹配。方法還包括在多個可 能的匹配之中選擇匹配，基于所選擇的匹配確定多個種子以及基于外側(cè)角、顱側(cè)角、平行平 移和垂直平移為多個種子之中的每個種子計算精確的3D變換。基于每個種子的精確的3D 變換確定多個局部最小值，并且使用最陡下降法從多個局部最小值中確定局部最小值。確 定與局部最小值相對應(yīng)的旋轉(zhuǎn)角和平移坐標(biāo)，并且基于確定的旋轉(zhuǎn)角和平移坐標(biāo)將3D CT 圖像數(shù)據(jù)覆蓋在2D熒光鏡圖像數(shù)據(jù)上。
[0017] 在一個方面中，搜索外側(cè)角和顱側(cè)角包括在2D網(wǎng)格中嘗試樣本值、基于樣本值找 到最小值以及使用最陡下降法從最小值嘗試樣本值。
[0018] 在另一個方面中，基于多個較遠的熒光點為傾側(cè)角確定多個可能的匹配包括濾出 禁用的傾側(cè)角和為多個可能匹配之中的每個匹配計算分?jǐn)?shù)。
[0019] 在又另一個方面中，在多個可能的匹配之中選擇匹配包括選擇具有最低分?jǐn)?shù)的匹 配。
[0020] 在不背離本公開范圍的情況下可以組合本公開的所有上述方面和實施例。
【附圖說明】
[0021] 在下文參照附圖描述本公開的各種方面和特性，其中：
[0022] 圖1是根據(jù)本公開的電磁導(dǎo)航系統(tǒng)的透視圖；
[0023] 圖2是配置為與圖1的系統(tǒng)一起使用的工作站的示意圖；
[0024] 圖3是并入圖1的EMN系統(tǒng)的熒光鏡成像C型臂的端視圖；
[0025] 圖4是表示使3D CT圖像數(shù)據(jù)與2D熒光鏡圖像數(shù)據(jù)對準(zhǔn)的問題的幾何結(jié)構(gòu)的圖 示；
[0026] 圖5是根據(jù)本公開用于計算一系列變換的方法的流程圖；
[0027] 圖6是根據(jù)本公開用于執(zhí)行3D CT圖像數(shù)據(jù)與2D熒光鏡圖像數(shù)據(jù)之間的對應(yīng)的 方法的流程圖；以及
[0028] 圖7是根據(jù)本公開描繪3D CT圖像數(shù)據(jù)與2D熒光鏡圖像數(shù)據(jù)的對準(zhǔn)的流程圖；以 及
[0029] 圖8是根據(jù)本公開由C型臂捕獲的示例熒光鏡圖像/視頻的圖示，示出了定位在 患者的目標(biāo)區(qū)內(nèi)的導(dǎo)管組件的標(biāo)記和延伸的工作通道。
【具體實施方式】
[0030] 本公開涉及用于找出相對于3D CT圖像數(shù)據(jù)的熒光鏡投影的裝置、系統(tǒng)和方法， 以將3D CT圖像的部分對準(zhǔn)到熒光鏡2D圖像上或者將3D CT圖像的部分覆蓋到熒光鏡 2D圖像上。2D和3D數(shù)據(jù)以不同參考定義，因而，需要精確地計算它們之間的旋轉(zhuǎn)角和平 移坐標(biāo)，以利用來自CT圖像的3D信息以及2D熒光鏡數(shù)據(jù)的精度和實時特征兩者。計 算可以基于在3D CT數(shù)據(jù)和2D熒光鏡數(shù)據(jù)兩者中測量的基準(zhǔn)標(biāo)記的坐標(biāo)。將CT圖像 的部分覆蓋到熒光鏡2D圖像上可能對使用電磁導(dǎo)航（EMN)系統(tǒng)執(zhí)行ELECTROMAGNETIC NAVIGATION BRONCHOSCOPY? (ENB)程序的用戶有用。
[0031] ENB程序通常至少包括兩個階段：（1)計劃到位于患者的肺內(nèi)或者鄰近患者的肺 的目標(biāo)的通路；以及（2)沿著計劃的通路將探頭導(dǎo)航到目標(biāo)。這些階段通常稱為（1)"計劃" 和⑵"導(dǎo)航"。在由Baker在2013年3月15日提交的全部以"Pathway Planning System and Method"為標(biāo)題的、共同擁有的序列號為13/838, 805、13/838, 997和13/839, 224的美 國專利申請中更充分地描述了 ENB程序的計劃階段，這些申請的全部內(nèi)容通過引用合并于 此?？梢栽跇?biāo)題為"SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG" 的共同轉(zhuǎn)讓 的美國臨時專利申請No. 62/020, 240中找到計劃軟件的示例，其全部內(nèi)容通過引用合并于 此。
[0032] 在計劃階段之前，通過例如計算機斷層成像（CT)掃描對患者的肺進行成像，當(dāng)然 另外的可適用的成像方法將是本領(lǐng)域技術(shù)人員已知的。隨后，在CT掃描期間匯集的圖像數(shù) 據(jù)可以以例如醫(yī)學(xué)的數(shù)字成像和通信（DIC0M)的格式存儲，當(dāng)然另外的可適用的格式將是 本領(lǐng)域技術(shù)人員已知的。隨后，可以將CT掃描圖像數(shù)據(jù)加載到計劃軟件應(yīng)用（"應(yīng)用"）中 以在ENB程序的計劃階段期間使用。
[0033] 參考附圖描述了系統(tǒng)和方法的實施例。在整個附圖的描述中，相同的參考數(shù)字可 以指代相似或者相同的要素。本說明書可以使用短語"在實施例中"、"在多個實施例中"、 "在一些實施例中"或者"在其它實施例中"，這些短語可以各自指代根據(jù)本公開的相同或者 不同實施例中的一個或者多個。
[0034] 參照圖1，根據(jù)本公開提供了電磁導(dǎo)航（EMN)系統(tǒng)10。除了其它任務(wù)外，可以使用 EMN系統(tǒng)10執(zhí)行的任務(wù)有計劃到目標(biāo)組織的通路、將定位組件導(dǎo)航到目標(biāo)組織、將活體組 織檢查工具導(dǎo)航到目標(biāo)組織以使用活體組織檢查工具從目標(biāo)組織獲得組織樣本、以及用數(shù) 字標(biāo)記獲得組織樣本的位置、以及將一個或者多個回波標(biāo)記放置在目標(biāo)處或者目標(biāo)周圍。
[0035] EMN系統(tǒng)10通常包括配置為支撐患者