亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

基于Kinect相機的術(shù)中實時注冊方法

文檔序號:1256901閱讀:268來源:國知局
基于Kinect相機的術(shù)中實時注冊方法
【專利摘要】本發(fā)明涉及一種基于Kinect相機的術(shù)中實時注冊方法,包括如下步驟:在患者腹部粘貼標記點;掃描患者腹部,獲取患者腹部的術(shù)前圖像;在術(shù)前圖像中提取術(shù)前標記點;利用Kinect相機獲取患者腹部的術(shù)中圖像,所述術(shù)中圖像包括在患者腹部設(shè)置的標記點的圖像信息;在術(shù)中圖像中提取術(shù)中標記點;對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像及術(shù)中圖像中的位置,避免了手動取點的過程,同時整個注冊過程對人體不具有傷害性,且通過Kinect相機采集到的術(shù)中圖像只有很小的誤差,從而有效降低配準誤差,最終得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。
【專利說明】基于Kinect相機的術(shù)中實時注冊方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及醫(yī)學圖像處理及應用【技術(shù)領(lǐng)域】,特別是涉及一種基于Kinect (Kinect 是微軟在2010年6月14日對XB0X360體感周邊外設(shè)正式發(fā)布的名字)相機的術(shù)中實時注 冊方法。

【背景技術(shù)】
[0002] 肝臟是原發(fā)性腫瘤轉(zhuǎn)移的常見位置之一,許多病人無法進行開腹切除手術(shù),熱消 融技術(shù)特別是射頻消融技術(shù)是治療肝腫瘤的一個重要手段。對于肝腫瘤的射頻消融手術(shù), 其關(guān)鍵是消融針的插入位置,特別是當肝腫瘤位于肝動脈及膽囊等重要臟器的附近時,消 融針的入針位置的選擇顯的尤為重要。因此,肝腫瘤射頻消融手術(shù)需要一種能夠幫助醫(yī)生 進行手術(shù)導航的方法。
[0003] 肝腫瘤射頻消融手術(shù)導航相對傳統(tǒng)硬組織手術(shù)導航,是一個較新的研究領(lǐng)域,同 時其面臨的困難要比硬組織大,傳統(tǒng)手術(shù)導航只需一次注冊(在手術(shù)中,一般需要通過術(shù)前 圖像與術(shù)中圖像的配準,確定消融針正確的插入點,從而避免損傷內(nèi)部重要器官,而配準的 過程就稱為"注冊")就能滿足這個導航過程,由于肝臟本身的特性及呼吸運動造成的偏移, 使得肝臟在手術(shù)過程中有較大形變,一次注冊難以滿足導航的需要,如何實現(xiàn)實時注冊成 為肝臟手術(shù)導航的關(guān)鍵。
[0004] 目前針對肝腫瘤射頻消融手術(shù)導航的注冊方法,主要是借助標記點進行術(shù)前圖像 空間的校準。用于軟組織導航的標記點注冊方法的關(guān)鍵問題是對標記點的實時檢測。目前 有人采用一次手動取點注冊并結(jié)合參考幀糾正呼吸運動造成的標記點偏移的方法來實現(xiàn) 實時注冊。還有人直接使用穿刺針綁定反光小球插入人體,然后用光學跟蹤儀對反光小球 進行實時跟蹤,并與術(shù)前CT (computed tomography,電子計算機X射線斷層掃描技術(shù)的簡 稱)圖像作配準。采用一次手動取點注冊并結(jié)合參考幀糾正呼吸運動造成的標記點偏移的 方法來實現(xiàn)實時注冊需要手動取點,誤差較大;且利用參考幀糾正呼吸運動造成的偏移的 方法不夠嚴謹,容易導致較大的配準誤差。而穿刺針綁定反光小球的方法對人體具有一定 的傷害性。


【發(fā)明內(nèi)容】

[0005] 基于此,有必要提供一種配準誤差較小且對人體沒有傷害的基于Kinect相機的 術(shù)中實時注冊方法。
[0006] 一種基于Kinect相機的術(shù)中實時注冊方法,包括如下步驟:
[0007] 在患者腹部粘貼標記點;
[0008] 掃描患者腹部,獲取患者腹部的術(shù)前圖像;
[0009] 在術(shù)前圖像中提取術(shù)前標記點;
[0010] 利用Kinect相機獲取患者腹部的術(shù)中圖像,所述術(shù)中圖像包括在患者腹部設(shè)置 的標記點的圖像信息;
[0011] 在術(shù)中圖像中提取術(shù)中標記點;
[0012] 對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。
[0013] 在其中一個實施例中,所述在術(shù)前圖像中提取術(shù)前標記點的步驟包括:
[0014] 采用區(qū)域增長法對所述術(shù)前圖像進行分割得到患者腹部的二值圖像;
[0015] 計算所述二值圖像的距離圖;
[0016] 根據(jù)所述距離圖從所述二值圖像中分割出患者腹部的上表面區(qū)域圖;
[0017] 計算腹部的上表面區(qū)域圖的高斯曲率得到曲率圖;
[0018] 提取所述曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標記點區(qū)域;
[0019] 計算所述術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。
[0020] 在其中一個實施例中,在所述掃描患者腹部,獲取患者腹部的術(shù)前圖像的步驟中, 所述術(shù)前圖像是采用電子計算機X射線斷層掃描技術(shù)或者磁共振成像技術(shù)獲得的CT圖像 或者MRI圖像。
[0021] 在其中一個實施例中,所述在利用Kinect相機獲取患者腹部的術(shù)中圖像的步驟 中,所述術(shù)中圖像包括利用Kinect相機獲取的RGB圖像以及與所述RGB圖像對應的深度圖 像。
[0022] 在其中一個實施例中,所述在術(shù)中圖像中提取術(shù)中標記點的步驟包括:
[0023] 計算所述RGB圖像中標記點的二維坐標值;
[0024] 根據(jù)所述深度圖像將所述二維坐標值變換到Kinect三維坐標空間中。
[0025] 在其中一個實施例中,所述計算所述RGB圖像中標記點的二維坐標值的步驟包 括:
[0026] 從所述RGB圖像中提取患者腹部皮膚圖像;
[0027] 從所述腹部皮膚圖像中分割出術(shù)中標記點區(qū)域;
[0028] 計算所述術(shù)中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。
[0029] 在其中一個實施例中,所述對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù) 中圖像之間的變換關(guān)系的步驟包括:
[0030] 采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準;
[0031 ] 采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準。
[0032] 在其中一個實施例中,所述采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準 的步驟包括:
[0033] 根據(jù)術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標與術(shù)前標記點質(zhì)心的坐標,計算出術(shù)前 局部距離圖并剔除所述術(shù)前局部距離圖中相似的元素;
[0034] 根據(jù)所述術(shù)前局部距離圖中剔除的元素刪除術(shù)前標記點區(qū)域內(nèi)的坐標點,集合術(shù) 前標記點區(qū)域內(nèi)剩余坐標點得到修改后的術(shù)前標記點集;
[0035] 集合所述術(shù)中標記點區(qū)域內(nèi)所有坐標點得到術(shù)中標記點集,從所述術(shù)中標記點集 中選取若干個標記點,且使得選取的標記點個數(shù)與術(shù)前標記點集中點的個數(shù)相同,并計算 出術(shù)中局部距離圖;
[0036] 對于所述術(shù)前局部距離圖中的每一個元素,根據(jù)局部距離的大小,在術(shù)中局部距 離圖中搜索與之最相近的局部距離,即為術(shù)前局部距離的對應元素,進而得到修改后的術(shù) 前標記點集的對應標記點集;
[0037] 采用最小二乘法對修改后的術(shù)前標記點集與對應標記點集作配準。
[0038] 在其中一個實施例中,所述采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精 配準的步驟包括:
[0039] 采用最近鄰點迭代法對術(shù)前標記點集與從術(shù)中標記點集中選取的標記點進行配 準,并得到配準誤差和變換矩陣;
[0040] 遍歷從術(shù)中標記點集中選取標記點的所有選點情況,分別計算出每種情況中得到 的配準誤差和變換矩陣,當所有選點情況計算結(jié)束時,保存最小的配準誤差以及相應的變 換矩陣。
[0041] 上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像 及術(shù)中圖像中的位置,避免了手動取點的過程,同時只需將標記點粘貼于腹部皮膚表面 且Kinect相機能夠?qū)崟r跟蹤標記點的位置,整個注冊過程對人體不具有傷害性,且通過 Kinect相機采集到的術(shù)中圖像只有很小的誤差,從而有效降低配準誤差,最終得到術(shù)前圖 像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。

【專利附圖】

【附圖說明】
[0042] 圖1為一個實施例的基于Kinect相機的術(shù)中實時注冊方法的流程圖。

【具體實施方式】
[0043] 為了解決目前針對肝腫瘤射頻消融手術(shù)導航的注冊方法會對人體造成傷害或者 配準誤差較大的問題,本實施方式提供了一種基于Kinect相機的術(shù)中實時注冊方法。下面 結(jié)合具體的實施例,對基于Kinect相機的術(shù)中實時注冊方法進行具體的描述。
[0044] 請參考圖1,本實施方式提供的基于Kinect相機的術(shù)中實時注冊方法包括如下步 驟:
[0045] 步驟SllO :在患者腹部粘貼標記點。為了在后續(xù)步驟中獲取腹部圖像的設(shè)備能夠 清晰地記錄下標記點在腹部的位置,在患者腹部粘貼的標記點的顏色應當與腹部皮膚的顏 色有顯著區(qū)別。
[0046] 步驟S120 :掃描患者腹部,獲取患者腹部的術(shù)前圖像。在手術(shù)之前,先拍攝好患者 腹部的術(shù)前圖像。在本實施方式中,術(shù)前圖像可以采用電子計算機X射線斷層掃描技術(shù)獲 得的CT圖像,也可以是采用磁共振成像技術(shù)獲得的MRKmagnetic resonance imaging,磁 共振成像)圖像。
[0047] 步驟S130 :在術(shù)前圖像中提取術(shù)前標記點。本步驟具體包括如下步驟:(1)采用 區(qū)域增長法對術(shù)前圖像進行分割得到患者腹部的二值圖像。(2)計算該二值圖像的距離圖。 (3)根據(jù)此距離圖從二值圖像中分割出患者腹部的上表面區(qū)域圖。(4)計算腹部的上表面 區(qū)域圖的高斯曲率得到曲率圖。(5)提取曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標 記點區(qū)域。在曲率圖中,通常某點的曲率值越大,其亮度也越大,因此,可以通過提取曲率圖 中較亮區(qū)域?qū)崿F(xiàn)提取曲率圖中曲率值大于預設(shè)閾值的區(qū)域,并將此區(qū)域作為術(shù)前標記點區(qū) 域。(6)計算術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。集合術(shù)前 標記點區(qū)域內(nèi)所有坐標點得到術(shù)前標記點集。
[0048] 步驟S140 :利用Kinect相機獲取患者腹部的術(shù)中圖像。在醫(yī)生對患者實施手術(shù) 的過程中,利用Kinect相機獲取患者腹部的術(shù)中圖像,術(shù)中圖像包括利用Kinect相機獲取 的RGB圖像以及與RGB圖像對應的深度圖像。Kinect相機是新興的科技產(chǎn)品,目前一般只 有Kinect相機才能同時拍攝到RGB圖像以及與RGB圖像對應的深度圖像。本實施方式充 分利用Kinect相機這個獨特的功能,將其應用于提取術(shù)中圖像中的標記點。
[0049] 步驟S150 :在術(shù)中圖像中提取術(shù)中標記點。在本步驟中,首先需要計算RGB圖像 中標記點的二維坐標值,確定術(shù)中圖像中標記點所在的實時平面位置。然后根據(jù)RGB圖像 對應的深度圖像將該二維坐標值變換到Kinect三維坐標空間中,確定術(shù)中圖像中標記點 所在的實時空間位置。在本實施方式中,在計算RGB圖像中標記點的二維坐標值時,具體包 括三個步驟:(1)從RGB圖像中提取患者腹部皮膚圖像。(2)從所述腹部皮膚圖像中分割出 術(shù)中標記點區(qū)域,這里主要利用標記點與腹部皮膚的顏色差異實現(xiàn)圖像分割的。(3)計算術(shù) 中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。集合術(shù)中標記點區(qū)域內(nèi)所 有坐標點得到術(shù)中標記點集。
[0050] 在步驟S130和步驟S150中,我們分別得到了術(shù)前標記點集和術(shù)中標記點集。接 下來在步驟S160中,就以術(shù)前標記點集和術(shù)中標記點集作為配準對象進行配準。
[0051] 步驟S160 :對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的 變換關(guān)系。本步驟主要包括粗配準和精配準兩個步驟,具體步驟如下:
[0052] (1)計算術(shù)前標記點集(記為Pm)的質(zhì)心(記為/C )及局部距離圖(記為51)。質(zhì)心 /C的坐標即為術(shù)前標記點集Pm中所有點坐標值的平均。局部距離圖*51由局部距離(記為 C/)確定。局部距離AL/表示術(shù)前標記點集Pm中兩個點之間的幾何距離。局部距離Ctrf 可以按照公式ΙΙ/?I計算得到,其中€為術(shù)前標記點集Pm中某一點。為了提高配準的 精度,需要去除局部距離圖51中大小相似的元素,當兩個局部距離d 1(X;al和d' 1()Μ1間的比 值^在區(qū)域[0.95,1.05]內(nèi)時,這兩個局部距離視為相似元素,將這兩個局部距離中 aIocuI 任意一個從局部距離圖$;中剔除,同時從術(shù)前標記點集Pm中刪除與它們相關(guān)的點得到修 改后的術(shù)如點集(記為。
[0053] (2)從術(shù)中標記點集(記為Pf)中選取若干個標記點(記為i^6),且從術(shù)中標記點集 Pf中選取標記點的數(shù)量等于術(shù)前標記點集Pm中坐標點的數(shù)量。然后計算出術(shù)中局部距離 圖《51,術(shù)中局部距離圖5X由術(shù)中局部距離(記為確定。計算方法與(1)中計算局部 距離圖的方法一致。
[0054] (3)建立術(shù)前標記點與術(shù)中標記點之間的對應性。對于局部距離圖中的每一 個元素,即每一個局部距離 iCrf,通過蠻力搜索法在術(shù)中局部距離圖和;中尋找其對應局部 距離。具體方法是比較局部距離c,與術(shù)中局部距離之間的大小,差別最 小的術(shù)中局部距離J zL;即為對應局部距離Crptmrfms,在術(shù)中局部距離圖51中找到所有 局部距_ c的對應局部距離,對應局部距離所關(guān)聯(lián)的術(shù)中標記點構(gòu) 成的集合即為術(shù)前標記點集的對應標記點集(記為CLkspot^ )。
[0055] (4 )采用最小二乘法對修改后的術(shù)前點集/與對應標記點集作粗配 準,用四元素方法求解得到修改后的術(shù)前點集/^_與對應標記點集之間的變換 矩陣。
[0056] (5)在粗配準的基礎(chǔ)上對術(shù)前標記點集Pm和從術(shù)中標記點集Pf中選取的若干個 標記點Pift作ICP (Iterative closest point,最近鄰點迭代法)配準,計算Pm與之間 的配準誤差(記為Eniatdl)及變換矩陣(記為M taansfmi)。
[0057] (6)對于步驟(2),遍歷從術(shù)中標記點集Pf中選取標記點的所有選點情況,并執(zhí)行 步驟(2)至(5),分別計算出每種情況中得到的配準誤差和變換矩陣,當所有選點情況計算 結(jié)束時,保存最小配準誤差id,及相應的變換矩陣。利用變換矩陣便可以 確定術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系,并最終用于手術(shù)導航系統(tǒng)中。
[0058] 上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像 及術(shù)中圖像中的位置,避免了手動取點的過程,同時只需將標記點粘貼于腹部皮膚表面 且Kinect相機能夠?qū)崟r跟蹤標記點的位置,整個注冊過程對人體不具有傷害性,且通過 Kinect相機采集到的術(shù)中圖像只有很小的誤差,從而有效降低配準誤差,最終得到術(shù)前圖 像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。
[0059] 以上所述實施例僅表達了本發(fā)明的幾種實施方式,其描述較為具體和詳細,但并 不能因此而理解為對本發(fā)明專利范圍的限制。應當指出的是,對于本領(lǐng)域的普通技術(shù)人員 來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進,這些都屬于本發(fā)明的保 護范圍。因此,本發(fā)明專利的保護范圍應以所附權(quán)利要求為準。
【權(quán)利要求】
1. 一種基于Kinect相機的術(shù)中實時注冊方法,包括如下步驟: 在患者腹部粘貼標記點; 掃描患者腹部,獲取患者腹部的術(shù)前圖像; 在術(shù)前圖像中提取術(shù)前標記點; 利用Kinect相機獲取患者腹部的術(shù)中圖像,所述術(shù)中圖像包括在患者腹部設(shè)置的標 記點的圖像信息; 在術(shù)中圖像中提取術(shù)中標記點; 對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。
2. 根據(jù)權(quán)利要求1所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述在 術(shù)前圖像中提取術(shù)前標記點的步驟包括: 采用區(qū)域增長法對所述術(shù)前圖像進行分割得到患者腹部的二值圖像; 計算所述二值圖像的距離圖; 根據(jù)所述距離圖從所述二值圖像中分割出患者腹部的上表面區(qū)域圖; 計算腹部的上表面區(qū)域圖的高斯曲率得到曲率圖; 提取所述曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標記點區(qū)域; 計算所述術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。
3. 根據(jù)權(quán)利要求1或2所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,在 所述掃描患者腹部,獲取患者腹部的術(shù)前圖像的步驟中,所述術(shù)前圖像是采用電子計算機X 射線斷層掃描技術(shù)或者磁共振成像技術(shù)獲得的CT圖像或者MRI圖像。
4. 根據(jù)權(quán)利要求1所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述在 利用Kinect相機獲取患者腹部的術(shù)中圖像的步驟中,所述術(shù)中圖像包括利用Kinect相機 獲取的RGB圖像以及與所述RGB圖像對應的深度圖像。
5. 根據(jù)權(quán)利要求4所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述在 術(shù)中圖像中提取術(shù)中標記點的步驟包括: 計算所述RGB圖像中標記點的二維坐標值; 根據(jù)所述深度圖像將所述二維坐標值變換到Kinect三維坐標空間中。
6. 根據(jù)權(quán)利要求5所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述計 算所述RGB圖像中標記點的二維坐標值的步驟包括: 從所述RGB圖像中提取患者腹部皮膚圖像; 從所述腹部皮膚圖像中分割出術(shù)中標記點區(qū)域; 計算所述術(shù)中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。
7. 根據(jù)權(quán)利要求6所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述對 術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系的步驟包括: 采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準; 采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準。
8. 根據(jù)權(quán)利要求7所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述采 用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準的步驟包括: 根據(jù)術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標與術(shù)前標記點質(zhì)心的坐標,計算出術(shù)前局部 距離圖并剔除所述術(shù)前局部距離圖中相似的元素; 根據(jù)所述術(shù)前局部距離圖中剔除的元素刪除術(shù)前標記點區(qū)域內(nèi)的坐標點,集合術(shù)前標 記點區(qū)域內(nèi)剩余坐標點得到修改后的術(shù)前標記點集; 集合所述術(shù)中標記點區(qū)域內(nèi)所有坐標點得到術(shù)中標記點集,從所述術(shù)中標記點集中選 取若干個標記點,且使得選取的標記點個數(shù)與術(shù)前標記點集中點的個數(shù)相同,并計算出術(shù) 中局部距離圖; 對于所述術(shù)前局部距離圖中的每一個元素,根據(jù)局部距離的大小,在術(shù)中局部距離圖 中搜索與之最相近的局部距離,即為術(shù)前局部距離的對應元素,進而得到修改后的術(shù)前標 記點集的對應標記點集; 采用最小二乘法對修改后的術(shù)前標記點集與對應標記點集作配準。
9.根據(jù)權(quán)利要求8所述的基于Kinect相機的術(shù)中實時注冊方法,其特征在于,所述采 用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準的步驟包括: 采用最近鄰點迭代法對術(shù)前標記點集與從術(shù)中標記點集中選取的標記點進行配準,并 得到配準誤差和變換矩陣; 遍歷從術(shù)中標記點集中選取標記點的所有選點情況,分別計算出每種情況中得到的配 準誤差和變換矩陣,當所有選點情況計算結(jié)束時,保存最小的配準誤差以及相應的變換矩 陣。
【文檔編號】A61B19/00GK104287830SQ201310302977
【公開日】2015年1月21日 申請日期:2013年7月18日 優(yōu)先權(quán)日:2013年7月18日
【發(fā)明者】肖德強, 羅火靈, 賈富倉, 周壽軍, 胡慶茂, 方馳華, 范應方 申請人:中國科學院深圳先進技術(shù)研究院
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1