基于Kinect相機的術(shù)中實時注冊方法
【專利摘要】本發(fā)明涉及一種基于Kinect相機的術(shù)中實時注冊方法，包括如下步驟：在患者腹部粘貼標記點；掃描患者腹部，獲取患者腹部的術(shù)前圖像；在術(shù)前圖像中提取術(shù)前標記點；利用Kinect相機獲取患者腹部的術(shù)中圖像，所述術(shù)中圖像包括在患者腹部設(shè)置的標記點的圖像信息；在術(shù)中圖像中提取術(shù)中標記點；對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像及術(shù)中圖像中的位置，避免了手動取點的過程，同時整個注冊過程對人體不具有傷害性，且通過Kinect相機采集到的術(shù)中圖像只有很小的誤差，從而有效降低配準誤差，最終得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。
【專利說明】基于Kinect相機的術(shù)中實時注冊方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及醫(yī)學圖像處理及應用【技術(shù)領(lǐng)域】，特別是涉及一種基于Kinect (Kinect 是微軟在2010年6月14日對XB0X360體感周邊外設(shè)正式發(fā)布的名字）相機的術(shù)中實時注 冊方法。
【背景技術(shù)】
[0002] 肝臟是原發(fā)性腫瘤轉(zhuǎn)移的常見位置之一，許多病人無法進行開腹切除手術(shù)，熱消 融技術(shù)特別是射頻消融技術(shù)是治療肝腫瘤的一個重要手段。對于肝腫瘤的射頻消融手術(shù)， 其關(guān)鍵是消融針的插入位置，特別是當肝腫瘤位于肝動脈及膽囊等重要臟器的附近時，消 融針的入針位置的選擇顯的尤為重要。因此，肝腫瘤射頻消融手術(shù)需要一種能夠幫助醫(yī)生 進行手術(shù)導航的方法。
[0003] 肝腫瘤射頻消融手術(shù)導航相對傳統(tǒng)硬組織手術(shù)導航，是一個較新的研究領(lǐng)域，同 時其面臨的困難要比硬組織大，傳統(tǒng)手術(shù)導航只需一次注冊(在手術(shù)中，一般需要通過術(shù)前 圖像與術(shù)中圖像的配準，確定消融針正確的插入點，從而避免損傷內(nèi)部重要器官，而配準的 過程就稱為"注冊"）就能滿足這個導航過程，由于肝臟本身的特性及呼吸運動造成的偏移， 使得肝臟在手術(shù)過程中有較大形變，一次注冊難以滿足導航的需要，如何實現(xiàn)實時注冊成 為肝臟手術(shù)導航的關(guān)鍵。
[0004] 目前針對肝腫瘤射頻消融手術(shù)導航的注冊方法，主要是借助標記點進行術(shù)前圖像 空間的校準。用于軟組織導航的標記點注冊方法的關(guān)鍵問題是對標記點的實時檢測。目前 有人采用一次手動取點注冊并結(jié)合參考幀糾正呼吸運動造成的標記點偏移的方法來實現(xiàn) 實時注冊。還有人直接使用穿刺針綁定反光小球插入人體，然后用光學跟蹤儀對反光小球 進行實時跟蹤，并與術(shù)前CT (computed tomography，電子計算機X射線斷層掃描技術(shù)的簡 稱）圖像作配準。采用一次手動取點注冊并結(jié)合參考幀糾正呼吸運動造成的標記點偏移的 方法來實現(xiàn)實時注冊需要手動取點，誤差較大；且利用參考幀糾正呼吸運動造成的偏移的 方法不夠嚴謹，容易導致較大的配準誤差。而穿刺針綁定反光小球的方法對人體具有一定 的傷害性。
【發(fā)明內(nèi)容】
[0005] 基于此，有必要提供一種配準誤差較小且對人體沒有傷害的基于Kinect相機的 術(shù)中實時注冊方法。
[0006] 一種基于Kinect相機的術(shù)中實時注冊方法，包括如下步驟：
[0007] 在患者腹部粘貼標記點；
[0008] 掃描患者腹部，獲取患者腹部的術(shù)前圖像；
[0009] 在術(shù)前圖像中提取術(shù)前標記點；
[0010] 利用Kinect相機獲取患者腹部的術(shù)中圖像，所述術(shù)中圖像包括在患者腹部設(shè)置 的標記點的圖像信息；
[0011] 在術(shù)中圖像中提取術(shù)中標記點；
[0012] 對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。
[0013] 在其中一個實施例中，所述在術(shù)前圖像中提取術(shù)前標記點的步驟包括：
[0014] 采用區(qū)域增長法對所述術(shù)前圖像進行分割得到患者腹部的二值圖像；
[0015] 計算所述二值圖像的距離圖；
[0016] 根據(jù)所述距離圖從所述二值圖像中分割出患者腹部的上表面區(qū)域圖；
[0017] 計算腹部的上表面區(qū)域圖的高斯曲率得到曲率圖；
[0018] 提取所述曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標記點區(qū)域；
[0019] 計算所述術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。
[0020] 在其中一個實施例中，在所述掃描患者腹部，獲取患者腹部的術(shù)前圖像的步驟中， 所述術(shù)前圖像是采用電子計算機X射線斷層掃描技術(shù)或者磁共振成像技術(shù)獲得的CT圖像 或者MRI圖像。
[0021] 在其中一個實施例中，所述在利用Kinect相機獲取患者腹部的術(shù)中圖像的步驟 中，所述術(shù)中圖像包括利用Kinect相機獲取的RGB圖像以及與所述RGB圖像對應的深度圖 像。
[0022] 在其中一個實施例中，所述在術(shù)中圖像中提取術(shù)中標記點的步驟包括：
[0023] 計算所述RGB圖像中標記點的二維坐標值；
[0024] 根據(jù)所述深度圖像將所述二維坐標值變換到Kinect三維坐標空間中。
[0025] 在其中一個實施例中，所述計算所述RGB圖像中標記點的二維坐標值的步驟包 括：
[0026] 從所述RGB圖像中提取患者腹部皮膚圖像；
[0027] 從所述腹部皮膚圖像中分割出術(shù)中標記點區(qū)域；
[0028] 計算所述術(shù)中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。
[0029] 在其中一個實施例中，所述對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù) 中圖像之間的變換關(guān)系的步驟包括：
[0030] 采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準；
[0031 ] 采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準。
[0032] 在其中一個實施例中，所述采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準 的步驟包括：
[0033] 根據(jù)術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標與術(shù)前標記點質(zhì)心的坐標,計算出術(shù)前 局部距離圖并剔除所述術(shù)前局部距離圖中相似的元素；
[0034] 根據(jù)所述術(shù)前局部距離圖中剔除的元素刪除術(shù)前標記點區(qū)域內(nèi)的坐標點，集合術(shù) 前標記點區(qū)域內(nèi)剩余坐標點得到修改后的術(shù)前標記點集；
[0035] 集合所述術(shù)中標記點區(qū)域內(nèi)所有坐標點得到術(shù)中標記點集，從所述術(shù)中標記點集 中選取若干個標記點，且使得選取的標記點個數(shù)與術(shù)前標記點集中點的個數(shù)相同，并計算 出術(shù)中局部距離圖；
[0036] 對于所述術(shù)前局部距離圖中的每一個元素，根據(jù)局部距離的大小，在術(shù)中局部距 離圖中搜索與之最相近的局部距離，即為術(shù)前局部距離的對應元素，進而得到修改后的術(shù) 前標記點集的對應標記點集；
[0037] 采用最小二乘法對修改后的術(shù)前標記點集與對應標記點集作配準。
[0038] 在其中一個實施例中，所述采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精 配準的步驟包括：
[0039] 采用最近鄰點迭代法對術(shù)前標記點集與從術(shù)中標記點集中選取的標記點進行配 準，并得到配準誤差和變換矩陣；
[0040] 遍歷從術(shù)中標記點集中選取標記點的所有選點情況，分別計算出每種情況中得到 的配準誤差和變換矩陣，當所有選點情況計算結(jié)束時，保存最小的配準誤差以及相應的變 換矩陣。
[0041] 上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像 及術(shù)中圖像中的位置，避免了手動取點的過程，同時只需將標記點粘貼于腹部皮膚表面 且Kinect相機能夠?qū)崟r跟蹤標記點的位置，整個注冊過程對人體不具有傷害性，且通過 Kinect相機采集到的術(shù)中圖像只有很小的誤差，從而有效降低配準誤差，最終得到術(shù)前圖 像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。
【專利附圖】
【附圖說明】
[0042] 圖1為一個實施例的基于Kinect相機的術(shù)中實時注冊方法的流程圖。
【具體實施方式】
[0043] 為了解決目前針對肝腫瘤射頻消融手術(shù)導航的注冊方法會對人體造成傷害或者 配準誤差較大的問題，本實施方式提供了一種基于Kinect相機的術(shù)中實時注冊方法。下面 結(jié)合具體的實施例，對基于Kinect相機的術(shù)中實時注冊方法進行具體的描述。
[0044] 請參考圖1，本實施方式提供的基于Kinect相機的術(shù)中實時注冊方法包括如下步 驟：
[0045] 步驟SllO :在患者腹部粘貼標記點。為了在后續(xù)步驟中獲取腹部圖像的設(shè)備能夠 清晰地記錄下標記點在腹部的位置，在患者腹部粘貼的標記點的顏色應當與腹部皮膚的顏 色有顯著區(qū)別。
[0046] 步驟S120 :掃描患者腹部，獲取患者腹部的術(shù)前圖像。在手術(shù)之前，先拍攝好患者 腹部的術(shù)前圖像。在本實施方式中，術(shù)前圖像可以采用電子計算機X射線斷層掃描技術(shù)獲 得的CT圖像，也可以是采用磁共振成像技術(shù)獲得的MRKmagnetic resonance imaging,磁 共振成像）圖像。
[0047] 步驟S130 :在術(shù)前圖像中提取術(shù)前標記點。本步驟具體包括如下步驟：（1)采用 區(qū)域增長法對術(shù)前圖像進行分割得到患者腹部的二值圖像。（2)計算該二值圖像的距離圖。 (3)根據(jù)此距離圖從二值圖像中分割出患者腹部的上表面區(qū)域圖。（4)計算腹部的上表面 區(qū)域圖的高斯曲率得到曲率圖。（5)提取曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標 記點區(qū)域。在曲率圖中，通常某點的曲率值越大，其亮度也越大，因此，可以通過提取曲率圖 中較亮區(qū)域?qū)崿F(xiàn)提取曲率圖中曲率值大于預設(shè)閾值的區(qū)域，并將此區(qū)域作為術(shù)前標記點區(qū) 域。（6)計算術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。集合術(shù)前 標記點區(qū)域內(nèi)所有坐標點得到術(shù)前標記點集。
[0048] 步驟S140 :利用Kinect相機獲取患者腹部的術(shù)中圖像。在醫(yī)生對患者實施手術(shù) 的過程中，利用Kinect相機獲取患者腹部的術(shù)中圖像，術(shù)中圖像包括利用Kinect相機獲取 的RGB圖像以及與RGB圖像對應的深度圖像。Kinect相機是新興的科技產(chǎn)品，目前一般只 有Kinect相機才能同時拍攝到RGB圖像以及與RGB圖像對應的深度圖像。本實施方式充 分利用Kinect相機這個獨特的功能，將其應用于提取術(shù)中圖像中的標記點。
[0049] 步驟S150 :在術(shù)中圖像中提取術(shù)中標記點。在本步驟中，首先需要計算RGB圖像 中標記點的二維坐標值，確定術(shù)中圖像中標記點所在的實時平面位置。然后根據(jù)RGB圖像 對應的深度圖像將該二維坐標值變換到Kinect三維坐標空間中，確定術(shù)中圖像中標記點 所在的實時空間位置。在本實施方式中，在計算RGB圖像中標記點的二維坐標值時，具體包 括三個步驟：（1)從RGB圖像中提取患者腹部皮膚圖像。（2)從所述腹部皮膚圖像中分割出 術(shù)中標記點區(qū)域，這里主要利用標記點與腹部皮膚的顏色差異實現(xiàn)圖像分割的。（3)計算術(shù) 中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。集合術(shù)中標記點區(qū)域內(nèi)所 有坐標點得到術(shù)中標記點集。
[0050] 在步驟S130和步驟S150中，我們分別得到了術(shù)前標記點集和術(shù)中標記點集。接 下來在步驟S160中，就以術(shù)前標記點集和術(shù)中標記點集作為配準對象進行配準。
[0051] 步驟S160 :對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的 變換關(guān)系。本步驟主要包括粗配準和精配準兩個步驟，具體步驟如下：
[0052] (1)計算術(shù)前標記點集(記為Pm)的質(zhì)心(記為/C )及局部距離圖（記為51)。質(zhì)心 /C的坐標即為術(shù)前標記點集Pm中所有點坐標值的平均。局部距離圖*51由局部距離(記為 C/)確定。局部距離AL/表示術(shù)前標記點集Pm中兩個點之間的幾何距離。局部距離Ctrf 可以按照公式ΙΙ/?I計算得到，其中€為術(shù)前標記點集Pm中某一點。為了提高配準的 精度，需要去除局部距離圖51中大小相似的元素，當兩個局部距離d 1(X；al和d' 1()Μ1間的比 值^在區(qū)域[0.95,1.05]內(nèi)時，這兩個局部距離視為相似元素，將這兩個局部距離中 aIocuI 任意一個從局部距離圖$；中剔除，同時從術(shù)前標記點集Pm中刪除與它們相關(guān)的點得到修 改后的術(shù)如點集(記為。
[0053] (2)從術(shù)中標記點集(記為Pf)中選取若干個標記點（記為i^6),且從術(shù)中標記點集 Pf中選取標記點的數(shù)量等于術(shù)前標記點集Pm中坐標點的數(shù)量。然后計算出術(shù)中局部距離 圖《51，術(shù)中局部距離圖5X由術(shù)中局部距離(記為確定。計算方法與（1)中計算局部 距離圖的方法一致。
[0054] (3)建立術(shù)前標記點與術(shù)中標記點之間的對應性。對于局部距離圖中的每一 個元素，即每一個局部距離 iCrf,通過蠻力搜索法在術(shù)中局部距離圖和；中尋找其對應局部 距離。具體方法是比較局部距離c,與術(shù)中局部距離之間的大小，差別最 小的術(shù)中局部距離J zL;即為對應局部距離Crptmrfms，在術(shù)中局部距離圖51中找到所有 局部距_ c的對應局部距離，對應局部距離所關(guān)聯(lián)的術(shù)中標記點構(gòu) 成的集合即為術(shù)前標記點集的對應標記點集(記為CLkspot^ )。
[0055] (4 )采用最小二乘法對修改后的術(shù)前點集/與對應標記點集作粗配 準，用四元素方法求解得到修改后的術(shù)前點集/^_與對應標記點集之間的變換 矩陣。
[0056] (5)在粗配準的基礎(chǔ)上對術(shù)前標記點集Pm和從術(shù)中標記點集Pf中選取的若干個 標記點Pift作ICP (Iterative closest point,最近鄰點迭代法）配準，計算Pm與之間 的配準誤差(記為Eniatdl)及變換矩陣(記為M taansfmi)。
[0057] (6)對于步驟（2)，遍歷從術(shù)中標記點集Pf中選取標記點的所有選點情況，并執(zhí)行 步驟（2)至（5)，分別計算出每種情況中得到的配準誤差和變換矩陣，當所有選點情況計算 結(jié)束時，保存最小配準誤差id,及相應的變換矩陣。利用變換矩陣便可以 確定術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系，并最終用于手術(shù)導航系統(tǒng)中。
[0058] 上述基于Kinect相機的術(shù)中實時注冊方法能夠自動計算標記點在術(shù)前圖像 及術(shù)中圖像中的位置，避免了手動取點的過程，同時只需將標記點粘貼于腹部皮膚表面 且Kinect相機能夠?qū)崟r跟蹤標記點的位置，整個注冊過程對人體不具有傷害性，且通過 Kinect相機采集到的術(shù)中圖像只有很小的誤差，從而有效降低配準誤差，最終得到術(shù)前圖 像與術(shù)中圖像之間的變換關(guān)系并用于手術(shù)導航系統(tǒng)中。
[0059] 以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并 不能因此而理解為對本發(fā)明專利范圍的限制。應當指出的是，對于本領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保 護范圍。因此，本發(fā)明專利的保護范圍應以所附權(quán)利要求為準。
【權(quán)利要求】
1. 一種基于Kinect相機的術(shù)中實時注冊方法，包括如下步驟： 在患者腹部粘貼標記點； 掃描患者腹部，獲取患者腹部的術(shù)前圖像； 在術(shù)前圖像中提取術(shù)前標記點； 利用Kinect相機獲取患者腹部的術(shù)中圖像，所述術(shù)中圖像包括在患者腹部設(shè)置的標 記點的圖像信息； 在術(shù)中圖像中提取術(shù)中標記點； 對術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系。
2. 根據(jù)權(quán)利要求1所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述在 術(shù)前圖像中提取術(shù)前標記點的步驟包括： 采用區(qū)域增長法對所述術(shù)前圖像進行分割得到患者腹部的二值圖像； 計算所述二值圖像的距離圖； 根據(jù)所述距離圖從所述二值圖像中分割出患者腹部的上表面區(qū)域圖； 計算腹部的上表面區(qū)域圖的高斯曲率得到曲率圖； 提取所述曲率圖中曲率值大于預設(shè)閾值的區(qū)域得到術(shù)前標記點區(qū)域； 計算所述術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)前標記點質(zhì)心。
3. 根據(jù)權(quán)利要求1或2所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，在 所述掃描患者腹部，獲取患者腹部的術(shù)前圖像的步驟中，所述術(shù)前圖像是采用電子計算機X 射線斷層掃描技術(shù)或者磁共振成像技術(shù)獲得的CT圖像或者MRI圖像。
4. 根據(jù)權(quán)利要求1所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述在 利用Kinect相機獲取患者腹部的術(shù)中圖像的步驟中，所述術(shù)中圖像包括利用Kinect相機 獲取的RGB圖像以及與所述RGB圖像對應的深度圖像。
5. 根據(jù)權(quán)利要求4所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述在 術(shù)中圖像中提取術(shù)中標記點的步驟包括： 計算所述RGB圖像中標記點的二維坐標值； 根據(jù)所述深度圖像將所述二維坐標值變換到Kinect三維坐標空間中。
6. 根據(jù)權(quán)利要求5所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述計 算所述RGB圖像中標記點的二維坐標值的步驟包括： 從所述RGB圖像中提取患者腹部皮膚圖像； 從所述腹部皮膚圖像中分割出術(shù)中標記點區(qū)域； 計算所述術(shù)中標記點區(qū)域內(nèi)所有坐標點的坐標平均值得到術(shù)中標記點質(zhì)心。
7. 根據(jù)權(quán)利要求6所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述對 術(shù)前標記點與術(shù)中標記點作配準得到術(shù)前圖像與術(shù)中圖像之間的變換關(guān)系的步驟包括： 采用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準； 采用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準。
8. 根據(jù)權(quán)利要求7所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述采 用最小二乘法對術(shù)前標記點與術(shù)中標記點作粗配準的步驟包括： 根據(jù)術(shù)前標記點區(qū)域內(nèi)所有坐標點的坐標與術(shù)前標記點質(zhì)心的坐標，計算出術(shù)前局部 距離圖并剔除所述術(shù)前局部距離圖中相似的元素； 根據(jù)所述術(shù)前局部距離圖中剔除的元素刪除術(shù)前標記點區(qū)域內(nèi)的坐標點，集合術(shù)前標 記點區(qū)域內(nèi)剩余坐標點得到修改后的術(shù)前標記點集； 集合所述術(shù)中標記點區(qū)域內(nèi)所有坐標點得到術(shù)中標記點集，從所述術(shù)中標記點集中選 取若干個標記點，且使得選取的標記點個數(shù)與術(shù)前標記點集中點的個數(shù)相同，并計算出術(shù) 中局部距離圖； 對于所述術(shù)前局部距離圖中的每一個元素，根據(jù)局部距離的大小，在術(shù)中局部距離圖 中搜索與之最相近的局部距離，即為術(shù)前局部距離的對應元素，進而得到修改后的術(shù)前標 記點集的對應標記點集； 采用最小二乘法對修改后的術(shù)前標記點集與對應標記點集作配準。
9.根據(jù)權(quán)利要求8所述的基于Kinect相機的術(shù)中實時注冊方法，其特征在于，所述采 用最近鄰點迭代法對術(shù)前標記點與術(shù)中標記點作精配準的步驟包括： 采用最近鄰點迭代法對術(shù)前標記點集與從術(shù)中標記點集中選取的標記點進行配準，并 得到配準誤差和變換矩陣； 遍歷從術(shù)中標記點集中選取標記點的所有選點情況，分別計算出每種情況中得到的配 準誤差和變換矩陣，當所有選點情況計算結(jié)束時，保存最小的配準誤差以及相應的變換矩 陣。
【文檔編號】A61B19/00GK104287830SQ201310302977
【公開日】2015年1月21日 申請日期:2013年7月18日 優(yōu)先權(quán)日:2013年7月18日
【發(fā)明者】肖德強, 羅火靈, 賈富倉, 周壽軍, 胡慶茂, 方馳華, 范應方 申請人:中國科學院深圳先進技術(shù)研究院