專利名稱：基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于內(nèi)固定鋼板技術(shù)領(lǐng)域，尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法。
背景技術(shù)：
復(fù)雜骨盆骨折是指一種嚴(yán)重外傷，多由直接暴力后骨盆擠壓所致的骨盆環(huán)的多處O 2處)破壞，損傷部位涉及恥骨、坐骨、髂骨及髖白而導(dǎo)致正常的骨盆結(jié)構(gòu)的完整性受損，而髖臼骨折屬于關(guān)節(jié)骨折，因此其治療原則都應(yīng)是解剖復(fù)位。骨盆與髖白骨折的復(fù)位與內(nèi)固定手術(shù)中，骨骼解剖形態(tài)復(fù)雜，個(gè)體差異大，骨折部位深在，周圍有重要的神經(jīng)、血管包繞，手術(shù)時(shí)位置差，術(shù)中的經(jīng)驗(yàn)不足等因素對(duì)骨科醫(yī)生是一種挑戰(zhàn)。而傳統(tǒng)手術(shù)需要完全暴露骨折部位，完成復(fù)位后，在術(shù)中進(jìn)行內(nèi)固定鋼板造型，延長(zhǎng)了手術(shù)時(shí)間，造成了不必要的損傷和失血。傳統(tǒng)外科內(nèi)固定手術(shù)中，使用二維透視圖像，通過(guò)測(cè)量解剖標(biāo)志點(diǎn)之間的距離來(lái)指導(dǎo)植入物的型號(hào)選擇。但這樣的方法適合于選擇批量生產(chǎn)的植入物型號(hào)，而不適于需要進(jìn)行三維造型的重建鋼板預(yù)制。近年來(lái)新研發(fā)了基于三維快速成型技術(shù)的手術(shù)植入物術(shù)前預(yù)制方法，由三維建模人員建立植入物的三維幾何模型，然后使用三維打印機(jī)等快速成型設(shè)備制造出患者骨骼植入物實(shí)體模型，用于輔助預(yù)制手術(shù)植入物。但這類方法與本發(fā)明的方法相比有速度較慢，設(shè)備成本高，對(duì)操作人員專業(yè)要求較高，對(duì)材料消耗較大的缺點(diǎn)。用增強(qiáng)現(xiàn)實(shí)技術(shù)輔助進(jìn)行造型在工業(yè)生產(chǎn)中有如向工人提示焊接位置等應(yīng)用；在外科手術(shù)領(lǐng)域中，增強(qiáng)現(xiàn)實(shí)技術(shù)目前主要用于手術(shù)設(shè)計(jì)和術(shù)中導(dǎo)航。本發(fā)明在交互式重建鋼板設(shè)計(jì)的基礎(chǔ)上，使用增強(qiáng)現(xiàn)實(shí)技術(shù)輔助進(jìn)行直觀、快速的術(shù)前內(nèi)固定植入物造型。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，旨在解決傳統(tǒng)手術(shù)需要完全暴露骨折部位，完成復(fù)位后，在術(shù)中進(jìn)行內(nèi)固定鋼板造型，延長(zhǎng)了手術(shù)時(shí)間，造成了不必要的損傷和失血的問(wèn)題。本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，該方法包括用戶交互式調(diào)整平面，指示人體對(duì)稱面，并用未受傷一側(cè)的體數(shù)據(jù)替換受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建；對(duì)重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，然后根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型；將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，然后用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型。進(jìn)一步，對(duì)稱平面選取與骨折部位重建的方法包括以下步驟
首先構(gòu)造骨骼三維模型；構(gòu)造從密度到亮度的映射函數(shù)；對(duì)患者骨骼的三維體數(shù)據(jù)進(jìn)行體繪制；按照旋轉(zhuǎn)與平移矢量調(diào)整平面多邊形三維姿態(tài)。進(jìn)一步，構(gòu)造骨骼三維模型的實(shí)現(xiàn)方法為用患者的透視圖像數(shù)據(jù)作為輸入，用多幅透視圖像中的像素所對(duì)應(yīng)的密度值作為其對(duì)應(yīng)空間三維位置的體素值，構(gòu)造用體數(shù)據(jù)表達(dá)的患者骨折部位及其對(duì)側(cè)的骨骼三維模型；進(jìn)一步，構(gòu)造從密度到亮度的映射函數(shù) \y = /O) = 0，x<x',,
[y = /0) = I, m其中x為體數(shù)據(jù)密度，y為透明度，y的取值范圍為0或1，0表示透明不可見(jiàn)，I表示可見(jiàn)不透明，由于骨骼密度大于軟組織密度，選取X'使得對(duì)該患者所有軟組織密度X彡Xf ,而所有骨骼密度X > X'。進(jìn)一步，對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制方法為用第二步構(gòu)造的透明度映射函數(shù),使用光線投射(ray marching)方法,對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制，在骨骼繪制結(jié)果上疊加繪制一個(gè)半透明平面多邊形，比較該平面多邊形和骨骼分別投影到視點(diǎn)后，對(duì)應(yīng)同一像素的兩個(gè)三維點(diǎn)到視點(diǎn)的距離，對(duì)兩者進(jìn)行alpha混合。進(jìn)一步，按照旋轉(zhuǎn)與平移矢量調(diào)整平面多邊形三維姿態(tài)實(shí)現(xiàn)方法為用戶在選擇旋轉(zhuǎn)或平移中做出選擇，系統(tǒng)接受用戶用鼠標(biāo)或觸摸屏的拖拽操作，計(jì)算鼠標(biāo)指針或手指移動(dòng)過(guò)的屏幕坐標(biāo)，如果用戶選擇旋轉(zhuǎn)，則用Arcball方法將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示旋轉(zhuǎn)的四元數(shù)；如果用戶選擇平移，則在與投影平面平行的方向上將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示平移的矢量。進(jìn)一步，鋼板軌跡與三維模型重建的方法，該方法包括在重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，在用戶移動(dòng)鼠標(biāo)指針過(guò)程中，構(gòu)造從用戶視點(diǎn)出發(fā)并經(jīng)過(guò)鼠標(biāo)指針?biāo)鶎?duì)應(yīng)三維點(diǎn)的射線，然后求解這些射線各自與患者體數(shù)據(jù)中骨骼表面的交點(diǎn)，將交點(diǎn)相連形成折線段，最后使用低通濾波器對(duì)折線段上各個(gè)交點(diǎn)的三維坐標(biāo)進(jìn)行平滑濾波，得到鋼板軌跡。根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型，將軌跡細(xì)分為距離相等的多個(gè)均勻線段，分別以線段的各個(gè)端點(diǎn)為中心，沿垂直于端點(diǎn)所在處骨骼表面局部法向量，并垂直于端點(diǎn)所連接的兩個(gè)線段的合矢量的方向，作直線段，并使線段長(zhǎng)度等于重建鋼板寬度，然后將相鄰直線段的端點(diǎn)相連，得到虛擬鋼板的三角網(wǎng)格幾何模型。進(jìn)一步，鋼板造型的方法，該方法包括將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，將重建鋼板的三維幾何模型半透明疊加繪制到視頻上，實(shí)時(shí)計(jì)算增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物與攝像機(jī)的相對(duì)三維姿態(tài)，用標(biāo)識(shí)物的姿態(tài)控制重建鋼板三維模型的姿態(tài)。用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型，用戶折彎扭曲重建鋼板，并使之在各個(gè)姿態(tài)下與三維模型重合，完成鋼板造型。本發(fā)明提供的基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，通過(guò)用戶交互式調(diào)整平面，指示人體對(duì)稱面，實(shí)時(shí)疊加繪制出患者三維骨骼模型與半透明平板，用戶通過(guò)鼠標(biāo)等觸控設(shè)備拖拽和旋轉(zhuǎn)該半透明平板，調(diào)整其位置和朝向，使其通過(guò)患者骨骼的左右對(duì)稱平面；以該透明平板所指示的平面為對(duì)稱平面，將健康一側(cè)的三維體數(shù)據(jù)鏡像對(duì)稱到受傷側(cè)，替代受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建。在重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，通過(guò)用戶移動(dòng)鼠標(biāo)指針，構(gòu)造從用戶視點(diǎn)出發(fā)并經(jīng)過(guò)鼠標(biāo)指針?biāo)鶎?duì)應(yīng)三維點(diǎn)的射線，求解這些射線各自與患者體數(shù)據(jù)中骨骼表面的交點(diǎn)，將交點(diǎn)相連形成折線段，使用低通濾波器對(duì)折線段上各個(gè)交點(diǎn)的三維坐標(biāo)進(jìn)行平滑濾波，即可得到鋼板軌跡；然后將軌跡細(xì)分為距離相等的多個(gè)均勻線段，分別以線段的各個(gè)端點(diǎn)為中心，沿垂直于端點(diǎn)所在處骨骼表面局部法向量，并垂直于端點(diǎn)所連接的兩個(gè)線段的合矢量的方向，作直線段，并使線段長(zhǎng)度等于重建鋼板寬度，將相鄰直線段的端點(diǎn)相連，得到虛擬鋼板的三角網(wǎng)格幾何模型。將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，實(shí)時(shí)計(jì)算增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物與攝像機(jī)的相對(duì)三維姿態(tài)，用標(biāo)識(shí)物的姿態(tài)控制重建鋼板三維模型的姿態(tài)；用戶折彎扭曲重建鋼板，并使之在各個(gè)姿態(tài)下與三維模型重合，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成 鋼板的造型。


圖I是本發(fā)明實(shí)施例提供的基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法的流程圖；圖2是本發(fā)明實(shí)施例提供的對(duì)稱平面選取與骨折部位重建的流程圖；圖3是本發(fā)明實(shí)施例提供的鋼板軌跡與三維模型重建的流程圖；圖4是本發(fā)明實(shí)施例提供的鋼板造型的流程圖；
圖5是本發(fā)明實(shí)施例提供的從折線段構(gòu)造三角網(wǎng)格幾何模型的方法示意圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。圖I示出了本發(fā)明實(shí)施案例提供的一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，該方法包括在步驟SlOl中，用戶交互式調(diào)整平面，指示人體對(duì)稱面，并用未受傷一側(cè)的體數(shù)據(jù)替換受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建；在步驟S102中，對(duì)重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，然后根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型；在步驟S103中，將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，然后用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型。圖2示出了本發(fā)明實(shí)施案例提供的對(duì)稱平面選取與骨折部位重建的方法，該方法包括在步驟SlOll中，首先構(gòu)造骨骼三維模型；用患者的透視圖像數(shù)據(jù)作為輸入，用多幅透視圖像中的像素所對(duì)應(yīng)的密度值作為其對(duì)應(yīng)空間三維位置的體素值，構(gòu)造用體數(shù)據(jù)表達(dá)的患者骨折部位及其對(duì)側(cè)的骨骼三維模型。在步驟S1012中，構(gòu)造從密度到亮度的映射函數(shù)；其中X為體數(shù)據(jù)密度，y為透明度，y的取值范圍為0或1，0表示透明不可見(jiàn)，I表示可見(jiàn)不透明，由于骨骼密度大于軟組織密度，選取X'使得對(duì)該患者所有軟組織密度X彡Xf ,而所有骨骼密度X > X'。設(shè)置函數(shù)值使得y的取值如下
\y = f(x) = x ^ x' f J )；,
IJ =/W = I x>x'在步驟S1013中，對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制；用第二步構(gòu)造的透明度映射函數(shù),使用光線投射(ray marching)方法,對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制，在骨骼繪制結(jié)果上疊加繪制一個(gè)半透明平面多邊形，比較該平面多邊形和骨骼分別投影到視點(diǎn)后，對(duì)應(yīng)同一像素的兩個(gè)三維點(diǎn)到視點(diǎn)的距離，對(duì)兩者進(jìn)行alpha混合。在步驟S1014中，按照旋轉(zhuǎn)與平移矢量調(diào)整平面多邊形三維姿態(tài)；用戶在選擇旋轉(zhuǎn)或平移中做出選擇，系統(tǒng)接受用戶用鼠標(biāo)或觸摸屏的拖拽操作，計(jì)算鼠標(biāo)指針或手指移動(dòng)過(guò)的屏幕坐標(biāo)，如果用戶選擇旋轉(zhuǎn)，則用Arcball方法將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示旋轉(zhuǎn)的四元數(shù)；如果用戶選擇平移，則在與投影平面平行的方向上將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示平移的矢量。按照該旋轉(zhuǎn)與平移矢量，對(duì)平面多邊形三維姿態(tài)進(jìn)行旋轉(zhuǎn)、平移調(diào)整。用戶通過(guò)調(diào)整平面多邊形三維姿態(tài)，使其通過(guò)人體對(duì)稱平面上三個(gè)以上的特征點(diǎn)，例如多個(gè)脊椎棘突、恥骨聯(lián)合部等位置。此時(shí)平面多邊形與人體三維對(duì)稱平面重合，該對(duì)稱平面將三維空間劃分為兩側(cè)，分別為Vtl與在步驟S1015中，用患者未受傷側(cè)的體數(shù)據(jù)替換受傷側(cè)體數(shù)據(jù)；用戶從Vtl與V1中選擇骨折部位所在的一側(cè)，不失一般性，假設(shè)其為Vtl ；以步驟S1014中確定的對(duì)稱面M，對(duì)于受傷一側(cè)V1中的每個(gè)體素X，求其關(guān)于對(duì)稱面M的對(duì)稱空間位置X'，對(duì)X'周圍的8個(gè)體素值按照體素中心到X'的距離進(jìn)行三維線性插值，將插值結(jié)果替換X的值，實(shí)現(xiàn)用未受傷一側(cè)的體數(shù)據(jù)替換受傷側(cè)的體數(shù)據(jù)。圖3示出了本發(fā)明實(shí)施案例提供的鋼板軌跡與三維模型重建的方法，該方法包括在步驟S1021中，在重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡；在用戶移動(dòng)鼠標(biāo)指針過(guò)程中，連續(xù)構(gòu)造從用戶視點(diǎn)出發(fā)并經(jīng)過(guò)鼠標(biāo)指針?biāo)鶎?duì)應(yīng)三維點(diǎn)的射線；以體素邊長(zhǎng)的一半長(zhǎng)度a為采樣步長(zhǎng)，沿該射線方向從靠近視點(diǎn)一端向遠(yuǎn)離視點(diǎn)一端對(duì)體數(shù)據(jù)進(jìn)行順序采樣；將采樣得到的密度值，根據(jù)用戶在S1012步驟中構(gòu)造的映射函數(shù)映射成為透明度值；返回順序采樣過(guò)程中遇到第一個(gè)不為0的值時(shí)的采樣三維空間位置P ;以P為基準(zhǔn)位置，將初始采樣步長(zhǎng)設(shè)置為％ = _a/2，迭代多次進(jìn)行采樣，每次采
樣值如果轉(zhuǎn)換為透明度后為1，則下次采樣步長(zhǎng)％ =-W,否則,直到采樣步長(zhǎng)小
2 2于用戶給定精度閾值t為止；記錄下迭代終止時(shí)的采樣三維位置P'，作為射線與骨骼表面的交點(diǎn)位置；將用戶鼠標(biāo)移動(dòng)過(guò)程中的所有交點(diǎn)位置依次相連，構(gòu)成折線段；使用高斯低通濾波器，以臨近的3-8個(gè)點(diǎn)為窗口，依次對(duì)折線段上各個(gè)交點(diǎn)的三維坐標(biāo)進(jìn)行平滑濾波，得到平滑折線段L，代表重建鋼板軌跡。在步驟S1022中，根據(jù)S1021中得到的平滑折線段生成重建鋼板的三角網(wǎng)格三維模型；如圖5所示，以約5到30倍體素邊長(zhǎng)的距離為每段長(zhǎng)度，將折線L段進(jìn)行細(xì)分，得到由距離相等的多個(gè)均勻線段組成的折線L';記折線段L'的各個(gè)拐點(diǎn)為Xi，(i = 0…n);對(duì)每個(gè)拐點(diǎn)Xi，取方向Hli，使得Hli同時(shí)垂直于拐點(diǎn)所在處骨骼表面局部法向量Ili和端點(diǎn)所連接的兩個(gè)線段的合矢量vi;以各個(gè)拐點(diǎn)Xi為中心作直線段eie',，其中&與^ ,表示第i條線段的兩個(gè)端點(diǎn)，并使線段長(zhǎng)度等于重建鋼板寬度；將相鄰直線段的端點(diǎn)61與^ i，ei與eg，e' i與e' H分別相連，在每?jī)蓷l相鄰線段間構(gòu)造兩個(gè)三角形；這些所有的三角 形構(gòu)成虛擬鋼板的貼合骨骼表面一側(cè)的三角網(wǎng)格幾何模型& ;以L'的各個(gè)拐點(diǎn)位置Xi為起點(diǎn)構(gòu)造矢量屯，其方向?yàn)楣拯c(diǎn)所在處骨骼表面局部法向量Ni,長(zhǎng)度為重建鋼板厚度；將各拐點(diǎn)Xi對(duì)應(yīng)的矢量屯的終點(diǎn)依次相連，構(gòu)成折線L' 1;使用從L'構(gòu)造&的相同方法，從L':構(gòu)造背離骨骼表面一側(cè)的三角網(wǎng)格幾何模型f\。將&與4對(duì)應(yīng)的三角形頂點(diǎn)相連，得到重建鋼板的三角網(wǎng)格幾何模型。圖4示出了本發(fā)明實(shí)施案例提供的鋼板造型的方法，該方法包括在步驟S1031中，將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)；用攝像機(jī)拍攝工作環(huán)境的視頻圖像，并實(shí)時(shí)繪制到屏幕上；使用ARToolkitPlus等軟件從每幀視頻圖像中識(shí)別出光學(xué)標(biāo)識(shí)物，并求解出標(biāo)識(shí)物與相機(jī)的相對(duì)三維姿態(tài)；在同一屏幕窗口區(qū)域，以真實(shí)攝像機(jī)的視點(diǎn)位置、觀視方向、視角、長(zhǎng)寬比、視野大小等作為虛擬攝像機(jī)的內(nèi)外參數(shù)，繪制半透明的重建鋼板模型，即虛擬重建鋼板；計(jì)算重建鋼板三角網(wǎng)格模型的OBB包圍盒；計(jì)算從重建鋼板模型空間坐標(biāo)位置到世界坐標(biāo)的初始旋轉(zhuǎn)與平移變換，使得OBB包圍盒的面積最大的平面與光學(xué)標(biāo)識(shí)物所在平面D重合，且包圍盒體在D靠近視點(diǎn)一側(cè)，從而使虛擬重建鋼板的初始姿態(tài)為平放在平面D上；在每幀圖像中跟蹤標(biāo)識(shí)物的姿態(tài)變化，更新虛擬重建鋼板的三維姿態(tài)。在步驟S1032中，用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型；用戶將光學(xué)標(biāo)識(shí)物和虛擬重建鋼板放置在攝像機(jī)視野范圍內(nèi)，通過(guò)調(diào)整光學(xué)標(biāo)識(shí)物來(lái)控制虛擬重建鋼板的姿態(tài)；用戶通過(guò)觀察繪制的圖像，將重建鋼板實(shí)體的一端與虛擬重建鋼板的一端對(duì)齊；通過(guò)折彎和扭曲，改變重建鋼板實(shí)體的形狀，使其與圖像中的虛擬重建鋼板重合；用戶改變虛擬重建鋼板的姿態(tài)和攝像機(jī)的視點(diǎn)位置和觀察角度，從不同方向、距離觀察實(shí)體鋼板與虛擬鋼板的重合程度，并對(duì)實(shí)體鋼板形狀進(jìn)行修改調(diào)整，使之在各個(gè)姿態(tài)下與三維模型重合，完成鋼板造型。本方案發(fā)明的基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，首先通過(guò)用戶交互式調(diào)整平面，指示人體對(duì)稱面，實(shí)時(shí)疊加繪制出患者三維骨骼模型與半透明平板，用戶通過(guò)鼠標(biāo)等觸控設(shè)備拖拽和旋轉(zhuǎn)該半透明平板，調(diào)整其位置和朝向，使其通過(guò)患者骨骼的左右對(duì)稱平面，并將健康一側(cè)的三維體數(shù)據(jù)鏡像對(duì)稱到受傷側(cè)，替代受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建；在重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，通過(guò)用戶移動(dòng)鼠標(biāo)指針，構(gòu)造從用戶視點(diǎn)出發(fā)并經(jīng)過(guò)鼠標(biāo)指針?biāo)鶎?duì)應(yīng)三維點(diǎn)的射線，求解這些射線各自與患者體數(shù)據(jù)中骨骼表面的交點(diǎn)，將交點(diǎn)相連形成折線段，使用低通濾波器對(duì)折線段上各個(gè)交點(diǎn)的三維坐標(biāo)進(jìn)行平滑濾波，即可得到鋼板軌跡，然后將軌跡細(xì)分為距離相等的多個(gè)均勻線段，分別以線段的各個(gè)端點(diǎn)為中心，沿垂直于端點(diǎn)所在處骨骼表面局部法向量，并垂直于端點(diǎn)所連接的兩個(gè)線段的合矢量的方向，作直線段，并使線段長(zhǎng)度等于重建鋼板寬度，將相鄰直線段的端點(diǎn)相連，得到虛擬鋼板的三角網(wǎng)格幾何模型；最后將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，實(shí)時(shí)計(jì)算增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物與攝像機(jī)的相對(duì)三維姿態(tài)，用標(biāo)識(shí)物的姿態(tài)控制重建鋼板三維模型的姿態(tài)，而且用戶折彎扭曲重建鋼板，并使之在各個(gè)姿態(tài)下與三維模型重合，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成了鋼板的造型。該方法節(jié)約了手術(shù)時(shí)間，縮短療程，減少并發(fā)癥的發(fā)生，提高了治愈率。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，該方法包括 用戶交互式調(diào)整平面，指示人體對(duì)稱面，并用未受傷一側(cè)的體數(shù)據(jù)替換受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建； 對(duì)重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，然后根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型； 將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，然后用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型。
2.如權(quán)利要求I所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，對(duì)稱平面選取與骨折部位重建的方法包括以下步驟 首先構(gòu)造骨骼三維模型； 構(gòu)造從密度到亮度的映射函數(shù)； 對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制； 按照旋轉(zhuǎn)與平移矢量調(diào)整平面多邊形三維姿態(tài)。
3.如權(quán)利要求2所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，構(gòu)造骨骼三維模型的實(shí)現(xiàn)方法為 用患者的透視圖像數(shù)據(jù)作為輸入，用多幅透視圖像中的像素所對(duì)應(yīng)的密度值作為其對(duì)應(yīng)空間三維位置的體素值，構(gòu)造用體數(shù)據(jù)表達(dá)的患者骨折部位及其對(duì)側(cè)的骨骼三維模型。
4.如權(quán)利要求2所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，構(gòu)造從密度到亮度的映射函數(shù) = /0) = 0, x<x'I少= /0) = I, 其中X為體數(shù)據(jù)密度，y為透明度，y的取值范圍為0或1，0表示透明不可見(jiàn)，I表示可見(jiàn)不透明，由于骨骼密度大于軟組織密度，選取X'使得對(duì)該患者所有軟組織密度X Sx'，而所有骨骼密度X > X'。
5.如權(quán)利要求2所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制方法為 用第二步構(gòu)造的透明度映射函數(shù)，使用光線投射(ray marching)方法，對(duì)患者骨骼三維體數(shù)據(jù)進(jìn)行體繪制，在骨骼繪制結(jié)果上疊加繪制一個(gè)半透明平面多邊形，比較該平面多邊形和骨骼分別投影到視點(diǎn)后，對(duì)應(yīng)同一像素的兩個(gè)三維點(diǎn)到視點(diǎn)的距離，對(duì)兩者進(jìn)行alpha混合。
6.如權(quán)利要求2所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，按照旋轉(zhuǎn)與平移矢量調(diào)整平面多邊形三維姿態(tài)實(shí)現(xiàn)方法為 用戶在選擇旋轉(zhuǎn)或平移中做出選擇，系統(tǒng)接受用戶用鼠標(biāo)或觸摸屏的拖拽操作，計(jì)算鼠標(biāo)指針或手指移動(dòng)過(guò)的屏幕坐標(biāo)，如果用戶選擇旋轉(zhuǎn)，則用Arcball方法將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示旋轉(zhuǎn)的四元數(shù)；如果用戶選擇平移，則在與投影平面平行的方向上將屏幕坐標(biāo)變化量轉(zhuǎn)換為表示平移的矢量。
7.如權(quán)利要求I所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，鋼板軌跡與三維模型重建的方法，該方法包括在重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，在用戶移動(dòng)鼠標(biāo)指針過(guò)程中，構(gòu)造從用戶視點(diǎn)出發(fā)并經(jīng)過(guò)鼠標(biāo)指針?biāo)鶎?duì)應(yīng)三維點(diǎn)的射線，然后求解這些射線各自與患者體數(shù)據(jù)中骨骼表面的交點(diǎn)，將交點(diǎn)相連形成折線段，最后使用低通濾波器對(duì)折線段上各個(gè)交點(diǎn)的三維坐標(biāo)進(jìn)行平滑濾波，得到鋼板軌跡。
根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型，將軌跡細(xì)分為距離相等的多個(gè)均勻線段，分別以線段的各個(gè)端點(diǎn)為中心，沿垂直于端點(diǎn)所在處骨骼表面局部法向量，并垂直于端點(diǎn)所連接的兩個(gè)線段的合矢量的方向，作直線段，并使線段長(zhǎng)度等于重建鋼板寬度，然后將相鄰直線段的端點(diǎn)相連，得到虛擬鋼板的三角網(wǎng)格幾何模型。
8.如權(quán)利要求I所述的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，其特征在于，鋼板造型的方法，該方法包括· 將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，將重建鋼板的三維幾何模型半透明疊加繪制到視頻上，實(shí)時(shí)計(jì)算增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物與攝像機(jī)的相對(duì)三維姿態(tài)，用標(biāo)識(shí)物的姿態(tài)控制重建鋼板三維模型的姿態(tài)。
用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型，用戶折彎扭曲重建鋼板，并使之在各個(gè)姿態(tài)下與三維模型重合，完成鋼板造型。
全文摘要
本發(fā)明公開(kāi)了一種基于增強(qiáng)現(xiàn)實(shí)的內(nèi)固定鋼板術(shù)前設(shè)計(jì)與預(yù)制方法，用戶交互式調(diào)整平面，指示人體對(duì)稱面，并用未受傷一側(cè)的體數(shù)據(jù)替換受傷側(cè)體數(shù)據(jù)，對(duì)骨折部位進(jìn)行模擬重建；對(duì)重建得到的骨骼表面勾畫設(shè)計(jì)重建鋼板軌跡，然后根據(jù)重建鋼板軌跡生成重建鋼板的三角網(wǎng)格三維模型；將生成的鋼板三維模型疊加繪制到實(shí)時(shí)采集的視頻圖像上，并用增強(qiáng)現(xiàn)實(shí)光學(xué)標(biāo)識(shí)物控制鋼板三維模型的姿態(tài)，然后用戶調(diào)整模型姿態(tài)，觀察真實(shí)鋼板與虛擬鋼板的重合程度，完成鋼板的造型。該方法節(jié)約了手術(shù)時(shí)間，縮短療程，減少并發(fā)癥的發(fā)生，提高了治愈率。
文檔編號(hào)G06T17/00GK102750418SQ20121021342
公開(kāi)日2012年10月24日 申請(qǐng)日期2012年6月27日 優(yōu)先權(quán)日2012年6月27日
發(fā)明者沈岳, 沈方陽(yáng), 郭慶山, 陳栢良 申請(qǐng)人:中國(guó)人民解放軍第三軍醫(yī)大學(xué)第三附屬醫(yī)院