專利名稱：數(shù)字立體顯微系統(tǒng)的虛擬標尺方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字立體顯微圖像技術(shù)領(lǐng)域，特別是涉及一種數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，以及一種數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)。
背景技術(shù)：
目前的3D數(shù)字顯微系統(tǒng)在傳統(tǒng)體式顯微鏡上安裝分光器,將顯微鏡米集的光學(xué)信號分出兩路，通過工業(yè)相機上的CCD或CMOS感光元件將分光器分出的光學(xué)信號轉(zhuǎn)為數(shù)字信號，再通過工業(yè)相機上數(shù)據(jù)接口將圖像數(shù)據(jù)傳輸?shù)接嬎銠C或監(jiān)視器上，從而使觀察者擺脫對光學(xué)目鏡的束縛。3D數(shù)字顯微系統(tǒng)具有兩個并排的成像元器件，通過在不同的視角實時采集被觀察物體，將得到的雙目圖像經(jīng)過處理后，可以產(chǎn)生3D圖像，形成立體視覺。雖然3D數(shù)字顯微系統(tǒng)能夠?qū)崿F(xiàn)3D立體效果，提供高清晰度的三維空間圖像，但傳統(tǒng)的3D數(shù)字顯微系統(tǒng)無法實現(xiàn)3D圖像中物體相對位置的精確測量。而在手術(shù)過程中，手術(shù)器械位置的深淺非常重要，只能通過操作者觀察3D圖像通過經(jīng)驗來感知其深度，手術(shù)過程的安全性和可靠性不高，因此亟需能夠精確確定3D數(shù)字顯微圖像中手術(shù)器械的深度，為數(shù)字立體顯微系統(tǒng)提供虛擬標尺的技術(shù)。

發(fā)明內(nèi)容
基于此，本發(fā)明提供一種3D數(shù)字顯微圖像中手術(shù)器械深度的確定方法和系統(tǒng)，能夠精確確定顯微系統(tǒng)中手術(shù)器械的深度，為數(shù)字立體顯微系統(tǒng)提供一虛擬標尺，有效提高手術(shù)過程的安全性和可靠性。一種數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，包括如下步驟:獲取顯微系統(tǒng)的景深閾值區(qū)間；

通過追蹤算法追蹤3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域；以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域；根據(jù)所述第一路圖像的手術(shù)器械區(qū)域和所述第二路圖像的手術(shù)器械區(qū)域，確定所述手術(shù)器械的視差，再根據(jù)所述視差確定所述手術(shù)器械距離顯微鏡物鏡的深度；若所述深度在所述景深閾值區(qū)間內(nèi)，則標示所述深度。一種數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，包括獲取模塊、追蹤模塊、判斷模塊、深度模塊和標示模塊；所述獲取模塊用于確定顯微系統(tǒng)的景深閾值區(qū)間；所述追蹤模塊用于通過追蹤算法追蹤3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域；所述判斷模塊用于以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域；所述深度模塊用于根據(jù)第一路圖像的手術(shù)器械區(qū)域和第二路圖像的手術(shù)器械區(qū)域，確定手術(shù)器械的視差，再根據(jù)所述視差確定所述手術(shù)器械距離顯微鏡物鏡的深度；所述標示模塊用于獲取所述顯微系統(tǒng)的景深閾值區(qū)間，若所述深度在所述景深閾值區(qū)間內(nèi)，則標示所述深度。上述數(shù)字立體顯微系統(tǒng)的虛擬標尺方法和系統(tǒng)，為了提高手術(shù)操作的準確性，在使用追蹤算法追蹤到其中一路圖像中的手術(shù)器械的基礎(chǔ)上，再通過模板匹配確定另一路圖像中手術(shù)器械的位置，根據(jù)兩路圖像中手術(shù)器械的位置的坐標差確定手術(shù)器械的深度并標示，為數(shù)字立體顯微系統(tǒng)提供一虛擬標尺，能定量地提醒操作者手術(shù)器械的所在位置，提高手術(shù)過程的安全性，從而協(xié)助操作者完成手術(shù)；本發(fā)明通過提供深度信息大大提高了手術(shù)過程的可靠性和精確度，同時最大可能的簡化手術(shù)過程的復(fù)雜性，減少操作者的工作量；本發(fā)明能自動跟蹤手術(shù)器械，深度值結(jié)果精確；另外本發(fā)明也能用于教學(xué)過程中對手術(shù)器械深度的定量提示，有利于學(xué)生快速掌握手術(shù)器械的操作。


圖1為本發(fā)明數(shù)字立體顯微系統(tǒng)的虛擬標尺方法在一實施例中的流程示意圖。圖2為本發(fā)明數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)在一實施例中的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合實施例及附圖對本發(fā)明作進一步詳細說明，但本發(fā)明的實施方式不限于此。如圖1所示，是本發(fā)明 數(shù)字立體顯微系統(tǒng)的虛擬標尺方法在一實施例中的流程示意圖，包括:S11、獲取顯微系統(tǒng)的景深閾值區(qū)間；3D圖像的成像原理是由兩路攝像設(shè)備分別對同一個物體進行拍攝，得到的兩路重疊率較高的左圖和右圖，再將左圖和右圖進行處理后生成該3D圖像，本發(fā)明中所指的第一路圖像和第二路圖像即為構(gòu)成所述3D圖像的左圖和右圖，利用本發(fā)明對3D圖像進行處理時，當(dāng)?shù)谝宦穲D像指代左圖時，則第二路圖像指代右圖；當(dāng)?shù)谝宦穲D像指代右圖時，則第二路圖像指代左圖。景深(depth of field,D0F)是一個描述在空間中，可以清楚成像的距離范圍。當(dāng)鏡頭聚集于被攝影物的某一點時，這一點上的物體就能清晰地結(jié)像。在這一點前后一定范圍內(nèi)的景物，由于肉眼無法察覺，也能記錄得較為清晰。也就是說，鏡頭拍攝景物的清晰范圍是有一定限度的，鏡頭的這種記錄得“較為清晰”的被攝影物縱深的范圍便為景深。在本步驟中，通過設(shè)置景深范圍，保證手術(shù)器械的深度是在景深范圍內(nèi)確定的，從而保證手術(shù)刀深度值的精確性；在一較佳實施例中，所述確定顯微系統(tǒng)的景深閾值區(qū)間的步驟具體包括:la、接收輸入的3D圖像中距離顯微鏡物鏡的最近區(qū)域圖像和最遠區(qū)域圖像；操作者可在3D數(shù)字顯微系統(tǒng)的3D預(yù)覽模式下觀看當(dāng)前拍攝的3D圖像，在所述3D圖像上確定該3D圖像的景深范圍，輸入其距離顯微鏡物鏡的最近區(qū)域圖像和最遠區(qū)域圖像。lb、通過深度圖求取算法分別求取所述最近區(qū)域圖像的深度圖和所述最遠區(qū)域圖像的深度圖；獲取到最近區(qū)域圖像和最遠區(qū)域圖像后，可通過深度圖求取算法求得所述最近區(qū)域圖像對應(yīng)的深度圖和最遠區(qū)域圖像；其中，由于3D圖像由兩路圖像構(gòu)成，獲取的最近區(qū)域圖像對應(yīng)地包括第一路圖像中的最近區(qū)域圖像和第二路圖像中的最近區(qū)域圖像，而最遠區(qū)域圖像也包括第一路圖像中的最遠區(qū)域圖像和第二路圖像中的最遠區(qū)域圖像；在根據(jù)最近區(qū)域圖像中包含的兩組圖像通過深度圖求取算法生成最近區(qū)域圖像的深度圖，同理生成最遠區(qū)域圖像的深度圖。lc、獲取所述最近區(qū)域圖像的深度圖中的深度最小值以及所述最遠區(qū)域圖像的深度圖中的深度最大值；Id、根據(jù)所述深度最大值和所述深度最小值，得到所述景深閾值區(qū)間。根據(jù)步驟Ib獲得的兩組深度圖，讀取所述最近區(qū)域圖像的深度圖中的深度最小值以及所述最遠區(qū)域圖像的深度圖中的深度最大值，由深度最大值和深度最小值構(gòu)成所述景深閾值區(qū)間。S12、通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域；圖像追蹤算法用于跟蹤確定圖像中某一物體的位置，本發(fā)明通過跟蹤算法，在手術(shù)器械移動時，利用該算法持 續(xù)實時獲取到圖像中手術(shù)器械在圖像中的區(qū)域；在一較佳實施例中，所述通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域的步驟具體為:獲取所述手術(shù)器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術(shù)器械進行跟蹤，生成第一路圖像的手術(shù)器械區(qū)域；立體顯微系統(tǒng)中圖像，手術(shù)器械的顏色特征一般較為明顯，camshift算法在簡單背景下能夠取得良好的跟蹤效果，該算法單純的考慮顏色直方圖，時間復(fù)雜度低，特別適合用于手術(shù)過程中的手術(shù)器械跟蹤，因此通過獲取圖像中手術(shù)器械的顏色直方圖，camshift算法即可根據(jù)該顏色直方圖對所述第一路圖像中的手術(shù)器械進行跟蹤，生成第一路圖像的手術(shù)器械區(qū)域。S13、以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域；在一較佳實施例中，該步驟具體可包括:3a、確定所述第一路圖像的手術(shù)器械區(qū)域的第一中心點及所述第一中心點的坐標；3b、確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像中的搜索區(qū)域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像的搜索區(qū)域的長度和寬度大于所述第一路圖像的手術(shù)器械區(qū)域的長度和寬度；3c、以所述第一路圖像的手術(shù)器械區(qū)域為模板，對所述第二路圖像的搜索區(qū)域中的每個像素進行相似度判斷，根據(jù)零均值差的平方和相關(guān)法生成所述第二路圖像的手術(shù)器械區(qū)域；通過步驟S12中生成的第一路圖像的手術(shù)器械區(qū)域，在本步驟S13中進行模板匹配，獲取第二路圖像中的手術(shù)器械區(qū)域；首先通過所述第一路圖像的手術(shù)器械區(qū)域，獲取該區(qū)域的中心點，記為所述第一中心點，接著獲取第一中心點的坐標；根據(jù)第一中心點的坐標，查找第二路圖像中與第一中心點的坐標對應(yīng)的點，記為第二中心點，以第二中心點為中心，在第二路圖像中截取一搜索區(qū)域，第二路圖像中的搜索區(qū)域的長度和寬度必須大于所述第一路圖像的手術(shù)器械區(qū)域的長度和寬度，即搜索區(qū)域的覆蓋范圍要大于第一路圖像的手術(shù)器械區(qū)域的覆蓋范圍；以第一路圖像的手術(shù)器械區(qū)域，根據(jù)零均值差的平方和算法對第二路圖像中的搜索區(qū)域進行模板匹配，獲得第二路圖像的手術(shù)器械區(qū)域；其中，所述零均值差的平方和相關(guān)法的計算方法如下:
權(quán)利要求
1.種數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，其特征在于，包括如下步驟: 獲取顯微系統(tǒng)的景深閾值區(qū)間； 通過追蹤算法追蹤3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域； 以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域； 根據(jù)所述第一路圖像的手術(shù)器械區(qū)域和所述第二路圖像的手術(shù)器械區(qū)域，確定所述手術(shù)器械的視差，再根據(jù)所述視差確定所述手術(shù)器械距離顯微鏡物鏡的深度； 若所述深度在所述景深閾值區(qū)間內(nèi)，則標示所述深度。
2.據(jù)權(quán)利要求1所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，其特征在于，所述獲取顯微系統(tǒng)的景深閾值區(qū)間的步驟具體包括: 接收輸入的所述3D圖像中距離顯微鏡物鏡的最近區(qū)域圖像和最遠區(qū)域圖像； 通過深度圖求取算法分別求取所述最近區(qū)域圖像的深度圖和所述最遠區(qū)域圖像的深度圖； 獲取所述最近區(qū)域圖像的深度圖中的深度最小值以及所述最遠區(qū)域圖像的深度圖中的深度最大值； 根據(jù)所述深度最大值和所述深度最小值，構(gòu)成所述景深閾值區(qū)間。
3.據(jù)權(quán)利要求1所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，其特征在于，所述通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域的步驟具體為: 獲取所述手術(shù)器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術(shù)器械進行跟蹤，生成第一路圖像的手術(shù)器械區(qū)域。
4.據(jù)權(quán)利要求3所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺的確定方法，其特征在于，所述以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域的步驟具體包括: 確定所述第一路圖像的手術(shù)器械區(qū)域的第一中心點及所述第一中心點的坐標； 確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像的搜索區(qū)域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像中的搜索區(qū)域的長度和寬度大于所述第一路圖像的手術(shù)器械區(qū)域的長度和寬度； 以所述第一路圖像的手術(shù)器械區(qū)域為模板，對所述第二路圖像的搜索區(qū)域中的每個像素進行相似度判斷，根據(jù)零均值差的平方和相關(guān)法生成所述第二路圖像的手術(shù)器械區(qū)域。
5.據(jù)權(quán)利要求4所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，其特征在于，所述根據(jù)第一路圖像的手術(shù)器械區(qū)域和第二路圖像的手術(shù)器械區(qū)域，確定手術(shù)器械的視差，再根據(jù)所述視差確定所述手術(shù)器械距離顯微鏡物鏡的深度的步驟具體包括: 根據(jù)所述第二路圖像的手術(shù)器械區(qū)域，確定所述第二路圖像的手術(shù)器械區(qū)域的中心點的橫坐標； 將所述第一路圖像的手術(shù)器械區(qū)域的中心點橫坐標與所述第二路圖像的手術(shù)器械區(qū)域的中心點橫坐標進行相減，得到所述手術(shù)器械的視差； 根據(jù)所述視差計算所述手術(shù)器械的深度。
6.種數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，其特征在于，包括獲取模塊、追蹤模塊、判斷模塊、深度模塊和標示模塊； 所述獲取模塊用于確定顯微系統(tǒng)景深閾值區(qū)間； 所述追蹤模塊用于通過追蹤算法追蹤3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域； 所述判斷模塊用于以所述第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域； 所述深度模塊用于根據(jù)第一路圖像的手術(shù)器械區(qū)域和第二路圖像的手術(shù)器械區(qū)域，確定手術(shù)器械的視差，再根據(jù)所述視差確定所述手術(shù)器械距離顯微鏡物鏡的深度； 所述標示模塊用于獲取所述顯微系統(tǒng)景深閾值區(qū)間，若所述深度在所述景深閾值區(qū)間內(nèi)，則標示所述深度。
7.據(jù)權(quán)利要求6所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，其特征在于，所述獲取模塊中包括接收模塊、求取模塊、深度值模塊和構(gòu)成模塊； 所述接收模塊用于接收輸入的所述3D圖像中距離顯微鏡物鏡的最近區(qū)域圖像和最遠區(qū)域圖像； 所述求取模塊用于通過深度圖求取算法分別求取所述最近區(qū)域圖像的深度圖和所述最遠區(qū)域圖像的深度圖； 所述深度值模塊用于獲取所述最近區(qū)域圖像的深度圖中的深度最小值以及所述最遠區(qū)域圖像的深度圖中的深度 最大值； 所述構(gòu)成模塊用于根據(jù)所述深度最大值和所述深度最小值，構(gòu)成所述景深閾值區(qū)間。
8.據(jù)權(quán)利要求6所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，其特征在于，所述追蹤模塊具體用于獲取所述手術(shù)器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術(shù)器械進行跟蹤，生成第一路圖像的手術(shù)器械區(qū)域。
9.據(jù)權(quán)利要求8所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，其特征在于，所述判斷模塊具體包括確定模塊、截取模塊和模板判斷模塊； 所述確定模塊用于確定所述第一路圖像的手術(shù)器械區(qū)域的第一中心點及所述第一中心點的坐標； 所述截取模塊用于確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像的搜索區(qū)域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像中的搜索區(qū)域的長度和寬度大于所述第一路圖像的手術(shù)器械區(qū)域的長度和覽度； 所述模板判斷模塊用于以所述第一路圖像的手術(shù)器械區(qū)域為模板，對所述第二路圖像的搜索區(qū)域中的每個像素進行相似度判斷，根據(jù)零均值差的平方和相關(guān)法生成所述第二路圖像的手術(shù)器械區(qū)域。
10.據(jù)權(quán)利要求9所述的數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)，其特征在于，所述深度模塊具體包括中心點坐標模塊、視差模塊和計算模塊: 所述中心點坐標模塊用于根據(jù)所述第二路圖像的手術(shù)器械區(qū)域，確定所述第二路圖像的手術(shù)器械區(qū)域的中心點的橫坐標；所述視差模塊用于將所述第一路圖像的手術(shù)器械區(qū)域的中心點橫坐標與所述第二路圖像的手術(shù)器械區(qū)域的中心點橫坐標進行相減，得到所述手術(shù)器械的視差； 所述計算模塊 用于根據(jù)所述視 差計算所述手術(shù)器械的深度。
全文摘要
本發(fā)明提供一種數(shù)字立體顯微系統(tǒng)的虛擬標尺方法，包括獲取顯微系統(tǒng)的景深閾值區(qū)間；通過追蹤算法追蹤3D圖像中第一路圖像中的手術(shù)器械，得到第一路圖像的手術(shù)器械區(qū)域；以第一路圖像的手術(shù)器械區(qū)域為模板，對第二路圖像進行相似度判斷，得到與第一路圖像的手術(shù)器械區(qū)域相似度最高的第二路圖像的手術(shù)器械區(qū)域；根據(jù)第一路圖像的手術(shù)器械區(qū)域和第二路圖像的手術(shù)器械區(qū)域，確定手術(shù)器械的視差，再根據(jù)視差確定手術(shù)器械距離顯微鏡物鏡的深度；若深度在景深閾值區(qū)間內(nèi)，則標示深度。對應(yīng)地本發(fā)明還提供一種數(shù)字立體顯微系統(tǒng)的虛擬標尺系統(tǒng)。本發(fā)明能夠精確確定3D圖像中手術(shù)器械的深度，有效提高手術(shù)過程的安全性和可靠性。
文檔編號A61B19/00GK103083089SQ20121058358
公開日2013年5月8日 申請日期2012年12月27日 優(yōu)先權(quán)日2012年12月27日
發(fā)明者邵航, 張新, 葉斌, 曹峰 申請人:廣東圣洋信息科技實業(yè)有限公司