專利名稱：面向pacs數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi)容的檢索方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于醫(yī)療信息技術(shù)和信息檢索技術(shù)領(lǐng)域，具體涉及一種面向 PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索方法和系統(tǒng).
背景技術(shù)：
醫(yī)學(xué)影像信息學(xué)及其工程應(yīng)用的關(guān)鍵核心系統(tǒng)是醫(yī)學(xué)圖像歸檔與通信 系統(tǒng)(PACS). PACS集醫(yī)學(xué)困像的采集、通信、處理、存儲(chǔ)與顯示于一體， 是醫(yī)院實(shí)現(xiàn)數(shù)字化的關(guān)健信息系統(tǒng)和技術(shù)支撐平臺(tái).隨著醫(yī)學(xué)成像技術(shù)的發(fā) 展和醫(yī)學(xué)信息系統(tǒng)的普及， 一所現(xiàn)代化醫(yī)院的放射科每天會(huì)產(chǎn)生大量的放射 醫(yī)學(xué)圖像，這些困像是醫(yī)生進(jìn)行臨床診斷、病情跟蹤、手術(shù)計(jì)劃、預(yù)后研究、 鑒別診斷的重要客觀依據(jù).醫(yī)學(xué)困^MH:據(jù)的多樣性和重要性亟待高效的醫(yī)學(xué) 圖^r索方法，以最大限度地利用醫(yī)學(xué)困像所提供的信息?；趦?nèi)容的圖像 檢索(Content-base Image Retrieval, CBIR)技術(shù)在近年來引起了廣泛的關(guān) 注，其目的便是從圍像自身包含的內(nèi)容出發(fā)，檢索數(shù)據(jù)庫(kù)中與^目關(guān)的圖像， 其目標(biāo)是要求計(jì)算機(jī)能代替人眼從海童困像中選出與"樣圖"相似的圖像并 反饋給用戶，
現(xiàn)今的CBIR系統(tǒng)一般都采用如下方法進(jìn)行檢索首先對(duì)圖像進(jìn)行特征 提取，得到描述困像內(nèi)容的特征向量，然后根據(jù)Euclid距離、相關(guān)系數(shù)等度 量方法計(jì)算出待檢索的困像與數(shù)據(jù)庫(kù)中困像的特征向量間的距離，最終選取 距離最小的一些閨像作為檢索結(jié)果輸出.這種檢索方法面臨的最大困難在 于，當(dāng)困^Mt據(jù)庫(kù)iiJ，J一定^^，困像特征向童間的距離計(jì)算非常耗時(shí)， 這使得CBIR技術(shù)在大規(guī)模困像數(shù)據(jù)庫(kù)中無(wú)法實(shí)用化，此外，要想真正模擬 人識(shí)別圖像的功能需要閨條現(xiàn)覺特征與圍像語(yǔ)義特征間的有效溝通，而當(dāng)前用于閨像險(xiǎn)索的特征主要是一些較為低層的視覺特征(如顏色、形狀、紋 理等)，這些低在特征與用戶查詢所使用的高層概念(如病灶的影像學(xué)表 現(xiàn)或病理學(xué)診斷等)之間還存在著巨大的"語(yǔ)義鴻溝".目前醫(yī)學(xué)上雖然已經(jīng) 建立了不少CBIR系統(tǒng)，但這些系統(tǒng)大都處于實(shí)驗(yàn)研究或臨床評(píng)估階段，而 且這些,統(tǒng)所存儲(chǔ)和管理的困M量非常有限(幾千到幾萬(wàn)幅)，幾乎沒有 一個(gè)真正應(yīng)用到臨店^診斷或治療的曰常工作之中.

發(fā)明內(nèi)容
本發(fā)明提供了 一種面向PACS數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi)容的檢索方法 和系統(tǒng)，以解決傳統(tǒng)CBIR技術(shù)不適用于大規(guī)模困像數(shù)據(jù)庫(kù)的缺陷，并可以 在一定程度上緩解傳統(tǒng)CBIR技術(shù)中的"語(yǔ)義鴻溝"現(xiàn)象。
本發(fā)明所采用的技術(shù)方案如下
一種面向PACS數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi)容的檢索方法，其特征在于 通itit射信息系統(tǒng)(RIS)與PACS間的集成，將RIS中的放射診斷報(bào)告與 PACS中的放射困像進(jìn)行關(guān)聯(lián)，并分別建立放射診斷報(bào)告的倒排索引和放射 圍像的特征索引，然后使用兩階段搜索算法對(duì)查詢請(qǐng)求進(jìn)行基于內(nèi)容的圖像 檢索； 一個(gè)有效的查詢請(qǐng)求至少由困像示例和困像示例相關(guān)文^述信息組 成，其中圖像示例為用戶指定的一幅PACS困像，困像示例相關(guān)文^述信
息為困像示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述；
兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見 或/和可能的病理學(xué)診斷的描迷文W放射診斷報(bào)告倒排索引中進(jìn)行檢索，此 階段可以得到與待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診 斷報(bào)告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報(bào)告是按照文本向
量空間模型中的相關(guān)度排序的；笫二階段，在圍像特征索引庫(kù)中提取候選搜索結(jié)果集中報(bào)告的相關(guān)PACS困像臬合的特征，然后計(jì)算困像集合中的圖像 與待檢困^M9L特征向量空間中的距離，并依據(jù)計(jì)算得出的距離對(duì)候選搜索結(jié) 果臬重新排序，然后將最終結(jié)果返回給用戶.
所述的面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索方法，其特征在 于所述第二階段算法中計(jì)算困像集合中的困像與待檢困^4特征向量空間 中的距離，并> 1據(jù)計(jì)算得出的距離從小到大對(duì)候選搜索結(jié)果集重新排序，然 后將最終結(jié)果返回給用戶.
所述的面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索方法，其特征在
于查詢請(qǐng)求還包括患者基本身裕^fr息和影乘除查相關(guān)信息.
一種面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索系統(tǒng)，由于實(shí)施如 上所述的方法，其特征在于它由圍像顯示工作站、查詢接口模塊、放射診 斷報(bào)告索引模塊、圖像特征提M^、放射診斷報(bào)告檢索模塊、圖像匹配模 塊、圖像特征庫(kù)管理模塊、放射診斷報(bào)告倒排索引、圖像特征和縮略圖庫(kù)、 放射診斷報(bào)告數(shù)據(jù)庫(kù)和PACS閨像數(shù)據(jù)庫(kù)組成；其中
困像顯示工作站醫(yī)生使用困像顯示工作站進(jìn)行困M擇、圖像的感興 趣區(qū)域選擇、輸入查詢文本和提交查詢請(qǐng)求，檢索結(jié)果也在圖像顯示工作站 中顯示；
查詢接口模塊困像顯示工作站與搜索引擎進(jìn)行交互的接口模塊； 放射診斷報(bào)告索引模塊用于建立RIS數(shù)據(jù)庫(kù)中的放射報(bào)告的文本索
引；
圖像特征提M塊用于對(duì)PACS困像或困像中的感興趣區(qū)域進(jìn)行特征 提??；放射診斷報(bào)告檢索模塊放射報(bào)告的文本險(xiǎn)索引擎服務(wù)器； 困像匹配模塊用于計(jì)算困像特征或者困像感興趣區(qū)域的特征間的相似
度；
困像特征庫(kù)管理模塊用于對(duì)困像或者困像感興趣區(qū)域的特征，以及圖 像縮略困進(jìn)行管理.
本發(fā)明具有以下效果和優(yōu)點(diǎn)
1. 通過檢索放射診斷報(bào)告倒排索引的方法實(shí)現(xiàn)對(duì)iJS^ PACS圖像數(shù) 據(jù)庫(kù)的導(dǎo)航，大大減少一次查詢過程中需要進(jìn)行特征向量間距離計(jì)算的圖像 的數(shù)量，使得對(duì);^L^棋PACS困像數(shù)據(jù)庫(kù)的檢索成為可能；
2. 使用放射診斷報(bào)告文本險(xiǎn)索技術(shù)在一定程度上緩解CBIR的"語(yǔ)義鴻 溝，，現(xiàn)象.因?yàn)榉派湓\斷報(bào)告是對(duì)放射圖像的人為理解和描述，故放射診斷 報(bào)告中的關(guān)鍵詞比困像4^視覺特征在語(yǔ)義上更加接i^們的搜索意3. 通過對(duì)文本檢索技術(shù)和基于內(nèi)容的困像檢索技術(shù)的有效整合，充分發(fā) 揮兩種技術(shù)的優(yōu)勢(shì)，以達(dá)到取長(zhǎng)補(bǔ)短的效果。相對(duì)于獨(dú)立的文扣險(xiǎn)索方法和 CBIR方法，本發(fā)明的檢索方法具有更好的性能和更高的準(zhǔn)確度。


圖l是本發(fā)明一種實(shí)施例系統(tǒng)的架構(gòu)框困；
圖2是本發(fā)明方法檢索過程的沐艱困。
具體實(shí)施例方式
本發(fā)明提供了一種面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索方 法。通過RIS與PACS間的集成，將RIS中的放射診斷報(bào)告與PACS中的放射困M行關(guān)聯(lián)，并分別建立放射診斷報(bào)告的倒排索引和放射困像的特征 索引，然后使用"兩階段搜索"算法對(duì)查詢請(qǐng)求進(jìn)行基于內(nèi)容的困絲索。一 個(gè)有效的查詢請(qǐng)求至少由困像示例和困像示例相關(guān)文^述信息組成，其中
困像示例為用戶指定的一幅PACS困像，困像示例相關(guān)文^述信息為圖像 示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述。此外，查詢請(qǐng)求 還可以包括患者基本身伯^信息(患者姓名、性別、出生日期等)和影像除查 相關(guān)信息(檢查設(shè)備類型、患者的檢查部位等).
兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見
階段可以得到與待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診
斷報(bào)告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報(bào)告是按照文本向
量空間模型中的相關(guān)度排序的；第二階段，在困像特征索引庫(kù)中提取候選搜
索結(jié)果集中報(bào)告的相關(guān)PACS困像集合的特征，然后計(jì)算圖像集合中的圖像
與待檢圖M特征向量空間中的距離，并依據(jù)計(jì)算得出的距離從小到大對(duì)候
選搜索結(jié)果集重新排序，然后將最終結(jié)果返回給用戶.
下面結(jié)合附困和實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步說明.
如圖1，該檢索系統(tǒng)由困像顯示工作站100、查詢接口模塊101、放射診
斷報(bào)告索引模塊102、困像特征提^*:103、放射診斷報(bào)告檢索模塊104、
圖像匹配模塊105、圖像特征庫(kù)管理模塊106、放射診斷報(bào)告倒排索引107、
困像特征和縮略困庫(kù)108、放射診斷報(bào)告數(shù)據(jù)庫(kù)110和PACS圖像數(shù)據(jù)庫(kù)120
組成.其中
圍像顯示工作站100:醫(yī)生使用困像顯示工作站進(jìn)行圖^it擇、圖像的 感興趣區(qū)域選擇、榆入查詢文本和提交查詢請(qǐng)求，檢索結(jié)果也在圖像顯示工作站中顯示.
查詢接口模塊ioi:困像顯示工作站與搜索引擎進(jìn)行交互的接口模塊。 放射診斷報(bào)告索引模塊102:用于建立RIS數(shù)據(jù)庫(kù)中的放射報(bào)告的文本 索引.
困像特征提^U^: 103:用于對(duì)PACS閨M困像中的感興趣區(qū)域進(jìn)行 特征提取.
放射診斷報(bào)告檢索模塊104:放射報(bào)告的文#索引擎服務(wù)器. 圖像匹配模塊105:用于計(jì)算困像特征(或者困像感興趣區(qū)域的特征) 間的相似度.
困像特征庫(kù)管理模塊106:用于對(duì)困像或者圖像感興趣區(qū)域的特征，以 及困像縮略圖進(jìn)行管理， 該系統(tǒng)索引過程
1、 在醫(yī)生完成放射困像的診斷報(bào)告的撰寫任務(wù)后，圖像特征提取模塊 103執(zhí)行困像或圖像感興趣區(qū)域的特征提取操作(可能的方式包括自動(dòng)提取 或通過圖像顯示工作站進(jìn)行人工提取)，然后困像特征提取溪塊103將提取
108中，同時(shí)生成困像的縮略困并^M "到困像特征和縮略圖庫(kù)108中；
2、 困像特征提$**: 103發(fā)送需要進(jìn)行文本索引的放射診斷報(bào)告的標(biāo) 識(shí)號(hào)至放射診斷報(bào)告索引模塊102;
3、 放射診斷報(bào)告索引模塊102接收到放射診斷報(bào)告的標(biāo)識(shí)號(hào)后將為對(duì) 應(yīng)的放射診斷報(bào)告的內(nèi)容建立文本索引.
該系統(tǒng)的檢索#，如困2所示
200、困像顯示工作站IOO將查詢請(qǐng)求提交至查詢接口模塊101;210、查詢接口模塊101對(duì)查詢請(qǐng)求進(jìn)行驗(yàn)證，若如查詢請(qǐng)求是無(wú)效的 則進(jìn)行步槺220，若查詢請(qǐng)求是有效的則進(jìn)行步驟230;
220、查詢接口模塊101返回出錯(cuò)提示至困像顯示工作站100，檢索過程 結(jié)束；
230、查詢接口模塊101使用放射診斷報(bào)告檢索系統(tǒng)104在放射診斷報(bào) 告倒排索引107中檢索與查詢請(qǐng)求中的困像示例相關(guān)文^^B匹配的放射 診斷報(bào)告，檢索得到的結(jié)果稱為候選搜索結(jié)果集；
240、查詢接口模塊101對(duì)候選搜索結(jié)果集進(jìn)行驗(yàn)證，若候選搜索結(jié)果 集為空(即沒有找到匹配的放射診斷報(bào)告)則進(jìn)行步驟250，若候選搜索結(jié) 果集不空則進(jìn)行步蘇260;
250、查詢接口模塊101返回空的搜索結(jié)果集至圖像顯示工作站100，檢 索過程結(jié)束；
260、查詢接口模塊101使用圍像特征庫(kù)管理系統(tǒng)106提取出與候選搜 索結(jié)果集中的放射診斷報(bào)告相關(guān)聯(lián)的圖像的特征以及縮略圖URL;
270、查詢接口模塊101使用困像匹配系統(tǒng)105計(jì)算候選搜索結(jié)果集中 ^t射診斷報(bào)告的關(guān)聯(lián)困像與待檢困象&特征向量空間中的距離，并依據(jù)計(jì)算 得出的距離從小到大對(duì)候選搜索結(jié)果重新進(jìn)行排序；
280、查詢接口模塊101返回最終的搜索結(jié)果集至圖像顯示工作站100， 檢索過程結(jié)束.
用戶最終得到的搜索結(jié)果集中的每條結(jié)果都由兩部分組成， 一部分是與 待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的放射診斷報(bào)告的文本片段，另 一部分是與待檢困像在視覺特征上最相似的一幅PACS圖像的縮略圖。
權(quán)利要求
1、一種面向PACS數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi)容的檢索方法，其特征在于通過RIS與PACS間的集成，將RIS中的放射診斷報(bào)告與PACS中的放射圖像進(jìn)行關(guān)聯(lián)，并分別建立放射診斷報(bào)告的倒排索引和放射圖像的特征索引，然后使用兩階段搜索算法對(duì)查詢請(qǐng)求進(jìn)行基于內(nèi)容的圖像檢索；一個(gè)有效的查詢請(qǐng)求至少由圖像示例和圖像示例相關(guān)文本描述信息組成，其中圖像示例為用戶指定的一幅PACS圖像，圖像示例相關(guān)文本描述信息為圖像示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述；兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見或/和可能的病理學(xué)診斷的描述文本在放射診斷報(bào)告倒排索引中進(jìn)行檢索，此階段可以得到與待檢圖像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診斷報(bào)告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報(bào)告是按照文本向量空間模型中的相關(guān)度排序的；第二階段，在圖像特征索引庫(kù)中提取候選搜索結(jié)果集中報(bào)告的相關(guān)PACS圖像集合的特征，然后計(jì)算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據(jù)計(jì)算得出的距離對(duì)候選搜索結(jié)果集重新排序，然后將最終結(jié)果返回給用戶。
2、 根據(jù)權(quán)利要求1所述的面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的 檢索方法，其特征在于所述第二階段算法中計(jì)算困像集合中的圖像與待檢 圖M特征向量空間中的距離，并依據(jù)計(jì)算得出的距離從小到大對(duì)候選搜索 結(jié)果集重新排序，然后將最終結(jié)果返回給用戶.
3、 根據(jù)權(quán)利要求1或2所述的面向PACS數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi) 容的檢索方法，其特征在于查詢請(qǐng)求還包括患者基本身份信息和影像險(xiǎn)查 相關(guān)信息.
4、 一種面向PACS數(shù)據(jù)庫(kù)中放射困像的基于內(nèi)容的檢索系統(tǒng)，由于實(shí) 施如權(quán)利要求1或2或3所述的方法，其特征在于它由圖像顯示工作站 (100)、查詢接口模塊(101)、放射診斷報(bào)告索引模塊(102)、圖像特 征提絲塊(103 )、放射診斷報(bào)告檢索模塊(104 )、困像匹配模塊(105)、 困像特征庫(kù)管理模塊(106)、放射診斷報(bào)告倒排索引(107)、圖像特征和 縮略困庫(kù)(108)、放射診斷報(bào)告數(shù)據(jù)庫(kù)(110)和PACS困像數(shù)據(jù)庫(kù)(120) 組成；其中困像顯示工作站(100):醫(yī)生使用困像顯示工作站進(jìn)行圖像選擇、圖像的感興趣區(qū)域選擇、輸入查詢文本和提交查詢請(qǐng)求，檢索結(jié)果也在圖像顯 示工作站中顯示；查詢接口模塊(101):困像顯示工作站與搜索引擎進(jìn)行交互的接口模塊；放射診斷報(bào)告索引棋塊(102):用于建立R1S數(shù)據(jù)庫(kù)中的放射報(bào)告的 文本索引；困像特征提MI^ (103):用于對(duì)PACS圖像或圖像中的感興趣區(qū)域 進(jìn)行特征提??；放射診斷報(bào)告檢索模塊(104):放射報(bào)告的文^索引擎服務(wù)器； 圍像匹配模塊(105):用于計(jì)算困像特征或者困像感興趣區(qū)域的特征 間的相似度；圖像特征庫(kù)管理模塊(106):用于對(duì)圍像或者困像感興趣區(qū)域的特征， 以及圖像縮略困進(jìn)行管理.
全文摘要
本發(fā)明公開了一種面向PACS數(shù)據(jù)庫(kù)中放射圖像的基于內(nèi)容的檢索方法和系統(tǒng)，該方法通過將放射信息系統(tǒng)中的放射診斷報(bào)告與PACS中的放射圖像進(jìn)行關(guān)聯(lián)，并建立放射診斷報(bào)告的倒排索引和放射圖像的特征索引庫(kù)，然后使用“兩階段搜索”算法實(shí)現(xiàn)對(duì)放射圖像的基于內(nèi)容的檢索。本發(fā)明將文本檢索技術(shù)和基于內(nèi)容的圖像檢索技術(shù)進(jìn)行了有效的整合，解決了傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)不適用于大規(guī)模圖像數(shù)據(jù)庫(kù)的缺陷，并且在一定程度上緩解了傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)中的“語(yǔ)義鴻溝”現(xiàn)象，具有很高的應(yīng)用價(jià)值。
文檔編號(hào)G06F19/00GK101441658SQ200810201548
公開日2009年5月27日 申請(qǐng)日期2008年10月22日 優(yōu)先權(quán)日2008年10月22日
發(fā)明者何振宇, 張建國(guó) 申請(qǐng)人:中國(guó)科學(xué)院上海技術(shù)物理研究所