專利名稱：用于分類射線照片的方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及用于處理射線照片的技術(shù)，且更特別地涉及用于自動分類射線照片的技術(shù)。
背景技術(shù)：
精確的醫(yī)療診斷通常取決于圖像中診斷相關(guān)區(qū)域的正確顯示。隨著最近計算射線攝影系統(tǒng)和數(shù)字射線攝影系統(tǒng)的發(fā)展，圖像及其最后“外觀”的采集是分開的。這為用戶提供了靈活性，但是也在為圖像顯示設(shè)置適當色階中帶來了困難。
最佳的色階通常取決于檢查類型、曝光條件、圖像采集設(shè)備和輸出設(shè)備的選擇，以及放射學(xué)家的偏好。其中，檢查類型被看作為決定性因素，因為其直接與圖像中臨床重要部分的特性有關(guān)。因此，成功的分類檢查類型對于圖像的最佳再現(xiàn)是有益的。
使用檢查類型分類的新興領(lǐng)域是數(shù)字圖像歸檔和通信系統(tǒng)(PACS)。如今，大部分有關(guān)射線照片的信息主要基于人工輸入。該步驟通常被跳過或者錯誤的信息被記錄在圖像頭部中，這阻礙了在常規(guī)醫(yī)療實踐和病人護理中有效地利用圖像。
因此，自動圖像分類具有通過基于圖像內(nèi)容來組織和檢索圖像從而解決上面問題的潛力。這可使醫(yī)療圖像管理系統(tǒng)更加合理和有效，并且必定提高了PACS的性能。
但是，分類射線照片是一個挑戰(zhàn)性的問題，因為射線照片通常是在各種檢查條件下拍攝的。取決于病人的情況，病人的姿勢和尺寸可能變化；放射學(xué)家的偏好也是如此。這些因素使來自相同檢查的射線照片顯示得非常不同。人們想使用更高水平的語義通過捕獲圖像內(nèi)容、將它們分組為有益的對象并將它們與上下文信息(即醫(yī)療檢查)進行匹配來標識射線照片。但是因為圖像分析算法的限制，這些分析過程對于計算機來說難以以類似的方式實現(xiàn)。
已經(jīng)對分類醫(yī)療圖像作出了努力。例如，I.Kawshita等人(″Development of Computerized Method for AutomatedClassification of Body Parts in Digital Radiographs″，RSNA2002)展示了一種分類六個身體部位的方法。該方法通過使用互相關(guān)值來檢查給定圖像與一組預(yù)定模板圖像的相似性，以作為相似性測量。但是，這些模板圖像的手工生成是非常費時的，并且更特別地，它與觀察者高度有關(guān)，這可能引入錯誤到分類中。
Guld等人(″Comparison of Global Features forCategorization of Medical Images″，SPIE medical Imaging 2004)公開了一種評估從分類圖像中提取的全局特征集合用于分類的方法。
在兩種方法中，沒有實施預(yù)處理來降低不相關(guān)的并且通常干擾數(shù)據(jù)的影響。例如，由x射線準直儀在曝光期間引起的未曝光區(qū)域可導(dǎo)致圖像周圍顯著的白色邊界。如果這種區(qū)域不在預(yù)處理步驟中被移除，并因此在相似性測量的計算中使用，則會使分類結(jié)果嚴重偏離。
最近的文獻集中在自然景物圖像分類。例子包括QBIC(W.Niblack等人，″The QBIC projectQuerying images by contentusing color，texture，and shape″Proc.SPIE Storage andRetrieval for Image and Video Databases，F(xiàn)eb 1994)、Photobook(A.Pentland等人″PhotobookContent-based manipulation ofimage database″.International Journal of Computer Vision，1996)、Virage(J.R.Bach等人″The Virage image search engineAn open framework for image management″Proc.SPIE Storage andRetrieval for image and Video Database，vol 2670，pp.76-97，1996)、Visualseek(R.Smith等人″VisualseekA fullyautomated content-based image query system″Proc ACMMultimedia 96，1996)、Netra(Ma等人″NetraA toolbox fornavigating large image databases″Proc IEEE Int.Conf.On ImageProc.1997)、和MAR(T.S.Huang等人″Multimedia analysis andretrieval system(MARS)project″Proc of 33rd Annual Clinic onLibrary Application of Data Processing Digital Image Accessand Retrieval，1996)。這些系統(tǒng)遵從相同的計算范例，該范例將圖像作為整個實體對待并通過一組水平特征或?qū)傩裕热珙伾?、紋理、形狀和布局來表示它。特別地，所有這些特征屬性一起形成特征向量，并且圖像分類基于將這些低水平視覺特征向量進行集群。在多數(shù)情況下，最有效的特征是顏色。但是，顏色信息在射線照片中不可用。因此，這些方法不直接適用于射線照片投影視圖的識別。
為了克服現(xiàn)有技術(shù)中的問題，需要一種方法來分類射線照片并自動識別射線照片的投影視圖。這種方法必須如此健壯以便處理射線照片中大的變化。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種用于分類射線照片的自動化方法。
本發(fā)明的另一個目的是提供一種用于識別射線照片的圖像內(nèi)容的方法。
本發(fā)明的又一個目的是提供一種自動識別射線照片的投影視圖的方法。
這些目的僅僅通過說明性實例的方法來給出，并且這些目的可能是一個或多個本發(fā)明的實施例的示例。對于本領(lǐng)域技術(shù)人員，所公開的方法固有實現(xiàn)的其它期望的目標和優(yōu)點可能出現(xiàn)或變得明顯。本發(fā)明由所附權(quán)利要求定義。
根據(jù)本發(fā)明，這些目標是通過以下步驟實現(xiàn)的訪問輸入的射線照片；歸類輸入的射線照片；并識別射線照片中的圖像內(nèi)容。歸類射線照片包括將射線照片分段為前景、背景和解剖體區(qū)域，分類射線照片的物理尺寸和總體形狀，并且組合分類結(jié)果以由此歸類射線照片。識別射線照片中的圖像內(nèi)容是通過執(zhí)行形狀識別和外觀識別并基于識別結(jié)果來標識圖像內(nèi)容來完成的。
根據(jù)本發(fā)明的一個方面，提供了一種相對于身體部位和投影視圖分類射線照片的檢查類型的方法。該方法包括步驟采集射線照片圖像；基于總體特性將射線照片圖像歸類為預(yù)先確定的類別；并識別射線照片圖像的檢查類型。
本發(fā)明提供一些優(yōu)點。所述方法的特征促進了健壯性。例如，射線照片的預(yù)處理幫助避免了來自準直區(qū)域的干擾和其它噪聲。此外，用于方向分類的特征對于尺寸、平移和旋轉(zhuǎn)是不變的。所述方法的特征還促進了效率。例如，所有過程都可在子采樣的粗分辨率圖像上來實現(xiàn)，這極大地加速了識別過程。


通過下面對本發(fā)明的實施例的更特別的描述，本發(fā)明的前述和其它目的、特征和優(yōu)點將會很明顯，如附圖所示。附圖的元素不是必須彼此相關(guān)地成比例。
圖1示出了說明根據(jù)本發(fā)明的用于分類射線照片的自動化方法的流程圖。
圖2示出了說明根據(jù)本發(fā)明的為歸類射線照片所執(zhí)行的步驟的流程圖。
圖3A-3E示出了顯示來自預(yù)處理步驟的圖解視圖。圖3A示出原始圖像。圖3B-3D分別描繪其來自分段的前景、背景和解剖體圖像。圖3E示出標準化圖像。
圖4A-4C示出了說明對射線照片邊緣方向直方圖的形狀模式進行分類的圖解視圖。圖4A示出原始圖像。圖4B示出分段之后的解剖體圖像。圖4C示出解剖體圖像的邊緣方向直方圖。
圖5示出了說明根據(jù)本發(fā)明的為識別射線照片所執(zhí)行的步驟的流程圖。
圖6A-6B示出了說明根據(jù)本發(fā)明的提取射線照片中感興趣區(qū)域的圖解視圖。圖6A示出原始圖像。圖6B示出在射線照片中提取的感興趣區(qū)域。
具體實施例方式
下面是參考附圖的對本發(fā)明的優(yōu)選實施例的詳細描述，在附圖中相同的參考標記標識每個附圖中結(jié)構(gòu)的相同元素。
本發(fā)明涉及一種用于自動分類射線照片的方法。根據(jù)本發(fā)明的方法的流程圖在圖1中總體示出。如圖1所示，該方法包括步驟采集/訪問數(shù)字射線照片(步驟10)、歸類射線照片(步驟11)和識別射線照片中的圖像內(nèi)容(步驟12)。
根據(jù)本發(fā)明，圖像內(nèi)容是指射線照片中的檢查類型信息，例如射線照片中的身體部位和投影視圖信息。
為了便于闡述，將利用腳部射線照片描述本發(fā)明。注意，本發(fā)明不限于這種圖像內(nèi)容而可與任何圖像內(nèi)容一起應(yīng)用。
現(xiàn)在參考圖2，示出了更特別地說明本發(fā)明方法的流程圖，并且更特別地，說明了歸類射線照片的步驟(步驟11)。
歸類射線照片的步驟被應(yīng)用來降低方法的計算復(fù)雜度并最小化在識別階段需要的匹配操作。存在已知的能夠進行這種歸類的方法。一種適合的技術(shù)在2004年11月23日以Luo等人的名義提交的題為“AUTOMATED RADIOGRAPH CLASSIFICATION USING ANATOMYINFORMATION”的美國臨時申請No.60/630,286中公開，并且該臨時申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。
為了進行歸類，該方法以將射線照片分段為三個區(qū)域(步驟21)開始準直區(qū)域(即前景)、直接曝光區(qū)域(即背景)和診斷相關(guān)區(qū)域(即解剖體)。接著，可對圖像執(zhí)行兩次分類一次分類是基于解剖體的物理尺寸(步驟22)，并且另一次分類集中于解剖體區(qū)域的總體形狀(步驟23)。此后，組合兩次分類所得的結(jié)果，并且采集/輸入的射線照片被歸類為一個或多個(例如八個)預(yù)定義類別(步驟24)。
可利用本領(lǐng)域技術(shù)人員已知的方法來完成圖像分段(步驟21)。一種適合的分段方法在2003年7月24日由Wang等人提交的題目為METHOD OF SEGMENTING A RADIOGRAPHIC IMAGE INTO DIAGNOSTICALLYRELEVANT AND DIAGNOSTICALLY IRRELEVANT REGIONS的美國序列號10/625,919中公開，其被普通轉(zhuǎn)讓且合并在此作為參考。
圖3A示出示例腳部的射線照片并且圖3B-3D分別示出從分段獲得的前景、背景和解剖體圖像。
一旦圖像被分段，則從圖像中移除前景和背景區(qū)域。剩余的解剖體區(qū)域可接著被標準化以補償由病人變化和檢查條件引起的曝光密度的差異。圖3E顯示了在強度標準化之后得到的圖像。
為了執(zhí)行射線照片的物理尺寸分類(步驟22)，從前景、背景和解剖體圖像中提取六個特征。這些特征接著被饋送入預(yù)先訓(xùn)練的分類器，比如在被普通轉(zhuǎn)讓的以Luo等人的名義在2004年11月19日提交的題目為“DETECTION AND CORRECTION METHOD FOR RADIOGRAPHORIENTATION”的序列號為10/993,055的美國申請中描述的。該分類器的輸出將標識射線照片中的解剖體屬于大尺寸的解剖體組還是屬于小尺寸的解剖體組。例如，圖3A中的腳部射線照片可被分類為小尺寸解剖體。
總體形狀分類(步驟23)的成功取決于其處理射線照片中大的變化的能力。這種變化包括射線照片中解剖體的大小、方向和平移差異。在本發(fā)明的一個優(yōu)選實施例中，可采納總體形狀分類。
一種適當?shù)目傮w形狀分類在2004年11月23日以Luo等人的名義提交的題為“AUTOMATED RADIOGRAPH CLASSIFICATION USING ANATOMYINFORMATION”的美國臨時申請No.60/630,286中描述，該臨時申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。
這種總體形狀分類可用三個步驟來執(zhí)行提取解剖體的邊緣；接著計算邊緣方向直方圖；和利用縮放、旋轉(zhuǎn)和平移不變形狀分類器來將邊緣方向直方圖分類為預(yù)定義的形狀模式(優(yōu)選地，分類為四個預(yù)定義的形狀模式中的一個)。
圖4A-4C說明了用于腳部圖像的總體形狀分類的實現(xiàn)。圖4A示出了原始圖像并且圖4B示出在分段之后的解剖體圖像。圖4C示出解剖體圖像的邊緣方向直方圖。如圖4C所示，腳部具有0到360度范圍的邊緣方向，因此其邊緣方向分布在直方圖的幾乎所有角度上展開。結(jié)果，腳部射線照片被分類成其它形狀模式邊緣方向直方圖。
在完成了物理尺寸(步驟22)和/或總體形狀(步驟23)的分類后，接著將輸入的射線照片歸類(步驟24)為一個或多個類別，優(yōu)選地為八個類別中的一個或多個。在該優(yōu)選方案中，這些類別從兩個物理尺寸組和四個總體形狀模式中導(dǎo)出。將一個以上所得類別分配給射線照片的特征將會保持射線照片的模糊，并且在識別階段中降低這種模糊是所期望的。
根據(jù)本發(fā)明，八個類別中的每一個都包括若干檢查類型，每個檢查類型共享類似的物理尺寸和總體形狀模式。例如，腳部射線照片所歸類的具有其它形狀模式邊緣方向直方圖的小尺寸解剖體，包括七個可能的檢查類型。它們是手部前-后(AP)視圖、手部橫向視圖、手部斜視圖、頭骨AP視圖、頭骨橫向視圖、頭骨斜視圖和腳部橫向視圖。為了進一步分類腳部射線照片并將其與剩下的檢查類型分開，需要更詳細的內(nèi)容識別。
現(xiàn)在參考圖5，其示出了說明識別射線照片的步驟(步驟12)的流程圖。
該步驟用于識別射線照片的身體部位和投影視圖。在射線照片中存在可用于識別的大量特征，比如解剖體的形狀輪廓和圖像的外觀。為了完成這個步驟，本發(fā)明利用了射線照片中的有用信息，并對每個特征執(zhí)行識別(步驟51和步驟52)。接著，組合識別結(jié)果以標識射線照片的身體部位和投影視圖(步驟53)。
對于步驟51，對射線照片實現(xiàn)形狀識別。形狀識別的優(yōu)點在于，它可提供一種識別具有顯著形狀特征的解剖結(jié)構(gòu)的方式，顯著形狀特征比如是手部、頭骨和腳部。注意，該步驟不同于參考步驟11描述的總體形狀分類步驟(步驟23)。在步驟51中，因為這里的形狀識別集中于基本上精確的形狀匹配，因此其結(jié)果旨在直接規(guī)定圖像是否與目標形狀類似。相反，總體形狀分類(步驟23)分組具有類似邊緣方向直方圖的檢查類型，而不管它們形狀之間的顯著差異。
一種適當?shù)姆诸惙椒ㄔ?004年11月23日以Luo等人的名義提交的題為“METHOD FOR AUTOMATIC SHAPE CLASSIFICATION”的美國臨時申請No.60/630,270中公開，該臨時申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。
仍然利用腳部射線照片的例子，該方法構(gòu)造腳部射線照片的訓(xùn)練數(shù)據(jù)庫。該數(shù)據(jù)庫包含從射線照片學(xué)習(xí)的腳部橫向視圖形狀以及一些其它的形狀。接著，根據(jù)數(shù)據(jù)庫中的所有腳部形狀計算平均形狀，并且稍后在將數(shù)據(jù)庫中的每個形狀與平均形狀對準之后計算距離以，數(shù)據(jù)庫中的每個形狀包括腳部形狀和所有其它形狀。通過將距離放在一起，該方法生成距離分布，其中腳部橫向形狀趨于具有短距離，而其它形狀呈現(xiàn)由于來自平均形狀的顯著區(qū)別所引起的大距離變化。為了最好地將腳部形狀與其它形狀分開，從分布中導(dǎo)出一個閾值。在形狀識別的最后一個步驟，該方法將具有小于該閾值的距離的形狀分類為腳部橫向射線照片。
對于步驟52，基于外觀的圖像識別被用于識別射線照片。這種識別集中在射線照片的外觀上。即是，其基于強度和空間信息來標識圖像的相似性。完成該步驟的適合方法對于本領(lǐng)域技術(shù)人員是已知的。一種適當?shù)姆椒ㄔ?004年11月23日以Luo等人的名義提交的題為“METHOD FOR RECOGNIZING PROJECTION VIEWS OF RADIOGRAPHS”的美國臨時申請No.60/630,287中公開，該臨時申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。該方法包括步驟校正輸入射線照片的方向，從射線照片提取感興趣區(qū)域(ROI)，并基于ROI的外觀識別射線照片。
為了進行射線照片的方向校正，一種適當?shù)姆椒ㄔ?004年11月19日以Luo等人的名義提交的題為“DETECTION AND CORRECTION METHODFOR RADIOGRAPH ORIENTATION”的序列號為10/993,055的美國申請中公開，該申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。
由于射線照片中的變化，對射線照片直接執(zhí)行識別不是優(yōu)選的，因為來自縮放、旋轉(zhuǎn)和平移的差異，以及解剖體的所選部分的差異可使識別結(jié)果產(chǎn)生偏差。
為了解決該情況，從射線照片提取感興趣區(qū)域(ROI)。此ROI旨在從圖像數(shù)據(jù)捕獲診斷上有用的部分，并最小化由上面的因素引起的變化。一個用于提取這種ROI的合適方法在2004年11月23日以Luo等人的名義提交的題為“METHOD FOR RECOGNIZING PROJECTIONVIEWS OF RADIOGRAPHS”的美國臨時申請No.60/630,287中公開，該臨時申請被轉(zhuǎn)讓給本申請的受讓人，并且合并在此作為參考。作為例子，圖6A-6B示出了說明提取腳部射線照片中感興趣區(qū)域的圖解視圖。圖6A示出原始圖像，并且圖6B示出在腳部射線照片中提取的感興趣區(qū)域(ROI)。
圖像的身體部位和投影視圖的識別是基于所提取的ROI并通過用預(yù)先訓(xùn)練的一組分類器分類射線照片來完成的。每個分類器被訓(xùn)練成從所有其它身體部位和投影視圖中分類一個身體部位和投影視圖，并且其輸出表示輸入的射線照片與這種身體部位和投影視圖的匹配有多接近。
在來自分類器的一組結(jié)果的幫助下，在識別步驟(步驟53)中應(yīng)用的推理引擎將確定輸入的射線照片可能具有的最相似的身體部位和投影視圖。在本發(fā)明的一個優(yōu)選實施例中，已知為貝葉斯判定規(guī)則的一種概率結(jié)構(gòu)，用于組合所有識別結(jié)果并推理出具有最高置信度的結(jié)果作為射線照片的身體部位和投影視圖。
本發(fā)明可例如在計算機程序產(chǎn)品中實現(xiàn)。計算機程序產(chǎn)品可例如包括一個或多個存儲媒體；磁性存儲媒體，比如磁盤(比如軟盤)或磁帶；光存儲媒體，比如光盤、光帶、或機器可讀條形碼；固態(tài)電存儲設(shè)備，比如隨機訪問存儲器(RAM)、或只讀存儲器(ROM)；或任何其它物理設(shè)備或應(yīng)用于存儲計算機程序的媒體，計算機程序具有用于控制一臺或多臺計算機實施根據(jù)本發(fā)明的方法的指令。
本發(fā)明的系統(tǒng)可包括可編程計算機，其具有微處理器、計算機存儲器、和存儲在所述計算機存儲器中用于執(zhí)行本方法步驟的計算機程序。計算機具有可操作地與微處理器連接的存儲器接口。這可以是驅(qū)動器上的端口，比如USB端口，驅(qū)動器接受可移除存儲器或允許對照相機存儲器進行訪問的一些其它設(shè)備。該系統(tǒng)包括具有與存儲器接口兼容的存儲器的數(shù)碼相機。如果期望的話，照相膠片照相機和掃描儀可代替數(shù)碼相機。圖形用戶接口(GUI)和用戶輸入單元，比如鼠標和鍵盤可作為計算機的部分來提供。
已經(jīng)特別地參考當前的優(yōu)選實施例來詳細描述本發(fā)明，但是可以理解，各種變化和修改可在本發(fā)明的精神和范圍內(nèi)實現(xiàn)。因此可在所有作為說明性而非限制性的方面中考慮當前公開的實施例。
權(quán)利要求
1.一種用于分類射線照片圖像的方法，包括步驟采集射線照片圖像；基于射線照片圖像的總體特性將射線照片圖像歸類為預(yù)先確定的類別；并且相對于身體部位和投影視圖來識別射線照片圖像的檢查類型。
2.權(quán)利要求1的方法，其中歸類射線照片的步驟包括步驟將射線照片圖像分段為前景、背景和解剖體區(qū)域；分類解剖體區(qū)域的物理尺寸；生成解剖體區(qū)域的邊緣方向直方圖；分類邊緣方向直方圖的形狀模式；和基于總體特性將射線照片圖像歸類為預(yù)先確定的類別。
3.權(quán)利要求2的方法，其中總體特性包括解剖體區(qū)域的物理尺寸和邊緣方向直方圖的形狀模式。
4.權(quán)利要求1的方法，其中識別射線照片的檢查類型的步驟包括步驟根據(jù)預(yù)先訓(xùn)練的形狀模型來執(zhí)行形狀識別；根據(jù)預(yù)先訓(xùn)練的外觀模型來執(zhí)行外觀識別；利用推理引擎將形狀識別和外觀識別組合。
全文摘要
一種用于分類射線照片的方法。該方法包括步驟訪問射線照片；基于射線照片的總體特性將射線照片歸類為預(yù)先確定的類別，并且識別射線照片中的圖像內(nèi)容。
文檔編號G06K9/62GK101065778SQ200580040153
公開日2007年10月31日 申請日期2005年11月21日 優(yōu)先權(quán)日2004年11月23日
發(fā)明者H·羅, J·羅, X·王 申請人:伊斯曼柯達公司