專利名稱：在圖像處理期間預(yù)測用戶交互的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在圖像處理期間預(yù)測用戶交互的方法和設(shè)備，并且涉及一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)被加載到計(jì)算機(jī)并在其上運(yùn)行時(shí)，該計(jì)算機(jī)程序產(chǎn)品執(zhí)行所述方法。本發(fā)明還涉及一種醫(yī)學(xué)成像系統(tǒng)，其包括用于在圖像處理期間預(yù)測用戶交互的設(shè)備。
背景技術(shù)：
對(duì)例如診斷或治療圖像的醫(yī)學(xué)圖像的處理通常要求大量的用戶交互。范例包括 采集圖像、放大/縮小、選擇特定視圖、選擇特定感興趣區(qū)域、選擇特定體積切片、選擇特定子體積、應(yīng)用圖像處理算法和濾波器、更改諸如亮度的呈現(xiàn)參數(shù)以及偽彩色映射。當(dāng)處理圖像時(shí)，用戶進(jìn)行交互系列。優(yōu)選地，這被標(biāo)準(zhǔn)化以確?？芍貜?fù)性和精度。然而，所述交互系列可能取決于用戶的需求、被處理的圖像或者甚至用戶的偏好。在本發(fā)明的上下文中，圖像處理是指使用人工或計(jì)算機(jī)實(shí)施的交互處理圖像。當(dāng)前的醫(yī)學(xué)圖像觀察應(yīng)用，例如圖像存檔與通信系統(tǒng)(PACS)和諸如htended Bril liance Workspace (EBff)的工作站，提供了大范圍的觀察和圖像處理選項(xiàng)，其意味著執(zhí)行同一任務(wù)的不同用戶可以用不同的方式產(chǎn)生可接受的結(jié)果。提供了一些標(biāo)準(zhǔn)化的視圖， 但這對(duì)標(biāo)準(zhǔn)化圖像處理期間采取的步驟幫助甚微?？梢葬槍?duì)特定類型的圖像處理定義標(biāo)準(zhǔn)的交互步驟系列，并指示用戶針對(duì)每個(gè)新的圖像數(shù)據(jù)集進(jìn)行這些步驟；例如，在處理肥厚型男性心臟圖像的過程中，放射科顧問采取的步驟可以如下-瀏覽垂直于心臟縱軸的平面處的數(shù)據(jù)-從基點(diǎn)(basis)開始，使大動(dòng)脈位于左下角-縮放調(diào)節(jié)以使左心室填充視圖-設(shè)置顯示對(duì)比度，使得僅心肌處在灰階值窗口內(nèi)-在心室高度的三分之一和三分之二處選擇2平面以用于顯示-使用同心圓工具進(jìn)行測量-打印在心室高度的三分之一和三分之二處的觀察平面-選擇標(biāo)準(zhǔn)平面編號(hào)1-調(diào)整水平并調(diào)整窗口-打印平面編號(hào)1-選擇標(biāo)準(zhǔn)平面編號(hào)2-調(diào)整水平并調(diào)整窗口-打印平面編號(hào)2然而，根據(jù)這一范例，對(duì)于本領(lǐng)域技術(shù)人員而言顯而易見的是，為了執(zhí)行這些步驟用戶所采取的實(shí)際動(dòng)作可以顯著不同，這取決于圖像的參數(shù)。例如，在使左心室填充視圖的過程中，所選擇的實(shí)際放大倍率或縮放選擇框的尺寸取決于采集原始圖像時(shí)的放大倍率。圖像中心室的位置也可能不同，迫使用戶進(jìn)行縮放和移動(dòng)，或者在不同的位置繪制縮放選擇框。實(shí)踐中的情況更為復(fù)雜，因?yàn)槠鹗紙D像集可能由于例如用戶的偏好、用于采集圖像數(shù)據(jù)集的模態(tài)和儀器而不同。此外，用戶可能希望基于例如用戶的偏好以及被觀察視圖的內(nèi)容而改變流程。已知將放射成像結(jié)果與期望的參數(shù)集進(jìn)行比較以確定偏差。Vano、Fernandez等 A^ Radiology 2002 % 225 :283-288 M W^1 "Real-TimeMeasurement and Audit of Radiation Dose to Patients Undergoing ComputedRadiography，，中公開了一禾中用于審核計(jì)算機(jī)放射線照相術(shù)的實(shí)時(shí)患者劑量監(jiān)視系統(tǒng)。來自每次曝光以及針對(duì)每種檢查類型的技術(shù)數(shù)據(jù)被收集并通過網(wǎng)絡(luò)發(fā)送至工作站，工作站計(jì)算進(jìn)入皮膚劑量的移動(dòng)平均值以及十位最近被檢查患者的劑量-面積乘積。比較平均值與參考值，如果超過了參考值生成警報(bào)消息，在必要時(shí)提示校正動(dòng)作。然而，這樣的比較系統(tǒng)限制用戶的自由，即必須執(zhí)行該流程，并且事后會(huì)出現(xiàn)偏差。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種用于借助于用戶交互系列處理圖像的設(shè)備。通過獨(dú)立權(quán)利要求限定本發(fā)明。在從屬權(quán)利要求中限定了有利實(shí)施例。根據(jù)本發(fā)明的第一方面，使用用于借助于用戶交互系列處理圖像的設(shè)備實(shí)現(xiàn)該目的，所述設(shè)備包括預(yù)測器，其被配置成用于預(yù)測用戶交互；監(jiān)視器，其被配置成用于監(jiān)視圖像處理期間的所述用戶交互系列，其被配置和布置成向預(yù)測器提供所述系列中的至少一個(gè)步驟，其中，所述預(yù)測器被配置成提供至少一個(gè)隨后的用戶交互步驟。本發(fā)明提供了一種能夠滿足復(fù)雜的圖像處理要求的設(shè)備，在圖像可視化過程中提供了標(biāo)準(zhǔn)化的步驟或軌跡系列，并且允許用戶在需要時(shí)偏離這一標(biāo)準(zhǔn)軌跡。當(dāng)在不同圖像上執(zhí)行已知任務(wù)時(shí)，這加速并簡化了必要的交互。其還在執(zhí)行不熟悉的任務(wù)時(shí)提供了有價(jià)值的輔助，從而避免錯(cuò)誤，例如當(dāng)采集圖像時(shí)不正確的輻射水平，這會(huì)在醫(yī)學(xué)成像環(huán)境中造成嚴(yán)重后果。本發(fā)明是基于這樣的認(rèn)識(shí)，即用戶交互相對(duì)易于收集，但是對(duì)這種數(shù)據(jù)的實(shí)際使用在將其用于已知技術(shù)時(shí)非常有限。有許多方式可以實(shí)現(xiàn)相同的結(jié)果，因而在許多實(shí)際情況下這些方式彼此間的比較不是有利的。本發(fā)明是基于這樣的認(rèn)識(shí)，即當(dāng)本發(fā)明與預(yù)測模型組合時(shí)，可以更充分地利用這一豐富的數(shù)據(jù)源，從而不僅比較用戶交互，而且還比較在其中執(zhí)行所述用戶交互的背景。根據(jù)本發(fā)明的一方面，預(yù)測器還被配置成執(zhí)行至少一個(gè)隨后的步驟。通過這種方式，用戶交互可以自動(dòng)化到更高的程度。根據(jù)本發(fā)明的一方面，預(yù)測器被配置成提示用戶執(zhí)行所述至少一個(gè)隨后的步驟。 在特定情況下，其還可以有利地提示用戶確認(rèn)應(yīng)當(dāng)執(zhí)行隨后的步驟。如果該設(shè)備正用于為預(yù)測器提供輸入，這將尤其有利。根據(jù)本發(fā)明的另一方面，監(jiān)視器還被配置成向用戶顯示當(dāng)前圖像，并且預(yù)測器還被配置成提供至少一個(gè)隨后的用戶交互以向用戶顯示隨后的圖像。這可以是有利的，因?yàn)槠涮峁┝酥饒D像進(jìn)行圖像處理的方式。在醫(yī)學(xué)成像領(lǐng)域中，這通常是直觀的并且用戶友好的，因?yàn)橛脩艨梢灾鹨晥D進(jìn)行瀏覽。根據(jù)本發(fā)明的另一方面，預(yù)測器被配置成用于使用在圖像處理期間先前記錄的至少一個(gè)用戶交互步驟預(yù)測用戶交互。根據(jù)用戶交互系列中預(yù)期的變化，其可以有利地在訓(xùn)練模式下為預(yù)測器供應(yīng)一個(gè)或多個(gè)實(shí)際的用戶交互。根據(jù)本發(fā)明的另一方面，提供了一種方法，用于在圖像處理期間預(yù)測用戶交互，包括確定用戶交互的預(yù)測模型；監(jiān)視圖像處理期間的用戶交互系列；為預(yù)測模型提供來自所述交互系列中的至少一個(gè)步驟；以及使用預(yù)測模型確定至少一個(gè)隨后的步驟。根據(jù)本發(fā)明的圖像處理設(shè)備被配置成執(zhí)行這種方法。根據(jù)本發(fā)明的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，用于當(dāng)被加載到計(jì)算機(jī)上被在其上運(yùn)行時(shí)執(zhí)行根據(jù)本發(fā)明的方法。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可以通過任何被認(rèn)為有用的方式組合兩個(gè)或更多個(gè)上述本發(fā)明的實(shí)施例、實(shí)現(xiàn)方式和/或各方面。本領(lǐng)域技術(shù)人員基于本說明書可以執(zhí)行對(duì)應(yīng)于所述方法或設(shè)備的修改和變型的圖像處理設(shè)備、工作站、系統(tǒng)和/或計(jì)算機(jī)程序產(chǎn)品的修改和變型。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，所述方法可以應(yīng)用于多維圖像數(shù)據(jù)，例如，應(yīng)用于由各種采集模態(tài)采集的2維O-D)、3維(3-D)或4維G-D)圖像，所述采集模態(tài)例如是，但不限于，標(biāo)準(zhǔn)X射線成像、計(jì)算機(jī)斷層攝影(CT)、磁共振成像(MRI)、超聲(US)、正電子發(fā)射斷層攝影(PET)、單光子發(fā)射計(jì)算機(jī)斷層攝影(SPECT)和核醫(yī)學(xué)(NM)。


參考下文描述的實(shí)施例，本發(fā)明的這些方面和其他方面將顯而易見并得以闡述。在附圖中圖1描繪了根據(jù)本發(fā)明在圖像處理期間預(yù)測用戶交互的方法；圖2描繪了根據(jù)本發(fā)明的預(yù)測模型的范例；圖3示出了根據(jù)本發(fā)明用于借助于用戶交互系列處理圖像的設(shè)備的范例；圖4描繪了在對(duì)腦部圖像的處理期間提示用戶選擇用戶交互的顯示屏幕的范例； 以及圖5描繪了在對(duì)心臟圖像的處理期間提示用戶選擇用戶交互的顯示屏幕的范例。附圖僅僅用于圖示說明并且未按照比例繪制。特別是為了清晰，一些尺寸被夸張地放大。附圖中的相似部件由盡可能相似的參考標(biāo)記表示。
具體實(shí)施例方式圖1描繪了根據(jù)本發(fā)明在圖像處理期間預(yù)測用戶交互的方法500。圖像處理被用作通用術(shù)語以涵蓋生成或采集圖像所需要的步驟的任何部分，包括執(zhí)行掃描，其中，用戶所采取的步驟可以影響圖像。處理可以手動(dòng)地、使用計(jì)算機(jī)實(shí)施的工具或者其任意組合來完成。方法500包括-確定510用戶交互的預(yù)測模型；-在圖像處理期間監(jiān)視520用戶交互系列；
-為所述預(yù)測模型提供530來自所述交互系列的至少一個(gè)步驟；以及-使用所述預(yù)測模型確定540至少一個(gè)隨后的步驟。在圖1描繪的方法500中，確定510用戶交互的預(yù)測模型。盡管可以使用對(duì)于本領(lǐng)域技術(shù)人員而言可獲得的任何技術(shù)來構(gòu)建預(yù)測模型，例如統(tǒng)計(jì)或模糊邏輯，優(yōu)選的實(shí)施例利用了馬爾可夫模型。馬爾可夫模型可以包含用于對(duì)所述用戶交互系列中時(shí)間上離散的步驟進(jìn)行建模的狀態(tài)參數(shù)以及表示有意義的與圖像有關(guān)的變量的額外觀測變量。在馬爾可夫模型中，這些變量可以通過條件概率分布彼此相關(guān)——轉(zhuǎn)移概率是已給出先前狀態(tài)的狀態(tài)的條件概率，并且輸出概率表示已給出當(dāng)前狀態(tài)的觀測的條件概率。這樣的有意義的圖像特征包括-全局圖像屬性，例如對(duì)比度和直方圖-感興趣區(qū)域圖像屬性-相對(duì)于解剖界標(biāo)的感興趣區(qū)域-相對(duì)于自動(dòng)確定的解剖界標(biāo)的感興趣區(qū)域-通過對(duì)圖像數(shù)據(jù)集的分析確定的特征-通過各種簡單的圖像濾波器(諸如Haar-小波)的大規(guī)模訓(xùn)練(提高)確定的特征?？梢杂欣厣刹?yōu)化針對(duì)特定檢查類型的預(yù)測模型，例如檢查肥厚型男性心臟，因?yàn)檫@將降低復(fù)雜度?；蛘撸梢杂?xùn)練通用模型使其自動(dòng)區(qū)分檢查類型。在馬爾可夫模型的框架內(nèi)，引入隱藏的(未觀測到的)變量以定義隱馬爾可夫模型(HMM)，從而降低對(duì)模型庫的需求。隱藏的變量指示針對(duì)用戶交互的軌跡的類型，其僅僅在概率上講與檢查類型相關(guān)。對(duì)這種模型的優(yōu)化可以通過對(duì)這種隱藏的變量進(jìn)行聚類來執(zhí)行。圖2中所描繪的隱馬爾可夫模型表示學(xué)習(xí)到的信息并推斷用戶交互軌跡中至圖像可視化(可視化軌跡)的隨后的步驟。其描述了時(shí)間序列的數(shù)據(jù)，例如根據(jù)本發(fā)明的可視化軌跡，這是通過將觀測到的序列分成離散的時(shí)間步驟i而實(shí)現(xiàn)的，其中i可以是從1到 T的整數(shù)。在每個(gè)時(shí)間步驟中，所述模型是一組離散狀態(tài)(Zi、Xi、Yi)中的一個(gè)，其包括不可觀測的(“隱藏的”)變量Zi和與不可觀測的變量Zi相關(guān)聯(lián)的可觀測的特征Xi和Yi。 在本文中，所述可觀測的變量包括給定時(shí)間步驟i中的瀏覽器設(shè)置Xi以及其他可觀測的變量Yi (從例如所示圖像或?qū)ο蟮挠^測到的數(shù)據(jù)導(dǎo)出的)。這種架構(gòu)被描述為圖2中的概率圖模型probabilistic Graphical Model)。分別描述了在這樣的可視化軌跡Zl、Z2、Zi和ZT中的四種隱藏的狀態(tài)110、120、130、140。箭頭170指示從狀態(tài)Zl到ZT的一般時(shí)間進(jìn)展，并且由水平箭頭指示從一種狀態(tài)到后一狀態(tài)的轉(zhuǎn)移。通過狀態(tài)和節(jié)點(diǎn)之間的垂直箭頭指示模型內(nèi)的關(guān)聯(lián)。每種隱藏的狀態(tài)110、120、 130、140都分別與特征節(jié)點(diǎn)YU Y2、Yi和YT相關(guān)聯(lián)，分別標(biāo)記為210、220、230和240。每種隱藏的狀態(tài)Zl到ZT還分別與設(shè)置節(jié)點(diǎn)XI、X2、Xi和XT相關(guān)聯(lián)，分別標(biāo)記為310,320, 330和340。每個(gè)特征節(jié)點(diǎn)Yl、Y2、Yi和YT分別與設(shè)置節(jié)點(diǎn)Xl、X2、Xi和XT相關(guān)聯(lián)。狀態(tài) Zl 110、Z2 120、Zi 130和ZT 140以及節(jié)點(diǎn)XT 340被提供陰影以指示他們被隱藏。其他的狀態(tài)和節(jié)點(diǎn)未被涂陰影并且因此是可觀測的。離散的狀態(tài)Zl 110、Z2 120,Zi 130和ZT
6140被表示為方形，而連續(xù)的特征和設(shè)置節(jié)點(diǎn)210、220、230、240、310、320、330、340表示為
圓圈。所述模型可以用于推斷在未來時(shí)間點(diǎn)T的隨后設(shè)置XT。所示模型通過與狀態(tài)Zl、Z2、Zi和ZT相關(guān)聯(lián)的兩種條件概率對(duì)學(xué)習(xí)的信息進(jìn)行
編碼。系統(tǒng)在處于狀態(tài)Zi-I之后為狀態(tài)Zi的可能性，由圖1中的水平箭頭指示，由轉(zhuǎn)移概
率ρ (Zi | Zi-I)給出。觀測到系統(tǒng)處在狀態(tài)Zi的可能性由ρ (Xi，YilZi)確定。因此，序列
的總概率可以表示為
權(quán)利要求
1.一種用于借助于用戶交互系列處理圖像的設(shè)備000)，包括-預(yù)測器G60)，其被配置成用于預(yù)測用戶交互；-監(jiān)視器G50)，其被配置成用于在圖像處理期間監(jiān)視所述用戶交互系列，所述監(jiān)視器被配置和布置成向所述預(yù)測器(460)提供所述系列中的至少一個(gè)步驟，其中所述預(yù)測器(460)被配置成提供至少一個(gè)隨后的用戶交互步驟。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述預(yù)測器(460)還被配置成執(zhí)行(550)所述至少一個(gè)隨后的用戶交互步驟。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述預(yù)測器(460)還被配置成提示(560)所述用戶執(zhí)行所述至少一個(gè)隨后的用戶交互步驟。
4.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述監(jiān)視器(450)還被配置成向所述用戶顯示當(dāng)前圖像，并且所述預(yù)測器(460)還被配置成提供(560)至少一個(gè)隨后的用戶交互步驟以向所述用戶顯示隨后的圖像。
5.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述預(yù)測器(460)還被配置成提示(560)所述用戶從兩個(gè)或更多個(gè)隨后的用戶交互步驟中選擇用戶交互。
6.根據(jù)權(quán)利要求4所述的設(shè)備，其中，所述預(yù)測器還被配置成提示(560)所述用戶使用選自包含以下的組中的形式選擇用戶交互圖標(biāo)、縮略圖、菜單、下拉菜單以及其任意組合。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述預(yù)測器(460)包括馬爾可夫模型。
8.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述預(yù)測器(460)包括隱馬爾可夫模型。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述預(yù)測器(460)被配置成用于使用在圖像處理期間先前記錄的至少一個(gè)用戶交互步驟預(yù)測用戶交互。
10.一種醫(yī)學(xué)成像系統(tǒng)，包括根據(jù)權(quán)利要求1到9中的任一項(xiàng)所述的設(shè)備。
11.一種在圖像處理期間預(yù)測用戶交互的方法(500)，包括-確定(510)用戶交互的預(yù)測模型；-監(jiān)視(520)圖像處理期間的用戶交互系列；-為所述預(yù)測模型提供(530)來自所述用戶交互系列中的至少一個(gè)步驟，以及-使用所述預(yù)測模型確定640)至少一個(gè)隨后的步驟。
12.—種計(jì)算機(jī)程序產(chǎn)品，當(dāng)被加載到計(jì)算機(jī)并在其上運(yùn)行時(shí)，所述計(jì)算機(jī)程序產(chǎn)品用于執(zhí)行根據(jù)權(quán)利要求11所述的方法。
全文摘要
本發(fā)明涉及一種用于借助于用戶交互系列處理圖像的設(shè)備。當(dāng)處理圖像時(shí)，用戶進(jìn)行用戶交互系列。優(yōu)選地，這被標(biāo)準(zhǔn)化以確?？芍貜?fù)性和精度。然而，用戶要求的所述用戶交互系列可以取決于用戶的需求、被處理的圖像或者甚至用戶的偏好。本發(fā)明提供了一種能夠滿足復(fù)雜的圖像處理需求的設(shè)備，在圖像可視化過程中提供標(biāo)準(zhǔn)化的步驟或軌跡系列，并且允許用戶在必要時(shí)偏離這一標(biāo)準(zhǔn)。這加速和簡化了當(dāng)在不同圖像上執(zhí)行已知任務(wù)時(shí)必須的交互。當(dāng)用戶執(zhí)行不熟悉的任務(wù)時(shí)，其還提供了有價(jià)值的輔助，從而避免錯(cuò)誤，例如圖像采集期間不正確的輻射水平，這可能在醫(yī)學(xué)成像環(huán)境中造成嚴(yán)重后果。
文檔編號(hào)G06F19/00GK102292734SQ201080005092
公開日2011年12月21日 申請(qǐng)日期2010年1月13日 優(yōu)先權(quán)日2009年1月22日
發(fā)明者J·馮貝格, S·M·F·施密特, S·P·M·德賴斯 申請(qǐng)人:皇家飛利浦電子股份有限公司