本公開涉及圖像輸出裝置、圖像發(fā)送裝置以及圖像接收裝置等。
背景技術(shù):
以往,為了觀察生物體組織等中的微構(gòu)造而使用了光學(xué)顯微鏡。光學(xué)顯微鏡利用透過觀察對象后的光或者反射后的光。觀察者觀察利用透鏡放大后的像。還已知有對由顯微鏡的透鏡放大后的像進行拍攝而在顯示器上進行顯示的數(shù)碼顯微鏡。通過利用數(shù)碼顯微鏡,能夠?qū)崿F(xiàn)多人同時觀察、遠程的觀察等。
近年來,利用CIS(Contact Image Sensing;接觸式圖像感測)方式觀察微構(gòu)造的技術(shù)受到注目。在基于CIS方式的情況下,觀察對象與圖像傳感器的拍攝面接近地配置。作為圖像傳感器,一般使用大量光電轉(zhuǎn)換部在拍攝面內(nèi)排列成行以及列狀的二維圖像傳感器。光電轉(zhuǎn)換部典型地是形成在半導(dǎo)體層或者半導(dǎo)體基板的光電二極管,接受入射光而生成電荷。
由圖像傳感器獲取的圖像是由大量像素規(guī)定的。各像素由包含1個光電轉(zhuǎn)換部的單位區(qū)域來劃分。因此,二維圖像傳感器的分辨能力(分辨率)通常依賴于拍攝面上的光電轉(zhuǎn)換部的排列間距(pitch)。在本說明書中,有時將由光電轉(zhuǎn)換部的排列間距決定的分辨能力稱為圖像傳感器的“固有分辨能力”。由于各個光電轉(zhuǎn)換部的排列間距短至可見光的波長左右,因此,難以進一步提高固有分辨能力。
已提出了實現(xiàn)超過圖像傳感器的固有分辨能力的分辨能力(即,高分辨率)的技術(shù)。專利文獻1公開了以下技術(shù):使用使被拍攝對象的成像位置移動而得的多個圖像來形成該被拍攝對象的圖像(即,高分辨率的圖像)。
現(xiàn)有技術(shù)文獻
專利文獻1:日本特開昭62-137037號公報
技術(shù)實現(xiàn)要素:
但是,存在如下問題:高分辨率的圖像的數(shù)據(jù)量大,該圖像的發(fā)送接收或者保存等處理負擔(dān)重。
本公開的非限定性地例示的一個方式是:能夠減輕高分辨率圖像的發(fā)送接收或者保存等處理的負擔(dān)的圖像輸出裝置、圖像發(fā)送裝置以及圖像接收裝置。本公開的一個方式的附加性的好處以及有利點根據(jù)本說明書以及附圖來明確。該好處和/或有利點可以通過本說明書以及附圖中公開的各種方式以及特征來單獨地提供,不是為了得到其一個以上的好處和/或有利點而都是必需的。
本公開的一個方式所涉及的圖像輸出裝置,具備:至少一個處理器;和保持命令的非暫時性記錄介質(zhì),所述命令使所述至少一個處理器執(zhí)行:獲取第一分辨率圖像,所述第一分辨率圖像是基于數(shù)碼顯微鏡的拍攝而得到的被拍攝對象的圖像;獲取第二分辨率圖像,所述第二分辨率圖像是分辨率比所述第一分辨率圖像高的、基于所述數(shù)碼顯微鏡的拍攝而得到的所述被拍攝對象的圖像;受理針對顯示裝置所顯示的所述第一分辨率圖像的放大率;判定基于所受理的所述放大率的評價值是否比預(yù)定值高;在判定為所述評價值比所述預(yù)定值高的情況下,向外部裝置發(fā)送所述第二分辨率圖像,在判定為所述評價值不比所述預(yù)定值高的情況下,不向所述外部裝置發(fā)送所述第二分辨率圖像。
此外,這些總括性或者具體的方式既可以通過系統(tǒng)、方法、集成電路、計算機程序或者計算機可讀的記錄介質(zhì)實現(xiàn),也可以通過系統(tǒng)、方法、集成電路、計算機程序或者記錄介質(zhì)的任意的組合來實現(xiàn)。計算機可讀的記錄介質(zhì)例如包含CD-ROM(Compact Disc-Read Only Memory)等非易失性的記錄介質(zhì)。
根據(jù)本公開,能夠減輕高分辨率圖像的發(fā)送接收或者保存等處理的負擔(dān)。
附圖說明
圖1是示出包含實施方式1中的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖2是示出實施方式1中的由顯示裝置顯示的顯示畫面的一例的圖。
圖3是示出實施方式1中的圖像輸出裝置的處理工作的一例的流程圖。
圖4是示出實施方式1中的圖像輸出裝置的處理工作的其它例的流程圖。
圖5是示出包含實施方式1的變形例的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖6是示出包含實施方式2中的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖7是示出實施方式2中的圖像發(fā)送裝置以及圖像接收裝置的處理工作的流程圖。
圖8是示出包含實施方式2的變形例1的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖9是示出實施方式2的變形例1的圖像發(fā)送裝置以及圖像接收裝置的處理工作的流程圖。
圖10是示出包含實施方式2的變形例2的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖11是示出包含實施方式2的變形例2的圖像發(fā)送裝置以及圖像接收裝置的處理工作的流程圖。
圖12是示出包含實施方式3中的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖13是示出包含實施方式3中的變形例1的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖14是示出包含實施方式3中的變形例2的圖像輸出裝置的圖像處理系統(tǒng)的其它例的構(gòu)成圖。
圖15A是示意性地示出被拍攝對象2的一部分的俯視圖。
圖15B是提取并示意性地加以示出與圖15A所示的區(qū)域的拍攝相關(guān)的光電二極管的俯視圖。
圖16A是示意性地示出透過被拍攝對象2而入射至光電二極管4p的光線的方向的剖視圖。
圖16B是示意性地示出透過被拍攝對象2而入射至光電二極管4p的光線的方向的剖視圖。
圖16C是示意性地示出由6個光電二極管4p獲取的6個像素Pa的圖。
圖17A是示意性地示出使光線從與圖16A以及圖16B所示的照射方向不同的照射方向入射的狀態(tài)的剖視圖。
圖17B是示意性地示出使光線從與圖16A以及圖16B所示的照射方向不同的照射方向入射的狀態(tài)的剖視圖。
圖17C是示意性地示出在圖17A以及圖17B所示的照射方向下獲取的6個像素Pb的圖。
圖18A是示意性地示出使光線從與圖16A以及圖16B所示的照射方向以及圖17A以及圖17B所示的照射方向不同的照射方向入射的狀態(tài)的剖視圖。
圖18B是示意性地示出使光線從與圖16A以及圖16B所示的照射方向以及圖17A以及圖17B所示的照射方向不同的照射方向入射的狀態(tài)的剖視圖。
圖18C是示意性地示出在圖18A以及圖18B所示的照射方向下獲取的6個像素Pc的圖。
圖19A是示意性地示出使光線從與圖16A以及圖16B所示的照射方向、圖17A以及圖17B所示的照射方向、以及圖18A以及圖18B所示的照射方向不同的照射方向入射的狀態(tài)的剖視圖。
圖19B是示意性地示出在圖19A所示的照射方向下獲取的6個像素Pd的圖。
圖20是示出由4張子圖像Sa、Sb、Sc以及Sd合成的高分辨能力圖像HR的圖。
圖21是示意性地示出調(diào)整為通過了被拍攝對象2的相鄰的2個區(qū)域的光線分別入射至不同的光電二極管的照射方向的剖視圖。
圖22A是示意性地示出模塊的截面構(gòu)造的一例的圖。
圖22B是示出從圖像傳感器4側(cè)觀察圖22A所示的模塊10時的外觀的一例的俯視圖。
圖23是用于說明模塊的制作方法的一例的圖。
圖24A是示出獲取子圖像時的照射角度的例子的剖視圖。
圖24B是示出以不同于圖24A所示的照射角度的照射角度照射被拍攝對象的方法的例子的剖視圖。
圖25是示出本公開的實施方式的圖像獲取裝置的構(gòu)成的一例的概略圖。
圖26A是示出圖像獲取裝置100a的例示性外觀的立體圖。
圖26B是示出在圖26A所示的圖像獲取裝置100a中關(guān)閉了蓋部120的狀態(tài)的立體圖。
圖26C是示意性地示出插座(socket)130相對于圖像獲取裝置100a的載物臺32的裝填方法的一例的圖。
圖27A是示意性地示出改變照射方向的方法的一例的圖。
圖27B是示意性地示出使載物臺32相對于基準面傾斜角度θ時的、入射至被拍攝對象的光線的方向的變化的圖。
圖28是示出CCD圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子的圖。
圖29A是示出背面照射型CMOS圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子的圖。
圖29B是示出背面照射型CMOS圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子的圖。
圖30是示出光電轉(zhuǎn)換膜層疊型圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子的圖。
標號說明
100S、100Sa、200S、200Sa、200Sb圖像處理系統(tǒng);1001、1001a、2001、2001a圖像輸出裝置;1100、1100a、1100b圖像發(fā)送裝置;1101圖像獲取部;1102高分辨率圖像獲取部;1103第二輸出部;1200、1200a、1200b圖像接收裝置;1201放大受理部;1202判定部;1203顯示用輸出部;1204、1204a發(fā)送部;1205第一輸出部;1206評價值存儲部;1500數(shù)碼顯微鏡;1501顯示裝置;1502、1503記錄介質(zhì)
具體實施方式
(成為本發(fā)明的基礎(chǔ)的見解)
本發(fā)明人關(guān)于“背景技術(shù)”一欄中記載的高分辨率化的技術(shù),發(fā)現(xiàn)了存在以下的問題。
在使用了顯微鏡的病理檢查中,根據(jù)成為觀察對象的各個檢體(也稱為病理檢體)的病狀,使用的透鏡的倍率也不同。例如在癌的檢查中,首先,利用10倍的對物透鏡進行觀察。對于不存在懷疑是癌的可能性高的區(qū)域的檢體,僅通過10倍的對物透鏡的觀察就使觀察結(jié)束,但是如果存在懷疑是癌的可能性高的區(qū)域,則將物鏡切換為40倍的透鏡來進行檢查。這樣,與檢體對應(yīng)地改變透鏡的放大率。由于在進行檢查前無法確定是否需要高的放大率,因此,以從高放大率到低放大率的事先決定的各放大率進行檢體的拍攝。
在利用數(shù)碼顯微鏡對檢體的圖像進行拍攝的情況下,該圖像的分辨率越高,則拍攝時間以及圖像大小(size)越增大。如果由數(shù)碼顯微鏡得到的相當(dāng)于對物10倍的圖像的大小為100M字節(jié),則相當(dāng)于對物40倍的圖像的大小為1.6G字節(jié)。
另外,必須進行檢查的病理檢體的數(shù)量增加,而另一方面,病理醫(yī)師的增加卻趕不上病理檢體的數(shù)量的增加。因此,今后,設(shè)想為遠程發(fā)送作為由數(shù)碼顯微鏡得到的圖像的病理圖像,由位于遠程地的病理醫(yī)師進行病理診斷的情況會不斷增加。另外,伴隨醫(yī)療整體的發(fā)達化,難以由一名病理醫(yī)師進行所有的臟器或者癥狀的診斷。因此,會需要進行遠程診斷,即將現(xiàn)場的病理醫(yī)師難以診斷的檢體的圖像發(fā)送給位于遠程地的具有專業(yè)知識的病理醫(yī)師來進行診斷。但是,存在高分辨率的病理圖像的發(fā)送需要花費時間這一問題。
為了解決這樣的問題,本發(fā)明的一個方式的圖像輸出裝置具備:圖像獲取部,獲取第一分辨率圖像,所述第一分辨率圖像是基于數(shù)碼顯微鏡的拍攝而得到的被拍攝對象的圖像;高分辨率圖像獲取部,獲取第二分辨率圖像,所述第二分辨率圖像是分辨率比所述第一分辨率圖像高的、基于所述數(shù)碼顯微鏡的拍攝而得到的所述被拍攝對象的圖像;放大受理部,受理針對顯示裝置所顯示的所述第一分辨率圖像的放大率;判定部,判定基于由所述放大受理部受理的所述放大率的評價值是否比預(yù)定值高;以及發(fā)送部,在由所述判定部判定為所述評價值比所述預(yù)定值高的情況下,向外部裝置發(fā)送所述第二分辨率圖像,在由所述判定部判定為所述評價值不比所述預(yù)定值高的情況下,不向所述外部裝置發(fā)送所述第二分辨率圖像。
由此,僅在評價值高的情況下發(fā)送第二分辨率圖像。也即是,能夠僅對于有充分的診斷必要的檢體(被拍攝對象),將該檢體的圖像以高分辨率例如向遠程地發(fā)送。因此,能夠抑制為了發(fā)送例如以短時間就能夠診斷的那種重要度低的檢體的高分辨率圖像,而延遲發(fā)送具有充分的診斷必要的檢體的高分辨率圖像。另外,由于不進行評價值低的檢體的高分辨率圖像的發(fā)送,因此,能夠減輕高分辨率圖像的處理的負擔(dān)。
另外,所述發(fā)送部也可以在由所述判定部判定為所述評價值不比所述預(yù)定值高的情況下,向所述外部裝置發(fā)送所述第一分辨率圖像。
由此,例如位于遠程地的病理醫(yī)師也能夠使用發(fā)送來的低分辨率圖像即第一分辨率圖像來進行檢體的診斷。
另外,所述圖像輸出裝置還可以具備第一輸出部,該第一輸出部在由所述判定部判定為所述評價值比所述預(yù)定值高的情況下,將所述第二分辨率圖像輸出并保存至記錄介質(zhì),在由所述判定部判定為所述評價值不比所述預(yù)定值高的情況下,不將所述第二分辨率圖像向所述記錄介質(zhì)輸出。
高分辨率圖像(第二分辨率圖像)的圖像大小大,在病理檢查中,用于檢查的檢體的圖像以10年為單位進行保存。另外,從人體獲取檢體的技術(shù)不斷提高的現(xiàn)今,拍攝的檢體的數(shù)量今后應(yīng)該也會不斷地上升。因此,利用數(shù)碼顯微鏡拍攝到的圖像、特別是高分辨率圖像的保存成為重要的問題。
于是,在本發(fā)明的一個方式中,僅在評價值高的情況下保存第二分辨率圖像。也即是,能夠僅對有充分的診斷必要的檢體(被拍攝對象),以高分辨率保存該檢體的圖像。因此,能夠抑制為保存例如以短時間能夠診斷那樣的重要度低的檢體的高分辨率圖像,而會限制記錄介質(zhì)的空閑容量。另外,由于不進行評價值低的檢體的高分辨率圖像的保存,因此,能夠減輕高分辨率圖像的處理的負擔(dān)。
另外,例如,所述判定部將由所述放大受理部受理的1個或者多個所述放大率中的、最大的放大率作為所述評價值來導(dǎo)出?;蛘撸部梢允亲鳛楸乳撝蹈叩姆糯舐实母叻糯舐时凰龇糯笫芾聿渴芾淼拇螖?shù)越多、或者,所述被拍攝對象的圖像以所述高放大率被所述顯示裝置顯示的時間越長,則所述判定部導(dǎo)出越高的所述評價值?;蛘撸部梢允且员乳撝蹈叩乃龇糯舐时凰鲲@示裝置顯示的所述被拍攝對象的面積越大,則所述判定部算出越高的所述評價值。
由此,能夠根據(jù)被拍攝對象的圖像的用途而導(dǎo)出適當(dāng)?shù)脑u價值,能夠僅發(fā)送最合適的高分辨率圖像(第二分辨率圖像)。
另外,本發(fā)明的其它方式的圖像輸出裝置是具有圖像發(fā)送裝置和經(jīng)由通信線路與所述圖像發(fā)送裝置連接的圖像接收裝置的圖像輸出裝置,所述圖像發(fā)送裝置具備:圖像獲取部,獲取第一分辨率圖像,所述第一分辨率圖像是基于數(shù)碼顯微鏡的拍攝而得到的被拍攝對象的圖像;高分辨率圖像獲取部,獲取第二分辨率圖像,所述第二分辨率圖像是分辨率比所述第一分辨率圖像高的、基于所述數(shù)碼顯微鏡的拍攝而得到的所述被拍攝對象的圖像;判定部,判定通過由所述圖像接收裝置通知的評價值關(guān)聯(lián)信息表示的評價值是否比預(yù)定值高;以及發(fā)送部,在由所述判定部判定為所述評價值比所述預(yù)定值高的情況下,向所述圖像接收裝置發(fā)送所述第二分辨率圖像,在由所述判定部判定為所述評價值不比所述預(yù)定值高的情況下,向所述圖像接收裝置發(fā)送所述第一分辨率圖像,所述圖像接收裝置具備:放大受理部,受理針對顯示裝置所顯示的所述第一分辨率圖像的放大率;和顯示用輸出部,從所述圖像發(fā)送裝置獲取所述第一分辨率圖像或者所述第二分辨率圖像,使所述顯示裝置顯示基于由所述放大受理部受理的所述放大率放大后的所述第一分辨率圖像或者所述第二分辨率圖像,所述顯示用輸出部還向所述圖像發(fā)送裝置發(fā)送基于由所述放大受理部受理的所述放大率的所述評價值關(guān)聯(lián)信息。
或者,本發(fā)明的其它方式的圖像輸出裝置是具有圖像發(fā)送裝置和經(jīng)由通信線路與所述圖像發(fā)送裝置連接的圖像接收裝置的圖像輸出裝置,所述圖像發(fā)送裝置具備:圖像獲取部,獲取第一分辨率圖像,所述第一分辨率圖像是基于數(shù)碼顯微鏡的拍攝而得到的被拍攝對象的圖像;高分辨率圖像獲取部,獲取第二分辨率圖像,所述第二分辨率圖像是分辨率比所述第一分辨率圖像高的、基于所述數(shù)碼顯微鏡的拍攝而得到的所述被拍攝對象的圖像;以及發(fā)送部,向所述圖像接收裝置發(fā)送所述第一分辨率圖像或者所述第二分辨率圖像,所述圖像接收裝置具備:放大受理部,受理針對顯示裝置所顯示的所述第一分辨率圖像的放大率;顯示用輸出部,從所述圖像發(fā)送裝置獲取所述第一分辨率圖像或者所述第二分辨率圖像,使所述顯示裝置顯示基于由所述放大受理部受理的所述放大率放大后的所述第一分辨率圖像或者所述第二分辨率圖像;以及判定部,判定基于由所述放大受理部受理的所述放大率的評價值是否比預(yù)定值高,并將判定結(jié)果通知給所述圖像發(fā)送裝置,所述發(fā)送部在為表示所述評價值比所述預(yù)定值高的所述判定結(jié)果的情況下,將所述第二分辨率圖像發(fā)送至所述圖像接收裝置,在為表示所述評價值不比所述預(yù)定值高的所述判定結(jié)果的情況下,將所述第一分辨率圖像發(fā)送至所述圖像接收裝置。此外,評價值關(guān)聯(lián)信息是包含由放大受理部受理的放大率、放大率被受理的次數(shù)、顯示被拍攝對象的圖像的時間、或者顯示的被拍攝對象的面積等的信息。
由此,即便例如在放置作為被拍攝對象的檢體的地點沒有病理醫(yī)師,位于遠程地的病理醫(yī)師也能夠利用圖像接收裝置獲取從設(shè)置于該地點的圖像發(fā)送裝置發(fā)送的檢體的圖像,來進行基于該圖像的檢體的診斷。此時,不需要的高分辨率圖像不向圖像接收裝置發(fā)送,因此,能夠減輕高分辨率圖像的處理的負擔(dān)。
另外,所述圖像發(fā)送裝置還可以具備第二輸出部,在由所述判定部判定為所述評價值不比所述預(yù)定值高的情況下,所述第二輸出部將所述第二分辨率圖像輸出并保存至記錄介質(zhì)。
由此,即便在由于評價值低而高分辨率圖像(第二分辨率圖像)未向遠程地的病理醫(yī)師發(fā)送的情況下,該高分辨率圖像也被保存。因此,在該病理醫(yī)師認為高分辨率圖像必要的情況下,能夠迅速地將該高分辨率圖像從記錄介質(zhì)讀出并發(fā)送至病理醫(yī)師。
另外,關(guān)于所述圖像輸出裝置,所述第一分辨率圖像是第一第一分辨率圖像,所述命令使所述至少一個處理器執(zhí)行:獲取第二第一分辨率圖像,所述第二第一分辨率圖像是基于所述數(shù)碼顯微鏡的拍攝而得到的所述被拍攝對象的圖像,所述第二分辨率圖像基于所述第一第一分辨率圖像和所述第二第一分辨率圖像而生成,所述數(shù)碼顯微鏡發(fā)出與所述被拍攝對象呈第1角度的第1光和與所述被拍攝對象呈第2角度的第2光,在發(fā)出所述第1光之后發(fā)出所述第2光,所述數(shù)碼顯微鏡基于第1多個像素值生成所述第一第一分辨率圖像,基于第2多個像素值生成所述第二第一分辨率圖像,所述第二分辨率圖像的像素值的數(shù)量比所述第1多個像素值的數(shù)量多,并且,所述第二分辨率圖像的像素值的數(shù)量比所述第2多個像素值的數(shù)量多,所述被拍攝對象包含第1部分以及與所述第1部分相鄰的第2部分,多個光電轉(zhuǎn)換部基于所述第1光通過所述被拍攝對象而得到的第1轉(zhuǎn)換光,輸出包含第1像素值的所述第1多個像素值,基于所述第2光通過所述被拍攝對象而得到的第2轉(zhuǎn)換光,輸出包含第2像素值的所述第2多個像素值,所述多個光電轉(zhuǎn)換部包含第1光電轉(zhuǎn)換部和與所述第1光電轉(zhuǎn)換部相鄰的第2光電轉(zhuǎn)換部,所述第1光電轉(zhuǎn)換部基于所述第1光中的一部分通過所述第1部分而得到的、所述第1轉(zhuǎn)換光的一部分,輸出所述第1像素值,所述第2光電轉(zhuǎn)換部基于所述第2光中的一部分通過所述第2部分而得到的、所述第2轉(zhuǎn)換光的一部分,輸出所述第2像素值。
此外,本發(fā)明的一個方式的圖像輸出裝置、圖像發(fā)送裝置以及圖像接收裝置的各個也可以構(gòu)成為具備至少1個處理器和保持命令的非暫時性記錄介質(zhì)。該情況下,上述的各裝置所具備的各構(gòu)成要素通過利用該至少1個處理器執(zhí)行該記錄介質(zhì)所保持的命令來實現(xiàn)。
以下,參照附圖對實施方式具體地進行說明。
此外,以下要說明的實施方式都是總括性或者表示具體的例子的實施方式。在以下的實施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接方式、步驟、步驟的順序等只是一例,并非意在限定本發(fā)明。另外,以下的實施方式中的構(gòu)成要素中的、未記載于表示最上位概念的獨立權(quán)利要求的構(gòu)成要素,作為任意的構(gòu)成要素而被說明。
(實施方式1)
圖1是示出包含實施方式1的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖像處理系統(tǒng)100S包括:數(shù)碼顯微鏡1500、圖像輸出裝置1001以及顯示裝置1501。
數(shù)碼顯微鏡1500是下述的圖像獲取裝置,將病理檢體作為被拍攝對象來進行拍攝。在此,在本說明書中,“數(shù)碼顯微鏡”是將病理組織供檢載片標本的至少一部分數(shù)字圖像化的裝置。例如,數(shù)碼顯微鏡是用接觸式圖像感測(CIS:Contact Image Sensing)方式拍攝所述標本的下述的圖像獲取裝置、或者虛擬載片掃描儀(virtual slide scanner)等。在此,用CIS方式進行拍攝的圖像獲取裝置是如下裝置:在圖像傳感器上直接配置被拍攝對象來進行拍攝,由此獲取作為被拍攝對象的圖像的第一分辨率圖像以及第二分辨率圖像。具體而言,所述圖像獲取裝置從多個不同的照射方向向被拍攝對象照射光而對該被拍攝對象進行拍攝,由此生成多個第一分辨率圖像。另外,所述圖像獲取裝置將這些多個第一分辨率圖像的各像素進行再配置,由此生成分辨率比各第一分辨率圖像高的第二分辨率圖像。另外,關(guān)于數(shù)碼顯微鏡1500,可以取代下述的圖像獲取裝置,而使用生成多個分辨率的放大圖像的虛擬載片掃描儀等數(shù)碼顯微鏡。虛擬載片掃描儀是透過顯微鏡來拍攝檢體的裝置。重復(fù)進行挪動載片相對于顯微鏡的相對位置的操作和進行拍攝的操作,將得到的多個圖像拼合而生成大范圍的檢體的圖像。在虛擬載片掃描儀中,通過變換安裝于顯微鏡的物鏡,來選擇要獲取的圖像的分辨率。當(dāng)使用低倍率的物鏡時,分辨率變低,但拍攝于1張圖像中的檢體的范圍變大,因此,拍攝部位少,拍攝時間變短。關(guān)于圖像獲取裝置,在實施方式4中詳細地進行說明。
顯示裝置1501是向操作者(例如病理醫(yī)師)顯示基于數(shù)碼顯微鏡的拍攝而得到的圖像的裝置,例如,是液晶顯示器或者投影機等。
圖像輸出裝置1001獲取通過數(shù)碼顯微鏡1500的拍攝而得到的圖像,并使顯示裝置1501顯示該圖像。另外,圖像輸出裝置1001經(jīng)由通信線路,向例如由遠程的病理醫(yī)師操作的裝置發(fā)送該圖像。
該圖像輸出裝置1001具備:圖像獲取部1101、高分辨率圖像獲取部1102、放大受理部1201、判定部1202、顯示用輸出部1203、發(fā)送部1204。
圖像獲取部1101獲取第一分辨率圖像,第一分辨率圖像是基于數(shù)碼顯微鏡1500的拍攝而得到的被拍攝對象的圖像。此外,基于數(shù)碼顯微鏡1500的拍攝而得到的被拍攝對象的圖像可以是通過該拍攝直接地得到的圖像,也可以是通過對直接地得到的圖像進行處理而得到的圖像。在此,圖像獲取部1101將通過數(shù)碼顯微鏡1500中的例如接觸圖像傳感器的拍攝而得到的子圖像作為第一分辨率圖像來獲取。此外,將第一分辨率圖像的分辨率稱為第一分辨率。
高分辨率圖像獲取部1102獲取第二分辨率圖像,第二分辨率圖像是與第一分辨率圖像相比分辨率高的圖像(高分辨率圖像),是基于數(shù)碼顯微鏡1500的拍攝而得到的被拍攝對象的圖像。高分辨率圖像獲取部1102可以通過從多個子圖像生成第二分辨率圖像來獲取該第二分辨率圖像,也可以從數(shù)碼顯微鏡1500獲取第二分辨率圖像。此外,將第二分辨率圖像的分辨率稱為第二分辨率。在此,第一分辨率的像素間距為0.9μm,第二分辨率的像素間距為0.3μm。另外,當(dāng)將第一分辨率的像素間距相對于第二分辨率的像素間距的比作為分辨率比時,分辨率比為3。
放大受理部1201受理針對顯示裝置1501所顯示的第一分辨率圖像的放大率。具體而言,放大受理部1201經(jīng)由例如鍵盤的操作而將放大率K作為數(shù)值來獲取。另外,放大受理部1201例如也可以將具有滾輪的鼠標的旋轉(zhuǎn)數(shù)作為放大率的變化值而使用,來對放大率K進行更新。
顯示用輸出部1203向顯示裝置1501輸出基于由放大受理部1201受理的放大率放大后的第一分辨率圖像或者第二分辨率圖像。由此,放大后的第一分辨率圖像或者第二分辨率圖像顯示在顯示裝置1501上。此外,本實施方式中的圖像輸出裝置1001具備顯示用輸出部1203,但也可以不具備該顯示用輸出部1203。
判定部1202判定基于由放大受理部1201受理的放大率的評價值是否比預(yù)定值高。在此,預(yù)定值可以是由例如病理醫(yī)師或者操作者任意地設(shè)定的值,也可以是預(yù)先確定的值。具體而言,在評價值作為由放大受理部1201受理的1個或者多個放大率中的、最大的放大率而被導(dǎo)出的情況下,預(yù)定值例如也可以是與分辨率比(也即是,上述的例子的情況下為3)相等的值。
此外,預(yù)定值是比1大的值。但是,若使預(yù)定值為低的值,則下述的輸出會頻繁地進行。為了避免這樣的情況,預(yù)定值也可以是盡量高的值。下述的輸出是由發(fā)送部1204執(zhí)行的發(fā)送、或者由第一輸出部1205執(zhí)行的輸出。于是,也可以構(gòu)成為根據(jù)通信線路的粗細和/或線路的擁擠狀況來切換預(yù)定值。例如,在使用線路細的手機的線路的情況下,使預(yù)定值為高的值10,在使用線路粗的光線路的情況下,使預(yù)定值為低的值3。另外,在線路擁擠的情況下,使預(yù)定值為高的值10,在線路空閑的情況下,使預(yù)定值為低的值3。另外,也可以構(gòu)成為根據(jù)保存所使用的存儲器(例如,下述的圖8以及圖12~圖14中的任意一個記錄介質(zhì)1502)的大小,來切換預(yù)定值。例如,可以在該存儲器為大容量HDD(Hard Disk Drive:硬盤驅(qū)動器)的情況下,使預(yù)定值為3,在該存儲器為小容量的SSD(Solid State Drive:固態(tài)硬盤)的情況下,使預(yù)定值為10。
發(fā)送部1204在由判定部1202判定為評價值比預(yù)定值高的情況下,發(fā)送第二分辨率圖像。另一方面,發(fā)送部1204在由判定部1202判定為評價值不比預(yù)定值高的情況下,不發(fā)送第二分辨率圖像。此時,也即是,在由判定部1202判定為評價值不高的情況下,發(fā)送部1204發(fā)送第一分辨率圖像。第一分辨率圖像或者第二分辨率圖像經(jīng)由通信線路,被發(fā)送至例如被遠程的病理醫(yī)師操作的裝置。
圖2是示出由顯示裝置1501顯示的顯示畫面的一例的圖。
顯示裝置1501顯示包含結(jié)束鍵602、俯瞰圖像顯示部603、觀察結(jié)果輸入欄604、讀取鍵605以及放大圖像顯示部606的顯示畫面601。
當(dāng)選擇結(jié)束鍵602時,顯示裝置1501向圖像輸出裝置1001發(fā)送通知應(yīng)結(jié)束圖像的顯示的信號。在俯瞰圖像顯示部603顯示第一分辨率圖像或者第二分辨率圖像的整體。在觀察結(jié)果輸入欄604寫入例如病理醫(yī)師的觀察結(jié)果。當(dāng)選擇讀取鍵605時,顯示裝置1501向圖像輸出裝置1001發(fā)送例如結(jié)束第一分辨率圖像的顯示、指示第二分辨率圖像的讀取的信號。在放大圖像顯示部606,第一分辨率圖像或者第二分辨率圖像被放大地顯示。
圖3是示出圖像輸出裝置1001的處理工作的一例的流程圖。
首先,圖像輸出裝置1001的圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像(步驟S11)。然后,放大受理部1201根據(jù)操作者對例如鍵盤等的操作而受理圖像的放大率(步驟S12)。然后,顯示用輸出部1203以所受理的放大率對第一分辨率圖像進行放大而向顯示裝置1501輸出。通過該輸出,顯示用輸出部1203使被放大為所受理的放大率的第一分辨率圖像顯示在顯示裝置1501上(步驟S13)。
接著,顯示用輸出部1203基于通過結(jié)束鍵602或者讀取鍵605被選擇而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第一分辨率圖像的顯示(步驟S14)。在此,當(dāng)判定為不應(yīng)結(jié)束顯示時(步驟S14:否),放大受理部1201進一步受理新的放大率。也即是,觀察顯示裝置1501所顯示的圖像的操作者根據(jù)檢體改變放大率而進行觀察。
另一方面,當(dāng)判定為應(yīng)結(jié)束顯示時(步驟S14:是),判定部1202導(dǎo)出基于由放大受理部1201受理的放大率的評價值,判定該評價值是否比預(yù)定值高(步驟S15)。
評價值例如是在步驟S12中受理的1個或者多個放大率中的、最后受理的放大率(最后放大率)或者最大的放大率(最大放大率)。也即是,判定部1202將最后放大率或者最大放大率作為評價值導(dǎo)出?;蛘撸卸ú?202也可以基于其它的要件來導(dǎo)出評價值。例如,其它要件是通過步驟S12受理放大率的次數(shù)(受理次數(shù))、顯示裝置1501顯示圖像的時間(顯示時間)以及顯示裝置1501所顯示的圖像的面積(顯示面積)中的至少一方。
另外,判定部1202也可以對最大放大率、受理次數(shù)、顯示時間以及顯示面積的各個乘以系數(shù),并將它們進行累計,由此導(dǎo)出評價值。
在此,當(dāng)判定為評價值不比預(yù)定值高時(步驟S15:否),發(fā)送部1204經(jīng)由通信線路發(fā)送第一分辨率圖像,而不發(fā)送第二分辨率圖像(步驟S16)。另一方面,當(dāng)判定為評價值比預(yù)定值高時(步驟S15:是),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S17)。進而,發(fā)送部1204將由該高分辨率圖像獲取部1102獲取的第二分辨率圖像經(jīng)由通信線路進行發(fā)送(步驟S18)。
在圖3的流程圖中,以所受理的放大率放大而被顯示的圖像僅是第一分辨率圖像,但如圖4的流程圖所示,第二分辨率圖像也可以以該放大率放大而進行顯示。
圖4是示出圖像輸出裝置1001的處理工作的其它例子的流程圖。
首先,圖像輸出裝置1001的圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像(步驟S21)。并且,顯示用輸出部1203將該第一分辨率圖像向顯示裝置1501輸出,由此,使顯示裝置1501顯示該第一分辨率圖像(步驟S22)。
接著,放大受理部1201根據(jù)操作者對例如鍵盤等的操作而受理圖像的放大率(步驟S23)。判定部1202導(dǎo)出基于由放大受理部1201受理的放大率的評價值,判定該評價值是否比預(yù)定值高(步驟S24)。
在此,當(dāng)判定為評價值不比預(yù)定值高時(步驟S24:否),顯示用輸出部1203將第一分辨率圖像放大為在步驟S23中受理的放大率而向顯示裝置1501輸出。根據(jù)該輸出,顯示用輸出部1203使顯示裝置1501顯示被放大后的第一分辨率圖像(步驟S25)。此時,不發(fā)送第二分辨率圖像。另外,顯示用輸出部1203基于通過結(jié)束鍵602或者讀取鍵605被選擇而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第一分辨率圖像的顯示(步驟S26)。在此,當(dāng)判定為應(yīng)結(jié)束顯示時(步驟S26:是),圖像輸出裝置1001結(jié)束處理。另一方面,在判定為不應(yīng)結(jié)束顯示時(步驟S26:否),圖像輸出裝置1001反復(fù)執(zhí)行從步驟S23開始的處理。
另外,在步驟S24中,當(dāng)判定為評價值比預(yù)定值高時(步驟S24:是),判定部1202判別該判定是否是對檢體的首次判定(步驟S27)。在此,當(dāng)判別為是首次時(步驟S27:是),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S28)。進而,發(fā)送部1204經(jīng)由通信線路發(fā)送由高分辨率圖像獲取部1102獲取的該第二分辨率圖像(步驟S29)。
在步驟S29中發(fā)送第二分辨率圖像后、或者在步驟S27中判別為不是首次時(步驟S27:否),顯示用輸出部1203將第二分辨率圖像放大為在步驟S23中受理的放大率而向顯示裝置1501進行輸出。通過該輸出,顯示裝置1501使顯示裝置1501顯示被放大后的第二分辨率圖像(步驟S30)。此時,也可以不以在步驟S23受理的放大率對第二分辨率圖像進行放大,而以用分辨率比去除該放大率而得到的值進行放大。例如,在所受理的放大率為3、分辨率比為3的情況下,第二分辨率圖像被放大為1倍。
接著,顯示用輸出部1203基于通過結(jié)束鍵602被選擇而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第二分辨率圖像的顯示(步驟S31)。在此,當(dāng)判定為應(yīng)結(jié)束顯示時(步驟S31:是),圖像輸出裝置1001結(jié)束處理。另一方面,當(dāng)判定為不應(yīng)結(jié)束顯示時(步驟S31:否),圖像輸出裝置1001反復(fù)執(zhí)行從步驟S23開始的處理。
(效果)
這樣,在本實施方式中,僅在評價值高的情況下發(fā)送第二分辨率圖像。也即是,能夠僅對有充分的診斷必要的檢體(被拍攝對象),以高分辨率將該檢體的圖像例如向遠程地進行發(fā)送。因此,例如能夠抑制為了發(fā)送以短時間就能夠進行診斷那樣的重要度低的檢體的高分辨率圖像,而使得具有充分的診斷必要的檢體的高分辨率圖像的發(fā)送延遲。另外,由于不進行評價值低的檢體的高分辨率圖像的發(fā)送,因此,能夠減輕高分辨率圖像的處理的負擔(dān)。
具體而言,考慮本實施方式中的圖像輸出裝置1001在僅有經(jīng)驗少的病理醫(yī)師、或者僅有外科的地方醫(yī)院中被使用。在該情況下,能夠利用發(fā)送部1204將難以進行診斷的檢體的第二分辨率圖像向有經(jīng)驗豐富的病理醫(yī)師的遠程地進行發(fā)送。首先,低分辨率的第一分辨率圖像被發(fā)送至病理醫(yī)師。然后,能夠當(dāng)?shù)玫搅烁咴u價值時,也即是,僅在需要對檢體進行更詳細的診斷時,發(fā)送高分辨率的第二分辨率圖像。在設(shè)第一分辨率圖像為100M字節(jié)(=800M比特)、第二分辨率圖像為1.6G字節(jié)、通信速度為50Mbps的情況下,第一分辨率圖像能夠以16秒進行發(fā)送,但是高分辨率圖像的發(fā)送需要耗費256秒。若以高分辨率發(fā)送所有的圖像,則相當(dāng)耗費時間。但是,在因健康診斷等進行的生物體檢查中,大多以低分辨率的圖像就能夠判定無異常,因此,通過僅針對有必要的檢體發(fā)送高分辨率圖像,能夠使診斷高效化。另外,圖像輸出裝置1001能夠利用于如下情況:在病理醫(yī)師僅有一人的小醫(yī)院,選擇將重要的圖像發(fā)送至位于遠程地的病理醫(yī)師而進行復(fù)核時的發(fā)送圖像。
(評價值的詳細內(nèi)容)
在此,對上述的評價值詳細地進行說明。
如上所述,判定部1202可以基于受理次數(shù)、顯示時間以及顯示面積中的至少一方來導(dǎo)出評價值。
基于這些受理次數(shù)、顯示時間或者顯示面積的評價值在判定是否在診斷中不是必須但要以高倍率進行檢體觀察、是否在診斷中是必要的而要以高倍率進行檢體觀察時是有效的。也即是,在通常的利用顯微鏡的診斷中,由于更換透鏡費時費力,因此,如果在進行低倍率的觀察的階段中可以得知檢體是正常的,則不進行高倍率的觀察。此外,在檢體是否正常的判斷中,在檢體中無腫瘤、或者未殘留有診斷上為必要的檢查項目的情況下,判斷為檢體是正常的。另一方面,利用如本實施方式的數(shù)碼顯微鏡1500這樣的電子顯微鏡獲取到的圖像的高倍率的放大能夠僅通過鼠標或者鍵盤的簡單的操作來進行。因此,在數(shù)碼顯微鏡1500中,針對僅進行了基于通常的顯微鏡的低倍率的觀察的檢體,進行高倍率下的觀察的情況極多。
這是認為,病理醫(yī)師、醫(yī)師或者檢查技師等診斷者觀察以高倍率放大后的圖像,由此用以確認檢體的拍攝是否恰當(dāng)?shù)乇贿M行。另外,認為是由于診斷者的如下要求:對于正常的檢體也想將該檢體中包含的小的區(qū)域作為以高倍率放大后的像來觀察。
以對于這樣的診斷不必要的高倍率進行觀察的受理次數(shù)、顯示時間、或者顯示面積等參數(shù)根據(jù)診斷者的喜好或者經(jīng)驗而不同。但是,這些參數(shù)的數(shù)值與以診斷所必須的高倍率下的觀察的參數(shù)相比極小。因此,在本實施方式中,通過使用基于受理次數(shù)、顯示時間或者顯示面積的評價值,能夠判定高倍率下的觀察是否為診斷所必要的。為了有效地靈活應(yīng)用有限的通信帶寬,在以這樣的診斷中不必要的高倍率進行觀察時,也可以不發(fā)送高分辨率圖像。
另外,當(dāng)基于受理次數(shù)、顯示時間以及顯示面積中的至少一方導(dǎo)出評價值而發(fā)送高分辨率圖像時,發(fā)送部1204也可以對該高分辨率圖像附加標記。也即是,發(fā)送部1204向高分辨率圖像附加表示該評價值所使用的參數(shù)(受理次數(shù)、顯示時間以及顯示面積中的至少一方)的種類和該評價值的標記,并發(fā)送該帶有標記的高分辨率圖像。由此,接收該高分辨率圖像的圖像接收裝置能夠從多個高分辨率圖像中,提取附加了表示作為參數(shù)的種類而使用了例如受理次數(shù)的標記的高分辨率圖像。另外,如果所提取的高分辨率圖像為多個,則圖像接收裝置可以基于這些標記所表示的評價值,將這些高分辨率圖像按評價值的升序或者降序進行排列。由此,診斷者能夠容易地選擇應(yīng)進行觀察的高分辨率圖像。
(評價值的詳細內(nèi)容:受理次數(shù))
具體而言,受理次數(shù)是由放大受理部1201受理比閾值高的放大率即高放大率的次數(shù)。該閾值例如是上述的分辨率比(具體而言為3)。該受理次數(shù)越多,則判定部1202導(dǎo)出越高的評價值。例如,評價值也可以是受理次數(shù)本身。在該情況下,判定部1202判定作為該評價值的受理次數(shù)是否比1次(預(yù)定值=1)多。也即是,如果受理次數(shù)為1次,則被放大為高放大率的第一分辨率圖像的顯示不是診斷所必要的顯示的可能性高。換言之,通過比高放大率低的放大率的第一分辨率圖像判斷為檢體為正常的可能性高。相反地,如果受理次數(shù)為2次以上,則被放大為高放大率的第一分辨率圖像的顯示為診斷所必要的顯示的可能性高。也即是,檢體是否正常的判斷值得懷疑的可能性高。因此,這樣,判定受理次數(shù)是否比1次多,當(dāng)判定為多時,進行高分辨率圖像的發(fā)送,由此,能夠有效地靈活運用有限的通信帶寬。
或者,判定部1202也可以判定作為該評價值的受理次數(shù)是否比2次(預(yù)定值=2)多。具體而言,在診斷惡性腫瘤的情況下,為了確認腫瘤的樣態(tài)以及尺寸而大多進行3次以上的診斷。例如,大多進行腫瘤的中心、左端、以及右端的各自的診斷。因此,通過如上述那樣將預(yù)定值設(shè)為“2”,能夠僅發(fā)送懷疑是惡性腫瘤的可能性高的檢體的高分辨率圖像。
這樣,在評價值基于受理次數(shù)來導(dǎo)出的情況下,無論高倍率下的檢體觀察是只進行1次、還是只進行2次以下,都能夠抑制高分辨率圖像被發(fā)送。即,能夠抑制:因進行了對于診斷不必要的高倍率下的檢體觀察,而發(fā)送了高分辨率圖像。
(評價值的詳細內(nèi)容:顯示時間)
具體而言,顯示時間是被拍攝對象的圖像以高放大率被顯示裝置1501所顯示的時間。該顯示時間越長則,判定部1202導(dǎo)出越高的評價值。例如,評價值也可以是被拍攝對象的圖像以上述的分辨率比(具體而言為3)以上的高放大率被顯示裝置1501顯示的顯示時間。該情況下,判定部1202判定作為該評價值的顯示時間是否比例如10秒(預(yù)定值=10秒)長。也即是,如果該顯示時間為10秒以下,則被放大為高放大率的圖像的顯示是診斷所不必要的顯示的可能性高。由此,能夠抑制:因進行了診斷所不必要的高倍率下的檢體觀察,而發(fā)送了高分辨率圖像。
另外,惡性腫瘤的診斷所需要花費的時間根據(jù)診斷者或者觀察的部位不同而存在差異。因此,可以根據(jù)診斷者、觀察的部位、或者檢體的獲取作成方法,來改變該預(yù)定值(在上述的例子中為10秒)。例如,對于用通常的方法作成的檢體,將該預(yù)定值設(shè)為10秒,對于手術(shù)中迅速診斷用的以短時間作成的檢體,可以將該預(yù)定值設(shè)為30秒。
另外,在上述的例子中,使預(yù)定值為10秒或者30秒,但也可以將正常的檢體的觀察所需要花費的平均的顯示時間的m倍(m為比1大的實數(shù))的時間等作為預(yù)定值。
另外,判定部1202也可以針對所受理的各個放大率(也即是,3以上的高放大率),在該放大率下的顯示時間上乘以權(quán)重,將各個帶權(quán)重的顯示時間的總和作為評價值來導(dǎo)出。放大率越高,則其權(quán)重為越大的值。具體而言,判定部1202將放大率本身作為權(quán)重來處理,利用評價值=Σ[放大率(k)×顯示時間(k)],導(dǎo)出評價值。此外,放大率(k)是第k個受理的3以上的放大率,顯示時間(k)是以第k個放大率放大后的第一分辨率圖像所顯示的顯示時間。也即是,在分辨率比以上的放大率受理了n次的情況下,評價值作為k為1~n的放大率(k)×顯示時間(k)的總和而被導(dǎo)出。例如,所受理的放大率Q和此時的顯示時間T(秒)為(Q,T)=(3,7)、(4,6)、(5,5)、以及(6,4)。在這樣的情況下,判定部1202通過評價值=(3×7)+(4×6)+(5×5)+(6×4),而導(dǎo)出評價值。此外,在評價值的算出中,也可以取代放大率(k),而使用“放大率(k)-分辨率比(具體而言為3)+1”。在該情況下,判定部1202通過評價值=(1×7)+(2×6)+(3×5)+(4×4),而導(dǎo)出評價值。如果利用這種評價值,則觀察時間越長或者觀察時的放大率(倍率)越高,則導(dǎo)出越高的評價值。另外,在該情況下,判定部1202也可以判定評價值是否超過例如30(預(yù)定值=30)。
此外,判定部1202計算了各放大率下的顯示時間后,導(dǎo)出評價值,但也可以隨時更新觀察時的評價值。也即是,判定部1202可以每經(jīng)過一定時間,就獲取觀察時的放大率,將該獲取到的放大率和一定時間的乘積結(jié)果加在剛剛之前導(dǎo)出的評價值上,由此對該評價值進行更新。由此,每經(jīng)過一定時間,就導(dǎo)出新的評價值。
另外,判定部1202取代對顯示時間乘以放大率,也可以對顯示時間乘以相對于放大率單調(diào)增加的值。相對于放大率單調(diào)增加的值是通過函數(shù)得到的值,例如,是放大率的對數(shù)。也即是,判定部1202通過評價值=Σ[log放大率(k)×顯示時間(k)],導(dǎo)出評價值。
另外,判定部1202取代通過上述那樣的總和來導(dǎo)出評價值,也可以將以顯示時間對放大率或者放大率的對數(shù)進行積分而得的值作為評價值來導(dǎo)出。
(評價值的詳細內(nèi)容:顯示面積)
具體而言,顯示面積是以該高放大率顯示于顯示裝置1501的被拍攝對象的面積。例如,判定部1202使用邊緣檢測來確定一個幀中映現(xiàn)出被拍攝對象的區(qū)域,算出該確定出的區(qū)域的面積來作為被拍攝對象的圖像的面積。另外,在利用邊緣檢測在一個幀中檢測到多個區(qū)域的情況下,判定部1202也可以將該多個區(qū)域中的、例如包含使用者用鼠標指示的位置(坐標)的區(qū)域的面積作為被拍攝對象的圖像的面積。在此,若該顯示的圖像被移開,則顯示面積會展寬新顯示的圖像的面積。也即是,在包含使用者用鼠標指示的位置(即,坐標)的區(qū)域連續(xù)的情況下(即,無邊緣的情況下),當(dāng)使用者移開圖像時,與該區(qū)域連續(xù)的新的區(qū)域出現(xiàn)。于是,判定部1202可以將該新出現(xiàn)的區(qū)域、并且是與包含使用者用鼠標指示的位置的區(qū)域連續(xù)的區(qū)域的面積加在被拍攝對象的圖像的面積上。此外,作為顯示面積的被拍攝對象的面積是通過用實際的放大率去除上述那樣算出的被拍攝對象的圖像的面積而得到的值(商)。該顯示面積越大,則判定部1202導(dǎo)出越高的評價值。
例如,評價值是以分辨率比(具體而言為3)以上的高放大率顯示的被拍攝對象的顯示面積。在該情況下,判定部1202判定作為該評價值的顯示面積是否比10,000μm2大。當(dāng)分辨率比為3時,如果設(shè)與相鄰的2個像素對應(yīng)的檢體的位置的間隔為1/3μm(=0.333μm),則由1個像素拍攝到的檢體的面積成為1/9μm2,與10,000μm2對應(yīng)的檢體的尺寸成為10,000μm2/(1/9μm2)=9×104像素。即,判定部1202判定是否比9×104像素(預(yù)定值=9×104像素)大。也即是,如果該顯示面積為9×104像素以下,則被放大為高放大率的第一分辨率圖像的顯示不是診斷所需要的顯示的可能性高。由此,能夠抑制因以診斷所不必要的高倍率進行檢體觀察而會發(fā)送高分辨率圖像。
另外,在上述的例子中,設(shè)預(yù)定值為10,000μm2(即,9×104像素),但也可以將正常的檢體的觀察所需要的平均的顯示面積的m倍(m為比1大的實數(shù))的面積等作為預(yù)定值。
另外,判定部1202也可以按各個所受理的放大率(也即是,3以上的高放大率),在該放大率下的顯示面積上乘以權(quán)重,將各個帶有權(quán)重的顯示面積的總和作為評價值而導(dǎo)出。放大率越高,該權(quán)重為越大的值。具體而言,判定部1202將放大率的平方作為權(quán)重處理,判定部1202通過評價值=Σ[放大率(k)^2×顯示面積(k)]而導(dǎo)出評價值。此外,放大率(k)與上述同樣,是第k個受理的3以上的放大率,顯示面積(k)是以第k個放大率放大后的被拍攝對象的顯示面積。此外,A^B表示A的B次冪的計算。也即是,在分辨率比以上的放大率受理了n次的情況下,評價值作為k為1~n的放大率(k)^2×顯示面積(k)的總和而導(dǎo)出。例如,設(shè)放大率Q和此時的顯示面積S(1×104像素)為(Q,S)=(3,2)、(4,0.5)、(5,1.5)、(6,1)。在這樣的情況下,判定部1202通過評價值=[(3^2)×2×104]+[(4^2)×0.5×104]+[(5^2)×1.5×104]+[(6^2)×1×104],導(dǎo)出評價值。此外,在評價值的算出中,取代放大率(k)的平方,也可以使用“放大率(k)-分辨率比(具體而言3)+1”的平方作為權(quán)重。在該情況下,判定部1202通過評價值=[(1^2)×2×104]+[(2^2)×0.5×104]+[(3^2)×1.5×104]+[(4^2)×1×104]而導(dǎo)出評價值。如果使用這樣的評價值,則觀察的被拍攝對象的面積越大、或觀察時的放大率(倍率)越高,則導(dǎo)出越高的評價值。另外,在該情況下,判定部1202也可以判定評價值是否超過例如8.1×105(預(yù)定值=8.1×105)。
此外,權(quán)重是放大率越高則為越大的值即可,只要是可算出那樣的值的函數(shù),就不限于放大率的平方,也可以使用任意的函數(shù)。例如,判定部1202可以通過評價值=Σ[放大率(k)^3×顯示面積(k)]來導(dǎo)出評價值。
另外,判定部1202可以取代上述那樣的通過總和來導(dǎo)出評價值,而將以顯示面積對放大率的冪乘進行積分而得的值作為評價值來導(dǎo)出。
(變形例)
在此,對實施方式1中的圖像輸出裝置的變形例進行說明。本變形例的圖像輸出裝置在評價值高的情況下,發(fā)送并且保存第二分辨率圖像。
圖5是示出包含本變形例的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
本變形例的圖像處理系統(tǒng)100Sa包括:數(shù)碼顯微鏡1500、圖像輸出裝置1001a、顯示裝置1501以及記錄介質(zhì)1502。
記錄介質(zhì)1502保持從圖像輸出裝置1001a輸出的圖像。該記錄介質(zhì)1502由例如硬盤、BD(Blu-ray(注冊商標)Disc)、DVD、SD卡(注冊商標)、RAM(Random Access Memory:隨機訪問存儲器)或者高速緩存等存儲裝置來實現(xiàn)。
圖像輸出裝置1001a除了具備上述實施方式1的圖像輸出裝置1001所具備的各構(gòu)成要素之外,還具備第一輸出部1205。
第一輸出部1205在由判定部1202判定為評價值比預(yù)定值高的情況下,將第二分辨率圖像輸出并保存至記錄介質(zhì)1502。另一方面,第一輸出部1205在由判定部1202判定為評價值不比預(yù)定值高的情況下,不向記錄介質(zhì)1502輸出第二分辨率圖像。
換言之,第一輸出部1205將從發(fā)送部1204發(fā)送的圖像向記錄介質(zhì)1502輸出,由此,將該圖像保存于記錄介質(zhì)1502。也即是,第一輸出部1205將在圖3的步驟S16、S18或者圖4的步驟S29中發(fā)送的第一分辨率圖像或者第二分辨率圖像保存于記錄介質(zhì)1502。
(效果)
在這樣的本變形例的圖像輸出裝置1001a中,能夠針對需要以高分辨率進行診斷的檢體,自動地保存高分辨率圖像(第二分辨率圖像)。也可以考慮設(shè)置選擇是否保存高分辨率圖像的按鍵,但是,考慮到病理醫(yī)師有時會在一小時中進行60個檢體以上的診斷,會忘記按鍵操作。但是,如果使用本變形例的圖像輸出裝置1001a,則能夠防止忘記操作,能夠可靠地保存重要的高分辨率圖像。
另外,如果使用本變形例的圖像輸出裝置1001a,則能夠?qū)σ愿叻直媛蕡D像進行診斷的檢體保存以及發(fā)送該高分辨率圖像,能夠?qū)σ缘头直媛蕡D像(第一分辨率圖像)進行診斷的檢體保存以及發(fā)送該低分辨率圖像。由此,通過使被保存以及發(fā)送的圖像的大小為與檢體相對應(yīng)的大小,能夠削減所保存的圖像的大小、所發(fā)送(移送)的圖像的大小以及移送時間。
(實施方式2)
本實施方式中的圖像輸出裝置由相互經(jīng)由通信線路連接的圖像發(fā)送裝置和圖像接收裝置構(gòu)成。此外,對于本實施方式中的裝置及其構(gòu)成要素中的、與實施方式1相同的裝置及其構(gòu)成要素,標注與實施方式1相同的標號,并省略它們的詳細說明。
圖6是示出包含實施方式2中的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖像處理系統(tǒng)200S包括:數(shù)碼顯微鏡1500、圖像輸出裝置2001、顯示裝置1501、記錄介質(zhì)1502以及記錄介質(zhì)1503。
記錄介質(zhì)1502保持從圖像輸出裝置2001的圖像接收裝置1200輸出的圖像。
記錄介質(zhì)1503保持從圖像輸出裝置2001的圖像發(fā)送裝置1100輸出的圖像。該記錄介質(zhì)1503與記錄介質(zhì)1502同樣,由例如硬盤、BD(Blu-ray(注冊商標)Disc)、DVD、SD卡(注冊商標)、RAM或者高速緩存等存儲裝置實現(xiàn)。
圖像輸出裝置2001具備經(jīng)由通信線路相互連接的圖像發(fā)送裝置1100以及圖像接收裝置1200。此外,圖像輸出裝置2001作為整體,具有與實施方式1的圖像輸出裝置1001同樣的功能。另外,例如,包含數(shù)碼顯微鏡1500、圖像發(fā)送裝置1100以及記錄介質(zhì)1503的組配置于無病理醫(yī)師的醫(yī)院等設(shè)施。包含圖像接收裝置1200、顯示裝置1501以及記錄介質(zhì)1502的組例如配置于遠離該醫(yī)院的、有病理醫(yī)師的設(shè)施。
圖像發(fā)送裝置1100具備:圖像獲取部1101、高分辨率圖像獲取部1102、發(fā)送部1204以及第二輸出部1103。
第二輸出部1103將由高分辨率圖像獲取部1102獲取的第二分辨率圖像輸出至記錄介質(zhì)1503,由此將該第二分辨率圖像保存于記錄介質(zhì)1503。也即是,該第二輸出部1103在由判定部1202判定為評價值不比預(yù)定值高的情況下,將第二分辨率圖像輸出并保存至記錄介質(zhì)1503。
圖像接收裝置1200具備:放大受理部1201、判定部1202、顯示用輸出部1203以及第一輸出部1205。
顯示用輸出部1203從圖像發(fā)送裝置1100經(jīng)由通信線路獲取第一分辨率圖像或者第二分辨率圖像。然后,與實施方式1同樣地,顯示用輸出部1203向顯示裝置1501輸出基于由放大受理部1201受理的放大率來放大后的第一分辨率圖像或者第二分辨率圖像。由此,顯示用輸出部1203使顯示裝置1501顯示被放大后的第一分辨率圖像或者第二分辨率圖像。
判定部1202與實施方式1同樣地,判定評價值是否比預(yù)定值高。并且,判定部1202經(jīng)由通信線路將該判定結(jié)果通知圖像發(fā)送裝置1100。
圖像發(fā)送裝置1100的發(fā)送部1204在為表示評價值高的判定結(jié)果的情況下,經(jīng)由通信線路將第二分辨率圖像向圖像接收裝置1200發(fā)送。另一方面,發(fā)送部1204在為表示評價值不高的判定結(jié)果的情況下,經(jīng)由通信線路發(fā)送第一分辨率圖像來代替發(fā)送第二分辨率圖像。
圖7是示出圖像發(fā)送裝置1100以及圖像接收裝置1200的處理工作的流程圖。
圖像發(fā)送裝置1100的圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像(步驟S41)。發(fā)送部1204經(jīng)由通信線路將第一分辨率圖像向圖像接收裝置1200發(fā)送(步驟S42)。
圖像接收裝置1200的顯示用輸出部1203接收經(jīng)由通信線路從圖像發(fā)送裝置1100發(fā)送來的第一分辨率圖像(步驟S51)。接著,圖像接收裝置1200的放大受理部1201根據(jù)操作者對例如鍵盤等的操作來受理圖像的放大率(步驟S52)。然后,顯示用輸出部1203以所受理的放大率將第一分辨率圖像放大而向顯示裝置1501輸出。顯示用輸出部1203通過該輸出,使顯示裝置1501顯示被放大為所受理的放大率的第一分辨率圖像(步驟S53)。
接著,圖像接收裝置1200的顯示用輸出部1203基于通過結(jié)束鍵602或者讀取鍵605被選擇而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第一分辨率圖像的顯示(步驟S54)。在此,當(dāng)判定為不應(yīng)結(jié)束顯示時(步驟S54:否),放大受理部1201進一步受理新的放大率。也即是,觀察顯示裝置1501所顯示的圖像的操作者(病理醫(yī)師)根據(jù)檢體來改變放大率而進行觀察。
另一方面,當(dāng)判定為應(yīng)結(jié)束顯示時(步驟S54:是),判定部1202導(dǎo)出基于由放大受理部1201受理的放大率的評價值,判定該評價值是否比預(yù)定值高(步驟S55)。
在此,當(dāng)判定為評價值不比預(yù)定值高時(步驟S55:否),圖像接收裝置1200的第一輸出部1205將第一分辨率圖像輸出并保存至記錄介質(zhì)1502(步驟S59)。另一方面,當(dāng)判定為評價值比預(yù)定值高時(步驟S55:是),第一輸出部1205經(jīng)由通信線路向圖像發(fā)送裝置1100請求第二分辨率圖像(步驟S56)。
圖像發(fā)送裝置1100的發(fā)送部1204判定是否由圖像接收裝置1200請求了第二分辨率圖像(步驟S43)。在此,當(dāng)判定為未請求時(步驟S43:否),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S44)。另外,第二輸出部1103將由高分辨率圖像獲取部1102獲取的該第二分辨率圖像輸出并保存至記錄介質(zhì)1503(步驟S45)。因此,該第二輸出部1103在由判定部1202判定為評價值不高的情況下,將第二分辨率圖像輸出并保存至記錄介質(zhì)1503。
另一方面,當(dāng)判定為請求了第二分辨率圖像時(步驟S43:是),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S46)。另外,發(fā)送部1204將由高分辨率圖像獲取部1102獲取的該第二分辨率圖像經(jīng)由通信線路發(fā)送至圖像接收裝置1200(步驟S47)。因此,發(fā)送部1204與實施方式1同樣,在由判定部1202判定為評價值高的情況下,發(fā)送第二分辨率圖像,在由判定部1202判定為評價值不高的情況下,不發(fā)送第二分辨率圖像。
此外,在上述的例子中,在步驟S43的判定之后,執(zhí)行步驟S44以及步驟S46的處理,但也可以在步驟S43的判定之前執(zhí)行。
當(dāng)在步驟S47中發(fā)送第二分辨率圖像時,圖像接收裝置1200的第一輸出部1205接收該第二分辨率圖像(步驟S57)。然后,第一輸出部1205將該第二分辨率圖像輸出并保存至記錄介質(zhì)1502(步驟S58)。
(效果)
在這樣的本實施方式的圖像輸出裝置2001中,即便獲取被拍攝對象的圖像的設(shè)施與觀察該圖像的設(shè)施分離,也能夠?qū)崿F(xiàn)與實施方式1同樣的效果。
(變形例1)
在此,對實施方式2中的圖像輸出裝置的第1變形例進行說明。在本變形例中,在針對多個檢體判定為評價值高的情況下,從與高評價值的檢體對應(yīng)的第二分辨率圖像依次發(fā)送多個第二分辨率圖像。
圖8是示出包含本變形例的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
本變形例的圖像處理系統(tǒng)200Sa包括:數(shù)碼顯微鏡1500、圖像輸出裝置2001a、顯示裝置1501、記錄介質(zhì)1502以及記錄介質(zhì)1503。
圖像輸出裝置2001a具備經(jīng)由通信線路相互連接的圖像發(fā)送裝置1100a以及圖像接收裝置1200a。
圖像接收裝置1200a除了具備實施方式2的圖像接收裝置1200所具備的各構(gòu)成要素之外,還具備評價值存儲部1206。該評價值存儲部1206中存儲有針對各檢體(被拍攝對象)導(dǎo)出的評價值。另外,第一輸出部1205向圖像發(fā)送裝置1100a請求與評價值存儲部1206所存儲的各評價值對應(yīng)的第二分辨率圖像。
圖像發(fā)送裝置1100a取代實施方式2中的發(fā)送部1204,而具備發(fā)送部1204a。該發(fā)送部1204a不僅具有與實施方式2中的發(fā)送部1204同樣的功能,還在接受了來自第一輸出部1205的請求的情況下,從與高評價值的檢體對應(yīng)的第二分辨率圖像起依次發(fā)送多個第二分辨率圖像。
圖9是示出圖像發(fā)送裝置1100a以及圖像接收裝置1200a的處理工作的流程圖。
圖像發(fā)送裝置1100a的圖像獲取部1101以及高分辨率圖像獲取部1102獲取被拍攝對象的第一分辨率圖像以及第二分辨率圖像(步驟S71)。發(fā)送部1204a經(jīng)由通信線路將第一分辨率圖像向圖像接收裝置1200a發(fā)送(步驟S72)。并且,圖像獲取部1101以及高分辨率圖像獲取部1102判定是否存在下一個被拍攝對象(步驟S73)。當(dāng)判定為存在下一個被拍攝對象時(步驟S73:是),圖像發(fā)送裝置1100a反復(fù)執(zhí)行從步驟S71開始的處理。
圖像接收裝置1200a的顯示用輸出部1203接收經(jīng)由通信線路從圖像發(fā)送裝置1100a發(fā)送來的第一分辨率圖像(步驟S81)。接著,圖像接收裝置1200a的放大受理部1201根據(jù)操作者對例如鍵盤等的操作受理圖像的放大率(步驟S82)。然后,顯示用輸出部1203以所受理的放大率將第一分辨率圖像放大而向顯示裝置1501輸出。顯示用輸出部1203通過該輸出,使顯示裝置1501顯示被放大為所受理的放大率的第一分辨率圖像(步驟S83)。
接著,圖像接收裝置1200a的顯示用輸出部1203基于通過結(jié)束鍵602或者讀取鍵605被選擇而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第一分辨率圖像的顯示(步驟S84)。在此,當(dāng)判定為不應(yīng)結(jié)束顯示時(步驟S84:否),放大受理部1201進一步受理新的放大率。也即是,觀察顯示裝置1501所顯示的圖像的操作者(病理醫(yī)師)根據(jù)檢體來改變放大率而進行觀察。
另一方面,當(dāng)判定為應(yīng)結(jié)束顯示時(步驟S84:是),判定部1202導(dǎo)出基于由放大受理部1201受理的放大率的評價值,判定該評價值是否比預(yù)定值高(步驟S85)。
在此,當(dāng)判定為評價值不比預(yù)定值高時(步驟S85:否),圖像接收裝置1200a的第一輸出部1205將第一分辨率圖像輸出并保存至記錄介質(zhì)1502(步驟S87)。另一方面,當(dāng)判定為評價值比預(yù)定值高時(步驟S85:是),判定部1202將該比預(yù)定值高的評價值與被拍攝對象建立關(guān)聯(lián)而保存于評價值存儲部1206(步驟S86)。
接著,圖像接收裝置1200a的顯示用輸出部1203判定是否存在下一個被拍攝對象(步驟S88)。在此,當(dāng)判定為存在下一個被拍攝對象時(步驟S88:是),圖像接收裝置1200a反復(fù)執(zhí)行從步驟S81開始的處理。另一方面,當(dāng)判定為不存在下一個被拍攝對象時(步驟S88:否),圖像接收裝置1200a的第一輸出部1205參照評價值存儲部1206所保存的評價值。另外,第一輸出部1205經(jīng)由通信線路請求圖像發(fā)送裝置1100從高的評價值起按順序發(fā)送與該評價值建立關(guān)聯(lián)的被拍攝對象的第二分辨率圖像(步驟S89)。
圖像發(fā)送裝置1100a的發(fā)送部1204a判定是否由圖像接收裝置1200a請求了第二分辨率圖像(步驟S74)。在此,當(dāng)判定為未請求時(步驟S74:否),第二輸出部1103將在步驟S71中獲取的各被拍攝對象的第二分辨率圖像輸出并保存至記錄介質(zhì)1503(步驟S75)。另一方面,發(fā)送部1204a當(dāng)判定為請求了第二分辨率圖像時(步驟S74:是),將在步驟S71中獲取的各被拍攝對象的第二分辨率圖像中的、與比預(yù)定值高的評價值對應(yīng)的第二分辨率圖像發(fā)送至圖像接收裝置1200a。此時,發(fā)送部1204a從高的評價值的第二分辨率圖像起按順序?qū)⑦@些第二分辨率圖像經(jīng)由通信線路向圖像接收裝置1200a發(fā)送(步驟S76)。
圖像接收裝置1200a的第一輸出部1205從評價值高的第二分辨率圖像起按順序接收與比預(yù)定值高的評價值對應(yīng)的各第二分辨率圖像并輸出至記錄介質(zhì)1502(步驟S90)。由此,比預(yù)定值高的評價值的各第二分辨率圖像被保存于記錄介質(zhì)1502。
(效果)
這樣,在本變形例中,當(dāng)匯總被判定為評價值高的多個被拍攝對象的第二分辨率圖像來進行發(fā)送時,從評價值高的第二分辨率圖像依次進行發(fā)送。因此,能夠迅速地發(fā)送重要度高的第二分辨率圖像。結(jié)果,病理醫(yī)師能夠從重要度高的第二分辨率圖像起依次使用該第二分辨率圖像來進行檢體的診斷。
也即是,認為圖像發(fā)送裝置1100a在僅有經(jīng)驗少的病理醫(yī)師、或者僅有外科的地方醫(yī)院被使用。在該情況下,難以診斷的檢體的第二分辨率圖像通過發(fā)送部1204a被發(fā)送至有經(jīng)驗豐富的病理醫(yī)師的大醫(yī)院。通信線路雖然存在限制,但是如果使用本變形例中的圖像輸出裝置2001a,則能夠?qū)㈦y以診斷的檢體的第二分辨率圖像優(yōu)先從地方醫(yī)院向大醫(yī)院發(fā)送。另外,圖像發(fā)送裝置1100a能夠在病理醫(yī)師僅有一人的小醫(yī)院中,選擇將重要的圖像發(fā)送至位于遠程地的病理醫(yī)師而進行復(fù)核時的發(fā)送圖像時被利用。
此外,在病理檢查中,存在從同一患者拍攝多個檢體的情況。例如,在癌的檢查中,有時會獲取臟器的一部分,觀察該一部分的不同的截面的切片。即,通過拍攝上下方向上不同的位置(方便起見,稱為不同的高度)的檢體切片,獲取多個二維的圖像,利用這些圖像,來確認三維的癌的范圍。在此,在任意的高度上的圖像中懷疑是癌的情況下,期望將該圖像以及其它的高度上的圖像也以高分辨率進行發(fā)送或者保持。
于是,高分辨率圖像獲取部1102也可以對從同一患者的同一臟器得到的多個第二分辨率圖像附加同一圖像組識別符。在該情況下,發(fā)送部1204a當(dāng)發(fā)送第二分辨率圖像時,將與附加到該第二分辨率圖像的圖像組識別符建立關(guān)聯(lián)的其它的第二分辨率圖像也發(fā)送至圖像接收裝置1200a。由此,操作圖像接收裝置1200a的病理醫(yī)師不必分別選擇針對同一患者的同一臟器得到的多個第二分辨率圖像,而能夠統(tǒng)一獲取,能夠以三維的方式簡單地確認癌的范圍等。
(變形例2)
在上述實施方式2及其變形例1中,判定部1202設(shè)于圖像接收裝置,但也可以設(shè)于圖像發(fā)送裝置。第2變形例的圖像發(fā)送裝置具備判定部1202。
圖10是示出包含本變形例的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
本變形例的圖像處理系統(tǒng)200Sb具備:數(shù)碼顯微鏡1500、圖像輸出裝置2001b、顯示裝置1501、記錄介質(zhì)1502以及記錄介質(zhì)1503。
圖像輸出裝置2001b具備經(jīng)由通信線路相互連接的圖像發(fā)送裝置1100b以及圖像接收裝置1200b。
圖像發(fā)送裝置1100b除了具備實施方式2及其變形例1的圖像發(fā)送裝置1100a所具備的各構(gòu)成要素之外,還具備判定部1202。
圖像接收裝置1200b不具備判定部1202,具備放大受理部1201、顯示用輸出部1203以及第一輸出部1205。
圖11是示出圖像發(fā)送裝置1100b以及圖像接收裝置1200b的處理工作的流程圖。
圖像發(fā)送裝置1100b的圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像(步驟S101)。發(fā)送部1204經(jīng)由通信線路將第一分辨率圖像發(fā)送至圖像接收裝置1200(步驟S102)。
圖像接收裝置1200b的顯示用輸出部1203接收經(jīng)由通信線路從圖像發(fā)送裝置1100b發(fā)送來的第一分辨率圖像(步驟S121)。接著,圖像接收裝置1200b的放大受理部1201根據(jù)操作者對例如鍵盤等的操作而受理圖像的放大率(步驟S122)。然后,顯示用輸出部1203以所受理的放大率將第一分辨率圖像放大而向顯示裝置1501輸出。顯示用輸出部1203通過該輸出,使顯示裝置1501顯示被放大為所受理的放大率的第一分辨率圖像(步驟S123)。
接著,圖像接收裝置1200b的顯示用輸出部1203基于通過選擇結(jié)束鍵602或者讀取鍵605而從顯示裝置1501輸出的信號,判定是否應(yīng)結(jié)束第一分辨率圖像的顯示(步驟S124)。在此,當(dāng)判定為不應(yīng)使顯示結(jié)束時(步驟S124:否),放大受理部1201進一步受理新的放大率。也即是,觀察顯示裝置1501所顯示的圖像的操作者(病理醫(yī)師)根據(jù)檢體改變放大率來進行觀察。另一方面,當(dāng)判定為應(yīng)使顯示結(jié)束時(步驟S124:是),顯示用輸出部1203將評價值的導(dǎo)出所必需的評價值關(guān)聯(lián)信息經(jīng)由通信線路向圖像發(fā)送裝置1100b發(fā)送(步驟S126)。該評價值關(guān)聯(lián)信息例如是上述的最后放大率、最大放大率、顯示次數(shù)、顯示時間以及顯示面積中的至少一方。
圖像發(fā)送裝置1100b的判定部1202接收該評價值關(guān)聯(lián)信息(步驟S104)。然后,判定部1202基于該評價值關(guān)聯(lián)信息而導(dǎo)出評價值。進而,判定部1202判定所導(dǎo)出的評價值是否比預(yù)定值高,經(jīng)由通信線路將其判定結(jié)果通知圖像接收裝置1200b(步驟S105)。
圖像接收裝置1200b的第一輸出部120當(dāng)經(jīng)由通信線路從圖像發(fā)送裝置1100b接收被通知的判定結(jié)果時(步驟S127),確認該判定結(jié)果是否為肯定的(是)(步驟S128)。在此,當(dāng)確認判定結(jié)果為否定的,也即是,評價值不比預(yù)定值高時(步驟S128:否),圖像接收裝置1200b的第一輸出部1205將第一分辨率圖像輸出并保存至記錄介質(zhì)1502(步驟S132)。另一方面,當(dāng)確認判定結(jié)果為肯定的,也即是,評價值比預(yù)定值高時(步驟S128:是),圖像接收裝置1200b的第一輸出部1205經(jīng)由通信線路向圖像發(fā)送裝置1100請求第二分辨率圖像(步驟S129)。
圖像發(fā)送裝置1100b的發(fā)送部1204判定是否由圖像接收裝置1200b請求了第二分辨率圖像(步驟S106)。在此,當(dāng)判定為未請求時(步驟S106:否),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S107)。進而,第二輸出部1103將由高分辨率圖像獲取部1102獲取的該第二分辨率圖像輸出并保存至記錄介質(zhì)1503(步驟S108)。
另一方面,當(dāng)判定為請求了第二分辨率圖像時(步驟S106:是),高分辨率圖像獲取部1102獲取第二分辨率圖像(步驟S109)。并且,發(fā)送部1204將由高分辨率圖像獲取部1102獲取的該第二分辨率圖像經(jīng)由通信線路向圖像接收裝置1200b發(fā)送(步驟S110)。
此外,在上述的例子中,在步驟S106的判定之后,進行步驟S107以及步驟S109的處理,也可以在步驟S106的判定前進行步驟S107以及步驟S109的處理。
當(dāng)在步驟S110中發(fā)送第二分辨率圖像時,圖像接收裝置1200b的第一輸出部1205接收該第二分辨率圖像(步驟S130)。然后,第一輸出部1205將該第二分辨率圖像輸出并保存至記錄介質(zhì)1502(步驟S131)。
(效果)
這樣,在本變形例中,判定部1202即便設(shè)于圖像發(fā)送裝置1100b,也能夠?qū)崿F(xiàn)與上述實施方式1以及2同樣的效果。
另外,在本變形例中,也與變形例1同樣,可以將與比預(yù)定值高的評價值建立關(guān)聯(lián)的多個被拍攝對象的各個第二分辨率圖像從該評價值高的第二分辨率圖像起按順序進行發(fā)送接收。
(實施方式3)
在上述實施方式1、實施方式2以及它們的變形例中,根據(jù)評價值是否比預(yù)定值高,來切換發(fā)送第二分辨率圖像或不發(fā)送第二分辨率圖像。在本實施方式中,不進行上述的發(fā)送與非發(fā)送的切換,而是根據(jù)評價值是否比預(yù)定值高,切換保存第二分辨率圖像或不保存第二分辨率圖像。此外,對于本實施方式中的裝置及其構(gòu)成要素中的、與實施方式1或者2相同的裝置及其構(gòu)成要素,標注與實施方式1或者2相同的標號,并省略它們的詳細說明。
圖12是示出包含實施方式3的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖像處理系統(tǒng)300S包括數(shù)碼顯微鏡1500、圖像輸出裝置3001、顯示裝置1501以及記錄介質(zhì)1502。
圖像輸出裝置3001具備:圖像獲取部1101、高分辨率圖像獲取部1102、放大受理部1201、判定部1202、顯示用輸出部1203、第一輸出部1205。也即是,本實施方式中的圖像輸出裝置3001取代實施方式1的圖像輸出裝置1001所具備的各構(gòu)成要素中的發(fā)送部1204而具備第一輸出部1205。此外,本實施方式中的圖像輸出裝置3001具備顯示用輸出部1203,但與實施方式1同樣,也可以不具備該顯示用輸出部1203。
第一輸出部1205與實施方式1的變形例同樣,在由判定部1202判定為評價值比預(yù)定值高的情況下,將第二分辨率圖像輸出并保存至記錄介質(zhì)1502。另一方面,第一輸出部1205在由判定部1202判定為評價值不比預(yù)定值高的情況下,不將第二分辨率圖像向記錄介質(zhì)1502輸出。
(效果)
由此,在本實施方式中,與實施方式1的變形例同樣,針對需要高分辨率下的診斷的檢體,能夠自動地保存高分辨率圖像(第二分辨率圖像)。另外,針對不需要高分辨率下的診斷的檢體,不保存高分辨率圖像,因此,能夠抑制記錄介質(zhì)1502的空閑容量有限制。
(變形例1)
上述實施方式3中的圖像輸出裝置3001作為1個裝置而構(gòu)成,但也可以如實施方式2那樣,由2個裝置構(gòu)成。本變形例中的圖像輸出裝置由相互經(jīng)由通信線路連接的圖像發(fā)送裝置和圖像接收裝置構(gòu)成。
圖13是表示包含實施方式3中的第1變形例所涉及的圖像輸出裝置的圖像處理系統(tǒng)的一例的構(gòu)成圖。
圖像處理系統(tǒng)300Sa構(gòu)成為包括:數(shù)碼顯微鏡1500、圖像輸出裝置3001a、顯示裝置1501、以及記錄介質(zhì)1502。
圖像輸出裝置3001a具備經(jīng)由通信線路而相互連接的圖像發(fā)送裝置3100a以及圖像接收裝置3200a。此外,圖像輸出裝置3001a作為整體具有與實施方式3的圖像輸出裝置3001同樣的功能。另外,例如,包含數(shù)碼顯微鏡1500以及圖像發(fā)送裝置3100a的組被配置于無病理醫(yī)師的醫(yī)院等設(shè)施。包含圖像接收裝置3200a、顯示裝置1501以及記錄介質(zhì)1502的組例如配置于遠離該醫(yī)院的、有病理醫(yī)師的設(shè)施。
圖像發(fā)送裝置3100a具備圖像獲取部1101。圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像,經(jīng)由通信線路,將該第一分辨率圖像向圖像接收裝置3200a發(fā)送。
圖像接收裝置3200a具備:高分辨率圖像獲取部1102、放大受理部1201、判定部1202、顯示用輸出部1203以及第一輸出部1205。本變形例的高分辨率圖像獲取部1102根據(jù)來自第一輸出部1205的請求,經(jīng)由通信線路從圖像發(fā)送裝置3100a獲取多個第一分辨率圖像。并且,高分辨率圖像獲取部1102基于這些第一分辨率圖像生成第二分辨率圖像,由此獲取該第二分辨率圖像。
第一輸出部1205在由判定部1202判定為評價值比預(yù)定值高的情況下,向高分辨率圖像獲取部1102請求第二分辨率圖像,從高分辨率圖像獲取部1102獲取第二分辨率圖像。另外,第一輸出部1205將該第二分辨率圖像輸出并保存至記錄介質(zhì)1502。另一方面,第一輸出部1205在由判定部1202判定為評價值不比預(yù)定值高的情況下,不將第二分辨率圖像輸出至記錄介質(zhì)1502。
(效果)
在這樣的本變形例中的圖像輸出裝置3001a中,即便獲取被拍攝對象的圖像的設(shè)施和觀察該圖像的設(shè)施是分離的,也能夠?qū)崿F(xiàn)與實施方式3同樣的效果。
(變形例2)
在上述實施方式3中的第1變形例中,判定部1202設(shè)于圖像接收裝置,但也可以設(shè)于圖像發(fā)送裝置。第2變形例中的圖像發(fā)送裝置具備判定部1202。
圖14是示出包含實施方式3的第2變形例的圖像輸出裝置的圖像處理系統(tǒng)的其它例的構(gòu)成圖。
圖像處理系統(tǒng)300Sb包括:數(shù)碼顯微鏡1500、圖像輸出裝置3001b、顯示裝置1501以及記錄介質(zhì)1502。
圖像輸出裝置3001b具備經(jīng)由通信線路相互連接的圖像發(fā)送裝置3100b以及圖像接收裝置3200b。此外,圖像輸出裝置3001b作為整體,具有與實施方式3的圖像輸出裝置3001同樣的功能。另外,例如,包含數(shù)碼顯微鏡1500以及圖像發(fā)送裝置3100b的組被配置在無病理醫(yī)師的醫(yī)院等設(shè)施。包含圖像接收裝置3200b、顯示裝置1501以及記錄介質(zhì)1502的組例如被配置在遠離該醫(yī)院的、有病理醫(yī)師的設(shè)施。
圖像發(fā)送裝置3100b具備圖像獲取部1101以及判定部1202。圖像獲取部1101從數(shù)碼顯微鏡1500獲取第一分辨率圖像,經(jīng)由通信線路,將該第一分辨率圖像向圖像接收裝置3200b發(fā)送。判定部1202獲取從圖像接收裝置3200b經(jīng)由通信線路發(fā)送的上述的評價值關(guān)聯(lián)信息,基于該評價值關(guān)聯(lián)信息而導(dǎo)出評價值。另外,判定部1202判定該評價值是否比預(yù)定值高,并將該判定結(jié)果經(jīng)由通信線路而通知給圖像接收裝置3200b。
圖像接收裝置3200b具備:高分辨率圖像獲取部1102、放大受理部1201、顯示用輸出部1203以及第一輸出部1205。
高分辨率圖像獲取部1102根據(jù)來自第一輸出部1205的請求,經(jīng)由通信線路從圖像發(fā)送裝置3100b獲取多個第一分辨率圖像。另外,高分辨率圖像獲取部1102基于這些第一分辨率圖像而生成第二分辨率圖像,由此,獲取該第二分辨率圖像。
顯示用輸出部1203將評價值關(guān)聯(lián)信息經(jīng)由通信線路向圖像發(fā)送裝置3100b發(fā)送。由此,進行由圖像發(fā)送裝置3100b的判定部1202完成的判定。
第一輸出部1205在確認由圖像發(fā)送裝置3100b通知的判定結(jié)果為肯定,也即是,在確認評價值比預(yù)定值高的情況下,向高分辨率圖像獲取部1102請求第二分辨率圖像。另外,第一輸出部1205從高分辨率圖像獲取部1102獲取第二分辨率圖像,將該第二分辨率圖像輸出并保存至記錄介質(zhì)1502。另一方面,第一輸出部1205在確認從圖像發(fā)送裝置3100b通知的判定結(jié)果為否定,也即是,在確認評價值不比預(yù)定值高的情況下,不將第二分辨率圖像向記錄介質(zhì)1502輸出。
(效果)
這樣,在本變形例中,即便判定部1202設(shè)于圖像發(fā)送裝置3100b,也能夠?qū)崿F(xiàn)與上述實施方式3及其變形例1同樣的效果。
(實施方式4)
在此,關(guān)于上述各實施方式及其變形例的數(shù)碼顯微鏡1500,以下,詳細地進行說明。此外,以下將數(shù)碼顯微鏡1500稱為圖像獲取裝置(數(shù)字轉(zhuǎn)換器(digitizer))。
<高分辨率圖像形成的原理>
在本公開中,使用通過改變照明光的照射方向而執(zhí)行多次拍攝得到的多個圖像,形成分辨率(分辨能力)比這些多個圖像的各個圖像高的圖像(以下,稱為“高分辨率圖像”或者“高分辨能力圖像”)。此外,高分辨率圖像與上述的第二分辨率圖像相當(dāng),用于該高分辨率圖像的形成的多個圖像(子圖像)分別與上述的第一分辨率圖像相當(dāng)。首先,參照圖15A~圖20,對高分辨率圖像形成的原理進行說明。在此,例示CCD(Charge Coupled Device:電荷耦合元件)圖像傳感器來進行說明。此外,在以下的說明中,有時具有實質(zhì)上相同的功能的構(gòu)成要素用共同的標號來表示,并省略說明。
參照圖15A以及圖15B。圖15A是示意性地示出被拍攝對象的一部分的俯視圖。圖15A所示的被拍攝對象2例如是生物組織的薄片(典型地,具有幾十μm以下的厚度)。獲取被拍攝對象2的圖像時,被拍攝對象2與圖像傳感器的拍攝面接近地配置。從圖像傳感器的拍攝面到被拍攝對象2為止的距離典型地為1mm以下,例如可以設(shè)定為1μm左右。
圖15B是提取圖像傳感器的光電二極管中的、與圖15A所示的區(qū)域的拍攝相關(guān)的光電二極管而示意性地進行表示的俯視圖。在此說明的例子中,示出形成于圖像傳感器4的光電二極管4p中的6個光電二極管。此外,為了參考,在圖15B中,圖示出表示相互正交的x方向、y方向以及z方向的箭頭。z方向表示拍攝面的法線方向。在圖15B中,也圖示出表示在xy面內(nèi)從x軸朝向y軸旋轉(zhuǎn)了45°后的方向即u方向的箭頭。在其它的附圖中,有時圖示出表示x方向、y方向、z方向或者u方向的箭頭。
圖像傳感器4中的光電二極管4p以外的構(gòu)成要素被遮光層覆蓋。圖15B中,劃陰影線的區(qū)域表示被遮光層覆蓋的區(qū)域。CCD圖像傳感器的拍攝面上的1個光電二極管的受光面的面積(S2)比包含該光電二極管的單位區(qū)域的面積(S1)小。受光面積S2相對于像素的面積S1的比率(S2/S1)被稱為“開口率”。在此,以開口率為25%進行說明。
圖16A以及圖16B示意性地示出透過被拍攝對象2而入射至光電二極管4p的光線的方向。圖16A以及圖16B表示從與拍攝面垂直的方向使光線入射的狀態(tài)。如圖16A以及圖16B中示意性地示出的那樣,在此,在被拍攝對象2與圖像傳感器4之間不配置用于成像的透鏡,被拍攝對象2的圖像使用透過被拍攝對象2的實質(zhì)上平行的光線來獲取。
圖16C示意性地示出在圖16A以及圖16B所示的照射方向下獲取的圖像Sa(第1子圖像Sa)。如圖16C所示,第1子圖像Sa由通過6個光電二極管4p獲取的6個像素Pa構(gòu)成。各個像素Pa具有表示入射至各個光電二極管4p的光量的值(像素值)。
如圖16A以及圖16B所示,當(dāng)從與拍攝面垂直的方向照射被拍攝對象2時,透過了被拍攝對象2的整體中的、位于光電二極管4p的正上的區(qū)域的光入射至光電二極管4p。在該例子中,第1子圖像Sa具有被拍攝對象2的整體中的、區(qū)域A1、A2、A3、A4、A5以及A6(參照圖15A)的信息。此外,透過了不位于光電二極管4p的正上的區(qū)域的光不入射至光電二極管4p。因此,在第1子圖像Sa中,被拍攝對象2的整體中的、區(qū)域A1、A2、A3、A4、A5以及A6以外的區(qū)域的信息缺失。
圖17A以及圖17B示出使光線從與圖16A以及圖16B所示的照射方向不同的照射方向入射的狀態(tài)。圖17A以及圖17B所示的光線相對于z方向而向x方向傾斜。此時,透過了被拍攝對象2的整體中的、與位于光電二極管4p的正上的區(qū)域不同的區(qū)域的光入射至光電二極管4p。
圖17C示意性地示出在圖17A以及圖17B所示的照射方向下所獲取的圖像Sb(第2子圖像Sb)。如圖17C所示,第2子圖像Sb也由通過6個光電二極管4p獲取的6個像素構(gòu)成。但是,構(gòu)成第2子圖像Sb的像素Pb具有與被拍攝對象2的整體中的、不同于區(qū)域A1、A2、A3、A4、A5以及A6的區(qū)域B1、B2、B3、B4、B5以及B6(參照圖15A)相關(guān)的像素值。換言之,第2子圖像Sb不具有被拍攝對象2的整體中的、區(qū)域A1、A2、A3、A4、A5以及A6的信息,取而代之地,具有區(qū)域B1、B2、B3、B4、B5以及B6的信息。在此,例如區(qū)域B1是被拍攝對象2中與區(qū)域A1的右側(cè)相鄰的區(qū)域(參照圖15A)。
如通過比較圖16A以及圖16B、與圖17A以及圖17B可以理解的那樣,通過適當(dāng)?shù)馗淖冋丈浞较?,能夠使透過被拍攝對象2的不同的區(qū)域的光線入射至光電二極管4p。結(jié)果,第1子圖像Sa和第2子圖像Sb能夠包含與被拍攝對象2中不同的位置對應(yīng)的像素信息。
圖18A以及圖18B示出使光線從與圖16A以及圖16B所示的照射方向以及圖17A以及圖17B所示的照射方向不同的照射方向入射的狀態(tài)。圖18A以及圖18B所示的光線相對于z方向而向y方向傾斜。
圖18C示意性地示出在圖18A以及圖18B所示的照射方向下所獲取的圖像Sc(第3子圖像Sc)。如圖18C所示,第3子圖像Sc由通過6個光電二極管4p獲取的6個像素Pc構(gòu)成。如圖所示,第3子圖像Sc具有被拍攝對象2的整體中的、圖15A所示的區(qū)域C1、C2、C3、C4、C5以及C6的信息。在此,例如區(qū)域C1是被拍攝對象2中與區(qū)域A1的上側(cè)相鄰的區(qū)域(參照圖15A)。
圖19A示出使光線從與圖16A以及圖16B所示的照射方向、圖17A以及圖17B所示的照射方向、以及圖18A以及圖18B所示的照射方向不同的照射方向入射的狀態(tài)。圖19A所示的光線相對于z方向,向在xy面內(nèi)與x軸呈45°角的方向傾斜。
圖19B示意性地示出在圖19A所示的照射方向下獲取的圖像Sd(第4子圖像Sd)。如圖19B所示,第4子圖像Sd由通過6個光電二極管4p獲取的6個像素Pd構(gòu)成。第4子圖像Sd具有被拍攝對象2的整體中的、圖15A所示的區(qū)域D1、D2、D3、D4、D5以及D6的信息。在此,例如區(qū)域D1是與區(qū)域C1的右側(cè)相鄰的區(qū)域(參照圖15A)。這樣,各個子圖像Sa、Sb、Sc以及Sd包含由被拍攝對象2的不同的部分構(gòu)成的像。
圖20示出由4個子圖像Sa、Sb、Sc以及Sd合成的高分辨率圖像HR。如圖20所示,高分辨率圖像HR的像素數(shù)或者像素密度是4個子圖像Sa、Sb、Sc以及Sd的每一個的像素數(shù)或者像素密度的4倍。
例如,關(guān)注被拍攝對象2中的、圖15A所示的區(qū)域A1、B1、C1以及D1的區(qū)塊。從至此為止的說明可知,圖20所示的子圖像Sa的像素Pa1不具有上述的區(qū)塊整體的信息,而僅具有區(qū)域A1的信息。因此,子圖像Sa能夠稱為是區(qū)域B1、C1以及D1的信息缺失的圖像。
但是,通過使用具有與被拍攝對象2中不同的位置對應(yīng)的像素信息的子圖像Sb、Sc以及Sd,如圖20所示,能夠補全子圖像Sa中所缺失的信息,形成具有區(qū)塊整體的信息的高分辨率圖像HR。各個子圖像的分辨率與圖像傳感器4的固有分辨率相等,相對于此,在該例中,能夠得到圖像傳感器4的固有分辨率的4倍的分辨率。高分辨率化(超析象)的程度依賴于圖像傳感器的開口率。在該例中,由于圖像傳感器4的開口率為25%,因此,通過從不同的4個方向的光照射,能夠?qū)崿F(xiàn)最大4倍的高分辨率化。當(dāng)使N為2以上的整數(shù)時,如果圖像傳感器4的開口率近似地與1/N相等,則最大能夠?qū)崿F(xiàn)N倍的高分辨率化。
這樣,以被拍攝對象為基準從多個不同的照射方向依次照射平行光來進行被拍攝對象的拍攝,由此,能夠使從被拍攝對象“空間地”采樣的像素信息增加。通過將所得到的多個子圖像合成,能夠形成比多個子圖像的每一個的分辨率高的高分辨率圖像。當(dāng)然,照射方向不局限于參照圖16A~圖19B而說明的照射方向。
此外,在上述的例子中,圖20所示的子圖像Sa、Sb、Sc以及Sd具有被拍攝對象2中的相互不同的區(qū)域的像素信息,不具有重疊。但是,也可以在不同的子圖像間具有重疊。另外,在上述的例子中,通過被拍攝對象2中相鄰的2個區(qū)域的光線都入射至同一光電二極管。但是,照射方向的設(shè)定不限定于該例。例如,如圖21所示,也可以將照射方向調(diào)整為通過被拍攝對象2的相鄰的2個區(qū)域的光線分別入射至不同的光電二極管。
<模塊>
在基于參照圖15A~圖20說明的原理的高分辨率圖像的形成中,子圖像的獲取在被拍攝對象2與圖像傳感器4的拍攝面接近地配置的狀態(tài)下執(zhí)行。在本公開的實施方式中,使用具有被拍攝對象2以及圖像傳感器4被一體化的構(gòu)造的模塊來進行子圖像的獲取。以下,參照附圖,說明模塊的構(gòu)成的一例以及模塊的制作方法的一例。
圖22A示意性地示出模塊的截面構(gòu)造的一例。在圖22A所示的模塊10中,被封固劑6覆蓋的被拍攝對象2配置在圖像傳感器4的拍攝面4A上。在圖示的例子中,透明板(典型地為玻璃板)8配置在被拍攝對象2上。即,在圖22A所例示的構(gòu)成中,被拍攝對象2被夾在圖像傳感器4與透明板8之間。如果模塊10具有透明板8,則操作性提高,因此是有益的。作為透明板8,例如,可以使用一般的載片玻璃。此外,在圖中,示意地示出各要素,各要素的實際的大小以及形狀不一定與圖中所示的大小以及形狀一致。在以下要參照的其它附圖中也是同樣的。
在圖22A所例示的構(gòu)成中,圖像傳感器4固定于封裝件5。圖22B示出從圖像傳感器4側(cè)觀察圖22A所示的模塊10時的外觀的一例。如圖22A以及圖22B所示,封裝件5在與透明板8相反側(cè)的面具有背面電極5B。該背面電極5B經(jīng)由形成于封裝件5的未圖示的布線圖案與圖像傳感器4電連接。即,能夠經(jīng)由背面電極5B而取出圖像傳感器4的輸出。在本說明書中,將封裝件與圖像傳感器一體化而成的構(gòu)造物稱為“拍攝元件”。
參照圖23,說明模塊10的制作方法的一例。在此,作為被拍攝對象2,例示出生物組織的薄片(組織切片)。具有生物組織的薄片來作為被拍攝對象2的模塊10可以利用在病理診斷中。
首先,如圖23所示,將組織切片A02載置于透明板8。透明板8可以是用于由光學(xué)顯微鏡進行的試樣的觀察的載片玻璃(slide glass)。以下,作為透明板8,例示了載片玻璃。接著,將組織切片A02按各透明板8浸漬于染色液Ss,由此,將組織切片A02染色。接著,向透明板8上供給封固劑6,據(jù)此,利用封固劑6覆蓋通過將組織切片A02染色而得到的被拍攝對象2。封固劑6具有保護被拍攝對象2的功能。接著,將拍攝元件7在被拍攝對象2上配置成:圖像傳感器4的拍攝面與被拍攝對象2對置。這樣,得到模塊10。
模塊10按各拍攝的對象被制作。例如在病理診斷的場景下,從1個檢體準備多個(例如5~20張)組織切片。因此,具備從同一檢體獲得的組織切片來作為被拍攝對象2的模塊10可以被制作多個。如果對這些多個模塊10的每一個進行多個子圖像的獲取,則可以形成與多個模塊10的每一個對應(yīng)的高分辨率圖像。
如圖22A所示,模塊10與用于基于光學(xué)顯微鏡的觀察的供檢載片不同,具備獲取被拍攝對象2的圖像的圖像傳感器4。也可以將這樣的模塊稱為“電子供檢載片”。如圖22A所示,通過使用具有被拍攝對象2以及拍攝元件7被一體化的構(gòu)造的模塊10,能夠得到能夠固定被拍攝對象2與圖像傳感器4之間的配置這一優(yōu)點。
當(dāng)使用模塊10來執(zhí)行被拍攝對象2的圖像的獲取時,經(jīng)由透明板8向被拍攝對象2照射照明光。透過了被拍攝對象2的照明光入射至圖像傳感器4。由此,得到被拍攝對象2的圖像。一邊改變光源與被拍攝對象的相對的配置,一邊依次執(zhí)行拍攝,由此,能夠在照射時通過改變角度而獲取多個不同的圖像。例如,如圖24A所示,在圖像傳感器4的正上配置光源310。另外,如果在將準直后的光CL從圖像傳感器4的拍攝面4A的法線方向照射至被拍攝對象2的狀態(tài)下進行拍攝,則可以得到與圖16C所示的子圖像Sa同樣的子圖像。另外,如圖24B所示,如果在使模塊10傾斜的狀態(tài)下使準直后的光CL照射至被拍攝對象2而進行拍攝,則可以得到與圖17C所示的子圖像Sb(或者圖18C所示的子圖像Sc)同樣的子圖像。這樣,通過一邊使模塊10相對于光源的姿態(tài)變化、一邊依次執(zhí)行拍攝,能夠應(yīng)用參照圖15A~圖20說明的原理來得到高分辨率圖像。
<圖像獲取裝置>
圖25示出本公開的實施方式的圖像獲取裝置的構(gòu)成的一例的概略。圖25所示的圖像獲取裝置100a具有照明系統(tǒng)30。在圖25所例示的構(gòu)成中,照明系統(tǒng)30包含:生成照明光的光源31、構(gòu)成為模塊10可裝卸自如地裝填的載物臺32、以及構(gòu)成為能夠改變載物臺32的姿態(tài)的載物臺驅(qū)動機構(gòu)33。圖25示意性地示出在載物臺32上裝填有模塊10的狀態(tài)。但是,省略了模塊10中的封固劑6以及透明板8的圖示。模塊10不是圖像獲取裝置100a所必需的構(gòu)成要素。
模塊10具有在連接于載物臺32的狀態(tài)下,透過被拍攝對象2后的照明光入射至拍攝元件7那樣的配置。照明系統(tǒng)30例如通過使載物臺32的姿態(tài)變化,而使以被拍攝對象2為基準的照射方向變化。本說明書中的“姿態(tài)”的變化廣泛地包含相對于基準面的傾斜的變化、相對于基準方位的旋轉(zhuǎn)角度的變化、以及相對于基準點的位置的變化等。從以被拍攝對象2為基準的多個不同的照射方向依次利用由光源31生成的照明光來照射被拍攝對象2。照明系統(tǒng)30的構(gòu)成的詳細內(nèi)容以及工作的例子在下文說明。通過改變照射方向來照射被拍攝對象2,利用拍攝元件7與多個不同的照射方向相對應(yīng)地獲取不同的多個圖像(子圖像)。使用所得到的多個圖像,能夠形成高分辨率圖像。
圖25所示的圖像獲取裝置100a具有照射方向決定部40a。該照射方向決定部40a決定拍攝元件7在獲取多個子圖像時的多個不同的照射方向。在本公開的實施方式中,子圖像的獲取在由照射方向決定部所決定的多個不同的照射方向下執(zhí)行。換言之,本公開的實施方式中的子圖像是與由照射方向決定部決定的多個不同的照射方向?qū)?yīng)的多個不同的圖像。照射方向決定部40a的構(gòu)成以及工作的具體例在下文說明。
接著,參照圖26A~圖27B,說明以被拍攝對象為基準的改變照明光的照射方向的方法的一例。
圖26A以及圖26B示出圖像獲取裝置100a的例示的外觀。在圖26A所例示的構(gòu)成中,圖像獲取裝置100a具有:包含光源31以及載物臺32的主體110、可開閉地與主體110連結(jié)的蓋部120。通過將蓋部120關(guān)閉,能夠在圖像獲取裝置100a的內(nèi)部形成暗室(參照圖26B)。
在圖示的例子中,載物臺32上連接有用于保持模塊10的插座130。插座130可以固定于載物臺32,也可以構(gòu)成為能夠相對于載物臺32裝卸。在此,例示出插座130構(gòu)成為能夠相對于載物臺32裝卸的構(gòu)成。插座130例如包含:構(gòu)成為模塊10可以裝卸的下部基材132;形成有開口部Ap的上部基材134。在圖26A所例示的構(gòu)成中,插座130通過在下部基材132與上部基材134之間夾著模塊10,來保持模塊10。
下部基材132可以具有電連接部,該電連接部具有用于與模塊10的拍攝元件7電連接的電接點。在獲取被拍攝對象的圖像時,模塊10載置于下部基材132,以使得拍攝元件7的拍攝面與光源31對置。此時,電連接部的電接點與拍攝元件7的背面電極5B(參照圖22A以及圖22B)接觸,由此,模塊10的拍攝元件7與下部基材132的電連接部被電連接。
圖26C示出插座130相對于圖像獲取裝置100a的載物臺32的裝填方法的一例。在圖26C所例示的構(gòu)成中,插座130具有從底面突出的電極136。該電極136可以是下部基材132的電連接部的一部分。另外,在圖26C所示的例子中,圖像獲取裝置100a的載物臺32具有設(shè)置有插孔36的安裝部34。如圖26C所示,例如保持有模塊10的狀態(tài)的插座130以插座130的電極136插入插孔36的方式裝填于載物臺32。由此,被插座130保持的模塊10中的拍攝元件7與圖像獲取裝置100a之間的電連接被確立。載物臺32可以具有在裝填了保持模塊10的插座130的狀態(tài)下接受圖像傳感器4的輸出的電路。在本公開的實施方式中,圖像獲取裝置100a將插座130所具有的電連接部作為媒介來獲取表示被拍攝對象2的圖像的信息(圖像信號或者圖像數(shù)據(jù))。
此外,在使用多個模塊10進行多個被拍攝對象的拍攝的情況下,也可以準備與模塊10相同數(shù)量的插座130,通過更換安裝保持有模塊10的狀態(tài)的插座130來改變拍攝的對象?;蛘撸部梢员3衷谳d物臺32上安裝著1個插座130的狀態(tài)不變,通過更換安裝模塊10來改變拍攝的對象。
如圖26C所示,通過將插座130裝填于載物臺32,可以使得插座130的底面與安裝部34的上面緊貼。由此,插座130相對于載物臺32的配置被固定。因此,能夠在載物臺32的姿態(tài)的變化前后使載物臺32和保持于插座130的模塊10的配置保持為一定。典型地,在載物臺32上裝填有插座130的狀態(tài)下,模塊10的透明板8的主面與載物臺32大致平行。
圖27A示出改變照射方向的方法的一例。如圖所示,向保持于插座130的模塊10照射從光源31射出的照明光CL。照明光CL經(jīng)由設(shè)置于插座130的開口部Ap,而入射至模塊10的被拍攝對象。透過被拍攝對象后的光入射至模塊10的拍攝元件7的拍攝面。
從光源31射出的光,典型地是準直后的光。但是,在可視為入射至被拍攝對象的光實質(zhì)上為平行光的情況下,從光源31射出的光也可以不是準直后的光。
光源31例如包含LED芯片。光源31也可以包含各自在不同的波長范圍具有峰值的多個LED芯片。例如,光源31也可以包含射出藍色的光的LED芯片、射出紅色的光的LED芯片、以及射出綠色的光的LED芯片。在使多個發(fā)光元件接近(例如100μm左右)地配置的情況下,可以將它們視為點光源。
使用射出相互不同的顏色的光的多個發(fā)光元件,例如,按各個照射方向?qū)⒉煌念伾墓庖詴r序方式進行照射,由此,能夠獲取關(guān)于各個顏色的多個子圖像。例如,可以獲取藍色子圖像的組、紅色子圖像的組、以及綠色子圖像的組。使用所獲取的子圖像的組,就能夠形成彩色的高分辨率圖像。例如在病理診斷的情景下,通過利用彩色的高分辨率圖像,能夠得到關(guān)于有無病變等的更多的有益的信息。作為光源31,使用白色LED芯片,并且,在光路上配置濾色片,由此,能夠以時序方式得到相互不同的顏色的照明光。另外,作為圖像傳感器4,也可以使用彩色拍攝用的圖像傳感器。但是,從抑制入射至圖像傳感器4的光電轉(zhuǎn)換部的光量的降低的觀點出發(fā),不配置濾色片的構(gòu)成是有利的。
光源31不局限于LED,也可以是白熾燈、激光器元件、光纖激光器、放電管等。從光源31射出的光不局限于可見光,也可以是紫外線、紅外線等。光源31所具有的發(fā)光元件的數(shù)量以及配置也可以任意地設(shè)定。
如圖25以及圖27A所示,圖像獲取裝置100a具有載物臺驅(qū)動機構(gòu)33。載物臺驅(qū)動機構(gòu)33包含測角(gonio)機構(gòu)、旋轉(zhuǎn)機構(gòu)等,使載物臺32相對于主體110的傾斜以及/或者關(guān)于通過載物臺32的中心的軸的旋轉(zhuǎn)角變化。載物臺驅(qū)動機構(gòu)33也可以包含能夠使載物臺32在基準面(典型地是水平面)內(nèi)平行移動的滑動機構(gòu)。
通過使載物臺驅(qū)動機構(gòu)33工作,能夠使載物臺32的姿態(tài)變化。在此,保持有模塊10的狀態(tài)的插座130安裝于載物臺32,因此,通過使載物臺32的姿態(tài)變化,能夠使模塊10的姿態(tài)變化。例如,設(shè)載物臺32不相對于基準面傾斜時的照明光的入射方向為圖像傳感器的拍攝面的法線方向。在此,載物臺32相對于基準面的傾斜和模塊10相對于基準面的傾斜(也可以稱為透明板8的傾斜)之間的關(guān)系(例如,平行)在載物臺32的姿態(tài)的變化前后保持為一定。因此,如圖27B所示,當(dāng)使載物臺32相對于基準面傾斜角度θ時,入射至被拍攝對象的光線的方向也傾斜角度θ。此外,圖27B中,虛線N示出圖像傳感器的拍攝面的法線。
這樣,通過使模塊10的姿態(tài)連同載物臺32一起變化,能夠以被拍攝對象2為基準從多個不同的照射方向依次向被拍攝對象照射照明光。因此,能夠利用模塊10的拍攝元件7獲取與以被拍攝對象2為基準的多個不同的照射方向相對應(yīng)的多個圖像。以被拍攝對象2為基準的照射方向例如能夠由圖像傳感器的拍攝面的法線N與朝向被拍攝對象2的入射光線所成的角(圖27B所示的天頂角θ)、以及設(shè)定在拍攝面上的基準方位與入射光線朝向拍攝面的投影所成的角(方位角)的組來表示。
此外,通過使光源31在圖像獲取裝置100a內(nèi)移動、或者使配置在相互不同的部位的多個光源依次點亮,也可以從多個不同的照射方向照射被拍攝對象2。例如,通過使光源31沿著連結(jié)光源31與被拍攝對象2的方向移動,也可以改變照射方向。通過使載物臺32的姿態(tài)的變化與光源31的移動相組合也可以使照射方向變化。
<用于模塊的圖像傳感器>
此外,在本公開的實施方式中,圖像傳感器4不限定于CCD圖像傳感器,也可以是CMOS(Complementary Metal-Oxide Semiconductor:互補金屬氧化物半導(dǎo)體)圖像傳感器或者其它的圖像傳感器(作為一例,下述的光電轉(zhuǎn)換膜層疊型圖像傳感器)。CCD圖像傳感器以及CMOS圖像傳感器可以是表面照射型或者背面照射型的任意一種。以下,說明圖像傳感器的元件構(gòu)造和入射至圖像傳感器的光電二極管的光的關(guān)系。
圖28示出CCD圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子。如圖28所示,CCD圖像傳感器大致具備:基板80、基板80上的絕緣層82、配置在絕緣層82內(nèi)的布線84。在基板80形成有多個光電二極管88。在布線84上,形成有遮光層(圖28中未圖示)。在此,省略了晶體管等的圖示。在以下的附圖中省略了晶體管等的圖示。此外,概略地,表面照射型CMOS圖像傳感器中的光電二極管附近的截面構(gòu)造與CCD圖像傳感器中的光電二極管附近的截面構(gòu)造大致是同樣的。因此,在此,省略了表面照射型CMOS圖像傳感器的截面構(gòu)造的圖示以及說明。
如圖28所示,在照明光從拍攝面的法線方向入射的情況下,透過被拍攝對象中的、位于光電二極管88的正上的區(qū)域R1后的照射光入射至光電二極管88。另一方面,透過被拍攝對象中的、位于布線84上的遮光層的正上的區(qū)域R2后的照射光入射至圖像傳感器的遮光區(qū)域(形成有遮光膜的區(qū)域)。因此,在從拍攝面的法線方向進行照射的情況下,得到表示被拍攝對象中的、位于光電二極管88的正上的區(qū)域R1的圖像。
為了獲取表示位于遮光膜的正上的區(qū)域的圖像,從相對于拍攝面的法線方向傾斜的方向進行照射,以使得透過了區(qū)域R2的光入射至光電二極管88即可。此時,根據(jù)照射方向不同,透過了區(qū)域R2的光中的一部分有時會被布線84所遮擋。在圖示的例子中,通過用陰影線表示的部分的光線不到達光電二極管88。因此,在傾斜入射中,有時像素值會降低一些。但是,并不是透過光的全部都被遮擋,因此,可以使用此時得到的子圖像來形成高分辨率圖像。
圖29A以及圖29B表示背面照射型CMOS圖像傳感器的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子。如圖29A所示,在背面照射型CMOS圖像傳感器中,即便在傾斜入射的情況下,透過光也不會被布線84遮擋。但是,透過被拍攝對象中的、與想進行拍攝的區(qū)域不同的其它的區(qū)域的光(在圖29A以及下述的圖29B中,以粗箭頭BA示意性地示出的光)入射至基板80,由此會產(chǎn)生噪聲,子圖像的品質(zhì)有可能劣化。如圖29B所示,這種劣化可以通過在基板上形成有光電二極管的區(qū)域以外的區(qū)域上形成遮光層90來降低。
圖30示出具備由有機材料或者無機材料形成的光電轉(zhuǎn)換膜的圖像傳感器(以下,稱為“光電轉(zhuǎn)換膜層疊型圖像傳感器”)的截面構(gòu)造和被拍攝對象的相對的透射率Td的分布的例子。
如圖30所示,光電轉(zhuǎn)換膜層疊型圖像傳感器大致具有:基板80、設(shè)置有多個像素電極的絕緣層82、絕緣層82上的光電轉(zhuǎn)換膜94、光電轉(zhuǎn)換膜94上的透明電極96。如圖所示,在光電轉(zhuǎn)換膜層疊型圖像傳感器中,代替形成于半導(dǎo)體基板的光電二極管,而在基板80(例如半導(dǎo)體基板)上形成進行光電轉(zhuǎn)換的光電轉(zhuǎn)換膜94。光電轉(zhuǎn)換膜94以及透明電極96典型地遍及拍攝面的整體而形成。在此,省略了保護光電轉(zhuǎn)換膜94的保護膜的圖示。
在光電轉(zhuǎn)換膜層疊型圖像傳感器中,光電轉(zhuǎn)換膜94中的入射光的通過光電轉(zhuǎn)換而產(chǎn)生的電荷(電子或者空穴)集中于像素電極92。由此,得到表示入射至光電轉(zhuǎn)換膜94的光量的值。因此,在光電轉(zhuǎn)換膜層疊型圖像傳感器中,可以說,在拍攝面中,包含1個像素電極92的單位區(qū)域與1個像素相當(dāng)。在光電轉(zhuǎn)換膜層疊型圖像傳感器中,即便在與背面照射型CMOS圖像傳感器同樣地傾斜入射的情況下,透過光也不會被布線遮擋。
如參照圖15A~圖20所說明的那樣,在高分辨率圖像的形成中,使用表示由被拍攝對象的不同的部分構(gòu)成的像的多個子圖像。然而,在典型的光電轉(zhuǎn)換膜層疊型圖像傳感器中,遍及拍攝面的整體形成光電轉(zhuǎn)換膜94,因此,例如即便在垂直入射的情況下,也可以由透過被拍攝對象的期望的區(qū)域以外的區(qū)域的光在光電轉(zhuǎn)換膜94產(chǎn)生光電轉(zhuǎn)換。若此時產(chǎn)生的多余的電子或者空穴被引入至像素電極92,則有可能得不到適當(dāng)?shù)淖訄D像。因此,將在像素電極92與透明電極96重疊的區(qū)域(圖30中帶斜線的區(qū)域)中產(chǎn)生的電荷選擇性地引入到像素電極92是有益的。
在圖30所例示的構(gòu)成中,與像素電極92的各個對應(yīng)地,在像素內(nèi)設(shè)置有虛設(shè)電極98。在獲取被拍攝對象的像時,向像素電極92與虛設(shè)電極98之間,提供適當(dāng)?shù)碾娢徊?。由此,能夠?qū)⒃谙袼仉姌O92與透明電極96重疊的區(qū)域以外的區(qū)域中產(chǎn)生的電荷引入至虛設(shè)電極98,能夠?qū)⒃谙袼仉姌O92與透明電極96重疊的區(qū)域中產(chǎn)生的電荷選擇性地引入像素電極92。此外,通過透明電極96或者光電轉(zhuǎn)換膜94的圖案化,也能夠得到同樣的效果。在這樣的構(gòu)成中,可以說,像素電極92的面積S3相對于像素的面積S1的比率(S3/S1)與“開口率”相當(dāng)。
如已經(jīng)說明的那樣,當(dāng)設(shè)N為2以上的整數(shù)時,如果圖像傳感器4的開口率近似地與1/N相等,則可以實現(xiàn)最大N倍的高分辨率化。換言之,開口率小對高分辨率化是有利的。在光電轉(zhuǎn)換膜層疊型圖像傳感器中,通過調(diào)整像素電極92的面積S3,可以調(diào)整與開口率相當(dāng)?shù)谋嚷?S3/S1)。該比率(S3/S1)例如被設(shè)定為10%~50%的范圍。比率(S3/S1)在上述的范圍內(nèi)的光電轉(zhuǎn)換膜層疊型圖像傳感器可以用于超析象。
此外,從圖28以及圖29B可知,在CCD圖像傳感器以及表面照射型CMOS圖像傳感器中,與被拍攝對象對置的表面不是平坦的。例如,在CCD圖像傳感器中,在其表面上存在高低差。另外,在背面照射型CMOS圖像傳感器中,為獲取用于形成高分辨率圖像的子圖像,需要在拍攝面上設(shè)置圖案化的遮光層,與被拍攝對象對置的表面不是平坦的。
與此相對,從圖30可知,光電轉(zhuǎn)換膜層疊型圖像傳感器的拍攝面幾乎是平坦的面。因此,即便在拍攝面上配置了被拍攝對象的情況下,也幾乎不產(chǎn)生起因于拍攝面的形狀的被拍攝對象的變形。換言之,通過使用光電轉(zhuǎn)換膜層疊型圖像傳感器來獲取子圖像,能夠觀察被拍攝對象的更詳細的構(gòu)造。
以上,基于幾個實施方式對一個或者多個方式所涉及的圖像輸出裝置進行了說明,但本發(fā)明不局限于這些實施方式。只要不脫離本發(fā)明的主旨,對本實施方式實施本領(lǐng)域技術(shù)人員所能想到的各種變形而得的方式和/或?qū)⒉煌膶嵤┓绞街械臉?gòu)成要素進行組合而構(gòu)筑的方式也可以包含于本公開。
此外,在上述各實施方式中,各構(gòu)成要素可以使用專用的硬件構(gòu)成,或者通過執(zhí)行適于各構(gòu)成要素的軟件程序來實現(xiàn)。各構(gòu)成要素也可以通過CPU或者處理器等程序執(zhí)行部讀出硬盤或者半導(dǎo)體存儲器等記錄介質(zhì)中所記錄的軟件程序(即命令)并執(zhí)行來加以實現(xiàn)。在此,實現(xiàn)上述各實施方式的圖像輸出裝置等的軟件是使計算機執(zhí)行圖3、圖4、圖7、圖9或者圖11的流程圖中的各步驟的程序。此外,程序執(zhí)行部可以由1個處理器構(gòu)成,也可以由多個處理器構(gòu)成。
另外,在本公開中,單元、器件的全部或者一部分、或者圖1、圖5、圖6、圖8、圖10、以及圖12~圖14所示的框圖的功能塊的全部或者一部分可以由包含半導(dǎo)體裝置、半導(dǎo)體集成電路(IC)、或者LSI(large scale integration:大規(guī)模集成電路)的一個或者一個以上的電子電路來執(zhí)行。LSI或者IC可以集成于一個芯片,也可以將多個芯片組合而構(gòu)成。例如,存儲元件以外的功能塊可以集成于一個芯片。在此,被稱為LSI或者IC,但是,根據(jù)集成的程度不同,稱法會變化,可能被稱為系統(tǒng)LSI、VLSI(very large scale integration;超大規(guī)模集成電路)、或者ULSI(ultra large scale integration;特大規(guī)模集成電路)。也能夠以相同的目的使用在LSI的制造后編程的Field Programmable Gate Array(FPGA:現(xiàn)場可編程門陣列)、或者能夠重構(gòu)LSI內(nèi)部的接合關(guān)系或設(shè)置LSI內(nèi)部的電路劃分的可重構(gòu)邏輯器件。
此外,單元、裝置、或者裝置的一部分、全部或者一部分的功能或者操作可以通過軟件處理來執(zhí)行。在該情況下,軟件被記錄于一個或者一個以上的ROM、光盤、硬盤驅(qū)動器等非臨時性的記錄介質(zhì),在軟件由處理裝置(processor)執(zhí)行的情況下,軟件使處理裝置(processor)和外圍的器件執(zhí)行軟件內(nèi)的特定的功能。系統(tǒng)或者裝置也可以具備記錄有軟件的一個或者一個以上的非臨時性的記錄介質(zhì)、處理裝置(processor)、以及成為必要的硬件器件例如接口。
本公開具有能夠減輕高分辨率圖像的處理的負擔(dān)這一效果,例如,能夠應(yīng)用于處理病理檢體的高分辨率圖像的圖像輸出裝置等。