本公開(kāi)涉及無(wú)透鏡顯微鏡的使用假想合焦面來(lái)生成對(duì)象物的圖像的技術(shù)，所述假想的合焦面基于利用多個(gè)光源的多個(gè)拍攝圖像來(lái)生成。

背景技術(shù)：

不對(duì)培養(yǎng)細(xì)胞實(shí)施染色而希望連續(xù)地觀察該培養(yǎng)細(xì)胞的要求存在于治療用細(xì)胞的產(chǎn)生、藥效的試驗(yàn)等將培養(yǎng)細(xì)胞用于醫(yī)療、產(chǎn)業(yè)的很多領(lǐng)域。然而，由于細(xì)胞大多是幾乎無(wú)色透明的，因此，在基于透射光的光學(xué)顯微鏡下的拍攝中，難以獲知培養(yǎng)細(xì)胞的立體構(gòu)造。

在專利文獻(xiàn)1中，示出了如下方法：為了評(píng)價(jià)細(xì)胞的斷面形狀，根據(jù)與物鏡平行、且相對(duì)于對(duì)象物而言焦點(diǎn)的高度位置不同的許多圖像(即，一邊使焦點(diǎn)在對(duì)象物的高度方向上挪動(dòng)、一邊進(jìn)行拍攝而得到的許多圖像)，生成與物鏡不平行的面的合焦圖像(虛擬斷面圖像)。

可是，對(duì)于培養(yǎng)細(xì)胞的連續(xù)觀察，是在用于維持培養(yǎng)細(xì)胞用的濕潤(rùn)環(huán)境的恒溫箱這樣的有限空間內(nèi)進(jìn)行的。為了在這樣的濕潤(rùn)的有限空間內(nèi)進(jìn)行觀察，專利文獻(xiàn)2公開(kāi)了不使用透鏡就能夠觀察微小細(xì)胞的無(wú)透鏡顯微鏡。公開(kāi)了如下方法：使通過(guò)從多個(gè)不同的位置進(jìn)行照射的照明而拍攝到的多個(gè)圖像進(jìn)行重疊(ptychography，疊層成像)來(lái)提高分辨率。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2013-101512號(hào)公報(bào)

專利文獻(xiàn)2：美國(guó)專利申請(qǐng)公開(kāi)第2014/0133702號(hào)說(shuō)明書(shū)

技術(shù)實(shí)現(xiàn)要素：

然而，在專利文獻(xiàn)1的方法中，在進(jìn)行了拍攝之后從各高度位置的圖像中切取部分圖像，使所切取出的部分圖像接合，因此，在部分圖像的接合處會(huì)產(chǎn)生不連續(xù)。其結(jié)果是，虛擬斷面圖像的畫(huà)質(zhì)會(huì)因不連續(xù)而發(fā)生劣化。另外，如果為了降低因不連續(xù)導(dǎo)致的畫(huà)質(zhì)劣化而對(duì)不連續(xù)部分實(shí)施模糊處理，則虛擬斷面圖像的清晰度(銳度)會(huì)降低。

因此，本公開(kāi)的非限定性且例示的一個(gè)技術(shù)方案，提供能夠使用利用多個(gè)拍攝圖像生成的假想焦面的高畫(huà)質(zhì)的合焦圖像來(lái)生成對(duì)象物的圖像的圖像生成裝置等。

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置具備：多個(gè)照明器；圖像傳感器，其具有載置對(duì)象物的表面和多個(gè)傳感器像素；以及控制電路，其生成與位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，使用所述多個(gè)基準(zhǔn)合焦圖像來(lái)生成所述對(duì)象物的三維圖像，每當(dāng)所述多個(gè)照明器分別進(jìn)行照明時(shí)，所述圖像傳感器使用基于由所述多個(gè)傳感器像素接受的光的輝度值，取得多個(gè)拍攝圖像，所述多個(gè)基準(zhǔn)合焦圖像由多個(gè)合焦像素構(gòu)成，所述控制電路，(a1)取得通過(guò)所述圖像傳感器拍攝到的多個(gè)拍攝圖像，(a2)取得所述多個(gè)基準(zhǔn)焦面的信息，在此，所述多個(gè)基準(zhǔn)焦面穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(a3)使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(a4)使用所述多個(gè)基準(zhǔn)合焦圖像中的所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(a5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(a6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(a7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面。

此外，該總括性或具體的技術(shù)方案既可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)裝置、系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序和計(jì)算機(jī)可讀取的記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀取的記錄介質(zhì)例如包括cd-rom(compactdisc-readonlymemory，光盤只讀存儲(chǔ)器)等非易失性記錄介質(zhì)。

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法是生成位于圖像傳感器上的對(duì)象物的圖像的圖像生成方法，在所述圖像生成方法中，(b1)每當(dāng)使多個(gè)照明器分別進(jìn)行照明時(shí)，使用基于由所述圖像傳感器的多個(gè)傳感器像素接受的光的輝度值，取得多個(gè)拍攝圖像，(b2)設(shè)定位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面，在此，所述多個(gè)基準(zhǔn)焦面穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(b3)生成與所述多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，即，使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(b4)從所述多個(gè)基準(zhǔn)合焦圖像中，使用所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(b5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(b6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(b7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面，所述(b1)～(b7)的至少一方通過(guò)控制電路來(lái)執(zhí)行。

本公開(kāi)的一個(gè)技術(shù)方案涉及的程序，使計(jì)算機(jī)執(zhí)行如下處理：(e1)取得位于圖像傳感器上的對(duì)象物的多個(gè)拍攝圖像，在此，每當(dāng)使多個(gè)照明器分別進(jìn)行照明時(shí)，使用基于由所述圖像傳感器的多個(gè)傳感器像素接受的光的輝度值，通過(guò)所述圖像傳感器取得所述多個(gè)拍攝圖像，(e2)設(shè)定位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面，在此，所述多個(gè)基準(zhǔn)焦面在所述多個(gè)照明器與所述圖像傳感器之間穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(e3)生成與所述多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，即，使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(e4)從所述多個(gè)基準(zhǔn)合焦圖像中，使用所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(e5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(e6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(e7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面。

根據(jù)本公開(kāi)，能夠使用利用多個(gè)拍攝圖像生成的假想焦面的高畫(huà)質(zhì)的合焦圖像來(lái)生成對(duì)象物的圖像。從本說(shuō)明書(shū)及附圖中可知曉本公開(kāi)的一個(gè)技術(shù)方案的附加的益處及優(yōu)點(diǎn)。該益處和/或優(yōu)點(diǎn)可以單獨(dú)地由本說(shuō)明書(shū)及附圖所公開(kāi)的各種實(shí)施方式及特征而得到，無(wú)需為了獲得一個(gè)以上益處和/或優(yōu)點(diǎn)而實(shí)施所有的實(shí)施方式及特征。

附圖說(shuō)明

圖1是表示實(shí)施方式1涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖2是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖3是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖4是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖5是說(shuō)明實(shí)施方式1涉及的照明器所包含的針孔(pinhole)應(yīng)滿足的大小條件的示意圖。

圖6是表示實(shí)施方式1涉及的存儲(chǔ)部存儲(chǔ)的內(nèi)容的一例的圖。

圖7是表示實(shí)施方式1涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖8是表示坐標(biāo)與焦面的關(guān)系的一例的示意圖。

圖9是表示實(shí)施方式1涉及的拍攝裝置的工作的一例的流程圖。

圖10是表示實(shí)施方式1涉及的重新聚焦(refocus)處理部的工作的一例的流程圖。

圖11是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖12是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖13是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖14是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖15是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖16是表示實(shí)施方式1涉及的重新聚焦處理部的工作的一例的流程圖。

圖17是表示拍攝對(duì)象物的一例的胚的立體圖的圖。

圖18是將多個(gè)基準(zhǔn)焦面的基準(zhǔn)合焦圖像按照其配置順序堆積成一列來(lái)表示的示意圖。

圖19是表示將多個(gè)基準(zhǔn)合焦圖像作為圖像進(jìn)行了顯示的例子的照片的圖。

圖20是表示將多個(gè)背景除去合焦圖像按照與其對(duì)應(yīng)的基準(zhǔn)焦面的配置順序堆積成一列來(lái)表示的圖。

圖21是表示將多個(gè)背景除去合焦圖像作為圖像進(jìn)行了顯示的例子的照片的圖。

圖22是表示輪廓基準(zhǔn)合焦圖像的一例的示意圖。

圖23是表示胚的三維輪廓的一例的示意圖。

圖24是表示多個(gè)基準(zhǔn)斷面圖像的一例的圖。

圖25是表示將多個(gè)基準(zhǔn)斷面圖像作為圖像進(jìn)行了顯示的例子的照片的圖。

圖26a是表示顯示部顯示于其顯示畫(huà)面上的胚的3d模型的一例的圖。

圖26b是表示顯示部顯示于其顯示畫(huà)面上的胚的3d模型的一例的圖。

圖26c是表示顯示部顯示于其顯示畫(huà)面上的胚的3d模型的一例的圖。

圖27是用照片來(lái)表示將圖26c顯示在顯示畫(huà)面上的例子的一部分的圖。

圖28是表示由實(shí)施方式1涉及的圖像生成系統(tǒng)進(jìn)行的胚的詳細(xì)的斷面圖像的顯示工作的一例的流程圖。

圖29是表示使用與要詳細(xì)顯示的胚的斷面交叉的2個(gè)基準(zhǔn)焦面的基準(zhǔn)斷面圖像的像素來(lái)推定該斷面上的像素的輝度值的情形的例子的圖。

圖30是表示在要詳細(xì)顯示的胚的斷面上的像素的計(jì)算中使用的該像素與2個(gè)基準(zhǔn)斷面圖像的像素之間的關(guān)系的圖。

圖31是表示實(shí)施方式2涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖32是表示第1記錄部存儲(chǔ)的初期胚模型的一例的圖。

圖33是表示第1記錄部存儲(chǔ)的最佳斷面設(shè)定表的一例的圖。

圖34是表示實(shí)施方式2涉及的圖像生成系統(tǒng)的最佳斷面圖像的顯示工作的一例的流程圖。

圖35是表示在從照明器向圖像傳感器的方向上觀察多個(gè)照明器時(shí)的俯視圖的圖。

圖36是表示拍攝圖像組內(nèi)的多個(gè)拍攝圖像之間的各要素的對(duì)應(yīng)關(guān)系的圖。

圖37是表示多個(gè)拍攝圖像的各要素的中心的位置的圖。

圖38是表示多個(gè)拍攝圖像間的各要素的中心的位置關(guān)系的圖。

圖39是表示多個(gè)拍攝圖像的要素的中心與照明器之間的位置關(guān)系的圖。

圖40是表示胚所包含的2個(gè)細(xì)胞的中心之間的位置關(guān)系的圖。

圖41是表示在顯示部的顯示畫(huà)面上顯示胚的最佳斷面圖像的一例的圖。

圖42是表示將胚的最佳斷面圖像作為圖像進(jìn)行了顯示的例子的照片的圖。

圖43是表示顯示部顯示于其顯示畫(huà)面上的焦面變更畫(huà)面的一例的圖。

圖44是表示將焦面變更畫(huà)面作為圖像進(jìn)行了顯示的例子的照片的圖。

圖45是表示實(shí)施方式的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。

圖46是表示實(shí)施方式的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。

圖47是說(shuō)明實(shí)施方式的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖48是說(shuō)明實(shí)施方式的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖49是說(shuō)明實(shí)施方式的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖50是說(shuō)明實(shí)施方式的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖51是表示實(shí)施方式的變形例3涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖52是示意性表示實(shí)施方式的變形例3中的照明位置的范圍的一例的圖。

圖53是將透鏡的焦距和景深的關(guān)系、與進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系進(jìn)行關(guān)聯(lián)來(lái)表示的示意圖。

圖54是表示實(shí)施方式的變形例3涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

標(biāo)號(hào)的說(shuō)明

10、10a、10b圖像生成系統(tǒng)

100拍攝裝置

101、101a、101b照明器

102圖像傳感器

150顯示部

151顯示畫(huà)面

200、200a、200b圖像生成裝置

210焦面決定部

220重新聚焦處理部

230合焦圖像生成部

240對(duì)象物提取部

2503d圖像生成部

260圖像操作部

270斷面圖像生成部

280最佳斷面決定部

290最佳斷面圖像生成部

300照明范圍決定部

bi參考斷面圖像

s胚(對(duì)象物)

具體實(shí)施方式

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置具備：多個(gè)照明器；圖像傳感器，其具有載置對(duì)象物的表面和多個(gè)傳感器像素；以及控制電路，其生成與位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，使用所述多個(gè)基準(zhǔn)合焦圖像來(lái)生成所述對(duì)象物的三維圖像，每當(dāng)所述多個(gè)照明器分別進(jìn)行照明時(shí)，所述圖像傳感器使用基于由所述多個(gè)傳感器像素接受的光的輝度值，取得多個(gè)拍攝圖像，所述多個(gè)基準(zhǔn)合焦圖像由多個(gè)合焦像素構(gòu)成，所述控制電路，(a1)取得通過(guò)所述圖像傳感器拍攝到的多個(gè)拍攝圖像，(a2)取得所述多個(gè)基準(zhǔn)焦面的信息，在此，所述多個(gè)基準(zhǔn)焦面穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(a3)使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(a4)使用所述多個(gè)基準(zhǔn)合焦圖像中的所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(a5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(a6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(a7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面。

根據(jù)本技術(shù)方案，能夠生成關(guān)于穿過(guò)對(duì)象物的多個(gè)焦面的多個(gè)合焦圖像即基準(zhǔn)合焦圖像，能夠使用所生成的合焦圖像來(lái)生成對(duì)象物的三維圖像。通過(guò)使用關(guān)于穿過(guò)對(duì)象物的多個(gè)焦面的合焦圖像，即使對(duì)象物半透明或者透明，也能夠?qū)?duì)象物的三維圖像以也包含對(duì)象物的內(nèi)部所含的內(nèi)包物的方式進(jìn)行立體顯示。另外，不是在對(duì)象物的全部區(qū)域中生成合焦圖像，而是生成關(guān)于多個(gè)焦面的合焦圖像，因此能夠降低對(duì)象物的三維圖像的生成所需的處理量。此外，載置對(duì)象物的圖像傳感器的表面包括圖像傳感器的傳感器像素之上的表面。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置中，也可以：所述控制電路，按照從外部輸入的指令，在正顯示的所述對(duì)象物的三維圖像上選擇所述對(duì)象物的斷面，使用構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)像素的輝度來(lái)生成所選擇出的所述對(duì)象物的斷面的圖像，對(duì)于構(gòu)成所述對(duì)象物的斷面的圖像的多個(gè)斷面像素的輝度值，使用所述斷面像素上的所述基準(zhǔn)合焦圖像的像素的輝度值或者所述斷面像素附近的所述基準(zhǔn)合焦圖像的像素的輝度值來(lái)分別算出該多個(gè)斷面像素的輝度值。

根據(jù)本技術(shù)方案，能夠使用對(duì)象物的三維圖像來(lái)選擇任意的斷面，顯示所選擇出的斷面的圖像。由于構(gòu)成對(duì)象物的斷面圖像的多個(gè)斷面像素的輝度值是使用斷面像素上的基準(zhǔn)合焦圖像的像素的輝度值或者斷面像素的附近的基準(zhǔn)合焦圖像的像素的輝度值而算出的，因此對(duì)象物的斷面圖像能夠成為減少了中斷、模糊等的清晰的圖像。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置中，也可以：所述斷面像素的輝度值的計(jì)算所使用的所述斷面像素附近的所述基準(zhǔn)合焦圖像的像素，是夾著所述斷面像素而位于兩側(cè)的兩個(gè)所述基準(zhǔn)焦面各自的所述基準(zhǔn)合焦圖像的像素。根據(jù)本技術(shù)方案，斷面像素的輝度值是使用夾著斷面像素位于兩側(cè)的基準(zhǔn)焦面的基準(zhǔn)合焦圖像的像素而算出的，因此能夠具有高精度。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置中，也可以：所述控制電路生成表示所述對(duì)象物的參考用斷面的參考斷面圖像，并且使所述參考斷面圖像顯示于所述顯示畫(huà)面，所述控制電路通過(guò)使構(gòu)成所述參考斷面圖像的多個(gè)像素的輝度值為所述參考斷面圖像的像素上的所述基準(zhǔn)合焦圖像的像素的輝度值，生成所述參考斷面圖像。根據(jù)本技術(shù)方案，用戶能夠一邊參照參考斷面圖像，一邊選擇應(yīng)顯示的對(duì)象物的斷面。另外，由于參考斷面圖像的像素的輝度值是直接使用基準(zhǔn)合焦圖像的像素的輝度值的，因此參考斷面圖像的生成很簡(jiǎn)單。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置中，也可以：所述控制電路通過(guò)使用處于在直線上排列所述照明器的位置、所述合焦像素的位置和所述傳感器像素的位置這一關(guān)系的所述傳感器像素各自的輝度值，算出所述合焦像素的輝度值。根據(jù)本技術(shù)方案，能夠在焦面的合焦圖像的各像素上反映與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的輝度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的合焦圖像。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置中，也可以：所述對(duì)象物是胚，所述基準(zhǔn)合焦圖像所包含的所述胚的輪廓是圓狀，所述胚的立體輪廓是球狀。根據(jù)本技術(shù)方案，胚內(nèi)的細(xì)胞能夠從胚的外部透視。圖像傳感器能夠取得被照明器照明的胚以及細(xì)胞的拍攝圖像。具有如此結(jié)構(gòu)的胚適于圖像生成裝置的圖像生成。

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法是生成位于圖像傳感器上的對(duì)象物的圖像的圖像生成方法，在所述圖像生成方法中，(b1)每當(dāng)使多個(gè)照明器分別進(jìn)行照明時(shí)，使用基于由所述圖像傳感器的多個(gè)傳感器像素接受的光的輝度值，取得多個(gè)拍攝圖像，(b2)設(shè)定位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面，在此，所述多個(gè)基準(zhǔn)焦面穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(b3)生成與所述多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，即，使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(b4)從所述多個(gè)基準(zhǔn)合焦圖像中，使用所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(b5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(b6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(b7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面，所述(b1)～(b7)的至少一方通過(guò)控制電路來(lái)執(zhí)行。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法中，也可以：(c1)在所述對(duì)象物的三維圖像上選擇所述對(duì)象物的斷面，(c2)使用構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)像素的輝度來(lái)生成所選擇出的所述對(duì)象物的斷面的圖像，(c3)對(duì)于構(gòu)成所述對(duì)象物的斷面的圖像的多個(gè)斷面像素的輝度值，使用所述斷面像素上的所述基準(zhǔn)合焦圖像的像素的輝度值或者所述斷面像素附近的所述基準(zhǔn)合焦圖像的像素的輝度值來(lái)分別算出該多個(gè)斷面像素的輝度值。

進(jìn)而，在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法中，也可以：在在所述斷面像素的輝度值的計(jì)算中，作為所述斷面像素附近的所述基準(zhǔn)合焦圖像的像素，使用夾著所述斷面像素位于兩側(cè)的兩個(gè)所述基準(zhǔn)焦面各自的所述基準(zhǔn)合焦圖像的像素。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法中，也可以：(d1)生成表示所述對(duì)象物的參考用斷面的參考斷面圖像，并且使所述參考斷面圖像顯示于所述顯示畫(huà)面，在所述參考斷面圖像的生成中，使構(gòu)成所述參考斷面圖像的多個(gè)像素的輝度值為所述參考斷面圖像的像素上的所述基準(zhǔn)合焦圖像的像素的輝度值。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法中，也可以：使用處于在直線上排列所述照明器的位置、所述合焦像素的位置和所述傳感器像素的位置這一關(guān)系的所述傳感器像素各自的輝度值，算出所述合焦像素的輝度值。

在本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成方法中，也可以：所述對(duì)象物是胚，所述基準(zhǔn)合焦圖像所包含的所述胚的輪廓是圓狀，所述胚的立體輪廓是球狀。

本公開(kāi)的一個(gè)技術(shù)方案涉及的程序，使計(jì)算機(jī)執(zhí)行如下處理：(e1)取得位于圖像傳感器上的對(duì)象物的多個(gè)拍攝圖像，在此，每當(dāng)使多個(gè)照明器分別進(jìn)行照明時(shí)，使用基于由所述圖像傳感器的多個(gè)傳感器像素接受的光的輝度值，通過(guò)所述圖像傳感器取得所述多個(gè)拍攝圖像，(e2)設(shè)定位于所述多個(gè)照明器與所述圖像傳感器之間的假想的多個(gè)基準(zhǔn)焦面，在此，所述多個(gè)基準(zhǔn)焦面在所述多個(gè)照明器與所述圖像傳感器之間穿過(guò)所述對(duì)象物并且位于互相隔開(kāi)間隔的位置，(e3)生成與所述多個(gè)基準(zhǔn)焦面對(duì)應(yīng)的多個(gè)基準(zhǔn)合焦圖像，即，使用所述多個(gè)基準(zhǔn)焦面的信息和所述多個(gè)拍攝圖像，取得與構(gòu)成所述多個(gè)基準(zhǔn)合焦圖像的多個(gè)合焦像素對(duì)應(yīng)的所述傳感器像素的輝度值，由此生成所述多個(gè)基準(zhǔn)合焦圖像，(e4)從所述多個(gè)基準(zhǔn)合焦圖像中，使用所述對(duì)象物的輪廓的對(duì)比度最高的所述基準(zhǔn)合焦圖像，提取所述對(duì)象物的輪廓，(e5)基于所提取出的所述對(duì)象物的輪廓，確定所述對(duì)象物的立體輪廓，(e6)通過(guò)從所述多個(gè)基準(zhǔn)合焦圖像中分別除去與所述立體輪廓的外側(cè)相當(dāng)?shù)膮^(qū)域，生成所述對(duì)象物的多個(gè)基準(zhǔn)斷面圖像，(e7)使用所述多個(gè)基準(zhǔn)斷面圖像，生成所述對(duì)象物的三維圖像，使所述三維圖像顯示于顯示畫(huà)面。

本公開(kāi)的另一技術(shù)方案涉及的圖像生成裝置，具備：多個(gè)照明器；具有載置對(duì)象物的表面的圖像傳感器；以及控制電路，其生成位于所述多個(gè)照明器與所述圖像傳感器之間的假想焦面上的所述對(duì)象物的合焦圖像，所述對(duì)象物包括第一對(duì)象物和包含在所述第一對(duì)象物內(nèi)的第二對(duì)象物，所述控制電路，(a1)取得在所述多個(gè)照明器分別進(jìn)行照明時(shí)所述圖像傳感器拍攝到的多個(gè)拍攝圖像，(a2)確定所取得的所述拍攝圖像各自所包含的所述第二對(duì)象物的特征點(diǎn)，(a3)基于所述拍攝圖像各自的所述第二對(duì)象物的特征點(diǎn)的位置和所述多個(gè)照明器的位置，算出所述第二對(duì)象物的特征點(diǎn)的立體位置，(a4)求出包含最多的所述第二對(duì)象物的特征點(diǎn)的所述第一對(duì)象物的斷面，生成所述斷面的合焦圖像，使所述斷面的合焦圖像顯示于顯示畫(huà)面。

根據(jù)本技術(shù)方案，圖像生成裝置選定包含最多的第一對(duì)象物內(nèi)的第二對(duì)象物的特征點(diǎn)的斷面，對(duì)所選定的斷面的合焦圖像進(jìn)行顯示。所顯示的斷面的合焦圖像能夠顯示第一對(duì)象物的內(nèi)部的較多特征。由此，圖像生成裝置能夠自動(dòng)地生成并提供對(duì)用戶有益的信息。

在本公開(kāi)的另一技術(shù)方案涉及的圖像生成裝置中，也可以：所述控制電路在確定所述第二對(duì)象物的特征點(diǎn)時(shí)，在所述拍攝圖像間對(duì)所述第二對(duì)象物的特征點(diǎn)進(jìn)行關(guān)聯(lián)。根據(jù)本技術(shù)方案，可確定在拍攝圖像間對(duì)應(yīng)的第二對(duì)象物的特征點(diǎn)。例如，在設(shè)定了2個(gè)以上的特征點(diǎn)的情況下，能夠算出拍攝圖像間對(duì)應(yīng)的特征點(diǎn)的位置關(guān)系。由此，在存在2個(gè)以上的第二對(duì)象物的情況下，圖像生成裝置通過(guò)使各第二對(duì)象物與特征點(diǎn)關(guān)聯(lián)，能夠在斷面的合焦圖像顯示更多的第二對(duì)象物。

在本公開(kāi)的另一技術(shù)方案涉及的圖像生成裝置中，也可以：所述第一對(duì)象物是球形狀的胚，所述第二對(duì)象物是細(xì)胞，所述特征點(diǎn)是所述細(xì)胞的中心點(diǎn)。在本技術(shù)方案中，胚內(nèi)的細(xì)胞能夠從胚的外部透視。圖像傳感器能夠取得被照明器照明的胚以及細(xì)胞的拍攝圖像。具有如此結(jié)構(gòu)的胚適于圖像生成裝置的圖像生成。

本公開(kāi)的另一技術(shù)方案涉及的圖像生成方法中，所述圖像生成方法使用位于多個(gè)照明器與圖像傳感器之間的假想焦面的合焦圖像來(lái)生成位于所述圖像傳感器上的對(duì)象物的圖像，所述對(duì)象物包括第一對(duì)象物和包含在所述第一對(duì)象物內(nèi)的第二對(duì)象物，在所述圖像生成方法中，(b1)取得使所述多個(gè)照明器依次照明而拍攝到的多個(gè)拍攝圖像，(b2)確定所取得的所述拍攝圖像各自所包含的所述第二對(duì)象物的特征點(diǎn)，(b3)基于所述拍攝圖像各自的所述第二對(duì)象物的特征點(diǎn)的位置和所述多個(gè)照明器的位置，算出所述第二對(duì)象物的特征點(diǎn)的立體位置，(b4)求出包含最多的所述第二對(duì)象物的特征點(diǎn)的所述第一對(duì)象物的斷面，生成所述斷面的合焦圖像，使所述斷面的合焦圖像顯示于顯示畫(huà)面，所述(b1)～(b4)的至少一方通過(guò)控制電路來(lái)執(zhí)行。

在本公開(kāi)的另一技術(shù)方案涉及的圖像生成方法中，也可以：所述控制電路在確定所述第二對(duì)象物的特征點(diǎn)時(shí)，在所述拍攝圖像間對(duì)所述第二對(duì)象物的特征點(diǎn)進(jìn)行關(guān)聯(lián)。

另外，在本公開(kāi)的另一技術(shù)方案涉及的圖像生成方法中，也可以：所述第一對(duì)象物是球形狀的胚，所述第二對(duì)象物是細(xì)胞，所述特征點(diǎn)是所述細(xì)胞的中心點(diǎn)。

本公開(kāi)的另一技術(shù)方案涉及的程序，使計(jì)算機(jī)執(zhí)行如下處理：(c1)取得在多個(gè)照明器分別進(jìn)行照明時(shí)由圖像傳感器拍攝到的對(duì)象物的多個(gè)拍攝圖像，所述對(duì)象物位于所述圖像傳感器上，所述對(duì)象物包括第一對(duì)象物和包含在所述第一對(duì)象物內(nèi)的第二對(duì)象物，(c2)確定所取得的所述拍攝圖像各自所包含的所述第二對(duì)象物的特征點(diǎn)，(c3)基于所述拍攝圖像各自的所述第二對(duì)象物的特征點(diǎn)的位置和所述多個(gè)照明器的位置，算出所述第二對(duì)象物的特征點(diǎn)的立體位置，(c4)求出包含最多的所述第二對(duì)象物的特征點(diǎn)的所述第一對(duì)象物的斷面，生成設(shè)所述斷面為假想焦面的合焦圖像，使所述合焦圖像顯示于顯示畫(huà)面。

在本公開(kāi)的另一技術(shù)方案涉及的程序中，也可以：所述控制電路在確定所述第二對(duì)象物的特征點(diǎn)時(shí)，在所述拍攝圖像間對(duì)所述第二對(duì)象物的特征點(diǎn)進(jìn)行關(guān)聯(lián)。

另外，在本公開(kāi)的另一技術(shù)方案涉及的程序中，也可以：所述第一對(duì)象物是球形狀的胚，所述第二對(duì)象物是細(xì)胞，所述特征點(diǎn)是所述細(xì)胞的中心點(diǎn)。

此外，這些圖像生成裝置以及圖像生成方法的總括性或具體的技術(shù)方案既可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序和記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。例如，圖像生成方法也可以通過(guò)cpu(centralprocessingunit，中央處理單元)、mpu(microprocessingunit，微處理單元)等處理器、lsi等電路、ic卡或單個(gè)模塊等來(lái)實(shí)現(xiàn)。

另外，對(duì)于這些程序，實(shí)施方式中的處理也可以通過(guò)軟件程序或由軟件程序形成的數(shù)字信號(hào)來(lái)實(shí)現(xiàn)。例如，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以記錄于計(jì)算機(jī)可讀取的記錄介質(zhì)、例如軟盤、硬盤、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注冊(cè)商標(biāo))disc)、半導(dǎo)體存儲(chǔ)器等。另外，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以經(jīng)由電通信線路、無(wú)線或有線通信線路、以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)廣播等進(jìn)行傳輸。另外，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以通過(guò)記錄于記錄介質(zhì)進(jìn)行移送或者經(jīng)由網(wǎng)絡(luò)等進(jìn)行移送，由此通過(guò)獨(dú)立的其他計(jì)算機(jī)系統(tǒng)來(lái)實(shí)施。

以下，參照附圖對(duì)本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)進(jìn)行具體說(shuō)明。此外，以下說(shuō)明的實(shí)施方式都表示總括性或具體的例子。以下的實(shí)施方式中示出的數(shù)值、形狀、構(gòu)成要素、構(gòu)成要素的配置以及連接形態(tài)、步驟、步驟的順序等是一例，并非限定權(quán)利要求的意思。另外，關(guān)于以下的實(shí)施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨(dú)立權(quán)利要求中的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說(shuō)明。另外，在以下的實(shí)施方式的說(shuō)明中，有時(shí)使用大致平行、大致正交這樣的帶有“大致”的表達(dá)。例如，大致平行并不是完全平行，而是實(shí)質(zhì)上平行、即也包含例如百分之幾左右的差異。關(guān)于其他的帶有“大致”的表達(dá)也是同樣的。

[實(shí)施方式1]

包括實(shí)施方式1涉及的圖像生成裝置的圖像生成系統(tǒng)中，多個(gè)照明器依次向位于圖像傳感器上的對(duì)象物進(jìn)行照明，使用通過(guò)在每次照明時(shí)拍攝對(duì)象物而得到的多個(gè)拍攝圖像，生成位于多個(gè)照明器與圖像傳感器之間的假想焦面上的對(duì)象物的圖像。此外，將該使用多個(gè)拍攝圖像生成的圖像也稱為合焦圖像或者重新聚焦圖像，將使用拍攝圖像生成假想焦面上的對(duì)象物的圖像這一處理也稱為重新聚焦處理。在重新聚焦處理中，也可以使用拍攝像素來(lái)求出假想焦面上的像素。圖像生成系統(tǒng)生成多個(gè)假想焦面上的合焦圖像，使用所生成的多個(gè)合焦圖像來(lái)生成對(duì)象物的三維模型(3d模型)。進(jìn)而，圖像生成系統(tǒng)使用3d模型所包含的多個(gè)合焦圖像，生成3d模型中的任意的斷面圖像。

[1-1.圖像生成系統(tǒng)的構(gòu)成]

[1-1-1.圖像生成系統(tǒng)的整體構(gòu)成]

圖1是實(shí)施方式1涉及的圖像生成系統(tǒng)10的功能框圖。圖1所示的圖像生成系統(tǒng)10具備拍攝裝置100、圖像生成裝置200、存儲(chǔ)部120和顯示部150。圖像生成系統(tǒng)10還可以具備：存儲(chǔ)有預(yù)先確定的焦面以及拍攝對(duì)象物的形狀等信息的第1記錄部121；對(duì)重新聚焦處理完的像素的信息進(jìn)行記錄的第2記錄部122；受理用于指定焦面的指定信息的輸入的焦面輸入部130；以及受理對(duì)顯示部150所顯示的顯示物提供的動(dòng)作指令的輸入的cg操作輸入部140。顯示部150通過(guò)顯示器來(lái)實(shí)現(xiàn)，顯示由圖像操作部260、斷面圖像生成部270生成的圖像等。焦面輸入部130以及cg操作輸入部140既可以通過(guò)計(jì)算機(jī)裝置等的鍵盤、鼠標(biāo)、觸摸板等各種輸入裝置來(lái)實(shí)現(xiàn)，也可以通過(guò)構(gòu)成顯示部150的觸摸屏等經(jīng)由畫(huà)面的輸入裝置來(lái)實(shí)現(xiàn)。

[1-1-2.拍攝裝置的構(gòu)成]

首先，對(duì)拍攝裝置100的構(gòu)成進(jìn)行說(shuō)明。拍攝裝置100具備多個(gè)照明器101、圖像傳感器102和拍攝控制部103。拍攝裝置100取得對(duì)象物的拍攝圖像(photographicimage)。在此，拍攝裝置100不具有聚焦透鏡。

拍攝的對(duì)象物例如是配置在圖像傳感器102的表面上的多個(gè)半透明的物質(zhì)。具體而言，對(duì)象物被載置在后述的圖像傳感器102具有的作為傳感器像素的多個(gè)像素之上。載置對(duì)象物的圖像傳感器102的表面包括圖像傳感器102的像素之上的表面。對(duì)象物的具體例子是脊椎動(dòng)物的受精卵的初期胚、即球狀的胚。在對(duì)象物內(nèi)，多個(gè)物質(zhì)以三維重疊的方式排布。多個(gè)物質(zhì)的具體例子是球狀的細(xì)胞。在此，胚是第一對(duì)象物的一例，細(xì)胞是第二對(duì)象物的一例。以下，使用胚來(lái)說(shuō)明實(shí)施方式1。此外，作為第一對(duì)象物的拍攝對(duì)象物的形狀不限定于球形狀，可以是任何形狀。例如，拍攝對(duì)象物的形狀也可以是橢圓體、柱狀體、多面體等。作為第二對(duì)象物的多個(gè)物質(zhì)的形狀不限定于球形狀，可以是任何形狀。例如，多個(gè)物質(zhì)的形狀也可以是橢圓體、柱狀體、多面體等。作為第一對(duì)象物的拍攝對(duì)象物也可以形成為例如透明或者半透明，以使得在被拍攝時(shí)其內(nèi)部的作為第二對(duì)象物的多個(gè)物質(zhì)也被拍攝。作為第二對(duì)象物的多個(gè)物質(zhì)也可以形成為例如透明或者半透明，以使得照明器101的光透射，但也可以具有除透明以及半透明以外的結(jié)構(gòu)。作為第二對(duì)象物的物質(zhì)也可以不由多個(gè)物質(zhì)構(gòu)成，可以由一個(gè)物質(zhì)構(gòu)成。

多個(gè)照明器101例如被設(shè)置在線形上或設(shè)置成面狀排列。多個(gè)照明器101分別是輸出平行光的照明器或者輸出漫射光的照明器。多個(gè)照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分別照射不交錯(cuò)的光。即，表示從第1照明器照射的第1光的多條第1光線互不相交。另外，表示從第2照明器照射的第2光的多條第2光線也互不相交。因此，在從第1照明器和第2照明器的某一方照射了光的情況下，來(lái)自第1照明器和第2照明器的該一方的光從單個(gè)方向到達(dá)圖像傳感器102所包含的一個(gè)像素。也就是說(shuō)，不會(huì)是光從兩個(gè)以上的方向到達(dá)一個(gè)像素。

以下，將這樣的照明稱為非交錯(cuò)照明。非交錯(cuò)照明例如可以通過(guò)平行光或來(lái)自點(diǎn)光源的漫射光來(lái)實(shí)現(xiàn)。多個(gè)照明器101依次照射光。多個(gè)照明器101配置在互不相同的位置，從互不相同的方向向?qū)ο笪镎丈涔狻?/p>

圖像傳感器102具有多個(gè)像素來(lái)作為傳感器像素。圖像傳感器102的各像素配置于受光面，取得從多個(gè)照明器101照射的光的強(qiáng)度。圖像傳感器102基于由各像素取得的光的強(qiáng)度來(lái)取得拍攝圖像。

圖像傳感器102的例子是cmos(complementarymetal-oxidesemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器或者ccd(chargecoupleddevice，電荷耦合元件)圖像傳感器。

拍攝控制部103控制由多個(gè)照明器101進(jìn)行的光的照射和由圖像傳感器102進(jìn)行的拍攝。具體而言，拍攝控制部103按照多個(gè)照明器101照射光的順序，控制多個(gè)照明器101照射光的時(shí)間間隔。拍攝控制部103由包括cpu、ram(randomaccessmemory，隨機(jī)存取存儲(chǔ)器)、rom(read-onlymemory，只讀存儲(chǔ)器)等的計(jì)算機(jī)系統(tǒng)(未圖示)構(gòu)成。拍攝控制部103的構(gòu)成要素的一部分或者全部的功能可以通過(guò)由cpu將ram用作工作用的存儲(chǔ)器并執(zhí)行rom所記錄的程序來(lái)實(shí)現(xiàn)。另外，拍攝控制部103的構(gòu)成要素的一部分或者全部的功能也可以通過(guò)專用的硬件電路來(lái)實(shí)現(xiàn)。

從相對(duì)于圖像傳感器102的受光面配置在互不相同的位置的多個(gè)照明器101照射的光，相對(duì)于受光面以不同的入射角入射。在多個(gè)照明器101照射平行光的情況下，多個(gè)照明器101照射相對(duì)于圖像傳感器102的受光面的入射角互不相同的平行光。例如，如圖2所示，平行光通過(guò)使從led光源101a經(jīng)由形成于遮光板101b的針孔101c射出的光被準(zhǔn)直透鏡(collimatorlens)101d折射來(lái)獲得。

圖3是說(shuō)明多個(gè)照明器101的構(gòu)造的一例的示意圖。在圖3的多個(gè)照明器101的例子中，照射平行光的多個(gè)光源101e相對(duì)于圖像傳感器102的受光面以不同的角度進(jìn)行固定。在圖3的例子中，多個(gè)光源101e配置于覆蓋圖像傳感器102的半球101f的內(nèi)面。從多個(gè)光源101e到達(dá)圖像傳感器102的受光面的光的向受光面的入射角互不相同。

圖4是說(shuō)明多個(gè)照明器101的構(gòu)造的另一例的示意圖。在圖4的多個(gè)照明器101的例子中，多個(gè)準(zhǔn)點(diǎn)光源101g朝向圖像傳感器102側(cè)地配置在與圖像傳感器102的受光面平行的平面101h上的不同位置。來(lái)自多個(gè)準(zhǔn)點(diǎn)光源101g的光相對(duì)于圖像傳感器102的受光面的各像素從不同的方向入射。多個(gè)準(zhǔn)點(diǎn)光源101g分別例如通過(guò)在led光源101a的附近配置具有針孔101c的遮光板101b來(lái)實(shí)現(xiàn)。針孔101c的大小通過(guò)圖像傳感器102的像素間距、圖像傳感器102與針孔101c的距離、生成合焦圖像的點(diǎn)離圖像傳感器102的距離來(lái)限制。

圖5是說(shuō)明針孔應(yīng)滿足的大小的條件的示意圖。在此，d1表示針孔101c的直徑。h1表示從圖像傳感器102的受光面到針孔101c為止的距離。h2表示從圖像傳感器102的受光面到合焦點(diǎn)101j(即，合焦圖像中的任意像素的位于焦面上的點(diǎn))為止的距離。d2表示從針孔101c透過(guò)合焦點(diǎn)到達(dá)圖像傳感器102的受光面的光的擴(kuò)展直徑。p表示圖像傳感器102的像素間距。

此時(shí)，理想的是，從針孔101c射出的光通過(guò)合焦點(diǎn)101j到達(dá)圖像傳感器102的受光面的一個(gè)點(diǎn)。即，希望從針孔101c射出的光通過(guò)合焦點(diǎn)101j只到達(dá)圖像傳感器102的一個(gè)像素。因此，希望d2為不超過(guò)圖像傳感器的像素間距p的大小。也就是說(shuō)，如以下的式1所示，d2<p是用于實(shí)現(xiàn)非交錯(cuò)照明的條件。

d1應(yīng)滿足的條件能夠通過(guò)將該式1進(jìn)行變形來(lái)表示為以下的式2。

例如，在像素間距p為0.001mm、從圖像傳感器102的受光面到針孔101c為止的距離h1為2mm、從圖像傳感器102到合焦點(diǎn)101j為止的距離h2為0.1mm的情況下，針孔的直徑d1可以為小于0.19mm。

[1-1-3.圖像生成裝置的構(gòu)成]

接著，對(duì)圖像生成裝置200的構(gòu)成進(jìn)行說(shuō)明。圖像生成裝置200通過(guò)控制電路來(lái)實(shí)現(xiàn)。如圖1所示，圖像生成裝置200具備焦面決定部210、重新聚焦處理部220、合焦圖像生成部230、對(duì)象物提取部240、3d圖像生成部250、圖像操作部260和斷面圖像生成部270。

焦面決定部210例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，決定位于多個(gè)照明器101與圖像傳感器102之間的假想焦面。具體而言，焦面決定部210例如基于記錄在第1記錄部121中的預(yù)先確定的焦面的信息來(lái)決定焦面。另外，例如，焦面決定部210也可以按照經(jīng)由焦面輸入部130從外部輸入的信息來(lái)決定焦面。在本實(shí)施方式中，焦面決定部210決定與圖像傳感器102的受光面大致平行的多個(gè)焦面。換言之，本實(shí)施方式中的焦面是平面。

存儲(chǔ)部120例如通過(guò)半導(dǎo)體存儲(chǔ)器或者硬盤驅(qū)動(dòng)器等來(lái)實(shí)現(xiàn)，將由圖像傳感器102拍攝到的圖像與在該拍攝中使用的照明器的位置信息一起進(jìn)行存儲(chǔ)。

圖6表示存儲(chǔ)部120存儲(chǔ)的內(nèi)容的一例。在存儲(chǔ)部120中，按由拍攝部100拍攝到的各圖像文件，與在該圖像文件的取得時(shí)所使用的照明器的位置信息進(jìn)行組合并存儲(chǔ)。在圖6的例子中，照明器的位置信息表示相對(duì)于圖像傳感器102的相對(duì)位置。以下，將該照明器的位置信息也稱為照明位置信息。照明位置信息是與圖像文件的文件id一起存儲(chǔ)的，照明位置信息通過(guò)文件id來(lái)與圖像數(shù)據(jù)關(guān)聯(lián)。此外，照明位置信息也可以記錄在圖像文件的一部分(例如頭信息)中。

參照?qǐng)D1，重新聚焦處理部220例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，根據(jù)多個(gè)圖像、多個(gè)照明器101的位置信息和假想焦面的信息，計(jì)算構(gòu)成該焦面上的合焦圖像的各像素的光的強(qiáng)度。在本實(shí)施方式中，重新聚焦處理部220計(jì)算構(gòu)成多個(gè)焦面上的合焦圖像的各像素的光的強(qiáng)度。后面敘述該重新聚焦處理的詳細(xì)情況。

合焦圖像生成部230例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，根據(jù)由重新聚焦處理部220計(jì)算出的各像素的輝度值來(lái)生成各焦面上的合焦圖像。

對(duì)象物提取部240例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。對(duì)象物提取部240在各焦面的合焦圖像中，確定顯現(xiàn)出對(duì)象物的區(qū)域即顯現(xiàn)區(qū)域的輪廓，將位于該輪廓外側(cè)的背景從合焦圖像中除去。也就是說(shuō)，對(duì)象物提取部240生成背景除去合焦圖像。

3d圖像生成部250例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。3d圖像生成部250從多個(gè)背景除去合焦圖像中，提取顯現(xiàn)區(qū)域的輪廓的對(duì)比度最強(qiáng)的圖像即輪廓基準(zhǔn)合焦圖像。3d圖像生成部250根據(jù)輪廓基準(zhǔn)合焦圖像所包含的二維輪廓的形狀和存儲(chǔ)在第1記錄部121中的對(duì)象物的形狀，確定對(duì)象物的具體的三維輪廓。進(jìn)而，3d圖像生成部250對(duì)多個(gè)背景除去合焦圖像和對(duì)象物的三維輪廓進(jìn)行關(guān)聯(lián)，在多個(gè)背景除去合焦圖像中分別除去包含在三維輪廓外的區(qū)域。由此，將會(huì)生成與多個(gè)背景除去合焦圖像分別對(duì)應(yīng)的對(duì)象物的斷面圖像。這些斷面圖像是預(yù)先設(shè)定的焦面上的斷面圖像，稱為基準(zhǔn)斷面圖像。3d圖像生成部250使用多個(gè)基準(zhǔn)斷面圖像生成對(duì)象物的3d模型。該3d模型可以包含與對(duì)象物的三維輪廓以及多個(gè)基準(zhǔn)斷面圖像有關(guān)的信息。

圖像操作部260例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。圖像操作部260將3d圖像生成部250生成的對(duì)象物的3d模型顯示于顯示部150。此時(shí)，圖像操作部260將對(duì)象物的三維輪廓等顯示于顯示部150。進(jìn)而，圖像操作部260在選擇了對(duì)象物的斷面的位置時(shí)，將所選出的斷面的簡(jiǎn)易圖像與對(duì)象物的三維輪廓一起顯示于顯示部150。此時(shí)，3d圖像生成部250使用多個(gè)基準(zhǔn)斷面圖像所包含的信息，生成對(duì)象物的簡(jiǎn)易的斷面圖像即參考斷面圖像。因此，例如，在所選出的斷面是與多個(gè)基準(zhǔn)斷面圖像所對(duì)應(yīng)的焦面(以下，也稱為基準(zhǔn)斷面圖像平面)交叉的斷面的情況下，多個(gè)基準(zhǔn)斷面圖像平面間的區(qū)域，在參考斷面圖像中未得到明確顯示。圖像操作部260經(jīng)由cg操作輸入部140受理用于選擇應(yīng)顯示的參考斷面圖像的位置的指令，基于該指令來(lái)使對(duì)象物的參考斷面圖像進(jìn)行顯示。圖像操作部260例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。圖像操作部260將3d圖像生成部250生成的對(duì)象物的3d模型顯示于顯示部150。

斷面圖像生成部270例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。斷面圖像生成部270使用應(yīng)顯示的對(duì)象物的斷面的位置和多個(gè)基準(zhǔn)斷面圖像所包含的信息，生成應(yīng)顯示的對(duì)象物的斷面的詳細(xì)圖像，并使其顯示于顯示部150。具體而言，斷面圖像生成部270使用基準(zhǔn)斷面圖像的像素的輝度值來(lái)作為應(yīng)顯示的對(duì)象物的斷面中的與該基準(zhǔn)斷面圖像平面重疊或交叉的部分的像素的輝度值。斷面圖像生成部270針對(duì)應(yīng)顯示的對(duì)象物的斷面中的與基準(zhǔn)斷面圖像平面既不重疊也不交叉的區(qū)域內(nèi)的像素，使用位于該像素附近的基準(zhǔn)斷面圖像平面的基準(zhǔn)斷面圖像的像素的輝度值來(lái)算出上述像素的輝度值。也就是說(shuō)，斷面圖像生成部270算出應(yīng)顯示的對(duì)象物的斷面中的位于應(yīng)用了基準(zhǔn)斷面圖像的像素的像素之間的像素(以下，也稱為插補(bǔ)像素)的輝度值。并且，斷面圖像生成部270使用基準(zhǔn)斷面圖像所包含的像素的輝度值和插補(bǔ)像素的輝度值，生成對(duì)象物的斷面的詳細(xì)圖像。斷面圖像生成部270將所生成的圖像顯示于顯示部150。可以經(jīng)由cg操作輸入部140向斷面圖像生成部270提供應(yīng)顯示的對(duì)象物的斷面的位置。具體而言，對(duì)于應(yīng)顯示的對(duì)象物的斷面，也可以經(jīng)由cg操作輸入部140從顯示部150所顯示的對(duì)象物的參考斷面圖像中選擇來(lái)決定。

[1-2.圖像生成系統(tǒng)的工作]

[1-2-1.圖像生成系統(tǒng)的重新聚焦處理的概略工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)10的重新聚焦處理的概略工作即生成合焦圖像的概略工作進(jìn)行說(shuō)明。圖7是表示實(shí)施方式1涉及的圖像生成系統(tǒng)10的合焦圖像的生成工作的一例的流程圖。圖8是表示坐標(biāo)與焦面的關(guān)系的一例的示意圖。

(步驟s1100)

首先，拍攝裝置100的拍攝控制部103依次使用多個(gè)照明器101對(duì)對(duì)象物進(jìn)行照明，拍攝該對(duì)象物的多個(gè)圖像。具體而言，拍攝控制部103在每次多個(gè)照明器101分別對(duì)對(duì)象物進(jìn)行照明時(shí)，記錄到達(dá)圖像傳感器102的受光面的各像素的光的強(qiáng)度，由此取得對(duì)象物的圖像。所取得的圖像與拍攝時(shí)對(duì)對(duì)象物進(jìn)行了照明的照明器的位置信息一起存儲(chǔ)于存儲(chǔ)部120。在此，多個(gè)照明器101的位置相對(duì)于圖像傳感器102是固定的，多個(gè)照明器101各自的位置信息被預(yù)先確定。后面敘述拍攝處理的詳細(xì)情況。

(步驟s1200)

圖像生成裝置200的焦面決定部210決定焦面。具體而言，焦面決定部210決定焦面相對(duì)于圖像傳感器102的位置以及傾斜(角度)。例如，焦面決定部210可以基于存儲(chǔ)在第1記錄部121中的預(yù)先確定的焦面的信息來(lái)決定焦面?；蛘撸姑鏇Q定部210也可以基于通過(guò)焦面輸入部130從用戶受理的指定焦面的指定信息來(lái)決定焦面。焦面相當(dāng)于可生成合焦圖像的假想的面。也就是說(shuō)，焦面上的對(duì)象物的合焦圖像所包含的多個(gè)像素與焦面上的多個(gè)點(diǎn)一一對(duì)應(yīng)。例如，焦面決定部210使用焦面的角度以及位置來(lái)決定焦面。焦面的角度以及位置例如通過(guò)圖8所示的xyz空間來(lái)定義。

在圖8中，xy平面與圖像傳感器102的受光面一致。z軸與圖像傳感器102的受光面正交。此時(shí)，焦面的角度在以圖像傳感器102的受光面的中心為原點(diǎn)的xyz空間中以相對(duì)于x軸以及y軸的角度來(lái)定義。焦面的位置由焦面的中心點(diǎn)的坐標(biāo)來(lái)定義。斷面圖像生成部270例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。斷面圖像生成部270使用應(yīng)顯示的對(duì)象物的斷面的位置和多個(gè)基準(zhǔn)斷面圖像所包含的信息，生成應(yīng)顯示的對(duì)象物的斷面的詳細(xì)圖像，并顯示于顯示部150。

(步驟s1300)

重新聚焦處理部220基于多個(gè)拍攝圖像、多個(gè)照明器101的位置信息、和焦面的信息，進(jìn)行重新聚焦處理，求出焦面上的各像素即各點(diǎn)的輝度。后面敘述重新聚焦處理的詳細(xì)情況。

(步驟s1400)

合焦圖像生成部230基于通過(guò)步驟s1300進(jìn)行的重新聚焦處理的結(jié)果，生成作為能夠向顯示器等輸出的圖像數(shù)據(jù)的焦面的合焦圖像。

[1-2-2.拍攝處理]

在此說(shuō)明步驟s1100的拍攝裝置100的工作、具體而言是拍攝控制部103的工作的詳細(xì)情況。圖9是表示拍攝裝置100的工作的一例的流程圖。

(步驟s1110)

拍攝控制部103參照預(yù)先確定的多個(gè)照明位置、或者通過(guò)未圖示的外部輸入而指定的多個(gè)照明位置的列表(以下，稱為照明位置列表)，判定被從各照明位置進(jìn)行了照明的對(duì)象物的拍攝是否已結(jié)束。多個(gè)照明器101與照明位置列表所包含的多個(gè)照明位置一一對(duì)應(yīng)。

在此，在基于從照明位置列表所包含的全部照明位置進(jìn)行的照明的拍攝結(jié)束的情況下(步驟s1110：是)，進(jìn)入用于決定焦面的步驟s1200。另一方面，在基于從照明位置列表內(nèi)的任一個(gè)照明位置進(jìn)行的照明的拍攝未結(jié)束的情況下(步驟s1110：否)，進(jìn)入步驟s1120。

(步驟s1120)

拍攝控制部103從照明位置列表所包含的多個(gè)照明位置中選擇尚未進(jìn)行照明的照明位置，向多個(gè)照明器101輸出控制信號(hào)。此外，拍攝控制部103在存在多個(gè)尚未進(jìn)行照明的照明位置的情況下，選擇一個(gè)照明位置。在照明位置列表中，各照明位置例如由按各照明位置分配的編號(hào)來(lái)表示?；蛘撸髡彰魑恢美缤ㄟ^(guò)圖8所示的xyz空間中的坐標(biāo)值來(lái)表示。照明位置的選擇例如按列表的升序來(lái)進(jìn)行。

(步驟s1130)

多個(gè)照明器101按照在步驟s1120中從拍攝控制部103輸出的控制信號(hào)，開(kāi)始向?qū)ο笪锏恼彰?。也就是說(shuō)，位于通過(guò)步驟s1120選擇出的照明位置的照明器開(kāi)始照射光。

(步驟s1140)

在由照明器對(duì)對(duì)象物進(jìn)行照明的期間，圖像傳感器102取得通過(guò)從該照明器透過(guò)了對(duì)象物的光而形成的圖像。

(步驟s1150)

然后，拍攝控制部103向多個(gè)照明器101輸出控制信號(hào)，停止向?qū)ο笪锏恼彰?。此外，照明的停止也可以不按照?lái)自拍攝控制部103的控制信號(hào)來(lái)進(jìn)行。例如，多個(gè)照明器101也可以對(duì)從開(kāi)始照明起的時(shí)間長(zhǎng)度進(jìn)行計(jì)時(shí)，在計(jì)時(shí)到的時(shí)間長(zhǎng)度超過(guò)了預(yù)先確定的時(shí)間長(zhǎng)度之后主動(dòng)停止照明。或者，也可以，在步驟s1140中圖像傳感器102結(jié)束了圖像的取得之后，圖像傳感器102將用于停止照明的控制信號(hào)輸出給多個(gè)照明器101。

(步驟s1160)

接著，拍攝控制部103將通過(guò)步驟s1140取得的圖像和在步驟s1130中使用的照明器的位置信息輸出給存儲(chǔ)部120。并且，存儲(chǔ)部120將圖像數(shù)據(jù)和照明位置的信息進(jìn)行關(guān)聯(lián)并存儲(chǔ)。在步驟s1160之后，返回到步驟s1110。

通過(guò)反復(fù)進(jìn)行從步驟s1110到步驟s1160的處理，從照明位置列表所包含的全部照明位置的照明器依次對(duì)對(duì)象物照射光，每當(dāng)對(duì)對(duì)象物照射光時(shí)取得圖像。

[1-2-3.圖像生成系統(tǒng)的重新聚焦處理的詳細(xì)工作]

進(jìn)一步，說(shuō)明步驟s1300的重新聚焦處理部220的工作的詳細(xì)情況。圖10是表示實(shí)施方式1涉及的重新聚焦處理部220的工作的一例的流程圖。圖11～圖15是說(shuō)明重新聚焦處理的計(jì)算方法的具體例子的示意圖。

以下，參照?qǐng)D11～圖15對(duì)圖10的各步驟進(jìn)行說(shuō)明。

(步驟s1310)

重新聚焦處理部220從焦面決定部210取得通過(guò)步驟s1200決定的焦面的信息。

焦面的信息例如包含焦面的中心的坐標(biāo)值和表示焦面的傾斜的值。焦面的傾斜例如由焦面與xz平面的交線和x軸所成的角度來(lái)表示。另外，例如，焦面的傾斜由焦面與yz平面的交線和y軸所成的角度來(lái)表示。焦面的中心的坐標(biāo)值是與合焦圖像的中心的像素對(duì)應(yīng)的焦面上的點(diǎn)的坐標(biāo)值。

圖11表示拍攝裝置100以及對(duì)象物1000的xz平面上的斷面圖的一例。對(duì)象物1000位于照明器101a、101b和圖像傳感器102之間，并且位于圖像傳感器102上。重新聚焦處理部220取得焦面1100的信息。

(步驟s1320)

重新聚焦處理部220判定對(duì)于合焦圖像所包含的全部像素是否結(jié)束了重新聚焦處理。在此，重新聚焦處理是指從步驟s1320到步驟s1390的處理。

在對(duì)于合焦圖像所包含的全部像素都結(jié)束了重新聚焦處理的情況下(步驟s1320：是)，重新聚焦處理部220結(jié)束重新聚焦處理(進(jìn)入步驟s1400)。

在對(duì)于合焦圖像所包含的任一個(gè)像素未結(jié)束重新聚焦處理的情況下(步驟s1320：否)，重新聚焦處理部220繼續(xù)進(jìn)行重新聚焦處理(進(jìn)入步驟s1330)。

合焦圖像包含多個(gè)像素。合焦圖像所包含的多個(gè)像素與焦面上的多個(gè)點(diǎn)一一對(duì)應(yīng)。圖12表示與合焦圖像所包含的多個(gè)像素對(duì)應(yīng)的、焦面1100上的多個(gè)點(diǎn)1102a～1102e。此外，圖12所示的焦面1100上的多個(gè)點(diǎn)1102a～1102e是對(duì)象物1000上的點(diǎn)，但不在對(duì)象物1000上的點(diǎn)也可以與合焦圖像的像素對(duì)應(yīng)。

(步驟s1330)

重新聚焦處理部220從合焦圖像所包含的多個(gè)像素中選擇一個(gè)像素。在此被選的一個(gè)像素是合焦圖像所包含的多個(gè)像素中的尚未執(zhí)行重新聚焦處理的像素。此外，合焦圖像的像素值的初始值為0。

例如，在圖1所示的第2記錄部122中，存儲(chǔ)有合焦圖像中的已經(jīng)執(zhí)行了重新聚焦處理的像素的信息。在后述的步驟s1390的處理之后，重新聚焦處理部220將進(jìn)行了重新聚焦處理的像素的信息記錄于第2記錄部122。重新聚焦處理部220參照記錄在第2記錄部122中的像素的信息，選擇尚未執(zhí)行重新聚焦處理的像素。以下，如圖13所示，對(duì)選擇了與點(diǎn)1102a對(duì)應(yīng)的像素的情況進(jìn)行說(shuō)明。另外，將與點(diǎn)1102a對(duì)應(yīng)的像素也表述為選擇像素。

(步驟s1340)

重新聚焦處理部220判定對(duì)全部照明位置的加法運(yùn)算處理是否已結(jié)束。

在此，在對(duì)全部照明位置的加法運(yùn)算處理已結(jié)束的情況下(步驟s1340：是)，重新聚焦處理部220的處理返回到步驟s1320。

另一方面，在對(duì)任一個(gè)照明位置的加法運(yùn)算處理未結(jié)束的情況下(步驟s1340：否)，重新聚焦處理部220繼續(xù)進(jìn)行加法運(yùn)算處理(進(jìn)入步驟s1350)。在此，加法運(yùn)算處理是指從步驟s1340到步驟s1390的處理。

(步驟s1350)

重新聚焦處理部220從已用于拍攝的全部照明位置中選擇尚未結(jié)束加法運(yùn)算處理的照明位置。

(步驟s1360)

重新聚焦處理部220計(jì)算經(jīng)過(guò)所選擇出的照明位置和焦面上的選擇像素的位置的直線與圖像傳感器102的受光面交叉的點(diǎn)的位置。

圖14表示經(jīng)過(guò)照明器101a的位置和對(duì)應(yīng)于選擇像素的點(diǎn)1102a的直線1200與圖像傳感器102的受光面交叉的交點(diǎn)1103a。以下，將交點(diǎn)1103a也表述為進(jìn)行加法運(yùn)算處理的對(duì)象的點(diǎn)即對(duì)象點(diǎn)。

圖像傳感器102的受光面上的對(duì)象點(diǎn)例如由圖8所示的xy平面上的坐標(biāo)值來(lái)表示。

(步驟s1370)

重新聚焦處理部220從存儲(chǔ)部120中取得與所選擇出的照明位置對(duì)應(yīng)的圖像。也就是說(shuō)，重新聚焦處理部220從存儲(chǔ)部120中取得使用位于所選擇出的照明位置的照明器拍攝到的圖像。具體而言，重新聚焦處理部220按照?qǐng)D6所示的照明位置信息與圖像的對(duì)應(yīng)關(guān)系，取得存儲(chǔ)部120所存儲(chǔ)的圖像。例如，重新聚焦處理部220取得與圖13所示的照明器101a的位置對(duì)應(yīng)的圖像。

(步驟s1380)

重新聚焦處理部220決定通過(guò)步驟s1360計(jì)算出的圖像傳感器102上的對(duì)象點(diǎn)的在拍攝圖像中的位置。具體而言，重新聚焦處理部220以拍攝圖像的像素的排列為基準(zhǔn)來(lái)決定拍攝圖像中的對(duì)象點(diǎn)的位置。

在拍攝圖像中的對(duì)象點(diǎn)的位置位于多個(gè)像素的中間位置的情況下，重新聚焦處理部220通過(guò)使用與對(duì)象點(diǎn)的位置相鄰的多個(gè)像素的輝度值進(jìn)行插值處理，由此計(jì)算拍攝圖像中的對(duì)象點(diǎn)的輝度值。具體而言，重新聚焦處理部220例如求出與對(duì)象點(diǎn)相鄰的多個(gè)像素(例如4個(gè)像素)的各個(gè)像素與對(duì)象點(diǎn)的距離，對(duì)各像素的輝度值乘以對(duì)象點(diǎn)與各像素的距離之比并進(jìn)行加法運(yùn)算，由此求出拍攝圖像中的對(duì)象點(diǎn)的輝度值。

圖15是用于說(shuō)明步驟s1380中的計(jì)算對(duì)象點(diǎn)的輝度值的示意圖。在圖15中，與對(duì)象點(diǎn)相鄰的4個(gè)像素即像素a～像素d與對(duì)象點(diǎn)的距離分別表示為a、b、c以及d。該情況下，對(duì)象點(diǎn)的輝度值lt通過(guò)以下的式3來(lái)求出。

在此，la、lb、lc以及l(fā)d分別表示像素a、像素b、像素c以及像素d的輝度值。

(步驟s1390)

重新聚焦處理部220對(duì)合焦圖像上的選擇像素的輝度值加上通過(guò)步驟s1380計(jì)算出的對(duì)象點(diǎn)的輝度值。

通過(guò)反復(fù)進(jìn)行從步驟s1340到步驟s1390的處理，對(duì)于全部照明位置，將對(duì)選擇像素的輝度值加上所拍攝到的圖像中的對(duì)象點(diǎn)的輝度值而得到的結(jié)果計(jì)算為選擇像素的輝度值。

通過(guò)這樣的加法運(yùn)算處理，對(duì)于焦面上的各點(diǎn)，將通過(guò)從多個(gè)方向透過(guò)了該點(diǎn)的的光形成的多個(gè)圖像重疊于合焦圖像的一個(gè)像素。

在圖14中，從照明器101a照射的光透過(guò)與選擇像素對(duì)應(yīng)的焦面1100上的點(diǎn)1102a到達(dá)圖像傳感器102的受光面上的對(duì)象點(diǎn)(交點(diǎn)1103a)。因此，在通過(guò)照明器101a拍攝到的圖像中的對(duì)象點(diǎn)(交點(diǎn)1103a)的位置，包含焦面1100上的點(diǎn)1102a處的圖像。

另外，在圖14中，從照明器101b照射的光透過(guò)與選擇像素對(duì)應(yīng)的焦面1100上的點(diǎn)1102a到達(dá)圖像傳感器102的受光面上的對(duì)象點(diǎn)(交點(diǎn)1103b)。因此，在通過(guò)照明器101b拍攝到的圖像中的對(duì)象點(diǎn)(交點(diǎn)1103b)的位置，包含焦面1100上的點(diǎn)1102a處的圖像。

通過(guò)對(duì)這樣的對(duì)象點(diǎn)(交點(diǎn)1103a)處的圖像(輝度值)以及對(duì)象點(diǎn)(交點(diǎn)1103b)處的圖像(輝度值)進(jìn)行加法運(yùn)算，通過(guò)來(lái)自多個(gè)方向的光形成的多個(gè)圖像重疊于合焦圖像的選擇像素。

根據(jù)上述的重新聚焦處理，能夠?qū)⑦B接焦面上的像素的位置和照明器的位置的直線與圖像傳感器102的受光面交叉的交點(diǎn)即對(duì)象點(diǎn)的輝度值適用于該像素的輝度值。因此，能夠在假想焦面上的合焦圖像的各像素上反映與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的輝度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的合焦圖像。

此外，在上述的重新聚焦處理中，使用了經(jīng)過(guò)照明器的位置和與選擇像素對(duì)應(yīng)的點(diǎn)的直線與圖像傳感器102的受光面交叉的交點(diǎn)即對(duì)象點(diǎn)。也就是說(shuō)，基于照明器的位置、與選擇像素對(duì)應(yīng)的點(diǎn)、和圖像傳感器102的受光面上的對(duì)象點(diǎn)之間的關(guān)系，確定了具有應(yīng)該對(duì)選擇像素的輝度值加上的輝度值的對(duì)象點(diǎn)。然而，也可以不是基于點(diǎn)彼此之間的關(guān)系而是基于照明器的位置、選擇像素和圖像傳感器102的受光面上的像素之間的關(guān)系，確定具有應(yīng)該對(duì)選擇像素的輝度值加上的輝度值的像素。例如，也可以構(gòu)成為：將接受從照明器出射并經(jīng)過(guò)選擇像素的區(qū)域內(nèi)之后到達(dá)圖像傳感器102的受光面上的光的圖像傳感器102的像素所檢測(cè)到的輝度值加到選擇像素的輝度值上。也就是說(shuō)，將由處于在直線上排列照明器的位置、選擇像素和圖像傳感器102的像素的位置這一關(guān)系的圖像傳感器102的像素所檢測(cè)到輝度值加到選擇像素的輝度值上。

[1-2-4.圖像生成系統(tǒng)的詳細(xì)工作]

接著，參照?qǐng)D16對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)10的工作進(jìn)行詳細(xì)說(shuō)明。圖16是表示實(shí)施方式1涉及的圖像生成系統(tǒng)10的工作的一例的流程圖。此外，以下，說(shuō)明作為要拍攝的對(duì)象物而應(yīng)用圖17所示那樣的脊椎動(dòng)物的半透明的受精卵的初期胚即胚s的情況下的例子。圖17表示對(duì)象物的一例的胚s的立體圖。在圖17中，球形狀的胚s包括分成兩部分的球形狀的細(xì)胞s1以及s2。

(步驟s2100)

首先，拍攝裝置100的拍攝控制部103依次使用多個(gè)照明器101，對(duì)配置在圖像傳感器102的受光面上的半透明的胚s進(jìn)行照明，拍攝該胚s的多個(gè)圖像。在本實(shí)施方式中，多個(gè)照明器101的位置相對(duì)于圖像傳感器102固定，多個(gè)照明器101各自的位置信息被預(yù)先確定。拍攝控制部103在每次多個(gè)照明器101分別對(duì)胚s進(jìn)行照明時(shí)，記錄到達(dá)了圖像傳感器102的受光面的各像素的光的強(qiáng)度，由此取得胚s的圖像。所取得的圖像與在拍攝時(shí)對(duì)胚s進(jìn)行過(guò)照明的照明器的位置信息一起存儲(chǔ)于存儲(chǔ)部120。

(步驟s2200)

圖像生成裝置200的焦面決定部210決定用于作為基準(zhǔn)使用的焦面即多個(gè)基準(zhǔn)焦面。在本例中，決定與圖像傳感器102的受光面大致平行且互相隔開(kāi)間隔而配置的多個(gè)基準(zhǔn)焦面。具體而言，相對(duì)于具有約100μm的直徑的胚s，決定以約1μm的間隔與受光面平行地配置的多個(gè)基準(zhǔn)焦面。多個(gè)基準(zhǔn)焦面橫跨從受光面到約110μm的距離為止的區(qū)域而配置。由此，在多個(gè)基準(zhǔn)焦面所在的區(qū)域中包括胚s的全部。并且，多個(gè)基準(zhǔn)焦面大都與胚s交叉。此外，上述的具體的數(shù)值是一例，各要素的數(shù)值并非被其限定。

(步驟s2300)

重新聚焦處理部220基于多個(gè)拍攝圖像、多個(gè)照明器101的位置信息和基準(zhǔn)焦面的信息，進(jìn)行重新聚焦處理，求出各基準(zhǔn)焦面上的各像素也即是各點(diǎn)的輝度值。

(步驟s2400)

合焦圖像生成部230基于通過(guò)步驟s2300進(jìn)行的重新聚焦處理的結(jié)果，生成能夠向顯示器等輸出的多個(gè)基準(zhǔn)焦面的合焦圖像即基準(zhǔn)合焦圖像。此外，基準(zhǔn)焦面是供合焦圖像形成的面，因此也稱為合焦圖像平面或者重新聚焦圖像平面。在圖18中，例示胚s的多個(gè)基準(zhǔn)焦面fp的基準(zhǔn)合焦圖像ia。圖18是將多個(gè)基準(zhǔn)焦面fp的基準(zhǔn)合焦圖像ia按其配置順序堆積成一列來(lái)表示的示意圖。在圖18中，示出了多個(gè)基準(zhǔn)合焦圖像ia的一部分。另外，圖19中示出了將排成一列的基準(zhǔn)合焦圖像ia在顯示部150的顯示畫(huà)面151中作為圖像進(jìn)行了顯示的例子。圖19是表示將基準(zhǔn)合焦圖像ia作為圖像進(jìn)行了顯示的例子的照片的圖，示出胚s包含4個(gè)細(xì)胞的例子。在各基準(zhǔn)焦面fp的基準(zhǔn)合焦圖像ia中，形成有接受經(jīng)過(guò)胚s的光的像素的區(qū)域、即顯現(xiàn)出胚s的像的顯現(xiàn)區(qū)域m。

(步驟s2500)

如圖20所示，對(duì)象物提取部240在各基準(zhǔn)焦面fp的基準(zhǔn)合焦圖像ia中，確定顯現(xiàn)出胚s的像的顯現(xiàn)區(qū)域m的輪廓，生成將位于該輪廓外側(cè)的背景從基準(zhǔn)合焦圖像ia除去后的背景除去合焦圖像ib。輪廓的確定例如可以通過(guò)以下所述來(lái)進(jìn)行。對(duì)象物提取部240可以利用霍夫變換(houghtransform)從圖像中檢測(cè)圓，將所檢測(cè)出的圓中的半徑最大的圓設(shè)為輪廓?；蛘?，對(duì)象物提取部240以作為對(duì)象物的胚的大小例如直徑100μm為基準(zhǔn)，將所檢測(cè)出的圓中的直徑的大小最接近基準(zhǔn)的圓設(shè)為輪廓。對(duì)確定胚s的輪廓的一例進(jìn)行說(shuō)明。胚的形狀的一例是具有約100μm的半徑的球。對(duì)象物提取部240為了提取胚s的邊緣點(diǎn)，對(duì)圖像ia實(shí)施拉普拉斯濾波。對(duì)象物提取部240使用濾波結(jié)果對(duì)圖像ia所包含的多個(gè)像素進(jìn)行分類。例如，對(duì)象物提取部240基于輸入圖像(在此為圖像ia)的輝度分布來(lái)設(shè)定閾值。閾值的例子是在輝度的柱狀圖中低輝度的像素達(dá)到全部像素?cái)?shù)的25％的邊界點(diǎn)。對(duì)象物提取部240將具有閾值以下的輝度的像素提取為邊緣點(diǎn)。對(duì)象物提取部240對(duì)所提取出的邊緣點(diǎn)進(jìn)行霍夫變換(houghtransform)來(lái)提取圓。例如，通過(guò)提取具有80μm～120μm的范圍的半徑的圓，由此提取與胚s對(duì)應(yīng)的圓。通過(guò)霍夫變換，可導(dǎo)出圓的中心和半徑，因此能夠在圖像ia上確定作為輪廓的圓。此外，圖20是將多個(gè)背景除去合焦圖像ib按照與其分別對(duì)應(yīng)的基準(zhǔn)焦面fp的配置順序堆積成一列來(lái)表示的、與圖18同樣的示意圖。另外，圖21中示出將堆積成一列而排列的背景除去合焦圖像ib在顯示部150的顯示畫(huà)面151上作為圖像進(jìn)行了顯示的例子。圖21是表示將背景除去合焦圖像ib作為圖像進(jìn)行了顯示的例子的照片的圖，示出胚s包含4個(gè)細(xì)胞的例子。

(步驟s2600)

如圖22所示，3d圖像生成部250從多個(gè)背景除去合焦圖像ib中，提取胚s的顯現(xiàn)區(qū)域m包含對(duì)比度最強(qiáng)的輪廓的輪廓基準(zhǔn)合焦圖像iba。3d圖像生成部250也可以通過(guò)以下這樣來(lái)判定第1輪廓基準(zhǔn)合焦圖像iba1和第2輪廓基準(zhǔn)合焦圖像iba2的哪個(gè)具有對(duì)比度強(qiáng)的輪廓。例如，被判斷為第1輪廓基準(zhǔn)合焦圖像iba1所包含的輪廓的像素為a1個(gè)。3d圖像生成部250按被判斷為輪廓的各像素，求出與多個(gè)相鄰的像素之間的輝度差的最大值。將該最大值的總和設(shè)為a1。例如，被判斷為第2輪廓基準(zhǔn)合焦圖像iba2所包含的輪廓的像素為a2個(gè)。3d圖像生成部250按被判斷為輪廓的各像素，求出與多個(gè)相鄰的像素之間的輝度差的最大值。將該最大值的總和設(shè)為a2。如果是{(a1)/(a1)}>{(a2)/(a2)}，則3d圖像生成部250判斷為第1輪廓基準(zhǔn)合焦圖像iba1相比于第2輪廓基準(zhǔn)合焦圖像iba2包含對(duì)比對(duì)更強(qiáng)的輪廓。此外，圖22是表示輪廓基準(zhǔn)合焦圖像iba的一例的示意圖。使顯現(xiàn)區(qū)域m的輪廓的對(duì)比度最強(qiáng)的像素的輝度，相當(dāng)于當(dāng)沿與圖像傳感器102的受光面垂直的方向從胚s的正上方向胚s照射光時(shí)圖像傳感器102的像素檢測(cè)經(jīng)過(guò)胚s的周緣及其附近的光而得到的輝度。因此，輪廓基準(zhǔn)合焦圖像iba中的顯現(xiàn)區(qū)域m的圓形狀的輪廓ma，相當(dāng)于經(jīng)過(guò)胚s的中心的斷面的輪廓即胚s的胚膜的二維輪廓，相當(dāng)于沿與圖像傳感器102的受光面垂直的方向觀察胚s時(shí)的胚s的平面形狀的輪廓。并且，3d圖像生成部250從輪廓基準(zhǔn)合焦圖像iba中提取胚s的輪廓ma。由此，可提取出胚s的二維輪廓ma。對(duì)于第1輪廓基準(zhǔn)合焦圖像iba1和第2輪廓基準(zhǔn)合焦圖像iba2的哪個(gè)包含對(duì)比度強(qiáng)的輪廓，也可以如以下這樣來(lái)判定。在被判斷為第1輪廓基準(zhǔn)合焦圖像iba1所包含的輪廓的像素的平均輝度值為a1、被判斷為第2輪廓基準(zhǔn)合焦圖像iba2所包含的輪廓的像素的平均輝度值為a2、與被判斷為第1輪廓基準(zhǔn)合焦圖像iba1所包含的輪廓的像素相鄰的像素的平均輝度為b1、與被判斷為第2輪廓基準(zhǔn)合焦圖像iba2所包含的輪廓的像素相鄰的像素的平均輝度為b2的情況下，如果|a1-b1|>|a2-b2|，則判斷為第1輪廓基準(zhǔn)合焦圖像iba1相比于第2輪廓基準(zhǔn)合焦圖像iba2包含對(duì)比度更強(qiáng)的輪廓。

(步驟s2700)

3d圖像生成部250根據(jù)從輪廓基準(zhǔn)合焦圖像iba中提取出的二維輪廓的形狀和存儲(chǔ)在第1記錄部121中的胚s的形狀，確定胚s的立體輪廓即三維輪廓。例如，第1記錄部121存儲(chǔ)有“胚s的形狀為球形”。具體而言，如圖22以及圖23所示，3d圖像生成部250根據(jù)輪廓基準(zhǔn)合焦圖像iba內(nèi)的顯現(xiàn)區(qū)域m的圓形狀的輪廓ma和存儲(chǔ)在第1記錄部121中的胚s的形狀為球形這一情況，將胚s的三維輪廓sc確定為是以輪廓ma的半徑為半徑的球形。圖23是表示胚s的三維輪廓的一例的示意圖。

(步驟s2800)

3d圖像生成部250對(duì)多個(gè)背景除去合焦圖像ib與胚s的三維輪廓sc進(jìn)行關(guān)聯(lián)，從多個(gè)背景除去合焦圖像ib中分別除去與三維輪廓sc的外部相當(dāng)?shù)膮^(qū)域來(lái)生成基準(zhǔn)斷面圖像ic。基準(zhǔn)斷面圖像ic相當(dāng)于通過(guò)步驟s2200決定的多個(gè)基準(zhǔn)焦面fp上的胚s的斷面圖像。

具體而言，3d圖像生成部250確定與各背景除去合焦圖像ib對(duì)應(yīng)的基準(zhǔn)焦面fp和胚s的球形輪廓sc之間的位置關(guān)系。此時(shí)，3d圖像生成部250將包含輪廓基準(zhǔn)合焦圖像iba的基準(zhǔn)焦面fp決定為是經(jīng)過(guò)三維輪廓sc的中心且與圖像傳感器102的受光面大致平行的面。進(jìn)而，3d圖像生成部250基于上述決定，算出包含其他背景除去合焦圖像ib的基準(zhǔn)焦面fp相對(duì)于三維輪廓sc的位置。接著，3d圖像生成部250如圖24所示，從多個(gè)背景除去合焦圖像ib中分別除去胚s的球形輪廓sc外的區(qū)域，生成多個(gè)基準(zhǔn)斷面圖像ic。圖24是表示多個(gè)基準(zhǔn)斷面圖像ic的一例的、與圖18同樣的示意圖。在圖24中，示出了多個(gè)基準(zhǔn)斷面圖像ic按照各自的基準(zhǔn)焦面fp的配置順序排成一列?；鶞?zhǔn)斷面圖像ic是基準(zhǔn)焦面fp上的胚s的斷面圖像。另外，圖25中示出將除去了胚s的球形輪廓sc外的區(qū)域之后的多個(gè)基準(zhǔn)斷面圖像ic在顯示部150的顯示畫(huà)面151上作為圖像進(jìn)行了顯示的例子。圖25是表示將基準(zhǔn)斷面圖像ic作為圖像進(jìn)行了顯示的例子的照片的圖。在圖25的狀態(tài)a下，示出了全部的基準(zhǔn)斷面圖像ic，形成有胚s的球形輪廓sc的外形。在圖25的狀態(tài)b下，示出了基準(zhǔn)斷面圖像ic中的一部分。

此外，也可以不一定在步驟s2500中實(shí)施背景除去合焦圖像ib的形成。例如，也可以通過(guò)步驟s2800中的除去胚s的球形輪廓sc外的區(qū)域的處理，將基準(zhǔn)合焦圖像ia中的顯現(xiàn)區(qū)域m的輪廓的外側(cè)的背景一起除去。也就是說(shuō)，步驟s2500的處理也可以包含在步驟s2800的處理中。該情況下，對(duì)基準(zhǔn)合焦圖像ia實(shí)施步驟s2600～s2800的處理。

(步驟s2900)

3d圖像生成部250使用胚s的三維輪廓sc以及多個(gè)基準(zhǔn)斷面圖像ic，生成胚s的三維模型即3d模型a來(lái)作為能夠向顯示器等輸出的圖像數(shù)據(jù)。3d模型a包含與胚s的球形輪廓sc以及多個(gè)基準(zhǔn)斷面圖像ic有關(guān)的信息，包含基準(zhǔn)斷面圖像ic來(lái)作為其斷面圖像。3d模型a在作為圖像顯示于顯示部150的顯示畫(huà)面151的情況下，與圖25的狀態(tài)a是同樣的。

(步驟s3000)

圖像操作部260將3d圖像生成部250生成的胚s的3d模型a以能夠動(dòng)作的方式顯示于顯示部150。圖像操作部260基于被輸入到cg操作輸入部140的指令，對(duì)顯示部150上的胚s的3d模型a進(jìn)行移動(dòng)。圖像操作部260經(jīng)由cg操作輸入部140受理胚s中的各種位置的斷面的選擇。進(jìn)而，圖像操作部260可以將作為所選擇出的斷面的簡(jiǎn)易圖像的參考斷面圖像bi顯示于胚s的3d模型a上，或者將其與3d模型a分開(kāi)顯示。

例如，如圖26a、圖26b以及圖26c所示，圖像操作部260在顯示部150的顯示畫(huà)面151上將胚s的3d模型a以能夠在畫(huà)面上操作的狀態(tài)進(jìn)行顯示。此外，圖26a、圖26b以及圖26c分別是表示顯示部150顯示在其顯示畫(huà)面151上的胚s的3d模型的一例的圖。圖26a、圖26b以及圖26c所示的畫(huà)面是能夠讓用戶使用胚s的3d模型a來(lái)選擇顯示應(yīng)該詳細(xì)顯示的斷面的畫(huà)面。

在顯示畫(huà)面151中，胚s的3d模型a的位置通過(guò)xyz空間來(lái)定義。xy平面被設(shè)定為與圖像傳感器102的受光面平行。進(jìn)而，設(shè)定了經(jīng)過(guò)球形的胚s的3d模型a的中心的基準(zhǔn)軸c，基準(zhǔn)軸c的朝向通過(guò)xyz空間來(lái)定義。另外，與基準(zhǔn)軸c垂直的胚s的3d模型a的斷面b的位置通過(guò)xyz空間來(lái)定義。

如圖26a以及圖26b所示，在顯示畫(huà)面151中，按照從cg操作輸入部140輸入的指令，以3d模型a的球中心ac為基準(zhǔn)轉(zhuǎn)動(dòng)基準(zhǔn)軸c，自由地改變?cè)摶鶞?zhǔn)軸c的朝向。在顯示畫(huà)面151的邊緣附近，示出橫向移動(dòng)滾動(dòng)條152和縱向移動(dòng)滾動(dòng)條153。通過(guò)橫向移動(dòng)滾動(dòng)條152中的滾動(dòng)操作，基準(zhǔn)軸c以3d模型a的球中心ac為基準(zhǔn)在沿著xy平面的方向上進(jìn)行轉(zhuǎn)動(dòng)，也就是說(shuō)，以經(jīng)過(guò)3d模型a的中心的與z軸平行的軸為中心進(jìn)行轉(zhuǎn)動(dòng)。通過(guò)縱向移動(dòng)滾動(dòng)條153中的滾動(dòng)操作，基準(zhǔn)軸c以3d模型a的中心為基準(zhǔn)在沿著yz平面的方向上進(jìn)行轉(zhuǎn)動(dòng)，也就是說(shuō)，以經(jīng)過(guò)3d模型a的中心的與x軸平行的軸為中心進(jìn)行轉(zhuǎn)動(dòng)。由此，可任意地改變基準(zhǔn)軸c的朝向。另外，在顯示畫(huà)面151上位于右側(cè)上部的移動(dòng)位置顯示部155，使用x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)來(lái)表示基準(zhǔn)軸c的方向矢量?；鶞?zhǔn)軸c的朝向也可以通過(guò)向移動(dòng)位置顯示部155的x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)的欄輸入數(shù)值來(lái)決定。此外，使基準(zhǔn)軸c移動(dòng)的結(jié)構(gòu)不限定于上述結(jié)構(gòu)，可以是任何結(jié)構(gòu)。

進(jìn)而，如圖26b以及圖26c所示，3d模型a的斷面b按照從cg操作輸入部140輸入的指令，在基準(zhǔn)軸c上沿軸方向自由地滑動(dòng)。并且，在3d模型a的斷面b中，作為簡(jiǎn)易制作出的斷面b的圖像的參考斷面圖像bi，根據(jù)斷面b的位置來(lái)改變并顯示其顯示內(nèi)容。例如，圖27中示出將圖26c的3d模型a在顯示部150的顯示畫(huà)面151上作為圖像進(jìn)行了顯示的例子。圖27是以照片來(lái)表示將圖26c在顯示畫(huà)面上進(jìn)行了顯示的例子的一部分的圖。此外，參考斷面圖像bi也可以顯示于與斷面b不同的位置。

在顯示畫(huà)面151的邊緣附近，示出斷面移動(dòng)滾動(dòng)條154。通過(guò)斷面移動(dòng)滾動(dòng)條154中的滾動(dòng)操作，包含參考斷面圖像bi的斷面b一邊改變其顯示內(nèi)容一邊在基準(zhǔn)軸c上滑動(dòng)，即進(jìn)行平行移動(dòng)。另外，在顯示畫(huà)面151上位于右側(cè)中央附近的斷面位置顯示部156，使用x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)來(lái)表示3d模型a的斷面b與基準(zhǔn)軸c的交點(diǎn)即斷面b的中心點(diǎn)bc的位置。斷面b的位置也可以通過(guò)向斷面位置顯示部156的x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)的欄輸入數(shù)值來(lái)決定。此外，使斷面b移動(dòng)的結(jié)構(gòu)不限定于上述結(jié)構(gòu)，可以是任何結(jié)構(gòu)。

由此，通過(guò)組合基準(zhǔn)軸c的轉(zhuǎn)動(dòng)和斷面b的滑動(dòng)，可以將3d模型a中的任意位置的參考斷面圖像bi顯示于顯示部150的顯示畫(huà)面151。此外，在本例中，基準(zhǔn)軸c以及斷面b移動(dòng)且3d模型a不移動(dòng)，但也可以伴隨旋轉(zhuǎn)等移動(dòng)地顯示3d模型a。改變斷面b的位置的結(jié)構(gòu)可以是任何結(jié)構(gòu)。

參考斷面圖像bi使用3d模型a所包含的信息、即胚s的球形輪廓sc內(nèi)的多個(gè)基準(zhǔn)斷面圖像ic所包含的信息來(lái)生成。例如，在斷面b的參考斷面圖像bi中，參考斷面圖像bi中的與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp交叉的交叉部分的像素使用基準(zhǔn)斷面圖像ic的像素的輝度來(lái)顯示。上述交叉部分以外的區(qū)域的像素使用該像素附近的基準(zhǔn)斷面圖像ic的像素的輝度等來(lái)顯示或不顯示。因此，參考斷面圖像bi表示斷面b的簡(jiǎn)易圖像。

另外，本實(shí)施方式涉及的圖像生成系統(tǒng)10構(gòu)成為通過(guò)提供應(yīng)該詳細(xì)顯示的胚s的斷面的位置信息，生成該斷面的詳細(xì)圖像并顯示于顯示部150。此時(shí)，圖像生成裝置200的斷面圖像生成部270生成斷面的詳細(xì)圖像并顯示于顯示部150。應(yīng)該詳細(xì)顯示的胚s的斷面的位置信息，也可以通過(guò)經(jīng)由cg操作輸入部140選擇并決定當(dāng)前顯示在顯示部150的顯示畫(huà)面151中的胚s的參考斷面圖像bi來(lái)提供。

參照?qǐng)D28來(lái)說(shuō)明由圖像生成系統(tǒng)10進(jìn)行的胚s的詳細(xì)的斷面圖像的顯示工作的例子。圖28是表示由實(shí)施方式1涉及的圖像生成系統(tǒng)10進(jìn)行的胚s的詳細(xì)的斷面圖像的顯示工作的一例的流程圖。以下，說(shuō)明使用顯示在顯示部150上的胚s的3d模型a來(lái)決定應(yīng)該詳細(xì)顯示的胚s的斷面的位置的例子。

(步驟s4100)

圖像生成裝置200的圖像操作部260將胚s的3d模型a以能夠進(jìn)行3d模型a的基準(zhǔn)軸c的轉(zhuǎn)動(dòng)、斷面b的滑動(dòng)等動(dòng)作的方式顯示于顯示部150。

(步驟s4200)

圖像操作部260如圖26a～圖26c所示，按照經(jīng)由cg操作輸入部140輸入的指令，使顯示部150的顯示畫(huà)面151上的胚s的3d模型a的基準(zhǔn)軸c轉(zhuǎn)動(dòng)、或者使斷面b滑動(dòng)，由此，顯示3d模型a的各種參考斷面圖像bi。并且，在正顯示的斷面b的位置成為所希望的位置、或者正顯示的參考斷面圖像bi是所希望的斷面的情況下，也就是說(shuō)，在顯示畫(huà)面151正在顯示所希望的斷面或者其位置的情況下，用戶經(jīng)由cg操作輸入部140提供用于顯示該斷面的詳細(xì)情況的指令(步驟s4200：是)。由此，應(yīng)該詳細(xì)顯示的胚s的斷面的位置也被決定。此時(shí)，通過(guò)經(jīng)由cg操作輸入部140的輸入，顯示畫(huà)面151上的重新聚焦圖標(biāo)157被選擇并執(zhí)行。其結(jié)果是，斷面圖像生成部270為了生成應(yīng)該顯示的胚s的斷面，進(jìn)入步驟s4300。另一方面，在重新聚焦圖標(biāo)157不被執(zhí)行、未發(fā)出要詳細(xì)顯示胚s的斷面的指令的情況下(步驟s4200：否)，圖像操作部260實(shí)施步驟s4100的工作。

(步驟s4300)

斷面圖像生成部270使用所決定的斷面的位置和多個(gè)基準(zhǔn)斷面圖像ic所包含的信息，生成所決定的斷面的詳細(xì)圖像。具體而言，斷面圖像生成部270通過(guò)重新聚焦處理，生成以所決定的斷面為焦面的合焦圖像。也就是說(shuō)，斷面圖像生成部270對(duì)所決定的斷面中的與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp重疊或交叉的部分的像素的輝度值，直接應(yīng)用該基準(zhǔn)斷面圖像ic的像素的輝度值。斷面圖像生成部270使用位于插補(bǔ)像素的附近的基準(zhǔn)焦面fp的基準(zhǔn)斷面圖像ic的像素的輝度值來(lái)算出該插補(bǔ)像素的輝度值，所述插補(bǔ)像素是所決定的斷面中的與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp既不重疊也不交叉的區(qū)域內(nèi)的像素。并且，斷面圖像生成部270使用基準(zhǔn)斷面圖像ic的像素的輝度值和插補(bǔ)像素的輝度值，生成所決定的胚s的斷面的合焦圖像即詳細(xì)的斷面圖像來(lái)作為能夠向顯示器等輸出的圖像數(shù)據(jù)，并顯示于顯示畫(huà)面151。

通過(guò)以上所述，圖像生成系統(tǒng)10的用戶操作cg操作輸入部140，能夠使顯示部150的顯示畫(huà)面151顯示胚s的3d模型a中的所希望的參考斷面圖像bi或者其位置。進(jìn)而，用戶操作cg操作輸入部140來(lái)選擇已顯示的參考斷面圖像bi或者其位置，能夠獲得參考斷面圖像bi的詳細(xì)的斷面圖像。

在此，參照?qǐng)D29以及圖30，說(shuō)明應(yīng)該詳細(xì)顯示的斷面bd與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp交叉的情況下的該斷面bd上的像素的輝度值的計(jì)算方法。此外，圖29是表示使用與應(yīng)該詳細(xì)顯示的斷面bd交叉的2個(gè)基準(zhǔn)焦面fpa以及fpb的基準(zhǔn)斷面圖像ica以及icb的像素來(lái)推定斷面bd上的像素的輝度值的情形的例子的圖。圖30是表示在應(yīng)該詳細(xì)顯示的斷面bd上的像素的計(jì)算中使用的該像素與2個(gè)基準(zhǔn)斷面圖像ica以及icb的像素之間的關(guān)系的圖。

斷面bd與彼此相鄰的2個(gè)基準(zhǔn)斷面圖像ica以及icb的基準(zhǔn)焦面fpa以及fpb交叉。應(yīng)該推定輝度值的斷面bd上的像素bda是位于基準(zhǔn)焦面fpa和fpb之間的插補(bǔ)像素。基準(zhǔn)焦面fpa以及fpb是插補(bǔ)像素bda的位置附近的合焦圖像平面。并且，插補(bǔ)像素bda的輝度值可使用位于插補(bǔ)像素bda的位置附近的基準(zhǔn)斷面圖像ica的2個(gè)像素ica1以及ica2和位于插補(bǔ)像素bda的位置附近的基準(zhǔn)斷面圖像icb的2個(gè)像素icb1以及icb2來(lái)推定。因此，基準(zhǔn)斷面圖像中包含對(duì)插補(bǔ)像素bda的輝度值產(chǎn)生影響的像素的基準(zhǔn)焦面fpa以及fpb，也可以是距離插補(bǔ)像素bda的位置最近的基準(zhǔn)焦面。

從插補(bǔ)像素bda的位置到像素ica1、ica2、icb1以及icb2各自的位置為止的距離是a1、a2、b1以及b2。像素ica1、ica2、icb1以及icb2各自的輝度值是la1、la2、lb1以及l(fā)b2。由此，插補(bǔ)像素bda的輝度值lbda通過(guò)以下的式4來(lái)求出。

由此，應(yīng)該推定的斷面bd上的插補(bǔ)像素bda的輝度值，使用與像素bda相鄰的2個(gè)基準(zhǔn)焦面fpa以及fpb的基準(zhǔn)斷面圖像ica以及icb的像素的輝度值來(lái)推定。

對(duì)于應(yīng)該詳細(xì)顯示的斷面bd的合焦圖像，使用斷面bd與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp的重疊部分或交叉部分中的基準(zhǔn)斷面圖像ic的像素的輝度值和利用插補(bǔ)像素附近的基準(zhǔn)焦面fp的基準(zhǔn)斷面圖像ic的像素的輝度值而算出的插補(bǔ)像素的輝度值來(lái)生成。由此，斷面b的合焦圖像通過(guò)使用了預(yù)先生成的基準(zhǔn)斷面圖像ic所包含的信息的重新聚焦處理來(lái)生成。因此，與如基準(zhǔn)斷面圖像ic那樣通過(guò)使用了多個(gè)拍攝圖像的重新聚焦處理來(lái)生成合焦圖像的情況相比，生成斷面bd的合焦圖像既簡(jiǎn)單又迅速。此外，在插補(bǔ)像素bda的計(jì)算中，也可以使用基準(zhǔn)斷面圖像ica的3個(gè)以上的像素，還可以使用基準(zhǔn)斷面圖像icb的3個(gè)以上的像素。另外，即使在應(yīng)該詳細(xì)顯示的斷面bd與基準(zhǔn)斷面圖像ic的基準(zhǔn)焦面fp平行的情況下，也能夠與上述同樣地計(jì)算斷面bd上的像素的輝度值。

[1-3.效果]

如上所述，根據(jù)本實(shí)施方式涉及的圖像生成裝置200，能夠生成關(guān)于經(jīng)過(guò)作為對(duì)象物的胚s的多個(gè)基準(zhǔn)焦面的多個(gè)基準(zhǔn)合焦圖像，使用所生成的基準(zhǔn)合焦圖像來(lái)生成胚s的三維圖像。通過(guò)使用關(guān)于經(jīng)過(guò)胚s的多個(gè)基準(zhǔn)焦面的基準(zhǔn)合焦圖像，即使胚s半透明或者透明，也能夠?qū)⑴遱的三維圖像以也包含其內(nèi)部含有的細(xì)胞等要素的方式進(jìn)行立體顯示。另外，不是在胚s的全部區(qū)域中生成合焦圖像而是針對(duì)多個(gè)基準(zhǔn)焦面生成合焦圖像，因此也能夠降低胚s的三維圖像的生成所需的處理量。

另外，根據(jù)本實(shí)施方式涉及的圖像生成裝置200，能夠使用胚s的三維圖像來(lái)選擇任意的斷面，并進(jìn)行所選擇出的圖像的顯示。由于構(gòu)成胚s的斷面圖像的多個(gè)斷面像素的輝度值使用斷面像素上的基準(zhǔn)合焦圖像的像素的輝度值或者斷面像素附近的基準(zhǔn)合焦圖像的像素的輝度值來(lái)算出，因此，胚s的斷面圖像能夠成為減少了中斷、模糊等的清晰的圖像。進(jìn)而，由于構(gòu)成胚s的斷面圖像的斷面像素的輝度值使用夾著斷面像素位于兩側(cè)的基準(zhǔn)焦面的基準(zhǔn)合焦圖像的像素來(lái)算出，因此能夠具有高精度。

另外，根據(jù)本實(shí)施方式涉及的圖像生成裝置200，可生成表示胚s的參考用斷面的參考斷面圖像并顯示于顯示畫(huà)面。構(gòu)成參考斷面圖像的多個(gè)像素的輝度值可以被視為參考斷面圖像的像素上的基準(zhǔn)合焦圖像的像素的輝度值。由此，用戶能夠一邊參照參考斷面圖像，一邊選定應(yīng)該顯示的胚s的斷面。另外，由于參考斷面圖像的像素的輝度值直接使用了基準(zhǔn)合焦圖像的像素的輝度值，因此生成參考斷面圖像很簡(jiǎn)單。

另外，根據(jù)本實(shí)施方式涉及的圖像生成裝置200，將處于在直線上排列照明器101的位置、基準(zhǔn)合焦圖像的合焦像素的位置和圖像傳感器102的傳感器像素的位置這一關(guān)系的傳感器像素各自的輝度值應(yīng)用于合焦像素的輝度值，算出合焦像素的輝度值。由此，能夠在焦面上的合焦圖像的各像素上反映與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的輝度值，能夠生成胚s的高畫(huà)質(zhì)的合焦圖像。

[實(shí)施方式2]

接著，對(duì)實(shí)施方式2進(jìn)行說(shuō)明。在實(shí)施方式2中，與實(shí)施方式1不同之處在于：圖像生成系統(tǒng)在顯示部150的顯示畫(huà)面151上，在顯示胚s的3d模型a之前先顯示胚s的代表性的斷面圖像即最佳斷面圖像。以下，以與實(shí)施方式1不同之處為中心來(lái)對(duì)實(shí)施方式2進(jìn)行說(shuō)明。

[2-1.圖像生成系統(tǒng)的構(gòu)成]

參照?qǐng)D31，示出了表示實(shí)施方式2涉及的圖像生成系統(tǒng)10a的功能結(jié)構(gòu)的一例的框圖。在本實(shí)施方式中，拍攝裝置100的多個(gè)照明器101設(shè)置成在平坦的面上呈格子狀排列。圖像生成裝置200a相對(duì)于實(shí)施方式1的圖像生成系統(tǒng)10的圖像生成裝置200，還具備最佳斷面決定部280以及最佳斷面圖像生成部290。第1記錄部121除了存儲(chǔ)有預(yù)先確定的焦面以及作為拍攝對(duì)象物的胚s的形狀等信息之外，還預(yù)先存儲(chǔ)有胚s的初期胚模型。圖像生成系統(tǒng)10a具備胚模型輸入部160，該胚模型輸入部160受理用于從第1記錄部121的初期胚模型中選擇應(yīng)該顯示于顯示部150的胚s的模型的指令的輸入。

在第1記錄部121所存儲(chǔ)的胚s的初期胚模型中，包括胚s所包含的細(xì)胞數(shù)。在胚s的初期胚模型中，也可以將胚s所包含的細(xì)胞數(shù)和從開(kāi)始培養(yǎng)胚s起的經(jīng)過(guò)時(shí)間進(jìn)行關(guān)聯(lián)地存儲(chǔ)。該情況下，胚s的初期胚模型也可以存儲(chǔ)為圖32所示那樣的表。圖32表示第1記錄部121存儲(chǔ)的初期胚模型的一例。在圖32的例子中，對(duì)初期胚模型的模型id、從開(kāi)始培養(yǎng)胚起的經(jīng)過(guò)時(shí)間即培養(yǎng)時(shí)間、在上述培養(yǎng)時(shí)間時(shí)胚可能包含的細(xì)胞數(shù)、和上述培養(yǎng)時(shí)間時(shí)的胚的例示性的示意圖進(jìn)行組合存儲(chǔ)。

最佳斷面決定部280例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。最佳斷面決定部280在要將胚s顯示于顯示部150的情況下，決定最初作為示例而應(yīng)該顯示的胚s的最佳斷面。此時(shí)，最佳斷面決定部280基于經(jīng)由胚模型輸入部160選擇出的胚模型所包含的細(xì)胞數(shù)，決定最佳斷面的候選數(shù)和最佳斷面可能包含的細(xì)胞數(shù)。最佳斷面決定部280基于所決定的各要素，算出最佳斷面的位置，并發(fā)送給重新聚焦處理部220。

具體而言，最佳斷面決定部280參照預(yù)先記錄在第1記錄部121中的圖33所示那樣的最佳斷面設(shè)定表，基于該最佳斷面設(shè)定表來(lái)進(jìn)行與最佳斷面有關(guān)的上述要素的決定。在上述要素的決定之后，最佳斷面決定部280如后述那樣來(lái)決定胚s中的最佳斷面的位置。此外，圖33表示第1記錄部121存儲(chǔ)的最佳斷面設(shè)定表的一例。在圖33的例子中，對(duì)胚內(nèi)的細(xì)胞數(shù)、最佳斷面即最佳焦面的候選數(shù)、和最佳焦面上的胚的斷面圖像即最佳斷面圖像可能包含的細(xì)胞的最大數(shù)進(jìn)行組合存儲(chǔ)。

在圖33的最佳斷面設(shè)定表中，在最佳焦面的候選數(shù)為一個(gè)的情況下，最佳焦面經(jīng)過(guò)胚內(nèi)的細(xì)胞的中心或距中心5μm的區(qū)域內(nèi)的情況下的最佳焦面可能會(huì)經(jīng)過(guò)的細(xì)胞的個(gè)數(shù)的最大值，可以被視為最佳焦面上的最佳斷面圖像可能包含的細(xì)胞的最大數(shù)。或者，最佳焦面經(jīng)過(guò)距各細(xì)胞的中心的距離成為最小的位置的情況下的最佳焦面可能會(huì)經(jīng)過(guò)的細(xì)胞的個(gè)數(shù)的最大值，可以被視為最佳焦面上的最佳斷面圖像可能包含的細(xì)胞的最大數(shù)。此時(shí)，距各細(xì)胞的中心的距離成為最小，也可以被視為距各細(xì)胞的中心的距離的總和成為最小。

在最佳焦面的候選數(shù)為2個(gè)以上的情況下，最佳焦面的個(gè)數(shù)可根據(jù)胚內(nèi)的細(xì)胞數(shù)來(lái)設(shè)定。進(jìn)而，最佳焦面經(jīng)過(guò)距多個(gè)細(xì)胞的中心的距離成為最小的位置的情況下的最佳焦面可能經(jīng)過(guò)的細(xì)胞的個(gè)數(shù)的最大值，可以被視為最佳焦面上的最佳斷面的圖像可能包含的細(xì)胞的最大數(shù)。此時(shí)，距多個(gè)細(xì)胞的中心的距離成為最小，既可以被視為距多個(gè)細(xì)胞的中心的距離的總和成為最小，也可以被視為距全部細(xì)胞的中心的距離的總和成為最小。

最佳斷面圖像生成部290例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)。最佳斷面圖像生成部290根據(jù)由重新聚焦處理部220計(jì)算出的各個(gè)像素的輝度值，生成最佳焦面上的合焦圖像、即最佳斷面的圖像，并顯示于顯示部150。

[2-2.圖像生成系統(tǒng)的工作]

對(duì)由如上述那樣構(gòu)成的圖像生成系統(tǒng)10a進(jìn)行的向顯示部150顯示最佳斷面圖像的顯示工作進(jìn)行說(shuō)明。圖34是表示實(shí)施方式2涉及的圖像生成系統(tǒng)10a的最佳斷面圖像的顯示工作的一例的流程圖。此外，以下，對(duì)胚s包含圖17所示那樣的2個(gè)細(xì)胞s1以及s2的情況進(jìn)行說(shuō)明。

(步驟s5100)

圖像生成系統(tǒng)10a的圖像生成裝置200a的最佳斷面決定部280將存儲(chǔ)在第1記錄部121中的胚s的胚模型顯示于顯示部150。

(步驟s5200)

圖像生成系統(tǒng)10a的用戶參照如圖32所示那樣的顯示于顯示部150的胚s的胚模型的表，經(jīng)由胚模型輸入部160的輸入，選擇應(yīng)該在顯示部150顯示最佳斷面圖像的胚的模型id。此時(shí)，用戶例如也可以通過(guò)對(duì)基于照明器101的拍攝時(shí)的胚的培養(yǎng)時(shí)間等和示出在胚模型的表中的培養(yǎng)時(shí)間進(jìn)行比較，選定與拍攝時(shí)對(duì)應(yīng)的胚的模型。

(步驟s5300)

最佳斷面決定部280基于所選擇出的胚模型所包含的細(xì)胞的個(gè)數(shù)和圖33所示那樣的存儲(chǔ)在第1記錄部121中的最佳斷面設(shè)定表，決定最佳斷面即最佳焦面的要素。具體而言，最佳斷面決定部280決定最佳焦面的個(gè)數(shù)和最佳焦面上的斷面圖像可能包含的最大細(xì)胞數(shù)。

(步驟s5400)

接著，最佳斷面決定部280算出胚s中的最佳焦面的位置。此時(shí)，最佳斷面決定部280從存儲(chǔ)部120中取得與多個(gè)照明器101的位置信息關(guān)聯(lián)的多個(gè)拍攝圖像。進(jìn)而，最佳斷面決定部280如圖35所示，選擇由在平坦面上排列成格子狀而配置的多個(gè)照明器101中的排列在直線上的照明器101構(gòu)成的照明器組g。并且，最佳斷面決定部280從所取得的拍攝圖像中，選定照明器組g的照明器101分別進(jìn)行照明時(shí)所拍攝到的拍攝圖像，形成包括這些拍攝圖像的拍攝圖像組。此外，圖35示出在從照明器向圖像傳感器102的方向上觀察多個(gè)照明器時(shí)的照明的配置圖。圖35中的圈所示的照明器101是點(diǎn)光源，例如通過(guò)光源和直徑10μm的針孔來(lái)實(shí)現(xiàn)。圖中的圈示出了照明器101的中心位置。照明器101的間隔pt例如是300μm。胚s被配置在圖35中的黑點(diǎn)所示的圓的位置，也就是說(shuō)，胚s被配置在照明器101的大致正下方。胚s的直徑約為100μm。進(jìn)而，最佳斷面決定部280在拍攝圖像組的各個(gè)拍攝圖像中，提取與胚s和胚s內(nèi)的2個(gè)細(xì)胞s1以及s2的形狀相符合的線。具體而言，胚s和2個(gè)細(xì)胞s1以及s2都是球形，因此最佳斷面決定部280從各拍攝圖像中提取胚s的圓形狀和胚s的圓形狀中所包含的2個(gè)細(xì)胞s1以及s2的圓形狀。胚s的輪廓例如如以下這樣來(lái)確定。胚的形狀大體上是球，其半徑約為100μm。首先，為了提取邊緣點(diǎn)，對(duì)圖像ia實(shí)施拉普拉斯濾波。以閾值對(duì)濾波結(jié)果進(jìn)行分類。閾值例如基于輸入圖像(在此為圖像ia)的輝度分布來(lái)設(shè)定。例如根據(jù)輝度的柱狀圖，將低輝度的像素成為全部像素?cái)?shù)的25％的點(diǎn)設(shè)為閾值。提取輝度為閾值以下的像素來(lái)作為邊緣點(diǎn)。對(duì)所提取出的邊緣點(diǎn)，進(jìn)行霍夫變換(houghtransform)，提取圓。此時(shí)，通過(guò)設(shè)半徑例如為80μm～120μm的范圍來(lái)提取圓，由此提取與胚s對(duì)應(yīng)的圓。通過(guò)霍夫變換，可導(dǎo)出圓的中心和半徑，因此能夠在圖像ia上確定作為輪廓的圓。進(jìn)而，細(xì)胞s1以及s2使用所決定的胚s的輪廓即圓的內(nèi)側(cè)的邊緣點(diǎn)，通過(guò)進(jìn)行霍夫變換來(lái)提取。在霍夫變換時(shí)，在設(shè)半徑為30μm以上且60μm以下的范圍內(nèi)進(jìn)行提取，允許2個(gè)圓有重疊來(lái)進(jìn)行提取。

(步驟s5500)

最佳斷面決定部280在拍攝圖像組內(nèi)的多個(gè)拍攝圖像之間，確定拍攝圖像所包含的同一要素。例如，如圖36所示，最佳斷面決定部280在拍攝圖像組內(nèi)的多個(gè)拍攝圖像a、b和c之間，將表示胚s的形狀的圓1、表示胚s內(nèi)的2個(gè)細(xì)胞中的第1細(xì)胞s1的形狀的圓2和表示2個(gè)細(xì)胞中的第2細(xì)胞s2的形狀的圓3互相關(guān)聯(lián)地進(jìn)行確定。此外，圖36是表示拍攝圖像組內(nèi)的多個(gè)拍攝圖像a、b和c之間的各要素的對(duì)應(yīng)關(guān)系的圖。在圖36中，使用了拍攝圖像a、b以及c，但也可以使用拍攝圖像組內(nèi)的多個(gè)拍攝圖像的全部。此時(shí)，最佳斷面決定部280也可以根據(jù)包含圓2及3的圓1與圓2及3不交叉這樣的條件來(lái)確定圓1、圓2以及圓3。進(jìn)而，最佳斷面決定部280也可以根據(jù)在多個(gè)拍攝圖像之間圓具有同等大小、圓的位置伴隨著規(guī)則性而發(fā)生偏離等條件，確定圓1、圓2以及圓3。

此外，參照?qǐng)D35以及圖36，拍攝圖像a是位于照明器組g的一方的端部的照明器101ga進(jìn)行照明時(shí)所拍攝到的圖像。拍攝圖像b是位于照明器組g的另一方的端部的照明器101gb進(jìn)行照明時(shí)所拍攝到的圖像。拍攝圖像c是位于照明器組g的中間的照明器101gc進(jìn)行照明時(shí)所拍攝到的圖像。因此，隨著從拍攝圖像a向拍攝圖像b轉(zhuǎn)變，圓1、圓2以及圓3的位置分別在各拍攝圖像之間伴隨著規(guī)則性而發(fā)生偏離。

(步驟s5600)

如圖37所示，最佳斷面決定部280算出在拍攝圖像a、b以及c各自中所確定出的圓1、圓2以及圓3的特征點(diǎn)即中心的位置。最佳斷面決定部280也可以將與所確定出的圓的圓周上所包含的多個(gè)點(diǎn)相距相同距離的點(diǎn)計(jì)算為圓的中心的位置。圖37是表示拍攝圖像a、b以及c的各要素的中心的位置的圖。這些圓1、圓2以及圓3的中心的位置與圖像傳感器102的受光面的像素的位置對(duì)應(yīng)。因此，最佳斷面決定部280也可以算出圓1、圓2以及圓3的中心分別相對(duì)于拍攝圖像a、b以及c的相對(duì)位置。在此，第1細(xì)胞s1的圓2的中心以及第2細(xì)胞s2的圓3的中心是拍攝圖像中的第二對(duì)象物的特征點(diǎn)的一例。然而，拍攝圖像中的第二對(duì)象物的特征點(diǎn)不限定于圓的中心。在第二對(duì)象物不是如細(xì)胞s1以及s2那樣具有球形狀的情況下，也可以將重心、內(nèi)心、外心、垂心、頂點(diǎn)、拐角點(diǎn)等能夠確定位置的點(diǎn)視為特征點(diǎn)。例如，在第二對(duì)象物是多邊形的情況下，可對(duì)拍攝圖像上的第二對(duì)象物設(shè)定重心、內(nèi)心、外心、垂心或者頂點(diǎn)等特征點(diǎn)。通過(guò)步驟s5500以及s5600的處理，在拍攝圖像間關(guān)聯(lián)有胚s、細(xì)胞s1以及細(xì)胞s2的特征點(diǎn)。在本例中，在拍攝圖像間分別關(guān)聯(lián)了胚s、細(xì)胞s1以及細(xì)胞s2之后，在各拍攝圖像中設(shè)定胚s、細(xì)胞s1以及細(xì)胞s2的特征點(diǎn)，但不限定于此。也可以在各拍攝圖像中設(shè)定了胚s、細(xì)胞s1以及細(xì)胞s2的特征點(diǎn)之后，在拍攝圖像間關(guān)聯(lián)胚s、細(xì)胞s1以及細(xì)胞s2和胚s、細(xì)胞s1以及細(xì)胞s2的特征點(diǎn)。

(步驟s5700)

最佳斷面決定部280算出拍攝圖像a、b和c之間的同一圓的中心位置的距離，也就是說(shuō)，算出拍攝圖像a、b和c之間的同一圓的中心的位置關(guān)系。具體而言，如圖38所示，最佳斷面決定部280算出拍攝圖像a、b和c各自的圓1的中心位置間的距離、即拍攝圖像a、b和c間的圓1的中心位置的偏離量。同樣地，最佳斷面決定部280算出拍攝圖像a、b和c各自的圓2的中心位置間的距離。進(jìn)而，最佳斷面決定部280算出拍攝圖像a、b和c各自的圓3的中心位置間的距離。圖38是表示拍攝圖像a、b和c間的各要素的中心的位置關(guān)系的圖。此外，拍攝圖像a、b和c之間的同一圓的中心位置間的距離是指分別經(jīng)過(guò)該圓的中心的3條平行線之間的距離。在圖38中，設(shè)為拍攝圖像a、b和c之間的同一圓的中心位置間的距離是沿著照明器組g的照明器101的排列方向的距離。

(步驟s5800)

最佳斷面決定部280根據(jù)拍攝圖像a、b和c之間的同一圓的中心位置間的距離和與拍攝圖像a、b以及c對(duì)應(yīng)的照明器101的位置，算出形成胚s、第1細(xì)胞s1和第2細(xì)胞s2各自的外形的球的中心的位置。例如，如圖39所示，按照拍攝圖像a的圓1的中心ca與拍攝圖像c的圓1的中心cc之間的距離d1和拍攝圖像c的圓1的中心cc與拍攝圖像b的圓1的中心cb之間的距離d2，中心ca、cb以及cc在圖像傳感器102的受光面上排列。此外，圖39是表示拍攝圖像a、b以及c的要素的中心與照明器的位置關(guān)系的圖。

此時(shí)，中心ca、cb以及cc可能排列在大致一條直線上。并且，拍攝圖像a所使用的照明器即與拍攝圖像a對(duì)應(yīng)的照明器101ga的位置和中心ca以直線l1連結(jié)。同樣地，與拍攝圖像b對(duì)應(yīng)的照明器101gb的位置和中心cb以直線l2連結(jié)。與拍攝圖像c對(duì)應(yīng)的照明器101gc的位置和中心cc以直線l3連結(jié)。最佳斷面決定部280將直線l1、l2和l3的交點(diǎn)c1的位置決定為胚s的中心的立體的位置即三維位置。直線l1、l2和l3的交點(diǎn)c1的從圖像傳感器102的受光面起的高度位置成為胚s的中心的高度位置。此外，在直線l1、l2和l3不相交于一點(diǎn)時(shí)，也可以將到直線l1、l2和l3各自為止的距離的總和成為最短的點(diǎn)的位置設(shè)為胚s的中心位置。另外，最佳斷面決定部280對(duì)圓2以及圓3也實(shí)施與上述同樣的處理，算出第1細(xì)胞s1以及第2細(xì)胞s2的中心位置。

(步驟s5900)

最佳斷面決定部280將包含第1細(xì)胞s1的中心以及第2細(xì)胞s2的中心的平面決定為最佳焦面即最佳斷面。例如，如圖40所示，在步驟s5800中，根據(jù)拍攝圖像a、b以及c中的第1細(xì)胞s1的圓2的3個(gè)中心的位置和照明器101ga、101gb以及101gc的位置，算出第1細(xì)胞s1的中心c2的立體位置。同樣地，根據(jù)拍攝圖像a、b以及c中的第2細(xì)胞s2的圓3的3個(gè)中心的位置和照明器101ga、101gb以及101gc的位置，算出第2細(xì)胞s2的中心c3的立體位置。此外，圖40是表示胚s所包含的2個(gè)細(xì)胞s1和s2的中心c2和c3之間的位置關(guān)系的圖。此外，在本實(shí)施方式中細(xì)胞是細(xì)胞s1和細(xì)胞s2這2個(gè)，因此將包含第1細(xì)胞s1的中心以及第2細(xì)胞s2的中心的平面設(shè)為最佳斷面。在細(xì)胞為3個(gè)以上的情況下，對(duì)于多個(gè)細(xì)胞的中心，也可以將包含最多的細(xì)胞中心的平面決定最佳斷面。另外，對(duì)于多個(gè)細(xì)胞的中心，也可以將從各個(gè)細(xì)胞的中心到要求出的平面的垂直長(zhǎng)度的總和成為最小的平面決定為最佳斷面。

最佳斷面決定部280將經(jīng)過(guò)中心c2以及c3的平面決定為最佳焦面。此時(shí)，最佳斷面決定部280也可以決定最佳焦面，以使其接近經(jīng)過(guò)中心c2以及c3的平面中的與圖像傳感器102的受光面平行的面。具體而言，最佳斷面決定部280也可以決定最佳焦面，以使其相對(duì)于與圖像傳感器102的受光面平行的面具有10度以下的傾斜角度。

另外，最佳斷面決定部280在胚s中包含3個(gè)以上的細(xì)胞的情況下，也可以決定最佳焦面，以使得最佳焦面包含最多的進(jìn)行與上述同樣的處理而得到了中心的位置的細(xì)胞的中心。與上述條件一起或者在上述條件之外，最佳斷面決定部280使從全部細(xì)胞的中心到最佳焦面為止的距離成為最小，也就是說(shuō)，也可以決定最佳焦面，以使得與全部細(xì)胞的中心相距的距離的總和成為最小。與上述條件一起或者在上述條件之外，最佳斷面決定部280也可以決定最佳焦面，以使得最佳焦面經(jīng)過(guò)進(jìn)行了與上述同樣的處理而得到了中心的位置的細(xì)胞中的3個(gè)細(xì)胞的中心并且從其他細(xì)胞的中心到最佳焦面為止的距離最小。進(jìn)而，在上述決定中，最佳斷面決定部280也可以決定最佳焦面以使其接近與圖像傳感器102的受光面平行的面。

另外，如圖33所示，在最佳焦面的候選數(shù)有2個(gè)以上的情況下，最佳斷面決定部280也可以算出2個(gè)最佳焦面，既可以采用2個(gè)最佳焦面這兩方，也可以采用一方。并且，對(duì)于以下說(shuō)明的最佳焦面的最佳斷面圖像的顯示，既可以顯示2個(gè)最佳焦面的最佳斷面圖像，也可以顯示2個(gè)最佳焦面的一方的最佳斷面圖像。

(步驟s6000)

最佳斷面決定部280將所決定的最佳焦面的位置信息發(fā)送給重新聚焦處理部220。重新聚焦處理部220使用存儲(chǔ)在存儲(chǔ)部120中的拍攝圖像，基于多個(gè)拍攝圖像、多個(gè)照明器101的位置信息和最佳焦面的位置信息，進(jìn)行重新聚焦處理，求出最佳焦面上的各像素的輝度。此外，重新聚焦處理部220也可以與實(shí)施方式1中由斷面圖像生成部270進(jìn)行的斷面圖像生成工作同樣地，利用基準(zhǔn)焦面fp的基準(zhǔn)斷面圖像ic所包含的信息來(lái)求出最佳焦面上的各像素的輝度。

(步驟s6100)

最佳斷面圖像生成部290基于通過(guò)步驟s6000進(jìn)行的重新聚焦處理的結(jié)果，將能夠向顯示器等輸出的圖像數(shù)據(jù)即最佳斷面圖像生成為合焦圖像，并顯示于顯示部150。圖41以及圖42中示出顯示部150的顯示畫(huà)面151上的最佳斷面圖像的顯示例。圖41是表示胚s的最佳斷面圖像顯示在顯示部150的顯示畫(huà)面151上的一例的圖。圖42是表示將胚s的最佳斷面圖像作為圖像進(jìn)行了顯示的例子的照片的圖，示出胚s包含4個(gè)細(xì)胞的例子。

(步驟s6200)

在顯示畫(huà)面151上，除了顯示胚s的最佳斷面圖像iо之外，還顯示有焦面變更圖標(biāo)158。圖像生成系統(tǒng)10a的用戶在要使胚s的其他斷面圖像顯示的情況下，經(jīng)由cg操作輸入部140選擇并執(zhí)行焦面變更圖標(biāo)158(步驟s6200：是)。另一方面，在未經(jīng)由cg操作輸入部140發(fā)出從最佳斷面圖像iо變更顯示斷面的指令的情況下，繼續(xù)顯示最佳斷面圖像iо(步驟s6200：否)。

(步驟s6300)

在焦面變更圖標(biāo)158的執(zhí)行之后，圖像生成裝置200a的圖像操作部260在顯示部150的顯示畫(huà)面151上顯示圖43以及圖44所示那樣的焦面變更畫(huà)面。此外，圖43是表示顯示部150顯示于其顯示畫(huà)面151上的焦面變更畫(huà)面的一例的圖。圖44是表示將焦面變更畫(huà)面作為圖像進(jìn)行了顯示的例子的照片的圖，示出胚s包含4個(gè)細(xì)胞的例子。

在焦面變更畫(huà)面中，與實(shí)施方式1同樣地，顯示有通過(guò)xyz空間定義的胚s的3d模型a、橫向移動(dòng)滾動(dòng)條152、縱向移動(dòng)滾動(dòng)條153、斷面移動(dòng)滾動(dòng)條154、移動(dòng)位置顯示部155、斷面位置顯示部156以及重新聚焦圖標(biāo)157。在3d模型a中顯示有經(jīng)過(guò)3d模型a的中心的基準(zhǔn)軸c以及斷面平面b。經(jīng)由cg操作輸入部140的操作，基準(zhǔn)軸c能夠以3d模型a的中心為基準(zhǔn)進(jìn)行轉(zhuǎn)動(dòng)，斷面平面b能夠在基準(zhǔn)軸c上滑動(dòng)。此外，3d模型a自身也可以構(gòu)成為任意旋轉(zhuǎn)并使斷面平面b沿著固定的基準(zhǔn)軸c進(jìn)行滑動(dòng)。無(wú)論哪種情況，斷面平面b都能夠表示3d模型a的任意的斷面。進(jìn)而，在焦面變更畫(huà)面中示出斷面平面b上的胚s的詳細(xì)的斷面圖像159。

(步驟s6400)

通過(guò)經(jīng)由cg操作輸入部140的操作執(zhí)行重新聚焦圖標(biāo)157(步驟s6400：是)，圖像生成裝置200a的圖像操作部260將正在顯示的斷面平面b的位置決定為應(yīng)該顯示胚s的詳細(xì)的斷面圖像的斷面的位置。并且，圖像生成裝置200a的重新聚焦處理部220以及合焦圖像生成部230生成以斷面平面b為焦面的合焦圖像即胚s的詳細(xì)的斷面圖像，并顯示于顯示畫(huà)面151(步驟s6500)。對(duì)于胚s的詳細(xì)的斷面圖像的生成，也可以與實(shí)施方式1中的斷面圖像生成部270的生成同樣地實(shí)施。然而，也可以使用存儲(chǔ)在存儲(chǔ)部120中的拍攝圖像，實(shí)施以斷面平面b為焦面的重新聚焦處理，由此生成胚s的詳細(xì)的斷面圖像。另外，在未執(zhí)行重新聚焦圖標(biāo)157的情況下(步驟s6400：否)，在顯示部150的顯示畫(huà)面151中維持正在顯示的胚s的斷面圖像。

另外，對(duì)于胚s的3d模型a的生成，也可以與實(shí)施方式1中的3d圖像生成部250等的3d模型的生成同樣地實(shí)施。

此外，作為本實(shí)施方式2的胚s的3d模型a的生成方法的另一例，舉出以下這樣的結(jié)構(gòu)。

3d圖像生成部250取得最佳斷面決定部280求出的胚s的中心c1的位置、第1細(xì)胞s1的中心的位置c2以及第2細(xì)胞s2的中心的位置c3的信息。進(jìn)而，3d圖像生成部250從存儲(chǔ)部120中取得在與圖像傳感器102的受光面垂直的方向上位于中心c1、c2和c3各自的正上方或者最接近正上方的位置的照明器101照明時(shí)的拍攝圖像。3d圖像生成部250在各拍攝圖像中提取對(duì)比度最強(qiáng)的輪廓、具體是圓形狀的輪廓。

從與中心c1的正上方或者最接近正上方的位置的照明器101的照明對(duì)應(yīng)的拍攝圖像中提取的輪廓，相當(dāng)于經(jīng)過(guò)胚s的中心的斷面的輪廓，即，相當(dāng)于在與圖像傳感器102的受光面垂直的方向上觀察胚s時(shí)的平面形狀的二維輪廓。由此，3d圖像生成部250確定胚s的球形狀。

同樣地，從與中心c2的正上方或者最接近正上方的位置的照明器101的照明對(duì)應(yīng)的拍攝圖像中提取的輪廓，相當(dāng)于經(jīng)過(guò)第1細(xì)胞s1的中心的斷面的輪廓，即，相當(dāng)于在與圖像傳感器102的受光面垂直的方向上觀察第1細(xì)胞s1時(shí)的平面形狀的二維輪廓。由此，3d圖像生成部250確定第1細(xì)胞s1的球形狀。

從與中心c3的正上方或者最接近正上方的位置的照明器101的照明對(duì)應(yīng)的拍攝圖像中提取的輪廓，相當(dāng)于經(jīng)過(guò)第2細(xì)胞s2的中心的斷面的輪廓，即，相當(dāng)于在與圖像傳感器102的受光面垂直的方向上觀察第2細(xì)胞s2時(shí)的平面形狀的二維輪廓。由此，3d圖像生成部250確定第2細(xì)胞s2的球形狀。

由此，3d圖像生成部250基于胚s、第1細(xì)胞s1以及第2細(xì)胞s2各自的中心位置以及球形狀，生成胚s的3d模型a。此時(shí)，3d圖像生成部250能夠?qū)⑴遱的3d模型a以能夠確認(rèn)第1細(xì)胞s1以及第2細(xì)胞s2的配置的半透明或者透明的狀態(tài)進(jìn)行顯示。

[2-3.效果]

如上所述，根據(jù)本實(shí)施方式涉及的圖像生成裝置200a，可選定包含最多的作為拍攝對(duì)象物的胚s的特征點(diǎn)即細(xì)胞中心的斷面，可顯示所選定的斷面的合焦圖像。所顯示的斷面的合焦圖像能夠顯示胚s的較多的特征。由此，圖像生成裝置200a能夠自動(dòng)地生成并提供對(duì)用戶有益的信息。

[實(shí)施方式的變形例1]

接著，對(duì)實(shí)施方式1以及2的變形例1進(jìn)行說(shuō)明。本變形例是與圖像生成系統(tǒng)的重新聚焦處理有關(guān)的變形例。在上述實(shí)施方式中，在圖10的步驟s1350中選擇了照明位置，而在本變形例中選擇拍攝圖像。以下，以與實(shí)施方式不同之處為中心來(lái)說(shuō)明本變形例。

圖45是表示實(shí)施方式的變形例1涉及的重新聚焦處理部220的工作的一例的流程圖。在圖45中，取代圖10中的步驟s1340～步驟s1390而執(zhí)行步驟s1341～步驟s1390。此外，在圖16中，對(duì)與圖10實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

在圖45中，在全部拍攝圖像都被用于加法運(yùn)算處理的情況下(步驟s1341：是)，返回到步驟s1320。另一方面，在拍攝圖像的任一個(gè)未被用于加法運(yùn)算處理的情況下(步驟s1341：否)，進(jìn)入步驟s1351。重新聚焦處理部220選擇存儲(chǔ)部120所存儲(chǔ)的拍攝圖像中的一個(gè)拍攝圖像(步驟s1351)。在此，選擇尚未被用于加法運(yùn)算處理的拍攝圖像。

重新聚焦處理部220從存儲(chǔ)部120中取得與通過(guò)步驟s1351選擇出的拍攝圖像對(duì)應(yīng)的照明位置信息(步驟s1359)。然后，除了沒(méi)有通過(guò)步驟s1370取得圖像的工作之外，與圖10所示的工作相同。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)的重新聚焦處理方法，即使將照明位置的選擇替換為拍攝圖像的選擇，也能夠與實(shí)施方式1同樣地，對(duì)合焦圖像的各像素適用與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的輝度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的合焦圖像。

[實(shí)施方式的變形例2]

接著，對(duì)實(shí)施方式1以及2的變形例2進(jìn)行說(shuō)明。本變形例是與圖像生成系統(tǒng)的重新聚焦處理有關(guān)的變形例。在上述實(shí)施方式中，在圖10的步驟s1320以及步驟s1330中，依次選擇了合焦圖像內(nèi)的像素，而在本變形例中，依次選擇拍攝圖像內(nèi)的像素。也就是說(shuō)，在本變形例中，與上述實(shí)施方式不同之處在于：首先選擇拍攝圖像內(nèi)的像素，然后決定與該選擇出的像素對(duì)應(yīng)的焦面上的點(diǎn)。在與如此決定的焦面上的點(diǎn)對(duì)應(yīng)的合焦圖像內(nèi)的像素上反映拍攝圖像內(nèi)被選擇出的像素的輝度值。以下，以與實(shí)施方式1不同之處為中心來(lái)說(shuō)明本變形例。

圖46是表示實(shí)施方式1的變形例2涉及的重新聚焦處理部220的工作的一例的流程圖。在圖46中，對(duì)與圖10實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

(步驟s1322)

重新聚焦處理部220判定對(duì)于通過(guò)步驟s1100拍攝到的全部圖像是否結(jié)束了重新聚焦處理。重新聚焦處理是指從步驟s1322到步驟s1392的處理。在對(duì)于全部圖像都已經(jīng)結(jié)束了重新聚焦處理的情況下(步驟s1322：是)，重新聚焦處理部220進(jìn)入步驟s1400。在對(duì)于通過(guò)步驟s1100拍攝到的圖像的任一個(gè)圖像未結(jié)束重新聚焦處理的情況下(步驟s1322：否)，重新聚焦處理部220進(jìn)入步驟s1332。

(步驟s1332)

重新聚焦處理部220從存儲(chǔ)在存儲(chǔ)部120中的通過(guò)步驟s1100拍攝到的圖像中選擇一個(gè)拍攝圖像(步驟s1332)。在此被選的一個(gè)拍攝圖像是尚未進(jìn)行重新聚焦處理的圖像。以下，將通過(guò)步驟s1332選擇出的一個(gè)圖像稱為選擇圖像。

(步驟s1333)

重新聚焦處理部220取得與選擇圖像對(duì)應(yīng)的照明位置信息。例如，重新聚焦處理部220參照?qǐng)D6所示的圖像與照明位置信息的對(duì)應(yīng)關(guān)系來(lái)取得照明位置信息。在此，對(duì)取得了照明器101a的位置信息的情況進(jìn)行說(shuō)明。

(步驟s1342)

重新聚焦處理部220對(duì)于選擇圖像的全部像素判定是否結(jié)束了加法運(yùn)算處理(步驟s1342)。在此，在對(duì)于選擇圖像的全部像素都結(jié)束了加法運(yùn)算處理的情況下(步驟s1342：是)，結(jié)束加法運(yùn)算處理并返回到步驟s1322。另一方面，在對(duì)于選擇圖像的任一個(gè)像素未結(jié)束加法運(yùn)算處理的情況下(步驟s1342：否)，進(jìn)入步驟s1352。加法運(yùn)算處理是指從步驟s1342到步驟s1392的處理。

(步驟s1352)

重新聚焦處理部220對(duì)選擇圖像中的一個(gè)像素進(jìn)行選擇。在此被選的一個(gè)像素是尚未進(jìn)行加法運(yùn)算處理的像素。圖47中示出與選擇圖像所包含的多個(gè)像素對(duì)應(yīng)的受光面上的多個(gè)點(diǎn)1302a～1302e。在此，如圖48所示，對(duì)從選擇圖像中選擇出與受光面上的點(diǎn)1302a對(duì)應(yīng)的像素的情況進(jìn)行說(shuō)明。此外，以后，將通過(guò)步驟s1352選擇出的像素也表述為加法運(yùn)算像素。

(步驟s1372)

如圖48所示，重新聚焦處理部220計(jì)算連接受光面上的點(diǎn)1302a和照明器101a的位置的直線與焦面1100交叉的交點(diǎn)1303a的位置。以下，將交點(diǎn)1303a也表述為加法運(yùn)算點(diǎn)。

(步驟s1382)

重新聚焦處理部220對(duì)與焦面上的加法運(yùn)算點(diǎn)(交點(diǎn)1303a)對(duì)應(yīng)的合焦圖像內(nèi)的一個(gè)以上的像素的輝度值加上與受光面上的點(diǎn)1302a對(duì)應(yīng)的選擇圖像內(nèi)的加法運(yùn)算像素的輝度值。

例如，在合焦圖像中，在交點(diǎn)1303a的位置與任何像素(整數(shù)像素)的位置都不一致的情況下，重新聚焦處理部220分別計(jì)算用于加到合焦圖像中的與交點(diǎn)1303a相鄰的多個(gè)像素上的輝度值。具體而言，重新聚焦處理部220以合焦圖像的像素的排列為基準(zhǔn)，決定與通過(guò)步驟s1372計(jì)算出的焦面上的加法運(yùn)算點(diǎn)(交點(diǎn)1303a)對(duì)應(yīng)的合焦圖像內(nèi)的位置。

例如，如圖49那樣將在合焦圖像中被4個(gè)像素(像素a～像素d)包圍的位置決定為加法運(yùn)算點(diǎn)的位置。該情況下，重新聚焦處理部220計(jì)算合焦圖像中的與加法運(yùn)算點(diǎn)相鄰的各像素(像素a～像素d)和加法運(yùn)算點(diǎn)之間的距離。重新聚焦處理部220使用所計(jì)算出的距離和加法運(yùn)算像素的輝度值，計(jì)算用于加到與加法運(yùn)算點(diǎn)相鄰的各像素上的輝度值。例如，重新聚焦處理部220以使得合焦圖像內(nèi)的與加法運(yùn)算點(diǎn)相鄰的像素和加法運(yùn)算點(diǎn)之間的距離相對(duì)越大的像素則輝度值就相對(duì)越大的方式，計(jì)算用于加到各像素上的輝度值。具體而言，重新聚焦處理部220例如根據(jù)以下的式4來(lái)計(jì)算用于加到像素a上的輝度值la。

在此，a是合焦圖像中的像素a與加法運(yùn)算點(diǎn)之間的距離。b是合焦圖像中的像素b與加法運(yùn)算點(diǎn)之間的距離。c是合焦圖像中的像素c與加法運(yùn)算點(diǎn)之間的距離。d是像素d與加法運(yùn)算點(diǎn)之間的距離。l是拍攝圖像所包含的加法運(yùn)算像素的輝度值。

(步驟s1392)

重新聚焦處理部220對(duì)合焦圖像中的一個(gè)以上的像素的輝度值加上通過(guò)步驟s1382計(jì)算出的輝度值。

通過(guò)反復(fù)進(jìn)行從步驟s1342到步驟s1392的處理，能夠使選擇圖像中的全部像素的輝度值反映于合焦圖像的像素的輝度值。

進(jìn)一步，通過(guò)反復(fù)進(jìn)行從步驟s1322到步驟s1392，對(duì)全部拍攝圖像中的全部像素進(jìn)行加法運(yùn)算處理，能夠生成焦面上的合焦圖像。

參照?qǐng)D50來(lái)說(shuō)明圖46的流程圖中的各步驟的具體例子。在此，對(duì)圖像傳感器102以及焦面等滿足以下條件的情況進(jìn)行說(shuō)明。圖像傳感器102的受光面的長(zhǎng)邊(即與x軸平行的邊)的長(zhǎng)度為6mm，受光面的短邊(即與y軸平行的邊)的長(zhǎng)度為4mm。焦面相對(duì)于x軸的傾斜為30度。焦面相對(duì)于y軸的傾斜為0度。焦面的面積與圖像傳感器102的受光面的面積相同。即，焦面是6mm×4mm的矩形的平面。焦面的一個(gè)短邊如圖50那樣位于yz平面上，與y軸平行地延伸。焦面的另一個(gè)短邊位于xy平面上，x坐標(biāo)在約5.2mm的位置，與y軸平行地延伸。焦面的中心的坐標(biāo)(x，y，z)為(2.6，2，1.5)。

在此，設(shè)為：通過(guò)步驟s1332選擇了圖像，通過(guò)步驟s1333取得了與圖像對(duì)應(yīng)的照明位置(7.5，2，10)，通過(guò)步驟s1352選擇了加法運(yùn)算像素(1.7，2，0)。該情況下，在步驟s1372中，計(jì)算經(jīng)過(guò)加法運(yùn)算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直線與焦面交叉的交點(diǎn)即加法運(yùn)算點(diǎn)的坐標(biāo)(2.6，2，1.5)。然后，在步驟s1382中，對(duì)合焦圖像中的加法運(yùn)算點(diǎn)附近的像素的輝度值分配加法運(yùn)算像素的輝度值并進(jìn)行加法運(yùn)算。

如上所述，根據(jù)本變形例，能夠?qū)εc連接圖像傳感器102的受光面上的第1像素的位置和照明器的位置的直線與焦面交叉的交點(diǎn)的位置對(duì)應(yīng)的合焦圖像的一個(gè)以上的第2像素的輝度值適用拍攝圖像的第1像素的輝度值。因此，能夠?qū)⑴臄z圖像的各像素的輝度值反映于合焦圖像的像素的輝度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的合焦圖像。

[實(shí)施方式的變形例3]

接著，對(duì)實(shí)施方式1以及2的變形例3進(jìn)行說(shuō)明。本變形例是與圖像生成系統(tǒng)有關(guān)的變形例。在本變形例中，與實(shí)施方式不同之處在于：根據(jù)所決定的焦面適應(yīng)性地決定照明位置，使用位于所決定的照明位置的照明器來(lái)拍攝對(duì)象物。以下，以與實(shí)施方式不同之處為中心來(lái)說(shuō)明本變形例。

[圖像生成系統(tǒng)的構(gòu)成]

圖51是表示變形例3涉及的圖像生成系統(tǒng)10b的功能結(jié)構(gòu)的框圖。在圖51中，對(duì)與圖1實(shí)質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。圖像生成系統(tǒng)10b具備拍攝裝置100、圖像生成裝置200b、存儲(chǔ)部120和顯示部150。

[拍攝裝置的構(gòu)成]

拍攝裝置100具備多個(gè)照明器101、按各像素記錄光強(qiáng)度的圖像傳感器102、和拍攝控制部103。

拍攝控制部103按照從后述的照明范圍決定部300取得的照明范圍信息，控制多個(gè)照明器101以及圖像傳感器102的工作。具體而言，拍攝控制部103使得從位于不同位置的多個(gè)照明器101依次照射光。并且，每當(dāng)從多個(gè)照明器101的任一個(gè)照明器照射光時(shí)，使圖像傳感器102拍攝對(duì)象物的圖像。

[圖像生成裝置的構(gòu)成]

圖像生成裝置200b具備焦面決定部210、照明范圍決定部300、重新聚焦處理部220、合焦圖像生成部230、對(duì)象物提取部240、3d圖像生成部250、圖像操作部260和斷面圖像生成部270。

照明范圍決定部300決定與由焦面決定部210決定的焦面對(duì)應(yīng)的照明位置。在此，參照?qǐng)D52以及圖53來(lái)說(shuō)明決定照明位置的具體例子。

圖52是示意性表示變形例3中的照明位置的決定方法的說(shuō)明圖。圖53是將透鏡的焦距和景深的關(guān)系、與進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系進(jìn)行關(guān)聯(lián)來(lái)表示的示意圖。圖53的(a)示出透鏡的焦距和景深的關(guān)系，圖53的(b)示出進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系。

在圖53中，f表示透鏡的焦距。s表示被拍攝對(duì)象距離。t表示從透鏡到成像面的距離。f表示f值。ε表示焦深的1/2。δ表示容許彌散圓直徑。sn表示近點(diǎn)距離。sf表示遠(yuǎn)點(diǎn)距離。dn表示前景深。df表示后景深。

通過(guò)重新聚焦得到的景深由照明位置的分布范圍的面積來(lái)決定。在圖53的(b)中，由虛線表示的照明位置的分布范圍與圖53的(a)的透鏡直徑對(duì)應(yīng)。在圖53的(a)所示的透鏡的情況下，由被拍攝對(duì)象(subject)表面反射的光通過(guò)透鏡并在焦面(focalplane)上成像。景深(depthoffield)是前景深dn與后景深df之和。在本公開(kāi)中，由于是透過(guò)光的拍攝下的重新聚焦，所以與圖53的(a)的被拍攝對(duì)象的位置相當(dāng)?shù)氖墙姑?。在圖53的(b)中，圖像傳感器相比于焦面位于左側(cè)。在本變形例中，在相比于點(diǎn)光源的排列位于圖中右側(cè)的位置，實(shí)際上什么也沒(méi)有，但通過(guò)作為容許彌散圓而設(shè)定圖像傳感器的像素間距，能夠計(jì)算景深。

例如，如圖53所示，圖52所示的用于生成焦面的合焦圖像所需要的照明位置的范圍，與平行于焦面地設(shè)置的透鏡的大小對(duì)應(yīng)。若使用透鏡，則為了觀測(cè)放置于焦點(diǎn)位置的被拍攝對(duì)象，需要在與拍攝對(duì)象相距5mm的位置放置直徑10mm的透鏡直徑的情況下的照明位置的范圍，由如下的圓來(lái)表示。也就是說(shuō)，照明位置的范圍如圖52那樣由與焦面平行、與焦面相距5mm、且以經(jīng)過(guò)焦面中心的焦面的法線與平行于焦面的平面交叉的交點(diǎn)為中心的直徑10mm的圓來(lái)表示。在實(shí)際的點(diǎn)光源的配置平面或者曲面(例如，圖3所示的曲面、圖4所示的平面)上，配置在對(duì)該照明位置的范圍進(jìn)行了映射的區(qū)域內(nèi)的照明器的位置成為與由焦面決定部210決定的焦面相適合的照明位置。

[圖像生成系統(tǒng)的重新聚焦工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)10b的重新聚焦工作進(jìn)行說(shuō)明。圖54是表示變形例3涉及的圖像生成系統(tǒng)10b的重新聚焦工作的一例的流程圖。在圖54中，對(duì)與圖7實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

如圖54所示，首先，焦面決定部210決定焦面(步驟s1200)。

照明范圍決定部300決定與通過(guò)步驟s1200決定的焦面對(duì)應(yīng)的照明位置的范圍(步驟s2200)。

拍攝裝置100依次使用多個(gè)照明器101中的與通過(guò)步驟s2200決定的照明位置的范圍對(duì)應(yīng)的照明器，對(duì)對(duì)象物進(jìn)行照明。并且，每當(dāng)照明器對(duì)對(duì)象物進(jìn)行照明時(shí)，拍攝裝置100通過(guò)對(duì)到達(dá)了圖像傳感器102的受光面的光的強(qiáng)度進(jìn)行記錄，由此取得對(duì)象物的圖像。所取得的圖像與拍攝時(shí)對(duì)對(duì)象物進(jìn)行過(guò)照明的照明器的位置信息一起存儲(chǔ)于存儲(chǔ)部120(步驟s2300)。具體而言，拍攝裝置100的拍攝控制部103基于通過(guò)步驟s2200決定的照明位置的范圍，從多個(gè)照明器101中選擇包含在所決定的照明位置的范圍內(nèi)的2個(gè)以上的照明器。并且，拍攝控制部103按預(yù)定的順序使所選擇出的2個(gè)以上的照明器照射光，使圖像傳感器102進(jìn)行拍攝。拍攝裝置100通過(guò)反復(fù)進(jìn)行對(duì)對(duì)象物的照明和對(duì)象物的拍攝，使用所決定的照明位置的范圍內(nèi)的照明器來(lái)取得對(duì)象物的圖像。這之后的工作基本上與實(shí)施方式1的圖7同樣，因此省略說(shuō)明。

如上所述，根據(jù)變形例3涉及的圖像生成系統(tǒng)，能夠基于焦面的信息來(lái)決定照明位置的范圍，通過(guò)與所決定的照明位置的范圍對(duì)應(yīng)的照明器依次對(duì)對(duì)象物進(jìn)行照明。因此，能夠使用與焦面上的合焦圖像的生成相適合的照明器來(lái)拍攝對(duì)象物，能夠縮短拍攝時(shí)間。

(其他實(shí)施方式)

以上，基于實(shí)施方式以及變形例對(duì)一個(gè)或多個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)進(jìn)行了說(shuō)明，但本公開(kāi)不限定于這些實(shí)施方式以及變形例。在不脫離本公開(kāi)的主旨的范圍內(nèi)，在本實(shí)施方式以及變形例中實(shí)施本領(lǐng)域技術(shù)人員能想到的各種變形而得到的方式、或組合不同實(shí)施方式中的構(gòu)成要素而構(gòu)成的方式也可以包含在一個(gè)或多個(gè)技術(shù)方案的范圍內(nèi)。

本公開(kāi)能夠廣泛利用于生成培養(yǎng)中的細(xì)胞或胚等細(xì)胞團(tuán)的圖像的裝置，當(dāng)在恒溫箱(incubator)內(nèi)拍攝對(duì)象物時(shí)是有用的。