專利名稱：用于組合的全色反射和近紅外成像的成像系統(tǒng)的制作方法
用于組合的全色反射和近紅外成像的成像系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明針對醫(yī)學(xué)成像，特別針對用于從諸如活體組織的被觀察區(qū)域獲得可見光圖 像和近紅外光圖像的系統(tǒng)和方法，特別是以供在內(nèi)窺鏡檢查中使用的所述系統(tǒng)和方法。
背景技術(shù)：
在用于各種臨床應(yīng)用的文獻(xiàn)中已描述了近紅外(NIR)成像。通常，此類成像模式 利用吸收OTR和/或在NIR中發(fā)熒光的造影劑(例如靛氰綠)?？梢詫⒋祟愒煊皠┙Y(jié)合到目 標(biāo)分子(例如抗體)以用于疾病檢測?？梢砸造o脈或皮下方式將造影劑引入組織中以便對用 標(biāo)準(zhǔn)可見光成像技術(shù)不容易看到的組織結(jié)構(gòu)和功能(例如脈管中的血液/淋巴液/膽汁的 流動)成像。
獨立于臨床應(yīng)用，內(nèi)窺鏡NIR成像設(shè)備通常包括多個成像模式作為實際特征。例 如，內(nèi)窺鏡醫(yī)師利用可見光譜色彩進(jìn)行可視化和導(dǎo)航這兩者，并且提供OTR成像的內(nèi)窺鏡 成像設(shè)備通常提供同時的彩色圖像。這種并發(fā)成像設(shè)備可以實現(xiàn)為例如如下所示-一種常規(guī)配置利用可見光和OTR光的光譜分離，其中使用用于不同色彩(例如紅 色、綠色和藍(lán)色)和OTR光譜帶的單獨的傳感器或者使用具有含有對不同的光譜帶(例如紅 色、綠色、藍(lán)色和NIR)透明的濾光器元件的集成濾光器的單個彩色傳感器來獲取的全色和 NIR圖像信號。因此，此類多模式彩色和肌R成像設(shè)備提供用于兩種成像模式中的每一種的 專用傳感器或傳感器像素。不利的是，這增加多傳感器實施方式中的圖像傳感器的數(shù)目，或 者當(dāng)在同一傳感器上、特定傳感器像素專用于NIR成像而其它像素用于彩色成像時損害圖 像分辨率。
—另一常規(guī)配置利用單個單色圖像傳感器來對可見光和肌R光相繼成像。因此， 用紅色、綠色、藍(lán)色和OTR譜帶中的光相繼照射對象，其中針對每個譜帶獲取單獨的圖像幀 并由所獲取的圖像幀生成合成彩色和NIR圖像。然而，該方法在于不同的時間相繼獲取圖 像幀的情況下可能在合成彩色和NIR圖像中產(chǎn)生令人討厭的運動偽像(即彩色邊紋和“虹 彩效應(yīng)”)?？梢酝ㄟ^將獲取或幀速率增加至大于例如15幀/秒(fps)(例如達(dá)到90 fps、 乃至180 fps)來減輕這些偽像。由于高數(shù)據(jù)傳輸速率，對于高清晰度圖像(例如，2百萬像 素)或具有大動態(tài)范圍(>10比特)的圖像而言難以實現(xiàn)高幀速率，因此限制圖像尺寸和/或 分辨率。
因此，期望提供一種用于全色可見光圖像和OTR光圖像的同時獲取的系統(tǒng)和方 法，其消除上述缺點且不損害圖像分辨率和/或引入令人討厭的運動偽像。發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，一種用于獲取NIR圖像和全色圖像的方法包括步驟用連 續(xù)的藍(lán)色/綠色光照射被觀察區(qū)域，并用紅色光和OTR光照射該被觀察區(qū)域，其中，周期性 地開啟和關(guān)閉紅色光和OTR光中的至少一個。將從被觀察區(qū)域返回的藍(lán)色、綠色、紅色和 OTR光引導(dǎo)到一個或多個傳感器，所述一個或多個傳感器被配置為分別檢測藍(lán)色光、綠色光和組合的紅色光/OTR光。根據(jù)與切換的紅色和OTR光同步的組合的紅色光/OTR光的圖像 信號來分別確定紅色光譜分量和OTR光譜分量。從藍(lán)色、綠色和紅色光再現(xiàn)并顯示被觀察 區(qū)域的全色反射圖像，并從NIR光同樣地再現(xiàn)和顯示NIR圖像。
根據(jù)本發(fā)明的另一方面，一種用于獲取NIR圖像和全色圖像的成像系統(tǒng)包括向 被觀察區(qū)域提供可見光和OTR光的光源；具有被配置為分別檢測從被觀察區(qū)域返回的藍(lán)色 和綠色光以及組合的紅色和OTR光的一個或多個圖像傳感器的照相機(jī)；以及與所述光源和 所述照相機(jī)進(jìn)行信號通信的控制器。所述控制器被配置為控制所述光源以用藍(lán)色/綠色光 連續(xù)地照射組織并用紅色光和OTR光照射被觀察區(qū)域，其中，與照相機(jī)中的紅色和NIR圖像 的獲取同步地周期性地開啟和關(guān)閉所述紅色光和所述OTR光中的至少一個。
所述控制器還被配置為根據(jù)表示組合的紅色光和OTR光的傳感器信號來分別確 定紅色光譜分量和OTR光譜分量。所述成像系統(tǒng)還包括顯示器，該顯示器接收對應(yīng)于藍(lán)色 光、綠色光和單獨確定的紅色光譜分量的圖像信號并由此再現(xiàn)被觀察區(qū)域的全色可見光圖 像。所述顯示器還接收單獨確定的OTR光譜分量并由此再現(xiàn)被觀察區(qū)域的NIR圖像。
所述視頻成像系統(tǒng)可以使用三傳感器彩色照相機(jī)，該三傳感器彩色照相機(jī)被配置 為對藍(lán)色和綠色波段連續(xù)地成像并對紅色波段斷續(xù)地成像，由此提供連續(xù)的高質(zhì)量亮度信 息和充分連續(xù)的完整色度以生成諸如活體組織的被觀察區(qū)域的高質(zhì)量視頻圖像。在此類配 置中，所述紅色圖像傳感器可以被時分復(fù)用以獲取紅色圖像和NIR圖像這兩者(即紅色圖 像傳感器交替地且快速連續(xù)地對用于彩色圖像所需的色彩信息的紅色光和用于NIR圖像 所需的圖像信息的OTR光這兩者成像)。可以將此類時分復(fù)用關(guān)聯(lián)到用于提供肌R照射(用 于熒光的激勵)和用于彩色成像的紅色光的照明源(并與之同步)。然后，利用圖像處理來適 當(dāng)?shù)胤蛛x和處理結(jié)果得到的圖像信號。
本發(fā)明的實施例可以包括以下特征中的一個或多個?？梢杂眉t色光和肌R光交替 地照射被觀察區(qū)域，其中，紅色光的持續(xù)時間可以不同于、優(yōu)選地長于用OTR光照射的持續(xù) 時間?？梢砸砸曨l場速率或幀速率來切換照射。
可以根據(jù)包括相應(yīng)的紅色光譜分量或OTR光譜分量的、時間上相鄰的圖像場對由 所述圖像傳感器捕捉且缺少紅色光譜分量或OTR光譜分量的場進(jìn)行內(nèi)插。在一個實施例 中，可以從組合的紅色光/OTR光中減去在不存在紅色光的情況下獲得的OTR光譜分量以獲 得單獨的紅色光譜分量。這在所檢測的OTR信號具有與紅色信號的強(qiáng)度相當(dāng)?shù)膹?qiáng)度時特別有利。
在一個實施例中，所述光源可以包括在連續(xù)光譜范圍內(nèi)發(fā)射基本上恒定強(qiáng)度的可 見光和OTR光的照明器、以及設(shè)置在所述照明器與被觀察區(qū)域之間以用于透射在時間上連 續(xù)的藍(lán)色/綠色光和在時間上不連續(xù)的紅色光和OTR光的多個活動濾光器。
在另一實施例中，所述光源可以包括在連續(xù)光譜范圍內(nèi)發(fā)射基本上恒定強(qiáng)度的可 見光和OTR光的照明器、用于將可見光和OTR光分離成藍(lán)色/綠色及紅色光和OTR光的第 一二向色裝置、用于將已分離的紅色光和OTR光變換成在時間上不連續(xù)的紅色光和不連續(xù) 的OTR光的遮光器裝置、以及用于將所述藍(lán)色/綠色光、所述在時間上不連續(xù)的紅色光和所 述在時間上不連續(xù)的OTR光組合以透射到被觀察區(qū)域的第二二向色裝置。
在另一實施例中，所述光源可以包括發(fā)射基本上恒定強(qiáng)度的綠色和藍(lán)色光的第一 照明器、產(chǎn)生被切換的紅色光的第二照明器、產(chǎn)生被切換的OTR激勵光的第三照明器、和用于將被切換的紅色光和被切換的OTR光與綠色和藍(lán)色光組合以透射到被觀察區(qū)域的二向 色裝置?？梢酝ㄟ^用遮光器或斬波器中斷紅色光和OTR光的連續(xù)強(qiáng)度光束來產(chǎn)生所述被切 換的紅色光和OTR光。或者，可以通過以電學(xué)方式開啟和關(guān)閉所述第二照明器和所述第三 照明器來產(chǎn)生所述被切換的紅色光和OTR光。
所述圖像傳感器可以采用隔行掃描或逐行掃描。
所述成像系統(tǒng)可以包括內(nèi)窺鏡。


以下附圖示出應(yīng)被理解為本發(fā)明的解釋性說明而不是以任何方式理解為具有限 制性的本發(fā)明的某些說明性實施例。
圖1示出根據(jù)本發(fā)明的一個實施例的內(nèi)窺鏡系統(tǒng)；圖加 2d示出將與圖1的內(nèi)窺鏡系統(tǒng)一起使用的多模式光源的各種示例性實施例； 圖3a示出3傳感器彩色照相機(jī)所采用的示例性二向色棱鏡； 圖北示出被圖3a的二向色棱鏡分離的光譜分量的光學(xué)透射范圍； 圖3c示出阻擋激勵光進(jìn)入照相機(jī)的陷波濾光器的光學(xué)透射范圍； 圖4示出用于用綠色/藍(lán)色光進(jìn)行連續(xù)照射和用紅色/OTR光進(jìn)行交替照射的第一實 施例的時序圖；圖5示出用于用綠色/藍(lán)色光進(jìn)行連續(xù)照射和用紅色/OTR光進(jìn)行交替照射的第二實 施例的時序圖；圖6示出用于用綠色/藍(lán)色/OTR光進(jìn)行連續(xù)照射和用紅色光進(jìn)行交替照射的第三實 施例的時序圖；以及圖7示出具有堆疊成像層的示例性CMOS傳感器和這些層的相應(yīng)光譜靈敏度。
具體實施方式
通常用三傳感器彩色照相機(jī)來獲得彩色視頻圖像，在三傳感器彩色照相機(jī)中，單 獨的紅色、綠色和藍(lán)色圖像傳感器提供紅色、綠色和藍(lán)色像素信息的同時的鄰接陣列。通過 將來自全部三個傳感器的圖像信息組合來生成全色視頻圖像。色彩逼真(即真實色彩再現(xiàn)) 在醫(yī)學(xué)成像應(yīng)用中極其重要，并且使用全部三個傳感器來提供完整的色彩信息。
然而，為了理解人體組織的視頻圖像中的色彩和空間信息的相對重要性，在亮度 和色度方面考慮此類視頻圖像中的信息是有用的。亮度指的是圖像中的明亮度信息，且正 是這一信息提供使得觀看者能夠識別形狀的空間細(xì)節(jié)。因此，亮度的空間和時間分辨率對 于視頻圖像質(zhì)量的感知而言是關(guān)鍵的。色度指的是視頻圖像中的色彩信息。人類視覺的一 個特性是不容易感知圖像特征的色度的細(xì)微細(xì)節(jié)變化且這樣的變化因此與亮度的細(xì)微細(xì) 節(jié)變化相比在圖像質(zhì)量的總體評估中不那么關(guān)鍵。正是由于這個原因，色度信息的視頻編 碼常常是二次采樣的。
在用可見光獲得的人體組織的視頻圖像中，組織的結(jié)構(gòu)細(xì)節(jié)大部分被包含在成像 光的藍(lán)色和綠色波長區(qū)域中。藍(lán)色和綠色光趨向于被從組織表面反射，而紅色光趨向于在 組織內(nèi)被高度散射。結(jié)果，在到達(dá)紅色圖像傳感器的紅色光中存在非常少的細(xì)微結(jié)構(gòu)細(xì)節(jié)。 從色彩科學(xué)還已知人類視覺從可見光譜的綠色部分接收大部分空間信息一即綠色光信息不成比例地對亮度做出貢獻(xiàn)。用于根據(jù)伽瑪校正的色彩分量來計算亮度的標(biāo)準(zhǔn)公式是Y’ = 0.2126 R' + 0.7152 G' + 0.0722 B’。由于這個原因，人類組織的視頻圖像的紅色分量的 空間和/或時間內(nèi)插并不顯著地影響對那些圖像中的細(xì)微細(xì)節(jié)的感知。
類似于紅色光，OTR光趨向于在組織中被散射，從而促使OTR圖像特征被擴(kuò)散地而 不是清晰地限定。而且，由于OTR圖像突出顯示感興趣的區(qū)域(即其中定位了造影劑的區(qū)域) 但不提供總體可視化或?qū)Ш叫畔?，因此期望NIR內(nèi)窺鏡成像設(shè)備提供連續(xù)的彩色圖像以及 NIR圖像信息的疊加或并排顯示。在這樣的顯示中，OTR光也會對被呈現(xiàn)給觀察者的空間信 息貢獻(xiàn)較少。
圖1示意性地示出NIR內(nèi)窺鏡成像系統(tǒng)10的示例性實施例，其包括多模式光源 11，其提供可見照射和OtR照射這兩者，并通過適合于傳輸彩色和NIR照射這兩者的例如光 纖光纜17的照射引導(dǎo)件而連接到內(nèi)窺鏡12 ；彩色照相機(jī)13，其安裝到所述內(nèi)窺鏡圖像引 導(dǎo)件，在這里被舉例說明為具有分別用于藍(lán)色、綠色和紅色/OTR成像的三個不同的傳感器 34、36、38 (參見圖3a);以及照相機(jī)控制器14，其連接到照相機(jī)13和光源11，用于控制照射 和圖像獲取并使它們同步。控制器14還可以處理所獲取的可見和NIR圖像以便顯示在例 如通過電纜19連接到控制器14的監(jiān)視器15上。可以以諸如視頻速率的可選幀速率實時 地獲取圖像。
圖加 2d示出各種光源11的示例性實施例的示意圖。所示的光源被構(gòu)造為在 正常彩色成像模式下供應(yīng)產(chǎn)生基本上連續(xù)的光譜分布的可見照射光。所述光源可能是弧光 燈、鹵素?zé)?、一個或多個固態(tài)源(例如LED、半導(dǎo)體激光器)或它們的任何組合，并且所述光源 可以在光譜方面被濾波或被定形(例如用帶通濾光器UR濾光器等)?？梢岳缡褂眯D(zhuǎn)濾 光輪同時地或依次地產(chǎn)生連續(xù)光譜作為原色(RGB )。
在根據(jù)本發(fā)明的系統(tǒng)中，將與本發(fā)明的系統(tǒng)一起使用并在下文中詳細(xì)描述的光源 被配置為在可見光譜的藍(lán)色和綠色部分及不連續(xù)的紅色和/或OTR光中提供連續(xù)、不中斷 的照射。可見光譜的藍(lán)色和綠色部分可以從由連續(xù)源產(chǎn)生的發(fā)射光學(xué)地過濾出，或直接由 窄帶源(例如藍(lán)色和綠色LED)產(chǎn)生。還可以通過弧光燈、鹵素?zé)?、固態(tài)源(例如紅色和OTR LED或激光器)或它們的任何組合來產(chǎn)生紅色和OTR光。
現(xiàn)在轉(zhuǎn)到圖2，在一個實施例中，光源11包括產(chǎn)生可見和OTR光發(fā)射的照明器 202、準(zhǔn)直透鏡204、交替地透射紅色和OTR光并連續(xù)地透射綠色和藍(lán)色光的濾光輪或往復(fù) 式濾光器保持器208?；蛘撸梢允褂每烧{(diào)諧電光或聲光濾光器。經(jīng)過過濾的光被透鏡206 聚焦到光導(dǎo)17上。
在圖2b中示意性地舉例說明了光源lib的另一實施例。光源lib包括產(chǎn)生可見 和OTR光發(fā)射的照明器202和準(zhǔn)直透鏡204。二向色反射鏡212透射綠色/藍(lán)色光并將紅 色/OTR光反射到另一二向色反射鏡214，該二向色反射鏡214將OTR光透射到OTR反射鏡 215并反射紅色光，或者反過來也是一樣?？梢杂蔀V光器213對綠色/藍(lán)色光進(jìn)一步進(jìn)行帶 通濾光。反射的紅色和OTR光例如被斬波輪219a、219b (其可以被組合成單個斬波輪)斬波 而產(chǎn)生在時間上不連續(xù)的照射，該照射隨后被反射鏡216、217反射并由二向色反射鏡218 將其與綠色/藍(lán)色光組合。如前所述，該組合光隨后被透鏡206聚焦到光導(dǎo)17上。
在圖2c中示意性地舉例說明的光源Ilc的另一實施例中，照明器20 產(chǎn)生被準(zhǔn) 直透鏡20 準(zhǔn)直的綠色和藍(lán)色光發(fā)射。同樣地，單獨的照明器202b、202c分別產(chǎn)生被相應(yīng)的準(zhǔn)直透鏡204b和2(Mc準(zhǔn)直的紅色和OTR光發(fā)射。如在圖2b的實施例中一樣，紅色和 NIR光被例如斬波輪219a、219b (其也可以被組合成單個斬波輪)斬波而產(chǎn)生在時間上不連 續(xù)的照射，隨后由二向色反射鏡222、2觀將該照射與綠色/藍(lán)色照射組合。如前所述，該組 合光隨后被透鏡206聚焦到光導(dǎo)17上。
如前所述，在圖2d中示意性地舉例說明的光源Ild的另一實施例中，照明器20 產(chǎn)生被準(zhǔn)直透鏡20 準(zhǔn)直的綠色和藍(lán)色光發(fā)射。然而，與在圖2c的實施例中不同，這里對 單獨的照明器202d、202e以電學(xué)方式進(jìn)行切換以產(chǎn)生具有受控定時的紅色和NIR光發(fā)射。 例如，紅色和OTR光源202(1、20加可以是固態(tài)光源，諸如LED或半導(dǎo)體激光器，可以用適當(dāng) 的優(yōu)選電子的開關(guān)快速地開啟和關(guān)閉所述光源。如上文參照圖2c所述，紅色和MR照射被 相應(yīng)的準(zhǔn)直透鏡204b和2(Mc準(zhǔn)直并由二向色反射鏡222、2觀將其與綠色/藍(lán)色照射組合。 如前所述，該組合光隨后被透鏡206聚焦到光導(dǎo)17上。
交替的紅色和NIR照射與三傳感器照相機(jī)的圖像獲取同步，以使得與內(nèi)窺鏡的紅 色和NIR照射同步地由照相機(jī)獲取紅色圖像和NIR圖像。
圖3a更詳細(xì)地示出圖1的三傳感器照相機(jī)13，特別是用來將紅色/OTR、綠色和藍(lán) 色光分別引導(dǎo)到三個不同的圖像傳感器34、36和38的光學(xué)分束器。對于NIR熒光應(yīng)用而 言，照相機(jī)優(yōu)選地還包括激勵帶阻擋濾光器32。所述分束器可以例如由多個二向色棱鏡、立 方體分離器、板式分離器或薄膜分離器構(gòu)成。圖北示出從根據(jù)圖3a的內(nèi)窺鏡接收到的光 譜組成。圖3c舉例說明透射通過被實現(xiàn)為陷波濾光器的激勵帶阻擋濾光器32的光的光譜 組成31，所述陷波濾光器阻擋激勵光的透射但透射可見和OTR光譜范圍內(nèi)的其它波長?？?以將此濾光器32的透射特性設(shè)計為還阻擋干擾可見光譜、可能使彩色圖像劣化的不期望 的NIR波長。
圖4示出使用例如三傳感器照相機(jī)的同時彩色和肌R成像模式的第一示例性實施 例的時序圖。在本實施例中，照相機(jī)傳感器利用隔行讀出格式，其代表用于運動的平滑顯示 的空間和時間分辨率的有利組合。圖加 2d舉例說明的任何光源可以與本實施例一起使 用。該光源提供連續(xù)的藍(lán)色/綠色照射和交替的紅色和OTR照射。在圖像傳感器上交替地 暴露各半幀，即具有偶數(shù)行的第一場(半幀)與具有奇數(shù)行的第二場(半幀)交替。在示出30 fps的全幀速率的圖4的時序圖中，一個場周期(16. 7 ms)提供OTR照射，后面是兩個場周 期(33. :3ms)的紅色照射。換言之，在兩個場周期(33. 3 ms)期間用全譜色(RGB)照射樣本 或組織，且在第三場周期期間用GB和肌R照射樣本或組織。為了重構(gòu)全色可見圖像，在與利 用OTR照射的場相鄰的場之間內(nèi)插遺漏的紅色信息。藍(lán)色和綠色圖像信息始終是可用的， 從而提供最佳和連續(xù)的亮度信息。OTR圖像由每個半幀中的每個第六場生成，其中，對遺漏 的行進(jìn)行空間內(nèi)插。當(dāng)顯示熒光場時，每三個場更新一次圖像，其中在偶數(shù)行和奇數(shù)行之間 對顯示的圖像進(jìn)行內(nèi)插。
在所有圖中，使用術(shù)語“IR”作為“NIR”的替代或與之可互換地使用。
一旦已經(jīng)處理了彩色和NIR圖像數(shù)據(jù)，則信號被輸出到視頻監(jiān)視器且可以被顯示 為兩個單獨的、同時的視圖(一個彩色，一個熒光)或顯示為組合的彩色和熒光圖像信號(例 如通過為熒光信號分配與組織中自然存在的色彩形成對比的色彩)。
圖5示出同時彩色和肌R成像模式的第二示例性實施例的時序圖。在本實施例中， 照相機(jī)傳感器利用逐行掃描傳感器讀出格式，其中，在每個場周期期間讀出完整的幀(G/B/9R與G/B/OTR交替)。圖加 2d舉例說明的任何光源可以與本實施例一起使用。該光源提 供連續(xù)的藍(lán)色/綠色照射和交替的紅色和OTR照射。在圖5的時序圖中，一個場周期(16. 7 ms)提供NIR照射，后面是一個場周期(16. 7 ms)的紅色照射。換言之，在一個場周期(16. 7 ms)期間用全譜色(RGB)照射樣本或組織，且在第三場周期期間用GB和OTR照射樣本或組 織。在這種情況下，在每隔一個幀中，全可見光譜彩色圖像在每個像素處都是可用的。在交 替的幀中，藍(lán)色和綠色信息是直接獲取的，而紅色信息是被內(nèi)插在相鄰幀之間的。不同于圖 4的實施例，不要求空間內(nèi)插?？梢砸耘c在先前的實施例中所述的方式類似的方式來實現(xiàn)進(jìn) 一步的圖像處理和顯示。
圖6示出第三示例性實施例的時序圖，其中，綠色/藍(lán)色照射和肌R照射都是連續(xù) 的，而只有紅色照射被調(diào)制。與在圖4的實施例中類似，各半幀被交替地暴露在圖像傳感器 上，即具有偶數(shù)行的第一場(半幀)與具有奇數(shù)行的第二場(半幀)交替。在示出30 fps的全 幀速率的圖6的時序圖中，一個場周期(16. 7 ms)提供(NIR+GB)照射(紅色照射被關(guān)掉)，后 面是兩個場周期(33. 3ms)的(NIR+RGB)。如果與紅色反射信號相比NIR圖像信號是小的， 則其將不會顯著地影響總體可見(RGB)圖像，從而使得可以在不進(jìn)行校正的情況下通過常 規(guī)彩色圖像處理來生成彩色圖像。另外，通過空間和時間內(nèi)插從(NIR+R)圖像數(shù)據(jù)減去在 紅色照射被關(guān)掉時在紅色圖像通道中獲得的OTR貢獻(xiàn)，以獲得紅色圖像信號，如圖6的時序 圖中的第二至最后一行所示?；蛘?，可以將具有與在圖5中舉例說明的那些類似的逐行掃 描圖像傳感器讀出的傳感器用于交替幀中的RGB和(RGB+IR)圖像獲取。
在另一示例性實施例中(在附圖中未舉例說明)，綠色/藍(lán)色照射以及紅色照射是 連續(xù)的，而OTR照射被調(diào)制。如果紅色和NIR圖像信號大致具有相同的振幅，則可以最好地 應(yīng)用此定時方案。在本實施例中，光源提供具有全可見光譜的不中斷照射和具有OTR光的 間歇性照射。所述時序圖基本上與圖6中所示出的時序圖相同，其中OTR和紅色照射被互 換。間歇性O(shè)TR照射被同步以與隔行照相機(jī)情況下的每隔兩個場和逐行掃描照相機(jī)中的每 隔一個場一致。對于其中提供OTR照射的每個場而言，紅色圖像傳感器將獲取(R+NIR)圖 像信號。可以通過從適當(dāng)?shù)那懊娴暮秃竺娴摹皟H紅色”圖像場進(jìn)行紅色信號值的內(nèi)插并從 (R+NIR)信號減去紅色圖像信號來從(R+NIR)圖像信號提取OTR圖像信號。由于紅色和OTR 圖像信號具有類似的幅值，所以這樣的內(nèi)插和減法將提供相當(dāng)精確的NIR圖像信號值。通 過與藍(lán)色和綠色圖像信號相結(jié)合地使用紅色圖像信號的獲取的和經(jīng)內(nèi)插的值來處理彩色 圖像。然后，可以如前所述那樣顯示或記錄結(jié)果得到的彩色和NIR圖像信息。
在任何前述實施例中，還可以操作NIR內(nèi)窺鏡成像系統(tǒng)以使得光源提供具有全可 見光譜或OTR光譜的連續(xù)照射，并且照相機(jī)以連續(xù)的方式獲取相應(yīng)的彩色圖像或NIR (吸 收或熒光)圖像以提供高的空間分辨率。隨后可以顯示和/或記錄每個單獨照射/成像模 式一彩色或NIR —的所得視頻圖像。
通過如在前述實施例中所述的那樣實現(xiàn)彩色和OTR成像，可以在不損害圖像分辨 率和/或引入令人討厭的運動偽像的情況下以視頻速率獲取并顯示全色可見光和OTR光圖 像。此外，如果由于銳利邊緣跨越視場的迅速移動而發(fā)生任何殘留的彩色邊紋(例如在紅色 或NIR圖像的不連續(xù)獲取的情況下)，則可以通過以最小的附加處理時間進(jìn)行遺漏的(紅色 /NIR)視頻場的時間內(nèi)插來緩解這些相對微小的效應(yīng)。
雖然已結(jié)合示出并詳細(xì)地描述的優(yōu)選實施例公開了本發(fā)明，但對其的各種修改和10改進(jìn)將很容易變得對于本領(lǐng)域技術(shù)人員來說顯而易見。例如，作為將單獨的圖像傳感器分 別用于G/B和R/NIR或?qū)蝹€彩色傳感器用于RGB圖像和OTR熒光圖像的替代，可以使用 在CMOS技術(shù)中實現(xiàn)且可從加利福尼亞州圣何塞市的Rweon公司購買的具有堆疊像素設(shè)計 的單個直接三色RGB傳感器圖像傳感器。在圖7中示意性地舉例說明了此類傳感器。應(yīng)理 解的是，可以通過添加OTR敏感層來將此傳感器設(shè)計擴(kuò)展至四個色彩。因此，紅色、綠色、藍(lán) 色和NIR圖像在圖像傳感器的不同深度處被獲取。在4層傳感器的情況下，紅色和OTR照 射的復(fù)用將是不必要的。然而，在3層傳感器的情況下，如上文針對3傳感器常規(guī)照相機(jī)所 述的，仍需要對紅色和OTR照射進(jìn)行復(fù)用。對于熒光成像應(yīng)用而言，還將需要適當(dāng)?shù)恼诠鉃V 光器來阻擋OTR激勵光。
雖然已結(jié)合示出并詳細(xì)描述的當(dāng)前優(yōu)選的實施例舉例說明并描述了本發(fā)明，但本 發(fā)明并不意圖局限于所示的細(xì)節(jié)，因為在不以任何方式脫離本發(fā)明的精神和范圍的情況下 可以進(jìn)行各種修改和結(jié)構(gòu)變更。選擇并描述實施例是為了解釋本發(fā)明的原理和實際應(yīng)用以 從而使得本領(lǐng)域技術(shù)人員能夠以適合于預(yù)期的特定使用的各種修改來最好地利用本發(fā)明 和各種實施例。
在隨附權(quán)利要求中闡述了被作為新事物主張權(quán)利且期望受到專利證書保護(hù)的內(nèi) 容，且其包括其中所述的元素的等價物。
權(quán)利要求
1.一種用于獲取NIR和全色圖像的方法，包括步驟用藍(lán)色/綠色光連續(xù)地照射被觀察區(qū)域，用紅色光和肌R光照射被觀察區(qū)域，其中，周期性地開啟和關(guān)閉所述紅色光和OTR光中 的至少一個，將藍(lán)色和綠色反射光及組合的紅色反射光/所檢測的OTR光引導(dǎo)到一個或多個傳感 器，所述一個或多個傳感器被配置為分別檢測藍(lán)色反射光、綠色反射光和紅色反射光/所 檢測的OTR光，其中，與被切換的紅色光和OTR光同步地檢測所述紅色反射光/所檢測的 NIR 光，根據(jù)組合的紅色反射光/所檢測的OTR光的圖像信號來分別確定紅色反射光譜分量和 所檢測的OTR光譜分量，根據(jù)所述藍(lán)色和綠色反射光及單獨確定的紅色光譜分量來顯示被觀察區(qū)域的全色圖 像，以及根據(jù)所檢測的OTR光譜分量來顯示NIR圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，用紅色光和OTR光交替地照射被觀察區(qū)域。
3.根據(jù)權(quán)利要求2所述的方法，其中，紅色光照射的持續(xù)時間不同于OTR光照射的持續(xù) 時間。
4.根據(jù)權(quán)利要求3所述的方法，其中，紅色光照射的持續(xù)時間長于OTR光照射的持續(xù)時間。
5.根據(jù)權(quán)利要求2所述的方法，其中，紅色光照射的持續(xù)時間基本上等于OTR光照射的 持續(xù)時間。
6.根據(jù)權(quán)利要求1所述的方法，其中，用紅色光連續(xù)地照射被觀察區(qū)域并用肌R光周期 性地照射被觀察區(qū)域。
7.根據(jù)權(quán)利要求1所述的方法，其中，用肌R光連續(xù)地照射被觀察區(qū)域并用紅色光周期 性地照射被觀察區(qū)域。
8.根據(jù)權(quán)利要求1所述的方法，其中，以視頻速率來切換所述紅色光或OTR光、或者它 們兩者。
9.根據(jù)權(quán)利要求2所述的方法，其中，從在時間上相鄰的圖像場對缺少紅色反射光譜 分量或所檢測的OTR光譜分量的圖像場進(jìn)行內(nèi)插，所述在時間上相鄰的圖像場包括相應(yīng)的 紅色反射光譜分量或所檢測的OTR光譜分量。
10.根據(jù)權(quán)利要求7所述的方法，其中，從組合的紅色反射光/所檢測的OTR光減去在 不存在紅色光照射的情況下獲得的OTR光譜分量以獲得單獨的紅色反射光譜分量。
11.根據(jù)權(quán)利要求1所述的方法，其中，主要從藍(lán)色反射光和綠色反射光得出被觀察區(qū) 域的空間信息。
12.根據(jù)權(quán)利要求1所述的方法，其中，所檢測的OTR光是熒光。
13.一種用于獲取NIR圖像和全色圖像的成像系統(tǒng)，包括光源，其向被觀察區(qū)域提供可見光和OTR光，照相機(jī)，其具有被配置為分別檢測從被觀察區(qū)域返回的藍(lán)色反射光、綠色反射光和組 合的紅色反射光/所檢測的OTR光的一個或多個圖像傳感器，控制器，其與所述光源和所述照相機(jī)進(jìn)行信號通信以用于用藍(lán)色/綠色光連續(xù)地照射被觀察區(qū)域，用紅色光和OTR光照射被觀察區(qū)域，其中，所述紅色光和OTR光中的至少一個被周期性 地開啟和關(guān)閉，以及根據(jù)與被切換的紅色和OTR光同步的組合的紅色反射光/所檢測的OTR光來分別確定 紅色反射光譜分量和所檢測的OTR光譜分量，以及顯示器，其接收對應(yīng)于藍(lán)色反射光、綠色反射光和單獨確定的紅色反射光譜分量的圖 像信號并由此再現(xiàn)被觀察區(qū)域的全色反射圖像，所述顯示器還接收單獨確定的肌R熒光譜 分量并由此再現(xiàn)被觀察區(qū)域的NIR圖像。
14.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，由具有紅色光和肌R光的光源來交替地照 射被觀察區(qū)域。
15.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述光源包括照明器，其在連續(xù)光譜范圍內(nèi)發(fā)射基本上恒定強(qiáng)度的可見光和OTR光，以及多個濾光器，其被設(shè)置在所述照明器與被觀察區(qū)域之間以便透射時間上連續(xù)的藍(lán)色/ 綠色光及時間上不連續(xù)的紅色光和不連續(xù)的MR光。
16.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述光源包括照明器，其在連續(xù)光譜范圍內(nèi)發(fā)射基本上恒定強(qiáng)度的可見光和OTR光，第一二向色裝置，其用于將可見光和OTR光分離成藍(lán)色/綠色及紅色光和OTR光，遮光器裝置，其用于將已分離的紅色光和OTR光變換成時間上不連續(xù)的紅色光和不連 續(xù)的OTR光，以及第二二向色裝置，其用于將所述藍(lán)色/綠色光、所述時間上不連續(xù)的紅色光和所述時 間上不連續(xù)的OTR光組合以透射到被觀察區(qū)域。
17.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述光源包括第一照明器，其發(fā)射基本上恒定強(qiáng)度的綠色和藍(lán)色光，第二照明器，其產(chǎn)生被切換的紅色光，第三照明器，其產(chǎn)生被切換的OTR光，以及二向色裝置，其用于將所述被切換的紅色光和所述被切換的OTR光與所述綠色和藍(lán)色 光組合以便透射到被觀察區(qū)域。
18.根據(jù)權(quán)利要求17所述的成像系統(tǒng)，其中，通過用遮光器或斷路器中斷紅色光和NIR 光的連續(xù)強(qiáng)度光束來產(chǎn)生所述被切換的紅色光和OTR光。
19.根據(jù)權(quán)利要求17所述的成像系統(tǒng)，其中，通過以電學(xué)方式開啟和關(guān)閉所述第二照 明器和所述第三照明器來產(chǎn)生所述被切換的紅色光和OTR光。
20.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述圖像傳感器采用隔行掃描。
21.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述圖像傳感器采用逐行掃描。
22.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，還包括二向色棱鏡組件，其以光譜方式分離從 被觀察區(qū)域返回的藍(lán)色反射光、綠色反射光和組合的紅色反射光/所檢測的OTR光并將被 分離的光引導(dǎo)到二向色棱鏡組件的不同出射面，其中，所述一個或多個圖像傳感器包括三 個圖像傳感器，每個被安裝在不同的出射面上。
23.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述一個或多個圖像傳感器包括單個圖 像傳感器，所述單個圖像傳感器具有多個像素，每個像素可對從被觀察區(qū)域返回的藍(lán)色反射光、綠色反射光和組合的紅色反射光/所檢測的OTR光中的一個進(jìn)行響應(yīng)。
24.根據(jù)權(quán)利要求23所述的成像系統(tǒng)，其中，所述單個圖像傳感器包括設(shè)置在所述傳 感器像素之前的馬賽克藍(lán)色/綠色/紅色-OTR濾光器陣列。
25.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述一個或多個圖像傳感器包括具有多 個堆疊層的單個圖像傳感器，每個層具有可對從被觀察區(qū)域返回的藍(lán)色反射光、綠色反射 光和組合的紅色反射光/所檢測的OTR光中的一個進(jìn)行響應(yīng)的多個像素。
26.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所述成像系統(tǒng)被配置為內(nèi)窺鏡。
27.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中，所檢測的OTR光是熒光。
全文摘要
一種用于獲取NIR和全色圖像的成像系統(tǒng)包括向諸如活體組織的被觀察區(qū)域提供可見光和NIR光的光源、具有被配置為分別檢測從被觀察區(qū)域返回的藍(lán)色反射光、綠色反射光和組合的紅色反射光/所檢測的NIR光的一個或多個圖像傳感器的照相機(jī)。與所述光源和所述照相機(jī)進(jìn)行信號通信的控制器被配置為控制光源以用在時間上連續(xù)的藍(lán)色/綠色照射光并用紅色照射光和NIR激勵光來連續(xù)地照射被觀察區(qū)域。與照相機(jī)中的紅色和NIR光圖像的獲取同步地周期性地開啟和關(guān)閉紅色照射光和NIR激勵光中的至少一個。
文檔編號A61B5/00GK102036599SQ200980117843
公開日2011年4月27日 申請日期2009年3月18日 優(yōu)先權(quán)日2008年3月18日
發(fā)明者E. 拜利 A., 芬格勒 J., 科特爾 P., 維斯特維克 P. 申請人:諾瓦達(dá)克技術(shù)公司