專利名稱：使用多個攝像機以允許全景可視的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用多個攝像機來獲得一個區(qū)域的全景可視。
背景技術(shù)：
如軍用或安全車輛的裝甲車輛的乘員通常需要觀察其車輛周圍所發(fā)生的情況而不會將自己暴露給敵人。過去，已將防彈玻璃棱鏡區(qū)塊用于所述目的。
新近，已使用萬向架安裝的攝像機來提供展示于平板顯示器(FPD)或頭盔顯示器(helmet-mounted display，HMD№)上的全景。在所述系統(tǒng)中，取景方向通常可通過改變所述萬向架安裝的攝像機的取景方向來調(diào)節(jié)。通常，諸如控制桿或頭部跟蹤器的指向裝置控制取景方向。如果使用頭部跟蹤器，那么可配置所述取景方向以對應于取景人將看到的事物，借此提供一種對一區(qū)域進行取景的高度直觀的方法。
觀察裝甲軍用車輛周圍所發(fā)生的情況的另一途徑為將一組攝像機定位在所述車輛外部，以從各個方向獲取圖像?？墒占切﹫D像并對其進行電子處理以提供沿所需取景方向的圖像。此等所提供的圖像在本文中稱為視口。在Belt等人的“Combat Vehicle Visualization System”，Proceedings ofSPIE，第4021卷，第252頁(2000)中可發(fā)現(xiàn)所述途徑的一個實例。
雖然前述途徑因不會將裝甲軍用車輛的乘員暴露于危險處境即可實現(xiàn)全景可視而甚為有益，且因而在敵對環(huán)境中非常有利，但前述途徑不是最佳的。雖然棱鏡區(qū)塊為有益的，但所述區(qū)塊提供水平和垂直方向上受限制的視圖。由于固有的機械運動延遲限制了可改變所需視口的速度，所以萬向架安裝的攝像機是有缺點的。此外，多攝像機系統(tǒng)具有嚴重缺點，其需要巨大、笨重、高度復雜且昂貴的專用計算機用以圖像俘獲和處理。
因此，不需要專用計算機的多一個攝像機全景可視系統(tǒng)將是有益的。此種平穩(wěn)地將鄰近視野混合在一起的多攝像機全景可視系統(tǒng)將是尤其有用的。使多個用戶能夠選擇其自己的取景方向的多攝像機全景可視系統(tǒng)也是有益的。校正諸如鏡頭失真和橫搖、俯仰和偏轉(zhuǎn)等各種成像問題的多攝像機全景可視系統(tǒng)也將是有用的。在一些應用中，能手動和/或自動在全景取景區(qū)域內(nèi)跟蹤移動目標的多攝像機全景可視系統(tǒng)將是很有用的。

發(fā)明內(nèi)容
本發(fā)明的原理提供一種不需要專用計算機但可平穩(wěn)地將鄰近視野混合在一起的新型多攝像機全景可視系統(tǒng)。可實施此種多攝像機全景可視系統(tǒng)以使多個用戶能夠選擇其自己的取景方向，從而能夠手動和/或自動跟蹤移動目標，并從而校正各種成像問題，例如校正鏡頭失真、和滾動、俯仰和偏轉(zhuǎn)。
根據(jù)本發(fā)明的全景可視系統(tǒng)包括復數(shù)個攝像機，每個攝像機從攝像機的視野產(chǎn)生圖像數(shù)據(jù)。此外，每個攝像機的視野與一鄰近視野重疊。指向裝置向一個也接收來自所述攝像機的圖像數(shù)據(jù)的處理系統(tǒng)供應視口方向信息。所述處理系統(tǒng)有益地摻混來自所述重疊視野的圖像數(shù)據(jù)以產(chǎn)生表示由所述攝像機所成像的全景的全景數(shù)據(jù)。所述處理系統(tǒng)接著基于所述全景數(shù)據(jù)產(chǎn)生沿所述視口方向的視口數(shù)據(jù)。處理系統(tǒng)自身包括一個視覺處理板。
諸如頭盔顯示器、CRT或平板顯示器的顯示裝置可用于成像視口數(shù)據(jù)。實際上，適當?shù)闹赶蜓b置可為鼠標、頭部跟蹤器、觸摸屏或控制桿。
此外，所述處理系統(tǒng)有益地校正個別攝像機的相對位置、個別攝像機的鏡頭失真、和轉(zhuǎn)動、傾斜和偏轉(zhuǎn)。然而，如果所述鏡頭失真由攝像機來來解決或在可接受的限度內(nèi)，那么可省略解決鏡頭失真的校正方法。
所述全景可視系統(tǒng)可包括一個產(chǎn)生控制視口數(shù)據(jù)的控制信息的控制組合件。另外，所述全景可視系統(tǒng)可包括一個自動移動視口以跟蹤一移動目標的自動跟蹤組合件。此外，所述全景可視系統(tǒng)可包括多個指向裝置，且所述處理系統(tǒng)可產(chǎn)生多個視口以使多個用戶能可視個別用戶所選擇的區(qū)域。在所述系統(tǒng)中，可使用多個顯示裝置。有益地，可以安裝于移動車輛(諸如，坦克)上的攝像機來實施所述全景可視系統(tǒng)。


因此，以此方式可獲得并可詳細了解本發(fā)明的上述特征，參考結(jié)合附圖所說明的本發(fā)明的實施例，可獲得如上文所概述的對本發(fā)明的更為詳細的描述。
然而，應注意附圖僅說明本發(fā)明的典型實施例，且因此并無意限制本發(fā)明的范圍，本發(fā)明可允許其它等效實施例。
圖1是一個被配置以提供一個區(qū)域的全景的復數(shù)個成像攝像機的俯視圖；圖2說明了圖1所展示的復數(shù)個成像攝像機的重疊視野；圖3是一個根據(jù)本發(fā)明原理的全景取景系統(tǒng)的方框圖；圖4說明了一個用于圖3全景取景系統(tǒng)中的圖像處理系統(tǒng)的實施例；圖5說明了圖3的全景取景系統(tǒng)中的多個視頻卡的用途；圖6說明了一個包括自動跟蹤模塊的全景取景系統(tǒng)；和圖7說明了一個安裝在裝甲軍用車輛上的全景取景系統(tǒng)。
具體實施例方式
本發(fā)明的原理提供一種不需要專用計算機的多攝像機全景可視系統(tǒng)。根據(jù)本發(fā)明原理的全景可視系統(tǒng)能夠穩(wěn)定地將鄰近的視野摻混在一起。此外，一些實施例可使用戶能夠選擇其自己的取景方向。此外，可配置其它實施例以在全景取景區(qū)域內(nèi)手動和/或自動跟蹤移動目標。
現(xiàn)參看圖1，所述全景可視系統(tǒng)包括復數(shù)個成像攝像機12。所述成像攝像機適宜定位于固定的相關(guān)位置上，使得可在校準程序期間確定與所述攝像機位置相關(guān)的轉(zhuǎn)換參數(shù)。那些轉(zhuǎn)換參數(shù)隨后用于為所有的攝像機和所有的視圖提供一個共同坐標系。盡管圖1是復數(shù)個攝像機的一個俯視圖，但是諸如面向向外成像鏡(outward-imaging mirror)垂直定向攝像機的其它定向也是可能的。另外，在所述校準程序期間也可以確定與各種鏡頭特性相關(guān)的鏡頭失真校正參數(shù)。尤其當摻混鄰近視野時，所述鏡頭失真校正參數(shù)能夠改進光學性能。
圖2說明成像攝像機12的視野14。那些視野界定所述系統(tǒng)的整個全景。有益的是，視野14重疊16使得能夠平穩(wěn)地摻混鄰近視野14。雖然圖1和圖2展示圓形配置的成像攝像機12和視野14，但這并不是必需的。本發(fā)明的原理適用于具有其它覆蓋范圍(如，45度)且具有不同攝像機位置配置的多個攝像機。因而，可能將所述攝像機部署于其中兩個以上的視野14可重疊的配置中。
圖3說明一個包括處理系統(tǒng)21的全景取景系統(tǒng)20，所述處理系統(tǒng)21電子處理來自成像攝像機12的圖像數(shù)據(jù)。所述全景取景系統(tǒng)20也包括一個或一個以上指向裝置22、一個或一個以上控制組合件24和一個或一個以上顯示裝置26。所述指向裝置和控制組合件向處理系統(tǒng)21提供與所要視口(見下文)有關(guān)的信息和視野信息以及操作員控制信息。所述顯示裝置為用戶提供一個視口的圖像。
處理系統(tǒng)21包括一個個人計算機(pc)，諸如使用Windows操作系統(tǒng)并具有接受專業(yè)處理板的PCI總線的pc。所述專業(yè)處理板包括視覺處理板，諸如Pyramid Vision Technologies，Inc所制造的Acadia視覺加速器。典型指向裝置22可為鍵盤、鼠標、控制桿、跟蹤球、觸摸屏或頭部跟蹤器。典型的控制組合件24可包括在向前和向后取景之間切換的電開關(guān)和一個變焦控制器。典型的顯示裝置可為一平板顯示器、一CRT或一頭盔顯示器。還應注意所述顯示裝置可能為諸如攝像機或存儲器的記錄器。
全景取景系統(tǒng)20要求大量的圖像處理。圖4說明一個適當?shù)膱D像處理系統(tǒng)100的一個實施例。應注意，圖4說明了一個展示處理步驟的流程圖和一個具有復數(shù)個模塊的處理系統(tǒng)的方框圖。
圖像處理系統(tǒng)100接收來自成像攝像機12的圖像信息的重疊視野16。將所接收的圖像信息應用到一個多路復用器110，所述圖像信息選自來自成像攝像機的各種流。所選擇的視頻流基于來自指向裝置22和來自控制組合件24(見圖3)的信息。例如，現(xiàn)參看圖2，基于槍手的頭部跟蹤器，所述圖像處理系統(tǒng)100可跟蹤一目標，例如圖像區(qū)域113中的敵對者。
再參看圖4，基于在校準期間確定的鏡頭失真校正參數(shù)，模塊120使用一投影流場或一通過分段(平鋪)二次轉(zhuǎn)換而近似于一投影流場的非投影流場來校正扭曲攝像機圖像的鏡頭失真。隨后，通過模塊130以投影方式校正經(jīng)過鏡頭失真校正的視頻流的實際滾動、俯仰和/或偏轉(zhuǎn)。接著通過模塊140將經(jīng)過調(diào)節(jié)的視頻流混合在一起以提供一個無縫全景。接著，經(jīng)由模塊150將所述無縫全景提供給一個顯示器來作為一視口。已對顯示所需圖像區(qū)域113的視口進行電子調(diào)節(jié)來解決實際攝像機旋轉(zhuǎn)、鏡頭失真和其它人為因素。所述視口等同于或近似于將從實際指向圖像區(qū)域113方向的攝像機獲得的視圖。應注意，使用一單視頻處理板(諸如，Acadia視覺加速板)來實施大多數(shù)圖像處理系統(tǒng)100。因而，所述視覺加速器減少了主計算機的計算要求。
全景取景系統(tǒng)20具有優(yōu)于萬向架系統(tǒng)的優(yōu)點，因為同一組攝像機可向不同的觀看者提供不同方向的視圖。此外，所述全景取景系統(tǒng)20更快并解決了攝像機的實際搖攝、傾斜和滾動。傳統(tǒng)萬向架系統(tǒng)通常不能解決滾動。此外，所述全景取景系統(tǒng)20沒有移動部分，且具有逐視口“跳轉(zhuǎn)”的能力，而無需左右搖攝穿過干涉點。
雖然圖3中所展示的全景取景系統(tǒng)20是有用的，但在一些應用中其可能不是最佳的。例如，圖5說明本發(fā)明的一個實施例，其中處理系統(tǒng)170包括多個視頻處理卡，但圖中僅展示了其中的兩個(卡A和卡B)。圖5進一步說明了一個可選預處理器175。在操作中，將來自成像攝像機12的圖像數(shù)據(jù)平行應用到卡A和卡B。如果使用預處理器175，那么其可以數(shù)字方式處理輸入的成像數(shù)據(jù)以完成一個共同的任務(wù)，例如鏡頭失真校正?？ˋ和B進一步從控制組合件24接收平行信息。然而，每個卡從不同的指向裝置22接收指向信息。這使得兩個用戶能夠觀察不同的視口。此外，所述可選預處理器175使一個預處理器能夠處理所有卡共同的任務(wù)。
圖6中展示了本發(fā)明的另一個實施例。圖6說明了一個全景可視系統(tǒng)200，其包括一個具有自動跟蹤模塊205的處理系統(tǒng)202。所述自動跟蹤模塊205接收來自成像攝像機12的圖像數(shù)據(jù)。自動跟蹤模塊也接收來自指向裝置22的信息，所述指向裝置識別可具有移動目標的圖像區(qū)域113(見圖2)。基于來自所述成像攝像機的圖像數(shù)據(jù)的變化，并基于來自控制組合件24的控制信息，所述自動跟蹤模塊將自動移動其視口以跟蹤一移動目標。移動目標檢測為所屬領(lǐng)域的技術(shù)人員所熟知的。參考(例如)2000年6月27日頒給Hansen等人的美國專利6,081,606和2002年8月13日頒給Wixson的美國專利6,434,254。
仍參看圖6，來自控制組合件24的控制信息和來自指向裝置22的信息是可替代使用的使得可手動調(diào)節(jié)所述視口以找到一移動目標。接著，可通過操作員或通過軟件例行程序來啟動所述移動目標的自動跟蹤。
本發(fā)明的原理可用于保護諸如裝甲軍用或安全車輛的移動車輛的乘員。所述乘員接著可觀察其車輛周圍所發(fā)生的情況而不會將自己暴露給敵人。例如，圖7說明了一個附著到坦克700的全景取景系統(tǒng)，其中所述攝像機12被外部安裝到所述坦克主體。坦克700內(nèi)的操作員可使用指向裝置來向所述處理系統(tǒng)供應視口方向信息。
雖然前述內(nèi)容針對本發(fā)明的優(yōu)選實施例，但在不脫離本發(fā)明基本范圍的前提下可設(shè)計本發(fā)明的其它和另外的實施例，且其范圍由上述權(quán)利要求書所界定。
權(quán)利要求
1.一種全景可視系統(tǒng)(20)，其包含復數(shù)個攝像機(12)，每個攝像機均產(chǎn)生來自其視野(14)的圖像數(shù)據(jù)，其中每個攝像機的視野(14)與一鄰近視野(14)重疊；一用于供應視口(113)方向信息的指向裝置(22)；和一用于接收所述視口(113)方向信息和來自所述復數(shù)個攝像機的所述圖像數(shù)據(jù)的處理系統(tǒng)(21)，所述處理系統(tǒng)(21)用于從所述接收的圖像數(shù)據(jù)產(chǎn)生視口(113)數(shù)據(jù)以響應所述接收的視口(113)方向信息，其中所述處理系統(tǒng)(21)混合來自重疊視野的所述圖像數(shù)據(jù)以產(chǎn)生表示一全景的全景數(shù)據(jù)，其中所述視口(113)數(shù)據(jù)表示由所述視口(113)方向信息所選擇的全景的一部分；和其中所述處理系統(tǒng)(21)針對所述復數(shù)個攝像機(12)的相對位置校正所述視口(113)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的全景可視系統(tǒng)(20)，其中所述處理系統(tǒng)(21)自動跟蹤一移動目標。
3.根據(jù)權(quán)利要求1所述的全景可視系統(tǒng)(20)，其中所述處理系統(tǒng)(21)針對滾動、俯仰或偏轉(zhuǎn)校正所述視口(113)數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的全景可視系統(tǒng)(20)，其中所述復數(shù)個攝像機(12)被安裝于一移動車輛(700)上。
5.一種全景可視系統(tǒng)(20)，其包含復數(shù)個攝像機(12)，每個攝像機均產(chǎn)生來自其視野(14)的圖像數(shù)據(jù)，其中每個視野(14)與一鄰近視野(14)重疊；一用于供應第一視口(113)方向信息的第一指向裝置(22)；一用于供應第二視口(113)方向信息的第二指向裝置(22)；和一用于接收所述第一視口(113)方向信息、所述第二視口(113)方向信息和來自所述復數(shù)個攝像機(12)的所述圖像數(shù)據(jù)的處理系統(tǒng)(21)，所述處理系統(tǒng)(21)用于從所述接收的圖像數(shù)據(jù)產(chǎn)生第一視口(113)數(shù)據(jù)以響應所述接收的第一視口(113)方向信息，所述處理系統(tǒng)(21)進一步用于從所述接收的圖像數(shù)據(jù)產(chǎn)生第二視口(113)數(shù)據(jù)以響應所述接收的第二視口(113)方向信息，其中所述處理系統(tǒng)(21)混合來自重疊視野的圖像數(shù)據(jù)以產(chǎn)生表示一全景的全景數(shù)據(jù)，其中所述第一視口(113)數(shù)據(jù)表示由所述第一視口(113)方向信息所選擇的所述全景的一部分；其中所述第二視口(113)數(shù)據(jù)表示由所述第二視口(113)方向信息所選擇的所述全景的一部分；和其中至少一個所述視口自動追蹤一移動目標。
6.根據(jù)權(quán)利要求5所述的全景可視系統(tǒng)(20)，其進一步包括一用于顯示所述第一視口(113)數(shù)據(jù)的第一顯示裝置(26)和一用于顯示所述第二視口(113)數(shù)據(jù)的第二顯示裝置(26)。
7.根據(jù)權(quán)利要求5所述的全景可視系統(tǒng)(20)，其進一步包括一產(chǎn)生控制信息的控制組合件，其中所述處理系統(tǒng)(21)基于所述控制信息產(chǎn)生所述第一視口(113)數(shù)據(jù)。
8.一種可視一全景的方法，其包含定位復數(shù)個具有鏡頭的攝像機，使得所述攝像機產(chǎn)生具有重疊視野的圖像；獲得視口方向信息；和處理所述圖像，以產(chǎn)生表示由所述視口方向信息所選擇的所述全景的一部分的全景數(shù)據(jù)，并從而校正由所述攝像機鏡頭所產(chǎn)生的失真。
9.根據(jù)權(quán)利要求8所述的全景可視系統(tǒng)(20)，其中所述處理自動跟蹤一移動目標。
10.一種車輛視覺系統(tǒng)(200)，其包含一車輛主體(700)；復數(shù)個安裝到所述主體的攝像機(12)，其中每個攝像機產(chǎn)生來自其視野(14)的圖像數(shù)據(jù)，和其中每個攝像機的視野(14)與一鄰近視野(14)重疊；一用于供應視口(113)方向信息的指向裝置(22)；和一用于接收所述第一視口(113)方向信息和來自所述復數(shù)個攝像機(12)的所述圖像數(shù)據(jù)的處理系統(tǒng)(202)，所述處理系統(tǒng)(202)用于從所述接收的圖像數(shù)據(jù)產(chǎn)生視口(113)數(shù)據(jù)以響應所述接收的視口(113)方向信息，其中所述處理系統(tǒng)(202)混合來自重疊視野的所述圖像數(shù)據(jù)以產(chǎn)生表示一全景的全景數(shù)據(jù)，其中所述視口(113)數(shù)據(jù)表示由所述視口(113)方向信息所選擇的所述全景的一部分，和其中所述處理系統(tǒng)(202)自動追蹤一移動目標。
全文摘要
本發(fā)明揭示一種具有多個攝像機的全景可視系統(tǒng)(20)，所述多個攝像機具有重疊視野(14)。一指向裝置(22)向一處理系統(tǒng)(21)供應視口(view port)方向信息，該處理系統(tǒng)(21)混合所述視野(14)以產(chǎn)生表示由所述攝像機(12)所成像的全景的全景數(shù)據(jù)，所述處理系統(tǒng)還產(chǎn)生沿所述視口方向的視口數(shù)據(jù)。所述處理系統(tǒng)(21)使用一視覺處理板。一顯示裝置(26)成像所述視口(113)數(shù)據(jù)以展示一圖像區(qū)域。所述處理系統(tǒng)(21)有益地校正所述攝像機的相對位置，校正所述個別攝像機的鏡頭失真，并校正滾動、俯仰和偏轉(zhuǎn)。所述系統(tǒng)可包括一自動跟蹤組合件，其自動移動所述視口(113)以跟蹤一移動目標，同時所述處理系統(tǒng)(21)可使多個用戶能夠觀察多個視口。所述攝像機(12)被有益地安裝于一車輛(700)上。
文檔編號G09G5/08GK1706195SQ200380101461
公開日2005年12月7日 申請日期2003年10月17日 優(yōu)先權(quán)日2002年10月18日
發(fā)明者羅伯特·曼德爾鮑姆, 喬治·赫伯特·尼達姆·里德爾 申請人:沙諾夫股份有限公司