專利名稱：周圍環(huán)境顯示裝置以及帶有這種周圍環(huán)境顯示裝置的交通工具和全景圖像的顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及周圍環(huán)境顯示裝置以及帶有這種周圍環(huán)境顯示裝置的交通工具和顯示全景圖像的方法。
背景技術(shù)：
在飛行駕駛系統(tǒng)的發(fā)展中，力求把合成外觀的策略上的和導(dǎo)航上的信息重疊地顯示在飛機(jī)駕駛艙中的圖像顯示裝置上。至今在駕駛艙顯示器上的透視顯示局限于飛行方向上有限的空間截面。然而，對于必須監(jiān)視整個(gè)空間的飛機(jī)駕駛員的任務(wù)，飛機(jī)前面這種狹小 的角度范圍是不夠的。至今在駕駛艙圖像顯示裝置上只給飛機(jī)駕駛員指示飛機(jī)前面ー個(gè)比較狹小的視角的觀察范圍。在處于駕駛艙中的圖像顯示裝置上以大視角顯示觀察范圍的這個(gè)問題，不僅涉及飛機(jī)，即使在其他交通工具例如陸上交通工具或水上交通工具或者還有靜止裝置的情況下也存在。由US 2009/0309811A1已知ー種圖像顯示系統(tǒng)，其中在安裝于用戶頭部的顯示裝置上顯示之前，在圖像的邊緣區(qū)域壓縮待顯示的圖像，以此使處于用戶周圍視覺區(qū)域的這些邊緣區(qū)域受到比中央圖像顯示區(qū)域更強(qiáng)的壓縮。接著，這個(gè)在邊緣受到壓縮的圖像為了顯示在圖像顯示裝置上而再次伸展，以便在整個(gè)視角上不失真地表達(dá)實(shí)際顯示的圖像，然而在邊緣上分辨率小得多。以此減少圖像顯示所要求的像素?cái)?shù)目，進(jìn)而使顯示的圖像分辨率適應(yīng)于觀察者的視力。因此，在圖像中央?yún)^(qū)域造成高的圖像分辨率，而在周圍的視覺區(qū)域圖像分辨率低。因此，用戶在其中央視覺范圍內(nèi)獲得高分辨率圖像，而在圖像邊緣區(qū)域向他顯示的圖像分辨率降低。但是還要說明，可以停止再一次伸展的步驟。從US 5, 495, 576A已知，從同時(shí)測量三維目標(biāo)所有側(cè)面獲得的大量傳感器數(shù)據(jù)(例如雷達(dá)、攝像機(jī))產(chǎn)生ー個(gè)在顯示裝置上顯示給用戶的虛像。從US 2007/0097206A1已知ー種全景攝像機(jī)系統(tǒng)，它由安裝在交通工具上的大量的攝像單元組成，這些攝像単元各自從不同視線方向環(huán)繞該交通工具。從這種攝像機(jī)所攝取的圖像數(shù)據(jù)獲得表達(dá)在顯示裝置上的全景圖像，使圍繞該交通工具360°的視覺成為可倉^:。

發(fā)明內(nèi)容
因此，本發(fā)明種目的是，提出一種周圍環(huán)境顯示裝置，借此使操作者可能在圖像顯示裝置上以大視角看見ー個(gè)觀察范圍，而不會由于所顯示的圖像失真而損害操作者的與位置有關(guān)的覺察力。此外，本發(fā)明的目的是，提出一種帶有這種類型的周圍環(huán)境顯示裝置的交通工具以及ー種顯示全景圖像的方法。該目的的涉及周圍環(huán)境顯示裝置的部分通過帶有權(quán)利要求I特征的周圍環(huán)境顯示裝置來實(shí)現(xiàn)。
為此，該周圍環(huán)境顯示裝置設(shè)有至少ー個(gè)圖像源；圖像信號處理裝置和至少ー個(gè)圖像顯示裝置；其中由該圖像源提供的圖像輸入信號被輸送給圖像信號處理裝置；其中該圖像信號處理裝置把輸送給它的圖像輸入信號處理成全景圖像的圖像輸出信號；其中由圖像信號處理裝置把圖像輸出信號進(jìn)ー步傳遞給圖像顯示裝置，以便顯示全景圖像，其中該圖像信號處理裝置處理圖像輸入信號，使得全景圖像的至少ー個(gè)第一區(qū)域不失真或以第一壓縮度壓縮，且全景圖像的至少ー個(gè)第二區(qū)域以第二壓縮度被壓縮地表達(dá)。在此，該圖像信號處理裝置經(jīng)過適當(dāng)設(shè)計(jì)，使得整個(gè)全景圖像上不失真的或被壓縮地表達(dá)的區(qū)域的部分可以可變地選擇；被壓縮地表達(dá)的區(qū)域的各自的壓縮度可以任意選擇，而且對被壓縮地表達(dá)的區(qū)域的這種改變可以在周圍環(huán)境顯示裝置的運(yùn)行過程中進(jìn)行。在按照本發(fā)明的周圍環(huán)境顯示裝置中的圖像信號處理裝置允許對由一個(gè)圖像源或多個(gè)圖像源產(chǎn)生的作為圖像輸入信號輸送給圖像信號處理裝置的圖像信息進(jìn)行處理，使得對被ー個(gè)或多個(gè)圖像源覆蓋的視角的水平的和/或豎直的壓縮，在顯示于圖像顯示裝置上的全景圖像的整個(gè)平面上，并非以同一壓縮度而是以不同的水平的和/或豎直的壓縮度，壓縮到與操作者的在圖像顯示裝置上的視角一致的視角。 若只在全景圖像的一部分中進(jìn)行壓縮，而全景圖像的一般與操作者主視覺方向一致的、在其中操作者必須無誤地看見和識別目標(biāo)的另一部分不失真地加以表達(dá)，則給出一種有利的特殊情況。這樣，操作者例如汽車駕駛員或飛機(jī)駕駛員便可能從該圖像顯示裝置的顯示中正確地獲得其視野的對于汽車或飛機(jī)控制所要求的區(qū)域，但另一方面，還可以在圖像顯示裝置上看見在這個(gè)主視覺方向的側(cè)面以及某些情況下上面或下面的區(qū)域，該區(qū)域盡管是壓縮的，因此是失真的，但是在該區(qū)域中，操作者可以感覺到，它發(fā)生在其自然視野以外。在現(xiàn)有技術(shù)中，不失真的顯像總是局限于操作者的中央視角，壓縮的圖像部分設(shè)置在周圍的邊緣區(qū)域中，而就按照本發(fā)明的周圍環(huán)境顯示裝置而言，被壓縮地表達(dá)的第二區(qū)域的部分是可變的，此外，第二區(qū)域的壓縮度是可以任意選擇的。對被壓縮地表達(dá)的第二區(qū)域的這些改變可以任意地在周圍環(huán)境顯示裝置的運(yùn)行過程中進(jìn)行。這種可變性在現(xiàn)有技術(shù)中是未知的，它要么使操作者自己能夠選擇被壓縮區(qū)域的部分和壓縮度，要么例如在從ー個(gè)確定的方向出現(xiàn)危險(xiǎn)威脅(例如由飛機(jī)本身的傳感器測量出向飛機(jī)襲來的火箭)吋，即使這種危險(xiǎn)區(qū)域處于全景圖像的原先被壓縮地表達(dá)的第二區(qū)域內(nèi)，也能自動(dòng)在圖像顯示裝置上不失真地表達(dá)該危險(xiǎn)區(qū)域。該圖像信號處理裝置經(jīng)過優(yōu)選設(shè)計(jì)，使得可以以不同于第一和第二壓縮度的另ー壓縮度至少表達(dá)全景圖像的另ー個(gè)區(qū)域。這個(gè)實(shí)施方式允許以不同的壓縮度局部地任意地壓縮全景圖像。例如，可以對全景圖像的當(dāng)前操作狀況重要性較小的區(qū)域進(jìn)行強(qiáng)烈的壓縮，而對當(dāng)前操作狀況重要的區(qū)域進(jìn)行較弱的壓縮或者甚至不失真地予以表達(dá)。對這些區(qū)域的選擇可以由操作者手動(dòng)進(jìn)行，或者可以自動(dòng)地由相應(yīng)的導(dǎo)航或交通工具駕駛支持裝置進(jìn)行。對有待壓縮區(qū)域的選擇和對有待給各區(qū)域指配的壓縮度的選擇可以在運(yùn)行期間進(jìn)行，以便可以在每種操作狀況下手動(dòng)或自動(dòng)調(diào)整全景圖像的各個(gè)圖示。在另一有利的設(shè)計(jì)中，可以任意選擇與被不失真地或被壓縮地表達(dá)的區(qū)域?qū)?yīng)的在水平平面內(nèi)在0°和360°之間的視角，還可以任意選擇與被不失真地或被壓縮地表達(dá)的區(qū)域?qū)?yīng)的在豎直平面內(nèi)在最低點(diǎn)-90°視角和最高點(diǎn)+90°視角之間的視角。這樣便可以從涉及用戶的或者涉及包圍各傳感器位置的整個(gè)視覺區(qū)域，任意選擇要壓縮的和待在全景圖像屏幕上顯示的視角范圍。優(yōu)選設(shè)置多個(gè)圖像源，其中這些圖像源的視線方向朝向不同的方向，優(yōu)選從觀察周圍環(huán)境的操作者出發(fā)朝向圍繞操作者的四周。這樣便可以覆蓋周圍環(huán)境顯示裝置的非常大的觀察角度。在一個(gè)優(yōu)選的實(shí)施方式中，至少ー個(gè)圖像源具有數(shù)據(jù)處理裝置，該數(shù)據(jù)處理裝置被設(shè)計(jì)用來把存儲的數(shù)字地形模型的圖像數(shù)據(jù)作為圖像信號傳遞給該圖像信號處理裝置。作為在ー個(gè)確定的視線方向上符合實(shí)際的模擬虛擬視圖對所存儲的數(shù)字地形模型的圖像數(shù)據(jù)的這種存儲，無需附加的圖像源硬件，借助于計(jì)算機(jī)即可進(jìn)行。應(yīng)用所存儲的數(shù)字地形模型的數(shù)據(jù)作為圖像信號，與借助于傳感器實(shí)時(shí)地采集圖像信號相比，有許多優(yōu)點(diǎn)。在數(shù)字地形模型中存儲的數(shù)據(jù)，與用機(jī)載機(jī)構(gòu)(Bordmittel)實(shí)時(shí)測量的相比可以準(zhǔn)確得多，因?yàn)檫@些數(shù)據(jù)例如可以用昂貴的測量方法取得。另外，對所存儲的數(shù)字地形模型的圖像數(shù)據(jù)的應(yīng)用與天氣無關(guān)。該地形模型的數(shù)據(jù)也不會受到遮擋，而借助于傳感器實(shí)時(shí)地采集數(shù)據(jù)就·可能受到遮擋，這種遮擋例如因在待由圖像傳感器檢測的區(qū)域中的地形結(jié)構(gòu)造成。實(shí)時(shí)采集圖像數(shù)據(jù)用的傳感器受到有效距離的限制，而應(yīng)用所存儲的數(shù)字地形模型的圖像數(shù)據(jù)時(shí)就不會受到有效距離的限制，只要使用者在所存儲的地形模型中移動(dòng)。應(yīng)用所存儲的數(shù)字地形模型的圖像數(shù)據(jù)，與借助于激活的即發(fā)射信號的傳感器進(jìn)行的圖像數(shù)據(jù)采集相比，另ー個(gè)重要的優(yōu)點(diǎn)是，對所存儲的數(shù)字地形模型的圖像數(shù)據(jù)的訪問“靜止地”進(jìn)行，特別是在軍事應(yīng)用的情況下，為了防止使用者通過從激活的傳感器發(fā)射出的信號而被識別到，這是重要的。優(yōu)選至少ー個(gè)圖像源由至少ー個(gè)傳感器構(gòu)成，該傳感器被設(shè)計(jì)用來檢測正在接近的目標(biāo)，并把由檢測所得到的目標(biāo)位置數(shù)據(jù)作為圖像信號傳遞給圖像信號處理裝置。采用該方案，可以把用不可見光(雷達(dá)或者紅外傳感器)檢測例如襲來的目標(biāo)的傳感器集成在由多個(gè)圖像源組成的整個(gè)系統(tǒng)中。特別是當(dāng)這些傳感器信號與數(shù)字地形模型重疊時(shí)，在取得數(shù)字地形模型的上述優(yōu)點(diǎn)的情況下，在該圖像顯示裝置上可靠地顯示向操作者靠近的目標(biāo)。在另ー個(gè)優(yōu)選的實(shí)施方式中，至少ー個(gè)圖像源由圖像采集裝置例如視頻攝像機(jī)構(gòu)成。若處于觀察者的視線方向上的區(qū)域，例如處于交通工具之前的路段，作為實(shí)時(shí)圖像集成到為了顯示而在圖像顯示裝置上產(chǎn)生的全景圖像中，則這個(gè)方案特別適用。在此，圖像源的視線方向經(jīng)過優(yōu)選取向，使得這些圖像源至少在第一平面上對視野的圖像信息以大于120°優(yōu)選大于180°進(jìn)ー步優(yōu)選為360°的視角進(jìn)行檢測。人類兩眼測量的視野的水平擴(kuò)展大致可達(dá)180°，然而朝向外邊緣對于移動(dòng)目標(biāo)的感知減少，不再可能在視野邊緣區(qū)域內(nèi)進(jìn)行具體的對象識別。當(dāng)被多個(gè)或ー個(gè)圖像源覆蓋的水平視野在120°和180°之間時(shí)，按照本發(fā)明的周圍環(huán)境顯示裝置已經(jīng)提供了顯著提高的信息獲取度，這是因?yàn)椴僮髡咴趫D像顯示裝置上也不僅借助運(yùn)動(dòng)來感知到處于其視野邊緣區(qū)域中的目標(biāo)，而且還可以認(rèn)出且在某些情況下可以識別該目標(biāo)。當(dāng)不失真地表達(dá)全景圖像的與操作者視線方向一致的區(qū)域吋，是特別有利的。這使得操作者總是可以清楚地且不失真地看見對于其信息需求來說重要的區(qū)域。圖像信號處理裝置優(yōu)選獲得有關(guān)操作者的當(dāng)前視線方向的信息，使得不失真地表達(dá)的全景圖像區(qū)域與操作者當(dāng)前的視線方向一致，即使操作者移動(dòng)進(jìn)而改變其視線方向。不失真地表達(dá)的區(qū)域自動(dòng)地適應(yīng)于操作者當(dāng)前的視線方向，這使得在圖像顯示裝置上顯示的全景圖像的不失真地表達(dá)的區(qū)域當(dāng)操作者改變其視線方向時(shí)可以游移。以此可以實(shí)現(xiàn)不必不失真表達(dá)與操作者的自然視野一致的整個(gè)視角，而只需要不失真地表達(dá)來自圖像顯示裝置的狹窄的中央視角。但同樣有利的是，操作者可以影響圖像信號處理裝置，使得他可以選擇在圖像顯示裝置上向他顯示的全景圖像的應(yīng)該不失真地進(jìn)行表達(dá)的區(qū)域。這樣便可能使操作者可以通過移位全景圖像的不失真地表達(dá)的區(qū)域，或者通過提供一個(gè)附加的不失真地表達(dá)的區(qū)域，就可以不失真地看到在全景圖像的本身失真地表達(dá)的側(cè)向區(qū)域中露出的目標(biāo)。周圍環(huán)境顯示裝置優(yōu)選是交通工具的特別是空中交通工具的一部分，且把ー個(gè)或 多個(gè)圖像源設(shè)置在交通工具上，并優(yōu)選從交通工具出發(fā)提供至少半圓形或整圓形的圖示。按照本發(fā)明的周圍環(huán)境顯示裝置的這種設(shè)計(jì)方式，對于在其中在交通工具駕駛員的自然視野的側(cè)段內(nèi)的觀察可能是意義重大的多種應(yīng)用領(lǐng)域，在比較小的消耗情況下特別有利，因?yàn)橐源藢?shí)現(xiàn)了可以感覺到的信息獲取。全景圖像的不失真的區(qū)域優(yōu)選表達(dá)了處于行駛方向的圖像扇面。這使交通工具駕駛員只借助在圖像顯示裝置上顯示的全景圖像便可以控制交通工具，這例如在裝甲的交通工具中或者還有在受遙控的交通工具的情況下，其中交通工具駕駛員和圖像顯示裝置處于交通工具以外，乃是ー個(gè)巨大的優(yōu)點(diǎn)。在另ー個(gè)優(yōu)選的設(shè)計(jì)方式中，全景圖像的不失真地表達(dá)的區(qū)域的圖像表達(dá)的壓縮度向其旁側(cè)増大。以此，全景圖像的對于當(dāng)前主視覺方向較不重要的區(qū)域，在圖像顯示裝置上占據(jù)較小的地方，從而可以為全景圖像的失真較小的或者不失真地表達(dá)的區(qū)域更好地利用余下的地方。按照本發(fā)明，周圍環(huán)境顯示裝置的一個(gè)特別有利的應(yīng)用是在設(shè)有按照本發(fā)明的周圍環(huán)境顯示裝置的交通工具特別是空中交通工具中，該周圍環(huán)境顯示裝置同樣可以具有上述有利的改進(jìn)方案。在此，對周圍環(huán)境顯示裝置的應(yīng)用在如下情況下是特別有利的，即該交通工具是無人駕駛的交通工具例如無人駕駛的空中交通工具。在這種情況下，圖像顯示裝置設(shè)置在ー個(gè)設(shè)置于交通工具以外的遙控單元中。圖像信號處理裝置可以設(shè)置在交通工具或遙控單元中。相應(yīng)的圖像信號在交通工具和遙控單元之間優(yōu)選無線地傳遞。所述目的的涉及該方法的部分通過在權(quán)利要求16中給出的方法來實(shí)現(xiàn)，該方法用來為操作者在按照本發(fā)明的周圍環(huán)境顯示裝置的圖像顯示裝置上顯示全景圖像。這個(gè)方法有下列步驟-提供由至少ー個(gè)圖像源提供的圖像輸入信號；-把圖像輸入信號處理成全景圖像用的圖像輸出信號，使得全景圖像的至少ー個(gè)第一區(qū)域不失真地壓縮或以第一壓縮度壓縮，且全景圖像的至少ー個(gè)第二區(qū)域以第二壓縮度壓縮；-把圖像輸出信號進(jìn)ー步傳遞到圖像顯示裝置；和-在圖像顯示裝置上顯示全景圖像，其中可以分別任意可變地選擇各個(gè)被壓縮地表達(dá)的區(qū)域的各壓縮度。
通過按照本發(fā)明的方法實(shí)現(xiàn)的對圖像輸入信號的處理，使得從ー個(gè)或多個(gè)圖像源取得的圖像輸入信號產(chǎn)生在圖像顯示裝置上顯示全景圖像的圖像輸出信號，全景圖像在不同的區(qū)域以內(nèi)被不同程度地失真表達(dá)，其中失真特別是壓縮在顯示期間可以在ー個(gè)或者兩個(gè)維度上亦即在運(yùn)行的任意時(shí)間進(jìn)行調(diào)節(jié)。在這個(gè)方法的ー個(gè)有利的改進(jìn)方案中，操作者可以選擇在全景圖像的哪個(gè)位置應(yīng)該進(jìn)行不失真的或失真的顯示。這例如可以這樣地進(jìn)行，即，操作者在設(shè)計(jì)為觸摸敏感的熒光屏的圖像顯示裝置上接觸該要不失真地或失真地表達(dá)的區(qū)域，或者操作者可以通過圖像顯示裝置上的本已周知的操作介質(zhì)把光標(biāo)置于所要求的位置上，在該位置應(yīng)該進(jìn)行不失真的或失真的圖像表達(dá)。作為替代或補(bǔ)充還可以規(guī)定，根據(jù)自動(dòng)檢測的目標(biāo)或事件，自動(dòng)確定在圖像顯示裝置上所顯示的全景圖像的不失真地或失真較小地表達(dá)的區(qū)域。由此例如當(dāng)傳感器檢測到ー個(gè)從確定的方向靠近的目標(biāo)時(shí)，在圖像顯示裝置上對該目標(biāo)所處的區(qū)域自動(dòng)進(jìn)行不失真的或失真較小的表達(dá)。 下面將參照附圖更詳細(xì)地描述和闡明帶有附加的設(shè)計(jì)細(xì)節(jié)和其他優(yōu)點(diǎn)的本發(fā)明的優(yōu)選的實(shí)施例。


圖I示出帶有按照本發(fā)明的周圍環(huán)境顯示裝置的空中交通工具；圖2是根據(jù)圖I的按照本發(fā)明的周圍環(huán)境顯示裝置的組成部分的示意圖；圖3示出帶有按照本發(fā)明的周圍環(huán)境顯示裝置的裝甲交通工具；圖4是根據(jù)圖3的按照本發(fā)明的周圍環(huán)境顯示裝置的組成部分的示意圖；圖5示出經(jīng)典視場擴(kuò)大的示例；圖6示出帶有按照本發(fā)明設(shè)置的不失真區(qū)域的視場擴(kuò)大示例。
具體實(shí)施例在圖I中示出了飛機(jī)1，它配備了按照本發(fā)明的周圍環(huán)境顯示裝置2。為此，該飛機(jī)I具有多個(gè)圖像源。在圖I中還可以看到飛機(jī)I的駕駛艙11以及作為周圍環(huán)境顯示裝置2操作者的飛機(jī)駕駛員12，其中在駕駛艙11中示意地示出周圍環(huán)境顯示裝置2的圖像顯示裝置24。作為第一圖像源，設(shè)置有在計(jì)算機(jī)10 (圖2)的數(shù)據(jù)存儲器10'中存儲的飛機(jī)當(dāng)前所處的環(huán)境的數(shù)字地形模型。由該合成的圖像源提供的虛擬圖像以在飛機(jī)四周的水平視角α = 360°延伸。這個(gè)合成的外觀由ー個(gè)或者多個(gè)存儲在計(jì)算機(jī)10的存儲器10'中的數(shù)字地形模型產(chǎn)生，所述地形模型形成圖像數(shù)據(jù)的數(shù)據(jù)庫。為此，在計(jì)算機(jī)中運(yùn)行的圖像產(chǎn)生程序的虛擬攝像機(jī)“拍攝”數(shù)字地形模型，以便產(chǎn)生計(jì)算機(jī)支持的動(dòng)態(tài)圖像，它的圖像數(shù)據(jù)作為圖像輸入信號Sei。通過數(shù)據(jù)線10"傳遞到圖像信號處理裝置25，如圖2所示。該圖像信號處理裝置25以下面還要進(jìn)一步描述的方法形成圖像輸出信號Sa，該圖像輸出信號通過數(shù)據(jù)線26進(jìn)ー步傳遞給圖像顯示裝置24并在那里作為全景圖像24，顯示出來。以此，在飛機(jī)通過周圍環(huán)境移動(dòng)期間，該環(huán)境作為合成透視外觀在圖像顯示裝置上顯示出來。該合成外觀可以在內(nèi)容上用其他信息源來補(bǔ)充，或者完全或部分地被其他圖像內(nèi)容重疊。作為其他圖像源，飛機(jī)設(shè)有至少ー個(gè)圖像采集裝置14，它具有作為給出圖像的傳感器的圖像采集傳感器14'，該圖像采集傳感器例如由光學(xué)攝像機(jī)或紅外攝像機(jī)形成。這種給出圖像的傳感器在所示的示例中采集非常狹長的，在飛行方向上相對于飛機(jī)縱向軸X處于+/-10°，因而水平視角β =20°的圖像扇面。由這個(gè)給出圖像的傳感器提供的圖像信號Sei4通過數(shù)據(jù)線14"輸送給圖像信號處理裝置25，并被圖像信號處理裝置作為周圍環(huán)境的真實(shí)圖像集成在全景圖像中。另外，作為圖像源設(shè)有帶有一個(gè)或多個(gè)跟蹤傳感器16'的對象識別裝置16，該對象識別裝置能識別目標(biāo)和求出有關(guān)這些目標(biāo)的信息。這樣的跟蹤傳感器例如是紅外跟蹤傳感器、雷達(dá)跟蹤傳感器、敵友識別傳感器(識別故/友)或者所謂的ELS傳感器(發(fā)射器定位系統(tǒng))，ELS傳感器可以對發(fā)出雷達(dá)搜索射線的雷達(dá)站進(jìn)行定位。這些跟蹤傳感器可以在飛行方向+/-70°的角度范圍內(nèi)，亦即Y =140°的水平視角內(nèi)識別目標(biāo)，并求出有關(guān)這些 目標(biāo)的不同信息，例如其位置、速度或移動(dòng)方向。所述信息通過數(shù)據(jù)線16"作為圖像輸入信號Se16傳遞給圖像信號處理裝置25，并被該圖像信號處理裝置集成到顯示在圖像顯示裝置上的全景圖像中。以此，附帯地在信息上評價(jià)該圖像視圖。在這種情況下操作者不必親自完成對象識別，而是在圖像顯示裝置25上通過相應(yīng)的符號向操作者顯示對象的存在及其特性。最后，還可以使得通過數(shù)據(jù)無線電臺借助于形成圖像源的接收器18和天線18'所接收的監(jiān)視信息作為圖像輸入信號Se18通過數(shù)據(jù)線18"傳遞給圖像信號處理裝置25。例如，這個(gè)監(jiān)視信息從地面上的雷達(dá)站或其他空中偵查機(jī)(例如，AWACS)發(fā)出，并形成從對飛機(jī)I的整個(gè)周圍環(huán)境在水平視角S = 360°下的監(jiān)測得出的跟蹤報(bào)告信號。以此，把從其他信息源產(chǎn)生的監(jiān)視信息輸送給圖像信號處理裝置25，并由該圖像信號處理裝置以適當(dāng)?shù)姆椒?，例如作為符號顯示，集成到在圖像顯示裝置上顯示的、例如部分合成和部分真實(shí)的外觀的全景圖像上。故可以在由數(shù)字地形模型產(chǎn)生的合成外觀上集成來自其他不同的圖像源或信息源(例如光學(xué)攝像機(jī)或紅外攝像機(jī)或借助于其他方法產(chǎn)生的圖像信號，諸如給出圖像的雷達(dá))的附加的圖像信息。這時(shí)，在圖像顯示裝置上模擬出由圖像源的給出圖像的傳感器采集的實(shí)際環(huán)境。對真實(shí)環(huán)境的這種模擬可以在相應(yīng)于相關(guān)傳感器的視線方向的角度范圍內(nèi)替代于或附加于數(shù)字地形模型的合成外觀進(jìn)行顯示。圖3表示按照本發(fā)明的周圍環(huán)境顯示裝置2在裝甲交通工具I'上的替代應(yīng)用。該交通工具Γ有四個(gè)圖像采集裝置20、21、22、23作為圖像源，例如在可見光內(nèi)工作的攝像機(jī)。但是，作為替代或補(bǔ)充，也可以設(shè)置在可見光以外的例如在紅外范圍中的波長范圍內(nèi)工作的圖像采集裝置。第一圖像采集裝置20按行駛方向指向前方，并具有水平視角為Ci1 = 60°的圖像采集范圍。在該交通工具上安裝向后的圖像采集裝置21，其水平視角為Ci2 = 90°。附帯地在交通工具I'上設(shè)置分別向左或向右的圖像采集裝置22、23，其分別覆蓋水平視角α3、α4= 120°。這樣，用四個(gè)圖像采集裝置20、21、22、23可以圍繞交通工具Γ進(jìn)行360°的環(huán)視。在圖4中示意地示出該應(yīng)用情況用的周圍環(huán)境顯示裝置2的結(jié)構(gòu)。圖像采集裝置20、21、22、23均設(shè)有圖像采集傳感器20'、2Γ ,22/、23^，它們由以光學(xué)方法獲得的圖像產(chǎn)生電子圖像數(shù)據(jù)。在每個(gè)圖像采集裝置20、21、22、23中產(chǎn)生的圖像數(shù)據(jù)作為圖像信號SE2。、SE21、SE22、Se23通過相應(yīng)的數(shù)據(jù)線20"、21"ヽ22"、23"從各自的圖像采集裝置20、21、22,23進(jìn)ー步傳遞給圖像信號處理裝置25。下面將參照上述兩個(gè)示例闡述按照本發(fā)明的周圍環(huán)境顯示裝置的工作方法。在圖像信號處理裝置25中融合圖像輸入信號SE1Q、SE14, Se16, Se18或SE2(I、SE21, Se22,SE23,由在它們中分別含有的圖像信息形成總的圖像信息，在該總的圖像信息中，由各個(gè)圖像源10、14、16、18或20、21、22、23提供的圖像信息匯合成總圖像作為全景圖像。這時(shí)，這個(gè)總圖像信息經(jīng)過下面描述的圖像處理，并作為圖像輸出信號Sa通過另一條圖像數(shù)據(jù)線26從圖像處理裝置25進(jìn)ー步傳遞給圖像顯示裝置24，該圖像顯示裝置例如可以由全景圖像 屏幕構(gòu)成。由于用這樣的方法擴(kuò)大操作者(例如飛機(jī)駕駛員或汽車駕駛員)12的視野，在圖像顯示裝置上顯示的視野首先出現(xiàn)壓縮，正如圖5A至5C參照另一個(gè)示例所示。圖5B表示給操作者例如飛機(jī)駕駛員在飛行方向上觀察時(shí)提供的水平視角大致為50°的視野的示意圖。若在圖像顯示裝置24上顯示這個(gè)視野，則會給出按照圖5B的不失真的圖像。這個(gè)視野對應(yīng)于圖5A中的視角β !。若現(xiàn)在通過按照本發(fā)明的周圍環(huán)境顯示裝置來擴(kuò)大視野，這用水平視角β2在圖5Α中以符號顯示，而且這個(gè)擴(kuò)大后的視野顯示在同一圖像顯示裝置上，如圖5C所示，則會對整個(gè)模擬產(chǎn)生水平壓縮(Stauchung)。接著，這個(gè)水平壓縮在圖像處理裝置25中在對應(yīng)于飛機(jī)駕駛員12的在飛行方向上的觀察的中間區(qū)域內(nèi)再次加寬，使得在圖6Α至6C所示的示例中在水平視角03約20° (圖6Α)的范圍內(nèi)延伸的該中間區(qū)域P1內(nèi)，在圖像顯示裝置24上給出不失真的圖像(圖6C)。剩下的從中間區(qū)域B1向邊緣伸展的第二區(qū)域Β&和B2k，與圖6Β所示的在整個(gè)視野范圍內(nèi)均勻壓縮的情況相比，在水平方向上較強(qiáng)壓縮地表達(dá)出來。用這樣的方法，采用按照本發(fā)明的周圍環(huán)境顯示裝置，一方面導(dǎo)致視野的擴(kuò)大，另一方面通過擴(kuò)大視野的中央?yún)^(qū)域，亦即在汽車或飛機(jī)駕駛員視線方向V上的擴(kuò)大，達(dá)到符合實(shí)際的模擬，使得汽車或飛機(jī)駕駛員12可以不受限制地完成他的駕駛?cè)蝿?wù)。利用在壓縮的邊緣區(qū)域Β&和B2k中的附加的現(xiàn)有信息，汽車或飛機(jī)駕駛員12可以進(jìn)行路線規(guī)劃和路線監(jiān)視。例如就戰(zhàn)斗機(jī)而言，其需要監(jiān)視該飛機(jī)周圍的整個(gè)空間，則可以在圖像顯示裝置24上顯示從+180°至-180°的角度范圍，正如在圖I的示例中所示那樣。在這種情況下，在圖像顯示裝置24上顯示的全景圖像24'的各個(gè)區(qū)域被不同程度地壓縮。這樣便可以不失真地再現(xiàn)例如中央?yún)^(qū)域B1，在該區(qū)域中顯示由攝像機(jī)攝取的實(shí)際圖像。緊跟其后ー側(cè)直至約+90°而在另ー側(cè)直至約-90°，的其中在虛擬環(huán)境圖像中插入跟蹤信息的側(cè)向區(qū)域，可以進(jìn)行較弱的壓縮，而在-90°和-180°之間或+90°和+180°之間的其中顯示虛擬環(huán)境圖像的最外側(cè)的側(cè)向邊緣區(qū)域進(jìn)行較強(qiáng)壓縮。在這個(gè)區(qū)域中這樣強(qiáng)的壓縮幾乎無損于監(jiān)視任務(wù)。在圖像顯示裝置24上顯示的視野的擴(kuò)大，在中央投影到熒光屏平面上時(shí)導(dǎo)致失真。因此，最好在圖像信號處理裝置上首先通過計(jì)算在球平面上進(jìn)行中央投影，并接著把這種球面模擬的數(shù)據(jù)作為在平投影面上的球形投影面展開，換算為投影平面上的圖像數(shù)據(jù)，并接著壓縮至圖像顯示裝置24的熒光屏的大小。這個(gè)做法不僅可以在水平平面上進(jìn)行，而且-作為替代或補(bǔ)充-還可以在豎直平面上進(jìn)行。這樣產(chǎn)生的顯示的產(chǎn)生方式為，把空間同心地投影到投影球面上。該球面在熒光屏的顯示平面上展開，以便相同高度和相同方位的線得出垂直的柵格。這種角度的改變可以在運(yùn)行過程中進(jìn)行。此外，這種被壓縮的透視的外觀的可變部分可以以任意可選的壓縮度來顯示(belegen)。這時(shí)，其余的顯示相應(yīng)地適應(yīng)于其壓縮，以便進(jìn)ー步模擬所要求的空間截面。例如，這樣可以在飛行方向上矯正圖形截面，使之符合實(shí)際地顯示出來，而其余圖示進(jìn)一歩壓縮。飛機(jī)駕駛員有這樣的可能性，即選擇包圍他的空間的任意大小的截面并可以進(jìn)行透視顯示。以此可以在工作效率和工作功效方面優(yōu)化對重要的策略上的和導(dǎo)航上的信息的接收，這減小了工作負(fù)荷，提高了飛機(jī)駕駛員和整個(gè)系統(tǒng)的能力。操作者(汽車或飛機(jī)的駕駛員)有可能以不同強(qiáng)度的壓縮呈現(xiàn)合成外觀的不同截面。例如，對于飛機(jī)駕駛員在觀察不同的空間區(qū)域時(shí)涉及不同的任務(wù)。通過對不同圖形區(qū)域的不同壓縮，可以使人造外觀適應(yīng)不同的任務(wù)。例如，把飛行方向上的符合實(shí)際的圖示用于飛行駕駛?cè)蝿?wù)，直至路線規(guī)劃的水平+/-90°的圖示的適度壓縮和空間后向的強(qiáng)壓縮不會損害觀察任務(wù)。在權(quán)利要求書、說明書和附圖中的附圖標(biāo)記只用來更好地理解本發(fā)明，而且不應(yīng)限制保護(hù)范圍。附圖標(biāo)記清單I飛機(jī)I'裝甲車2周圍環(huán)境顯示裝置10計(jì)算機(jī)10' 存儲器10" 數(shù)據(jù)線11駕駛艙12飛機(jī)駕駛員14 圖像采集裝置14' 圖像采集傳感器14" 數(shù)據(jù)線16 對象識別裝置16' 跟蹤傳感器16" 數(shù)據(jù)線18、接收器18' 天線18" 數(shù)據(jù)線20圖像采集裝置20' 圖像采集傳感器20" 數(shù)據(jù)線
21圖像采集裝置21' 圖像采集傳感器21" 數(shù)據(jù)線22圖像采集裝置22' 圖像采集傳感器22" 數(shù)據(jù)線23圖像采集裝置23' 圖像采集傳感器 23" 數(shù)據(jù)線24圖像顯示裝置25 圖像信號處理裝置26 圖像數(shù)據(jù)線α視角α I 視角α 2 視角α 3 視角α 4 視角β視角β I 視角β 2 視角β 3 視角Y視角δ 視角B1 中間區(qū)域B2l壓縮的邊緣區(qū)域B2e壓縮的邊緣區(qū)域Sa 圖像輸出信號Seio圖像輸入信號Sei4圖像輸入信號Se16圖像輸入信號Se18圖像輸入信號Se20圖像輸入信號Se21圖像輸入信號Se22圖像輸入信號Se23圖像輸入信號
權(quán)利要求
1.一種周圍環(huán)境顯示裝置，帶有 -至少ー個(gè)圖像源(10、14、16、18 ;20、21、22、23)； -圖像信號處理裝置(25);和 -至少ー個(gè)圖像顯示裝置(24)； -其中由該圖像源(10、14、16、18 ;20、21、22、23)提供的圖像輸入信號(SE10, SE14, Se16,Se18 ;SE20、SE21、SE22、Se23)輸送給圖像信號處理裝置(25)； -其中圖像信號處理裝置(25)把輸送給它的圖像輸入信號(SE1Q、Sei4> Se16> Se18 ；SE20>Se21、Se22、SE23)處理成全景圖像的圖像輸出信號(Sa)； -其中由該圖像信號處理裝置(25)把圖像輸出信號(Sa)進(jìn)ー步傳遞給圖像顯示裝置(24)，用于顯示全景圖像；和 -其中圖像信號處理裝置(25)處理圖像輸入信號(SE1Q、SE14, Se16, Se18 ;SE2Q、Se21, Se22,SE23)，使得全景圖像的至少ー個(gè)第一區(qū)域(B1)不失真地壓縮或者以第一壓縮度壓縮，而全景圖像的至少ー個(gè)第二區(qū)域(Β&、Β2Κ)以第二壓縮度被壓縮地表達(dá)； 其特征在干， 圖像信號處理裝置(25)經(jīng)過設(shè)計(jì)，使得 -整個(gè)全景圖像上的不失真地或者壓縮地表達(dá)的區(qū)域的部分可以可變地選擇； -被壓縮地表達(dá)的區(qū)域的各自的壓縮度可以任意選擇；和 -在該周圍環(huán)境顯示裝置的運(yùn)行期間，可以對被壓縮地表達(dá)的區(qū)域進(jìn)行這種改變。
2.按照權(quán)利要求I的周圍環(huán)境顯示裝置， 其特征在干， 圖像信號處理裝置(25)經(jīng)過設(shè)計(jì)，使得全景圖像的至少ー個(gè)其它區(qū)域可以以不同于第一和第二壓縮度的其它壓縮度來表達(dá)。
3.按照權(quán)利要求I或2的周圍環(huán)境顯示裝置， 其特征在干， -可以在水平平面上在0°和360°之間任意選擇與不失真地或壓縮地表達(dá)的區(qū)域?qū)?yīng)的視角；和 -可以在豎直平面上在-90°和+90°之間任意選擇與不失真地或壓縮地表達(dá)的區(qū)域?qū)?yīng)的視角。
4.按照權(quán)利要求1、2或3的周圍環(huán)境顯示裝置， 其特征在干， 設(shè)置多個(gè)圖像源(10、14、16、18 ;20、21、22、23)，其中圖像源的視線方向，優(yōu)選從觀察周圍環(huán)境的操作者(12)出發(fā)朝向圍繞操作者(12)的四周。
5.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 至少ー個(gè)圖像源(10)具有數(shù)據(jù)處理裝置，該數(shù)據(jù)處理裝置被設(shè)計(jì)用于把所存儲的數(shù)字地形模型的圖像數(shù)據(jù)作為圖像信號(Seici)傳遞給圖像信號處理裝置(25)。
6.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 至少ー個(gè)圖像源(16)由至少ー個(gè)傳感器構(gòu)成，所述傳感器被設(shè)計(jì)用來測量接近的目標(biāo)，并把從該測量得出的目標(biāo)位置數(shù)據(jù)作為圖像信號(Se16)傳遞給圖像信號處理裝置(25)。
7.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 至少ー個(gè)圖像源(14 ;20、21、22、23)是由圖像采集裝置構(gòu)成的。
8.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 圖像源的視線方向經(jīng)過取向，使得所述圖像源至少在第一平面上以大于120°優(yōu)選大于180°進(jìn)ー步優(yōu)選為360°的視角測量視野的圖像信息。
9.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 不失真地表達(dá)全景圖像的與操作者(12)的視線方向(V) —致的區(qū)域(B)。
10.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 當(dāng)操作者移動(dòng)進(jìn)而改變其視線方向時(shí)，圖像信號處理裝置(25)獲得有關(guān)操作者(12)的當(dāng)前的視線方向(V)的信息，并使全景圖像的不失真地表達(dá)的區(qū)域(BI)與操作者(12)的當(dāng)前的視線方向(V) —致。
11.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干，在圖像顯示裝置(24)上顯示的全景圖像的不失真地表達(dá)的區(qū)域(BI)可以由操作者(12)在周圍環(huán)境顯示裝置(2)上選擇。
12.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 該周圍環(huán)境顯示裝置(2)是交通工具(I)特別是空中交通工具的一部分，且在交通エ具(I)上設(shè)置ー個(gè)或幾個(gè)圖像采集裝置(10、14、18;20、21、22、23)，并優(yōu)選從交通エ具(I)出發(fā)提供至少半圓形的視野，其中全景圖像的不失真的區(qū)域(B1)進(jìn)ー步優(yōu)選表達(dá)行駛方向上的圖像扇面。
13.按照上列權(quán)項(xiàng)中任ー項(xiàng)的周圍環(huán)境顯示裝置， 其特征在干， 從全景圖像的不失真地表達(dá)的區(qū)域(B1)出發(fā)，圖像表達(dá)的壓縮度向旁側(cè)増大。
14.帶有按照上述權(quán)利要求中任ー項(xiàng)的周圍環(huán)境顯示裝置(2)的交通工具(I;Γ )，特別是空中交通工具。
15.按照權(quán)利要求14的交通工具， 其特征在干， 至少該圖像顯示裝置(24)設(shè)置在遠(yuǎn)離交通工具(I ;Γ )設(shè)置的遙控單元中，圖像信號在交通工具(I )和該遙控単元之間優(yōu)選無線地傳遞。
16.在按照權(quán)利要求I至13中任ー項(xiàng)的周圍環(huán)境顯示裝置的圖像顯示裝置上為操作者顯示全景圖像的方法，具有以下步驟 -提供由至少ー個(gè)圖像源提供的圖像輸入信號；-把圖像輸入信號處理為全景圖像用的圖像輸出信號，使得全景圖像的至少ー個(gè)第一區(qū)域不失真地壓縮或以第一壓縮度壓縮，而全景圖像的至少ー個(gè)第二區(qū)域以第二壓縮度壓縮； -把圖像輸出信號進(jìn)ー步輸送給圖像顯示裝置；和 -在圖像顯示裝置上顯示全景圖像； 其特征在干， 壓縮地表達(dá)的區(qū)域的各自的壓縮度分別可以各自任意可變地選擇。
全文摘要
周圍環(huán)境顯示裝置設(shè)有至少一個(gè)圖像源、圖像信號處理裝置和至少一個(gè)圖像顯示裝置，由圖像源提供的圖像輸入信號被輸送給圖像信號處理裝置，它把輸送給它的圖像輸入信號處理成全景圖像的圖像輸出信號，由圖像信號處理裝置把圖像輸出信號進(jìn)一步傳遞給圖像顯示裝置用于顯示全景圖像，全景圖像的至少一個(gè)第一區(qū)域不失真地壓縮或以第一壓縮度壓縮，其至少一個(gè)第二區(qū)域以第二壓縮度被壓縮地表達(dá)，其特征在于，圖像信號處理裝置經(jīng)過設(shè)計(jì)，使得在整個(gè)全景圖像上可變地選擇不失真地或壓縮地表達(dá)的區(qū)域的部分，使得可以任意選擇被壓縮地表達(dá)的區(qū)域的各自的壓縮度，且對被壓縮地表達(dá)的區(qū)域的這些改變可在周圍環(huán)境顯示裝置的運(yùn)行期間進(jìn)行。
文檔編號H04N13/04GK102665084SQ20111046307
公開日2012年9月12日 申請日期2011年12月9日 優(yōu)先權(quán)日2010年12月9日
發(fā)明者J·凱勒雷爾, P·哈德維格 申請人:伊德斯德國股份有限公司