本申請(qǐng)要求2014年5月12日提交的美國(guó)臨時(shí)申請(qǐng)61/992,010號(hào)的優(yōu)先權(quán)。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施例一般涉及飛機(jī)，尤其涉及向飛行員提供增強(qiáng)視覺信息的飛機(jī)用的視覺系統(tǒng)。

背景技術(shù)：

在飛行期間企圖使飛機(jī)降落的飛行員進(jìn)行安全降落操作時(shí)要面對(duì)幾項(xiàng)挑戰(zhàn)。在降落操作期間，飛機(jī)必須沿著下滑道(glideslope)正確地接近機(jī)場(chǎng)跑道，對(duì)準(zhǔn)跑道著陸，并且在著陸后剩余的跑道距離內(nèi)放慢到停止或者達(dá)到適當(dāng)?shù)牡孛嫠俣?。在低能見度條件下，降落操作是更大的挑戰(zhàn)。天氣條件或者弱光條件可能使飛行員難以或者不能看清跑道或跑道條件。

因此，希望在飛行的進(jìn)場(chǎng)和降落階段幫助飛行員。其他有利特征和特點(diǎn)將從以下

技術(shù)實(shí)現(xiàn)要素：
、具體實(shí)施方式和所附權(quán)利要求并結(jié)合附圖和上述技術(shù)領(lǐng)域和背景技術(shù)而變得明顯。

發(fā)明內(nèi)容

所公開的實(shí)施例涉及一種飛機(jī)以及可在該飛機(jī)進(jìn)行降落操作時(shí)使用的包括一個(gè)或多個(gè)傳感器的增強(qiáng)視覺系統(tǒng)。根據(jù)非限制性實(shí)施例，該飛機(jī)上的處理器從該飛機(jī)上的傳感器或系統(tǒng)接收數(shù)據(jù)，并且使用該數(shù)據(jù)判斷該飛機(jī)相對(duì)于跑道的位置。該處理器根據(jù)該判斷調(diào)節(jié)第一視覺系統(tǒng)和第二視覺系統(tǒng)的增益。來自第一視覺系統(tǒng)和第二視覺系統(tǒng)的圖像被合并，并且顯示給飛行員，直到降落操作完成。

附圖說明

下面將結(jié)合附圖描述本發(fā)明的實(shí)施例，其中相同的附圖標(biāo)記表示相同的元件，并且

圖1是根據(jù)一個(gè)非限制性實(shí)施方式的進(jìn)行降落操作的飛機(jī)的視圖，在該降落操作中可以實(shí)施所公開的實(shí)施例。

圖2是根據(jù)一個(gè)非限制性實(shí)施方式的先進(jìn)飛機(jī)視覺系統(tǒng)的框圖。

圖3是根據(jù)所公開的實(shí)施例的示例性實(shí)施方式的增益控制圖。

圖4是根據(jù)所公開的實(shí)施例的一個(gè)示例性實(shí)施方式的方法的流程圖。

具體實(shí)施方式

在此使用的詞語“示例性”意思是“作為例子、實(shí)例或示例”。以下詳細(xì)描述本質(zhì)上僅是示例性的，并且不意圖限制本發(fā)明或者本發(fā)明的應(yīng)用和使用。在此作為“示例性”描述的任何實(shí)施例都不應(yīng)必然地理解為比其他實(shí)施例更優(yōu)選或更有利。在“具體實(shí)施方式”中描述的所有實(shí)施例都是示例性實(shí)施例，它們被提供用來使本領(lǐng)域的技術(shù)人員能夠完成或使用本發(fā)明，并且不限制由所附權(quán)利要求限定的本發(fā)明的范圍。此外，也不意圖受到前述“技術(shù)領(lǐng)域”、“背景技術(shù)”、“發(fā)明內(nèi)容”或以下描述中明示或暗示的理論所限制。

所公開的實(shí)施例涉及一種飛機(jī)用的先進(jìn)視覺系統(tǒng)。許多當(dāng)代商務(wù)噴氣式飛機(jī)制造商都提供通常稱為平視顯示儀(heads-up display,HUD)的視覺引導(dǎo)系統(tǒng)(visual guidance system,VGS)。VGS典型地與增強(qiáng)視覺系統(tǒng)相結(jié)合，增強(qiáng)視覺系統(tǒng)提供覆蓋有HUD符號(hào)的紅外(IR)圖像，并且使飛行員具有看穿肉眼看不清的一些情況的能力。所公開的實(shí)施例融合了紅外視覺系統(tǒng)和被選擇為與IR系統(tǒng)具有不同有效范圍的第二視覺系統(tǒng)的成像的優(yōu)點(diǎn)。適當(dāng)?shù)牡诙曈X系統(tǒng)的一個(gè)非限制性例子包括毫米波(MMW)視覺系統(tǒng)。盡管以下描述以MMW系統(tǒng)給出所公開的實(shí)施例，但是將會(huì)理解，在任何具體實(shí)施方式中可以采用具有不同于IR系統(tǒng)的有效范圍的眾多其他第二視覺系統(tǒng)。非限制性的例子包括：氣象雷達(dá)、LIDAR或者具有不同波長(zhǎng)的其他IR傳感器。來自紅外視覺系統(tǒng)和毫米波系統(tǒng)的圖像被調(diào)節(jié)增益，然后被合并并且提供給飛行員。該增益調(diào)節(jié)是根據(jù)飛機(jī)相對(duì)于跑道的位置(高度或距離)自動(dòng)進(jìn)行的，并且不需要飛行員來調(diào)節(jié)或關(guān)注。在一些實(shí)施例中，通過根據(jù)降落操作期間的跑道可視范圍(Runway Visual Range,RVR)使用RVR因子對(duì)增益進(jìn)行補(bǔ)充調(diào)節(jié)來進(jìn)行該增益調(diào)節(jié)。以減小來自兩個(gè)視覺系統(tǒng)的合并圖像中的視差扭曲的方式對(duì)圖像進(jìn)行合并。這樣，飛行員被提供有支持安全完成降落操作的增強(qiáng)視覺信息。

圖1是根據(jù)一個(gè)示例性而非限制性的實(shí)施方式的進(jìn)行降落操作的飛機(jī)100的視圖，在該降落操作中可以實(shí)施所公開的實(shí)施例。根據(jù)所公開的實(shí)施例的一個(gè)非限制性實(shí)施方式，飛機(jī)100包括：機(jī)身102，其承載乘客和貨物；兩個(gè)主翼104，其提供使飛機(jī)100飛行所需的升力；垂直尾翼106和兩個(gè)水平尾翼108，用于確保穩(wěn)定的飛行；以及兩個(gè)噴氣式發(fā)動(dòng)機(jī)110，其提供向前推進(jìn)飛機(jī)100所需的推力。飛行控制表面位于機(jī)翼112、水平尾翼116和垂直尾翼114上以引導(dǎo)飛機(jī)100。如圖1中所示，飛機(jī)100通過沿著下滑道112向跑道114航行來進(jìn)行降落操作。當(dāng)飛機(jī)100沿著下滑道112行進(jìn)到飛機(jī)100’的位置，然后到飛機(jī)100”的位置時(shí)，紅外視覺系統(tǒng)和工作中的毫米波視覺系統(tǒng)的增益被飛機(jī)上的處理器自動(dòng)調(diào)節(jié)，合并并且通過顯示器呈現(xiàn)給飛行員，在一些實(shí)施例中該顯示器是平視顯示儀。

盡管圖1中沒有示出，但是飛機(jī)100還包括各種機(jī)載計(jì)算機(jī)、飛機(jī)儀表和各種控制系統(tǒng)。這些機(jī)載計(jì)算機(jī)可以包括飛行控制計(jì)算機(jī)，并且飛機(jī)儀表可以包括構(gòu)成航電系統(tǒng)的部件的各種傳感器，現(xiàn)在參照?qǐng)D2進(jìn)行描述。

圖2是根據(jù)所公開的實(shí)施例的示例性實(shí)施方式的先進(jìn)飛機(jī)視覺系統(tǒng)200的框圖。視覺系統(tǒng)200包括各種傳感器204、一個(gè)或多個(gè)定位系統(tǒng)206以及紅外視覺系統(tǒng)208、第二成像系統(tǒng)210、合成器212和顯示器214，在一些實(shí)施例中顯示器214包括平視顯示儀。盡管沒有示出，但是將會(huì)理解，飛機(jī)可以包括任何適當(dāng)數(shù)量的冗余系統(tǒng)或者構(gòu)成視覺系統(tǒng)200的任何數(shù)量的子系統(tǒng)。

傳感器204可以包括例如空氣數(shù)據(jù)傳感器、空氣數(shù)據(jù)參考(air data reference,ADR)部件或傳感器、聲傳感器(例如，音響、麥克風(fēng)、地震儀、加速計(jì)等)、振動(dòng)傳感器、飛機(jī)傳感器(例如，空氣速度指示器、高度計(jì)、姿態(tài)指示器、陀螺儀、磁羅盤、導(dǎo)航儀表傳感器、速度傳感器、角速率傳感器等)、位置、角度、位移、距離、速度、加速器傳感器(例如，加速計(jì)、傾斜計(jì)、位置傳感器、旋轉(zhuǎn)編碼器、旋轉(zhuǎn)/線性可變差動(dòng)轉(zhuǎn)換器、轉(zhuǎn)速表等)。傳感器204還可以包括皮托(pitot)和靜態(tài)壓力傳感器，它們可以用來測(cè)量沖壓(Ram)空氣壓力和靜態(tài)壓力，并且提供數(shù)據(jù)或信息，這些數(shù)據(jù)或信息可被用來確定/計(jì)算氣流速度、馬赫數(shù)、攻角、溫度和氣壓高度數(shù)據(jù)等。定位系統(tǒng)206可以包括全球定位系統(tǒng)(GPS)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)或者其他基于衛(wèi)星的傳感器系統(tǒng)。

根據(jù)所公開的實(shí)施例，計(jì)算機(jī)202使用傳感器204和/或定位系統(tǒng)206提供的數(shù)據(jù)來確定降落操作期間飛機(jī)的位置。在一個(gè)非限制性例子中，該計(jì)算機(jī)可以使用GPS系統(tǒng)確定相對(duì)于跑道的飛機(jī)位置，以確定飛機(jī)與跑道的距離。由于進(jìn)場(chǎng)航線和跑道的下滑道被存檔并且可以被飛行員利用，所以計(jì)算機(jī)102還可以通過接收飛機(jī)高度數(shù)據(jù)并使用本領(lǐng)域已知的三角方程來確定飛機(jī)相對(duì)于跑道的位置。由于紅外視覺系統(tǒng)和毫米波成像系統(tǒng)具有不同的有效范圍，所以計(jì)算機(jī)102根據(jù)所確定的相對(duì)于跑道的飛機(jī)位置來調(diào)節(jié)這兩個(gè)系統(tǒng)的增益，以向飛行員提供可能的最佳圖像。可選地，跑道可視范圍(RVR)數(shù)據(jù)也可被用于補(bǔ)充紅外視覺系統(tǒng)208和第二視覺系統(tǒng)210的增益控制處理。

增益調(diào)節(jié)后的圖像在合成器212中被合成，以向顯示器214提供合并圖像。兩個(gè)視頻圖像的合并或融合在本領(lǐng)域中是公知的，并且按照所公開的實(shí)施例的教導(dǎo)可以采用任何適當(dāng)?shù)娜诤咸幚?。根?jù)針對(duì)第二視覺系統(tǒng)210選擇的技術(shù)，一種融合處理可能優(yōu)于另一種融合處理，本領(lǐng)域技術(shù)人員將會(huì)領(lǐng)會(huì)并理解這一點(diǎn)。

在紅外圖像和MMW圖像在合成器212中被合并之后，合并圖像在顯示器214上呈現(xiàn)給飛行員，在一些實(shí)施例中顯示器214包括平視顯示儀。根據(jù)所公開的實(shí)施例，飛行員具有手動(dòng)選擇紅外視覺系統(tǒng)208或MMW成像系統(tǒng)210的選項(xiàng)，或者可以選擇自動(dòng)模式，在自動(dòng)模式中，計(jì)算機(jī)202根據(jù)進(jìn)場(chǎng)操作期間確定的相對(duì)于跑道的飛機(jī)位置自動(dòng)進(jìn)行紅外視覺系統(tǒng)208和MMW視覺系統(tǒng)210的增益調(diào)節(jié)。

接著圖2，圖3是MMW(第二)成像系統(tǒng)210的增益控制(調(diào)度(scheduling))曲線300的視圖。將會(huì)理解，紅外視覺系統(tǒng)208的增益控制曲線是對(duì)應(yīng)于產(chǎn)生具有100％增益因子的合并圖像的曲線。因此，所公開的實(shí)施例通過將MMW視覺系統(tǒng)210的增益設(shè)置為零或接近零，直到在第二視覺系統(tǒng)的有效性達(dá)到峰值306的高度304之前大約200英尺，來優(yōu)先考慮紅外視覺系統(tǒng)208。當(dāng)飛機(jī)沿著下滑道靠近跑道時(shí)，計(jì)算機(jī)202根據(jù)增益控制曲線300調(diào)節(jié)紅外視覺系統(tǒng)208和MMW視覺系統(tǒng)210的增益。當(dāng)飛機(jī)接近著陸時(shí)，再次優(yōu)先考慮到紅外視覺系統(tǒng)208，計(jì)算機(jī)快速降低MMW成像系統(tǒng)的增益，如圖3所示。在一些實(shí)施例中，基于跑道可視范圍(RVR)數(shù)據(jù)來移動(dòng)增益控制(調(diào)度)曲線300。作為非限制性例子，在較高RVR(例如，1200)時(shí)，增益控制曲線可以如箭頭308所示移動(dòng)。在較低RVR(例如，500)時(shí)，增益控制曲線可以如箭頭310所示移動(dòng)，這是因?yàn)榧t外成像系統(tǒng)在較低RVR時(shí)有效性較低。如將會(huì)理解的，實(shí)際RVR移動(dòng)點(diǎn)和增益控制曲線移動(dòng)的量將取決于針對(duì)第二視覺系統(tǒng)210選擇的技術(shù)。通常，所公開的實(shí)施例在飛行員僅用紅外成像系統(tǒng)208和肉眼可能無法看到跑道或跑道條件的低可見度條件下(即，較低的RVR)最有利。

圖4是示出根據(jù)所公開的實(shí)施例的一個(gè)示例性實(shí)施方式的方法400的流程圖。將參考結(jié)合圖2描述的某些部件來描述圖4。

例程在步驟402開始，在步驟402，計(jì)算機(jī)202從傳感器204或定位系統(tǒng)206獲得數(shù)據(jù)。傳感器204可以包括但不限于一個(gè)或多個(gè)聲傳感器(例如，音響、麥克風(fēng)、地震儀、加速計(jì)等)、振動(dòng)傳感器、空氣數(shù)據(jù)傳感器(例如，空氣速度指示器、高度計(jì)、姿態(tài)指示器、導(dǎo)航儀表傳感器、速度傳感器、角速率傳感器等)、位置、角度、位移、距離、速度、加速度傳感器(例如，傾斜計(jì)、位置傳感器、旋轉(zhuǎn)編碼器、旋轉(zhuǎn)/線性可變差動(dòng)轉(zhuǎn)換器、轉(zhuǎn)速表等)。定位系統(tǒng)206可以包括全球定位系統(tǒng)(GPS)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)或其它基于衛(wèi)星的傳感器系統(tǒng)。在步驟404中，計(jì)算機(jī)202確定相對(duì)于跑道的飛機(jī)位置。如上所述，這可以通過確定飛機(jī)與跑道的距離或通過確定沿著下滑道的飛機(jī)高度來完成。判定406確定飛機(jī)是否已經(jīng)降落?？隙ǖ呐卸ū硎撅w機(jī)已經(jīng)完成降落操作，并且在步驟408中可以停用該視覺系統(tǒng)。可選地，視覺系統(tǒng)200可以在降落之后和在對(duì)飛機(jī)征稅期間保持使用，如步驟410所示。

如果判定406確定為飛機(jī)未降落，則判定412確定飛行員是否已手動(dòng)選擇紅外視覺系統(tǒng)208。如果是，則計(jì)算機(jī)202將紅外視覺系統(tǒng)的增益設(shè)置為100％，并且將MMW(第二)視覺系統(tǒng)的增益設(shè)置為零，然后在步驟416中顯示來自紅外視覺系統(tǒng)的圖像。此后，例程循環(huán)回到步驟402，直到飛機(jī)降落。如果判定412確定為紅外視覺系統(tǒng)尚未被手動(dòng)選擇，則例程前進(jìn)到判定418，確定是否已經(jīng)選擇了自動(dòng)增益控制模式。如果不是，則計(jì)算機(jī)202將第二視覺系統(tǒng)的增益設(shè)置為百分之百，并且將紅外視覺系統(tǒng)208的增益設(shè)置為零，然后在顯示器214上顯示來自第二視覺系統(tǒng)的圖像。例程再次循環(huán)回到步驟402，直到飛機(jī)降落。

如果判定418確定為自動(dòng)增益控制模式已被選擇，則步驟420根據(jù)增益控制曲線(調(diào)度)調(diào)節(jié)紅外視覺系統(tǒng)208和MMW視覺系統(tǒng)210的增益，可選地，如果可用的話，可以用RVR數(shù)據(jù)補(bǔ)充該增益控制曲線。參見圖3，圖3為一個(gè)非限制性例子。在增益調(diào)節(jié)之后，按照上述融合方法，在合成器212中對(duì)來自紅外視覺系統(tǒng)208和第二視覺系統(tǒng)210的圖像進(jìn)行合并。在步驟424中將合并的圖像顯示給飛行員，然后例程循環(huán)回到步驟402，并繼續(xù)直到飛機(jī)降落。

與利用先前的視覺系統(tǒng)的飛機(jī)相比，所公開的實(shí)施例可以使飛機(jī)具有增強(qiáng)的安全性。通過向飛行員提供在主動(dòng)毫米波視覺系統(tǒng)內(nèi)應(yīng)用紅外視覺系統(tǒng)的貢獻(xiàn)的先進(jìn)飛機(jī)視覺系統(tǒng)，所公開的實(shí)施例提供了具有不同有效范圍和優(yōu)點(diǎn)的兩個(gè)系統(tǒng)的優(yōu)點(diǎn)。

所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文中公開的實(shí)施例描述的各種說明性邏輯塊、任務(wù)、步驟、模塊、電路和算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件或二者的組合。上面以功能和/或邏輯塊部件(或模塊)和各種處理步驟描述了一些實(shí)施例和實(shí)施方式。然而，應(yīng)當(dāng)理解，這樣的塊部件(或模塊)可以由被配置為執(zhí)行指定功能的任何數(shù)量的硬件、軟件和/或固件部件來實(shí)現(xiàn)。為了清楚地說明硬件和軟件的這種可互換性，上文已經(jīng)以它們的功能一般性地描述了各種說明性部件、塊、模塊、電路和步驟。這種功能作為硬件還是作為軟件來實(shí)現(xiàn)取決于具體應(yīng)用和施加在整個(gè)系統(tǒng)的設(shè)計(jì)約束。所屬領(lǐng)域的技術(shù)人員可針對(duì)每個(gè)具體應(yīng)用以不同方式實(shí)施所描述的功能，但此類實(shí)施決策不應(yīng)被解釋為導(dǎo)致脫離本發(fā)明的范圍。例如，系統(tǒng)或部件的實(shí)施例可以采用各種集成電路部件，例如，存儲(chǔ)器元件、數(shù)字信號(hào)處理元件、邏輯元件、查找表等，它們可以在一個(gè)或多個(gè)微處理器或其他控制裝置的控制下執(zhí)行各種功能。另外，本領(lǐng)域技術(shù)人員將理解，本文描述的實(shí)施例僅僅是示例性的實(shí)施方式。

結(jié)合本文公開的實(shí)施例描述的各種說明性邏輯塊、模塊和電路可被設(shè)計(jì)用于執(zhí)行本文所描述的功能的通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或其他可編程邏輯器件、離散門或晶體管邏輯、離散硬件組件或它們的任意組合來實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替代方案中，處理器可以是任何常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如DSP和微處理器的組合、多個(gè)微處理器、一個(gè)或多個(gè)微處理器結(jié)合DSP內(nèi)核或任何其他這樣的配置。詞語“示例性”在本文中專門用于表示“用作例子、實(shí)例或示例”。本文描述為“示例性”的任何實(shí)施例不應(yīng)必被解釋為比其他實(shí)施例優(yōu)選或有利。

結(jié)合本文所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、由處理器執(zhí)行的軟件模塊或兩者的組合來實(shí)現(xiàn)。軟件模塊可以駐留在RAM存儲(chǔ)器、閃存、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移動(dòng)盤、CD-ROM或本領(lǐng)域已知的任何其他形式的存儲(chǔ)介質(zhì)中。示例性存儲(chǔ)介質(zhì)耦合到處理器，使得處理器可以從存儲(chǔ)介質(zhì)讀取信息和向存儲(chǔ)介質(zhì)寫入信息。在替代方案中，存儲(chǔ)介質(zhì)可以集成到處理器。處理器和存儲(chǔ)介質(zhì)可以駐留在ASIC中。

在本文中，諸如第一和第二等關(guān)系術(shù)語可以僅用于將一個(gè)實(shí)體或動(dòng)作與另一個(gè)實(shí)體或動(dòng)作區(qū)分開，而不必要求或暗示這些實(shí)體或動(dòng)作之間的任何實(shí)際的關(guān)系或順序。除非由權(quán)利要求語言特別定義，否則諸如“第一”，“第二”，“第三”等序數(shù)詞僅僅表示多個(gè)中的不同個(gè)體，并且不暗示任何順序或序列。除非由權(quán)利要求的語言特別定義，否則任何權(quán)利要求中的文本的順序都不意味著必須根據(jù)這種順序以時(shí)間或邏輯順序執(zhí)行處理步驟。在不脫離本發(fā)明的范圍的情況下，處理步驟可以以任何順序互換，只要這種交換不與權(quán)利要求語言相矛盾并且不是邏輯上無意義的即可。

此外，根據(jù)上下文，在描述不同元件之間的關(guān)系時(shí)使用的諸如“連接”或“耦合到”的詞語不暗示在這些元件之間必須進(jìn)行直接物理連接。例如，兩個(gè)元件可以通過一個(gè)或多個(gè)附加元件物理地、電子地、邏輯地或以任何其它方式相互連接。

盡管在前面的詳細(xì)描述中已經(jīng)給出了至少一個(gè)示例性實(shí)施例，但是應(yīng)當(dāng)理解，存在大量的變型。例如，盡管參考飛機(jī)用的先進(jìn)飛機(jī)視覺系統(tǒng)描述了所公開的實(shí)施例，但是本領(lǐng)域技術(shù)人員將理解，所公開的實(shí)施例可以在其他類型的運(yùn)載工具中實(shí)現(xiàn)，這種運(yùn)載工具包括但不限于水面船舶、汽車、火車、摩托車等。還應(yīng)當(dāng)理解，所述一個(gè)或多個(gè)示例性實(shí)施例僅僅是例子，并且不旨在以任何方式限制本發(fā)明的范圍、適用性或配置。相反，前面的詳細(xì)描述將為本領(lǐng)域技術(shù)人員提供用于實(shí)現(xiàn)一個(gè)或多個(gè)示例性實(shí)施例的方便的路線圖。應(yīng)當(dāng)理解，在不脫離如所附權(quán)利要求及其法律等同物所闡述的本發(fā)明的范圍的情況下，可以對(duì)元件的功能和布置進(jìn)行各種改變。