專利名稱：用于人類可讀儀器、信號器和控制器的光學(xué)識別、解釋和數(shù)字化的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及人類可讀儀器、信號器和控制器的光學(xué)識別、解釋和數(shù)字化。
背景技術(shù)：
儀表系統(tǒng)使用電/電子模擬到數(shù)字系統(tǒng)來感測指定電機系統(tǒng)的物理狀態(tài)，數(shù)字化 傳感器數(shù)據(jù)，并存儲數(shù)字化的數(shù)據(jù)用于隨后的分析。然而，制造、操作和維護這樣的系統(tǒng)是 昂貴的。此外，這樣的系統(tǒng)不期望地增加了重量敏感系統(tǒng)的重量。存在本領(lǐng)域已知的感測電機系統(tǒng)的物理狀態(tài)的方式；然而，仍有顯著的缺點。


權(quán)利要求中提出了認為是本發(fā)明特性的新穎特征。然而，當結(jié)合附圖閱讀時，通過 參考后面的詳細描述，本發(fā)明自身以及其優(yōu)選使用模式及其進一步的目的和優(yōu)點將得到最 佳地理解，附圖中，各參考標號的最左邊有效數(shù)字表示各個參考標號出現(xiàn)的第一個圖，附圖 中圖1是旋翼飛行器儀器面板的說明性實施例的視圖；圖2是圖1的儀器面板的信號器面板的說明性實施例的放大視圖；圖3是圖1的儀器面板的扭矩指示器的說明性實施例的放大視圖；圖4是圖1的儀器面板的風(fēng)速指示器的說明性實施例的放大視圖；圖5是具有兩個分開的分段發(fā)光二極管測量計的、圖1的儀器面板的儀器的說明 性實施例的放大視圖；圖6是具有兩個分開的針規(guī)(needle gauge)的、圖1的儀器面板的儀器的說明性 實施例的放大視圖；圖7是圖1的儀器面板的姿態(tài)指示器的說明性實施例的放大視圖；圖8是圖1的儀器面板的水平位置指示器的說明性實施例的放大視圖；圖9是旋翼飛行器儀器面板和駕駛員座艙的說明性實施例的透視圖；圖10是用于人類可讀儀器、信號器和/或控制器的光學(xué)識別、解釋和數(shù)字化的系 統(tǒng)的說明性實施例的圖形表示；圖11是用于控制圖10的系統(tǒng)的整體光學(xué)識別、解釋和數(shù)字化處理的說明處理的 框圖；圖12是描繪如人類操作者將解釋的、確定儀器或指示器的值的說明處理的框圖；圖13是描繪計算圖像相對于期望位置和朝向的實際位置和朝向的說明性圖像配 準處理的框圖；圖14是通過比較目標的前景和背景圖像的光學(xué)性質(zhì)來確定儀器的狀態(tài)的說明性 目標部分處理的框圖；以及圖15是用于確定控制狀態(tài)或儀器讀數(shù)的說明性模式匹配技術(shù)的框圖。
盡管本發(fā)明能經(jīng)受各種修改和替代形式，但是其具體實施例通過附圖中的示例示 出并且在這里詳細描述。然而，應(yīng)當理解，在此對具體實施例的描述不旨在將本發(fā)明限制于 公開的具體形式，而是相反地，本發(fā)明要覆蓋落入如權(quán)利要求定義的本發(fā)明的精神和范圍 內(nèi)的所有修改、等效和替代。
具體實施例方式下面描述本發(fā)明的說明性實施例。為了清楚，在本說明書中沒有描述實際實現(xiàn)的 所有特征。當然，將認識到，在任何這種實際實施例的開發(fā)中，必須做出各種實現(xiàn)特定的確 定，以實現(xiàn)開發(fā)者的特定的目的，如與系統(tǒng)相關(guān)和商業(yè)相關(guān)的 限制的一致，這將從一個實現(xiàn) 到另一實現(xiàn)而變化。此外，將認識到，這樣的開發(fā)努力可能是復(fù)雜和耗時的，但將是具有本 公開的受益的本領(lǐng)域普通技術(shù)人員的常規(guī)工作。在說明書中，當在附圖中描繪設(shè)備時，對各種組件之間的空間關(guān)系以及組件的各 種方面的空間朝向進行參考。然而，如本領(lǐng)域技術(shù)人員在對本申請的完整閱讀后將認識到 的，這里描述的設(shè)備、組件、裝置等可以任何期望的朝向放置。因此，如“上面”、“下面”、“高 于”、“低于”的術(shù)語或類似的用來描述各種組件之間的空間關(guān)系或描述這樣的組件的各方 面的空間朝向的術(shù)語的使用應(yīng)當被理解來分別描述各組件之間的相對關(guān)系或這樣的組件 的各方面的空間朝向，因為這里描述的設(shè)備可以朝向任何期望的方向。本發(fā)明提出了一種用于人類可讀儀器、信號器、控制器等的光學(xué)識別、解釋和數(shù)字 化的系統(tǒng)。為了本公開的目的，術(shù)語“儀器面板”意味著包括一個或多個儀器、信號器、控制器 等的裝置。儀器、信號器、控制器等統(tǒng)一地是儀器面板的“對象”。然而，這樣的對象不限制 于儀器面板對象，而是包括任何適當設(shè)備的儀器、信號器、控制器等。例如，儀器可采用具有 任何適當形狀或大小并具有機械指示器或跨越固定背景面移動以指示測量的參數(shù)或條件 的值的針的測量計的形式。在另一示例中，儀器可包括顯示測量的參數(shù)或條件的值的一個 或多個選擇性照明的部分。說明性的信號器可包括一個或多個選擇性照明的部分，使得一 個或多個部分的照明狀態(tài)(例如，開或關(guān)、亮或暗、顏色等)對應(yīng)于測量的參數(shù)或條件的值。 例如，控制器涉及可用來警告控制器自身和/或另一裝置的狀態(tài)的任何裝置。這樣的控制 器的示例包括但不限于開關(guān)、旋鈕、按鈕、操縱桿、踏板、車輪、致動器、或可通過人類操作者 或另一裝置操縱的其他這種機構(gòu)。如這里所使用的，術(shù)語“相機”和“圖像獲取傳感器”指可用于產(chǎn)生視頻場景的數(shù) 字化的、計算機可讀的呈現(xiàn)的裝置。這樣的相機或圖像獲取傳感器的示例包括但不限于數(shù) 字相機、光學(xué)掃描儀、雷達系統(tǒng)、超聲波掃描儀、熱掃描儀、電掃描儀和輪廓測量設(shè)備。為了本公開的目的，術(shù)語“前景”意味著在視覺目標的解釋期間感興趣的圖像元 素。例如，在某些操作下，測量計的針可被認為是前景。如這里使用的，術(shù)語“背景”意味著 在視覺目標的解釋期間很少或不感興趣的圖像元素。例如，在某些操作下，測量計的刻度盤 面上的標記可被認為是背景。應(yīng)當注意，本發(fā)明的系統(tǒng)和方法可用于許多多樣的實現(xiàn)，如這里更詳細討論的。這 里關(guān)于旋翼飛行器儀器面板詳細描述該系統(tǒng)，然而本發(fā)明的范圍不被如此限制。而是，本發(fā) 明的系統(tǒng)和方法可關(guān)于任何人類可讀儀器或多個儀器使用，而不管與儀器或多個儀器關(guān)聯(lián)的設(shè)備的類型。圖1描繪了包括各種類型的一個或多個儀器、信號器等的旋翼飛行器儀器面板 101。在說明性實施例中，同樣在圖2中示出的信號器面板103包括一個或多個離散的信號 器部分(segment)，如信號器部分105，每個部分操作為特定、離散條件的指示器。通過這樣 的信號器部分指示的條件的示例包括但不限于引擎著火、低燃料、電池?zé)帷l(fā)電機故障等。如上所述，旋翼飛行器儀器面板101包括一個或多個測量計，如測 量計107?，F(xiàn)在 參照圖3，在說明性實施例中，測量計107在其面上包括通常為圓形的分度指示器或刻度盤 301。圖3圖示的測量計107的具體實施例采用分段發(fā)光二極管303，其照明以指示被測量 的參數(shù)或條件的值。注意，在該情況下，刻度盤301上的值是非線性的，S卩，依賴于角度位移 施加于刻度盤301的哪個區(qū)域，給定角度位移具有不同值。例如，在0和4的值之間的區(qū)域 中的角度位移(大致在305)與在5和7的值之間的區(qū)域中的角度位移(大致在307)大約 相同。換句話說，測量計在5和7的值之間的分辨度大約為在0和4的值之間的分辨度的 兩倍。測量計107的具體實施例提供引擎扭矩的指示。測量計107還包括五字符字母數(shù)字 顯示309，用于顯示被測量的條件或參數(shù)或診斷過程期間的系統(tǒng)狀態(tài)信息的數(shù)字呈現(xiàn)。在說 明性實施例中，顯示309提供診斷過程期間的引擎扭矩或系統(tǒng)狀態(tài)信息的數(shù)字讀出。參照圖1和4，旋翼飛行器儀器面板101的說明性實施例還包括在其面上具有圓形 的分度指示符或刻度盤401的測量計109。測量計109采用針403來指示測量的條件或參 數(shù)的值?，F(xiàn)在參照圖1和5，旋翼飛行器儀器面板101的說明性實施例還包括儀器111，其 具有兩個分開的分段發(fā)光二極管測量計501和503。在說明性實施例中，測量計501以磅每 平方英寸指示燃料壓力，并且測量計503以安培指示發(fā)電機輸出。參照圖1和6，旋翼飛行器儀器面板101的說明性實施例還包括具有兩個分開的 針規(guī)601和603的儀器113。測量計601采用針605，并且測量計603包括針607。針605 和607獨立地移動。在說明性實施例中，針605將主轉(zhuǎn)子旋轉(zhuǎn)速度指示為飛行操作的正常 轉(zhuǎn)子旋轉(zhuǎn)速度相對于外尺度609的百分比。針607將引擎渦輪旋轉(zhuǎn)速度指示為飛行操作的 正常引擎渦輪速度相對于內(nèi)尺度611的百分比。現(xiàn)在參照圖1和7，旋翼飛行器儀器面板101的說明性實施例還包括將兩個分度 尺度測量計701和703和離散信號器705組合到一個儀器中的儀器115。圖1和7中描繪 的特定儀器115稱為“姿態(tài)指示器”。在說明性實施例中，通過外刻度盤707相對于固定指 針709的運動，使用測量計701指示旋翼飛行器的迎角或滾動姿態(tài)。從與指針709對應(yīng)的 外刻度盤707上的標記讀取測量值。儀器中心的區(qū)域(即，測量計703)使用可移動卡713 上的分度尺度711以指示對應(yīng)于固定指針715的旋翼飛行器間距姿態(tài)。稱為“螺旋條狀紋 (barber pole) ”的信號器705是無論何時信號器705對人眼可視就指示儀器115無效或不 可操作的離散信號器。仍然參照圖7，儀器115還包括旋鈕719形式的控制器，其允許零間距姿態(tài)參照的 任意設(shè)置。儀器115還包括旋鈕721形式的控制器，以關(guān)住(cage)可操作地與儀器115關(guān) 聯(lián)的回轉(zhuǎn)儀?，F(xiàn)在參照圖1和8，旋翼飛行器儀器面板101的說明性實施例還包括儀器117，其 將多個測量計、標記、尺度、指針等與多個離散信號器組合在一起。在說明性實施例中，儀器117采用水平位置指示器的形式。飛行器航向(heading)以粗線803顯示在旋轉(zhuǎn)方位角 或落井刻度盤801上。航線偏差條805與固定導(dǎo)航參照接收器(如甚高頻全向測距/定 位(VOR/LOC)導(dǎo)航接收器、甚高頻全向測距戰(zhàn)術(shù)空中導(dǎo)航(VORTAC)接收器、或儀表著陸系 統(tǒng)(ILS)接收器)操作，以指示距用航線選擇指針807選擇的航線向左或向右的偏差。航 線偏差條805向左或右移動，以指示距尺度809的中心的偏差。期望的航線通過借由航線 設(shè)置旋鈕811，相對于落井刻度盤801旋轉(zhuǎn)航線選擇指針807來選擇。固定飛行器符號813 和航線偏差條805關(guān)于選擇的航線顯示飛行器，好像飛行員在飛行器上方向下看一樣。圖 8中未示出的、作為指針的滑翔道偏差指針僅當正接收有效滑翔道信號時可見，指示飛行器 與滑翔道的關(guān)系。當滑翔道偏差指針在尺度815的中心位置之上時，飛行器在滑翔道之上， 并且需要增加下降速率。仍然參照圖1和8，信號器817當對人眼可見時，指示儀器117的導(dǎo)航功能不可操 作。信號器819當對人眼可見時，指示儀器117的航向功能不可操作。信號器821指示通 過旋翼飛行器的操作者使用儀器117的控制旋鈕823而設(shè)置的航向參照。參照圖1，儀器面板101的說明性實施例還包括保護撥動開關(guān)118，其是開啟或關(guān) 閉旋翼飛行器的燃油閥的控制器。儀器面板101還包括推動按鈕開關(guān)121，其用來控制全權(quán) 限數(shù)字引擎控制(FADEC)的操作模式，即自動或手動。按鈕121的面作為當前選擇的FACEC 模式的信號器而照明。圖1還示出存在的、對人眼可見的、并且旋翼飛行器操作期間對機組可用的各種 其他儀器、信號器和控制器。從圖1中呈現(xiàn)的單個圖像，這里描述的系統(tǒng)使用單個圖像獲取 傳感器，而不是對應(yīng)于信號器、儀器和控制器的每個的傳感器，識別、解釋和產(chǎn)生多個信號 器、儀器和控制器的數(shù)字時間歷史。在圖1圖示的實現(xiàn)中，這里描述的系統(tǒng)使用單個圖像獲 取傳感器，而不是使用傳統(tǒng)儀表需要的90個獨立的傳感器，識別、解釋和產(chǎn)生57個信號器、 26個儀器和7個控制器的數(shù)字時間歷史。因此，這里描述的系統(tǒng)的成本、重量和復(fù)雜度顯著 低于傳統(tǒng)傳感系統(tǒng)。前面段落中描述的示例是可以應(yīng)用這里描述的發(fā)明的各種類型的設(shè)備和裝置的 特性；然而，關(guān)于本發(fā)明的應(yīng)用的機會，列出的項目和直升機環(huán)境都不是以任何方式窮盡式 的。例如，本發(fā)明可用于或并入旋翼飛行器以外的各種類型的裝置、系統(tǒng)、設(shè)備等。圖9是如通過數(shù)字駕駛員座艙視頻記錄器(圖9中未示出)(S卩，圖像獲取傳感器) 捕獲的旋翼飛行器的駕駛員座艙的一部分的透視圖。圖9中可見布置在統(tǒng)一操縱桿(圖9 中未示出)的自由端的統(tǒng)一操縱頭(collective head) 9010統(tǒng)一操縱頭901用于通過變化 旋翼飛行器的主動葉片的迎角來控制旋翼飛行器的主轉(zhuǎn)子的推力大小。在實際使用中，抬 高統(tǒng)一操縱頭901通常增加推力，而降低統(tǒng)一操縱頭901通常減小推力。此外，圖9中可見 環(huán)狀把手(cyclicgrip)903。環(huán)狀把手903的運動使得旋翼飛行器的主動葉片的循環(huán)間距 變化，導(dǎo)致主轉(zhuǎn)子推力的重定向，以控制飛行方向。圖9中還可見統(tǒng)一指示為905的反扭矩 或尾槳腳蹬(tail rotor pedal)。踏板905的運動使得旋翼飛行器的尾轉(zhuǎn)子推力的改變， 導(dǎo)致偏航姿態(tài)的改變。統(tǒng)一操縱頭901、環(huán)狀把手903和尾槳腳蹬905還是具有可通過這里 描述的系統(tǒng)處理的位置的控制器的示例。根據(jù)這里描述的系統(tǒng)，以對應(yīng)于通過人類觀察的解釋的方式使用計算機化的手段 解釋儀器、信號器和/或控制器的圖像的數(shù)字呈現(xiàn)。在信號器的情況下，信號器的狀態(tài)定義被測量的質(zhì)量或狀態(tài)。信號狀態(tài)之間的色度和/或強度的改變可通過本發(fā)明確定。在各種 類型的測量計的情況下，測量計的每個可能的離散值映射到該測量計的數(shù)字化圖像上的離 散位置。通過使用本系統(tǒng)來確定測量計的可變特征(例如，針)的位置，可確定在圖像捕獲 時通過測量計指示的值。例如，關(guān)于針規(guī)，如果數(shù)字化圖像的分析確定針位于映射到風(fēng)速的 100節(jié)的數(shù)字化圖像上的位置，則系統(tǒng)可將100節(jié)存儲為圖像捕獲時的風(fēng)速值。因此，這里 描述的發(fā)明可用于替代更昂貴、更復(fù)雜和更笨重的傳統(tǒng)的有線甚至無線儀表系統(tǒng)。圖10描繪用于人類可讀儀器、信號器和控制器的光學(xué)識別、解釋和數(shù)字化的系統(tǒng) 1001的示例性實施例。標記為1003的對象表示要被識別、解釋和數(shù)字化的對象。例如，在 旋翼飛行器實現(xiàn)中，對象1003表示旋翼飛行器駕駛員座艙中的對象，如這里描述的儀器、 信號器和控制器。系統(tǒng)1001包括圖像獲取傳感器1005，如捕獲旋翼飛行器儀器面板和周 圍環(huán)境的圖像的數(shù)字相機。在說明性實施例中，圖像獲取傳感器1005將圖像捕獲和編碼 步驟組合到一個設(shè)備中，盡管本發(fā)明的范圍不限于此。而是，在替代實施例中，圖像獲取傳 感器1005捕獲圖像，并且另一設(shè)備用于將圖像編碼為數(shù)字呈現(xiàn)。系統(tǒng)1001進一步包括邏 輯處理單元1007，其在說明性實施例中是執(zhí)行解碼和解釋數(shù)字編碼的圖像的軟件的數(shù)字計 算機。邏輯處理單元1007將圖像中呈現(xiàn)的感興趣的一個或多個儀器、信號器和控制器的狀 態(tài)(優(yōu)選地作為基于時間的狀態(tài))存儲到數(shù)據(jù)存儲設(shè)備1009。在一些實施例中，邏輯處理 單元1007創(chuàng)建偽參數(shù)，以增加飛行期間旋翼飛行器的機組可用的信息。偽參數(shù)是通過數(shù)學(xué) 地、詞匯地、和/或邏輯地組合兩個或更多其它參數(shù)而產(chǎn)生的數(shù)據(jù)項。例如，垂直速度偽參 數(shù)可通過取姿態(tài)的時間導(dǎo)數(shù)而產(chǎn)生。風(fēng)速率、速度和方向可從基于衛(wèi)星的全球定位系統(tǒng)數(shù) 據(jù)、風(fēng)速和航向而導(dǎo)出。順風(fēng)著陸方式可從垂直速度(例如，下沉速率、低風(fēng)速和風(fēng)向、同時 低高度)而推斷。在一些實施例中，系統(tǒng)1001還包括地面數(shù)據(jù)處理器1011，例如，使用定制 軟件的通用計算機。應(yīng)當注意，附圖中描繪的系統(tǒng)1001的組件和/或通過組件執(zhí)行的功能 可依賴于系統(tǒng)1001的具體實現(xiàn)而組合、分離和/或重分布。圖11描繪用于光學(xué)識別、解釋和數(shù)字化人類可讀儀器、信號器和控制器的方法的 說明性實施例的框圖。在一個實現(xiàn)中，該方法以可通過計算設(shè)備讀取和執(zhí)行的介質(zhì)中編碼 的軟件體現(xiàn)。在方法的初始化時(塊1101)，讀取配置文件以提供要解釋的圖像的定義(塊 1103)。文件包含這樣的信息，其包括但不限于要解釋的所有感興趣的對象(即，儀器、信號 器和/或控制器)的數(shù)量、類型和位置；每個對象的掃描區(qū)域的定義；在用于閾值交叉技術(shù) 的數(shù)字化圖像中的掃描區(qū)域內(nèi)的、與離散位置相關(guān)聯(lián)的值地圖(如這里更詳細描述的)；圖 像配準(registration)中使用的圖像的參考區(qū)域的數(shù)學(xué)表示；用于使用模式匹配技術(shù)確 定解釋的對象的狀態(tài)的參考模式的數(shù)學(xué)表示；用于解釋發(fā)光信號器的照明狀態(tài)中的色度和 強度信息；用于解釋背景相對前景信息的色度和強度信息；和/或為確保有效操作本方法 需要的其他參數(shù)，如起始參數(shù)、偏好等。應(yīng)當注意，配置文件存儲圖像處理的信息，以消除冗余處理。可不使用配置文件而 識別人類可讀儀器、信號器和控制器，并且本發(fā)明的范圍包含這樣的實施例。在這樣的實施 例中，省略配準處理。該實施例在其中在即時提供實時分析的方面、計算機處理能力不是問 題的實現(xiàn)中特別有用。在某些實施例中，系統(tǒng)1001包括可通過計算系統(tǒng)讀取和執(zhí)行的介質(zhì)中編碼的一 個或更多計算機程序，以便利使用自動和用戶交互方法的配置文件的創(chuàng)建和維護。在這樣的實施例中，可使用模式匹配技術(shù)和手動技術(shù)自動識別之前定義的對象，其中操作者可使用圖形用戶界面(GUI)中的定制工具定義配置。仍然參照圖11，該方法采用分析的圖像的逐條連續(xù)流，并打開如圖10的數(shù)據(jù)存儲 設(shè)備1009中的輸出文件(塊1105)，可將如對每個隨后圖像的解釋的一系列值寫入到該數(shù) 據(jù)存儲設(shè)備1009。輸出文件有效地包含根據(jù)從配置文件讀取的定義解釋和分析的所有參數(shù) 的時間歷史。該方法進入條件循環(huán)1107，并測試要解釋的數(shù)字圖像呈現(xiàn)的存在(塊1109)。如 果存在圖像，則程序按需要解碼圖像(塊1111)以創(chuàng)建圖像的可索引呈現(xiàn)。解碼處理可以 根據(jù)被處理的圖像的特性以任何一個或多個可能形式產(chǎn)生可索引呈現(xiàn)。在一個實施例中， 圖像是作為兩維陣列存儲(塊1113)在計算機存儲器中的兩維像素位圖或光柵。然而，系 統(tǒng)1001可同等地應(yīng)用到三維圖像。然后從光柵讀取測量計(塊1115)，如關(guān)于圖12更詳細 討論的。每個測量計的值然后寫到輸出文件(塊1117)。如果不存在圖像(塊1109)，則清 除存儲的變量等，并且方法結(jié)束。圖12描繪從圖11中的光柵讀取測量計(塊1115)的一個具體實施例。盡管關(guān) 于兩維技術(shù)描述圖12中描繪的方法，但是本發(fā)明的范圍不限于此。第一步驟是“配準”圖 像(塊1201)以確保當前光柵的坐標系統(tǒng)和配置文件的創(chuàng)建中使用的坐標系統(tǒng)之間的適當 對準。圖13示出配準處理(塊1201)中的第一步驟是計算當前光柵化的圖像的傅立葉變 換(塊1301)。在該實施例中，使用快速傅立葉變換(FFT)技術(shù)。從配置文件讀取的參考 區(qū)域是參考圖像的FFT的共軛。接下來的步驟是逐元素的將參考FFT共軛乘以當前圖像的 FFT(塊1303)。得到的乘積然后逐元素歸一化，使得所有FFT值范圍在-1和1之間(塊 1305)。歸一化處理不是絕對必須的，但是幫助克服由于圖像變化(如發(fā)光和/或光學(xué)噪聲 的差別)導(dǎo)致的誤差。接下來的步驟是計算歸一化的乘積的逆FFT (IFFT)(塊1307)。最 后的步驟是從IFFT找出陣列中的最大值的行和列索引(塊1309)。然后使用極點坐標重 復(fù)處理以校正旋轉(zhuǎn)差。得到的行和列索引應(yīng)用為從配置文件讀取的行和列索引的偏置(塊 1311)，并且處理返回到圖12中的下一步驟(塊1313)。應(yīng)當注意，配準的處理可以其他方式實現(xiàn)，這包含在本發(fā)明的范圍內(nèi)。例如，要配 準的區(qū)域不必是矩形陣列。光柵的單行可用于獲得水平或橫向圖像偏移，并且光柵的單列 可用于獲得垂直偏移。盡管當偏移涉及垂直和水平平移兩者時、光柵的單行和列的使用可 能不能確定圖像偏移，但是在某些實現(xiàn)中，光柵的單行和列的使用可能是充足的甚至期望 的。本發(fā)明預(yù)期配準圖像的其他方式。關(guān)于其中使用配準的本發(fā)明的實施例，實現(xiàn)配準的 方式對于本發(fā)明的實踐是非實質(zhì)的。配準處理的整體成果可稱為“圖像穩(wěn)定化”，因為可對于平移和/或旋轉(zhuǎn)誤差，校 正在該情況下由于圖像獲取傳感器和儀器面板之間的相對位置和朝向的改變而導(dǎo)致的圖 像偏移?；貋韰⒖紙D2，一旦完成配準，通過將來自配準處理的行和列偏置相加來調(diào)整通過 配置文件定義的每個目標區(qū)域的坐標(塊1203)。接下來的步驟是進入循環(huán)1205，重復(fù)通 過在配置文件中定義的每個閾值交叉類型對象。一旦在循環(huán)內(nèi)部，就掃描配準的當前圖像 的目標區(qū)域中的每個像素(塊1207)。然后將中值濾波器應(yīng)用到每個像素(1209)。通過中 值濾波器產(chǎn)生的值然后分配到該像素。中值濾波器用于減少獲取圖像中的噪聲的影響。
圖14表示用于將目標區(qū)域分為前景和背景的處理流程(圖12中的塊1211)。第 一步驟是使用中值濾波器步驟的結(jié)果對整個目標區(qū)域計算閾值(塊1401)。本發(fā)明預(yù)期用 于確定閾值的許多方式，但是已經(jīng)測試和示出對于目標區(qū)域的最小和最大值之間的中點計 算是可接受的。閾值交叉檢測是歸一化圖像以考慮發(fā)光變化的一種方法。本方法能夠在多種發(fā)光 條件下操作。在一些情況下，通過來自太陽、月亮或區(qū)域發(fā)光的環(huán)境光照明對象。在一些情 況下，通過人造背光或指引面部光來照明對象。色彩和強度將廣泛變化。例如，夜間飛行通 常使用低強度的紅色人造光。包括但不限于灰度分析和/或負圖像分析的其他技術(shù)也是用 于處理光的色度和/或強度的變化的選擇。一旦已經(jīng)建立閾值，就檢索目標中的每個像素的強度(塊1403)，并且將每個像素 的強度與閾值比較(塊1405)，并分類為前景(塊1407)或背景(塊1409)。一旦已經(jīng)掃描 所有像素(塊1411)，處理就返回(塊1413)到圖12中的下一步驟。返回到圖12，下一步驟是從對應(yīng)于儀器的可變特征的位置的前景像素中挑選最可 能的候選(塊1213)。用于確定最可能的候選的方法可隨著解釋的對象的類型而變化。例 如，可通過計算前景像素的簇的質(zhì)心來確定針位置?？赏ㄟ^確定目標區(qū)域中存在突然并且 非逆的從前景到背景像素的改變的位置來解釋分段LED測量計值?？赏ㄟ^檢測目標區(qū)域中 的一個或多個前景像素的存在來解釋信號器狀態(tài)，其中數(shù)量依賴于如圖像的質(zhì)量、期望的 置信級別或其他測量的因素。圖15參考使用模式匹配技術(shù)的圖像解釋，其是圖12中的塊1213的一個實施例。 這里描述的技術(shù)基本是使用存儲的參考模式的數(shù)學(xué)表示對圖像配準處理的重復(fù)以確定對 象的狀態(tài)(塊1501)。圖像光柵圍繞控制加窗，以獲得更小的光柵(塊1503)，并且在更小 的圖像區(qū)域上進行配準處理(塊1505)。統(tǒng)計分析相位相關(guān)結(jié)果以確定參考模式的匹配概 率(塊1507)，并且處理返回(塊1509)圖12中的下一步驟?？深愃频夭捎梦墨I中公知的 多個其他模式匹配變化。模式匹配技術(shù)可以是用于確定不是很好地適于閾值交叉技術(shù)的特 點旋鈕、開關(guān)和/或操縱桿的狀態(tài)的優(yōu)選方法。還可單獨或結(jié)合使用閾值交叉和模式匹配技術(shù)以解釋主要飛行控制器的位置，如 全部在圖9中示出的附接統(tǒng)一操縱頭901的統(tǒng)一組件(collective)、環(huán)狀把手903或尾槳 腳蹬905。再次參照圖12，一旦已經(jīng)對于當前圖像解釋所有儀器、信號器和/或控制器的值 和/或狀態(tài)(塊1215)，就將值存儲在輸出文件中(圖11的塊1117)，優(yōu)選地存儲在可移除 介質(zhì)上。本發(fā)明預(yù)期防撞和非防撞可移除介質(zhì)實現(xiàn)。然后對下一圖像重復(fù)整個處理。使用本發(fā)明，數(shù)據(jù)質(zhì)量評估的各種方法是可能的。閾值交叉檢測是用于檢測何時 從相機取景中封閉對象的有效方法，如當飛行員到達儀器面板的前面，通過他的手臂按下 按鈕或轉(zhuǎn)動旋鈕時。從裸臂或袖筒的中值濾波圖像計算的最小、最大和閾值將非常接近，允 許系統(tǒng)解釋目標區(qū)域封閉。還使用冗余測量評估解釋值的質(zhì)量。例如，可從旋轉(zhuǎn)外刻度盤 707的左右側(cè)上掃描的目標區(qū)域解釋來自姿態(tài)指示器115(圖1和7中示出)的滾動角。除 了多個目標區(qū)域外，多方向掃描提供冗余。例如，左到右掃描、之后右到左掃描可檢測模糊 度或多閾值交叉，在此情況下，可使用傅立葉光學(xué)技術(shù)使圖像“去模糊”。如果檢測多個閾 值交叉，則可采用各種專業(yè)和/或統(tǒng)計壞點(wild point)編輯技術(shù)?？蓪Χ鄠€狀態(tài)(上/下、開/關(guān)等)檢查使用模式匹配技術(shù)進行的解釋。來自一個源的數(shù)據(jù)還可與來自其他源 (包括評估數(shù)據(jù)質(zhì)量的其他光學(xué)解釋源)的數(shù)據(jù)比較和相關(guān)。可通過如標記值或數(shù)據(jù)質(zhì)量 位的手段來標記可疑數(shù)據(jù)。在一些情況下，從一個源解釋的數(shù)據(jù)可與來自其他源(光學(xué)或其他)的數(shù)據(jù)結(jié)合 使用，以用于各種目的。一個這樣的情況將是使用光學(xué)解釋的風(fēng)速和航向數(shù)據(jù)、結(jié)合來自有 線全球定位系統(tǒng)(GPS)傳感器的地面速度和地面軌道數(shù)據(jù)來估計風(fēng)速率和方向。由此導(dǎo)出 的風(fēng)速信息可存儲為時間歷史“偽項目”以及在飛行中實時顯示給飛行員。本發(fā)明提供了顯著的優(yōu)點，包括(1)提供用于監(jiān)視飛行器(如旋翼飛行器)中的人類可讀儀器、信號器和控制器的成本有效的手段；(2)提供用于監(jiān)視與任何類型的裝置 或機械(如工業(yè)處理機械、材料處理裝置、機械工具等)相關(guān)聯(lián)的人類可讀儀器、信號器和 控制器的成本有效的手段；(3)提供用于監(jiān)視飛行器系統(tǒng)、裝置、機械等的狀態(tài)的較低復(fù)雜 度的手段；以及(4)提供用于監(jiān)視飛行器系統(tǒng)、裝置、機械等的狀態(tài)的較低重量的手段。上面公開的具體實施例僅是說明性的，因為本發(fā)明可以對具有這里的教導(dǎo)的受益 的本領(lǐng)域技術(shù)人員明顯的、不同但等效的方式修改和實踐。此外，不意圖限制到這里示出的 構(gòu)造或設(shè)計的細節(jié)，除非權(quán)利要求中描述。因此，顯然，可更改或修改上面公開的具體實施 例，并且所有這樣的變化被認為在本發(fā)明的范圍和精神內(nèi)。因此，這里尋求的保護在權(quán)利要 求中提出。顯然，已經(jīng)描述和圖示具有顯著優(yōu)點的發(fā)明。盡管本發(fā)明以有限數(shù)量的形式示 出，但是不僅限于這些形式，而是可修改為各種改變和修改，而不背離其精神。
權(quán)利要求
一種用于光學(xué)識別、解釋和數(shù)字化人類可讀儀器、信號器和控制器的系統(tǒng)，包括圖像獲取傳感器，可操作來捕獲儀器、信號器和控制器的至少一個的圖像；邏輯處理單元，可操作來解碼通過圖像獲取傳感器捕獲的圖像，并解釋解碼的圖像以確定儀器、信號器和控制器的至少一個的狀態(tài)。
2.如權(quán)利要求1所述的系統(tǒng)，其中邏輯處理單元可操作來存儲儀器、信號器和控制器 的至少一個的狀態(tài)。
3.如權(quán)利要求1所述的系統(tǒng)，其中邏輯處理單元可操作來存儲儀器、信號器和控制器 的至少一個的時基狀態(tài)。
4.如權(quán)利要求1所述的系統(tǒng)，其中邏輯處理單元從儀器、信號器和控制器的至少一個 的狀態(tài)創(chuàng)建偽參數(shù)。
5.如權(quán)利要求1所述的系統(tǒng)，還包括可操作地與邏輯處理單元相關(guān)聯(lián)的地面數(shù)據(jù)處理器。
6.如權(quán)利要求1所述的系統(tǒng)，其中人類可讀儀器、信號器和控制器是飛行器駕駛員座 艙中的對象。
7.如權(quán)利要求6所述的系統(tǒng)，其中飛行器是旋翼飛行器。
8.一種用于光學(xué)識別、解釋和數(shù)字化人類可讀儀器、信號器和控制器的方法，包括 讀取配置文件以提供要解釋的儀器、信號器和控制器的至少一個的、要解釋的圖像的目標區(qū)域的定義；打開用于存儲要解釋的圖像的輸出文件； 確定是否存在要解釋的捕獲圖像； 如果存在捕獲圖像 解碼捕獲圖像；基于解碼的捕獲圖像和配置文件中的定義，確定儀器、信號器和控制器的至少一個的 狀態(tài)；以及將儀器、信號器和控制器的至少一個的狀態(tài)寫到輸出文件。
9.如權(quán)利要求8所述的方法，其中配置文件包括以下一個或多個 要解釋的儀器、信號器和控制器的至少一個的數(shù)量；要解釋的儀器、信號器和控制器的至少一個的類型；要解釋的儀器、信號器和控制器的至少一個的位置；要解釋的儀器、信號器和控制器的至少一個的掃描區(qū)域的定義；與要解釋的儀器、信號器和控制器的至少一個的位置相關(guān)聯(lián)的值地圖；用于圖像配準中的圖像的參考區(qū)域的數(shù)學(xué)表示；用于確定要解釋的儀器、信號器和控制器的至少一個的狀態(tài)的參考模式的數(shù)學(xué)表示； 用于解釋信號器的照明狀態(tài)的色度和強度信息； 用于解釋圖像的背景相對前景信息的色度和強度信息；以及 起始參數(shù)和偏好。
10.如權(quán)利要求8所述的方法，其中輸出文件包括基于從配置文件讀取的定義而解釋 和分析的參數(shù)的時間歷史。
11.如權(quán)利要求8所述的方法，其中解碼圖像得到存儲為二維陣列的光柵或二維像素位圖。
12.如權(quán)利要求8所述的方法，其中確定儀器、信號器和控制器的至少一個的狀態(tài)通過 下述來實現(xiàn)用要解釋的圖像的目標區(qū)域的定義配準捕獲圖像； 基于配準捕獲圖像調(diào)整通過配置文件定義的目標區(qū)域的坐標； 掃描配準的捕獲圖像的每個像素； 應(yīng)用中值濾波器到配準的捕獲圖像的每個像素； 將目標區(qū)域分為前景和背景；以及挑選對應(yīng)于要解釋的儀器、信號器和控制器的至少一個的可變特征的前景像素。
13.如權(quán)利要求12所述的方法，其中配準捕獲圖像通過下述來實現(xiàn) 計算捕獲圖像的傅立葉變換；將來自配置文件的參考傅立葉變換共軛與捕獲圖像的傅立葉變換逐元素相乘； 計算相乘的參考傅立葉變換共軛和捕獲圖像的傅立葉變換的逆傅立葉變換； 找到從逆傅立葉變換中得到的陣列中的最大值的行和列索引；以及 存儲行和列索引。
14.如權(quán)利要求13所述的方法，還包括在計算逆傅立葉變換之前，將相乘的參考傅立葉變換共軛和捕獲圖像的傅立葉變換逐 元素歸一化。
15.如權(quán)利要求12所述的方法，其中將目標區(qū)域分為前景和背景通過下述實現(xiàn)基于將中值濾波器應(yīng)用到配準的捕獲圖像的每個像素的結(jié)果，計算目標區(qū)域的閾值； 檢索捕獲圖像的目標區(qū)域中的每個像素的強度； 比較每個像素的強度和閾值；以及 將每個像素分類為前景或背景。
16.如權(quán)利要求12所述的方法，其中挑選對應(yīng)于要解釋的儀器、信號器和控制器的至 少一個的可變特征的前景像素通過下述實現(xiàn)圍繞目標區(qū)域加窗捕獲圖像；用要解釋的圖像的目標區(qū)域的定義配準捕獲圖像的窗口區(qū)域；以及基于配準窗口區(qū)域的結(jié)果，確定要解釋的儀器、信號器和控制器的至少一個的狀態(tài)。
17.一種用于光學(xué)識別、解釋和數(shù)字化人類可讀儀器、信號器和控制器的軟件，該軟件 以計算機可讀介質(zhì)體現(xiàn)，并且當執(zhí)行時可操作來讀取配置文件以提供要解釋的儀器、信號器和控制器的至少一個的、要解釋的圖像的 目標區(qū)域的定義；打開用于存儲要解釋的圖像的輸出文件； 確定是否存在要解釋的捕獲圖像； 如果存在捕獲圖像 解碼捕獲圖像；基于解碼的捕獲圖像和配置文件中的定義，確定儀器、信號器和控制器的至少一個的 狀態(tài)；以及將儀器、信號器和控制器的至少一個的狀態(tài)寫到輸出文件。
18.如權(quán)利要求17所述的軟件，其中配置文件包括以下一個或多個 要解釋的儀器、信號器和控制器的至少一個的數(shù)量；要解釋的儀器、信號器和控制器的至少一個的類型；要解釋的儀器、信號器和控制器的至少一個的位置；要解釋的儀器、信號器和控制器的至少一個的掃描區(qū)域的定義；與要解釋的儀器、信號器和控制器的至少一個的位置相關(guān)聯(lián)的值地圖；用于圖像配準中的圖像的參考區(qū)域的數(shù)學(xué)表示；用于確定要解釋的儀器、信號器和控制器的至少一個的狀態(tài)的參考模式的數(shù)學(xué)表示； 用于解釋信號器的照明狀態(tài)的色度和強度信息； 用于解釋圖像的背景相對前景信息的色度和強度信息；以及 起始參數(shù)和偏好。
19.如權(quán)利要求17所述的軟件，其中輸出文件包括基于從配置文件讀取的定義而解釋 和分析的參數(shù)的時間歷史。
20.如權(quán)利要求17所述的軟件，其中當該軟件被執(zhí)行時，可操作來解碼存儲為二維陣 列的光柵或二維像素位圖的圖像結(jié)果。
21.如權(quán)利要求17所述的軟件，其中當該軟件被執(zhí)行時，通過下述來確定儀器、信號器 和控制器的至少一個的狀態(tài)用要解釋的圖像的目標區(qū)域的定義配準捕獲圖像； 基于配準捕獲圖像調(diào)整通過配置文件定義的目標區(qū)域的坐標； 掃描配準的捕獲圖像的每個像素； 應(yīng)用中值濾波器到配準的捕獲圖像的每個像素； 將目標區(qū)域分為前景和背景；以及挑選對應(yīng)于要解釋的儀器、信號器和控制器的至少一個的可變特征的前景像素。
22.如權(quán)利要求21所述的軟件，其中當該軟件被執(zhí)行時，通過下述來配準捕獲圖像 計算捕獲圖像的傅立葉變換；將來自配置文件的參考傅立葉變換共軛與捕獲圖像的傅立葉變換逐元素相乘； 計算相乘的參考傅立葉變換共軛和捕獲圖像的傅立葉變換的逆傅立葉變換； 找到從逆傅立葉變換中得到的陣列中的最大值的行和列索引；以及 存儲行和列索引。
23.如權(quán)利要求22所述的軟件，其中當該軟件被執(zhí)行時，通過下述來配準捕獲圖像 在計算逆傅立葉變換之前，將相乘的、參考傅立葉變換共軛和捕獲圖像的傅立葉變換逐元素歸一化。
24.如權(quán)利要求21所述的軟件，其中當該軟件被執(zhí)行時，通過下述將目標區(qū)域分為前景禾口背景基于將中值濾波器應(yīng)用到配準的捕獲圖像的每個像素的結(jié)果，計算目標區(qū)域的閾值； 檢索捕獲圖像的目標區(qū)域中的每個像素的強度； 比較每個像素的強度和閾值；以及 將每個像素分類為前景或背景。
25.如權(quán)利要求21所述的軟件，其中當該軟件被執(zhí)行時，挑選對應(yīng)于要解釋的儀器、信號器和控制器的至少一個的可變特征的前景像素通過下述實現(xiàn) 將捕獲圖像圍繞目標區(qū)域加窗；用要解釋的圖像的目標區(qū)域的定義配準捕獲圖像的窗口區(qū)域，以及基于配準的窗口區(qū)域的結(jié)果，確定要解釋的儀器、信號器和控制器的至少一個的狀態(tài)。
全文摘要
一種用于光學(xué)識別、解釋和數(shù)字化人類可讀儀器、信號器和控制器的系統(tǒng)，包括圖像獲取傳感器，可操作來捕獲儀器、信號器和控制器的至少一個的圖像；和邏輯處理單元，可操作來解碼通過圖像獲取傳感器捕獲的圖像，并解釋解碼的圖像以確定儀器、信號器和控制器的至少一個的狀態(tài)。
文檔編號G06K9/18GK101828191SQ200880112307
公開日2010年9月8日 申請日期2008年8月15日 優(yōu)先權(quán)日2007年8月17日
發(fā)明者喬治·S·劉易斯, 卡森·B·克蘭頓 申請人:貝爾直升機泰克斯特龍公司