專利名稱：攝像機(jī)的圖像穩(wěn)定系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像機(jī)穩(wěn)定系統(tǒng)，尤其涉及一種抵消不需要的和 不規(guī)則的圖像運(yùn)動(dòng)的攝像機(jī)穩(wěn)定系統(tǒng)。
背景技術(shù)：
有多種已知的視頻監(jiān)視系統(tǒng)可用來跟蹤諸如人或車輛這樣的移 動(dòng)對(duì)象。 一些這樣的系統(tǒng)使用具有固定視野(FOV)的固定攝像機(jī)。 但是，為了用固定攝像機(jī)系統(tǒng)充分覆蓋給定的監(jiān)視場(chǎng)所，經(jīng)常必須使 用相當(dāng)多數(shù)量的固定攝像機(jī)。
也可以使用可平搖(pan)、俯仰(tilt)和/或變焦(zoom)的可 移動(dòng)攝像機(jī)來跟蹤對(duì)象。使用PTZ (平搖、俯仰、變焦)攝像機(jī)系統(tǒng) 一般會(huì)減少給定監(jiān)視地點(diǎn)所需的攝像機(jī)的數(shù)量，并因此降低視頻供給 裝置(video feed)和系統(tǒng)集成硬件的數(shù)目和成本，如相關(guān)的畫面分 割器(multiplexer)和視頻切換器(switcher)。用于表示平搖、俯仰、 變焦運(yùn)動(dòng)的控制信號(hào)一般經(jīng)由操縱桿來自人工操作員或來自自動(dòng)視 頻跟蹤系統(tǒng)。
問題在于，除了 PTZ控制信號(hào)所導(dǎo)致的有意地移動(dòng)攝像機(jī)之外， 外部力量也能無意地移動(dòng)攝像機(jī)，例如空氣流動(dòng)或支持臂抖動(dòng)。無意 的攝像機(jī)運(yùn)動(dòng)通常會(huì)導(dǎo)致視頻圖像"跳動(dòng)"，因此觀察起來不舒服。
本領(lǐng)域中所需要的是一種能夠穩(wěn)定圖像以補(bǔ)償攝像機(jī)無意運(yùn)動(dòng) 的視頻系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明提供了一種具有攝像機(jī)的視頻圖像穩(wěn)定系統(tǒng)，該攝像機(jī)捕 獲的圖像比顯示在屏幕上的相關(guān)圖像要大。該系統(tǒng)能夠根據(jù)攝像機(jī)視 野的預(yù)期改變和對(duì)兩幅捕獲圖像的分析，通過調(diào)整顯示的選中圖像部 分的相對(duì)位置，補(bǔ)償無意的攝像機(jī)運(yùn)動(dòng)，即從顯示的圖像中去除跳動(dòng)。
在一種形式中，本發(fā)明包括一種視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包括 一個(gè)攝像機(jī)，該攝像機(jī)包括一個(gè)被配置用于捕獲視頻圖像的圖像捕獲 設(shè)備，其中，該攝像機(jī)具有可選擇調(diào)整的視野。至少一個(gè)處理設(shè)備可 操作地連接到該系統(tǒng)，其中，該處理設(shè)備接收表示該攝像機(jī)視野的信 號(hào)和該攝像機(jī)捕獲的圖像。該處理設(shè)備順序地抓取這些圖像中的第一 幅圖像和第二幅圖像，并將視頻圖像的穩(wěn)定調(diào)整確定為1)根據(jù)表示 視野的信號(hào)，在捕獲第一幅圖像和第二幅圖像的間隔期內(nèi)，攝像機(jī)視
野的預(yù)期改變，以及2)對(duì)第一幅和第二幅圖像的分析的函數(shù)。
可以選擇該攝像機(jī)捕獲的每幅圖像的顯示部分進(jìn)行顯示，其中， 每幅圖像的選中顯示部分小于捕獲的整個(gè)圖像，并且，該處理設(shè)備確 定的穩(wěn)定調(diào)整包括調(diào)整選中顯示部分在捕獲圖像內(nèi)的相對(duì)位置。
在另一種形式中，本發(fā)明包括一種視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包 括一個(gè)攝像機(jī)，該攝像機(jī)具有一個(gè)被配置用于捕獲圖像的圖像捕獲設(shè) 備。捕獲的每幅圖像與一個(gè)視野有關(guān)，并且，該攝像機(jī)具有至少一個(gè) 可選擇調(diào)整的參數(shù)，其中，調(diào)整所述至少一個(gè)攝像機(jī)參數(shù)改變?cè)摂z像 機(jī)的視野。該系統(tǒng)還包括一個(gè)被配置用于顯示該攝像機(jī)捕獲的圖像的 選中部分的顯示裝置和一個(gè)可操作地連接到該攝像機(jī)和顯示設(shè)備的 處理設(shè)備。該處理設(shè)備接收表示所述至少一個(gè)攝像機(jī)參數(shù)的信號(hào)和該 攝像機(jī)捕獲的圖像。該處理設(shè)備根據(jù)表示所述至少一個(gè)攝像機(jī)參數(shù)的 信號(hào)和對(duì)當(dāng)前捕獲圖像和以前捕獲圖像的分析，通過調(diào)整該顯示裝置 顯示的圖像的選中部分，補(bǔ)償該攝像機(jī)的無意運(yùn)動(dòng)。
在另一種形式中，本發(fā)明包括一種穩(wěn)定視頻圖像的方法。該方法 包括用攝像機(jī)捕獲多幅圖像，該攝像機(jī)安裝在固定支撐架上并具有 可調(diào)整的視野；調(diào)整該攝像機(jī)的視野。該方法還包括抓取該攝像機(jī) 捕獲的第一幅圖像及其后面的第二幅圖像；顯示第一幅和第二幅圖像 的選中顯示部分，每幅圖像的選中顯示部分小于捕獲的整個(gè)圖像；確定第二幅圖像的穩(wěn)定調(diào)整。將穩(wěn)定調(diào)整確定為在捕獲第一幅圖像和捕 獲第二幅圖像之間的間隔期間該攝像機(jī)視野的預(yù)期改變以及對(duì)第一 幅和第二幅圖像的分析的函數(shù)，其中，穩(wěn)定調(diào)整包括調(diào)整選中顯示部 分在第二幅圖像內(nèi)的相對(duì)位置。
對(duì)第一幅和第二幅圖像的分析包括變換第一幅和第二幅圖像中 的一幅，其中調(diào)整該幅圖像的縮放比例。在一個(gè)實(shí)施例中，對(duì)第一幅 和第二幅圖像的分析包括基于從與攝像機(jī)通信的系統(tǒng)接收的、表示 視野的信號(hào)，將第一幅和第二幅圖像中的一副與第一幅和第二幅圖像 中的另一幅對(duì)準(zhǔn)，并判斷對(duì)準(zhǔn)后的圖像是否表明無意攝像機(jī)運(yùn)動(dòng)的發(fā) 生。使用對(duì)準(zhǔn)后圖像的圖像差別，判斷對(duì)準(zhǔn)后的圖像是否表示無意攝 像機(jī)運(yùn)動(dòng)的發(fā)生。產(chǎn)生對(duì)準(zhǔn)后圖像的圖像差別的直方圖，并通過識(shí)別 直方圖中的最高峰和最高峰的位置，完成無意攝像機(jī)運(yùn)動(dòng)是否已發(fā)生 的判斷。當(dāng)最高峰不是基本集中于O時(shí)，判定無意運(yùn)動(dòng)已發(fā)生，當(dāng)檢 測(cè)到這種無意運(yùn)動(dòng)時(shí)，確定穩(wěn)定調(diào)整包括識(shí)別使圖像差別最小化的調(diào)
在另一種形式中，本發(fā)明包括一種穩(wěn)定視頻圖像的方法，該方法 包括通過使用控制信號(hào)，有意地改變攝像機(jī)的視野；用該攝像機(jī)捕
獲多幅圖像，每幅圖像與一個(gè)視野有關(guān)；顯示多幅圖像中每一幅的選 中部分；對(duì)于多幅圖像中至少一幅，調(diào)整顯示的選中部分。調(diào)整步驟 補(bǔ)償攝像機(jī)的無意運(yùn)動(dòng)，并且基于攝像機(jī)的預(yù)期視野和對(duì)多幅圖像中 的至少一幅圖像和這些圖像中的第二幅圖像的分析。
本發(fā)明的優(yōu)點(diǎn)在于它提供穩(wěn)定的視頻圖像，從而限制或去除攝像 機(jī)無意運(yùn)動(dòng)引起的煩人和不愉快的影響。
本發(fā)明的另一優(yōu)點(diǎn)在于，它可以穩(wěn)定攝像機(jī)在運(yùn)動(dòng)時(shí)所獲取的圖 像。因此，即使攝像機(jī)積極且有意地改變視野時(shí)，本發(fā)明也可以補(bǔ)償 例如由支持臂振動(dòng)或風(fēng)對(duì)攝像機(jī)外殼的影響所引起的平搖、俯仰、變 焦攝像機(jī)的無意運(yùn)動(dòng)。
附圖簡(jiǎn)述
通過參考下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的描述，本發(fā)明的上述和其他特征及目的將變得更加顯而易見，并且發(fā)明本身也將更容易被理 解，其中-


圖1是根據(jù)本發(fā)明的視頻監(jiān)視系統(tǒng)的示意圖； 圖2是描述圖1中攝像機(jī)的視野變化以及該攝像機(jī)捕獲得到的圖 像的示意圖3是圖2中所捕獲圖像的一部分的示意圖； 圖4是圖1的處理設(shè)備的框圖5是表示圖1的視頻監(jiān)視系統(tǒng)操作的一個(gè)實(shí)施例的流程圖6是對(duì)兩幅圖像進(jìn)行分析時(shí)使用的直方圖。
在所有附圖中，相應(yīng)的參考符號(hào)代表相應(yīng)的部分。雖然這里舉出 的例子以一種形式解釋了本發(fā)明的實(shí)施例，但下面公開的實(shí)施例并不 是窮舉的，或者，不應(yīng)視為將本發(fā)明的保護(hù)范圍限制到所公開的精確 形式。
具體實(shí)施例方式
根據(jù)本發(fā)明，圖1中示出了^!/M鵬統(tǒng)20。系統(tǒng)20包括位于部姆 微卜殼24內(nèi)并裝配在支撐架25上的攝^l幾22。固定的支撐架25可采用多 種形狀，例如從建筑物的外邊緣伸出的向外延伸支持臂，它會(huì)使所支持的 攝像機(jī)受至諷、攝像機(jī)馬達(dá)、附近機(jī)器或各種其^^源產(chǎn)生的振動(dòng)所導(dǎo)致 的無意運(yùn)動(dòng)。夕卜殼24 色，以使樹m獲船卜殼24夕卜MJT、境的圖像并 同時(shí)防止該環(huán)境中正被攝像機(jī)22觀察的個(gè)體確定攝Ml 22的方位。攝像 機(jī)22包括一個(gè)控制器和多個(gè)馬達(dá)，它們規(guī)定衞抓22平搖、俯仰和焦距 調(diào)整。箭頭26表示攝像機(jī)22的平搖運(yùn)動(dòng)，箭頭28表示攝像機(jī)22的俯仰 運(yùn)動(dòng)，箭頭30表示攝像機(jī)22的鏡頭23的焦距改變，即變焦。如坐標(biāo)系統(tǒng) 21所示，平搖運(yùn)動(dòng)可以足跟宗沿著x軸的運(yùn)動(dòng)，俯仰運(yùn)動(dòng)可以l鵬沿著y軸 的運(yùn)動(dòng)，焦距調(diào)整可用于Jl^沿著z軸的運(yùn)動(dòng)。在示出的實(shí)施例中，攝^)1 22和外殼24是Phillips AutoDome Camera Systems品牌的攝ftt幾系統(tǒng)，例 如Bosch Security Systems公司提供的G3 Basic AutoDom^攝^f幾和外殼， 這家公司的前身為Phillips Communication^ Security & Imaging公司，它在賓 夕法尼亞州的蘭開MFt營(yíng)業(yè)場(chǎng)所。Sergeant ^&M為"Surveillance Camera
System"的美國(guó)專利洳.5627616中描述了一種適用于本發(fā)明的攝像機(jī)，其 并入此處，作為參考。
系統(tǒng)20還包括一頭端單元32。頭端單元32可以包括視頻切換器或視 頻翻器33。例如，頭端單元可以包括位于賓夕法尼亞州蘭開,、前身 為Phillips Communication^ Security & Imaging公司的Bosch Security Systems 公司提供的Allegiant品牌的視頻切換器，如LTC8500系列Allegiant視頻切 換器，其劍共高達(dá)64臺(tái)攝像機(jī)輸入，并且也可,8個(gè)3te的,和8臺(tái) 監(jiān)視器。頭端單元32包S^: 34和操縱桿36，以鵬作員輸入。頭端單 元32還包括由操作員瀏覽的顯示設(shè)備，其形式為監(jiān)視器38。 24伏a/c電源 40向攝像機(jī)22和處理設(shè)備50供電，處理設(shè)備50可操作ife^接到攝像機(jī) 22和頭端單元32。
雖然示出的系統(tǒng)20是單一的攝像miS用，但是，本發(fā)明也可用于具有 附加攝像機(jī)的較;W視系統(tǒng)中，其中的附加攝像機(jī)可以是固定的或移動(dòng)的 攝像機(jī)或它們的組合，以^i共更大或更復(fù)雜監(jiān)視區(qū)域的覆蓋范圍。也可以 將一個(gè)或多個(gè)VCR或其他形式的模擬微字記錄設(shè)備雜到頭端單元32， 以>1，傲幾22和系統(tǒng)中其他攝像機(jī)捕獲的視頻圖{,行記錄。
下面結(jié)合圖2和圖3，討論根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)的操作所基于 的一般B。衞I^L22包,如電荷耦合器件(CCD) ^^樣的圖像捕獲設(shè) 備，其獲取由CCD圖微界82所定義的四邊CCD視頻圖像80。處理設(shè) 備50識(shí)別,擇欲 視器38屏幕上顯示的CCD圖像80的中心部分， 以供系統(tǒng)20的操作員瀏覽。更具體地說，處理設(shè)備50識(shí)別顯示圖像邊界 86定義的顯示圖像84，以 視器38的屏幕上瀏覽。在一個(gè)實(shí)施例中， CCD視頻圖像的選中部分，即顯示圖像84，包括大約60°/。到90%的CCD 視頻圖像。在一個(gè)，實(shí)施例中，CCD圖像80比由顯示圖像邊界86定義 的顯示圖像84大出約30%。換言之，在一^H^實(shí)施例中，大約23%的 CCD圖像80不會(huì)顯示 38的屏幕上。但是，為便于說明，圖2所 示的CCD圖像80比顯示圖像84大出約100%到200%。通過4頓一個(gè)比該 CCD圖像更小的顯示圖像，處理設(shè)備50可以將用于定，示圖像的邊界的 健相對(duì)于",獲取的圖像的齡CCD圖^i^預(yù)整，以抵消支持臂振動(dòng) 和攝像機(jī)的其他無意運(yùn)動(dòng)的影響，下面還將對(duì)雌行更詳細(xì)的描述。
一段時(shí)期之后，樹嫩22的豐鵬(FOV)發(fā)生改變，從而獲取第二個(gè) 四邊CCD圖像88。第二個(gè)CCD圖像邊界90定義CCD圖像88的界限。 圖2示意性地描述了由攝像機(jī)22捕獲的、具有不同豐鵬的兩幅圖像80和 88以及這兩幅圖像重疊的程度。
攝像機(jī)22的FOV改變可能是因?yàn)閿z像機(jī)22的有意和無意(即不注意 的)移動(dòng)所導(dǎo)致的。所發(fā)生的攝像機(jī)22的有意運(yùn)動(dòng)可能是因?yàn)閺念^端單元 32發(fā)送到攝{艦22的平搖、俯仰和變i控審瞻號(hào)。也就是說，iliS艦控 制信號(hào)，可以改變攝像機(jī)22的視野。攝像機(jī)22的ft^無意或非有意的運(yùn) 動(dòng)可能是因?yàn)橄Σ妨λ鶎?dǎo)致的，如空氣流動(dòng)救持臂振動(dòng)。
處理設(shè)備50 i湖諫自CCD圖像88、由中間未調(diào)整顯示圖f敏界94 定義的中間未調(diào)M示圖像92，但是并不將其顯示雄視器38的屏幕上。 未調(diào)整顯示圖像92包括CCD圖像88的一部分，該CCD圖像88的一部分 與顯示圖像84中包含的CCD圖像80的一部分相對(duì)應(yīng)。也就是說，顯示圖 像92和CCD圖像邊界90的相對(duì)位置與顯示圖像84與CCD圖像邊界82 的相對(duì)位置相同，并且，對(duì)于顯示圖像84和92，該顯示圖《敏界和對(duì)應(yīng)的 CCD圖微界之間的距離大約相等。例如，顯示圖像84和92位于各自的 CCD圖像80、 88的中間。
圖2和3示意'| 示出了攝像機(jī)22獲取的兩幅圖像以及攝像機(jī)有意運(yùn) 動(dòng)、攝像機(jī)實(shí)際運(yùn)動(dòng)和攝像機(jī)無意運(yùn)動(dòng)對(duì)這兩幅圖像的影響及其之間的關(guān) 系。在這些圖像中，識(shí)別一個(gè)公共靜止特征96，以闡明在獲取這兩幅圖像 之間發(fā)生的FOV的相鄉(xiāng)動(dòng)。在圖2中，用實(shí)線和虛線標(biāo)相同的靜止特 征96，以表明特征96出現(xiàn)在CCD圖像80和CCD圖像88中。圖2示意 性地示出了在獲取兩幅CCD圖像80、 88之間的時(shí)段內(nèi)實(shí)際發(fā)生的、特征 96相對(duì)于CCD圖微界82、 90的實(shí)際水平移動(dòng)厶P (—皿應(yīng)于攝Wl 22的平搖運(yùn)動(dòng))和垂直移動(dòng)AT (—艦繊娜22的俯仰運(yùn)動(dòng))。
圖2描述了相對(duì)，止特征％的CCD圖像80和88的位置。如圖2 戶標(biāo)，圖像80和88在很^fiSJ:錢，但是，攝4娜22的FOV在獲取 CCD圖像80到;S^捕獲的CCD圖像88之間已發(fā)生改變。圖3很好 出了攝像機(jī)22的FOV的改變，其中，由于將相繼出現(xiàn) 視器38的屏幕 上，顯示圖像84、 92互相疊加，而不必為圖像穩(wěn)定目的而調(diào)^M示圖像的
邊界86、 94。
特征96相對(duì)于顯示圖^J&界86、 94在皿厶T中的垂直(即在俯仰 方向的)變化以及在位置AP中的水平(即平移方向的)變化表示在攝像機(jī) 22捕獲CCD圖像80和88之間發(fā)生的攝像機(jī)22的垂直(俯仰)運(yùn)動(dòng)和水 平(平搖)運(yùn)動(dòng)，并等同于特征％相對(duì)于CCD圖ltii界82和90的位置 改變。
換言之，AT等于特征96分別和顯示圖像邊界86、 94的對(duì)iS7jC平邊 貌間的垂鼓巨離vO和vl之間的差距，艮PAT叫vO-vll。類1^t也，厶P等于 特征96分別和顯示圖tii界86、 94的對(duì)應(yīng)垂直ii^t間的7K平距離h0和 hl之間的差距，即AP^hO-hll。赫也可以說，厶T等:^寺征96分別和CCD 圖〈tii界82、 90的對(duì)應(yīng)7jC平mt間的垂直距離v2和v3之間的差距，即 △ T=|v2-v3|。類{吸也，AP等，征96分別和CCD圖ftii界82、 90的對(duì) 應(yīng)垂直，之間的7X平距離h2和h3之間的差距，即APHh2-h31。
處理設(shè)備50根據(jù)對(duì)兩幅CCD圖像80、 88的內(nèi)容分析，確定△ T和△ P的值。將具有重疊內(nèi)容的兩幅圖像配準(zhǔn)(register) m準(zhǔn)(align)的匹配
技術(shù)在本領(lǐng)域中是公知的，并用于多種計(jì)Mi視覺和視頻處a^用。兩種
公知的方法是歸一化的基于相關(guān)性的(normalized condation-based)模板匹 配(templatematching)和特征匹配(feature matching)。例如，可以使用特 征匹配方法^M兩幅圖像中的每一幅圖像中對(duì)諸如特征96這樣的靜態(tài)對(duì) 象的識(shí)別。識(shí)別視頻圖像中的特征的一種公知方法是角檢測(cè)(comer detection)法，該方粉析圖像，以識(shí)別圖像中的錢或角，在腿離處， 附近像素的亮度等級(jí)有相對(duì)明顯的變化。然后，比較和匹配這兩幅不同圖 像中的這些角。
雖然可以在本發(fā)明中^這樣的特征匹配方法，但示出的實(shí)施例iOT 的是模板匹配方法。在本領(lǐng)域中有多種公知的模板匹配方法。兩種著名的 模板匹配方法是方差求和(sum of square differences)法與歸一化互相關(guān) (normalized cross鑿lation)法。方差斜口HS^預(yù)的數(shù)學(xué)絲<formula>formula see original document page 10</formula> (1)
其中，￡是總聽，/是圖像，M是翻賺，"y)是模型圖像坐標(biāo)，
(x',y')是變換后的圖像坐標(biāo)。為了配^^兩幅圖像，將總聽E最小化。在 圖2的示例中，第一顯示圖像84對(duì)應(yīng)模型模板M, x和x'之間的差對(duì)應(yīng)A P， y和y'之間的，應(yīng)AT。運(yùn)動(dòng)模型定義變換后圖像坐標(biāo)和模型圖像坐 標(biāo)之間的關(guān)系。可以使用不同的運(yùn)動(dòng)模型，以下0f示的仿射變換(affine transformation)對(duì)旋轉(zhuǎn)、剪切和平移模型化
<formula>formula see original document page 11</formula>該運(yùn)動(dòng)t難需要當(dāng)前圖像(第二 CCD圖像88)和模型圖像(第一顯 示圖像84)之間的至少三對(duì)點(diǎn)。
雖然本發(fā)明可以O(shè)T方差求和法，但示出的實(shí)施例使用了歸一化互相
關(guān)法。^(^互相關(guān)的,匹配基于^距離平方.-
<formula>formula see original document page 11</formula> (3 )
其中/是圖像，如第二CCD圖像88，求和針 口第一顯示圖像84這 樣的包括位于("，v)的特征t的窗口下的x、 y。 ^的展開式提供
<formula>formula see original document page 11</formula>(4 )
項(xiàng)》2(;c-"j-v)是常量。如果項(xiàng)Z/2"，力^S似常量，那么，艦 剩余的互相關(guān)項(xiàng)，皿該圖{斜卩特征之間的相似度
但是，將該項(xiàng)用于微匹配有許多缺點(diǎn)，所以，經(jīng)常艦一個(gè)相關(guān)系
數(shù)。M:將該圖像和特征矢量標(biāo)準(zhǔn)化為單元長(zhǎng)度，可以獲得該相關(guān)系數(shù)，
如下 —
其中，,是該特征的均值，而L是該特征下該區(qū)域中的^y)的均值。
對(duì)于本領(lǐng)域普通技術(shù)人員而言，該關(guān)系一般被稱為歸一化互相關(guān)。通過將
第一顯示圖像84和第二 CCD圖像88之間的歸一化相關(guān)性最大化，處理設(shè) 備50可以確定AP和AT的值。
除了確定如△ T和AP戶^的視野的實(shí)際改^卜，如果^fP月變化的
話，處理設(shè)備50還確定在攝像機(jī)22的豐鵬FOV的預(yù)期變化。在圖2中， 垂直(俯仰)和水平(平搖)方向上FOV的預(yù)期變化分別對(duì)應(yīng)于AT,和A P,。例如，當(dāng)有意地平搖或俯仰攝<抓時(shí)，攝像機(jī)的FOV會(huì)發(fā)生改變。在 圖2中，攝^mFOV的這種OT改^f應(yīng)于AT,和APp其中，AT，是攝 像機(jī)22的有意俯仰所對(duì)應(yīng)的垂直圖《銶巨離，而是攝像機(jī)22的有意平 ,岳所對(duì)應(yīng)的水平圖^^巨離。
在示出的實(shí)施例中，攝像機(jī)22 ,像機(jī)22獲取的每幅圖像以及攝像 機(jī)22的平搖、俯仰和變焦位置相關(guān)的、基于幀同步的信息傳超(j處理設(shè)備 50。如果存在預(yù)期變化的話，處理設(shè)備50 4頓兩幅圖像80、 88中每一幅 圖像相關(guān)聯(lián)的平搖、俯仰和變焦設(shè)置，確定攝像機(jī)22的平搖、俯仰和變焦 位置的預(yù)期變化，從而確定AT,和AP,的幅度和方向。
也可以M:其他方法確定FOV的預(yù)期變化。例如，處理設(shè)備50可以 對(duì)縱到攝像機(jī)22的平搖、俯仰和變焦控制信糊行分析，以確定FOV 中的預(yù)期變化。這種控制信號(hào)可以來自頭端單元32，例如由于AX操作操 縱桿36，并賠接鵬艦攝像機(jī)22 ^H,設(shè)備50?；蛘?，攝艦 控制信號(hào)也可以來自處理設(shè)備50，例如，自動(dòng)入侵者足跟舒M^產(chǎn)生的攝像 機(jī)控制信號(hào)?；蛘?，攝像機(jī)控制信號(hào)也可以來自其他來源，并被發(fā)送到處 理設(shè)備50，或者，處理設(shè)備50可以S31分析腿統(tǒng)20iM的其他M， 來確定顯示圖像的預(yù)期變化。
如果△ T和△ P表示的攝像機(jī)FOV的實(shí)際改變以及△ T,和△ P,表示的 攝像機(jī)FOV的預(yù)期變化是已知的，那么，就可以確定在垂直(俯仰)和水 平(平搖)方向中的一個(gè)方向或兩個(gè)方向是否有衝艦的無意運(yùn)動(dòng)。厶Te 和厶PE值表示兩幅連續(xù)圖像的FOV的實(shí)際變化(AT和AP)和FOV的預(yù) 期變化(AT,和AP》的魏，艮P，由于樹抓22的非有意運(yùn)動(dòng)而弓胞的 FOV的改變。處理設(shè)備50根據(jù)△ TE和△ PE的值，M調(diào)整該顯示圖像在 CCD圖像中的相對(duì)位置，補(bǔ)償衞M122的這種無意運(yùn)動(dòng)。在圖2中，由調(diào) 整后的顯^ii界100定義的調(diào)^g顯示圖像98 )^#顯示;&^視器38的屏 幕上。
當(dāng)將這些圖像傳超跌端單元32以便將其顯示ffi^視器屏幕38上時(shí)， 處理設(shè)備50可以修剪這些圖像，并只轉(zhuǎn)發(fā)選中的顯示圖像部分，如顯示圖
像84、 98，或者，它可以轉(zhuǎn)發(fā)如CCD圖像80、 88這樣的旨CCD圖像 以及如顯^界86、 IOO這樣的顯示圖像邊界的坐標(biāo)。
只要調(diào)整后的齡顯示圖像98存在于CCD圖像88上，那么，調(diào)整后 的顯示圖像98就可以顯示雄!鵬38的屏幕上。所有四個(gè)lh的邊沿將該 視頻圖像的選中部分的夕卜邊緣(即顯示圖《tii界)和CCD視頻圖像的外邊 緣分離開來。因此，對(duì)該顯示圖像的調(diào)整只限于對(duì)應(yīng)邊沿的寬度。也就是 說，該顯示圖像和CCD圖像尺寸差值對(duì)應(yīng)的門限值限制了該顯示圖像在 CCD圖像中的再定位范圍?？梢愿鶕?jù)監(jiān)視衝維)|^ 啲震動(dòng)或其它無 意運(yùn)動(dòng)的預(yù)期幅度，選皿沿的尺寸。
本發(fā)明^i4的一個(gè)重要特征在于，它不僅在攝像機(jī)靜止N1t定顯示圖 像，并且在調(diào)S^抓FOV時(shí)也鄉(xiāng)顯示圖像的穩(wěn)定。如上"誠(chéng)，除了可 調(diào)觀f斜幾22的平搖和俯仰角度，攝像機(jī)22還具有可調(diào)整的變焦體。 除了攝像機(jī)的平搖或俯仰運(yùn)動(dòng)，前面關(guān)于確定AT和AP、 AT,和AR以及 A Te和△ PE的討論沒有具體針對(duì)FOV的改變包括攝像機(jī)22變焦設(shè)置的改 變(即攝像機(jī)22鏡頭焦距的改變)的情況。攝像機(jī)22^! 像機(jī)22的 結(jié)構(gòu)的振動(dòng)不可能導(dǎo)鄉(xiāng)像機(jī)22變焦設(shè)置的無意改變。所以，從攝像機(jī)22 到處理設(shè)備50傳送的變焦設(shè)置被認(rèn)定為正確的。
但是，在獲取圖像80、 88之間變焦設(shè)置的有意和精確的改變^M:改
變圖像80、 88內(nèi)容的相對(duì)大小而影響圖像穩(wěn)定處理。本發(fā)明的其他實(shí)施例 會(huì)以其他形式針對(duì)攝像機(jī)22變焦設(shè)置的改變。最簡(jiǎn)單的方法是只有當(dāng)處 理設(shè)備50分析的兩幅纖圖像具有相同的變焦設(shè)置時(shí)，賴行圖像穩(wěn)定處 理。當(dāng)積鵬改變樹織22的焦距時(shí)，駄法將暫停圖像穩(wěn)定處理的操作。
對(duì)于某些應(yīng)用，樹ta的焦距受到相對(duì)很少的改變或攝像機(jī)不包括可調(diào)整
焦距，該方法不會(huì)顯著降低圖像穩(wěn)定系統(tǒng)的價(jià)值。財(cái)卜，當(dāng)積極地改變焦 距時(shí)，圖像正在進(jìn)行通常很短暫的顯著變換，并且，其中小的無意圖像移 動(dòng)不像攝fMl靜止時(shí)^K受到攝^^平搖和/或俯仰運(yùn)動(dòng)時(shí)另附煩人。
當(dāng)正改變攝像機(jī)22的焦距時(shí)，也可以繼,行圖像穩(wěn)定處理。如， 用該方法，正被比較的兩幅圖像(即第一 CCD圖像80和第二 CCD圖像 80)中至少一幅必須被變換，從而以通用縮放比例描繪每幅圖像中描繪的 ,并可以將其對(duì)準(zhǔn)。為了完成該處理，可iOT幾何變換來修改該圖像中^像素的位置。想起此的另一種方式是當(dāng)根據(jù)攝像,動(dòng)，所有像素 從一個(gè)，移動(dòng)到一個(gè)新位置時(shí)。Trajkovic在題為"Motion-Based Tracking With Pan-Tilt-Zoom Camera"的美國(guó)專利申請(qǐng)公開No.2002/0167537Al中討 論了一種這樣的方法，用于變換第一圖像以將其與第二圖像對(duì)準(zhǔn)，其中， 在獲取兩幅圖像之間調(diào) 像機(jī)，該申請(qǐng)并Altk處，作為參考。
對(duì)以不同焦距獲取的連續(xù)圖像進(jìn)行對(duì)準(zhǔn)需要將一幅圖像逝 動(dòng)以及 縮放和旋轉(zhuǎn)，以將其與前一幅圖像對(duì)準(zhǔn)。在i^H種操作中，移動(dòng)是最簡(jiǎn)單 的。在執(zhí)行下一步處理之前，將圖像簡(jiǎn)化、擴(kuò)展、或修改到標(biāo)準(zhǔn)尺寸需要 扭曲(waiping)，在扭曲處理中，^K象皿行用戶指定的變換。這些幾何 操作產(chǎn)生的圖f艦似于原始圖像。這兩幅圖像(即如I,這樣的當(dāng)前圖像和 如12這樣的參考圖像)之間的鵬由以下公式定義
/ 'H'"M; (7)
其中，p和y表示在第一和第二圖像中相同世界點(diǎn)(woridpoint)的同 形(homographic)圖像坐標(biāo)，s表^fl放圖像(其對(duì)應(yīng)于攝像機(jī)的焦距)，g 是內(nèi)部攝像機(jī)虹矩陣，及是兩個(gè)樹斜幾錢之間的旋鞭陣。
或者，也可以將兩幅連續(xù)圖像中靜態(tài)世界點(diǎn)的圖像投影坐標(biāo)P和,(即 像素位置(&y)和(乂，乂))之間的關(guān)系寫為
^ +附12" 13 (8)
乂 = /w21jc +加22少+加23 (9)
其中，kl是將第一幅圖像影射(對(duì)準(zhǔn))到第二幅圖像的同形矩陣 Chomography matrix) M
該圖f樹準(zhǔn)中的主對(duì)壬務(wù)是確定矩陣M。顯然，鵬等式(7)，給定^ 、 2和及，理論上就會(huì)喧翻定矩陣仏但實(shí)際中，"0和及的準(zhǔn)確值經(jīng)常 縣知的。等式(7)還假設(shè)攝像機(jī)中心和旋轉(zhuǎn)中心是相同的，這一般只接 近真實(shí)，但是，該假艦于微圖像穩(wěn)定艦夠正確的。在示出的實(shí)施例 中，攝微幾22在圖像同步基礎(chǔ)上，(即用于確定R的平搖和俯仰 值以，于確定s的變焦值)，并將其與各圖像一m^lj處理設(shè)備50。
然后，對(duì)于該圖像具體 ， OT上述同形力^l行一幅圖像的平移、 旋轉(zhuǎn)和縮放，以將購(gòu)第二幅圖f樹準(zhǔn)。在該方法中，平移是在x或y方
向中以某數(shù)量像素的像素運(yùn)動(dòng)。正平移處于行索弓l或列索弓l遞增的方向，
而負(fù)平移正好相反。正方向的平移將行或列增加到該圖像的上邊或左邊，
直到獲得所需的增加量。相對(duì)于原始圖像，執(zhí)行圖像旋轉(zhuǎn)，圖像旋轉(zhuǎn)被定
義為處于運(yùn)動(dòng)的中心并指定一個(gè)角度。對(duì)一幅圖f驗(yàn)1彌放意歸將其放
大或縮小指定的倍數(shù)。4柳下列近似值fe^樣的平移、旋轉(zhuǎn)和縮放 <formula>formula see original document page 15</formula>(10)
/ = sin o + jc cos a) + 其中
s是縮放(變焦)因子；
。是相對(duì)于原始圖像的旋轉(zhuǎn)角度；
tx是在X方向的移動(dòng)；
ty是在y方向的移動(dòng)。
<formula>formula see original document page 15</formula>等式(10)變?yōu)?br> (11)
在確定a,、 a2、 1^和ty之后，可以對(duì)^3^兩幅圖像I,和l2。如果OT直 接從衞斜幾獲得的變焦、平搖和懶卬缺獲得這雖，那么，^和ty將對(duì)應(yīng) 于厶&和ATV。如果變,的圖像顯示,(global)圖4tit動(dòng)并不能由該 過程正確對(duì)準(zhǔn)，則已發(fā)生無意的運(yùn)動(dòng)，并且，對(duì)于這些轉(zhuǎn)換的圖像，可以 使用歸一化互相關(guān)確定APe和ATE的值。
圖4示意性地示出了處理設(shè)備50的硬件結(jié)構(gòu)。在示出的實(shí)施例中，處 理設(shè)備50包括與電激O板66通信的系，制,64。電線42將電源40 連接妾鵬換器52，從而向處理設(shè)備50供電。處理設(shè)備50經(jīng)由挪頻線44從 攝像機(jī)22接收原始模擬視頻輸入信號(hào)，視頻線45用于將掛頻圖像ft^U 頭端單元32。在示出的實(shí)施例中，視鵬44、 45是同軸、75 IW、 1 Vp-p， 并且包括用于接合鵬設(shè)備50的BNC連接器。攝娜22鵬的視頻圖像 可以是模擬的并激盾NTSC或PAL標(biāo)準(zhǔn)。當(dāng)處理設(shè)備50不工作時(shí)，即關(guān)閉 時(shí)，來自攝像機(jī)22的視頻圖像可以^31處理設(shè)備50， Mm擬視頻線54、 模擬TO68、微視頻線70和通信繊72，妾IJ達(dá)頭端單元32。板72是能
夠處理二相(biphase)信號(hào)并包括經(jīng)過視頻,進(jìn)行雙向通信的同軸信息 集成電路(COMC)的標(biāo))tM信板。
經(jīng)由另一模擬視頻線56,模數(shù)轉(zhuǎn)換器58從衝斜幾22接收視頻圖像并 將模擬柳頻信號(hào)轉(zhuǎn)換為數(shù)字視頻信號(hào)。數(shù)字視頻信號(hào)存儲(chǔ)在SDRAM 60形 式的緩沖器之后，數(shù)字化的視頻圖像被傳送到視頻內(nèi)容分析數(shù)字信號(hào)處理 器(VCA DSP) 62。在VCA DSP 62中執(zhí)行戰(zhàn)參考圖2和3所描述的視 頻穩(wěn)定算法。調(diào)整后的顯示圖像被^lll^莫轉(zhuǎn)換器74，在l^換器74 中，視頻信號(hào)被轉(zhuǎn)換為模擬信號(hào)。經(jīng)由模擬視頻線76和70，將所得的有注 解的模擬視頻信號(hào)縱到通信繊72，然后通信繊72經(jīng)由視頻線45將 信號(hào)皿到頭端單元32。
在示出的實(shí)施例中，到系統(tǒng)控制器板64的a^頻ll入被限帝底1 Vm)， 如果視頻信號(hào)超過1 Vfvp,則將其修剪為1 Vp-p。但是，本發(fā)明也可以使 用具有更多^M少容量的其他實(shí)施例。處理器62可以M Phillips電子北 美公司獲得的TriMediaTM-1300可編f驟體處理器。在啟動(dòng)時(shí)，處理器62 裝載引導(dǎo)駄(bootloader)禾驕。然后，引導(dǎo)辦將VCA應(yīng)用鵬戈碼從 諸如閃存78這樣的存儲(chǔ)器拷貝到SDRAM 60以進(jìn)行執(zhí)行。在示出的實(shí)施例 中，閃存78提供1M字節(jié)的存^S， SDRAM 60 ,8M字節(jié)的存儲(chǔ)量。 因?yàn)閱?dòng)時(shí)將來自閃存78的細(xì)fMi^f戈碼裝縱SDRAM 60上，所以， SDRAM 60為1!/頻存^^留有大約7M字節(jié)的存ftt。
在圖4所示的實(shí)施例中，系縱制器板64經(jīng)由二相數(shù)字 總線102、 I2C數(shù)據(jù)總線104和RS-232 總線106連接通信,72。系,制 64經(jīng)由RS-232數(shù)據(jù)總線110 ,到RS-232/RS485兼容iBC^器108。線49 可以是RS-232調(diào)^ 總線，^t號(hào)從頭端單元32傳想拠?yán)碓O(shè)備50。 線49上的信號(hào)可以包括在:^臓f纖22之前處理設(shè)備50能修改的信號(hào)。 可以經(jīng)由與微處理器112通信的線48，將這樣的信號(hào)^IM攝艦22。微 處理器112可以操作系,制器軟件，并皿可以與VCA組件114通信。 因此，諸如VCADSP62這樣的VCA組件可以經(jīng)由微處理器112和線48， 將信號(hào)繊職綠22。
系，帝幡板64還可以包攝j^可編程門陣列116,現(xiàn)煬可編程門陣 列116包括 #儲(chǔ)器118、字符存儲(chǔ)器120和屏幕顯示(OSD)存儲(chǔ)器
122。同樣，VCA組件114可以包括IW^儲(chǔ)器124、字符存儲(chǔ)器126和屏 幕顯示(OSD)存儲(chǔ)器128。這些組件可用于掩蓋顯示在屏幕38上圖像的 各種部分，或?yàn)槠聊?8產(chǎn)生文本顯示。最后，系，制器板64可以包括 用于存儲(chǔ)用戶設(shè)置的并行數(shù)據(jù)閃存130。
在該示出的實(shí)施例中，AX操作員輸入的、傳超lj處理設(shè)備50的必要 命令是開/關(guān)命令，但是，在其他實(shí)施例中甚至這些幵/關(guān)命令也可以是自動(dòng) 化的。經(jīng)由二相線46在頭端單元32和攝像機(jī)22之間以及經(jīng)由線48在處 理設(shè)備50和攝像機(jī)22之間，fl^樣的開/關(guān)命令和其他串fi^信。在該 示出的實(shí)施例中，處理設(shè)備50設(shè)置有金屬片狀殼體且安裝在攝像機(jī)22附 近，但是，也可以頓其他方法和在其他位置安驗(yàn)理設(shè)備50。處理設(shè)備 50也可以采用其他硬件結(jié)構(gòu)。這樣的硬件應(yīng)該能夠很好i艇行軟件和以最 少大約每秒5幀的體進(jìn)行處理。還應(yīng)當(dāng)注意的是，iM^具有金屬片 狀殼體的處理設(shè)備50，有利于在PTZ攝像機(jī)Pf^^L上安裝處理設(shè)備50， 因此，系統(tǒng)20可以Jli共一個(gè)不需要基于個(gè)人計(jì)^m的圖像穩(wěn)定系統(tǒng)的《拉
駄式平臺(tái)。但是，如果需要的話，本發(fā)明也可以鵬基于個(gè)人計(jì)^m的系統(tǒng)。
處理設(shè)備50可以執(zhí)行多種功能，包括捕總像機(jī)22獲取的視頻幀、 i鄉(xiāng)ij這些視頻幀中的靜止特征、根據(jù):^li隨像機(jī)22或從攝像機(jī)22接收 的信號(hào)確定謝斜幾FOV的預(yù)期改變、i別賺止特征并確定攝WlFOV中 的實(shí)際改變、比較衞斜幾FOV的預(yù)期改變和實(shí)際改變以確定攝像機(jī)無意運(yùn) 動(dòng)弓胞的圖像移動(dòng)幅度以鵬擇顯示圖像坐標(biāo)以抵消攝像機(jī)無意運(yùn)動(dòng)弓胞 的移動(dòng)。處理設(shè)備50也可用于執(zhí)行自動(dòng)S鵬功能。例如，處理設(shè)備50也 可鄉(xiāng)一種自動(dòng)鵬系統(tǒng)，其中，處理設(shè)備50用于i賜ij攝像機(jī)FOV中 運(yùn)動(dòng)的目標(biāo)贈(zèng)；然后，產(chǎn)生調(diào)Mi鄉(xiāng)平搖、俯仰和變焦設(shè)置的控制信 號(hào)，以j^宇、目標(biāo))^，并將該目標(biāo)m維持在衞斜幾的FOV內(nèi)。由于自動(dòng) 調(diào)整攝像機(jī)的平搖、俯仰和變焦設(shè)置以足鵬目標(biāo)贈(zèng)，所以，可以艦根 據(jù)本發(fā)明的圖像穩(wěn)定系 穩(wěn)定該系統(tǒng)顯示的圖像。Sablak ， 2002年11 月27日J(rèn)^交的、序列號(hào)為10306509、題目為"VIDEO TRACKING SYSTEM AMD METHOD"的美國(guó)專利申請(qǐng)中描述了系統(tǒng)20使用的自動(dòng)^li^系統(tǒng)的 一個(gè)示例，所公開的內(nèi)容并入此處，作為參考。也可以使用根據(jù)本發(fā)明的
圖像穩(wěn)定系統(tǒng)來穩(wěn)定圖像，其中，手動(dòng)地調(diào)觀像機(jī)，例如ma手工操作
操縱桿36或在其鵬用中。
圖5提供了J^系統(tǒng)20使用的視頻穩(wěn)定算法的實(shí)施例的一^^輯的流 程圖。如圖5所示，打開處理設(shè)備50之后，在步驟180中，艦將應(yīng)用程 i^ft碼從閃存78拷貝到SDRAM 60執(zhí)行，將處理設(shè)備50初始化。模塊182 表示SDRAM 60的剩余存儲(chǔ)量，其作為環(huán)形緩沖區(qū)，用于從攝《抓22接收 并存儲(chǔ)由處理器62進(jìn)行處理的各幀相關(guān)聯(lián)的視頻圖像幀和數(shù)據(jù)。在判斷模 塊184中，處理器62判斷第一新己是否為真。只有當(dāng)沒有來自攝《娜22 的圖像已裝載到SDRAM60以由處理器62分析時(shí)，第一標(biāo)材為真。因此， 打開處理設(shè)備50時(shí)，遇到第一次判斷模塊184，第一^i己將為真，然后處 理器62執(zhí)行到模塊186。模塊186表示處理器62抓到兩幅圖像。然后，處 理器62執(zhí)行到模塊188，其中，將平滑、搶波器應(yīng)用到每一幅圖像。平滑濾 波器的應(yīng)用包括取出這些圖像的兩^f采樣。第一子采樣步驟產(chǎn)生當(dāng)前I, 和12圖像的QCIF ，率的子采樣(即，具有原始NTSC或PAL OF射jf 率圖像的四分之一^ff率的圖像)。該子采樣處理將鄰近像素組合在一起， 從而定義這些成組像素的平均值。該子采樣處理的目的在于降低分析該圖 像中涉及的計(jì)算處鄉(xiāng)消耗的時(shí)間。然后，取出第一子采樣的第二子采樣， 產(chǎn)生具有原始CEF分辨率圖像的1/16分il率的圖像，從而進(jìn)一步提高圖像 穩(wěn)定處理的鵬。模塊l卯表示獲棘自攝像機(jī)每幅圖像的平搖、俯仰和 焦距(即變焦)值(該數(shù)據(jù)表示預(yù)期值并包括平搖和懶卬值的無意運(yùn)動(dòng)分 量)。雖然在獲取圖^^后的錢示出了模塊190，但衝抓22可以將平搖、 俯仰和變焦數(shù)據(jù)與圖像同時(shí)^i!U處理設(shè)備50。
接下來，模塊192標(biāo)艦當(dāng)前圖像的平搖、俯仰和變焦值，計(jì)算旋 轉(zhuǎn)和縮放的同形矩陣。然后，在模塊194中，艦同形矩陣執(zhí)行圖像鄉(xiāng)， 以將第二幅圖,準(zhǔn)到第一幅圖像上(如果在獲取兩幅圖像的時(shí)間間隔內(nèi) 沒有對(duì)攝MUS行平搖、俯仰救焦調(diào)整，貝懷需要圖像變換)。
在模塊196中，計(jì)算這兩幅對(duì)準(zhǔn)后圖像的圖像差別，以確定這些圖像 中是否雜運(yùn)動(dòng)。因此，頓準(zhǔn)圖像Ii和l2后，根據(jù)以下公式計(jì)算圖像差 別A:<formula>formula see original document page 18</formula>
然后，計(jì)算這些差別的直方圖(histogram)。該圖像的靜態(tài)背魏常負(fù) 責(zé)產(chǎn)戰(zhàn)方圖中的最大峰。因此，如果最大麟中在0附近，對(duì)準(zhǔn)兩幅圖 像的背景，在獲得這兩幅圖像的間隔內(nèi)沒有任何無意的攝像mii動(dòng)。如果 ^i種情況，則流禾魏回判斷框184。如果直方圖中的最大峰沒有集中在O 附近，這表示整體運(yùn)動(dòng)，即背景在移動(dòng)。將此解釋為表明攝像機(jī)的無意運(yùn) 動(dòng)，然后流程執(zhí)行到框198。移動(dòng))^jm位于所獲取的圖像中也是有可能的。 如果該移動(dòng)皿存在于這些圖像中，直方圖一般具有與之相關(guān)的兩個(gè)峰， 一個(gè)峰對(duì)應(yīng)于背景，而一個(gè)峰對(duì)應(yīng)于移動(dòng))^。如果是這種情況，假設(shè)該 圖像的背景比該移動(dòng)贈(zèng)占據(jù)更多的圖像區(qū)域，最大峰值用于做出J^判 斷。換言之，評(píng)估直方圖，以判斷直方圖的最大峰是否集中于O， g沒有 無意的攝像,動(dòng)，或者判斷最大峰是否表示全局運(yùn)動(dòng)，意味著出現(xiàn)無意 的攝像豐腿動(dòng)。例如，圖6示意性地描述了圖像差另啲直方圖，其中，主
n^中于o，表明沒有無意的攝像mii動(dòng)，并還包括沒有集中于O的第二峰
212，因此表明圖像內(nèi)存在移動(dòng)g。
如果檢測(cè)到無意的攝像豐脆動(dòng)并且系統(tǒng)執(zhí)行到模塊198，則j頓歸一 化互相關(guān)(NCC)確定兩幅圖像間的移動(dòng)范圍。因?yàn)檫@兩幅圖像的變換已 以表示A乃和A&的值預(yù)測(cè)的形式對(duì)準(zhǔn)了圖像，所以，在框19S中確定這 兩幅圖像間已發(fā)^t動(dòng)的處理步M"應(yīng)于確定A TE和A PE的值。
接下來，在模塊200中，對(duì)圖像t和l2交Mt^。執(zhí)行圖像娜的交
換，以使得當(dāng)完^i塊202的移動(dòng)后抓取一幅新圖像并將其鵬緩沖器
中時(shí)，新圖像和與之相關(guān)的 將覆蓋緩沖器中已經(jīng)存在的兩幅圖像中較
老的那幅圖像相關(guān)的圖f斜嫩據(jù)。
模塊202表示在最近獲取的CCD圖像的圖像上以等于ATe和APe的
量移動(dòng)顯示圖像邊界，從而提供穩(wěn)定的視頻圖像。
然后，流艦回至悌一f斜己將不再為真的模塊184，并且，^t^將執(zhí) 行到微208，在模塊208中，抓取一幅#^蟲的新圖像艘蓋緩沖器中的圖 像12。然后，處理器62執(zhí)行到模塊210，,塊210中，對(duì)新圖像應(yīng)用平 滑濾波器。模塊212 ，在攝《,獲取新圖像時(shí)獲取攝ML的平搖、俯仰 和變焦設(shè)置。然后，繊執(zhí)行到模塊192。
在該示例性實(shí)施例中，樹細(xì)22機(jī)獲取新圖像，處理設(shè)備50執(zhí)行
的、將當(dāng)前圖像和以前獲取的圖像進(jìn)行比較的計(jì)算分析比攝像機(jī)22獲取單 獨(dú)圖像之間的時(shí)間間隔要長(zhǎng)。當(dāng)處理設(shè)備50完戯對(duì)一組圖像的分析時(shí)， 娜取就獲取的圖像以進(jìn)行下一次分析。因此，在處理設(shè)備50"醉地抓 取兩幅圖像以進(jìn)行分析之間攝像機(jī)22可能捕獲和傳送一幅或更多幅圖像。 因此，當(dāng)在模塊198 (在圖5的流程圖中)中判定需要調(diào)整當(dāng)前圖像的顯示 邊界以糾正攝像機(jī)的無意運(yùn)動(dòng)時(shí)，在完成下一次圖像穩(wěn)定分析之前，攝像 機(jī)22會(huì)獲取許多附加圖像并將其顯示mm臓屏幕38上。可以通過不同 的形式，在這些附加的未分析圖像中設(shè)置顯示邊界的位置。例如，這些附 加圖像4頓的顯魂界利用調(diào)整后的邊搬置，例如顯礎(chǔ)界100，鄉(xiāng)自 對(duì)最后兩幅抓取圖像的分析，可用于未分析的圖像，直到穩(wěn)定處理肯定地 判定應(yīng)重新調(diào)整顯^ii界?；蛘?，在改變一幅具體分析并確定己被攝像機(jī) 無意運(yùn)動(dòng)影響的圖像的顯^ii界之后，iM，界可以立即返回到CCD顯 示的中心位置。換言之，除了那些己被抓取、分析并確定已經(jīng)受到無意攝 像腿動(dòng)影響并且特另鵬定改頓的顯示圖f細(xì)界的圖像以外，對(duì)于所有 的圖像，顯示邊界都仍保持在中心位置。在已經(jīng)調(diào)整顯示邊界以解決無意 的攝像鵬動(dòng)之后，對(duì)于許多JI,獲取的圖像，顯動(dòng)界以遞增魏回CCD 圖像邊界的中A腔置也是有可能的。
在大多M視攝像miS用中，可以 頁想到的是，施加于攝像機(jī)上的各 種振動(dòng)和外力會(huì)弓胞無意的攝像mM動(dòng)，對(duì)于攝像機(jī)預(yù)期位置對(duì)應(yīng)的平衡 位置，這些運(yùn)動(dòng)的可能振動(dòng)使得非常短暫地偏離預(yù)期位置。在這種情況下， 使顯示邊界立即返回到中心皿是有禾啲。返回中《襲置不僅可以反映出
現(xiàn)的無意樹M13i動(dòng)并因此有利于顯^l定的圖像而且它還防ihM^i界
移向CCD顯示圖像的纖，另險(xiǎn)限制圖像穩(wěn)定鵬^W^'餅^^mM^ 圖微界返回CCD圖像中A做的娜
雖然上面描述的本發(fā)明具有一個(gè)示例性的設(shè)計(jì)，但是，可以在本申請(qǐng) 公開的精神和范圍內(nèi)進(jìn)一步修改本發(fā)明。因此，本申i維向于覆蓋艦本 發(fā)明一般原理的^M變體、^ffl或M。
權(quán)利要求
1、一種穩(wěn)定視頻圖像的方法，所述方法包括用攝像機(jī)捕獲多幅圖像，所述攝像機(jī)安裝在固定支撐架上并具有可調(diào)整的視野；調(diào)整所述攝像機(jī)的視野；抓取所述攝像機(jī)捕獲的第一幅圖像及其后面的第二幅圖像；顯示所述第一幅和第二幅圖像中每幅的選中顯示部分，每幅圖像的選中顯示部分小于捕獲的整個(gè)圖像；以及將所述第二幅圖像的穩(wěn)定調(diào)整確定為在捕獲所述第一幅圖像和捕獲所述第二幅圖像之間的間隔期間所述攝像機(jī)視野的預(yù)期改變以及對(duì)所述第一幅和第二幅圖像的分析的函數(shù)，其中，穩(wěn)定調(diào)整包括調(diào)整所述選中顯示部分在所述第二幅圖像內(nèi)的相對(duì)位置。
2、 如權(quán)利要求1所述的方法，其中，所述攝像機(jī)定義平搖位置 和俯仰位置，并且，在捕獲所述第一幅和第二幅圖像之間，有意地調(diào) 整所述攝像機(jī)的平搖位置和俯仰位置中的至少一個(gè)位置。
3、 如權(quán)利要求1所述的方法，其中，在捕獲所述第一幅和第二 幅圖像之間，有意地調(diào)整所述攝像機(jī)的焦距。
4、 如權(quán)利要求3所述的方法，其中，對(duì)所述第一幅和第二幅圖 像的所述分析包括變換所述第一幅和第二幅圖像中的一幅圖像，其中 調(diào)整該幅被變換的圖像的縮放比例。
5、 如權(quán)利要求1所述的方法，其中，對(duì)所述第一幅和第二幅圖 像的^f述分析包括基于從與所述攝像機(jī)通信的系統(tǒng)接收的、表示視 野的信號(hào)，將所述第一幅和第二幅圖像中的一幅與所述第一幅和第二 幅圖像中的另一幅對(duì)準(zhǔn)，并判斷所述對(duì)準(zhǔn)后的圖像是否表明有無意的 攝像機(jī)運(yùn)動(dòng)的發(fā)生。
6、 如權(quán)利要求5所述的方法，其中，判斷對(duì)準(zhǔn)后的圖像是否表明發(fā)生無意的攝像機(jī)運(yùn)動(dòng)，該判斷包括確定對(duì)準(zhǔn)后圖像的圖像差別。
7、 如權(quán)利要求6所述的方法，還包括產(chǎn)生對(duì)準(zhǔn)后圖像的圖像 差別的直方圖，并基于識(shí)別所述直方圖中的最高峰和所述最高峰的位 置，判斷無意的攝像機(jī)運(yùn)動(dòng)是否己發(fā)生。
8、 如權(quán)利要求7所述的方法，其中，當(dāng)所述最高峰不是集中于 0時(shí)，判定已發(fā)生無意的運(yùn)動(dòng)，并且，其中確定所述穩(wěn)定調(diào)整包括識(shí) 別出使所述圖像差別最小化的調(diào)整。
全文摘要
一種包括攝像機(jī)的視頻圖像穩(wěn)定系統(tǒng)，該攝像機(jī)具有被配置用于捕獲視頻圖像的圖像捕獲設(shè)備。該攝像機(jī)具有可選擇調(diào)整的視野，并且，至少一個(gè)處理設(shè)備可操作地連接到該系統(tǒng)，其中，該處理設(shè)備接收表示該攝像機(jī)視野的信號(hào)和該攝像機(jī)捕獲的圖像。該處理設(shè)備順序地抓取第一幅和第二幅圖像。該處理設(shè)備將視頻圖像的穩(wěn)定調(diào)整確定為在捕獲第一幅圖像和第二幅圖像之間的間隔期內(nèi)、根據(jù)表示視野的信號(hào)、該攝像機(jī)視野的預(yù)期改變以及對(duì)第一幅和第二幅圖像分析的函數(shù)。選擇該攝像機(jī)捕獲的每幅圖像的一部分進(jìn)行顯示。選中的顯示部分小于捕獲的整個(gè)圖像，該處理設(shè)備確定的穩(wěn)定調(diào)整包括調(diào)整選中的顯示部分在捕獲的圖像內(nèi)的相對(duì)位置。
文檔編號(hào)H04N5/228GK101340518SQ20081012596
公開日2009年1月7日 申請(qǐng)日期2005年2月18日 優(yōu)先權(quán)日2004年2月19日
發(fā)明者塞澤·薩布拉克 申請(qǐng)人:羅伯特·博世有限公司