本發(fā)明涉及全景圖像生成技術(shù)領(lǐng)域,特別是涉及全景圖像誤差校正方法及裝置。
背景技術(shù):
隨著圖像和解算機(jī)視覺技術(shù)的快速發(fā)展,越來越多的技術(shù)被應(yīng)用到汽車電子領(lǐng)域,傳統(tǒng)的基于圖像的倒車影像系統(tǒng)只在車尾安裝攝像頭,只能覆蓋車尾周圍有限的區(qū)域,而車輛周圍和車頭的盲區(qū)無疑增加了安全駕駛的隱患,在狹隘擁堵的市區(qū)和停車場容易出現(xiàn)碰撞和刮蹭事件。為擴(kuò)大駕駛員視野,就必須能感知360°全方位的環(huán)境,這就需要多個(gè)視覺傳感器的相互協(xié)同配合作用然后通過視頻合成處理,形成全車周圍的一整套的視頻圖像,就是有這類需求,全景視覺泊車輔助系統(tǒng)應(yīng)運(yùn)而生。
但是,由于全景泊車標(biāo)定過程中需要將車輛精確停到標(biāo)定場地固定位置來進(jìn)行標(biāo)定工作,若車輛停靠位置角度跟系統(tǒng)設(shè)計(jì)位置有較大誤差,則誤差會表現(xiàn)在全景拼接畫面上,車輛跟周圍場景之間的位置及角度方向會有較大誤差。
然而,為了將畫面上的誤差降低到最小,對標(biāo)定工作中的停車過程要求較高,增大了實(shí)際操作中的難度,復(fù)雜度和時(shí)間。
技術(shù)實(shí)現(xiàn)要素:
鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn),本發(fā)明的目的在于提供車輛全景圖像處理方法及裝置,用于解決現(xiàn)有技術(shù)中全景圖像拼接錯(cuò)位的問題。
為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本發(fā)明提供一種全景圖像誤差校正方法,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;所述方法包括:根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置;利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息;利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新;利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像。
于本發(fā)明的一實(shí)施例中,所述圖像采集裝置為魚眼攝像頭。
于本發(fā)明的一實(shí)施例中,所述標(biāo)定場地包括:泊車標(biāo)定區(qū)域。
于本發(fā)明的一實(shí)施例中,所述全景圖像包括:鳥瞰圖。
為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本發(fā)明提供一種全景圖像誤差校正裝置,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;所述裝置包括:坐標(biāo)映射模塊,用于根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置;車身姿態(tài)獲取模塊,用于利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息;標(biāo)定更新模塊,用于利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新;全景圖像生成模塊,用于利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像。
于本發(fā)明的一實(shí)施例中,所述圖像采集裝置為魚眼攝像頭。
于本發(fā)明的一實(shí)施例中,所述標(biāo)定場地包括:泊車標(biāo)定區(qū)域。
于本發(fā)明的一實(shí)施例中,所述全景圖像包括:鳥瞰圖。
如上所述,本發(fā)明提供全景圖像誤差校正方法及裝置,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置;利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息;利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新;利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像;消除了對車輛??课恢玫木_要求,在提高標(biāo)定位置精度的同時(shí)也降低了標(biāo)定操作過程中停車的難度,提高標(biāo)定過程中工作效率與質(zhì)量。
附圖說明
圖1顯示為本發(fā)明于一實(shí)施例中全景圖像誤差校正方法的流程示意圖。
圖2顯示為本發(fā)明于一實(shí)施例中標(biāo)定場地的平面示意圖。
圖3顯示為本發(fā)明于一實(shí)施例中全景圖像誤差校正裝置的模塊示意圖。
元件標(biāo)號說明
301坐標(biāo)映射模塊
302車身姿態(tài)獲取模塊
303標(biāo)定更新模塊
304全景圖像生成模塊
s101~s104方法步驟
具體實(shí)施方式
以下通過特定的具體實(shí)例說明本發(fā)明的實(shí)施方式,本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用,本說明書中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用,在沒有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。需說明的是,在不沖突的情況下,以下實(shí)施例及實(shí)施例中的特征可以相互組合。
需要說明的是,以下實(shí)施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想,遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時(shí)的組件數(shù)目、形狀及尺寸繪制,其實(shí)際實(shí)施時(shí)各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變,且其組件布局型態(tài)也可能更為復(fù)雜。
如圖1所示,本發(fā)明提供一種全景圖像誤差校正方法的實(shí)施例,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;所述方法包括:
步驟s101:根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置。
于本發(fā)明的一實(shí)施例中,所述圖像采集裝置可以是魚眼攝像頭,其具有大于180度的廣角拍攝視角。
于本發(fā)明的一實(shí)施例中,所述場地可包含泊車標(biāo)定區(qū)域;如圖2所示,展示一種標(biāo)定場地,中部空地為泊車標(biāo)定區(qū)域,周邊布設(shè)多塊黑白棋盤格(圖2的實(shí)施例中是顯示8塊,在其他實(shí)施例中也可是僅有車身四個(gè)角處的4塊),此種標(biāo)定方式源于張正友的“張氏標(biāo)定法”,采用四個(gè)頂點(diǎn)的棋盤格作為標(biāo)定物,利用4個(gè)頂點(diǎn)作為參考點(diǎn)即可算出圖像平面到標(biāo)定平面的單應(yīng)性矩陣,從而解得攝像頭的內(nèi)、外部參數(shù),完成標(biāo)定,標(biāo)定就是根據(jù)已知的標(biāo)定點(diǎn)的圖像坐標(biāo)與世界坐標(biāo)解得兩者間的映射關(guān)系,在得到該映射關(guān)系后,即可根據(jù)物理標(biāo)定點(diǎn)的圖像坐標(biāo)求得其在物理坐標(biāo)系下的空間位置。
步驟s102:利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息。
于本發(fā)明的一實(shí)施例中,由于圖像采集裝置在車身的安裝位置是固定的,例如,前、后的圖像采集裝置一般可設(shè)于車身前、后部的中央位置等,則其安裝參數(shù)是可以確定的(位置、高度等),進(jìn)而通過前、后圖像采集裝置所在的兩點(diǎn)作為參考點(diǎn),根據(jù)該兩點(diǎn)的坐標(biāo)信息的即可對應(yīng)計(jì)算獲得車身在標(biāo)定場地內(nèi)精確的位置和姿態(tài)信息,例如,車身相對泊車標(biāo)定區(qū)域偏出5度,或者車頭相對泊車標(biāo)定區(qū)域超出0.3米等,即使車身相對標(biāo)定場地的預(yù)定泊車標(biāo)定區(qū)域置有所偏移,也可以根據(jù)獲得的位置和姿態(tài)信息加以修正。
步驟s103:利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新。
即通過所獲得的位置與姿態(tài)信息來修正物理標(biāo)定點(diǎn)的坐標(biāo),補(bǔ)償誤差。
步驟s104:利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像。
于本發(fā)明的一實(shí)施例中,所述全景圖像包括鳥瞰圖。
如圖3所示,對應(yīng)于所述方法實(shí)施例,本發(fā)明提供一種全景圖像誤差校正裝置的實(shí)施例,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;所述裝置包括:坐標(biāo)映射模塊301、車身姿態(tài)獲取模塊302、標(biāo)定更新模塊303及全景圖像生成模塊304。
所述坐標(biāo)映射模塊301,用于根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置。
于本發(fā)明的一實(shí)施例中,所述圖像采集裝置可以是魚眼攝像頭,其具有大于180度的廣角拍攝視角。
于本發(fā)明的一實(shí)施例中,所述場地可包含泊車標(biāo)定區(qū)域;如圖2所示,展示一種實(shí)施例中的標(biāo)定場地,中部空地為泊車標(biāo)定區(qū)域,周邊布設(shè)多塊黑白棋盤格(圖2的實(shí)施例中是顯示8塊,在其他實(shí)施例中也可是僅有車身四個(gè)角處的4塊),此種標(biāo)定方式源于張正友的“張氏標(biāo)定法”,采用四個(gè)頂點(diǎn)的棋盤格作為標(biāo)定物,利用4個(gè)頂點(diǎn)作為參考點(diǎn)即可算出圖像平面到標(biāo)定平面的單應(yīng)性矩陣,從而解得攝像頭的內(nèi)、外部參數(shù),完成標(biāo)定,標(biāo)定就是根據(jù)已知的標(biāo)定點(diǎn)的圖像坐標(biāo)與世界坐標(biāo)解得兩者間的映射關(guān)系,在得到該映射關(guān)系后,即可根據(jù)物理標(biāo)定點(diǎn)的圖像坐標(biāo)求得其在物理坐標(biāo)系下的空間位置。
需說明的是,標(biāo)定方法還有很多種,并非以張正友標(biāo)定法為限。
所述車身姿態(tài)獲取模塊302,用于利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息。
于本發(fā)明的一實(shí)施例中,由于圖像采集裝置在車身的安裝位置是固定的,例如,前、后的圖像采集裝置一般可設(shè)于車身前、后部的中央位置等,則其安裝參數(shù)是可以確定的(位置、高度等),進(jìn)而通過前、后圖像采集裝置所在的兩點(diǎn)作為參考點(diǎn),根據(jù)該兩點(diǎn)的坐標(biāo)信息的即可對應(yīng)計(jì)算獲得車身在標(biāo)定平面內(nèi)精確的位置和姿態(tài)信息,如此,即使車身相對標(biāo)定場地的預(yù)定泊車標(biāo)定區(qū)域置有所偏移,也可以根據(jù)獲得的位置和姿態(tài)信息加以修正。
所述標(biāo)定更新模塊303,用于利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新,即通過所獲得的位置與姿態(tài)信息來修正物理標(biāo)定點(diǎn)的坐標(biāo),補(bǔ)償誤差。
所述全景圖像生成模塊304,用于利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像。于本發(fā)明的一實(shí)施例中,所述全景圖像包括鳥瞰圖。
綜上所述,本發(fā)明提供全景圖像誤差校正方法及裝置,應(yīng)用于車頭、車尾以及左右兩側(cè)分別設(shè)有圖像采集裝置的車輛;根據(jù)物理標(biāo)定點(diǎn)與圖像點(diǎn)之間的坐標(biāo)映射關(guān)系解算出各個(gè)圖像采集裝置在標(biāo)定場地的物理坐標(biāo)系下的空間位置;利用車頭及車尾的前、后位置的圖像采集裝置的安裝參數(shù)、以及所解算的前、后位置的圖像采集裝置在標(biāo)定場地的空間位置來解算車身在標(biāo)定場地上的擺放位置與姿態(tài)信息;利用所解算的車身在標(biāo)定場地上的擺放位置與姿態(tài)信息來對其物理標(biāo)定點(diǎn)的坐標(biāo)進(jìn)行更新;利用更新后的物理標(biāo)定點(diǎn)坐標(biāo)與圖像坐標(biāo)重新進(jìn)行標(biāo)定解算,以供將各個(gè)圖像采集裝置所采集圖像拼接為全景圖像;消除了對車輛??课恢玫木_要求,在提高標(biāo)定位置精度的同時(shí)也降低了標(biāo)定操作過程中停車的難度,提高標(biāo)定過程中工作效率與質(zhì)量。
綜上所述,本發(fā)明的完整的車輛全景圖像處理方法及裝置,通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像;識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù);利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來解算各條車道線的空間物理位置;對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計(jì)出車身沉降數(shù)據(jù);利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理;利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面;利用路面車道線信息來對標(biāo)定數(shù)據(jù)進(jìn)行處理分析監(jiān)測,以避免拼接錯(cuò)位,使得任何時(shí)刻全景畫面都處于較好的拼接效果。
本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。
上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效,而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下,對上述實(shí)施例進(jìn)行修飾或改變。因此,舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變,仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。