基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及汽車電子技術(shù)領(lǐng)域，尤其涉及的是一種基于多攝像頭自標定的全景車 輛安全系統(tǒng)的圖像處理方法。
【背景技術(shù)】
[0002] 隨著電子信息產(chǎn)業(yè)的發(fā)展和技術(shù)進步，能夠獲取、記錄視頻信息的設(shè)備日益普及， 但與人眼的視場范圍相比，普通攝像機的視場要小得多，如何有效的利用計算機擴大攝像 機拍攝圖像和視頻的視場范圍，引起了研宄者的廣泛注意。圖像拼接技術(shù)可以解決由于攝 像機等成像儀器的視角和大小的限制。所謂圖像拼接是通過對齊一系列空間重疊的圖像， 構(gòu)造一個無縫的、高清晰的寬視角圖像或者360度視角的全景技術(shù)。目前傳統(tǒng)的圖像拼接 方式是圖像配準和圖像融合，但是其圖像拼接的過程中會極易出現(xiàn)圖像的光強度不連續(xù)或 者運動物體的重復性，難以形成完整的無縫大視場圖像。
[0003] 專利申請文件CN201210042180中采用張正友方法進行各個攝像頭的畸變矯正， 此方法需標定的參數(shù)較多，對于一般的處理器迭代計算任務(wù)耗時過久。故本專利采用較簡 單有效的畸變模型。且其仿射變換中，需要代入攝像頭安裝時的俯仰角，高度等信息，過程 繁瑣。
[0004] 專利申請文件CN201310276688只提出了一種新的拼接方法未做出一個用戶體驗 系統(tǒng)，其使用的黑白網(wǎng)格拼接法與本專利不同。且接縫處采用權(quán)重拼接的方法，此方法在圖 像拼接本身就不準確的情況下，無法做到無縫拼接，只是弱化縫隙，不能做到無盲區(qū)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種基于多攝像頭自標定的全景 車輛安全系統(tǒng)的圖像處理方法。
[0006] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：基于多攝像頭自標定的全景車輛安全系統(tǒng)的 圖像處理方法，其特征在于：
[0007] S1、在車輛的四周安裝至少四個視場角不小于185度的185度廣角魚眼攝像頭，采 集車輛四周的圖像；
[0008] S2、自動識別：自動連接步驟Sl中的一個攝像頭采集圖像，并對采集的圖像進行 標定布識別，自動提取采集的圖像的棋盤格標定布上的邊緣角點的位置信息；
[0009] S3、自動矯正：對步驟S2邊緣檢測后的圖像進行畸變矯正，根據(jù)采集圖像中的角 點位置，迭代畸變參數(shù)，完成魚眼鏡頭圖像的校正，得到畸變矯正圖；
[0010] S4、自動轉(zhuǎn)化視角：對畸變矯正圖進行仿射變換，根據(jù)實際中編碼點相隔位置以及 圖像中編碼點位置像素位置，確定仿射變換矩陣，通過仿射變換矩陣轉(zhuǎn)換原圖像，得到轉(zhuǎn)換 視角后的圖像；
[0011] S5、判斷是否采集所有攝像頭拍攝圖像，若是，進入步驟S6 ;若否，返回步驟S2 ;
[0012] S6、自動轉(zhuǎn)化拼接圖像：對多個攝像頭采集的圖像經(jīng)步驟S2-S4變換處理后，確定 圖像的關(guān)鍵點，并采用編碼點標記，將轉(zhuǎn)換視角后的圖像中的編碼點與程序預(yù)存編碼點順 序?qū)Ρ?，對多個攝像頭采集的圖像進行拼接整合。
[0013] 作為上述方案的進一步優(yōu)化，所述步驟S2具體為：
[0014] S21、對圖像進行灰度化處理并進行高斯濾波，把彩色圖像變?yōu)榛叶葓D像并過濾噪 音，取3*3像素的濾波模板；
[0015] S22、對步驟S31高斯濾波處理后的圖像，進行局部非極大值抑制，取3*3像素窗口 進行抑制運算；
[0016] S23、對步驟S32非極大值抑制運算處理后的圖像，采用雙閥值算法檢測和連接邊 緣，設(shè)置閥值為thl、th2,且thl = t*th2, t的取值范圍在0. 2-0. 6之間，設(shè)梯度值小于thl 的像素的灰度值為〇,得到圖像A，在把梯度值小于th2的像素的灰度值為0,得到圖像B，以 圖像B為基礎(chǔ)，以圖像A為補充連接圖像邊緣。
[0017] 作為上述方案的進一步優(yōu)化，所述步驟S3具體為：
[0018] S31、以圖像左上定點為原點的圖像坐標系，確定新觀測視角的每一點 的像素點坐標（us，vs)與原圖像中每一點的像素點坐標（u d，vd)的對應(yīng)關(guān)系為：
【主權(quán)項】
1. 基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法，其特征在于： 51、 在車輛的四周安裝至少四個視場角不小于185度的廣角魚眼攝像頭，采集車輛四 周的圖像；基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法 52、 自動識別：自動連接步驟Sl中的一個攝像頭采集圖像，并對采集的圖像進行標定 布識別，自動提取采集的圖像的棋盤格標定布上的邊緣角點的位置信息； 53、 自動矯正：對步驟S2邊緣檢測后的圖像進行畸變矯正，根據(jù)采集圖像中的角點位 置，建立畸變模型，迭代畸變參數(shù)，完成魚眼鏡頭圖像的校正，得到畸變矯正圖； 54、 自動轉(zhuǎn)化視角：對畸變矯正圖進行仿射變換，根據(jù)實際中編碼點相隔位置以及圖像 中編碼點位置像素位置，確定仿射變換矩陣，通過仿射變換矩陣轉(zhuǎn)換原圖像，得到轉(zhuǎn)換視角 后的圖像； 55、 判斷是否采集所有攝像頭拍攝圖像，若是，進入步驟S6 ;若否，返回步驟S2 ; 56、 自動轉(zhuǎn)化拼接圖像：對多個攝像頭采集的圖像經(jīng)步驟S2-S4變換處理后，確定圖像 的關(guān)鍵點，并采用編碼點標記，將轉(zhuǎn)換視角后的圖像中的編碼點與程序預(yù)存編碼點順序?qū)?比，對多個攝像頭采集的圖像進行拼接整合。
2. 根據(jù)權(quán)利要求1所述的基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S2具體為： 521、 對圖像進行灰度化處理并進行高斯濾波，把彩色圖像變?yōu)榛叶葓D像并過濾噪音， 取3*3像素的濾波模板； 522、 對步驟S31高斯濾波處理后的圖像，進行局部非極大值抑制，取3*3像素窗口進行 抑制運算； 523、 對步驟S32非極大值抑制運算處理后的圖像，采用雙閥值算法檢測和連接邊緣， 設(shè)置閥值為thl、th2,且thl = 0. 4th2,設(shè)梯度值小于thl的像素的灰度值為0,得到圖像 A,在把梯度值小于th2的像素的灰度值為0,得到圖像B，以圖像B為基礎(chǔ)，以圖像A為補充 連接圖像邊緣。
3. 根據(jù)權(quán)利要求1所述的基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S3具體為： 531、 以圖像左上定點為原點的圖像坐標系，確定新觀測視角的每一點的 像素點坐標（us，vs)與原圖像中每一點的像素點坐標（u。，v d)的對應(yīng)關(guān)系為： u,-u . V1-V .. Us-Uc =^l V ⑴，Vj -Vc = " ； (2) \ + krj l + krj ~2=(士-~)2+(4-1)2 (3)，其中，圖像畸變中心坐標為常數(shù)（hv。)』為畸變系數(shù)； 532、 結(jié)合步驟S2的標定布識別，自動識別到的標定布邊緣由i條直線組成，每條直線 上取j個像素點，來進行計算，利用識別的標定布的直線約束關(guān)系得到第i條直線方程： (^i-Mr)+ ^.(vs7.-vc)+ C1=O (3) 其中，（?)為矯正后的圖像上第i條直線上第j個角點坐標，h、(^為常數(shù)； 533、 把（1)、（2)式代入（3)，并化簡得： (K ~K) + bi(vi -νΓ) + ?.(1+1<α^ -M(.)2+k(v^ -Vc)2)=0 取目標函數(shù)： F(x)=i 力("卜)+c,..(1+M^^ ?=ι J=I
4.根據(jù)權(quán)利要求3所述的基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S3得到的目標函數(shù)使用L-M法迭代之，當F(X)最小時，得到了最優(yōu) 解，具體步驟為： (41) 初始化：k = 0, V = 2, X = X。，A = J (X) 1J (X)，g = J (X) Tf (X)，μ = max {aj，其 中，v，μ為迭代參數(shù)， /⑴=(4 -vc) + c,(l+k(4 -wc)2+k(vi. -Vc )2)=0 ， J(X)為f(x)的雅克比行列式，為J(X)矩陣的對角線元素，迭代初始值 x〇 - tb 1〇 C10 b2〇 C20.....bn〇 cn〇 uc vc k]； (42) 迭代循環(huán)：e = e+1，其中，e為迭代次數(shù)； (43) 判斷當前迭代次數(shù)是否滿足：e < emax，其中，emax為最大迭代次數(shù)，若e < emax，導 出最優(yōu)解；若當前迭代次數(shù)不滿足e < emax，進入步驟（44)， (44) 令（A+ μ I)hlm= -g，得到 h lm，其中 I 為單位矩陣，I |hlm| I ?、I I g| I ?表示 hlm、g 的 行和范數(shù)，且L(0)-L(hto)= i其中 g = F'（X) = J(x)Tf (X); (44) 判斷是否滿足I I hlm K ε 2 (I I X I I + ε 2)，若滿足，進入步驟（47);若不滿足，進 入步驟（45); (45) 令 Xnew= x+hlm, P = (F(x)-F (xnew))/(L (O)-L (hlm))，判斷 P 是否滿足 P >0,若 滿足，迭代循環(huán)：μ = μ*ν，V = 2*v，并返回步驟（42);若不滿足，進入步驟（46); (46) 令 X = xnew，A = J(X)1J(X), g = J(x)Tf (X)，判斷是否滿足 I I g| I " 彡 ε i，若滿足 進入步驟（47)，若不滿足，迭代循環(huán)：^ p maxgj-(2ρ-Ι?，ν' = 2，并返回步驟（42) (47) 迭代結(jié)束，得最優(yōu)解。
【專利摘要】本發(fā)明公開了一種基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法，包括自動識別、自動矯正、自動轉(zhuǎn)化視角和自動轉(zhuǎn)化拼接圖像。對采集的圖像進行標定布識別，自動提取采集的圖像的棋盤格標定布上的邊緣角點的位置信息。建立畸變模型，迭代畸變參數(shù)，得到畸變矯正圖。對畸變矯正圖進行仿射變換，得到轉(zhuǎn)換視角后的圖像。對多個攝像頭采集的圖像并采用編碼點標記，對多個攝像頭采集的圖像進行拼接整合。本發(fā)明相比現(xiàn)有技術(shù)具有以下優(yōu)點：本發(fā)明的一種基于多攝像頭自標定的全景車輛安全系統(tǒng)的圖像處理方法，支持任意多攝像頭的拼接，且拼接方便快捷，用戶只需要輸入攝像頭數(shù)目，配合使用標定布，全自動拼接全景圖像。
【IPC分類】G06T7-00, G06T3-40, G06T5-50
【公開號】CN104732542
【申請?zhí)枴緾N201510142613
【發(fā)明人】薛遠, 高杰, 程騰, 陳燮民
【申請人】安徽省道一電子科技有限公司
【公開日】2015年6月24日
【申請日】2015年3月27日