基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及汽車(chē)電子技術(shù)領(lǐng)域，尤其涉及的是一種基于多攝像頭自標(biāo)定的全景車(chē) 輛安全系統(tǒng)的圖像處理方法。
【背景技術(shù)】
[0002] 隨著電子信息產(chǎn)業(yè)的發(fā)展和技術(shù)進(jìn)步，能夠獲取、記錄視頻信息的設(shè)備日益普及， 但與人眼的視場(chǎng)范圍相比，普通攝像機(jī)的視場(chǎng)要小得多，如何有效的利用計(jì)算機(jī)擴(kuò)大攝像 機(jī)拍攝圖像和視頻的視場(chǎng)范圍，引起了研宄者的廣泛注意。圖像拼接技術(shù)可以解決由于攝 像機(jī)等成像儀器的視角和大小的限制。所謂圖像拼接是通過(guò)對(duì)齊一系列空間重疊的圖像， 構(gòu)造一個(gè)無(wú)縫的、高清晰的寬視角圖像或者360度視角的全景技術(shù)。目前傳統(tǒng)的圖像拼接 方式是圖像配準(zhǔn)和圖像融合，但是其圖像拼接的過(guò)程中會(huì)極易出現(xiàn)圖像的光強(qiáng)度不連續(xù)或 者運(yùn)動(dòng)物體的重復(fù)性，難以形成完整的無(wú)縫大視場(chǎng)圖像。
[0003] 專(zhuān)利申請(qǐng)文件CN201210042180中采用張正友方法進(jìn)行各個(gè)攝像頭的畸變矯正， 此方法需標(biāo)定的參數(shù)較多，對(duì)于一般的處理器迭代計(jì)算任務(wù)耗時(shí)過(guò)久。故本專(zhuān)利采用較簡(jiǎn) 單有效的畸變模型。且其仿射變換中，需要代入攝像頭安裝時(shí)的俯仰角，高度等信息，過(guò)程 繁瑣。
[0004] 專(zhuān)利申請(qǐng)文件CN201310276688只提出了一種新的拼接方法未做出一個(gè)用戶(hù)體驗(yàn) 系統(tǒng)，其使用的黑白網(wǎng)格拼接法與本專(zhuān)利不同。且接縫處采用權(quán)重拼接的方法，此方法在圖 像拼接本身就不準(zhǔn)確的情況下，無(wú)法做到無(wú)縫拼接，只是弱化縫隙，不能做到無(wú)盲區(qū)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種基于多攝像頭自標(biāo)定的全景 車(chē)輛安全系統(tǒng)的圖像處理方法。
[0006] 本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的 圖像處理方法，其特征在于：
[0007] S1、在車(chē)輛的四周安裝至少四個(gè)視場(chǎng)角不小于185度的185度廣角魚(yú)眼攝像頭，采 集車(chē)輛四周的圖像；
[0008] S2、自動(dòng)識(shí)別：自動(dòng)連接步驟Sl中的一個(gè)攝像頭采集圖像，并對(duì)采集的圖像進(jìn)行 標(biāo)定布識(shí)別，自動(dòng)提取采集的圖像的棋盤(pán)格標(biāo)定布上的邊緣角點(diǎn)的位置信息；
[0009] S3、自動(dòng)矯正：對(duì)步驟S2邊緣檢測(cè)后的圖像進(jìn)行畸變矯正，根據(jù)采集圖像中的角 點(diǎn)位置，迭代畸變參數(shù)，完成魚(yú)眼鏡頭圖像的校正，得到畸變矯正圖；
[0010] S4、自動(dòng)轉(zhuǎn)化視角：對(duì)畸變矯正圖進(jìn)行仿射變換，根據(jù)實(shí)際中編碼點(diǎn)相隔位置以及 圖像中編碼點(diǎn)位置像素位置，確定仿射變換矩陣，通過(guò)仿射變換矩陣轉(zhuǎn)換原圖像，得到轉(zhuǎn)換 視角后的圖像；
[0011] S5、判斷是否采集所有攝像頭拍攝圖像，若是，進(jìn)入步驟S6 ;若否，返回步驟S2 ;
[0012] S6、自動(dòng)轉(zhuǎn)化拼接圖像：對(duì)多個(gè)攝像頭采集的圖像經(jīng)步驟S2-S4變換處理后，確定 圖像的關(guān)鍵點(diǎn)，并采用編碼點(diǎn)標(biāo)記，將轉(zhuǎn)換視角后的圖像中的編碼點(diǎn)與程序預(yù)存編碼點(diǎn)順 序?qū)Ρ龋瑢?duì)多個(gè)攝像頭采集的圖像進(jìn)行拼接整合。
[0013] 作為上述方案的進(jìn)一步優(yōu)化，所述步驟S2具體為：
[0014] S21、對(duì)圖像進(jìn)行灰度化處理并進(jìn)行高斯濾波，把彩色圖像變?yōu)榛叶葓D像并過(guò)濾噪 音，取3*3像素的濾波模板；
[0015] S22、對(duì)步驟S31高斯濾波處理后的圖像，進(jìn)行局部非極大值抑制，取3*3像素窗口 進(jìn)行抑制運(yùn)算；
[0016] S23、對(duì)步驟S32非極大值抑制運(yùn)算處理后的圖像，采用雙閥值算法檢測(cè)和連接邊 緣，設(shè)置閥值為thl、th2,且thl = t*th2, t的取值范圍在0. 2-0. 6之間，設(shè)梯度值小于thl 的像素的灰度值為〇,得到圖像A，在把梯度值小于th2的像素的灰度值為0,得到圖像B，以 圖像B為基礎(chǔ)，以圖像A為補(bǔ)充連接圖像邊緣。
[0017] 作為上述方案的進(jìn)一步優(yōu)化，所述步驟S3具體為：
[0018] S31、以圖像左上定點(diǎn)為原點(diǎn)的圖像坐標(biāo)系，確定新觀測(cè)視角的每一點(diǎn) 的像素點(diǎn)坐標(biāo)（us，vs)與原圖像中每一點(diǎn)的像素點(diǎn)坐標(biāo)（u d，vd)的對(duì)應(yīng)關(guān)系為：
【主權(quán)項(xiàng)】
1. 基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法，其特征在于： 51、 在車(chē)輛的四周安裝至少四個(gè)視場(chǎng)角不小于185度的廣角魚(yú)眼攝像頭，采集車(chē)輛四 周的圖像；基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法 52、 自動(dòng)識(shí)別：自動(dòng)連接步驟Sl中的一個(gè)攝像頭采集圖像，并對(duì)采集的圖像進(jìn)行標(biāo)定 布識(shí)別，自動(dòng)提取采集的圖像的棋盤(pán)格標(biāo)定布上的邊緣角點(diǎn)的位置信息； 53、 自動(dòng)矯正：對(duì)步驟S2邊緣檢測(cè)后的圖像進(jìn)行畸變矯正，根據(jù)采集圖像中的角點(diǎn)位 置，建立畸變模型，迭代畸變參數(shù)，完成魚(yú)眼鏡頭圖像的校正，得到畸變矯正圖； 54、 自動(dòng)轉(zhuǎn)化視角：對(duì)畸變矯正圖進(jìn)行仿射變換，根據(jù)實(shí)際中編碼點(diǎn)相隔位置以及圖像 中編碼點(diǎn)位置像素位置，確定仿射變換矩陣，通過(guò)仿射變換矩陣轉(zhuǎn)換原圖像，得到轉(zhuǎn)換視角 后的圖像； 55、 判斷是否采集所有攝像頭拍攝圖像，若是，進(jìn)入步驟S6 ;若否，返回步驟S2 ; 56、 自動(dòng)轉(zhuǎn)化拼接圖像：對(duì)多個(gè)攝像頭采集的圖像經(jīng)步驟S2-S4變換處理后，確定圖像 的關(guān)鍵點(diǎn)，并采用編碼點(diǎn)標(biāo)記，將轉(zhuǎn)換視角后的圖像中的編碼點(diǎn)與程序預(yù)存編碼點(diǎn)順序?qū)?比，對(duì)多個(gè)攝像頭采集的圖像進(jìn)行拼接整合。
2. 根據(jù)權(quán)利要求1所述的基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S2具體為： 521、 對(duì)圖像進(jìn)行灰度化處理并進(jìn)行高斯濾波，把彩色圖像變?yōu)榛叶葓D像并過(guò)濾噪音， 取3*3像素的濾波模板； 522、 對(duì)步驟S31高斯濾波處理后的圖像，進(jìn)行局部非極大值抑制，取3*3像素窗口進(jìn)行 抑制運(yùn)算； 523、 對(duì)步驟S32非極大值抑制運(yùn)算處理后的圖像，采用雙閥值算法檢測(cè)和連接邊緣， 設(shè)置閥值為thl、th2,且thl = 0. 4th2,設(shè)梯度值小于thl的像素的灰度值為0,得到圖像 A,在把梯度值小于th2的像素的灰度值為0,得到圖像B，以圖像B為基礎(chǔ)，以圖像A為補(bǔ)充 連接圖像邊緣。
3. 根據(jù)權(quán)利要求1所述的基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S3具體為： 531、 以圖像左上定點(diǎn)為原點(diǎn)的圖像坐標(biāo)系，確定新觀測(cè)視角的每一點(diǎn)的 像素點(diǎn)坐標(biāo)（us，vs)與原圖像中每一點(diǎn)的像素點(diǎn)坐標(biāo)（u。，v d)的對(duì)應(yīng)關(guān)系為： u,-u . V1-V .. Us-Uc =^l V ⑴，Vj -Vc = " ； (2) \ + krj l + krj ~2=(士-~)2+(4-1)2 (3)，其中，圖像畸變中心坐標(biāo)為常數(shù)（hv。)』為畸變系數(shù)； 532、 結(jié)合步驟S2的標(biāo)定布識(shí)別，自動(dòng)識(shí)別到的標(biāo)定布邊緣由i條直線(xiàn)組成，每條直線(xiàn) 上取j個(gè)像素點(diǎn)，來(lái)進(jìn)行計(jì)算，利用識(shí)別的標(biāo)定布的直線(xiàn)約束關(guān)系得到第i條直線(xiàn)方程： (^i-Mr)+ ^.(vs7.-vc)+ C1=O (3) 其中，（?)為矯正后的圖像上第i條直線(xiàn)上第j個(gè)角點(diǎn)坐標(biāo)，h、(^為常數(shù)； 533、 把（1)、（2)式代入（3)，并化簡(jiǎn)得： (K ~K) + bi(vi -νΓ) + ?.(1+1<α^ -M(.)2+k(v^ -Vc)2)=0 取目標(biāo)函數(shù)： F(x)=i 力("卜)+c,..(1+M^^ ?=ι J=I
4.根據(jù)權(quán)利要求3所述的基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法， 其特征在于：所述步驟S3得到的目標(biāo)函數(shù)使用L-M法迭代之，當(dāng)F(X)最小時(shí)，得到了最優(yōu) 解，具體步驟為： (41) 初始化：k = 0, V = 2, X = X。，A = J (X) 1J (X)，g = J (X) Tf (X)，μ = max {aj，其 中，v，μ為迭代參數(shù)， /⑴=(4 -vc) + c,(l+k(4 -wc)2+k(vi. -Vc )2)=0 ， J(X)為f(x)的雅克比行列式，為J(X)矩陣的對(duì)角線(xiàn)元素，迭代初始值 x〇 - tb 1〇 C10 b2〇 C20.....bn〇 cn〇 uc vc k]； (42) 迭代循環(huán)：e = e+1，其中，e為迭代次數(shù)； (43) 判斷當(dāng)前迭代次數(shù)是否滿(mǎn)足：e < emax，其中，emax為最大迭代次數(shù)，若e < emax，導(dǎo) 出最優(yōu)解；若當(dāng)前迭代次數(shù)不滿(mǎn)足e < emax，進(jìn)入步驟（44)， (44) 令（A+ μ I)hlm= -g，得到 h lm，其中 I 為單位矩陣，I |hlm| I ?、I I g| I ?表示 hlm、g 的 行和范數(shù)，且L(0)-L(hto)= i其中 g = F'（X) = J(x)Tf (X); (44) 判斷是否滿(mǎn)足I I hlm K ε 2 (I I X I I + ε 2)，若滿(mǎn)足，進(jìn)入步驟（47);若不滿(mǎn)足，進(jìn) 入步驟（45); (45) 令 Xnew= x+hlm, P = (F(x)-F (xnew))/(L (O)-L (hlm))，判斷 P 是否滿(mǎn)足 P >0,若 滿(mǎn)足，迭代循環(huán)：μ = μ*ν，V = 2*v，并返回步驟（42);若不滿(mǎn)足，進(jìn)入步驟（46); (46) 令 X = xnew，A = J(X)1J(X), g = J(x)Tf (X)，判斷是否滿(mǎn)足 I I g| I " 彡 ε i，若滿(mǎn)足 進(jìn)入步驟（47)，若不滿(mǎn)足，迭代循環(huán)：^ p maxgj-(2ρ-Ι?，ν' = 2，并返回步驟（42) (47) 迭代結(jié)束，得最優(yōu)解。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法，包括自動(dòng)識(shí)別、自動(dòng)矯正、自動(dòng)轉(zhuǎn)化視角和自動(dòng)轉(zhuǎn)化拼接圖像。對(duì)采集的圖像進(jìn)行標(biāo)定布識(shí)別，自動(dòng)提取采集的圖像的棋盤(pán)格標(biāo)定布上的邊緣角點(diǎn)的位置信息。建立畸變模型，迭代畸變參數(shù)，得到畸變矯正圖。對(duì)畸變矯正圖進(jìn)行仿射變換，得到轉(zhuǎn)換視角后的圖像。對(duì)多個(gè)攝像頭采集的圖像并采用編碼點(diǎn)標(biāo)記，對(duì)多個(gè)攝像頭采集的圖像進(jìn)行拼接整合。本發(fā)明相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)：本發(fā)明的一種基于多攝像頭自標(biāo)定的全景車(chē)輛安全系統(tǒng)的圖像處理方法，支持任意多攝像頭的拼接，且拼接方便快捷，用戶(hù)只需要輸入攝像頭數(shù)目，配合使用標(biāo)定布，全自動(dòng)拼接全景圖像。
【IPC分類(lèi)】G06T7-00, G06T3-40, G06T5-50
【公開(kāi)號(hào)】CN104732542
【申請(qǐng)?zhí)枴緾N201510142613
【發(fā)明人】薛遠(yuǎn), 高杰, 程騰, 陳?ài)泼?
【申請(qǐng)人】安徽省道一電子科技有限公司
【公開(kāi)日】2015年6月24日
【申請(qǐng)日】2015年3月27日