一種基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于Lucas-Kanade算法的圖像配準(zhǔn) 和拼接方法。
【背景技術(shù)】
[0002]圖像拼接(Image Mosaic)技術(shù)是指將通過攝像機(jī)對同一場景拍攝的、彼此之間存 在重疊區(qū)域的多幅圖像序列進(jìn)行坐標(biāo)配準(zhǔn)，然后經(jīng)坐標(biāo)變換、拼接融合后形成一幅寬視角、 無失真、高分辨率、包含更多圖像信息的新圖像。圖像拼接技術(shù)較早在遙感技術(shù)領(lǐng)域得到應(yīng) 用，局限于拍攝視角，攝像機(jī)只能夠拍到某一個(gè)場景的局部區(qū)域。而局部區(qū)域的場景圖像無 法完整地展現(xiàn)場景信息，所以需要把在不同的成像條件下拍攝的多幅局部場景圖像進(jìn)行空 間配準(zhǔn)和融合拼接，形成高分辨率的、寬視角的完整遙感圖像。近年來，隨著信息科技和電 子技術(shù)的飛速發(fā)展，諸如醫(yī)學(xué)圖像、航拍以及日常生活需求等領(lǐng)域，都需要高分辨率的圖 像，如果是借助于全景相機(jī)或者廣角相機(jī)來獲取，拍攝得到的圖像不僅分辨率有限，而且往 往會出現(xiàn)圖像邊緣扭曲變形、模糊等現(xiàn)象，另外，受限于這些專業(yè)設(shè)備的昂貴性和不易操作 性，此類方法無法得到普及。然而，圖像拼接技術(shù)通過對圖像的分析和處理，應(yīng)用前沿的配 準(zhǔn)和拼接方法，能夠得到滿足于多個(gè)領(lǐng)域、多場景的高分辨率、無失真的寬視角圖像。小波 分析是一種窗口大?。创翱诿娣e)固定但其形狀可變的時(shí)頻局部化分析方法，即在低頻部 分具有較高的頻率分辨率和較低的時(shí)間分辨率，在高頻部分具有較高的時(shí)間分辨率和較低 的頻率分辨率。但在實(shí)際應(yīng)用中，往往希望提高高頻頻帶的頻率分辨率。
[0003] 本發(fā)明正是針對當(dāng)前圖像拼接技術(shù)中的精確配準(zhǔn)問題和全景圖像拼接問題進(jìn)行 研究，對拼接技術(shù)中的各個(gè)步驟進(jìn)行詳細(xì)分析和研究，并依據(jù)當(dāng)前技術(shù)的不足，提出了有效 的改進(jìn)方法。因此，圖像拼接技術(shù)有著廣闊的應(yīng)用領(lǐng)域和前景，研究高性能、實(shí)時(shí)性強(qiáng)、適用 于大多數(shù)場景的圖像配準(zhǔn)和拼接方法有著非常重要的研究意義。

【發(fā)明內(nèi)容】

[0004] 為克服上述現(xiàn)有技術(shù)所述的至少一種缺陷（不足），本發(fā)明提供一種基于Lucas-Kanade 算法的圖像配準(zhǔn)和拼接方法，能更好的實(shí)現(xiàn)對圖像進(jìn)行配準(zhǔn)并拼接。
[0005] 為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：
[0006] -種基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法，包括：
[0007] 1)對初始圖像預(yù)處理；
[0008] 2)對預(yù)處理之后的圖像用Lucas-Kanade算法進(jìn)行配準(zhǔn)，具體方式為：
[0009] (1)對待配準(zhǔn)的兩幅圖像11和21分別提取Harr i S角點(diǎn)；
[0010] (2)應(yīng)用NCC匹配算法對兩幅圖像中的角點(diǎn)進(jìn)行初始匹配；
[0011] (3)應(yīng)用RANSAC算法去除外點(diǎn)，并獲得最優(yōu)單應(yīng)性矩陣H;
[0012] (4)分別將兩幅待配準(zhǔn)的圖像轉(zhuǎn)換為灰度圖像；
[0013] (5)以第(3)步得到的Η為初始值，并設(shè)定一個(gè)的收斂精度ε以及最大的迭代次數(shù)， 應(yīng)用逆向組成算法對齊II和21的灰度圖像直至收斂，得到求精之后的單應(yīng)性矩陣Η;
[0014] 3)對配準(zhǔn)之后的圖像利用加權(quán)平均法進(jìn)行圖像融合。
[0015] 優(yōu)選的，預(yù)處理包括對圖像進(jìn)行平滑濾波、直方圖匹配、圖像增強(qiáng)變換的操作。
[0016] 優(yōu)選的，對配準(zhǔn)之后的圖像利用加權(quán)平均法進(jìn)行圖像融合的過程為：
[0017] Szeliski通過使用一個(gè)"帽狀函數(shù)"，對每個(gè)重疊幀的對應(yīng)像素進(jìn)行加權(quán)平均;設(shè) 心和5是兩幅已經(jīng)配準(zhǔn)好準(zhǔn)備拼接的圖像，f表示融合拼接后的圖像，則有：
[0019] 其中，〇1和〇2分別是兩幅需要融合的圖像中重疊位置對應(yīng)像素的權(quán)重值，兩者滿足 (6^+(12 = 1 ,?ΚαΚΙ，〇〈α2〈1。在重疊區(qū)域中，隨著像素位置的變化，權(quán)值α#Ρα2也會有相應(yīng)的變 化。
[0020] 采用重疊區(qū)域的加權(quán)平均法實(shí)現(xiàn)過渡平滑，消除拼接縫，從而獲得無縫、高分辨率 的拼接圖。
[0021] 與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是:本發(fā)明的圖像配準(zhǔn)和拼接方法 能夠有效地消除特殊場景對拼接效果的影響，適用性強(qiáng)，能夠拼接出無失真、無斷層、分辨 率高的寬視角圖像，優(yōu)于現(xiàn)有的圖像配準(zhǔn)和拼接技術(shù)。
【附圖說明】
[0022]圖1是中山大學(xué)牌坊圖像序列圖；
[0023]圖2是中山大學(xué)牌坊無縫拼接圖。
[0024]圖3是圖像拼接流程圖。
[0025]圖4是實(shí)驗(yàn)參數(shù)圖表。
【具體實(shí)施方式】
[0026] 下面將結(jié)合本發(fā)明實(shí)施例，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述， 顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的 實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都 屬于本發(fā)明保護(hù)的范圍。
[0027] 本發(fā)明提供一種圖像處理方法，能更好的實(shí)現(xiàn)對圖像配準(zhǔn)拼接。
[0028] 本發(fā)明采用Lucas-Kanade算法，Lucas-Kanade圖像對齊算法，包括對該算法的原 始算法(前向加性算法）以及改進(jìn)算法(前向組成算法和逆向組成算法)分別做了深入的研 究。
[0029]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述。
[0030] 圖3是本發(fā)明混合圖像去噪方法的具體實(shí)現(xiàn)流程圖；一種基于Lucas-Kanade算法 的圖像配準(zhǔn)和拼接方法，包括：
[0031] 1)對初始圖像預(yù)處理；
[0032] 2)對預(yù)處理之后的圖像用Lucas-Kanade算法進(jìn)行配準(zhǔn)，具體方式為：
[0033] (1)對待配準(zhǔn)的兩幅圖像11和21分別提取Harr i s角點(diǎn)；
[0034] (2)應(yīng)用NCC匹配算法對兩幅圖像中的角點(diǎn)進(jìn)行初始匹配；
[0035] (3)應(yīng)用RANSAC算法去除外點(diǎn)，并獲得最優(yōu)單應(yīng)性矩陣H;
[0036] (4)分別將兩幅待配準(zhǔn)的圖像轉(zhuǎn)換為灰度圖像；
[0037] (5)以第(3)步得到的Η為初始值，并設(shè)定一個(gè)的收斂精度ε以及最大的迭代次數(shù)， 應(yīng)用逆向組成算法對齊II和21的灰度圖像直至收斂，得到求精之后的單應(yīng)性矩陣Η;
[0038] 3)對配準(zhǔn)之后的圖像利用加權(quán)平均法進(jìn)行圖像融合。
[0039]為驗(yàn)證本發(fā)明的優(yōu)越性，進(jìn)行以下實(shí)驗(yàn)：
[0040] 實(shí)驗(yàn)采用Visual Studio 2010開發(fā)環(huán)境、OpenCV庫以及C語言編程實(shí)現(xiàn)仿真代碼， 并在Intel Core 3.4GHz處理器加4GB內(nèi)存的計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)關(guān)于Harris角點(diǎn)檢 測、NCC匹配、RANSAC算法等步驟的設(shè)定如圖4，全局對齊算法的最大迭代次數(shù)為100，收斂值 為0.001。對中山大學(xué)牌坊圖像序列圖1進(jìn)行拼接，拼接結(jié)果如圖2。
[0041 ]可以看出本發(fā)明提出的基于Lucas-Kanade逆向組成算法的方法能夠有效地對齊 兩幅圖像，得到無縫、高分辨率的拼接結(jié)果圖，具有優(yōu)越性。
[0042]顯然，本發(fā)明的上述實(shí)施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對 本發(fā)明的實(shí)施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可 以做出其它不同形式的變化或變動(dòng)。這里無需也無法對所有的實(shí)施方式予以窮舉。凡在本 發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求 的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法，其特征在于，包括： 1) 對初始圖像預(yù)處理； 2) 對預(yù)處理之后的圖像用Lucas-Kanade算法進(jìn)行配準(zhǔn)，具體方式為： (1) 對待配準(zhǔn)的兩幅圖像11和21分別提取Harr i S角點(diǎn)； (2) 應(yīng)用NCC匹配算法對兩幅圖像中的角點(diǎn)進(jìn)行初始匹配； (3) 應(yīng)用RANSAC算法去除外點(diǎn)，并獲得最優(yōu)單應(yīng)性矩陣H; (4) 分別將兩幅待配準(zhǔn)的圖像轉(zhuǎn)換為灰度圖像； (5) W第(3)步得到的Η為初始值，并設(shè)定一個(gè)的收斂精度εΚ及最大的迭代次數(shù)，應(yīng)用 逆向組成算法對齊II和21的灰度圖像直至收斂，得到求精之后的單應(yīng)性矩陣Η; 3) 對配準(zhǔn)之后的圖像利用加權(quán)平均法進(jìn)行圖像融合。2. 根據(jù)權(quán)利要求1所述的基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法，其特征在于， 預(yù)處理包括對圖像進(jìn)行平滑濾波、直方圖匹配、圖像增強(qiáng)變換的操作。3. 根據(jù)權(quán)利要求1所述的基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法，其特征在于， 對配準(zhǔn)之后的圖像利用加權(quán)平均法進(jìn)行圖像融合的過程為： Szeliski通過使用一個(gè)"帽狀函數(shù)"，對每個(gè)重疊帖的對應(yīng)像素進(jìn)行加權(quán)平均;設(shè)fi和f2 是兩幅已經(jīng)配準(zhǔn)好準(zhǔn)備拼接的圖像，f表示融合拼接后的圖像，則有：其中，αι和02分別是兩幅需要融合的圖像中重疊位置對應(yīng)像素的權(quán)重值，兩者滿足αι+α2 =1，0<日1<1，0<日2<1，在重疊區(qū)域中，隨著像素位置的變化，權(quán)值αι和日2也會有相應(yīng)的變化。
【專利摘要】本發(fā)明公開一種基于Lucas-Kanade算法的圖像配準(zhǔn)和拼接方法，該方法包括：對原始圖像的預(yù)處理，由于拍攝角度、拍攝距離和拍攝時(shí)光照等差異，可能會造成兩幅圖像之間的參數(shù)不匹配，所以在圖像配準(zhǔn)之前先對圖像進(jìn)行預(yù)處理；圖像配準(zhǔn)，作為圖像拼接技術(shù)中的關(guān)鍵步驟，圖像拼接質(zhì)量的高低，很大程度上由圖像配準(zhǔn)的精度來決定；圖像融合，融合的目的是將已經(jīng)配準(zhǔn)好的待拼接圖像通過坐標(biāo)變換關(guān)系，將圖像變換到某個(gè)同一的坐標(biāo)系下進(jìn)行像素級別的融合，以此更加全面的展示場景信息。本發(fā)明針對特征點(diǎn)較少、噪聲干擾造成的單應(yīng)性矩陣估計(jì)精度不高的問題，創(chuàng)新的提出了用LK圖像對齊算法以及其改下算法來優(yōu)化單應(yīng)性矩陣估計(jì)，通過基于整幅圖像的迭代優(yōu)化，使得圖像見的均方誤差最小化，提高了單應(yīng)性矩陣估計(jì)的精度，進(jìn)而改善了圖像配準(zhǔn)和拼接融合的效果。
【IPC分類】G06T3/00, G06T3/40
【公開號】CN105550981
【申請?zhí)枴緾N201510854403
【發(fā)明人】陳佩, 閆歡
【申請人】中山大學(xué)
【公開日】2016年5月4日
【申請日】2015年11月27日