基于反卷積圖像復(fù)原的高保真視頻放大方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及成像技術(shù)領(lǐng)域，具體設(shè)及一種基于反卷積圖像復(fù)原的高保真視頻放大 方法。
【背景技術(shù)】
[0002] 近年來(lái)，隨著成像技術(shù)的不斷發(fā)展。高帖頻，高分辨率的相機(jī)越來(lái)越多的應(yīng)用在軍 事，工業(yè)，安防，科研等諸多領(lǐng)域。但是受制于成像器件的分辨率，光學(xué)系統(tǒng)的放大倍率，相 機(jī)的尺寸重量等諸多因素，在很多應(yīng)用場(chǎng)合仍無(wú)法滿足人們對(duì)于相機(jī)分辨力的要求。運(yùn)時(shí) 往往需要結(jié)合光學(xué)系統(tǒng)的變倍技術(shù)和電子學(xué)圖像放大技術(shù)來(lái)提升相機(jī)的分辨力。
[0003] 電子學(xué)圖像放大技術(shù)通常是對(duì)原有分辨率的圖像進(jìn)行插值處理，通過(guò)增加圖像分 辨率達(dá)到提升相機(jī)分辨力的目的。圖像插值的方法有很多，如鄰域插值，雙線性插值，雙Ξ 次插值等等。針對(duì)視頻處理，需要滿足系統(tǒng)實(shí)時(shí)性，不能采用一些過(guò)于復(fù)雜的算法。因此往 往采用易于硬件實(shí)現(xiàn)的方法進(jìn)行插值。運(yùn)類插值方法雖然能夠較快的完成插值處理，但是 由于算法簡(jiǎn)單，往往對(duì)圖像質(zhì)量造成損失，使圖像邊緣能量減弱，降低了圖像傳函。
[0004] 圖像復(fù)原技術(shù)，其數(shù)學(xué)本質(zhì)是根據(jù)已知的g(x，y)W及h(x，y)與n(x，y)的部分先驗(yàn) 信息，W不同的準(zhǔn)則對(duì)f(x，y)進(jìn)行估計(jì)，從而得到接近于實(shí)際場(chǎng)景(f(x，y))的估計(jì)值一- /Ι>，.ν；)。利用圖像復(fù)原技術(shù)可W較好恢復(fù)圖像邊緣的能量，使圖像能量更為集中，提升相 機(jī)傳遞函數(shù)。
[0005] 綜上所述，為了提升視頻放大后的圖像質(zhì)量，并兼顧高速視頻處理要求的實(shí)時(shí)性， 有必要尋求高保真的視頻放大方法，且運(yùn)種方法可在實(shí)際工程中得W實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明為提高相機(jī)視頻放大后圖像質(zhì)量，解決提升分辨力與放大后圖像退化之間 的矛盾，提供一種基于反卷積圖像復(fù)原的高保真視頻放大方法。
[0007] 基于反卷積圖像復(fù)原的高保真視頻放大方法，該方法由W下步驟實(shí)現(xiàn)：
[000引步驟一、對(duì)待測(cè)相機(jī)鏡頭進(jìn)行測(cè)試，獲得待測(cè)相機(jī)的點(diǎn)擴(kuò)散函數(shù)h(x，y);
[0009] 步驟二、采用插值方法對(duì)原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像g(x，y);
[0010] 步驟Ξ、對(duì)步驟一獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得到 反卷積預(yù)選模板h_y (X，y);
[0011] 步驟四、對(duì)步驟Ξ獲得的反卷積預(yù)選模板h_y(x，y)進(jìn)行截取，獲得尺寸為13X13 的反卷積模板h_m(X，y);
[0012] 步驟五、將反卷積模板h_m(x，y)與步驟二中待復(fù)原的插值后的圖像g(x，y)進(jìn)行實(shí) 時(shí)的二維卷積，獲得復(fù)原后的放大圖像/Gy，-;'）。
[0013] 本發(fā)明的有益效果：
[0014] -、本發(fā)明提供了一種在現(xiàn)有技術(shù)條件下可行的基于反卷積圖像復(fù)原的高保真視 頻放大技術(shù)，減少普通視頻放大技術(shù)帶來(lái)的圖像退化，提升視頻相機(jī)的圖像放大質(zhì)量。
[0015] 二、本發(fā)明并不限制插值方法，只要能夠保證視頻輸出實(shí)時(shí)性(延遲小于40ms)。
[0016] Ξ、為了解決圖像在軌復(fù)原的實(shí)時(shí)性難題，本發(fā)明將原本在頻域的復(fù)原搬移到了 空間域進(jìn)行處理，保留了成熟的線性濾波復(fù)原圖像的可靠性(兩者在數(shù)學(xué)本質(zhì)上相同），截 取能量分布的主要部分，采用小尺寸的空間域反卷積模板進(jìn)行卷積處理，減小了空間域處 理的計(jì)算量，W滿足處理的實(shí)時(shí)性。
[0017] 四、本發(fā)明采用FPGA作為核屯、硬件平臺(tái)，基于并行流水線思想按像元時(shí)鐘速率進(jìn) 行實(shí)時(shí)處理，降低了硬件性能要求和代碼設(shè)計(jì)復(fù)雜程度，易于工程實(shí)現(xiàn)。同時(shí)隨著FPGA集成 度和性能的提高，可針對(duì)不同倍數(shù)的放大倍率進(jìn)行擴(kuò)展，適應(yīng)性強(qiáng)。
[0018] 五、本發(fā)明所述的方法可同時(shí)對(duì)非放大視頻進(jìn)行圖像復(fù)原，整體提升相機(jī)輸出圖 像質(zhì)量。
【附圖說(shuō)明】
[0019] 圖1為本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法的流程圖；
[0020] 圖2為本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法中待測(cè)相機(jī)鏡頭 測(cè)試的原理框圖；
[0021] 圖3本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法中根據(jù)相機(jī)參數(shù)獲 得的一種典型的尺寸為7X7的在軌歸一化點(diǎn)擴(kuò)散函數(shù)h(x，y)示意圖；
[0022] 圖4為根據(jù)圖3獲得的能量分布高度集中的尺寸為256X256的空間域反卷積預(yù)選 模板h_y(x，y)的示意圖；
[0023] 圖5從圖3中截取的尺寸為13X13的空間域反卷積模板h_m(x，y)示意圖；
[0024] 圖6采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法對(duì)h_m(x，y)與 g(x，y)進(jìn)行卷積運(yùn)算的示意圖；
[0025] 圖7采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法實(shí)時(shí)復(fù)原系統(tǒng) 按行處理的時(shí)序示意圖；
[0026] 圖8中8a和8b為采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法對(duì) 圖像進(jìn)行放大的前后對(duì)比圖。
【具體實(shí)施方式】
【具體實(shí)施方式】 [0027] 一、結(jié)合圖1至圖8說(shuō)明本實(shí)施方式，基于反卷積圖像復(fù)原的高保真 視頻放大方法，本實(shí)施方式中Wicx415al面陣CCD相機(jī)為例，給出基于反卷積圖像復(fù)原的高 保真視頻放大方法的實(shí)例：
[0028] 步驟a:采用點(diǎn)光源，平行光管，干設(shè)儀，對(duì)待測(cè)相機(jī)鏡頭進(jìn)行測(cè)試，結(jié)合圖2,得出 點(diǎn)擴(kuò)散函數(shù)PSF的值，利用歸一化方法得出較為準(zhǔn)確的歸一化點(diǎn)擴(kuò)散函數(shù)h(x，y)，如圖5所 /J、- 〇
[0029] 步驟b:利用雙線性插值的方法對(duì)原始圖像進(jìn)行兩倍插值，在FPGA內(nèi)部開(kāi)辟兩個(gè)緩 存空間，每個(gè)大小為兩行圖像數(shù)據(jù)所占用的空間，按768個(gè)水平有效像元計(jì)算，共需要768* 2*8bit = 12288bit的存儲(chǔ)空間。采用兵鳥(niǎo)操作，對(duì)存儲(chǔ)空間內(nèi)數(shù)據(jù)分時(shí)進(jìn)行雙線性插值，分 別得出插值后的新行列圖像。隨后對(duì)新老圖像按順序統(tǒng)一輸出得出待復(fù)原的插值后的圖像 g(x,y)〇
[0030] 步驟c:利用步驟a所獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得 到反卷積預(yù)選模板h_y (X，y)。
[0031] 步驟d:將h_y(x，y)能量分布高度集中的區(qū)域截取出來(lái)，根據(jù)具體的數(shù)值分布，截 取占總能能量分布99% W上的中央?yún)^(qū)域的矩陣作為空間域反卷積模板h_m(x，y)，如圖6所 /J、- 〇
[0032] 步驟e:將h_m(x，y)與待復(fù)原的插值后的圖像g(x，y)進(jìn)行卷積則復(fù)原的計(jì)算過(guò)程 可表述為：
[0033]
[0034] a，b為反卷積模板水平和垂直方向元素個(gè)數(shù)減1后的一半，如模板為13 X 13，則a = b = 6，S，t為模板內(nèi)各元素橫縱坐標(biāo)。
[0035] 為了描述方便，圖6給出的是一個(gè)簡(jiǎn)單的3X3空間域模板與圖像卷積的示意圖，首 先通過(guò)對(duì)空間域模板進(jìn)行180°轉(zhuǎn)置，而后用轉(zhuǎn)置后的模板與圖像中3X3的區(qū)域進(jìn)行卷積， 所得結(jié)果為圖像3X3區(qū)域中屯、點(diǎn)的復(fù)原后數(shù)值。為滿足系統(tǒng)實(shí)時(shí)性，相機(jī)像元時(shí)鐘為 30MHz，運(yùn)樣采用30MHz的時(shí)鐘并行處理卷積模板和插值圖像的二維卷積，圖像為8bit的灰 度圖像，h_m( X，y)大小為13 X 13，通過(guò)FPGA的并行處理進(jìn)行實(shí)現(xiàn)。
[0036] 本實(shí)施方式中采用現(xiàn)有的XILINX公司的Videx-6系列FPGA自帶748個(gè)DSP Slices，每個(gè)DSP Slices都是一個(gè)主頻可W達(dá)到600MHz的25 X 18bit二進(jìn)制補(bǔ)碼乘法器W 及一個(gè)48bit的累加器，將上述的計(jì)算分配給DSP Slices進(jìn)行并行處理，完全可W滿足計(jì)算 的要求，從而獲得復(fù)原后的圖像.Z'G、'，.!，；)，如圖7所示。數(shù)據(jù)流方向與模板運(yùn)算方向相同，在 一個(gè)時(shí)鐘下完成一個(gè)像素的復(fù)原計(jì)算，當(dāng)完成一行數(shù)據(jù)后，對(duì)下一行的數(shù)據(jù)進(jìn)行計(jì)算，其方 向與相機(jī)運(yùn)動(dòng)方向相同。
[0037] 本實(shí)施方式的步驟b中可W采用其他形式的插值方法，其余的步驟與上述方法一 致。
[0038] 采用本實(shí)施方式所述的的視頻放大相機(jī)與原有普通視頻放大功能的相機(jī)在系統(tǒng) 上的區(qū)別如圖8所示，二者本職區(qū)別即本發(fā)明的視頻放大功能結(jié)合圖像復(fù)原技術(shù)，在對(duì)圖像 插值后進(jìn)行反卷積圖像復(fù)原，達(dá)到彌補(bǔ)插值帶來(lái)的圖像退化的效果。
【主權(quán)項(xiàng)】
1. 基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征是，該方法由以下步驟實(shí)現(xiàn)： 步驟一、對(duì)待測(cè)相機(jī)鏡頭進(jìn)行測(cè)試，獲得待測(cè)相機(jī)的點(diǎn)擴(kuò)散函數(shù)h( x，y); 步驟二、采用插值方法對(duì)原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像g(x，y); 步驟三、對(duì)步驟一獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得到反卷 積預(yù)選模板h_y (X，y); 步驟四、對(duì)步驟三獲得的反卷積預(yù)選模板h_y(x，y)進(jìn)行截取，獲得尺寸為13X13的反 卷積模板h_m(X，y); 步驟五、將反卷積模板h_m(x，y)與步驟二中待復(fù)原的插值后的圖像g(x，y)進(jìn)行實(shí)時(shí)的 二維卷積，獲得復(fù)原后的放大圖像。2. 根據(jù)權(quán)利要求1所述的基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征在于，步 驟一中，采用點(diǎn)光源、平行光管以及干涉儀對(duì)待測(cè)相機(jī)鏡頭進(jìn)行測(cè)試，點(diǎn)光源經(jīng)平行光管后 入射至待測(cè)相機(jī)鏡頭，干涉儀根據(jù)接收的待測(cè)相機(jī)鏡頭的信息，獲得待測(cè)相機(jī)的點(diǎn)擴(kuò)散函 數(shù)。3. 根據(jù)權(quán)利要求1所述的基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征在于，步 驟二中，采用雙線性插值的方法對(duì)原始圖像進(jìn)行兩倍插值，在FPGA內(nèi)部開(kāi)辟兩個(gè)緩存空間， 每個(gè)緩存大小為兩行圖像數(shù)據(jù)所占用的空間，采用乒乓操作，對(duì)存儲(chǔ)空間內(nèi)的數(shù)據(jù)分時(shí)進(jìn) 行雙線性插值，獲得待復(fù)原的插值后的圖像。
【專利摘要】基于反卷積圖像復(fù)原的高保真視頻放大方法，涉及成像技術(shù)領(lǐng)域，本發(fā)明提高相機(jī)視頻放大后圖像質(zhì)量，解決提升分辨力與放大后圖像退化之間的矛盾等問(wèn)題，本發(fā)明對(duì)待測(cè)相機(jī)鏡頭進(jìn)行測(cè)試，獲得待測(cè)相機(jī)的點(diǎn)擴(kuò)散函數(shù)，采用插值方法對(duì)原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像，對(duì)的點(diǎn)擴(kuò)散函數(shù)采用傅里葉反變換到空間域中，得到反卷積預(yù)選模板；并對(duì)其進(jìn)行截取，獲得尺寸為13×13的反卷積模板；將反卷積模板與待復(fù)原的插值后的圖像進(jìn)行實(shí)時(shí)的二維卷積，獲得復(fù)原后的放大圖像。本發(fā)明基于并行流水線思想按像元時(shí)鐘速率進(jìn)行實(shí)時(shí)處理，降低了硬件性能要求和代碼設(shè)計(jì)復(fù)雜程度，易于工程實(shí)現(xiàn)。適應(yīng)性強(qiáng)。
【IPC分類】H04N5/14, G06T5/00
【公開(kāi)號(hào)】CN105491269
【申請(qǐng)?zhí)枴緾N201510821481
【發(fā)明人】張宇, 王文華
【申請(qǐng)人】長(zhǎng)春乙天科技有限公司
【公開(kāi)日】2016年4月13日
【申請(qǐng)日】2015年11月24日