專利名稱：一種用于視頻圖像的非均勻采樣方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像采集和存儲(chǔ)領(lǐng)域，特別涉及一種用于視頻圖像的非 均勻采樣方法。
背景技術(shù)：
人類獲取信息的80%來自視覺。人腦中有各種不同的組織參與到視覺信息 處理中，因而能夠輕易的處理視覺問題。但是視覺認(rèn)知作為一個(gè)過程，到目 前為止，人類仍難以模仿自身的視覺功能。
近30年來，視覺和圖像處理不僅在模型與算法方面得到了長(zhǎng)足的進(jìn)展， 而且在先進(jìn)制造工業(yè)、醫(yī)學(xué)、國防、公共安全和空間技術(shù)等領(lǐng)域獲得廣泛應(yīng) 用。但是，當(dāng)前多數(shù)視覺處理系統(tǒng)是建立在PC機(jī)與圖像采集卡上的。如何將 機(jī)器視覺和小體積、低功耗的微型化視覺處理系統(tǒng)結(jié)合，最終構(gòu)建具有視覺 感知和圖像處理功能的機(jī)器視覺微系統(tǒng)，是當(dāng)前視覺研究與智能信息處理領(lǐng) 域的重大課題。
傳統(tǒng)的視頻圖像處理方法是對(duì)圖像中的每一像素進(jìn)行采樣。 一般對(duì)720P (分辨率為1280X720，幀頻為60Hz)視頻圖像中的亮度信息進(jìn)行處理，每 秒的數(shù)據(jù)量超過了 55M字節(jié)(60X1280X720Byte)，數(shù)據(jù)量非常大。
目前的視頻圖像處理是基于CPU和多級(jí)片內(nèi)、片外的存儲(chǔ)器執(zhí)行結(jié)構(gòu)， 而視頻圖像的算法十分復(fù)雜，運(yùn)算量很大，存在多層次計(jì)算粒度，對(duì)系統(tǒng)CPU 的性能、存儲(chǔ)芯片的帶寬和容量都有非常高的要求，通用處理器很難滿足視 頻圖像的低功耗和實(shí)時(shí)處理， 一般的嵌入式系統(tǒng)更難滿足應(yīng)用要求。根據(jù)視 頻圖像處理的數(shù)據(jù)和算法的特點(diǎn)，研究具有視覺特征同時(shí)又有高壓縮率的采 樣和恢復(fù)方法具有十分重要的意義。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種用于視頻圖像的非均勻采樣方法，它模擬生 物視覺對(duì)視頻圖像進(jìn)行采樣，在保證實(shí)現(xiàn)生物視覺特性的前提下，大幅度壓 縮視頻圖像的的數(shù)據(jù)量，減少視頻圖像的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理量。
為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)。 一種用于視頻 圖像的非均勻采樣方法，其特征在于，包括以下步驟-
(a)采用視頻圖像的標(biāo)準(zhǔn)坐標(biāo)系，建立非均勻采樣的視覺模型
厶)吋 2 (1)
或
其中以視頻圖像中心為注視點(diǎn)，/w表示采樣密度，X、 Y分別為視頻圖 像的水平或垂直大小，；c、 y分別表示像素點(diǎn)距注視點(diǎn)的水平和垂直距離，
(b)選擇方式一或方式二，確定采樣層和采樣密度
方式一，先將視頻圖像以注視點(diǎn)為中心向外逐步分層，確定各采樣層邊 界，根據(jù)公式(1)、 (2)計(jì)算各采樣層邊界處的采樣密度，然后選取每個(gè)采 樣層的采樣密度；
方式二，先確定視頻圖像以注視點(diǎn)為中心向外逐步分層的層數(shù)和對(duì)應(yīng)各 采樣層邊界的采樣密度，根據(jù)公式(1)、 (2)反向計(jì)算各采樣層的邊界位置。 本發(fā)明的進(jìn)一步改進(jìn)在于
所述各采樣層邊界都為矩形且長(zhǎng)寬比與所處理視頻圖像的長(zhǎng)寬比相同。 所述方式一中的任意一采樣層再分為多個(gè)子采樣層，所述多個(gè)子采樣層 的邊界劃分采用方式二實(shí)現(xiàn)。
所述方式一中，視頻圖像以注視點(diǎn)為中心向外逐步分為三層，采樣邊界為矩形，第一采樣層外邊界長(zhǎng)度為^X、寬度^Y;第二采樣層外邊界長(zhǎng)度為+ X、
6 6 3
寬度| Y;其余視頻圖像部分為第三采樣層。
所述方式二中，視頻圖像以注視點(diǎn)為中心向外逐步分層的層數(shù)為n，第一 采樣層外邊界的采樣密度為c，其他采樣層外邊界的采樣密度依次為^c、 ^c、
在視覺系統(tǒng)中，視頻圖像是中間區(qū)域清晰可見，外圍區(qū)域逐漸模糊，但 可辨識(shí)物體。根據(jù)生物視覺特性，可以將視覺模擬為一個(gè)選擇注意機(jī)制的可 配置的數(shù)據(jù)處理過程。在具體處理過程中，根據(jù)生物視覺對(duì)視頻圖像的非均 勻敏感性，以注視點(diǎn)為中心，定義一個(gè)注視區(qū)。需要注視區(qū)內(nèi)圖像最為清晰， 進(jìn)行逐點(diǎn)采樣，采樣密度高，數(shù)據(jù)量大；注視區(qū)外的圖像逐漸模糊，距離注 視點(diǎn)越遠(yuǎn)采樣間隔越大,采樣密度越低，數(shù)據(jù)量越小。這樣，就能夠很好的 解決視頻圖像數(shù)據(jù)大，存儲(chǔ)和計(jì)算造成硬件開銷大的問題。


下面結(jié)合

和具體實(shí)施方式
對(duì)本發(fā)明做詳細(xì)說明。
圖l為人眼結(jié)構(gòu)圖2為非均勻采樣層劃分示意圖3為720P格式視頻圖像的水平方向的視覺模型曲線。
具體實(shí)施例方式
參照?qǐng)Dl，為人眼結(jié)構(gòu)圖。眼球壁內(nèi)層的視網(wǎng)膜是眼球的感光部分，由錐 體細(xì)胞和桿體細(xì)胞兩種感光細(xì)胞組成。在視網(wǎng)膜上，以視軸為中心，直徑約6 毫米的中央?yún)^(qū)中，有一直徑2毫米左右的黃斑。黃斑中央有一小凹，叫做中 央凹，面積約1平方毫米。中央凹的錐體細(xì)胞密度很高，是產(chǎn)生最清晰視覺 的地方。離開中央凹，錐體細(xì)胞急劇減少，桿體細(xì)胞急劇增多。桿體細(xì)胞主 要是在黑暗的條件下起作用，同時(shí)負(fù)責(zé)觀察物體的運(yùn)動(dòng)。視網(wǎng)膜上的光感受器(錐體細(xì)胞和桿體細(xì)胞)通過接受光，并將它轉(zhuǎn)換 為輸出神經(jīng)信號(hào)影響其他神經(jīng)細(xì)胞。所以，在視覺通路上任何一種神經(jīng)細(xì)胞 的輸出都依賴于視網(wǎng)膜上的光感受器。將直接或間接影響某一特定神經(jīng)細(xì)胞 的光感受器細(xì)胞的全體稱為該特定神經(jīng)細(xì)胞的感受野。貓的感受野是由中心
的興奮區(qū)域和周邊的抑制區(qū)域構(gòu)成的同心圓結(jié)構(gòu)，稱為0n型感受野。也就是 說，當(dāng)用光點(diǎn)刺激On型感受野中心時(shí)，細(xì)胞發(fā)放頻率增加。刺激感受野周邊 時(shí)，細(xì)胞發(fā)放頻率受到抑制而變低。結(jié)合貓的這種視覺特性，以及對(duì)人眼視 覺特性的實(shí)驗(yàn)和研究，可以看出，生物對(duì)視頻圖像的視覺特性是非均勻的。
視覺系統(tǒng)中的圖像是中間區(qū)域清晰可見，外圍區(qū)域逐漸模糊，但可辨識(shí) 物體。發(fā)明人發(fā)現(xiàn)，根據(jù)生物視覺特性，可以將視覺模擬為一個(gè)選擇注意機(jī) 制的可配置的數(shù)據(jù)處理過程。在具體處理過程中，根據(jù)生物視覺對(duì)視頻圖像 的非均勻敏感性，以視頻圖像中心為注視點(diǎn)，定義一個(gè)注視區(qū)。注視區(qū)內(nèi)需 要圖像最為清晰，進(jìn)行逐點(diǎn)采樣，采樣密度高，數(shù)據(jù)量大；注視區(qū)外的圖像 逐漸模糊，距離注視點(diǎn)越遠(yuǎn)，采樣間隔越大，采樣密度越低，數(shù)據(jù)量越小。 也即以視頻圖像中心為注視點(diǎn)，遠(yuǎn)離注視點(diǎn)的視頻圖像的采樣密度逐漸變小。
采樣密度可以用單位視頻圖像面積內(nèi)的像素采樣數(shù)表示；也可以用一個(gè) 采樣點(diǎn)代表幾個(gè)像素點(diǎn)表示；也可以采用相對(duì)法表示，即逐點(diǎn)(像素點(diǎn))采
樣，其采樣密度為l;兩個(gè)像素點(diǎn)取任一個(gè)作為采樣值，其采樣密度為i,三
2
個(gè)像素點(diǎn)取任一個(gè)作為采樣值，其采樣密度為l，四個(gè)像素點(diǎn)取任一個(gè)作為采
樣值，其采樣密度為^，……，依次類推。本說明書采用后者的采樣密度表
4
示方法。
根據(jù)人眼視網(wǎng)膜特點(diǎn)以視軸為中心，直徑約6毫米的中央?yún)^(qū)中，有一 直徑2毫米左右的黃斑，黃斑中央有中央凹，面積約1平方毫米。在保證視 覺特性的下，相應(yīng)的本發(fā)明的用于視頻圖像的非均勻采樣方法為以視頻圖 像中心為注視點(diǎn)，將視頻圖像以注視點(diǎn)為中心向外逐步分為三層，采樣邊界為矩形，第一層外邊界長(zhǎng)度為^X、寬度^Y;第二層外邊界長(zhǎng)度為^X、寬度|
6 6 3 3
Y;其余視頻圖像部分為第三層采樣層。然后，根據(jù)視覺模型，計(jì)算各采樣層
邊界處的采樣密度，選取每個(gè)采樣層的采樣密度。
參照?qǐng)D2，采用視頻圖像的標(biāo)準(zhǔn)坐標(biāo)系。由圖可見，在視頻圖像中，以左
上角作為坐標(biāo)原點(diǎn)0，向右為水平正方向X，向下為垂直正方向Y。更為一般 地，本發(fā)明用于視頻圖像的非均勻采樣方法，基于生物的視覺模型為高斯函 數(shù)^ = 5(句，d表示距注視點(diǎn)的距離，s表示采樣密度。首先在圖中所示視頻圖 像坐標(biāo)系下，設(shè)定注視點(diǎn)坐標(biāo)為(A,v。)，其中根據(jù)視覺模型^ = 5(^)，將視頻 圖像以注視點(diǎn)為中心劃分為w層，各層邊界與注視點(diǎn)的距離分別為^《,…,《， 其中n=l的采樣層就是注視區(qū)。與注視點(diǎn)距離為《.的采樣層的采樣密度值為 ^，注視區(qū)中采樣密度^最大，BWw。
為了獲得具有一般性的視覺模型，并且為了計(jì)算的方便，本發(fā)明選擇在 標(biāo)準(zhǔn)正態(tài)分布概率密度函數(shù)的基礎(chǔ)上擴(kuò)展出生物的視覺模型。標(biāo)準(zhǔn)正態(tài)分布
概率密度函數(shù)為/(x)-;e^。首先將其自變量擴(kuò)展到視頻圖像大小
/(x) = ;e~^。然后，平移函數(shù)到圖像中心/0c)-;e~~^^。最后，
函數(shù)值乘以^^~，(其中/(x)max=;)把函數(shù)值擴(kuò)展到最大值為1。綜上所 述，得到本發(fā)明非均勻采樣的視覺模型
(".樂)2
同理，可得，^)=e—~(2) 其中以視頻圖像中心為注視點(diǎn)，/(.)表示采樣密度，X、 Y分別為視頻 圖像的水平或垂直大小，i、 y分別表示采樣點(diǎn)距注視點(diǎn)的水平和垂直距離，Bx^x，is;^:r。為方便起見，令各層邊界都為矩形且長(zhǎng)寬比與所處理視頻 圖像的長(zhǎng)寬比相同，公式(1)或(2)擇一使用即可。
在實(shí)際應(yīng)用時(shí)，可以根據(jù)采樣層與采樣密度的重要性不同，優(yōu)先確定采 樣密度或者采樣層邊界，再根據(jù)公式(1)或(2)計(jì)算其余參數(shù)。
下面通過兩個(gè)實(shí)際使用的例子說明該方法。
方式一.*根據(jù)之前所述人眼結(jié)構(gòu)，優(yōu)先劃分采樣層。由人眼中央凹、黃
斑和視網(wǎng)膜中央?yún)^(qū)的直徑比值為l: 2: 6，可以選擇采樣層數(shù)為3，各采樣層
外邊界距注視點(diǎn)的水平距離分別為工、工、工。由公式(1)計(jì)算在距注
12 6 2
視點(diǎn)距離為0、工、工、丄時(shí)，采樣密度分別為1、 0.7735、 0.3580、 0.0001。 126 2
實(shí)際采樣時(shí)，若需要最優(yōu)采樣效果，則三個(gè)采樣層都選取內(nèi)邊界采樣密度1、 0. 7735、 0. 3580;若需要最大壓縮率，則選取外邊界采樣密度0. 7735、 0. 3580、 0.0001;或者選擇兩個(gè)邊界采樣密度的平均值作為各層采樣密度0.8868、 0.5658、 0. 1791。
方式二由公式(1)的反函數(shù)可得到第二種方法所用的函數(shù)為
g(W) = #±^|^。其中g(shù)(")表示采樣點(diǎn)距注視點(diǎn)的水平距離；自變量"表 2 2x4.3
示采樣密度，(^t^l; X為視頻圖像的水平大小。根據(jù)硬件實(shí)現(xiàn)的簡(jiǎn)便與否， 首先確定各層采樣密度。采樣密度為2的冪時(shí)，硬件實(shí)現(xiàn)比較簡(jiǎn)單，所以選 擇各采樣層的采樣密度為1、 0.5、 0.25、 0.125，采樣層數(shù)為4。根據(jù)上式計(jì) 算，劃分得到各采樣層外邊界距注視點(diǎn)的水平距離分別為0. 1369X、0.1936X、 0.2371X、 0.5X。實(shí)際硬件實(shí)現(xiàn)時(shí)，可根據(jù)采樣的像素點(diǎn)數(shù)，微調(diào)各采樣層邊 界，也可根據(jù)實(shí)際需要進(jìn)行調(diào)整。若需要最優(yōu)采樣效果，則采樣層都選取其 內(nèi)邊界的采樣密度；若需要最大壓縮率，則選取外邊界的采樣密度；或者根 據(jù)實(shí)際需要選擇兩個(gè)邊界采樣密度之間的任意值。
對(duì)于視頻圖像頻格式為720P,即H=1280、 V=720，也就是每行的像素點(diǎn) 為1280個(gè)，每列的像素點(diǎn)為720個(gè)。因此，由非均勻采樣的視覺模型，得到圖像水平方向的視覺模型為:
(4.3,2 、 640
__^ (3)
其函數(shù)曲線如圖3所示，其中^為像素點(diǎn)的坐標(biāo)，注視點(diǎn)坐標(biāo)( ，V。)為
(640， 360)。
采用方式一視網(wǎng)膜中央?yún)^(qū)、黃斑、中央凹的直徑分別為6mm、 2mm、 lmm。 整幅視頻圖像長(zhǎng)度的六分之一作為注視區(qū)，即第一采樣層，其水平外邊界長(zhǎng)
度(用像素點(diǎn)個(gè)數(shù)表示，以下相同)1_ 6 _ ;同理，第二采樣層外邊 9// — 128Q/ —4"
界長(zhǎng)度為2 _ 力_ ;其余為第三采樣層。各采樣層外邊界都為矩形且長(zhǎng) 寬比與所處理視頻圖像的長(zhǎng)寬比相同。
將上述第一、二采樣層的外邊界坐標(biāo)代入公式(3)，通過計(jì)算可得，注 視區(qū)(第一采樣層)的采樣密度為1 0.7721，第二采樣層的采樣密度為 0. 7721 0. 3565。通過比較，為了硬件實(shí)現(xiàn)的方便，選擇注視區(qū)采樣密度為1， 即每個(gè)像素采一點(diǎn)，第二層的采樣密度為0.5，即每?jī)蓚€(gè)像素采一點(diǎn)，然后選 擇第三層采樣密度為0.25。
采用方式二在720P格式下，水平方向各參數(shù)值為仏=64();采樣層 數(shù)"=4;各層采樣密度分別為l、 0.5、 0.25、 0.125;各采樣層外邊界距注視 點(diǎn)的水平距離(以像素點(diǎn)表示)分別為0.1369X (175)、 0. 1936X (248)、 0.2371X (304)、 0.5X (640);同理得到各采樣層外邊界距注視點(diǎn)的垂直距離 分別為0. 1369Y (98)、 0. 1936Y (139)、 0. 2371Y (171)、 0. 5Y (360)。
當(dāng)然，對(duì)于方式一中的第三采樣層，還可以等分為兩個(gè)子采樣層，其邊 界采用方式二計(jì)算劃分。具體為兩個(gè)子采樣層的采樣密度分別為0.25和 0.125,通過公式(3)計(jì)算兩個(gè)子采樣層邊界與注視點(diǎn)的距離。
本發(fā)明的非均勻采樣方法的方式一和方式二，在得到近似的參數(shù)情況下， 采樣數(shù)據(jù)的壓縮效率相當(dāng)，它們均能夠在保證視覺效果的情況下，成倍降低
10視頻圖像的采樣數(shù)據(jù)量，使視頻圖像的處理硬件簡(jiǎn)單、成本大幅度減低。
發(fā)明人使用采樣方法二對(duì)多幅不同格式的視頻圖像的亮度信號(hào)進(jìn)行非均
勻采樣，其共同的采樣參數(shù)為采樣層數(shù)"=4;各層采樣密度分別為l、 0.5、 0.25、 0. 125;各采樣層外邊界距注視點(diǎn)的水平距離(以像素點(diǎn)表示)分別為 0. 1369X、 0. 1936X、 0. 2371X、 0. 5X;各采樣層外邊界距注視點(diǎn)的垂直距離與 水平距離比例相同。對(duì)多幅不同格式的圖像，采樣后輸出的數(shù)據(jù)進(jìn)行記錄， 與原圖像數(shù)據(jù)大小進(jìn)行比較，其統(tǒng)計(jì)結(jié)果如下表表中數(shù)據(jù)量單位為KB。
圖像格式720 X 400800 X 6001024 X 7681280X 7201280 X 10241920 X 1080
原始圖像 數(shù)據(jù)22503750614463001024016200
非采樣后 圖像數(shù)據(jù)80132217254361570
從上表中可以看出，在選擇最高采樣效果的
信號(hào)采樣后，其壓縮率可達(dá)到28倍左右。
胄況下，對(duì)原始圖像的亮度
ii
權(quán)利要求
1、一種用于視頻圖像的非均勻采樣方法，其特征在于，包括以下步驟(a)采用視頻圖像的標(biāo)準(zhǔn)坐標(biāo)系，建立非均勻采樣的視覺模型或其中以視頻圖像中心為注視點(diǎn)，f(x)表示采樣密度，X、Y分別為視頻圖像的水平或垂直大小，x、y分別表示像素點(diǎn)距注視點(diǎn)的水平和垂直距離，1≤x≤X，1≤y≤Y；(b)選擇方式一或方式二，確定采樣層和采樣密度方式一，先將視頻圖像以注視點(diǎn)為中心向外逐步分層，確定各采樣層邊界，根據(jù)公式(1)、(2)計(jì)算各采樣層邊界處的采樣密度，然后選取每個(gè)采樣層的采樣密度；方式二，先確定視頻圖像以注視點(diǎn)為中心向外逐步分層的層數(shù)和對(duì)應(yīng)各采樣層邊界的采樣密度，根據(jù)公式(1)、(2)反向計(jì)算各采樣層的邊界位置。
2、 根據(jù)權(quán)利要求1所述的一種用于視頻圖像的非均勻采樣方法，其特 征在于，所述各采樣層邊界都為矩形且長(zhǎng)寬比與所處理視頻圖像的長(zhǎng)寬比相 同。
3、 根據(jù)權(quán)利要求1所述的一種用于視頻圖像的非均勻采樣方法，其特 征在于，所述方式一中的任意一采樣層再分為多個(gè)子采樣層，所述多個(gè)子采 樣層的邊界劃分采用方式二實(shí)現(xiàn)。
4、 根據(jù)權(quán)利要求1所述的一種用于視頻圖像的非均勻采樣方法，其特 征在于，所述方式一中，視頻圖像以注視點(diǎn)為中心向外逐步分為三層，采樣邊界為矩形，第一采樣層外邊界長(zhǎng)度為^X、寬度+Y;第二采樣層外邊界長(zhǎng)度為丄X、寬度l Y;其余視頻圖像部分為第三采樣層。 3 3
5、根據(jù)權(quán)利要求1所述的一種用于視頻圖像的非均勻采樣方法，其特 征在于，所述方式二中，視頻圖像以注視點(diǎn)為中心向外逐步分層的層數(shù)為n，第一采樣層外邊界的采樣密度為c，其他采樣層外邊界的采樣密度依次為^c全文摘要
本發(fā)明涉及視頻圖像采集和存儲(chǔ)領(lǐng)域，公開一種用于視頻圖像的非均勻采樣方法。它包括以下步驟(a)采用視頻圖像的標(biāo)準(zhǔn)坐標(biāo)系，建立非均勻采樣的視覺模型；(b)選擇方式一或方式二，確定采樣層和采樣密度方式一，先將視頻圖像以注視點(diǎn)為中心向外逐步分層，確定各采樣層邊界，根據(jù)視覺模型計(jì)算各采樣層邊界處的采樣密度，然后選取每個(gè)采樣層的采樣密度；方式二，先確定視頻圖像以注視點(diǎn)為中心向外逐步分層的層數(shù)和對(duì)應(yīng)各采樣層邊界的采樣密度，根據(jù)視覺模型反向計(jì)算各采樣層的邊界位置。
文檔編號(hào)G06K9/00GK101505423SQ200910021270
公開日2009年8月12日 申請(qǐng)日期2009年2月25日 優(yōu)先權(quán)日2009年2月25日
發(fā)明者斌 張, 順 張, 李宇海, 梅魁志, 浩 雷 申請(qǐng)人:西安交通大學(xué)