專利名稱：一種基于視覺感知的多視點圖像顏色校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視點圖像的處理方法，尤其是涉及一種基于視覺感知的多視點圖像顏色校正方法。

背景技術(shù)：
多視點視頻系統(tǒng)能夠給用戶提供多個視角的視頻內(nèi)容，用戶可以根據(jù)個人的喜好選擇不同的視角，并在觀看過程中隨意改變欣賞視角，因此多視點視頻系統(tǒng)被國際標(biāo)準(zhǔn)組織MPEG(Moving Picture Experts Group，運動圖像專家組)稱為下一代視頻系統(tǒng)的發(fā)展方向。通常，多視點視頻系統(tǒng)如圖1所示，由以下幾個部分組成視頻捕獲、預(yù)處理、多視點視頻編碼器、多視點視頻解碼器、虛擬視點繪制和顯示部分。視頻捕獲通常由具有n+1個相機(jī)(或攝像機(jī))的多視點平行相機(jī)系統(tǒng)實現(xiàn)，圖2給出了多視點平行相機(jī)系統(tǒng)成像示意圖，n+1個相機(jī)(或攝像機(jī))被平行地放置。由于在多視點視頻捕獲過程中各個相機(jī)的場景光照、相機(jī)標(biāo)定、CCD噪聲、快門速度和曝光等要素不一致，會導(dǎo)致采集的各視點間可能存在亮度或色度差異，將會給后續(xù)的多視點視頻編碼、虛擬視點繪制和多視點視頻三維顯示帶來極大的困難。因此，為了得到更好的編碼性能和虛擬視點繪制效果，需要在進(jìn)行多視點視頻編碼前加入顏色校正作為預(yù)處理過程。
目前，相關(guān)業(yè)內(nèi)研究人員已提出了多種顏色校正方法，但絕大多數(shù)的研究只是集中在全局的圖像間或在圖像的局部區(qū)域間，通過區(qū)域匹配、特征匹配或直方圖匹配建立顏色映射關(guān)系，并以此映射關(guān)系對源圖像進(jìn)行校正。區(qū)域匹配需要將目標(biāo)圖像和源圖像進(jìn)行聚類分割，在最相似的區(qū)域間建立顏色映射關(guān)系，并以此映射關(guān)系對源圖像進(jìn)行校正；特征匹配通過提取目標(biāo)圖像和源圖像的尺度不變的特征信息，在最相似的特征間建立顏色映射關(guān)系，并以此映射關(guān)系對源圖像進(jìn)行校正；直方圖匹配通過計算目標(biāo)圖像和源圖像的累計直方圖，只要滿足源圖像和目標(biāo)圖像具有相同的直方圖分布，就可以將目標(biāo)圖像的直方圖映射到源圖像。但由于上述顏色校正方法對不同的視覺感知區(qū)域采用了相同的映射關(guān)系，這樣會導(dǎo)致校正圖像在主觀視覺上存在較大的偏差，從而導(dǎo)致校正圖像的視覺舒適度差；此外，上述顏色校正方法的魯棒性較差。


發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種在保證多視點圖像顏色校正精確性的同時，提高顏色校正方法的魯棒性以及校正圖像的視覺舒適度的基于視覺感知的多視點圖像顏色校正方法。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種基于視覺感知的多視點圖像顏色校正方法，包括以下步驟 ①將同一時刻由多視點平行相機(jī)系統(tǒng)拍攝的多視點圖像中的一個視點圖像定義為目標(biāo)圖像，記為T，而將其它視點圖像定義為源圖像，記為S，定義目標(biāo)圖像T的平面坐標(biāo)系為x′y′平面坐標(biāo)系，定義源圖像S的平面坐標(biāo)系為xy平面坐標(biāo)系，記目標(biāo)圖像T中的所有像素點構(gòu)成的集合為{(T)P(x1′，y1′)}，記源圖像S中的所有像素點構(gòu)成的集合為{(S)P(x1，y1)}； ②分別提取目標(biāo)圖像T的顯著性分布圖和源圖像S的顯著性分布圖，記目標(biāo)圖像T的顯著性分布圖為{(T)S}，記源圖像S的顯著性分布圖為{(S)S}； ③利用期望最大算法分別估計目標(biāo)圖像T的顯著性分布圖{(T)S}和源圖像S的顯著性分布圖{(S)S}的高斯混合模型，記目標(biāo)圖像T的顯著性分布圖{(T)S}的高斯混合模型為(T)Θ，記源圖像S的顯著性分布圖{(S)S}的高斯混合模型為(S)Θ，其中，K表示高斯混合模型中高斯分量的總個數(shù)，ωi表示第i個高斯分量的加權(quán)系數(shù)，μi表示第i個高斯分量的均值，σi表示第i個高斯分量的標(biāo)準(zhǔn)差； ④根據(jù)目標(biāo)圖像T的顯著性分布圖{(T)S}及顯著性分布圖{(T)S}的高斯混合模型(T)Θ，提取目標(biāo)圖像T的視覺注意力區(qū)域，根據(jù)源圖像S的顯著性分布圖{(S)S}及顯著性分布圖{(S)S}的高斯混合模型(S)Θ，提取源圖像S的視覺注意力區(qū)域； ⑤通過視差匹配方法獲取源圖像S中的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點(T)P(x1′，y1′)，并獲取目標(biāo)圖像T中的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)，然后通過雙向校驗從源圖像S到目標(biāo)圖像T的視差和從目標(biāo)圖像T到源圖像S的視差，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為最佳候選匹配的像素點對，再通過判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為匹配的像素點對； ⑥根據(jù)所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))的亮度分量、第一色度分量和第二色度分量，通過線性回歸算法計算得到第i個視覺注意力區(qū)域的校正矩陣，記為其中，Ω表示所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))構(gòu)成的集合，(T)Iq(x1′，y1′)表示目標(biāo)圖像T的像素點(T)P(x1′，y1′)的第q個分量的像素值，第1個分量為亮度分量，第2個分量為第一色度分量，第3個分量為第二色度分量，ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量； ⑦采用線性加權(quán)方法獲取源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣，記為

其中，q＝1，2，3，βi(x1，y1)為加權(quán)系數(shù)，其值通過計算源圖像S的像素點(S)P(x1，y1)屬于第i個視覺注意力區(qū)域的概率得到，其中，1≤i≤K； ⑧利用源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣

對源圖像S的各個像素點(S)P(x1，y1)的第q個分量進(jìn)行顏色校正，得到顏色校正處理后的校正圖像，記顏色校正處理后的校正圖像的像素點為(C)P(x1，y1)，記顏色校正處理后的校正圖像的各個像素點(C)P(x1，y1)的第q個分量的像素值為(C)Iq(x1，y1)，其中， ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量，q＝1，2，3。
所述的步驟②中源圖像S的顯著性分布圖{(S)S}的提取過程為 ②-1、在xy平面坐標(biāo)系中，通過雙高斯差算子D(x1，y1，σ1，σ2)＝(G(x1，y1，σ1)-G(x1，y1，σ2))*I(x1，y1)，計算得到源圖像S中的各個像素點(S)P(x1，y1)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值D(x1，y1，σ1，σ2)，其中，符號“*”表示卷積操作符號，σ1和σ2均為尺度空間因子，σ1＞σ2，G(x1，y1，σ1)和G(x1，y1，σ2)均為二維高斯函數(shù)，x1和y1分別為源圖像S中的各個像素點(S)P(x1，y1)的橫坐標(biāo)和縱坐標(biāo)，I(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的像素值； ②-2、將源圖像S的所有像素點在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值構(gòu)成的圖像作為源圖像S對應(yīng)的響應(yīng)值圖像； ②-3、提取源圖像S中的各個像素點(S)P(x1，y1)的亮度分量、第一色度分量和第二色度分量，計算源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量，記為Iμ，Iμ＝[Yμ，Uμ，Vμ]，其中，Yμ表示源圖像S中的所有像素點的亮度分量，Uμ表示源圖像S中的所有像素點的第一色度分量，Vμ表示源圖像S中的所有像素點的第二色度分量；提取源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的亮度分量、第一色度分量和第二色度分量，計算源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量，記為Iωhc(x1，y1)，Iωhc(x1，y1)＝[Yωhc(x1，y1)，Uωhc(x1，y1)，Vωhc(x1，y1)]，其中，Yωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的亮度分量，Uωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第一色度分量，Vωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第二色度分量；根據(jù)源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量Iμ和源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量Iωhc(x1，y1)，計算源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值，記為(S)S(x1，y1)，(S)S(x1，y1)＝||Iμ-Iωhc(x1，y1)||，其中，符號“||||”表示歐式距離計算符號； ②-4、將源圖像S中的所有像素點的顯著性分布值構(gòu)成的分布圖作為源圖像S的顯著性分布圖{(S)S}； 所述的步驟②中對目標(biāo)圖像T的顯著性分布圖{(T)S}的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的顯著性分布圖{(S)S}相同的操作。
所述的步驟④中源圖像S的視覺注意力區(qū)域的提取過程為 ④-1、在xy平面坐標(biāo)系中，對于源圖像S中的各個像素點(S)P(x1，y1)，通過最大化概率密度函數(shù)分別獲取各個像素點屬于高斯混合模型(S)Θ中的第i個高斯分量的分類標(biāo)記，記為(S)γ(x1，y1)，其中，1≤i≤K，(S)γ(x1，y1)∈[1，K]，Γ表示高斯混合模型(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，

表示最大化概率密度函數(shù)，

表示源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值(S)S(x1，y1)屬于高斯混合模型(S)Θ中的第i個高斯分量的概率； ④-2、將源圖像S中屬于高斯混合模型(S)Θ中的第i個高斯分量的所有像素點構(gòu)成的區(qū)域作為源圖像S的第i個視覺注意力區(qū)域； 所述的步驟④中目標(biāo)圖像T的視覺注意力區(qū)域的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的視覺注意力區(qū)域相同的操作。
所述的步驟⑤中視差匹配方法的具體過程為 ⑤-1、記目標(biāo)圖像T和源圖像S中匹配的像素點對構(gòu)成的集合為{(T)P(x1′，y1′)，(S)P(x1，y1)}，分別確定源圖像S與目標(biāo)圖像T中的最大水平和垂直視差搜索范圍； ⑤-2、對于源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)，首先在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)獲取與源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)匹配的所有像素點，其次在源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點確定N×N窗口，在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的各個像素點為左上角像素點分別確定N×N窗口，分別計算像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，記為MRSAD，其中，(S)Y(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的亮度分量，(T)Y(x1′，y1′)表示目標(biāo)圖像T中的各個像素點(T)P(x1′，y1′)的亮度分量，μ1表示源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，μ1′表示目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的像素點為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，N為窗口的大??； ⑤-3、根據(jù)計算得到的像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，獲取所有匹配成本中的最小匹配成本，將該最小匹配成本對應(yīng)的目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)作為源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點； ⑤-4、對于目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)，以與獲取源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點相同的方法，獲取目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)； ⑤-5、將從源圖像S到目標(biāo)圖像T的視差記為dsou→tar，dsou→tar＝(x1′-x1，y1′-y1)，將從目標(biāo)圖像T到源圖像S的視差記為dtar→sou，dtar→sou＝(x2-x1′，y2-y1′)，對dsou→tar和dtar→sou進(jìn)行雙向校驗，判斷|dsou→tar+dtar→sou|＜2是否成立，如果成立，則確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為最佳候選匹配的像素點對，否則，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非最佳候選匹配的像素點對，并對該像素點對不進(jìn)行處理； ⑤-6、判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，如果是，則確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的像素點對，否則，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非匹配的像素點對，并對該像素點對不進(jìn)行處理。
對顏色校正處理后的校正圖像進(jìn)行精練后處理，精練后處理的處理過程為 a.采用最小可察覺變化步長模型獲取源圖像S的像素點(S)P(x1，y1)的最小可察覺變化步長門限，記為JND(x1，y1)； b.計算源圖像S的像素點(S)P(x1，y1)的第一個分量與顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量的殘差值，記為dis，dis＝|(S)Y(x1，y1)-(C)Y(x1，y1)|，其中，(S)Y(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第一個分量，(C)Y(x1，y1)表示顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量； c.判斷dis≤η×JND(x1，y1)是否成立，如果是，則認(rèn)為源圖像S的像素點(S)P(x1，y1)為視覺敏感的像素點，否則，認(rèn)為源圖像S的像素點(S)P(x1，y1)為非視覺敏感的像素點，其中，η為控制因子，η∈
； d.將由所有視覺敏感的像素點構(gòu)成的區(qū)域作為源圖像S的視覺敏感區(qū)域； e.采用與步驟⑤相同的操作獲取所有屬于視覺敏感區(qū)域的目標(biāo)圖像T和顏色校正處理后的校正圖像匹配的像素點對((T)P(x1′，y1′)，(C)P(x1，y1))； f.采用與步驟⑥相同的操作計算源圖像S的視覺敏感區(qū)域的校正矩陣，然后以該校正矩陣對顏色校正處理后的校正圖像中屬于視覺敏感區(qū)域的像素點(C)P(x1，y1)的第q個分量進(jìn)行進(jìn)一步顏色校正，得到精練后的校正圖像。
所述的控制因子η＝0.6。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于 1)根據(jù)人類視覺注意力進(jìn)行顏色校正，更加符合人眼的視覺習(xí)慣，大大提高了顏色校正的魯棒性； 2)根據(jù)高斯混合模型來提取視覺注意力區(qū)域，并通過視差匹配算法確定目標(biāo)圖像源圖像所有匹配的像素點對，大大提高了映射的精度； 3)采用線性加權(quán)得到的校正矩陣，可以消除對每個視覺注意力區(qū)域分別進(jìn)行顏色校正引起的邊緣失真現(xiàn)象，提高了顏色校正的精度； 4)采用最小可察覺變化步長(Just Noticeable Difference，JND)模型提取出視覺敏感區(qū)域，并對視覺敏感區(qū)域進(jìn)行進(jìn)一步的精煉，可以充分去除視頻信號中的冗余，提高校正圖像的視覺舒適度。



圖1為多視點視頻系統(tǒng)的組成示意圖； 圖2為多視點平行相機(jī)系統(tǒng)成像示意圖； 圖3為本發(fā)明基于視覺感知的多視點圖像顏色校正方法的流程框圖； 圖4a為“flamencol”多視點測試集的顯著性分布圖； 圖4b為“flamencol”多視點測試集的顯著性分布圖的直方圖； 圖4c為“flamencol”多視點測試集的顯著性分布圖的高斯混合模型； 圖5a為“flamencol”多視點測試集的源圖像； 圖5b為“flamencol”多視點測試集的第1個視覺注意力區(qū)域； 圖5c為“flamencol”多視點測試集的第2個視覺注意力區(qū)域； 圖6a為“flamencol”多視點測試集的目標(biāo)圖像； 圖6b為“flamencol”多視點測試集的源圖像； 圖6c為“flamencol”多視點測試集的不采用線性加權(quán)處理的校正圖像； 圖6d為“flamencol”多視點測試集的經(jīng)本發(fā)明方法顏色校正處理的校正圖像； 圖7a為“fuzzy”多視點測試集的目標(biāo)圖像； 圖7b為“fuzzy”多視點測試集的源圖像； 圖7c為“fuzzy”多視點測試集的不采用線性加權(quán)處理的校正圖像； 圖7d為“fuzzy”多視點測試集的經(jīng)本發(fā)明方法顏色校正處理的校正圖像； 圖8a為“rena”多視點測試集的目標(biāo)圖像； 圖8b為“rena”多視點測試集的源圖像； 圖8c為“rena”多視點測試集的不采用線性加權(quán)處理的校正圖像； 圖8d為“rena”多視點測試集的經(jīng)本發(fā)明方法顏色校正處理的校正圖像； 圖9a為圖6b的局部細(xì)節(jié)放大圖； 圖9b為圖6c的局部細(xì)節(jié)放大圖； 圖9c為圖6d的局部細(xì)節(jié)放大圖； 圖10a為圖7b的局部細(xì)節(jié)放大圖； 圖l0b為圖7c的局部細(xì)節(jié)放大圖； 圖10c為圖7d的局部細(xì)節(jié)放大圖； 圖11a為圖8b的局部細(xì)節(jié)放大圖； 圖11b為圖8c的局部細(xì)節(jié)放大圖； 圖11c為圖8d的局部細(xì)節(jié)放大圖； 圖12a為“flamencol”多視點測試集的采用本發(fā)明未經(jīng)精煉的校正圖像； 圖12b為“flamencol”多視點測試集的最小可察覺變化步長示意圖； 圖12c為“flamencol”多視點測試集的視覺敏感區(qū)域示意圖； 圖12d為“flamencol”多視點測試集的采用本發(fā)明經(jīng)精煉的校正圖像； 圖13a為“fuzzy”多視點測試集的采用本發(fā)明未經(jīng)精煉的校正圖像； 圖13b為“fuzzy”多視點測試集的最小可察覺變化步長示意圖； 圖13c為“fuzzy”多視點測試集的視覺敏感區(qū)域示意圖； 圖13d為“fuzzy”多視點測試集的采用本發(fā)明經(jīng)精煉的校正圖像； 圖14a為“rena”多視點測試集的采用本發(fā)明未經(jīng)精煉的校正圖像； 圖14b為“rena”多視點測試集的最小可察覺變化步長示意圖； 圖14c為“rena”多視點測試集的視覺敏感區(qū)域示意圖； 圖14d為“rena”多視點測試集的采用本發(fā)明經(jīng)精煉的校正圖像； 圖15為“flamencol”多視點測試集的采用本發(fā)明未經(jīng)精煉和經(jīng)精煉的峰值信噪比比較結(jié)果； 圖16為“flamencol”多視點測試集的采用本發(fā)明未經(jīng)精煉和經(jīng)精煉的結(jié)構(gòu)相似度比較結(jié)果。

具體實施例方式 以下結(jié)合附圖實施例對本發(fā)明作進(jìn)一步詳細(xì)描述。
現(xiàn)有的各類顏色校正方法如區(qū)域匹配、特征匹配或直方圖匹配等并沒有充分考慮到人眼對亮度和色度的敏感型以及人眼對不同區(qū)域的關(guān)注程度，而是對不同的視覺感知區(qū)域采用了相同的映射關(guān)系，這樣會導(dǎo)致校正圖像在主觀視覺上存在較大的偏差。然而，實際上對圖像最終結(jié)果進(jìn)行評價的主體是人眼，圖像的主觀感知實驗表明，人眼對圖像的感知是有局限性、非均勻性和非線性的，它對圖像中的一些變化是不能感知的，但對圖像中若干顯著對象區(qū)域卻很注意。人眼不能感知的變化稱為人眼的屏蔽效應(yīng)，人眼只能察覺超過某一閾值的噪聲，該閾值就是最小可察覺變化步長(Just NoticeableDifference，JND)。而人眼對若干顯著對象區(qū)域卻很注意的生理感知過程可用視覺注意力(Visual Attention，VA)來描述。人眼的視覺特性常用JND模型和VA模型來表征。
基于上述分析，本發(fā)明提出了一種基于視覺感知的多視點圖像顏色校正方法，流程如圖3所示，該顏色校正方法包括以下步驟 ①將同一時刻由多視點平行相機(jī)系統(tǒng)拍攝的多視點圖像中的一個視點圖像定義為目標(biāo)圖像，記為T，而將其它視點圖像定義為源圖像，記為S，定義目標(biāo)圖像T的平面坐標(biāo)系為x′y′平面坐標(biāo)系，定義源圖像S的平面坐標(biāo)系為xy平面坐標(biāo)系，記目標(biāo)圖像T中的所有像素點構(gòu)成的集合為{(T)P(x1′，y1′)}，記源圖像S中的所有像素點構(gòu)成的集合為{(S)P(x1，y1)}。
②分別提取目標(biāo)圖像T的顯著性分布圖和源圖像S的顯著性分布圖，記目標(biāo)圖像T的顯著性分布圖為{(T)S}，記源圖像S的顯著性分布圖為{(S)S}。
視覺注意力線索研究主要分為兩個方面自頂向下(Top-down)的注意力線索和自底向上(Bottom-up)的注意力線索，其中自頂向下的注意力線索主要來自復(fù)雜的心理過程，而自底向上的注意力線索主要來自視頻場景的視覺特征因素對視皮層引起的直接刺激，自底向上的視覺注意力模型，通過從輸入圖像中提取圖像亮度、色度和方向的特征，然后分析、融合得到顯著性分布圖。通過分析，本發(fā)明方法提出的源圖像S的顯著性分布圖{(S)S}的提取過程如下 ②-1、在xy平面坐標(biāo)系中，通過雙高斯差算子D(x1，y1，σ1，σ2)＝(G(x1，y1，σ1)-G(x1，y1，σ2))*I(x1，y1)，計算得到源圖像S中的各個像素點(S)P(x1，y1)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值D(x1，y1，σ1，σ2)，其中，符號“*”表示卷積操作符號，σ1和σ2均為尺度空間因子，σ1＞σ2，G(x1，y1，σ1)和G(x1，y1，σ1)均為二維高斯函數(shù)，x1和y1分別為源圖像S中的各個像素點(S)P(x1，y1)的橫坐標(biāo)和縱坐標(biāo)，I(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的像素值。在本實施例中，尺度空間因子σ1可取無窮大，σ2可取1，實際應(yīng)用過程中，只需保證兩個尺度空間因子的差值的絕對值較大即可，當(dāng)兩者相差較大時，能夠保留較多的源圖像的高頻信息，并能夠去除高頻信息中的高頻噪聲和細(xì)紋理。
②-2、將源圖像S的所有像素點在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值構(gòu)成的圖像作為源圖像S對應(yīng)的響應(yīng)值圖像。
②-3、提取源圖像S中的各個像素點(S)P(x1，y1)的亮度分量、第一色度分量和第二色度分量，計算源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量，記為Iμ，Iμ＝[Yμ，Uμ，Vμ]，其中，Yμ表示源圖像S中的所有像素點的亮度分量，Uμ表示源圖像S中的所有像素點的第一色度分量，Vμ表示源圖像S中的所有像素點的第二色度分量；提取源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的亮度分量、第一色度分量和第二色度分量，計算源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量，記為Iωhc(x1，y1)，Iωhc(x1，y1)＝[Yωhc(x1，y1)，Uωhc(x1，y1)，Vωhc(x1，y1)]，其中，Yωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的亮度分量，Uωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第一色度分量，Vωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第二色度分量；根據(jù)源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量Iμ和源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量Iωhc(x1，y1)，計算源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值，記為(S)S(x1，y1)，(S)S(x1，y1)＝||Iμ-Iωhc(x1，y1)||，其中，符號“||||”表示歐式距離計算符號。
②-4、將源圖像S中的所有像素點的顯著性分布值構(gòu)成的分布圖作為源圖像S的顯著性分布圖{(S)S}。
在此，對目標(biāo)圖像T的顯著性分布圖{(T)S}的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的顯著性分布圖{(S)S}相同的操作。
③利用期望最大算法分別估計目標(biāo)圖像T的顯著性分布圖{(T)S}和源圖像S的顯著性分布圖{(S)S}的高斯混合模型，記目標(biāo)圖像T的顯著性分布圖{(T)S}的高斯混合模型為(T)Θ，記源圖像S的顯著性分布圖{(S)S}的高斯混合模型為(S)Θ，其中，K表示高斯混合模型中高斯分量的總個數(shù)，ωi表示第i個高斯分量的加權(quán)系數(shù)，μi表示第i個高斯分量的均值，σi表示第i個高斯分量的標(biāo)準(zhǔn)差。
④根據(jù)目標(biāo)圖像T的顯著性分布圖{(T)S}及顯著性分布圖{(T)S}的高斯混合模型(T)Θ，提取目標(biāo)圖像T的視覺注意力區(qū)域，根據(jù)源圖像S的顯著性分布圖{(S)S}及顯著性分布圖{(S)S}的高斯混合模型(S)Θ，提取源圖像S的視覺注意力區(qū)域。
在此，源圖像S的視覺注意力區(qū)域的提取過程為 ④-1、在xy平面坐標(biāo)系中，對于源圖像S中的各個像素點(S)P(x1，y1)，通過最大化概率密度函數(shù)分別獲取各個像素點屬于高斯混合模型(S)Θ中的第i個高斯分量的分類標(biāo)記，記為(S)γ(x1，y1)，其中，1≤i≤K，(S)γ(x1，y1)∈[1，K]，Γ表示高斯混合模型(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，

表示最大化概率密度函數(shù)，

表示源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值(S)S(x1，y1)屬于高斯混合模型(S)Θ中的第i個高斯分量的概率。
④-2、將源圖像S中屬于高斯混合模型(S)Θ中的第i個高斯分量的所有像素點構(gòu)成的區(qū)域作為源圖像S的第i個視覺注意力區(qū)域。
在此，目標(biāo)圖像T的視覺注意力區(qū)域的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的視覺注意力區(qū)域相同的操作。
⑤通過視差匹配方法獲取源圖像S中的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點(T)P(x1′，y1′)，并獲取目標(biāo)圖像T中的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)，然后通過雙向校驗從源圖像S到目標(biāo)圖像T的視差和從目標(biāo)圖像T到源圖像S的視差，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為最佳候選匹配的像素點對，再通過判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，即判斷像素點(T)P(x1′，y1′)的分類標(biāo)記(T)γ(x1′，y1′)與像素點(S)P(x1，y1)的分類標(biāo)記(S)γ(x1，y1)是否相同，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為匹配的像素點對； 在此，視差匹配方法的具體過程為 ⑤-1、記目標(biāo)圖像T和源圖像S中匹配的像素點對構(gòu)成的集合為{(T)P(x1′，y1′)，(S)P(x1，y1)}，分別確定源圖像S與目標(biāo)圖像T中的最大水平和垂直視差搜索范圍。
⑤-2、對于源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)，首先在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)獲取與源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)匹配的所有像素點，其次由于提取的目標(biāo)圖像T的視覺注意力區(qū)域和源圖像S的視覺注意力區(qū)域之間并不存在必然的聯(lián)系，為了獲取源圖像S中的像素點(S)P(x1，y1)在目標(biāo)圖像T中屬于相同視覺注意力區(qū)域的最佳候選匹配像素點，在源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點確定N×N窗口，在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的各個像素點為左上角像素點分別確定N×N窗口，分別計算像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，記為MRSAD，其中，(S)Y(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的亮度分量，(T)Y(x1′，y1′)表示目標(biāo)圖像T中的各個像素點(T)P(x1′，y1′)的亮度分量，μ1表示源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，μ1′表示目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的像素點為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，N為窗口的大小。由于窗口大小N與目標(biāo)圖像T和源圖像S匹配的像素點對的質(zhì)量有關(guān)，窗口大小N可取4、8和16，如果窗口大小N過大或過小均不能獲得較為精確的匹配，經(jīng)過大量實驗表明當(dāng)N＝8時匹配的結(jié)果較為精確。
⑤-3、根據(jù)計算得到的像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，獲取所有匹配成本中的最小匹配成本，將該最小匹配成本對應(yīng)的目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)作為源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點。
⑤-4、對于目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)，以與獲取源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點相同的方法，獲取目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)。
⑤-5、將從源圖像S到目標(biāo)圖像T的視差記為dsou→tar，dsou→tar＝(x1′-x1，y1′-y1)，將從目標(biāo)圖像T到源圖像S的視差記為dtar→sou，dtar→sou＝(x2-x1′，y2-y1′)，對dsou→tar和dtar→sou進(jìn)行雙向校驗，判斷|dsou→tar+dtar→sou|＜2是否成立，如果成立，則確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為最佳候選匹配的像素點對，否則，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非最佳候選匹配的像素點對，并對該像素點對不進(jìn)行處理。
⑤-6、判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，即判斷像素點(T)P(x1′，y1′)的分類標(biāo)記(T)γ(x1′，y1′)與像素點(S)P(x1，y1)的分類標(biāo)記(S)γ(x1，y1)是否相同，如果是，則確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的像素點對，否則，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非匹配的像素點對，并對該像素點對不進(jìn)行處理。
⑥根據(jù)所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))的亮度分量、第一色度分量和第二色度分量，通過線性回歸算法計算得到第i個視覺注意力區(qū)域的校正矩陣，記為其中，Ω表示所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))構(gòu)成的集合，(T)Iq(x1′，y1′)表示目標(biāo)圖像T的像素點(T)P(x1′，y1′)的第q個分量的像素值，第1個分量為亮度分量，第2個分量為第一色度分量，第3個分量為第二色度分量，ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量。
⑦采用線性加權(quán)方法獲取源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣，記為

其中，q＝1，2，3，βi(x1，y1)為加權(quán)系數(shù)，其值通過計算源圖像S的像素點(S)P(x1，y1)屬于第i個視覺注意力區(qū)域的概率得到，其中，1≤i≤K。
⑧利用源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣

對源圖像S的各個像素點(S)P(x1，y1)的第q個分量進(jìn)行顏色校正，得到顏色校正處理后的校正圖像，記顏色校正處理后的校正圖像的像素點為(C)P(x1，y1)，記顏色校正處理后的校正圖像的各個像素點(C)P(x1，y1)的第q個分量的像素值為(C)Iq(x1，y1)，其中，ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量，q＝1，2，3。
為得到更為精確的校正圖像，可對上述顏色校正處理后的校正圖像進(jìn)行精練后處理，精練后處理的處理過程為 a.采用最小可察覺變化步長模型獲取源圖像S的像素點(S)P(x1，y1)的最小可察覺變化步長門限，記為JND(x1，y1)； b.計算源圖像S的像素點(S)P(x1，y1)的第一個分量與顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量的殘差值，記為dis，dis＝|(S)Y(x1，y1)-(C)Y(x1，y1)|，其中，(S)Y(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第一個分量，(C)Y(x1，y1)表示顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量； c.判斷dis≤η×JND(x1，y1)是否成立，如果是，則認(rèn)為源圖像S的像素點(S)P(x1，y1)為視覺敏感的像素點，否則，認(rèn)為源圖像S的像素點(S)P(x1，y1)為非視覺敏感的像素點，其中，η為控制因子，η∈
，η過大或過小都會影響所提取的視覺敏感區(qū)域的精確性，因此選取η時應(yīng)綜合考慮，經(jīng)實驗表明η＝0.6時提取的視覺敏感區(qū)域的精確度最好； d.將由所有視覺敏感的像素點構(gòu)成的區(qū)域作為源圖像S的視覺敏感區(qū)域； e.采用與步驟⑤相同的操作獲取所有屬于視覺敏感區(qū)域的目標(biāo)圖像T和顏色校正處理后的校正圖像匹配的像素點對((T)P(x1′，y1′)，(C)P(x1，y1))； f.采用與步驟⑥相同的操作計算源圖像S的視覺敏感區(qū)域的校正矩陣，然后以該校正矩陣對顏色校正處理后的校正圖像中屬于視覺敏感區(qū)域的像素點(C)P(x1，y1)的第q個分量進(jìn)行進(jìn)一步顏色校正，得到精練后的校正圖像。
以下就本發(fā)明進(jìn)行多視點圖像顏色校正的主觀和客觀性能比較。
對由KDDI公司提供的“flamencol”、Nagoya大學(xué)提供的“fuzzy”，“rena”三組多視點視頻測試集采用本發(fā)明的多視點圖像顏色校正方法進(jìn)行顏色校正。圖4a、圖4b和圖4c分別給出了“flamencol”多視點測試集的源圖像的顯著性分布圖、顯著性分布圖的直方圖和顯著性分布圖的高斯混合模型，根據(jù)該高斯混合模型得到高斯分量的個數(shù)為2個。圖5a、圖5b和圖5c分別給出了“flamencol”多視點測試集的源圖像、第1個視覺注意力區(qū)域和第2個視覺注意力區(qū)域。從圖4a至圖5c中可以看出，經(jīng)期望最大算法估計得到的高斯混合模型能很好地擬合顯著性分布圖的分布趨勢，說明本發(fā)明方法中的高斯混合模型的估計方法是可行有效地，且為視覺注意力區(qū)域的提取提供了有效的保障。
圖6a、圖7a和圖8a分別給出了“flamencol”，“fuzzy”和“rena”多視點測試集的目標(biāo)圖像，圖6b、圖7b和圖8b分別給出了“flamencol”，“fuzzy”和“rena”多視點測試集的源圖像，其中“flamencol”目標(biāo)圖像和源圖像大小均為320×240，“fuzzy”和“rena”目標(biāo)圖像和源圖像大小均為640×480。“flamencol”多視點視頻測試集的最大水平和垂直視差搜索范圍為30和5，“fuzzy”多視點視頻測試集的最大水平和垂直視差搜索范圍為20和0，“rena”多視點視頻測試集的最大水平和垂直視差搜索范圍為20和0。圖6b、圖7b和圖8b所示的源圖像中的各個像素點的各個分量(亮度分量、第一色度分量及第二色度分量)的校正矩陣不采用線性加權(quán)時，最終獲得的校正圖像分別如圖6c、圖7c和圖8c所示，而采用本發(fā)明進(jìn)行顏色校正處理后得到的校正圖像如圖6d、圖7d和圖8d所示。圖9a、圖9b和圖9c分別為圖6b、圖6c和圖6d的局部細(xì)節(jié)放大圖，圖10a、圖10b和圖10c分別為圖7b、圖7c和圖7d的局部細(xì)節(jié)放大圖，圖11a、圖11b和圖11c分別為圖8b、圖8c和圖8d的局部細(xì)節(jié)放大圖。從圖6d、圖7d、圖8d及圖9a至圖11c可以看出，采用本發(fā)明顏色校正處理后得到的校正圖像其顏色外表與目標(biāo)圖像非常相近，并且本發(fā)明方法能夠較好地消除圖6c、圖7c和圖8c中存在的邊緣失真現(xiàn)象。
圖12a、圖13a和圖14a分別給出了“flamencol”，“fuzzy”和“rena”采用本發(fā)明未經(jīng)精煉后處理的校正圖像，圖12b、圖13b和圖14b分別給出了“flamencol”，“fuzzy”和“rena”的最小可察覺變化步長示意圖，圖12c、圖13c和圖14c分別給出了“flamencol”，“fuzzy”和“rena”的視覺敏感區(qū)域示意圖，圖12c、圖13c和圖14c中黑色區(qū)域表示提取的視覺敏感區(qū)域，圖12d、圖13d和圖14d分別給出了“flamencol”，“fuzzy”和“rena”采用本發(fā)明經(jīng)精煉后處理后得到的校正圖像，對比圖12a與圖12d、對比圖13a與圖13d及對比圖14a與14d，可以看出經(jīng)精煉后處理和未經(jīng)精煉的校正圖像，主觀視覺差別并不是很大。
為了客觀說明本發(fā)明未經(jīng)精煉處理和經(jīng)精煉后處理得到的校正圖像的差別，將采用現(xiàn)有的全局校正方法進(jìn)行顏色校正后的圖像作為基準(zhǔn)圖像，與采用本發(fā)明進(jìn)行顏色校正后的圖像進(jìn)行比較。圖15給出了本發(fā)明未經(jīng)精煉和經(jīng)精煉后處理的峰值信噪比(PeakSignal to Noise Ratio，PSNR)比較結(jié)果，圖16給出了本發(fā)明未經(jīng)精煉和經(jīng)精煉后處理的結(jié)構(gòu)相似度(Structural Similarity Image Metric，SSIM)比較結(jié)果。從峰值信噪比和結(jié)構(gòu)相似度的比較結(jié)果可以看出，本發(fā)明經(jīng)精煉后處理后，大大提高了PSNR和SSIM的性能，說明本發(fā)明方法中采用的精煉后處理方法是可行有效的。
權(quán)利要求
1.一種基于視覺感知的多視點圖像顏色校正方法，其特征在于包括以下步驟
①將同一時刻由多視點平行相機(jī)系統(tǒng)拍攝的多視點圖像中的一個視點圖像定義為目標(biāo)圖像，記為T，而將其它視點圖像定義為源圖像，記為S，定義目標(biāo)圖像T的平面坐標(biāo)系為x′y′平面坐標(biāo)系，定義源圖像S的平面坐標(biāo)系為xy平面坐標(biāo)系，記目標(biāo)圖像T中的所有像素點構(gòu)成的集合為{(T)P(x1′，y1′)}，記源圖像S中的所有像素點構(gòu)成的集合為{(s)P(x1，y1)}；
②分別提取目標(biāo)圖像T的顯著性分布圖和源圖像S的顯著性分布圖，記目標(biāo)圖像T的顯著性分布圖為{(T)S}，記源圖像S的顯著性分布圖為{(S)S}；
③利用期望最大算法分別估計目標(biāo)圖像T的顯著性分布圖{(T)S}和源圖像S的顯著性分布圖{(S)S}的高斯混合模型，記目標(biāo)圖像T的顯著性分布圖{(T))S}的高斯混合模型為(T)Θ，記源圖像S的顯著性分布圖{(S)S}的高斯混合模型為(S)Θ，其中，K表示高斯混合模型中高斯分量的總個數(shù)，ωi表示第i個高斯分量的加權(quán)系數(shù)，μi表示第i個高斯分量的均值，σi表示第i個高斯分量的標(biāo)準(zhǔn)差；
④根據(jù)目標(biāo)圖像T的顯著性分布圖{(T)S}及顯著性分布圖{(T)S}的高斯混合模型(T)Θ，提取目標(biāo)圖像T的視覺注意力區(qū)域，根據(jù)源圖像S的顯著性分布圖{(S)S}及顯著性分布圖{(S)S}的高斯混合模型(S)Θ，提取源圖像S的視覺注意力區(qū)域；
⑤通過視差匹配方法獲取源圖像S中的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點(T)P(x1′，y1′)，并獲取目標(biāo)圖像T中的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)，然后通過雙向校驗從源圖像S到目標(biāo)圖像T的視差和從目標(biāo)圖像T到源圖像S的視差，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為最佳候選匹配的像素點對，再通過判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，t1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))是否為匹配的像素點對；
⑥根據(jù)所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))的亮度分量、第一色度分量和第二色度分量，通過線性回歸算法計算得到第i個視覺注意力區(qū)域的校正矩陣，記為其中，Ω表示所有屬于第i個視覺注意力區(qū)域的匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))構(gòu)成的集合，(T)Iq(x1′，y1′)表示目標(biāo)圖像T的像素點(T)P(x1′，y1′)的第q個分量的像素值，第1個分量為亮度分量，第2個分量為第一色度分量，第3個分量為第二色度分量，ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量；
⑦采用線性加權(quán)方法獲取源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣，記為其中，q＝1，2，3，βi(x1，y1)為加權(quán)系數(shù)，其值通過計算源圖像S的像素點(S)P(x1，y1)屬于第i個視覺注意力區(qū)域的概率得到，其中，1≤i≤K；
⑧利用源圖像S的各個像素點(S)P(x1，y1)的第q個分量的校正矩陣
對源圖像S的各個像素點(S)P(x1，y1)的第q個分量進(jìn)行顏色校正，得到顏色校正處理后的校正圖像，記顏色校正處理后的校正圖像的像素點為(C)P(x1，y1)，記顏色校正處理后的校正圖像的各個像素點(C)P(x1，y1)的第q個分量的像素值為(C)Iq(x1，y1)，
其中，ψ＝[(S)I1(x1，y1)，(S)I2(x1，y1)，(S)I3(x1，y1)，1]，(S)I1(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第1個分量的像素值，第1個分量為亮度分量，(S)I2(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第2個分量的像素值，第2個分量為第一色度分量，(S)I3(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第3個分量的像素值，第3個分量為第二色度分量，q＝1，2，3。
2.根據(jù)權(quán)利要求1所述的一種基于視覺感知的多視點圖像顏色校正方法，其特征在于所述的步驟②中源圖像S的顯著性分布圖{(S)S}的提取過程為
②-1、在xy平面坐標(biāo)系中，通過雙高斯差算子D(x1，y1，σ1，σ2)＝(G(x1，y1，σ1)-G(x1，y1，σ2))*I(x1，y1)，計算得到源圖像S中的各個像素點(S)P(x1，y1)在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值D(x1，y1，σ1，σ2)，其中，符號“*”表示卷積操作符號，σ1和σ2均為尺度空間因子，σ1＞σ2，G(x1，y1，σ1)和G(x1，y1，σ2)均為二維高斯函數(shù)，x1和y1分別為源圖像S中的各個像素點(S)P(x1，y1)的橫坐標(biāo)和縱坐標(biāo)，I(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的像素值；
②-2、將源圖像S的所有像素點在尺度空間不同尺度下的雙高斯差算子的響應(yīng)值構(gòu)成的圖像作為源圖像S對應(yīng)的響應(yīng)值圖像；
②-3、提取源圖像S中的各個像素點(S)P(x1，y1)的亮度分量、第一色度分量和第二色度分量，計算源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量，記為Iμ，Iμ＝[Yμ，Uμ，Vμ]，其中，Yμ表示源圖像S中的所有像素點的亮度分量，Uμ表示源圖像S中的所有像素點的第一色度分量，Vμ表示源圖像S中的所有像素點的第二色度分量；提取源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的亮度分量、第一色度分量和第二色度分量，計算源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量，記為Iωhc(x1，y1)，Iωhc(x1，y1)＝[Yωhc(x1，y1)，Uωhc(x1，y1)，Vωhc(x1，y1)]，其中，Yωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的亮度分量，Uωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第一色度分量，Vωhc(x1，y1)表示源圖像S對應(yīng)的響應(yīng)值圖像中的像素點的第二色度分量；根據(jù)源圖像S中的所有像素點的亮度分量、第一色度分量和第二色度分量的平均特征向量Iμ和源圖像S對應(yīng)的響應(yīng)值圖像中的各個像素點的特征向量Iωhc(x1，y1)，計算源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值，記為(S)S(x1，y1)，(S)S(x1，y1)＝||Iμ-Iωhc(x1，y1)||，其中，符號“|| ||”表示歐式距離計算符號；
②-4、將源圖像S中的所有像素點的顯著性分布值構(gòu)成的分布圖作為源圖像S的顯著性分布圖{(S)S}；
所述的步驟②中對目標(biāo)圖像T的顯著性分布圖{(T)S}的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的顯著性分布圖{(S)S}相同的操作。
3.根據(jù)權(quán)利要求1或2所述的一種基于視覺感知的多視點圖像顏色校正方法，其特征在于所述的步驟④中源圖像S的視覺注意力區(qū)域的提取過程為
④-1、在xy平面坐標(biāo)系中，對于源圖像S中的各個像素點(S)P(x1，y1)，通過最大化概率密度函數(shù)分別獲取各個像素點屬于高斯混合模型(S)Θ中的第i個高斯分量的分類標(biāo)記，記為(S)γ(x1，y1)，其中，1≤i≤K，(S)γ(x1，y1)∈[1，K]，Γ表示高斯混合模型(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，
[]表示最大化概率密度函數(shù)，
表示源圖像S中的各個像素點(S)P(x1，y1)的顯著性分布值(S)S(x1，y1)屬于高斯混合模型(S)Θ中的第i個高斯分量的概率；
④-2、將源圖像S中屬于高斯混合模型(S)Θ中的第i個高斯分量的所有像素點構(gòu)成的區(qū)域作為源圖像S的第i個視覺注意力區(qū)域；
所述的步驟④中目標(biāo)圖像T的視覺注意力區(qū)域的提取，在x′y′平面坐標(biāo)系中采用與提取源圖像S的視覺注意力區(qū)域相同的操作。
4.根據(jù)權(quán)利要求3所述的一種基于視覺感知的多視點圖像顏色校正方法，其特征在于所述的步驟⑤中視差匹配方法的具體過程為
⑤-1、記目標(biāo)圖像T和源圖像S中匹配的像素點對構(gòu)成的集合為{(T)P(x1′，y1′)，(S)P(x1，y1)}，分別確定源圖像S與目標(biāo)圖像T中的最大水平和垂直視差搜索范圍；
⑤-2、對于源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)，首先在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)獲取與源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)匹配的所有像素點，其次在源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點確定N×N窗口，在目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的各個像素點為左上角像素點分別確定N×N窗口，分別計算像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，記為MTSAD ，其中，(S)Y(x1，y1)表示源圖像S中的各個像素點(S)P(x1，y1)的亮度分量，(T)Y(x1′，y1′)表示目標(biāo)圖像T中的各個像素點(T)P(x1′，y1′)的亮度分量，μ1表示源圖像S中的最大水平和垂直視差搜索范圍內(nèi)以像素點(S)P(x1，y1)為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，μ1′表示目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)以與像素點(S)P(x1，y1)匹配的像素點為左上角像素點的N×N窗口中的所有像素點的亮度分量的均值，N為窗口的大小；
⑤-3、根據(jù)計算得到的像素點(S)P(x1，y1)與與其匹配的各個像素點在N×N窗口內(nèi)的匹配成本，獲取所有匹配成本中的最小匹配成本，將該最小匹配成本對應(yīng)的目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)作為源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點；
⑤-4、對于目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)，以與獲取源圖像S中的最大水平和垂直視差搜索范圍內(nèi)的像素點(S)P(x1，y1)在目標(biāo)圖像T上的最佳候選匹配像素點相同的方法，獲取目標(biāo)圖像T中的最大水平和垂直視差搜索范圍內(nèi)的像素點(T)P(x1′，y1′)在源圖像S上的最佳候選匹配像素點(S)P(x2，y2)；
⑤-5、將從源圖像S到目標(biāo)圖像T的視差記為dsou→tar，dsou→tar＝(x1′-x1，y1′-y1)，將從目標(biāo)圖像T到源圖像S的視差記為dtar→sou，dtar→sou＝(x2-x1′，y2-y1′)，對dsou→tar和dtar→sou進(jìn)行雙向校驗，判斷|dsou→tar+dtar→sou|＜2是否成立，如果成立，則確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為最佳候選匹配的像素點對，否則，確定像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非最佳候選匹配的像素點對，并對該像素點對不進(jìn)行處理；
⑤-6、判斷最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))中的像素點(T)P(x1′，y1′)和像素點(S)P(x1，y1)是否屬于相同的視覺注意力區(qū)域，如果是，則確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為匹配的像素點對，否則，確定最佳候選匹配的像素點對((T)P(x1′，y1′)，(S)P(x1，y1))為非匹配的像素點對，并對該像素點對不進(jìn)行處理。
5.根據(jù)權(quán)利要求4所述的一種基于視覺感知的多視點圖像顏色校正方法，其特征在于對顏色校正處理后的校正圖像進(jìn)行精練后處理，精練后處理的處理過程為
a.采用最小可察覺變化步長模型獲取源圖像S的像素點(S)P(x1，y1)的最小可察覺變化步長門限，記為JND(x1，y1)；
b.計算源圖像S的像素點(S)P(x1，y1)的第一個分量與顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量的殘差值，記為dis，dis＝|(S)Y(x1，y1)-(C)Y(x1，y1)|，其中，(S)Y(x1，y1)表示源圖像S的像素點(S)P(x1，y1)的第一個分量，(C)Y(x1，y1)表示顏色校正處理后的校正圖像的像素點(C)P(x1，y1)的第一個分量；
c.判斷dis≤η×JND(x1，y1)是否成立，如果是，則認(rèn)為源圖像S的像素點(S)P(x1，y1)為視覺敏感的像素點，否則，認(rèn)為源圖像S的像素點(S)P(x1，y1)為非視覺敏感的像素點，其中，η為控制因子，η∈
；
d.將由所有視覺敏感的像素點構(gòu)成的區(qū)域作為源圖像S的視覺敏感區(qū)域；
e.采用與步驟⑤相同的操作獲取所有屬于視覺敏感區(qū)域的目標(biāo)圖像T和顏色校正處理后的校正圖像匹配的像素點對((T)P(x1′，y1′)，(C)P(x1，y1))；
f.采用與步驟⑥相同的操作計算源圖像S的視覺敏感區(qū)域的校正矩陣，然后以該校正矩陣對顏色校正處理后的校正圖像中屬于視覺敏感區(qū)域的像素點(C)P(x1，y1)的第q個分量進(jìn)行進(jìn)一步顏色校正，得到精練后的校正圖像。
6.根據(jù)權(quán)利要求5所述的一種基于視覺感知的多視點圖像顏色校正方法，其特征在于所述的控制因子η＝0.6。
全文摘要
本發(fā)明公開了一種基于視覺感知的多視點圖像顏色校正方法，首先提取目標(biāo)圖像和源圖像的顯著性分布圖，并通過估計高斯混合模型提取出目標(biāo)圖像和源圖像的視覺注意力區(qū)域，利用視差匹配算法獲得源圖像和目標(biāo)圖像精確匹配的像素點對集合，通過線性回歸算法得到各視覺注意力區(qū)域的校正矩陣，并采用線性加權(quán)得到最終的校正矩陣，最后對校正圖像的視覺敏感性區(qū)域進(jìn)行進(jìn)一步的精煉，優(yōu)點在于本發(fā)明在保證多視點圖像顏色校正精確性的同時，提高了顏色校正方法的魯棒性以及校正圖像的視覺舒適度。
文檔編號H04N9/64GK101729911SQ200910155730
公開日2010年6月9日 申請日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者邵楓, 郁梅, 蔣剛毅 申請人:寧波大學(xué)