專利名稱：半自動3d立體像差光標(biāo)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻測試和測量儀器，并且更特別地涉及用于三維(3D)圖像的像差(disparity)測量。
背景技術(shù)：
相關(guān)申請的交叉引用
本申請要求2011年4月8日提交的標(biāo)題為“SEMI-AUTOMATIC 3D STEREOSCOPICDISPARITY⑶RS0R”的美國臨時專利申請No. 61/473，396的權(quán)益，其被結(jié)合在此以作參考。現(xiàn)有技術(shù)的立體3D測量方法利用下列方法中的ー種或多種來確定左(L)與右(R) 眼圖像的對應(yīng)圖像片段之間的水平偏移(也被稱作“像差”或“像素偏移”)
O找到同時在L和R圖像中的對應(yīng)圖像分量，并且測量與圖像的任一邊緣的水平位置的像素的差。所得到的差就是像素像差。2)利用第一水平可調(diào)節(jié)垂直線來標(biāo)記ー個圖像(L或R)上的圖像片段，并且然后利用第二水平可調(diào)節(jié)垂直線來標(biāo)記另ー圖像中的對應(yīng)圖像片段。讀出于是指示每條垂直線的水平偏移的差以作為像差。可以通過下列方法中的一種或多種來增強(qiáng)對于上述方法的使用，以把L和R圖像組合成單個圖像以允許如上面的方法中那樣但是僅僅利用單個圖像來測量像差
I)把兩個圖像相減(L-R或R-L)以產(chǎn)生差圖像，其中像差和邊緣強(qiáng)度產(chǎn)生非零差以更容易地識別出用于像差測量的圖像片段。2)把所述圖像相加(或者原樣相加，或者利用邊緣增強(qiáng)或檢測)以產(chǎn)生雙圖像，以便更容易地識別出用于像差測量的圖像片段。3)如在立體影像(anaglyph) 3D中那樣將L和R圖像偽色化以產(chǎn)生L和R的疊加圖像，其中彩色邊紋由于像差而更容易標(biāo)識出圖像片段偏移。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例提供用于容易地測量處于測試中的3D圖像的所選區(qū)域內(nèi)的像差的“像差光標(biāo)”。在操作中，用戶利用鼠標(biāo)、鍵盤、或其他用戶接ロ設(shè)備將限定像差光標(biāo)的窗ロ放置在處于測試中的3D圖像的所選區(qū)域之上。隨后自動地計(jì)算在所述窗口內(nèi)包含的圖像片段的平均像差值，并且將其報告給用戶。當(dāng)結(jié)合所附權(quán)利要求書和附圖閱讀時，本發(fā)明的目的、優(yōu)點(diǎn)、以及其他新穎特征通過下面的詳細(xì)描述而變得顯而易見。


圖I描繪根據(jù)本發(fā)明ー個實(shí)施例的具有像差光標(biāo)的視頻測試和測量儀器的第一顯示視圖。圖2描繪根據(jù)本發(fā)明ー個實(shí)施例的具有像差光標(biāo)的視頻測試和測量儀器的第二顯示視圖。圖3描繪根據(jù)本發(fā)明ー個實(shí)施例的具有像差光標(biāo)的視頻測試和測量儀器的第三顯示視圖。
圖4描繪附錄中的左圖像，其中光標(biāo)在盒子上。
圖5描繪附錄中的右圖像，其中光標(biāo)在盒子上。
圖6描繪對應(yīng)于每種偏移方法的作為偏移值(像差)的函數(shù)的累計(jì)值的曲線圖。
圖7描繪利用最佳偏移的差窗ロ的左-右的絕對值，其中Dx = -11。
具體實(shí)施例方式本發(fā)明的實(shí)施例提供用于容易地測量處于測試中的3D圖像的所選區(qū)域內(nèi)的像差 的“像差光標(biāo)”。在操作中，用戶利用鼠標(biāo)、鍵盤、或其他用戶接ロ設(shè)備將限定像差光標(biāo)的窗ロ放置在處于測試中的3D圖像的所選區(qū)域之上。隨后自動地計(jì)算在所述窗口內(nèi)包含的圖像片段的平均像差值，并且將其報告給用戶?？梢砸愿鞣N方式報告平均像差，例如通過將其顯示在數(shù)值讀出中，通過改變像差光標(biāo)的外觀(下面將更詳細(xì)地描述)等等?？梢杂孟袼鼗蚱渌麉g位來報告平均像差。這于是實(shí)現(xiàn)了對于局部化像差的半自動測量，從而用戶通過視覺的方式選擇將要測量的立體圖像對的圖像片段或分量。在一些實(shí)施例中，像差光標(biāo)的外觀被改變以提供窗ロ內(nèi)的平均像差的視覺指示。舉例來說，可以用指示平均像差值的顏色來填充所述窗ロ。在一些實(shí)施例中，像差光標(biāo)的外觀被改變以提供平均像差值的估計(jì)的質(zhì)量的視覺指示。舉例來說，可以用表示經(jīng)偏移的L和R圖像的差的絕對值的圖像來填充所述窗ロ，從而提供最優(yōu)偏移的估計(jì)的良好程度的指示(下面將更詳細(xì)地描述)。在一些實(shí)施例中，像差光標(biāo)被覆蓋在作為L與R的組合的單個圖像上，其中該單個圖像例如是通過上面討論的方法之ー產(chǎn)生的。在其他實(shí)施例中，使用兩個完全相同的像差光標(biāo)(ー個在L圖像上，并且ー個在R圖像上)，以共同定位將在其中測量像差的所期望的圖像片段?？梢砸愿鞣N方式計(jì)算平均像差。在一些實(shí)施例中，通過把由像差光標(biāo)限定的左圖像和右圖像相對于彼此偏移直到這兩個圖像之間的差被最小化來確定平均像差值。下面是這樣的捜索算法的實(shí)例
I)從包含在窗ロ內(nèi)的像素產(chǎn)生兩個像素陣列，ー個來自L圖像亮度(Ly)，以及另ー個來自R圖像亮度(Ry)。如果期望的話，可以從Luma (Y)或R、G或B分量中提取這兩個陣列。毎次移動窗ロ時，陣列Ly和Ry就被更新。2)陣列之一被水平地偏移(或者可替換地對于垂直像差被垂直地偏移)，同時對于給定偏移值計(jì)算每個像素之間的差的絕對值，并且隨后把所述窗口中的所有像素的差累計(jì)成對應(yīng)于該偏移的單個值。這可以通過將Ly偏移跨過Ry或者將Ry偏移跨過Ly或者全部二者來實(shí)現(xiàn)。可替換地，不是累計(jì)像素差的絕對值，而是可以進(jìn)行像素差平方的累計(jì)或均值或者某種其他方法來找到偏移值的最優(yōu)估計(jì)。對于像差捜索范圍內(nèi)的所有水平偏移值都進(jìn)行這ー操作。3)所使用的產(chǎn)生所述差的最小累計(jì)絕對值的偏移于是指示對于包含在所述窗ロ內(nèi)的像素的像差的最佳匹配。
優(yōu)選的是，在相反方向上執(zhí)行相同數(shù)量的兩個偏移(即Ly跨過Ry，并且隨后Ry跨過Ly)，并且隨后找到所述差的所得到的累計(jì)絕對值的乘積的最小值，正如步驟2中那樣。所使用的具有最小乘積的偏移變?yōu)樗甘镜南癫?，正如上面的步驟3中那樣。還優(yōu)選的是，對于具有最小累計(jì)值的所指示的偏移，在覆蓋圖像的所述窗口內(nèi)指示從上面的步驟2所得到的像素差。這樣用戶就具有關(guān)于在步驟3中指示的值的有用程度的反饋。所附的附錄說明利用了 Mathcad編程語言的上述方法的實(shí)施。圖I描繪根據(jù)本發(fā)明ー個實(shí)施例的具有像差光標(biāo)的視頻測試和測量儀器的顯示。所述顯示被劃分成四個貼片(tile)，其中左上貼片描繪處于測試中的3D圖像的左圖像105，左下貼片描繪處于測試中的3D圖像的右圖像110，右下貼片描繪處于測試中的3D圖像的立體影像115，并且右上貼片描繪處于測試中的3D圖像的亮度差115。右上貼片還描繪位于樹的左邊緣的像差光標(biāo)125以及數(shù)值讀出130。 在圖I中，由像差光標(biāo)125定界的窗ロ跨越樹干的左側(cè)。讀出130指示，需要左圖像在右圖像上的-17像素的偏移以使窗口內(nèi)的內(nèi)容的差的絕對值達(dá)到最小值。像差光標(biāo)125內(nèi)的區(qū)域是黑色的，這指示經(jīng)偏移的L和R圖像的差的絕對值近似為零，或者換句話說，找到了良好的最小值。在圖2中，像差光標(biāo)125被移動到所述樹干的右側(cè)。再次，讀出130指示-17像素的像差，并且像差光標(biāo)125內(nèi)的區(qū)域是黑色的，這指示獲得了最優(yōu)偏移的良好估計(jì)。在圖3中，像差光標(biāo)125被移動到其位置比樹干進(jìn)ー步遠(yuǎn)離觀看者的樹枝?，F(xiàn)在，讀出130指示-10像素像差的值。再次，像差光標(biāo)125內(nèi)的區(qū)域是黑色的，這指示獲得了最優(yōu)偏移的良好估計(jì)。數(shù)值讀出可以位于所述顯示的任何部分中。在一些實(shí)施例中，所述讀出位于像差光標(biāo)附近或其內(nèi)，并且讀出的位置跟蹤像差光標(biāo)的移動。像差光標(biāo)可以是任何形狀。它可以是矩形的(如附圖中所示)、圓形的、不規(guī)則形狀
坐坐寸寸ο在一些實(shí)施例中，用戶例如可以通過“拖動”所述窗ロ的邊緣來調(diào)節(jié)像差光標(biāo)的尺寸和/或形狀。在其他實(shí)施例中，為用戶自動地確定像差光標(biāo)的尺寸和/或形狀，以便提供精確的像差測量。舉例來說，像差捜索算法可以調(diào)節(jié)窗ロ的尺寸以便獲得更尖銳的(sharp)最小值。在一些實(shí)施例中，在提取Ly和Ry窗ロ之前對所述兩個(L和R)亮度圖像進(jìn)行邊緣濾波，以便幫助像差捜索算法找到更尖鋭的最小值。所述邊緣濾波器可以是任何邊緣或梯度濾波器，比如Sobel濾波器、Roberts濾波器等等。像差光標(biāo)提供幾個優(yōu)點(diǎn)，比如
I)在處于測試中的圖像包含具有不同像差值的許多對象的情況下，可以調(diào)節(jié)窗ロ的形狀和/或尺寸以僅僅集中于將要測量的圖像片段。2)在用戶對處于測試中的圖像的僅僅特定片段內(nèi)的平均像差感興趣的情況下，用戶可以將窗ロ移動到該片段。3)在處于測試中的圖像包含其中像差測量將是無用的或不明確的區(qū)域的情況下，用戶可以將窗ロ移動到處于測試中的圖像的其中像差測量提供有意義的結(jié)果的那些部分。4)用戶可以在窗口內(nèi)看到對于所指示的偏移獲得了何種程度的圖像差。舉例來說，窗口內(nèi)的完全黒色區(qū)域指示，所指示的偏移導(dǎo)致了 Ly與Ry分量的幾乎完全的相減。在這里所描述的像差光標(biāo)可用于任何像差測量應(yīng)用，例如運(yùn)行諸如可以從Tektronix, Inc. of Beaverton, Oregon獲得的VQS1000視頻質(zhì)量分析軟件之類的軟件應(yīng)用的計(jì)算機(jī)。VQS1000視頻質(zhì)量分析軟件是用于體驗(yàn)質(zhì)量(QoE)監(jiān)視、網(wǎng)絡(luò)性能優(yōu)化、以及對于廣播遞送問題的遠(yuǎn)程的服務(wù)中診斷的有用工具。從前述的討論將認(rèn)識到，本發(fā)明代表了視頻測試和測量儀器領(lǐng)域內(nèi)的重要進(jìn)展。雖然出于說明的目的已經(jīng)示出并描述了本發(fā)明的特定實(shí)施例，但是將會理解，在不背離本發(fā)明的范圍和精神的情況下可以做出各種修改。因此，本發(fā)明應(yīng)當(dāng)只由所附權(quán)利要求書來限定。附錄· 給定具有相同光標(biāo)位置和尺寸的左圖像和右圖像
光標(biāo)尺寸M :.=:20 N =50 m =0, M - I η =0 N - I
光標(biāo)位置Y=SO
步驟I)對兩個圖像進(jìn)行濾波以銳化邊緣
I ο ο ο丨
h邊緣濾波器:he :=-1 ,3 I I-
I2
I1O O Oj
IJefte *= convolves (IJeft ,he) I_nghle = convobel (l_n^t ,he)
步驟2)創(chuàng)建每個經(jīng)濾波的圖像的窗ロ
Y + χ+ΜιΥ + Ε 步驟3)利用R的范圍在R上偏移L并在L上偏移R，并且累計(jì)每個窗ロ中的差的絕對值。偏移變量R= 25 r = O . R- I rr := I.. R
在 O, N-I 之間截取dpn(x) :=i(~A<iK0r4 φ(χ,Μ) '=if(x>N- I,N- l,dpn(x))
在右圖像之上偏移左圖像
M- I N- I
負(fù)像差—產(chǎn)J] X； I觀代N〉如十觀成m,n|
m = O η = O Μ - I N I
正像差=DLRiレ I ^ J] |WmRmidi(n+iiiN)(n + rr<N) - WmL^J m= O η = O
在左圖像之上偏移右圖像
M- IN- I
負(fù)像差DRLiw := ΣΣ 卜1V離-調(diào).(n-r>0)-WmLm,J
m= Oη = OM- I N- I
正像差DRLlW_ r= 2 2 I WMydか η.；Ν) (η - rr>0) - WmR^J m= O n= O
組合正和負(fù)像差以產(chǎn)生兩個向量DLR’= stack (DLRk DLRjODRL stack (DKLn, DRLp)
步驟4)繪制兩個向量并且確定對應(yīng)于最低最小值的偏移值(像差)
D :=Iet^gfh (DLR) D = 50 4 :=0. D- I找到最佳最小值的索引的捜索算法
Disp (PD,Th ) ；= I— Ietigth (PD) PDmm-1010 PDmacc^ O for I e O. I - I if PD^PDmti
PDnm — PD.
,.1 . I
2
HDmax — PD- if PD- >PDmax
inck^iff—— >Th,md,99l\PDmin + I/
捜索算法檢查每個偏移向量以找到具有最低最小值的ー個，并且使用該最小值的索引。它還檢查最大值與最小值的比以確保其超出閾值，以避免報告沒有明確定義的像差值。在最大值與最小值的比低于閾值的情況下，報告標(biāo)志值99。從乘積得到的最佳像差估計(jì)Djj := Digfj ((DLRDRL), 2.5)Dx = -! I
步驟5)利用所估計(jì)的像差(Dx)創(chuàng)建差的絕對值的窗ロ并且覆蓋在圖像之上。將它作為負(fù)像以增強(qiáng)覆蓋可見性。= 255-恥N)> -I .(η十 Dxポ)
將光標(biāo)定位在差圖像上=YJiff .= [ijeft- Lnght f= I^diff
Y Mk^, v '-cur tiff 一f 4 η - msn
權(quán)利要求
1.一種測試和測量儀器，包括 用于選擇處于測試中的三維圖像的區(qū)域的像差光標(biāo)；以及 用于向用戶報告所選區(qū)域的平均像差值的裝置。
2.如權(quán)利要求I所述的測試和測量儀器，其中，用于報告平均像差值的所述裝置包括數(shù)值讀出。
3.如權(quán)利要求I所述的測試和測量儀器，其中，用于報告平均像差值的所述裝置包括用于改變所述像差光標(biāo)的外觀的裝置。
4.如權(quán)利要求I所述的測試和測量儀器，還包括用于改變所述像差光標(biāo)的外觀以提供所述平均像差值的估計(jì)的質(zhì)量的視覺指示的裝置。·
5.如權(quán)利要求I所述的測試和測量儀器，其中，所述像差光標(biāo)被覆蓋在作為左圖像與右圖像的組合的單個圖像上。
6.如權(quán)利要求I所述的測試和測量儀器，其中，所述像差光標(biāo)包括兩個像差光標(biāo)，其中一個被覆蓋在左圖像上，以及另一個被覆蓋在右圖像上。
7.如權(quán)利要求I所述的測試和測量儀器，其中，所述像差光標(biāo)的尺寸和/或形狀由用戶規(guī)定。
8.如權(quán)利要求I所述的測試和測量儀器，其中，所述像差光標(biāo)的尺寸和/或形狀由所述測試和測量儀器為用戶確定。
9.如權(quán)利要求I所述的測試和測量儀器，其中，通過把由所述像差光標(biāo)限定的左圖像和右圖像相對于彼此偏移直到這兩個圖像之間的差被最小化，來確定所述平均像差值。
10.如權(quán)利要求9所述的測試和測量儀器，其中，對所述左圖像和右圖像進(jìn)行邊緣濾波，以便提供所述平均像差值的更精確的估計(jì)。
全文摘要
本發(fā)明公開了半自動3D立體像差光標(biāo)。本發(fā)明的實(shí)施例提供用于容易地測量處于測試中的3D圖像的所選區(qū)域內(nèi)的像差的“像差光標(biāo)”。在操作中，用戶利用鼠標(biāo)、鍵盤、或其他用戶接口設(shè)備將限定像差光標(biāo)的窗口放置在處于測試中的3D圖像的所選區(qū)域之上。隨后自動地計(jì)算在所述窗口內(nèi)包含的圖像片段的平均像差值，并且將其報告給用戶。
文檔編號H04N17/00GK102821299SQ20121009888
公開日2012年12月12日 申請日期2012年4月6日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者D.G.貝克, L.戈皮尚卡 申請人:特克特朗尼克公司