專利名稱：3d視頻分析的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于分析三維(3D)視頻素材(video material)的方法和裝置。
背景技術(shù)：
三維(3D)視頻電視最近已經(jīng)面向了消費者，并且預期3D設備和節(jié)目的量在接下來的幾年內(nèi)將快速增加。3D電視依賴于立體技術(shù)，即，圖像對(一對圖像)被對應的相機捕獲，該對應的相機橫向地相距(即，基本上在水平的圖像方向上)某一距離，例如用戶的眼睛的典型間距。圖像對因此表示同一場景中略微不同的視圖；一般而言，它們將包含場景內(nèi)的相同項目(偶爾在圖像的極端位置處會有例外)，但是兩幅圖像之間的項目的相對位置將取決于諸如相機對齊和該項目距相機布置的距離之類的因素。 當圖像被顯示時，以下要求是重要的用戶的每只眼睛(至少主要地)看著圖像對中對應的一個。實際上，這是通過各種方式實現(xiàn)的，例如通過用戶佩戴偏振的、時間復用或者顏色過濾的眼鏡，或者通過電視屏幕自身設有特殊的鏡頭裝置，該鏡頭裝置將兩幅圖像中的每一幅轉(zhuǎn)向到觀看者的對應的眼睛位置。其中，在3D電視技術(shù)中一般不使用早期在3D影院中通常嘗試的顏色過濾技術(shù)。返回到3D相機系統(tǒng)，圖像對中的每一個由獨立的相機捕獲，該獨立的相機具有其自身的鏡頭和圖像捕獲裝置(例如C⑶裝置)。但是，為了維持觀看者的3D錯覺，很重要的是每個圖像對的兩幅圖像在顯示器處相組合以給出以下印象觀看者正在通過與顯示屏幕一致的窗口觀看真實的3D屏幕。潛在的問題可能破壞這種錯誤，當具有負的視差的對象(也就是說，將被3D顯示器顯示為處于顯示屏幕的平面的前面的對象)離開相機，也就是說，離開顯示器時。該問題可能發(fā)生是因為對象在離開一只眼睛的圖像之前離開了另一只眼睛的圖像。在真實生活中，這種配置不會發(fā)生，因此在顯示器上看到該配置會打破觀看者正觀看3D場景的錯覺。當對象緩慢地向一側(cè)或者另一側(cè)離開屏幕時，這尤其是個問題。對象是否出現(xiàn)在屏幕的前面的問題取決于對象相對于相機會聚點的位置。因此，一種可能的解決方案是改變會聚點，以使得視圖中的所有對象都在屏幕的后面。另一種可能的解決方案是裁剪左圖像和右圖像以便從任一眼睛的視圖中去除對象。然而，這可能對圖像的藝術(shù)構(gòu)圖有其他顯著的和不期望的影響。第三種技術(shù)是僅裁剪一幅圖像，以便減少在該圖像中對象的出現(xiàn)而使得其匹配另一幅圖像。這被公知為將“浮動窗”或者“浮動裁剪”添加到圖像。利用浮動窗，左圖像和右圖像的邊緣根據(jù)哪些對象在屏幕的邊緣上或者接近屏幕的邊緣被動態(tài)裁剪。該性質(zhì)的臨時浮動窗的值是如果謹慎地實施該值，那么很有可能用戶甚至不能注意到它的存在。換句話說，如果沒有應用適當?shù)母哟?，但是對象在圖像的左側(cè)的邊緣或者右側(cè)的邊緣上，并且該對象在屏幕平面的前面，那么該圖像可能會顯得在一只眼睛中被不自然地截斷。例如，圖片的左側(cè)的邊緣上在屏幕前面的對象將顯得在右眼中被不自然地截斷。這是因為右眼將期望比左眼看到對象的更多部分，就像對象在屏幕周圍的窗口的后面。如前所述，場景中的對象的這種明顯不正確的截斷可能引起觀看者的不舒適感覺并且可能破壞3D感覺。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于表示場景的對應的左眼和右眼視圖的3D圖像對的圖像分析裝置，所述裝置包括圖像裁剪檢測器，該圖像裁剪檢測器被配置為檢測在所述圖像的一者的橫向邊緣上的圖像裁剪的存在；以及幀違規(guī)檢測器，該幀違規(guī)檢測器被配置為在排除了任何檢測到的圖像裁剪的圖像的區(qū)域內(nèi)檢測在右圖像中沒有找到的左圖像的左邊緣的閾值距離內(nèi)的圖像特征，或者在左圖像中沒有找到的右圖像的右邊緣的閾值距離內(nèi)的圖像特征。、本發(fā)明意圖檢測在3D視頻中的幀違規(guī)，但是認識到如果浮動窗已經(jīng)存在，則浮動窗自身可能被不正確地檢測為表示幀違規(guī)，因為它將被檢測為靠近圖像邊緣的具有負視差的圖像特征。本發(fā)明通過以下方式來解決該問題首先檢測構(gòu)成3D對的圖像的橫向邊緣上的圖像裁剪，然后在由任何檢測到的圖像裁剪限定的區(qū)域內(nèi)應用幀違規(guī)測試。本發(fā)明的另外的各個方面和特征在權(quán)利要求中定義。


現(xiàn)將僅通過示例的方式并參考如下的附圖描述
具體實施例方式圖I示意性地圖示了 3D相機系統(tǒng)圖2示意性地圖示了 3D視頻分析裝置；圖3示意性地圖示了 3D視頻分析裝置的另一實施例；圖4示意性地圖示了視頻處理器；圖5示意性地圖示了單元處理器；圖6是提供了關(guān)于接收到的3D (L/R)視頻信號的視頻處理器的操作的概況的示意圖；圖7示意性地圖示了深度檢測器和深度指南時間繪圖器；圖8是示意性示例圖像；圖9示意性地圖示了圖8的圖像的一部分；圖10示意性地圖示了顏色表示尺度；圖11示意性地圖示了深度直方圖；圖12示意性地圖示了直方圖歷史顯示；圖13示意性地圖示了巾貞違規(guī)(frame violation)情況；圖14示意性地圖示了關(guān)于接近3D圖像的左邊緣和右邊緣的正視差和負視差；圖15示意性地圖示了幀違規(guī)檢測器；圖16示意性地圖示了聚焦失配檢測器；圖17示意性地圖示了兩個對比度圖；以及
圖18示意性地圖示了局部對比度誤差檢測處理。
具體實施例方式本發(fā)明的實施例針對三維(3D)電視信號進行操作。該實施例一般獨立于該信號源。也就是說，該裝置可以操作以便生成提供給該裝置的3D電視信號(無論何來源)的定性評估。這可能是來自3D相機裝置的直接饋送信號，計算機生成的或者計算機增強的3D信號，從記錄介質(zhì)重放的3D信號，通過傳輸介質(zhì)從另一供應商接收的3D信號，諸如視頻混合器之類的3D視頻處理裝置的輸出等。然而，為了本說明的清晰性，將提供3D相機裝置用作該3D信號的一個可能的源的簡要描述。參考圖1，示出了用于捕獲用于在生成3D圖像中使用的場景的圖像的系統(tǒng)100。系統(tǒng)100具有相機平臺115，在其上安裝了兩個相機105。這些相機105L和105R可以是視頻相機或者靜止相機。本描述的剩余部分將涉及視頻相機，但是應明白，不依賴于連續(xù)的視頻幀的時間關(guān)系的該技術(shù)的那些方面同樣可適用于靜止相機。雖然在圖I中沒有明確地示出，但是相機105相對于彼此的偏轉(zhuǎn)(yaw)可以改變。具體地，當相機105安裝在平臺115時，每個相機105的俯仰(pitch)和滾轉(zhuǎn)(roll)通常相對于彼此是固定的。然而，相機105的偏轉(zhuǎn)可以彼此獨立地進行調(diào)節(jié)。這允許改變相機會聚角或者“內(nèi)傾”。一旦將相機鎖定在適當位置(即固定在平臺115上)，就可以一致地移動平臺115和相機的偏轉(zhuǎn)、俯仰和滾轉(zhuǎn)。通過手臂120以移動平臺115的偏轉(zhuǎn)、俯仰和滾轉(zhuǎn)。可以通過搖動手臂120將平臺115的取向鎖定在適當?shù)奈恢谩碜悦總€相機105的輸出饋送包括一起形成3D視頻信號的左(L)和右(R)信號的對應的一個。因此，這些輸出包括圖像數(shù)據(jù)。然而，還將其他數(shù)據(jù)饋送出每個相機。例如，還可以將元數(shù)據(jù)饋送出每個相機。該元數(shù)據(jù)可以涉及諸如每個相機的孔徑設置、焦距和/或變焦之類的相機設置。相應地，元數(shù)據(jù)可以包括關(guān)于相機操作者或者“好的拍攝者”等的信息。可以將來自相機105的輸出饋送使用線纜或者通過網(wǎng)絡連接到隨后的處理設備。在相機105和隨后的處理設備間的連接可以是無線的。圖2示意性地圖示了根據(jù)本發(fā)明的實施例的3D視頻分析裝置。圖2中的裝置包括視頻處理器200、顯示器210和用戶控件220。在本發(fā)明的實施例中，可以實時地實施該分析，也就是說可以在一個視頻幀周期內(nèi)完成涉及視頻幀的分析。包括(至少包括)R和L視頻流的3D視頻信號130被提供給視頻處理器200。視頻處理器200工作在分析模式中，也就是說視頻處理器200不形成視頻信號路徑的部分，相反，它分析視頻信號，而無需對視頻信號進行任何的變更。因此，在圖2中，視頻處理器200被示出作為分支連接到主視頻信號路徑，通過視頻處理器200的操作，L和R被不加改變地傳送到(130’ )以進行隨后的處理、顯示或者存儲。視頻處理器200實施3D視頻信號130的分析。以下將描述該分析的特征。分析結(jié)果可以在顯示器210上顯示，或者提供作為數(shù)據(jù)流240以進行隨后的處理和/或存儲。用戶控件可以包括諸如鍵盤、鼠標等之類的傳統(tǒng)控件，并且允許用戶控制視頻處理器200的操作。圖3示意性地圖示了視頻處理器200的操作的可能模式。在很多方面，該操作類似于圖2中示出的操作。然而，也設有諸如視頻磁帶記錄器、硬盤記錄器以及光盤記錄器等之類的視頻存儲設備230。該信號處理如下。所接收的3D信號130被提供給視頻處理器200以進行分析，并且還被提供給存儲設備230以進行存儲。來自視頻處理器200的分析結(jié)果被可選擇地提供(如以上描述的)給顯示器210并作為數(shù)據(jù)輸出240。然而，分析結(jié)果也被存儲設備230存儲為與存儲的3D視頻信號相關(guān)聯(lián)的元數(shù)據(jù)?？梢酝ㄟ^多種方式實現(xiàn)與視頻信號相關(guān)聯(lián)的元數(shù)據(jù)的存儲。例如，可以提供元數(shù)據(jù)的單獨存儲，其中提供了鏈接(例如，存儲的時間碼變量)以提供元數(shù)據(jù)的項目和存儲的視頻信號中對應的時間位置之間的清楚關(guān)聯(lián)。在這種情況中，實際上不要求元數(shù)據(jù)被與視頻信號相同的存儲介質(zhì)存儲，或者甚至被相同的物理設備存儲一從而使得在圖3中被簡單地標記為“存儲設備”的一般項實際上包括兩個或者更多的物理的或者邏輯的存儲裝置，其中的至少一者甚至可以物理地被實現(xiàn)為視頻處理器200的一部分。另一種可能性是將元數(shù)據(jù)嵌入到存儲的視頻信號中，例如，通過將元數(shù)據(jù)存儲為與視頻信號相關(guān)聯(lián)的數(shù)據(jù)格式中的用戶數(shù)據(jù)。取決于使用的視頻存儲的類型，這可能需要緩沖器(未示出)來延遲視頻幀 的記錄，直到由視頻處理器200得出的元數(shù)據(jù)準備好被嵌入到視頻數(shù)據(jù)中為止。這對于諸如磁帶存儲之類的線性介質(zhì)將是適當?shù)模菍τ谥T如基于磁盤的存儲之類的隨機訪問介質(zhì)則很少需要(或者根本不需要)。對于實時操作的系統(tǒng)，期望視頻處理器200在單個幀周期內(nèi)完成一個視頻幀的處理，因此例如可以使用單個幀緩沖器?？梢詫⒕哂谢蛘卟痪哂杏梢曨l處理器200生成的元數(shù)據(jù)的所存儲的視頻信號重放為輸出3D視頻信號130”。在圖3的裝置中，視頻處理器仍不對實際的視頻信號具有任何的影響(除了將視頻信號與元數(shù)據(jù)相關(guān)聯(lián)以外)。然而，本實施例不排除視頻處理器改變視頻信號；下面將描述的特定功能僅僅涉及視頻信號130的分析，而不涉及視頻信號130的變更。在圖3中，用戶可以啟動由存儲設備230存儲的視頻信號的重放，該重放的啟動或者是直接地(在這種意義上用戶控件可以直接與存儲設備230交互)或者是間接地(在這種意義上用戶可以與視頻處理器200交互，視頻處理器200繼而啟動存儲的視頻信號的重放)。以下將描述這些類型的操作的相關(guān)性。
視頻處理器200也可以被實現(xiàn)為在適當?shù)能浖刂葡虏僮鞯闹T如個人計算機之類的通用數(shù)據(jù)處理機。然而，在本發(fā)明的實施例中，將視頻處理器200實現(xiàn)為在適當?shù)能浖刂葡虏僮鞯腟ony MPE-200 立體圖像處理器?？梢酝ㄟ^Sony SRW-5100 高清晰度立體視頻磁帶記錄機實現(xiàn)與真實視頻信號存儲相關(guān)的存儲設備，或者至少是該存儲設備的部分功能。這兩種設備在本申請的優(yōu)先權(quán)日時都是可購得的。圖4是圖示了 MPE-200視頻處理器的結(jié)構(gòu)和相關(guān)聯(lián)的硬件的示意性框圖，并且將簡要地描述該圖以提供視頻處理器200的操作的技術(shù)背景。參考圖4，視頻處理器200包括立體處理裝置300 (可以將其實現(xiàn)為MPE-200設備)和控制計算機400。將明白考慮軟件和/或計算機程序產(chǎn)品來形成本發(fā)明的實施例，該軟件控制設備200或者400的其中之一的操作，該計算機程序產(chǎn)品包括通過其對軟件進行存儲或者提供的存儲或者其他計算機可讀的介質(zhì)。可以例如將立體處理裝置300設計在單元處理器310周圍，并且該立體處理裝置300包括全部通過總線裝置連接在一起的隨機訪問存儲器320、具有專用視頻隨機訪問存儲器(VRAM) 340的真實合成圖形單元(RSX) 330、以及輸入/輸出(I/O)橋350。I/O橋350提供了到外圍部件的接口，包括包括高清晰度串行數(shù)字接口(HD-SDI)輸入360和HD-SDI輸出370的視頻輸入和輸出連接、RS-232C數(shù)據(jù)I/O端口 380、一個或者多個網(wǎng)絡接口 390、非易失性(例如，硬盤)存儲裝置400以及視頻同步信號輸入410?？刂朴嬎銠C400經(jīng)由網(wǎng)絡接口和控制計算機上的對應接口(未示出)連接到立體處理裝置300?？刂朴嬎銠C具有與立體處理裝置類似的內(nèi)部結(jié)構(gòu)，除了控制計算機使用傳統(tǒng)的個人計算機處理設備而不是單元處理器以外?？刂朴嬎銠C4 0設置了用戶接口以控制立體處理裝置的操作，并且將它自身的個人計算機格式顯示器210和用戶控件220進行連接。立體處理裝置還可以經(jīng)由HD-SDI輸出端子連接它自身的顯示器。RSX單元330是基于NVidia G70/71架構(gòu)的視頻加速器，其處理和呈現(xiàn)由單元處理器310產(chǎn)生的視頻渲染命令的列表。參考圖5，單元處理器310具有包括四個基本部件的架構(gòu)包括存儲器控制器312 (用于與系統(tǒng)RAM 320連接)和用于與立體處理裝置300的其他部件連接的雙總線接口控制器314的外部輸入和輸出結(jié)構(gòu)；被稱為電力處理兀件(PPE) 316的主處理器；被稱為協(xié)作處理元件(SPE) 318A-H的八個協(xié)同處理器；以及被稱為元件互連總線(E1B)322的連接以上部件的環(huán)形數(shù)據(jù)總線。PPE 316是基于有相關(guān)聯(lián)的512kB的二級(L2)緩存和32kB的一級(LI)緩存的雙通道并行多線程PowerPC核心的。PPE 316的主要用途是作為用于處理絕大部分計算工作負載的協(xié)作處理元件318A-H的控制器。在操作中，PPE 316維護一個工作隊列，為協(xié)作處理元件318A-H調(diào)度工作并且監(jiān)視它們的進程。因此，每一協(xié)作處理元件318A-H運行一個內(nèi)核，該內(nèi)核的用途為取得工作、執(zhí)行該工作并且與PPE 316同步。每一協(xié)作處理元件318A-H包括對應的協(xié)作處理單元(SPU)、對應的存儲器控制器和對應的總線接口。為了示圖的清晰性，該SPE的內(nèi)部結(jié)構(gòu)沒有示出。每一 SPU是一 RISC處理器，其可以在單個時鐘周期內(nèi)操作4個單精度浮點元、4個32位數(shù)、8個16位整數(shù)或者16個8位整數(shù)。在同一時鐘周期內(nèi)每一 SPU還可以執(zhí)行存儲器操作。EIB 222是連接以上處理器元件的單元處理器310內(nèi)部的邏輯環(huán)形雙向通信總線。所連接的元件可以以每時鐘周期8字節(jié)的速率同時讀和寫入總線。在操作中，PPE和SPE在軟件控制下操作。該軟件可從非易失性存儲裝置400取出和/或經(jīng)由網(wǎng)絡接口 390接收，并且存儲在RAM 320中以供執(zhí)行。由控制計算機400提供包括操作指令和設置的控制信號。響應于該控制信號，PPE 316分配任務并且控制各個SPE的操作。在本發(fā)明的實施例中，立體處理裝置不僅能夠處理視頻，而且能夠操縱3D對象，對對象進行投影和照明，實時地將視頻映射到移動表面上。然而，在本實施例中使用立體處理裝置來評定接收的3D視頻信號的質(zhì)量?，F(xiàn)在將描述用于實現(xiàn)此的技術(shù)。圖6是提供了針對接收的3D(L/R)視頻信號的視頻處理器200的操作的概要的示意圖。視頻處理器200用作下采樣器480、深度檢測器500、聚焦檢測器520、幀違規(guī)檢測器540和深度指南時間繪圖器560。由深度指南時間繪圖器560、聚焦檢測器520和幀違規(guī)檢測器540生成的輸出數(shù)據(jù)被控制計算機400呈現(xiàn)以顯示(在顯示器210上)。視頻處理器200的這些功能由在適當?shù)能浖刂葡虏僮鞯膯卧幚砥?10的SPE來實現(xiàn)。以下將描述這些功能操作的方式以及作為結(jié)果的分析數(shù)據(jù)的顯示方式。下采樣下采樣器480使用單個SPU將進入的左和右視頻圖像下采樣為四分之一尺寸，例如將進入的1920X 1080i下采樣為480X 135像素。該下采樣允許隨后的處理更有效率地操作下采樣的視頻，而沒有可注意到的分析質(zhì)量的損失。該下采樣處理自身是傳統(tǒng)處理。深度分析
圖7示意性地圖示了深度檢測器500和深度指南時間繪圖器560。在本發(fā)明的實施例中，這用來處理包括表示一場景的不同對應視圖的連續(xù)對的圖像的3D視頻信號以生成圖像深度指示符。深度檢測器500包括垂直邊緣檢測器502、塊匹配器504、深度指南渲染器506和相異(disparity)直方圖生成器508。在本發(fā)明的實施例中分配給各種處理的SPU的數(shù)目(即，SPE的數(shù)目)在圓括號中指示。深度分析的第一階段是在左圖像中的垂直邊緣的檢測。這些垂直邊緣假定在右圖像中是相同的；用于識別邊緣的左圖像的選擇是任意的。為了實現(xiàn)此目的，垂直邊緣檢測器502將四分之一尺寸的圖像(由下采樣器480輸出)分解為8X8個塊，并且使用垂直蘇貝爾(Sobel)邊緣檢測器檢測在每一塊中的可能的邊緣。針對每個塊的輸出或者包括單個邊緣位置(如果找到強邊緣，也就是說，對其的邊緣檢測處理超過了閾值邊緣似然性的邊緣，這暗示著該邊緣是(a)垂直的或者接近垂直的(例如，在垂直的閾值角內(nèi))，和/或(b)在圖像塊中清晰的)或者包括在該塊中沒有找到邊緣(即，無強邊緣)的指示。因此，例如，偏離垂直超過閾值角的清晰的邊緣可以被認為不代表邊緣的檢測。這些輸出被整理到跨圖像的邊緣位置的列表中。該邊緣位置列表隨后被塊匹配器504使用(再次在SPU中運行)。這用作相關(guān)器，該相關(guān)器被配置為將圖像對中的一者中的圖像區(qū)域與圖像對中的另一者中的圖像區(qū)域相關(guān)，以便檢測兩幅圖像之間對應圖像區(qū)域的位移。塊匹配器對每個檢測到的邊緣進行操作(如根據(jù)上述標準檢測到的)并且搜索以該邊緣位置為中心的四分之一左圖像的16X16塊和右圖像的周圍區(qū)域中對應塊或者搜索區(qū)域之間的相似度。換句話說，塊匹配器504嘗試將左圖像中檢測到的邊緣的周圍區(qū)域匹配到右圖像中類似或者基本上相同的圖像內(nèi)容的區(qū)域，以檢測相應圖像區(qū)域之間的空間偏移。在來自良好設置的3D源的3D視頻中，可能期望空間偏移僅在水平方向上。也就是說，理想情況下3D視頻相機(諸如圖I中示出的)應當被設置為使得將兩個相機105L、R垂直對齊?；诖耍谝韵旅枋龅奶幚碇锌梢院雎晕灰频娜魏未怪狈至?。塊匹配處理被配置為不針對未檢測到包含邊緣的塊執(zhí)行塊匹配。相應圖像特征之間的水平偏移是該特征相對于相機位置的深度的指示，或者換句話說，是在正交于圖像平面的方向上該圖像特征距相機位置的距離。在相機被對齊以供會聚的相機布置中，兩個相機的圖像平面將稍微偏離平行。在這種情況下，深度可以被認為部分代表在某一方向上偏離相機位置的距離，該方向表示相對于兩個對應的圖像平面的兩個法向方向的平均。
水平偏移自身不提供距相機位置的距離的確切測量。其他因素是相關(guān)的，包括相機的橫向分離和相機的會聚角。這些其他因素不能單獨從左圖像和右圖像檢測出來，盡管它們可在與視頻信號相關(guān)聯(lián)的元數(shù)據(jù)中定義。然而，如果橫向分離和會聚一般保持恒定(其很有可能在視頻信號內(nèi)隨圖像的不同而保持恒定)，則該水平偏移不表示距3D相機的距離的有用的定性指示，即使絕對距離的計算需要進一步的信息也是如此?？紤]到這些，為了方便討論，這里將使用術(shù)語“深度”以指示僅取決于兩幅圖像的水平偏移的度量。因此，當觀看圖像時，該“深度”度量與觀看者對深度的感知相關(guān)聯(lián)，而不是在捕獲內(nèi)容時距相機的實際物理距離。在觀看時，深度是對象看起來所位于的屏幕外或者屏幕后的距離的度量。這部分地取決于觀看者的顯示屏幕的尺寸。右圖像中的搜索區(qū)域是原始位置周圍的±48像素和±3行，也就是說，與左圖像中所檢測的邊緣位置相對應的右圖像中的位置周圍。塊匹配處理使用已知的“絕對差之和”(SAD)技術(shù)來找到右圖像中最接近的匹配位置。也就是說，左圖像的16X16塊中的相應像素和右圖像中的16X16測試塊之間的絕對差被求和，并且引起最低的這種和的塊位置(右圖像中)被用來表示左圖像和右圖像之間的圖像內(nèi)容的最佳匹配。 使用SAD分析來進行塊匹配的公知問題是可能發(fā)生所謂的混淆(aliasing)現(xiàn)象，尤其是如果圖像在右圖像的搜索區(qū)域中包括重復樣式。該重復樣式可能導致SAD數(shù)據(jù)中多個最小值的檢測，并且因此導致水平偏移的不確定。為了解決該潛在的問題，基于指示圖像中重復樣式的塊匹配結(jié)果中的多個SAD最小值的檢測，還針對每個塊匹配結(jié)果計算“混淆可能性”。可能仍然存在單個“極端最小值”或者主要最小值，但是也會檢測到其他最小值，如果(a)它們是局部最小值以及(b)(可選地)它們在塊位置中與主要最小值分離且相對于測試塊相距至少預定分離度。具有高混淆可能性的結(jié)果(也就是說，對于其塊匹配處理生成多個SAD最小值的結(jié)果)被從深度結(jié)果中排除。生成了等于對其找到匹配的塊的數(shù)目除以塊的總數(shù)的“會聚估計”。這指示塊匹配數(shù)據(jù)中的置信度。由塊匹配器檢測到的水平偏移被傳送到深度指南渲染器506，深度指南渲染器506操作為另一 SPU處理以在平面(O(Zero)alpha)紋理緩沖器上繪制彩色的深度標記，隨后該標記可以被渲染以覆蓋到視頻信號的分析顯示上，以指示超出用戶設置的“深度預算”的點。可替代地，所有測得的相異性都可以被渲染，這對于檢查左和右輸入是正確的方向是有用的。3D視頻顯示器的觀看者對深度的正確的和愉悅的感知受一些因素的影響，但是其自身受本裝置的分析的一個重要因素是圖像兩側(cè)的深度值(即，所檢測的水平偏移)是否在視頻制作者設置的深度預算內(nèi)。典型的深度預算可能是±3%，也就是說左圖像和右圖像中的相應特征之間的絕對水平偏移絕不應當超過圖像的水平大小的3%。圖8示意性地圖示了這些概念，并且還以對于視頻處理器200的操作者來說便利的方式示意性地圖示了深度指南渲染器506被布置為指示深度值(表示圖像深度指示符)的方式。圖8示意性地圖示了被渲染以顯示在諸如顯示器210之類的二維顯示器上的3D圖像。該渲染處理將左圖像和右圖像相結(jié)合。因為左圖像和右圖像是從不同的對應相機位置捕獲的，所以在渲染的圖像內(nèi)的不同位置處存在不同的水平偏移量，這取決于相應的圖像特征距相機位置的距離。在圖8中表示的渲染圖像被提供作為圖像分析系統(tǒng)的一部分，因此期望指示(而不是嘗試掩蓋)這種水平偏移。左圖像和右圖像的簡單組合(例如，來自每一圖像的簡單的50%貢獻因子)將導致難以評定渲染的2D圖像，這是因為該水平偏移恰好導致許多圖像特征表現(xiàn)為雙圖像(double image)。從這樣一個簡單的組合中將不清楚該雙圖像的哪一部分源自于左圖像而哪一部分源自于右圖像。因此為了使得該渲染的圖像對于用戶更清晰，采用了彩色表示。具體地，3D圖像被渲染以顯示為紅/藍綠色(red/cyan)立體圖片，以使得顯示的圖像包括Rout = Rl ;G0Ut = Ge ；B0Ut = Be其中，R、G、B表示紅、綠和藍分量，下標“out”指示用于顯示的值，并且下標L和R分別表示來自左圖像和右圖像的分量。該帶色表示意味著(a)兩幅圖像(L和R)能夠在顯示器上容易地區(qū)分開，以及(b)用戶可以容易地看到水平偏移的方向。當對象位于3D相機的左和右相機的相機軸會聚的點上時，將不存在水平偏移并且因此對象將顯得被正確地渲染為彩色對象。當對象距離3D相機比會聚點遠時，將表現(xiàn)為在右圖像中向右側(cè)位移并且在左圖像中向左側(cè)位移，因此它的右側(cè)有藍綠色邊界，它的左側(cè)有紅色邊界。當對象距離3D相機比會聚點近時，將表現(xiàn)為在右圖像中向左側(cè)位移并且在左圖像中向右側(cè)位移，因此它的右側(cè)有紅色邊界，它的左側(cè)有藍綠色邊界。真實顏色取決于是圖像的前景部分更亮還是背景部分更亮，但是對于本實施例的目的，使用的顏色表示與標準的紅/藍綠色立體圖片相同，因此這些情形能夠容易地在帶色表示中區(qū)分。當然，這僅僅是用于將兩個3D圖像顯示為單個2D圖像的格式的一個示例。也可以使用其他格式，諸如簡單的兩個圖像的50 50混合。其目的是提供3D素材的2D表示以形成一個基礎，在該基礎上可以顯示或者覆蓋錯誤或者質(zhì)量標記(見下文)。圖8是單色專利附圖，因此不得不使用陰影指示這些彩色邊界。在真實的圖像中，該彩色邊界效果當然可以應用到遠離表示在左和右相機的會聚點處的對象的特征的每一圖像特征。然而，為了本圖的清晰性，并非圖8中的每一對象都被注解以指示彩色邊界。具體地，僅將前面的人600、后面的人610和球620以這種方式標注。陰影指示人600和球620在3D相機的會聚點630的前面，而人610在會聚點630的后面。深度指南渲染器506將深度信息渲染在此類圖像上。如上所述，通過將深度指南信息渲染在包括空白圖像(即，Oalpha值的圖像)的紋理(或者圖像)緩沖器中來實現(xiàn)此目的。alpha值確定相關(guān)聯(lián)的圖像的透明度,0表示完全透明。因此,如果具有Oalpha值的圖像區(qū)域與另一圖像相結(jié)合，則對另一圖像沒有任何影響。深度標記被渲染在該Oalpha的背景上，但是以這樣一種方式，其使得深度標記具有非Oalpha值(例如0. 5的alpha值(50%透明度))，以使得深度標記將示出在深度指南渲染器的輸出和渲染的2D圖像的組合上，但是將不能完全隱藏在下方的渲染的2D圖像。在實施例中，該深度指南渲染器僅針對檢測到的絕對水平偏移大于深度預算(其 可以是預定的或者可以由操作者利用用戶控件220設置)的圖像區(qū)域生成指示符。在圖9中示意性地圖示了使用該指示符的示例，該示例僅示出了圖8的球620，但是(為了本圖的清晰性)沒有示出球的標記。該球是最接近于3D相機的對象，并且所檢測的左圖像和右圖像之間的球的水平偏移超過了為該視頻信號設置的深度預算。為了指示這一點，深度指南渲染器506渲染了指示深度預算已經(jīng)被超出的位置處的標記640、650。注意，該標記被示出為與球形狀的垂直特征對齊；取決于垂直邊緣檢測器使用的容限，很有可能僅球的形狀的一部分被檢測為包括邊緣，這是因為球的許多特征更接近于水平的而不是垂直邊緣。在本示例中，僅具有接近垂直切線的球輪廓的一部分已經(jīng)被檢測為具有垂直邊緣。因為在本發(fā)明的實施例中僅那些具有所檢測的垂直邊緣的位置被傳遞到隨后處理(塊匹配和深度指南渲染)，因此在這些位置處生成深度預算告警標記。如先前提及的，通過深度指南渲染器可以生成關(guān)于成功檢測到垂直邊緣的所有位置的深度指南指示符。該指示符可以(例如)被進行顏色編碼以指示在該位置處檢測到的深度(即，水平偏移)。該顏色編碼可以基于絕對深度值，因此獨立于深度值的符號，或者可以針對正和負水平偏移是不同的。該顏色編碼可以基于深度值的帶，例如，如果深度值少于圖像寬度的2%則為一種顏色，而如果深度值為圖像寬度的2%到5%之間則為第 二種顏色，并且如果深度值超過5%則為第三種顏色。或者顏色改變可以是漸進尺度的，以使得(例如)由綠色指示符表示深度值0，且隨著深度值變得更負，指示符的顏色逐漸地變?yōu)楦S然后變?yōu)楦t。圖10中指示了這樣的連續(xù)的顏色變化(在由單色圖施加的限制之內(nèi))的一個示例。在將要指示深度值的符號時，應用慣例，例如以使得將指示對象比會聚點更接近于相機的深度值視為負深度值，以及將指示對象比會聚點距離相機更遠的深度值視為正深度值。然而，這僅是一個慣例，可以使用其他極性來表示深度值。因此,使用關(guān)于圖8的示意圖的圖10的顏色表示,球620比會聚點更接近于相機，所以將深度值視為負值。因此標記640、650兩者根據(jù)深度值大小或者是黃色或者是紅色。注意在一些實施例中，圖10中圖示類型的顏色編碼可以取決于深度預算。因此，例如，可以將綠色和黃色間的界限布置在位于近似于深度預算的水平(在本示例中為-3%)，且用戶能夠設置第二、更高的閾值(在圖10的示例中為±4%)，在該閾值處發(fā)生進一步的顏色改變。因此該布置是用戶設置深度預算以及一個或者多個其他閾值，并且系統(tǒng)將類似于圖10的顏色變化映射到可能的深度值上，以使得一般地將顯著的顏色變化和閾值對齊。當然，圖10中的顏色變化是連續(xù)的，因此不存在一種顏色和下一個顏色之間的單一的精確定義的界限。然而，可以導出當顏色從一種顏色占主導變?yōu)榱硪环N顏色變主導時的想象界限，并針對深度預算和這里描述的其他可能閾值進行定位。由塊匹配器測量的水平偏移(在整個圖像的兩側(cè))也被組合以由相異性直方圖生成器508形成水平相異性直方圖。直方圖生成包括對每一可能的偏移值或者“容器(bin)”的水平偏移的情況進行計數(shù)。根據(jù)由塊匹配器檢測的像素偏移值(檢測的位移)來對容器進行排序，也就是說在-48到48像素的偏移值之間設置了 97個這樣的容器。注意，這些像素值是針對正處理的四分之一尺寸的圖像的像素導出的，并且可以被容易地轉(zhuǎn)換為百分比深度值，該轉(zhuǎn)換是通過(a)除以所討論圖像的像素寬度，并且(b)乘以100而獲得的。還應注意，這些容器可以被布置為存在更少的容器，但是每個容器包含一個像素偏移的范圍。例如，這些容器可以說若干像素值的寬度。每個容器因此表示一個或多個可能的位移值。對直方圖數(shù)據(jù)使用如針對圖10所描述的同一顏色編碼方案來指派顏色。注意圖10是用百分比深度值校準的，而容器可以通過像素偏移布置，但是如上所述，一者可以很容易轉(zhuǎn)換為另一者。
圖11中圖示了顏色編碼直方圖的示意性示例。將該直方圖根據(jù)深度值而不是像素偏移來顯示。采用圖10的顏色編碼方案，并且真正的將該顏色編碼方案顯示為水平(二進制)軸表示的一部分。在任何水平位置處的直方圖的垂直范圍指示在該深度值上的對應容器的數(shù)量。陰影面積660被根據(jù)與水平位置相關(guān)的顏色來上色。因此，在陰影面積660內(nèi)，顏色根據(jù)圖10的顏色方案隨著水平位置變化，但是顏色不隨著垂直位置變化。針對視頻信號的每個連續(xù)圖像來更新圖10的直方圖。還可以在每一圖像周期更新直方圖的顯示。深度指南時間繪圖器560存儲和顯示相異性直方圖的最近的歷史。圖12中示出了這樣一個歷史顯示的示意性示例?？梢栽谂c圖11的顯示相同的屏幕上同時示出該顯示。在垂直軸上表示時間，其中通過距表示的底部的距離的增大來表示在當前時刻之前的時間的增大。該表示被劃分為行700、710...。出于說明的目的，在圖12中示出了行界限(水平線)，但是在真實的顯示屏幕上不顯示這些行界限。該表示的底部行700被用來顯示從當前圖像(例如，當前幀)導出的深度直方圖。因為該顯示被限制在很窄的一行內(nèi)，所以不可能以與圖10相同的方式來表示該直方圖的這個方面。因此，相反地，直方圖的高度或者容器占有率用具有與該容器或深度值相關(guān)聯(lián)的顏色的相應顯示點的亮度或強度來表示。該高度因此可以由顯示強度表示，并且位移值可以由顯示位置和該顯示點的顏色中的一者或者兩者來指示。這是通過以下方式實現(xiàn)的將與沿著該行的一位置相關(guān)聯(lián)的alpha(透明度)值設置為依賴于該位置處的直方圖高度，以使得對于較大的直方圖高度alpha也較大(透明度較低，更加不透明)。該行中的可顯示點可以表示可顯示點的鄰近行。行700之上的類似行被針對每一歷史直方圖顯示(未在圖12中示出)。當在每一新圖像被處理時，圖形表示被重新繪制以使得先前的當前直方圖行700向上移動到下一個更高的行位置710 (表示下一個較舊的圖像)，并且新的當前直方圖被繪制在當前對顯示位置(它是行700)中，以便形成按時間排序的顯示點的行的堆棧，每一行對應于圖像對的時間順序中各個圖像對的直方圖表示。一般來說，當新的行700可得時，整個顯示的每行向上移動一個行位置，除了位于顯示的頂部的行以外(該行被丟棄)。這提供了一時間段的直方圖數(shù)據(jù)的歷史數(shù)據(jù)，該時間段等于行數(shù)目乘以視頻信號的圖像速率。其結(jié)果是深度數(shù)據(jù)的趨勢可以被觀察作為垂直顯示的樣式，例如樣式720。為了實現(xiàn)此目的，深度指南時間繪圖器560包括用于存儲n個最近的直方圖的緩沖存儲器，其中n是可以在圖12的顯示上顯示的行數(shù)。深度指南時間繪圖器還包括用于將存儲的直方圖渲染為顯示中的連續(xù)的行的邏輯。該歷史顯示也適合圖3的實施例使用，其中定義3D素材的質(zhì)量的元數(shù)據(jù)可以被存儲在存儲設備230上，并且視頻處理器200具有存儲設備230的重放控件。例如，如果視頻處理器的操作者注意到諸如圖12中的不連續(xù)性722之類的歷史深度數(shù)據(jù)中的不連續(xù)性，那么該操作者可以指示存儲設備230(經(jīng)由用戶控件220)來重放不連續(xù)點周圍的視頻片段，例如從不連續(xù)點之前的兩秒到不連續(xù)點之后的兩秒。操作者可以例如通過在歷史深度數(shù)據(jù)顯示的區(qū)域內(nèi)的期望重放的時間位置上雙擊鼠標控件來實現(xiàn)該目的。因此視頻處理器可以提供重放控制器，用于響應于對一個或多個圖形表示的用戶選擇來控制3D視頻信號的存儲版本的重放。
更一般地，圖3的布置可以用于獲取與接收到的3D視頻相關(guān)的質(zhì)量信息，并且隨后允許操作者評審質(zhì)量數(shù)據(jù)，如果需要，評審之后伴隨的視頻素材。操作者可以手動地選擇用于重放的部分，或者視頻處理器可以自動地評審存儲的質(zhì)量數(shù)據(jù)并且選擇用于操作者評審的部分，在該部分中例如存在任何存儲的數(shù)據(jù)值的不連續(xù)性、超出可接受的限制的偏移(例如深度值偏移超出諸如10%之類的“告警”閾值)等。因此，深度指南渲染器506用作被配置為圖像對兩側(cè)的位移的分布(針對可能的位移值范圍)的圖形表示的圖形生成器；并且深度指南時間繪圖器560用作用于生成顯示關(guān)于當前對顯示位置處的當前圖像對和關(guān)于其他顯示位置處的多個在前圖形對的圖形表示，以便提供位移的分布中的變化的基于時間的表示。在本發(fā)明的實施例中，由圖形生成器處理的位移數(shù)據(jù)僅包括所檢測的圖形位移的水平分量。帔(邊緣)諱規(guī)幀(或邊緣)違規(guī)檢測處理的目標是確定是在圖片的左邊緣或者右邊緣處的對象是否在屏幕的前面。 當具有負視差的對象(也就是說，將要由3D顯示器顯示的對象在顯示屏幕的平面的前面)離開相機，也就是說離開顯示器時，在3D電視中可能出現(xiàn)潛在的問題。這個問題發(fā)生是因為對象在其離開一只眼睛的圖像前離開了另一只眼睛的圖像。在真實生活中，這種配置不會發(fā)生，因此在顯示器上看到該配置會打破觀看者觀看3D場景的錯覺。當對象緩慢地向一側(cè)或者另一側(cè)離開屏幕時，這尤其是個問題。對象是否顯得在屏幕的前面的問題取決于對象相對于相機會聚點的位置。因此可能的解決方案是改變會聚點，使得在視圖中的全部對象都在屏幕的后面。另一個可能的方案是裁剪左圖像和右圖像以便將對象從任一眼睛的視圖中去除。然而，這可能對圖像的藝術(shù)構(gòu)圖有其他顯著的和不期望的影響。第三種技術(shù)是僅裁剪一幅圖像，以便減少在該圖像中對象的出現(xiàn)而使得其匹配另一幅圖像。這被公知為將“浮動窗”或者“浮動裁剪”添加到圖像。利用浮動窗，左圖像和右圖像的邊緣根據(jù)哪些對象在屏幕的邊緣上或者接近屏幕的邊緣被動態(tài)裁剪。該性質(zhì)的臨時浮動窗的值是如果謹慎地實施該值，那么很有可能用戶甚至不能注意到它的存在。換句話說，如果沒有應用適當?shù)母哟埃菍ο笤趫D像的左側(cè)的邊緣或者右側(cè)的邊緣上，并且該對象在屏幕平面的前面，那么該圖像可能會顯得在一只眼睛中被不自然地截斷。例如，圖片的左側(cè)的邊緣上在屏幕前面的對象將顯得在右眼中被不自然地截斷。這是因為右眼將期望比左眼看到對象的更多部分，就像對象在屏幕周圍的窗口的后面。如前所述，場景中的對象的這種明顯不正確的截斷可能引起觀看者的不舒適感覺并且可能破壞3D感覺。在圖像的左邊緣或者右邊緣上并且在屏幕的前面的對象被稱為“幀違規(guī)”。圖13示意性地圖示了在顯示屏幕810上顯示的3D圖像的上下文中觀看者的左眼和右眼的視圖。示出了由3D系統(tǒng)顯示為在屏幕810的前面(比屏幕810更接近于觀看者)的兩個示例對象820。圖14的上面的行示意性地圖示了該對象的左眼和右眼的視圖。觀看者將感到對象被不正確地裁剪，也就是說，針對“錯誤”的眼睛裁剪了對象。這部分地因為3D顯示的錯覺依賴于用戶的以下信念顯示屏幕表示進入3D世界的窗口。真實的窗口將以一種期望的方式來裁剪窗口后面的對象，但是真實的窗口不會引起在圖14的上部行中示出的不正確的裁剪類型。為了比較，圖14的下部行示意性地圖示了可接受的裁剪類型，如果對象已經(jīng)在幀的邊緣上但是在顯示屏幕810的平面的后面，那么這種裁剪將會發(fā)生。因此本發(fā)明的實施例提供了包括幀違規(guī)檢測器540的圖像分析裝置，用于處理表示場景的左眼和右眼的視圖的3D圖像對。圖15更詳細地示意性圖示了幀違規(guī)檢測器540。幀違規(guī)檢測器540包括浮動窗檢測器830、左塊匹配器840、右塊匹配器850和比較器860。圖15表示用于左邊緣幀違規(guī)檢測的功能。使用完全相同的技術(shù)(盡管將左和右交換)來檢測 右邊緣幀違規(guī)，但是為了本示圖的清晰性，僅圖示了左邊緣檢測。為了檢測在屏幕的邊緣上的幀違規(guī)，圖像被劃分為塊，僅處理圖片的左側(cè)和右側(cè)的邊緣的每一個上的16 X 16像素塊的2列。左塊匹配器840搜索右圖像中的每一左圖像塊(在左圖像的每一邊緣上的2列內(nèi))。右塊匹配器850搜索左圖像中的每一右圖像塊(在右圖像的每一邊緣上的2列內(nèi))。來自圖像邊緣的塊的兩列的區(qū)域內(nèi)的檢測表示距該邊緣在閾值距離(在該示例中，為32像素)之內(nèi)的檢測。也可以使用其他閾值距離。在本示例中，對于兩個邊緣閾值距離相同，但是如果期望它們可以不同。在左手邊緣，如果在右手圖像中找到左圖像塊，那么不存在幀違規(guī)。但是如果在左圖像中找到右圖像塊(但是它比在右圖像中它的位置距右側(cè)遠)，但是在右圖像中沒有找到左圖像塊，那么出現(xiàn)幀違規(guī)。對應的測試被應用到圖片的右邊緣。該測試可以被概括為如果在左圖像的左邊緣的閾值距離(諸如32個像素)之內(nèi)的圖像特征沒有在右圖像中找到，或者如果在右圖像的右邊緣的閾值距離之內(nèi)的圖像特征沒有在左圖像中找到，那么檢測到幀違規(guī)存在。然而，如果浮動窗已經(jīng)出現(xiàn)在輸入視頻上，那么檢測幀違規(guī)的處理應當僅起始于圖片的新邊緣上，也就是說該幀違規(guī)發(fā)生在排除了任何檢測的圖像裁剪(浮動窗)的圖像的區(qū)域之內(nèi)。換句話說，要被測試的像素塊的2列應該對齊，以使得測試起始于浮動窗的內(nèi)邊緣處，或者換句話說，起始于還沒有被浮動窗裁剪的像素的第一列處。因此該閾值距離起始于所檢測的浮動窗的內(nèi)邊緣處(從檢測的浮動窗的內(nèi)邊緣處測量該閾值距離)。如果浮動窗先前已經(jīng)被正確地應用到圖像上，那么通常將不存在幀違規(guī)。然而，即使已經(jīng)應用浮動窗，仍可能存在所檢測的幀違規(guī)，例如這是因為浮動窗沒有充分大到能夠遮蓋巾貞違規(guī)。因此幀違規(guī)檢測器540提供圖像裁剪檢測器以檢測圖像的一者或者兩者的橫向(左側(cè)或者右側(cè))邊緣上的圖像裁剪的存在，該檢測通過以下步驟實現(xiàn)提供預處理步驟以通過浮動窗檢測器檢測浮動窗(在左圖像的左邊緣上，以及在右圖像的右邊緣上)，該浮動窗檢測器檢測在圖像的左手邊緣和右手邊緣處的黑色視頻條帶的存在，并且如果檢測到一條黑色視頻則測量其寬度。注意該浮動窗通常被假定為是黑色的，其被形成為與圖像的橫向邊緣垂直的條帶并且覆蓋了整個圖像的高度。然而，除了黑色，它們還可以簡單地為一種均勻的顏色。因此，該圖像裁剪檢測處理可以檢測在圖像中的一者的橫向邊緣上占據(jù)全部圖像高度的均勻顏色的一部分的存在。通常使用暗的顏色。關(guān)于一個圖像對可以檢測出零到四個浮動窗(四個浮動窗為在兩幅圖像的每一橫向邊緣上各一個)。如果在特定邊緣處檢測出兩個或者更多個相鄰的浮動窗，例如圖像的全部高度上有多個相鄰的區(qū)域(每一區(qū)域具有均勻但不同的顏色)，那么系統(tǒng)將它們視為多個區(qū)域的組合寬度的單個合成浮動窗。例如，如果在左圖像的左手邊緣上檢測出一個3像素寬度的浮動窗，那么僅從圖形的原始邊緣起的3個像素中開始對圖形的左邊緣檢測幀違規(guī)的處理(通過左塊匹配器840和右塊匹配器850)。當檢測到幀違規(guī)時，通過該裝置可以增強圖像的顯示，以便示出被布置為指示相對于一個(或者每個)所檢測的幀違規(guī)的圖像的位置的指示符。例如，箭頭或者其他標記可以被繪制到紋理緩沖器(背景黑色，Oalpha)中，其可以覆蓋在視頻輸出上以指示幀違規(guī)的存在和位置。換句話說，相同的技術(shù)可以被深度指南渲染器用來將告警標記引入到圖像中以顯示在顯示屏幕210上。圖8中示意性地圖示了這樣的告警標記的一個示例870，該 示例870是關(guān)于在相機的會聚點的前面一只鳥飛過所捕獲的圖像的邊緣。如上所述，幀違規(guī)檢測處理是利用單個SPU處理每一邊緣從而對四分之一尺寸的視頻執(zhí)行的(因此，總共兩個SPU)。聚焦失配檢測本發(fā)明的實施例提供了聚焦失配告警特征，該聚焦失配告警特征使用圖像分析來檢測左圖像和右圖像之間的聚焦的任何差異并向用戶告警。該算法嘗試檢測聚焦水平中的整體全局失配，然后進行到使用由深度檢測器500的塊匹配器504導出的數(shù)據(jù)來檢測和顯示可能具有聚焦失配的圖像的具體區(qū)域。如下實現(xiàn)的算法表示一種包括聚焦檢測器的圖像分析裝置用于處理圖像以生成圖像聚焦指示符的操作，聚焦檢測器被配置為針對多個圖像塊檢測各自的局部聚焦估計，并組合局部聚焦估計以為該圖像生成圖像聚焦指示符。全局聚焦失配檢測處理意圖檢測全部場景中的聚焦失配，而不管整個圖像是否是對焦的。因此其考慮了視場的深度和藝術(shù)的非對焦效果。然而，當圖像的至少一幅基本上對焦時，對聚焦失配的敏感度更大。局部聚焦失配檢測通過檢測圍繞一些或者每一對應的塊的像素群組中的圖像對比度來檢測局部聚焦估計。在本發(fā)明的實施例中，可以使用獨立生成的水平偏移數(shù)據(jù)來比較左圖像和右圖像的對應的局部區(qū)域的聚焦。接著可以向用戶指示失配的具體位置。然而，因為塊匹配處理僅在一幅圖像(本實施例中的左圖像)中找到的垂直邊緣上生成水平偏移信息，所以將僅僅在左圖像處于精確對焦的位置處生成局部聚焦失配告警。圖16示意性地圖示了聚焦檢測器520。到聚焦檢測器520的輸入是四分之一尺寸格式的左(900)圖像和右(910)圖像，以及由塊匹配器504針對該左圖像和右圖像的對生成的像素偏移數(shù)據(jù)。左圖像和右圖像被傳遞到對應的對比度圖生成器，該對比度圖生成器作為SPU處理來操作以生成左圖像和右圖像的對比度圖。為了進行該操作，在本示例實施例中，一組像素(例如諸如3X3窗口之類的一個正方形像素陣列)被越過圖像中的全部可能位置，并且將每一點處的對比度估計為該窗口內(nèi)像素的最大亮度(明亮度)值減去該窗口內(nèi)像素的最小亮度(明亮度)值。這被表示為用八比特表示的從0到255的值。在本發(fā)明的實施例中，該像素群組可以是圍繞對應的塊定位的，因此在本示例中，與(對比度值所關(guān)聯(lián)的)窗口位置有關(guān)的單個像素或點可以例如是3X3窗口的中央像素位置。全局平均值計算器和比較器950接著導出跨左圖像和右圖像的每一個的全部的對比度的平均值，以生成對應的左平均值和右平均值。左平均值和右平均值的差值被計算并且被用作左圖像和右圖像之間的整體聚焦差值的指示。全局平均值計算器和比較器950將該差值與閾值相比較，以生成以下判決在左圖像和右圖像之間的聚焦中存在明顯的差異。這種聚焦中的明顯差異的存在可以通過適當?shù)挠脩麸@示指示給用戶。其也可以記錄在與圖像相關(guān)聯(lián)的元數(shù)據(jù)中。圖17示意性地圖示了左圖像和右圖像的示例以及它們對應的對比度圖。該裝置檢測關(guān)于每一圖像的聚焦指示符(諸如全局平均值)，并且比較聚焦指示符以檢測圖像對是否具有相似的聚焦程度。在示出的示例中，左圖像比右圖像更好的對焦，因此為對比度圖生成的值稍微不同。在兩幅對比度圖間的平均對比度也不同。形成聚焦檢測器520的操作的一部分并且在圖16中繪制作為局部對比度平均值比較器的局部聚焦告警處理可以使用由塊匹配器504生成的水平偏移數(shù)據(jù)來比較左圖像和右圖像的相應小區(qū)域之間的聚焦。具體而言，聚焦檢測器可以被配置為檢測圖像對的相 應區(qū)域的局部聚焦估計之間的差值。如前所述，聚焦檢測可以響應于指示圖像對中的圖像特征之間的位移的位移數(shù)據(jù)(諸如水平偏移數(shù)據(jù))，該聚焦檢測器被配置為在圖像對的相應區(qū)域的選擇中應用位移數(shù)據(jù)。因此聚焦檢測處理利用了對比度檢測器和對比度差異檢測器，該對比度檢測器被配置為檢測圖像對的每一者的塊內(nèi)的圖像對比度，該對比度差異檢測器被配置為檢測圖像對的對應區(qū)域之間的對比度的差異，該對應區(qū)域是響應于由上述塊匹配處理檢測出的位移而選出的以進行比較。注意塊匹配器504僅對那些在左圖像中檢測到垂直邊緣的圖像的小區(qū)域進行操作。換句話說，對比度差異檢測處理被布置為不對邊緣檢測器對其沒有檢測到邊緣的圖像區(qū)域檢測對比度差異。另外，還可能存在在其上塊匹配器504嘗試導出水平偏移值但是卻不能導出的區(qū)域，這可能是由于SAD數(shù)據(jù)中混淆現(xiàn)象的檢測。因此由塊匹配器504輸出的數(shù)據(jù)是稀疏的，這是因為一些圖片區(qū)域可能具有相關(guān)聯(lián)的水平偏移數(shù)據(jù)，而其他圖片區(qū)域可能沒有任何相關(guān)聯(lián)的水平偏移數(shù)據(jù)。左圖像和右圖像被視為被分解為64X60像素的固定的柵格(四分之一的分辨率)，或者對于隔行視頻為64X30像素。柵格的每個這樣的塊內(nèi)的水平偏移值(如果有的話)被組合到該塊的水平相異性的單個平均值估計中。如果在一個塊中沒有找到水平偏移值，那么忽略該塊。參考圖18,示出了示例圖像1000,其中小的方形圖標1010指示這樣的圖像位置，在該位置處，水平偏移數(shù)據(jù)被塊匹配器504成功地獲得。為了說明的清楚，圖像1000的小區(qū)域以放大的形式1020示出。針對每一柵格位置實施接下來的處理部分。與一個柵格位置相關(guān)的左對比度圖1030，以及距該柵格位置有平均水平相異性的位置偏移的右對比度圖1040被訪問。分別通過左平均值計算器1050和右平均值計算器1060計算出對比度圖的兩個子區(qū)域的平均值對比度。減法器1070從一者中減去另一者以導出差異，該差異可以被表示為絕對差異?？梢酝ㄟ^比較器1080將差值與閾值進行比較來確定是否存在關(guān)于該柵格位置的局部聚焦誤差(即，在本實施例中使用的關(guān)于左對比度圖1030的柵格位置)。因為該差異(在減法器1070的輸出處)可能容易受到原始塊匹配處理中錯誤的影響，因此用于檢測局部聚焦差異的閾值需要是用于全局聚焦差異的閾值的10倍。檢測到局部聚焦差異的區(qū)域可以被標記在屏幕上，例如通過繪制圍繞其的紅色方框。這種方 框的示例在圖8中被示為框 1100。
權(quán)利要求
1.一種用于表示場景的對應的左眼和右眼視圖的3D圖像對的圖像分析裝置，所述裝置包括 圖像裁剪檢測器，該圖像裁剪檢測器被配置為檢測在所述圖像的一者的橫向邊緣上的圖像裁剪的存在；以及 幀違規(guī)檢測器，該幀違規(guī)檢測器被配置為在排除了任何檢測到的圖像裁剪的圖像的區(qū)域內(nèi)檢測在右圖像中沒有找到的左圖像的左邊緣的閾值距離內(nèi)的圖像特征，或者在左圖像中沒有找到的右圖像的右邊緣的閾值距離內(nèi)的圖像特征。
2.根據(jù)權(quán)利要求I所述的裝置，其中，所述幀違規(guī)檢測器被配置為檢測以下情況作為幀違規(guī) 關(guān)于所述的左邊緣，在所述左圖像中右圖像的塊的存在，但是比在所述右圖像中它的位置更加遠離右側(cè)，但是在所述右圖像中沒有找到相應定位的左圖像的塊；和/或 關(guān)于所述的右邊緣，在所述右圖像中左圖像的塊的存在，但是比在所述左圖像中它的位置更加遠離左側(cè)，但是在所述左圖像中沒有找到相應定位的右圖像的塊。
3.根據(jù)權(quán)利要求I或者權(quán)利要求2所述的裝置，其中，所述圖像裁剪檢測器被配置為檢測在所述圖像的一者的橫向邊緣上占據(jù)全部圖像高度的均勻顏色的一部分的存在。
4.根據(jù)權(quán)利要求3所述的裝置，其中，所述均勻顏色為黑色。
5.根據(jù)上述權(quán)利要求中任一項所述的裝置，包括顯示器，用于顯示所述圖像對的表示以及被布置為指示相對于所檢測的幀違規(guī)的圖像的位置的指示符。
6.一種用于處理表示場景的對應的左眼和右眼視圖的3D圖像對的圖像分析方法，所述方法包括 檢測在所述圖像的一者的橫向邊緣上的圖像裁剪的存在；以及 在排除了任何檢測到的圖像裁剪的圖像的區(qū)域內(nèi)檢測在右圖像中沒有找到的左圖像的左邊緣的閾值距離內(nèi)的圖像特征，或者在左圖像中沒有找到的右圖像的右邊緣的閾值距離內(nèi)的圖像特征。
7.一種用于執(zhí)行根據(jù)權(quán)利要求6所述的方法的計算機軟件。
8.一種包括存儲了根據(jù)權(quán)利要求7所述的軟件的存儲介質(zhì)的計算機程序產(chǎn)品。
全文摘要
本發(fā)明公開了3D視頻分析。一種用于表示場景的對應的左眼和右眼視圖的3D圖像對的圖像分析裝置，所述裝置包括圖像裁剪檢測器，該圖像裁剪檢測器被配置為檢測在所述圖像的一者的橫向邊緣上的圖像裁剪的存在；以及幀違規(guī)檢測器，該幀違規(guī)檢測器被配置為在排除了任何檢測到的圖像裁剪的圖像的區(qū)域內(nèi)檢測在右圖像中沒有找到的左圖像的左邊緣的閾值距離內(nèi)的圖像特征，或者在左圖像中沒有找到的右圖像的右邊緣的閾值距離內(nèi)的圖像特征。
文檔編號H04N13/02GK102740117SQ20121010419
公開日2012年10月17日 申請日期2012年4月9日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者薩拉·伊麗莎白·威特 申請人:索尼公司