專利名稱：用于處理組合的圖像數(shù)據(jù)和深度數(shù)據(jù)的圖像處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像數(shù)據(jù)(包括編碼和解碼)的方法和系統(tǒng)以 及用于編碼的方法和設(shè)備。
編碼用于三維觀察的視頻信息的 一 種方法包括將深度數(shù)據(jù)圖像添 加到常規(guī)編碼的視頻數(shù)據(jù)，使得視頻數(shù)據(jù)定義了作為圖像中圖像位置的 函數(shù)的強(qiáng)度和/或顏色并且深度數(shù)據(jù)圖像定義了到圖像位置處可見的目 標(biāo)的3巨離。
C. Varekamp的題為"Compression artefacts in 3D television signals"并 且發(fā)表在The proceedings of the second annual IEEE BENELUX/DSP Valley Signal Processing Symposium (SPS國DARTS 2006), 2006年3月 28-29, Metropolis, Antwerp, Belgium的出版物中描述了使用這樣的技 術(shù)時出現(xiàn)的問題。
這篇論文描述了當(dāng)使用像用于依照MPEG標(biāo)準(zhǔn)壓縮視頻信息那樣的 量化的DCT系數(shù)編碼深度數(shù)據(jù)時出現(xiàn)的問題。這篇論文指出，在解碼量 化的DCT系數(shù)之后，可能由解壓縮的深度數(shù)據(jù)限定目標(biāo)深度邊界(深度 步長)的人為不規(guī)則局部移位。結(jié)果，目標(biāo)深度邊界不再與圖像中的強(qiáng) 度邊緣重合。當(dāng)深度數(shù)據(jù)用來改變圖像所描繪的場景的視點(viewpoint) 時，這導(dǎo)致目標(biāo)的可見鋸齒狀邊緣。除了建議編碼較低分辨率(降尺度) 深度圖并且在解碼之后對這種深度圖(或者更一般地說為深度數(shù)據(jù))進(jìn) 行插值，這篇論文沒有描述這個問題的解決方案。其次，建議了執(zhí)行邊 緣保持后濾波以便減少偽像(artefact )。

發(fā)明內(nèi)容
首先，本發(fā)明的目的是提供用于編碼和解碼包括深度信息的圖像數(shù) 據(jù)的方法和系統(tǒng)，其受壓縮誤差的損害較小。
依照一個方面，提供了依照權(quán)利要求l的方法。這里，在壓縮之前 執(zhí)行深度數(shù)據(jù)的膨脹，從而將其中深度數(shù)據(jù)指示不同距離處的區(qū)域之間 的深度邊緣的圖像位置移動到具有最大距離的區(qū)域中。因此，深度邊緣 變成位于這樣的圖像位置，在這些圖像位置處，深度邊緣兩側(cè)上的圖像數(shù)據(jù)相應(yīng)于最大距離處的目標(biāo)。已經(jīng)發(fā)現(xiàn)，這以最小的圖像校正防止了 偽像的出現(xiàn)。在一個實施例中，這應(yīng)用于根據(jù)解壓縮的圖像數(shù)據(jù)和解壓 縮的膨脹的深度數(shù)據(jù)計算合成視點的圖像。膨脹防止了在這種情況下當(dāng) 對應(yīng)不同位置的強(qiáng)度數(shù)據(jù)彼此移動時出現(xiàn)偽像。
在另一個實施例中，對圖像適應(yīng)性地設(shè)置膨脹的量。檢測其中壓縮 和解壓縮的組合造成距離的誤差的位置。根據(jù)圖像中作為位置的函數(shù)的 梯度和檢測的位置的重合的度量，調(diào)節(jié)膨脹的量。這樣，可以設(shè)置膨脹 的量以便最小化偽像。這也可以用來在解壓縮之后控制膨脹。


根據(jù)使用下列附圖的示例性實施例的描述，這些和其他的目的和有 利方面將變得清楚明白。
圖l示出了圖像處理系統(tǒng)； 圖2示出了壓縮裝置； 圖3示出了壓縮流程圖； 圖4示出了解壓縮裝置。
具體實施例方式
圖1示出了圖像處理系統(tǒng)，其包括照相機(jī)10、壓縮裝置12、信道 14、解壓縮裝蕈16以及深度相關(guān)處理單元18。
照相機(jī)IO設(shè)有圖像傳感器100和深度確定單元102。照相機(jī)10具 有用于向壓縮裝置12提供圖像數(shù)據(jù)和深度數(shù)據(jù)的輸出端104。圖像數(shù)據(jù) 定義了作為圖像中位置的函數(shù)的圖像強(qiáng)度以及優(yōu)選地還有顏色。深度數(shù) 據(jù)定義了從照相機(jī)到目標(biāo)的距離，圖像數(shù)據(jù)作為圖像中位置的函數(shù)被認(rèn) 為是所述目標(biāo)的屬性。
確定深度的特定方法對于本發(fā)明而言不是關(guān)鍵的。可以使用各種不 同的方法，例如使用立體圖像傳感器，接著確定不同的立體圖像中的圖 像位置之間的對應(yīng)性，分析照相機(jī)移動時目標(biāo)成像所在的圖像位置的變 化，從圖像獲取深度(depth-from-image)的技術(shù)(例如從聚焦獲取深度 (depth from focus )),除了圖像傳感器100之外還使用深度傳感器， 人工或半人工深度圖創(chuàng)建等等。許多這樣的技術(shù)本身是已知的。舉例而 言，在圖像傳感器100與深度確定單元102之間示出了連接，以便說明使用圖像傳感器100捕獲的圖像來確定深度。然而，如果使用了單獨的 深度感測方法，那么就可以不需要這樣的連接。優(yōu)選地，以將圖像流描 述為時間的函數(shù)的數(shù)據(jù)以及相應(yīng)的深度數(shù)據(jù)流的形式提供圖像數(shù)據(jù)和 深度數(shù)據(jù)。為了進(jìn)行說明，對于圖像數(shù)據(jù)和深度數(shù)據(jù)示出了單獨的連接， 但是應(yīng)當(dāng)理解的是，該數(shù)據(jù)可以在共享的連接上復(fù)用。
壓縮裝置12包括壓縮器120和膨脹器122。膨脹器122被配置成從 照相機(jī)10接收深度數(shù)據(jù)并且對深度數(shù)據(jù)施加圖像膨脹。壓縮器120接 收來自照相機(jī)10的圖像數(shù)據(jù)以及膨脹的深度數(shù)據(jù)。壓縮器120被配置 成根據(jù)圖像數(shù)據(jù)和膨脹的深度數(shù)據(jù)計算壓縮的數(shù)據(jù)并且將壓縮的數(shù)據(jù) 傳送到信道14。壓縮器120使用頻率變換來執(zhí)行壓縮。例如，可以使用 已知的JPEG或MPEG壓縮技術(shù)。在JPEGDCT壓縮技術(shù)中，針對圖像 中的位置的分塊計算圖像值的DCT(離散余弦變換)系數(shù)。對這些DCT 系數(shù)進(jìn)行量化以壓縮圖像。MPEG中使用了類似的技術(shù)，其直接應(yīng)用到 某些圖像以及應(yīng)用到由運動矢量進(jìn)行的圖像表示之后剩余的殘余量。在 當(dāng)前的示例性系統(tǒng)中，將DCT變換應(yīng)用到由圖像數(shù)據(jù)定義的強(qiáng)度圖像 和/或顏色平面圖像并且應(yīng)用到由膨脹的深度數(shù)據(jù)定義的深度圖像。壓縮 器12中的單獨的壓縮器可以用于該目的，或者復(fù)用技術(shù)可以用來針對 圖像數(shù)據(jù)和深度數(shù)據(jù)共享單個核心壓縮器。這里使用的術(shù)語深度數(shù)據(jù)和 圖像數(shù)據(jù)可以表示截然不同的數(shù)據(jù)集合，但是這些術(shù)語也涵蓋其中深度 數(shù)據(jù)和圖像數(shù)據(jù)不完全分開的情況。在一個實施例中，共享的運動矢量 用來表示相對于不同幀的幀內(nèi)編碼圖像數(shù)據(jù)和深度數(shù)據(jù)的某個幀的圖 像數(shù)據(jù)和深度數(shù)據(jù)。
在一個實施例中，相比于對于強(qiáng)度圖像，對于深度數(shù)據(jù)使用更強(qiáng)的 壓縮(具有更多的信息損失)。例如，相比于對于強(qiáng)度圖像，對于深度 圖像丟棄更多較高頻率的DCT系數(shù)(例如只有DC系數(shù))，或者更粗的 量化用于深度圖像的DCT系數(shù)。因此，最小化了用于編碼深度數(shù)據(jù)的 開銷。可替換地或者附加地，相比于圖像數(shù)據(jù)，可以將降低的空間和/ 或時間分辨率用于深度數(shù)據(jù)，例如，對深度數(shù)據(jù)進(jìn)行子采樣。
解壓縮裝置16耦合到信道14以便接收壓縮的信息。信道14可以 代表廣播傳輸信道或者例如記錄器-再現(xiàn)裝置的組合。當(dāng)JPEG或MPEG 技術(shù)用于壓縮時，解壓縮裝置16典型地使用JPEG或MPEG技術(shù)來進(jìn) 行解壓縮。解壓縮裝置16從壓縮的數(shù)據(jù)中重構(gòu)近似的圖像數(shù)據(jù)和深度
7數(shù)據(jù)，其表示與壓縮裝置12最初使用的強(qiáng)度和/或顏色圖像以及膨脹的 深度圖像相似的強(qiáng)度和/或顏色圖像以及深度圖像。由于壓縮的原因，偏 差可能會出現(xiàn)。
深度相關(guān)處理單元18接收重構(gòu)的圖像數(shù)據(jù)和深度數(shù)據(jù)并且使用該 數(shù)據(jù)來重構(gòu)圖像?？梢允褂酶鞣N不同形式的處理。在一個實施例中，深
度相關(guān)處理單元18被配置成計算成對的立體圖像。在另一個實施例中， 深度相關(guān)處理單元18被配置成計算連續(xù)視點的一系列圖像，以便在準(zhǔn) 三維顯示器上顯示。在一個實施例中，深度相關(guān)處理單元18具有用于 接收視點(或視點變化)的用戶選擇的輸入端。在每個實施例中，深度 相關(guān)處理單元18使用圖像數(shù)據(jù)和深度數(shù)據(jù)來計算視點相關(guān)圖像。用于 這點的技術(shù)本身是已知的。這些技術(shù)的結(jié)果是， 一定圖像位置的圖像數(shù) 據(jù)將從該位置跨過一定的移動距離和方向移動到另一位置，其取決于視 點的變化以及與該圖像位置關(guān)聯(lián)的深度。
這種移動可能導(dǎo)致若干偽像。首先，在前景圖像區(qū)域部分地跨越背 景區(qū)域移動的地方可能出現(xiàn)改變的邊界。其次，在背景圖像區(qū)域由移動 去除遮擋的地方可能出現(xiàn)間隙。在這些間隙中，必須插入替代的圖像數(shù) 據(jù)。為此目的，優(yōu)選地考慮與間隙相鄰的圖像區(qū)域集合。從該集合中選 擇具有最大距離的區(qū)域。間隙中的圖像內(nèi)容根據(jù)選擇的區(qū)域來進(jìn)行外 推。外推可以使用來自圖像本身的圖像數(shù)據(jù)來進(jìn)行，或者可以插入已經(jīng)
針對選擇的圖像區(qū)域從其中該區(qū)域被較少遮擋的視頻流中的其他圖像 獲得的外推數(shù)據(jù)。
膨脹器122被配置成對深度數(shù)據(jù)施加圖像膨脹。圖像膨脹本身是已 知的。當(dāng)應(yīng)用于膨脹器122中時，膨脹器122被配置成在其中深度圖像 包含具有相對較大的深度的區(qū)域與具有相對較小的深度的區(qū)域之間的 邊緣的任何位置改變深度圖像(由深度數(shù)據(jù)表示)，將所述邊緣移動到 所述具有相對較大的深度的區(qū)域中。因此，使得前景目標(biāo)在深度圖像中 看起來更大?？梢詫⑷魏我阎募夹g(shù)用于膨脹。在一個實施例中，對于 圖像中的每個位置，膨脹的深度是該位置的鄰域中的最小深度，相同形 狀和尺寸的鄰域用于每個位置，平移到那些位置。在一個實施例中，可 以使用一個像素高并且多個像素(等于膨脹的量)長的水平線狀鄰域。 在這種情況下，可以在逐行的基礎(chǔ)上應(yīng)用膨脹，這減少了所需處理的量。 在另一個實施例中，例如可以將方形或圓形鄰域用于該目的，鄰域的直
8徑由膨脹的程度決定。
在另一個實施例中，可以將圖像分割成與目標(biāo)關(guān)聯(lián)的分段， 一定位 置與一定分段連接，該分段與該位置的鄰域重疊并且與具有最小深度的 目標(biāo)關(guān)聯(lián)。在這種情況下，可以例如通過外推或者拷貝離目標(biāo)中的最近 圖像位置的距離從該目標(biāo)導(dǎo)出膨脹的深度。在另一個實施例中，從所述 位置的不同側(cè)上的區(qū)域外推的深度的最小值可以用來獲得膨脹的深度。
相應(yīng)的膨脹不施加到表示強(qiáng)度圖像和/或顏色圖像的圖像數(shù)據(jù)。因 此，在圖像數(shù)據(jù)和膨脹的深度數(shù)據(jù)的組合中，膨脹的效果在于，在更近 的目標(biāo)與更遠(yuǎn)的目標(biāo)之間的邊緣附近給屬于更遠(yuǎn)的目標(biāo)的圖像數(shù)據(jù)分 配更近的目標(biāo)的距離。
深度數(shù)據(jù)用來控制圖像數(shù)據(jù)的移動以便計算選擇的視點的圖像。在 這點完成時，深度數(shù)據(jù)的膨脹的效果在于，針對稍微超出圖像中前景目 標(biāo)的邊緣之外的位置的圖像數(shù)據(jù)將與來自該邊緣內(nèi)的前景目標(biāo)的圖像 數(shù)據(jù)一致地移動。結(jié)果，由于移動而引起的間隙將被來自背景(更遠(yuǎn)的 目標(biāo))的圖像數(shù)據(jù)包圍，像改變的邊界將出現(xiàn)的那樣。其效果在于，由 于視點的改變而引起的偽像將不那么明顯。
壓縮引起的深度數(shù)據(jù)中的誤差將導(dǎo)致深度數(shù)據(jù)中邊緣的位置誤差。 當(dāng)相比于對于圖像數(shù)據(jù)以更高(更多損失)的壓縮率進(jìn)行深度數(shù)據(jù)的壓 縮時，深度誤差可能是大的并且相比于圖像誤差在空間上更加分散。由 于膨脹的原因，包圍這些誤差位置的圖像數(shù)據(jù)將全部來自對應(yīng)有誤差(in
errors)背景的圖像數(shù)據(jù)。因此，這防止了這些誤差使得對應(yīng)前景目標(biāo)上 的任何位置的圖像數(shù)據(jù)值與對應(yīng)前景目標(biāo)上的其他位置的圖像數(shù)據(jù)值 不同地移動。
通過在壓縮之前執(zhí)行膨脹，避免了由于壓縮/解壓縮而引起的誤差被 膨脹。這首先防止了深度數(shù)據(jù)中的振鈴偽像被膨脹。施加到人為地產(chǎn)生 甚至比前景目標(biāo)更近的深度的振鈴偽像的在后解壓縮膨脹將由于膨脹 而生長，導(dǎo)致前景和背景中的誤差。通過在壓縮之前執(zhí)行膨脹，防止了 膨脹增大振鈴效應(yīng)。振鈴效應(yīng)限于對應(yīng)背景的圖像數(shù)據(jù)。已經(jīng)發(fā)現(xiàn)，通 過在壓縮之前執(zhí)行膨脹，相比于在解壓縮之后執(zhí)行膨脹的情況，需要較 少的膨脹來防止前景圖像數(shù)據(jù)的不同移動。因此，與將膨脹看作移除偽 像的后處理濾波步驟的常識相反的是，優(yōu)選地將膨脹作為偽像出現(xiàn)之前 的預(yù)處理而執(zhí)行。圖2示出了可替換的壓縮裝置12,其中在反饋環(huán)中控制膨脹的量。 除了圖1中所示的部件之外，該壓縮裝置包括解壓縮器20和控制電路
22。解壓縮器20具有耦合到壓縮器120的輸出端的輸入端。控制電路 22具有耦合到深度數(shù)據(jù)輸入端以及耦合到膨脹器122和解壓縮器20的 輸出端的輸入端?？刂齐娐?2具有耦合到膨脹器122的控制輸入端的 輸出端。
圖3示出了壓縮實施例的流程圖，其中在反饋環(huán)中控制膨脹的量。 在第一步驟31中，接收輸入的圖像數(shù)據(jù)和關(guān)聯(lián)的深度數(shù)據(jù)。圖像數(shù)據(jù) 定義了對應(yīng)圖像中的位置的強(qiáng)度和/或顏色，并且深度數(shù)據(jù)定義了到這些 位置處可見的目標(biāo)的距離。在第二步驟32中，設(shè)置膨脹控制參數(shù)。在 第三步驟33中，膨脹器122對深度數(shù)據(jù)進(jìn)行膨脹，即它修改定義的深 度，從而跨越膨脹控制參數(shù)所控制的距離將不同深度處的圖像位置的區(qū) 域之間的邊緣移動到具有更大的深度的區(qū)域中。在第四步驟34中，壓 縮器120壓縮圖像數(shù)據(jù)和膨脹的深度數(shù)據(jù)。在第五步驟35中，解壓縮 器20對壓縮的膨脹的深度數(shù)據(jù)解壓縮。在第六步驟36中，控制電路22 對膨脹進(jìn)行評估?？刂齐娐?2計算多個圖像位置處的解壓縮的膨脹的 深度與壓縮之前的膨脹的深度之間的差值。將這些差值與由相應(yīng)圖像位 置處的原始深度數(shù)據(jù)定義的梯度大小值相乘。
在第七步驟37中，控制電路22測試得到的任何乘積是否超過閾值。 如果是這樣，那么控制電路更新膨脹控制參數(shù)以便增大移動由深度數(shù)據(jù) 定義的邊緣所跨越的距離，并且該流程圖從第三步驟23重復(fù)。如果得 到的所有乘積都低于閾值，那么該過程結(jié)束。應(yīng)當(dāng)理解的是，與圖l相 比，圖2的系統(tǒng)添加了第六和第七步驟36、 37。
在視頻序列的情況下，隨后以相同的方式處理圖像數(shù)據(jù)-深度數(shù)據(jù)的 下一個配對。在這種情況下，單獨地處理視頻序列中的圖像。在另一個 實施例中，可以針對視頻序列中的連續(xù)圖像序列設(shè)置膨脹的量，例如以 便防止偽像(或者序列的任何圖像中超過最小數(shù)量的偽像)。在另一個 實例中，設(shè)置膨脹的量的視頻時間依賴關(guān)系，以便濾掉預(yù)定時間頻率以 上的變化并且防止偽像(或者任何圖像中超過最小數(shù)量的偽像)。例如， 可以使用膨脹的最大選擇的量的低通濾波頻率包絡(luò)。設(shè)置用于序列的膨 脹的量的優(yōu)點在于，避免了時間偽像。
盡管給出了其中如果任何乘積超過閾值則增大膨脹的量的實例，但是應(yīng)當(dāng)理解的是，可替換地，所述增大可以取決于超過閾值的乘積的總
合(aggregate)，從而如果大的乘積僅局部地出現(xiàn)在孤立的位置，則不 進(jìn)行膨脹的增大。所述乘積和總合是檢測的位置與邊緣的重合度量的實 例。還應(yīng)當(dāng)理解的是，其他的重合度量可以用來評估膨脹。
在一個可替換的實施例中，控制電路22使用壓縮和解壓縮之后從 圖像數(shù)據(jù)和深度數(shù)據(jù)獲得的合成視點的視圖評估膨脹。如果可檢測到該 視圖包含超過預(yù)定量的偽像，則認(rèn)為膨脹不充分。通過這種方式，當(dāng)前 景和背景圖像數(shù)據(jù)之間的差值如此之小，以至于即使深度數(shù)據(jù)包含誤差 也不出現(xiàn)偽像時，可以避免不必要的膨脹。用于使用深度數(shù)據(jù)和圖像數(shù) 據(jù)產(chǎn)生任意視點的視圖的合成視點發(fā)生器本身是已知的。可以使用諸如 利用用于該目的的程序編程的計算機(jī)或者專用硬件之類的合成視點發(fā) 生器。可以例如通過將壓縮和解壓縮之后產(chǎn)生的視圖與針對所述視點不 經(jīng)過壓縮和解壓縮從深度數(shù)據(jù)和圖像數(shù)據(jù)產(chǎn)生的視圖進(jìn)行比較來執(zhí)行 偽像的檢測?？商鎿Q地，可以處理壓縮和解壓縮之后產(chǎn)生的視圖，以便 檢測具有與壓縮偽像效果以及這樣的邊緣的強(qiáng)度和預(yù)定閾值的比較結(jié) 果相應(yīng)的尺寸的空間不規(guī)則性的空間不規(guī)則邊緣的存在。
作為另 一個實例，可以在結(jié)果中對深度數(shù)據(jù)與解壓縮的膨脹的深度 數(shù)據(jù)之間的差值的位置附近的圖像數(shù)據(jù)內(nèi)容的梯度進(jìn)行加權(quán)。此外，應(yīng) 當(dāng)理解的是，可以使得用于決定增大膨脹并且返回到第三步驟33的準(zhǔn) 則隨著膨脹的量的增加而越發(fā)具有限制性，或者甚至可以完全避免增加 超出最大值。此外，再現(xiàn)的視圖的信噪比(PSNR)可以用作準(zhǔn)則。
應(yīng)當(dāng)理解的是，該流程圖假設(shè)開始時將膨脹控制參數(shù)設(shè)置為最小值 并且隨后增大，直到不出現(xiàn)由于壓縮和解壓縮而引起的偽像或者僅僅出 現(xiàn)最少的偽像。可替換地，該過程可以從最大膨脹開始，減小膨脹，直 到出現(xiàn)這樣的偽像或者出現(xiàn)多于最少的這樣的偽像。在另一個可替換的 方案中，該過程可以從任何膨脹開始并且沿著與計算的偽像有關(guān)的方向 繼續(xù)。
因此，通過在壓縮之前控制膨脹，可以防止令人煩惱的偽像的量。 另外，壓縮裝置12向解壓縮裝置16傳送用于圖像的最終選擇的膨脹的 量。該選擇的量的指示可以包括在包含圖像數(shù)據(jù)和深度數(shù)據(jù)的視頻流信 號中?？梢蕴峁┛梢允墙鈮嚎s裝置的深度相關(guān)處理單元18的一部分的 圖像處理裝置，并且可以向該圖像處理裝置提供傳送的膨脹的量以便使得該圖像處理裝置能夠減少由于膨脹而引起的偽像。
在一個實施例的實例中，所述圖像處理裝置被配置成在濾除由于壓 縮而引起的偽像(該濾波可以例如包括中值濾波)之后以與膨脹距離的 從壓縮裝置接收的選擇的量相應(yīng)的量(例如以小于100%的百分?jǐn)?shù))腐 蝕深度圖像。因此，可以最小化由于膨脹而引起的偽像。在這個或另一 個實施例中，所述圖像處理裝置可以被配置成依照解壓縮和腐蝕之后獲 得的深度數(shù)據(jù)控制其他形式的深度相關(guān)圖像處理(例如前景和背景目標(biāo) 之間的邊緣處的前景/背景顏色混合)。
在另一個實施例中，設(shè)置壓縮之前的膨脹的量超過避免圖像中目標(biāo) 的深度邊界與該目標(biāo)的強(qiáng)度/顏色邊界交叉所嚴(yán)格需要的最小量膨脹。圖 4示出了用于該實施例的解壓縮裝置。在該實施例中，添加了腐蝕單元
40,用于在解壓縮之后施加腐蝕以便腐蝕解壓縮的深度圖像。優(yōu)選地，
腐蝕的量不多于多余的膨脹的量(這里使用的腐蝕從具有較小距離的區(qū)
域的邊界生長具有較大距離的區(qū)域)；在一個實施例中，腐蝕通過用圍 繞每個像素位置的鄰域中的最大深度代替該像素位置的深度來實現(xiàn)。這 用于對解壓縮的深度圖像進(jìn)行濾波，移除由于偽像而引起的這樣的區(qū)域
的窄擴(kuò)展或者小的前景區(qū)域。腐蝕的量可以通過用信號表示的(signaled) 膨脹的量來控制。代替施加腐蝕的單元40的是，可以使用處理器40, 該處理器被配置成執(zhí)行與用信號表示的膨脹的量有關(guān)的其他處理操作。
可以使用被特別設(shè)計成執(zhí)行所描述功能的電子電路來實現(xiàn)壓縮裝 置12和解壓縮裝置?？商鎿Q地，可以使用可編程處理器，其利用執(zhí)行 這些功能的計算機(jī)程序編程，或者可以使用經(jīng)過特別設(shè)計的硬件以及經(jīng) 過編程的處理器的混合物。
如上所述，在壓縮之前施加膨脹具有的效果在于，將減少從合成視 點產(chǎn)生的視圖中的偽像。權(quán)利要求中闡明了本發(fā)明。本文使用的措詞"包 括"并沒有排除其他的元件或步驟，"一"或"一個"并沒有排除復(fù)數(shù)， 并且單個處理器或其他單元可以實現(xiàn)權(quán)利要求中列出的若干裝置的功 能。權(quán)利要求中的附圖標(biāo)記不應(yīng)當(dāng)被視為對范圍的限制。
權(quán)利要求
1.一種圖像處理系統(tǒng)，包括-輸入端(104)，其用于接收圖像數(shù)據(jù)和深度數(shù)據(jù)，所述圖像數(shù)據(jù)和深度數(shù)據(jù)分別定義了圖像中的圖像位置的亮度和/或顏色以及到所述圖像位置處可見的目標(biāo)的距離；-膨脹器(122)，其耦合到所述輸入端并且被配置成沿著將具有相對較小的距離的圖像位置的區(qū)域與具有相對較大的距離的圖像位置的區(qū)域之間的邊緣移向所述具有相對較大的距離的圖像位置的區(qū)域的方向?qū)ι疃葦?shù)據(jù)進(jìn)行膨脹；-壓縮器(120)，其耦合到所述輸入端以及所述膨脹器的輸出端并且被配置成壓縮圖像數(shù)據(jù)和膨脹的深度數(shù)據(jù)。
2. 依照權(quán)利要求1的圖像處理系統(tǒng)，包括檢測器(22),該檢測器 被配置成檢測在原始深度數(shù)據(jù)的哪些位置處壓縮和解壓縮的組合造成 距離的誤差，檢測器(22)具有輸出端，該輸出端耦合到膨脹器(122) 的控制輸入端，以用于控制所施加的膨脹的量。
3. 依照權(quán)利要求2的圖像處理系統(tǒng)，其中檢測器(22)被配置成根 據(jù)作為位置的函數(shù)的距離的梯度和檢測的位置的重合的度量進(jìn)行計算。
4. 依照權(quán)利要求1的圖像處理系統(tǒng)，包括檢測器(22),該檢測器 被配置成在壓縮和解壓縮之后從圖像數(shù)據(jù)和深度數(shù)據(jù)產(chǎn)生合成視點的 視圖并且檢測視圖中的偽像，檢測器(22)具有輸出端，該輸出端耦合 到膨脹器(122)的控制輸入端，以用于根據(jù)檢測的偽像的量控制施加 的膨脹的量。
5. 依照權(quán)利要求2、 3或4的圖像處理系統(tǒng)，其中檢測器(22)耦 合在反饋環(huán)中，以便重復(fù)地調(diào)節(jié)施加的膨脹的量，直到壓縮的深度數(shù)據(jù) 和/或圖像數(shù)據(jù)滿足預(yù)定的準(zhǔn)則。
6. 依照權(quán)利要求1的圖像處理系統(tǒng)，包括-解壓縮器(16),其被配置成對壓縮的圖像數(shù)據(jù)和壓縮的膨脹的 深度數(shù)據(jù)進(jìn)行解壓縮；-合成視圖發(fā)生器(18)，其用于通過按照從解壓縮的深度數(shù)據(jù)確 定的量空間平移解壓縮的圖像數(shù)據(jù)來產(chǎn)生合成視點的圖像。
7. 依照權(quán)利要求1的圖像處理系統(tǒng)，其中壓縮器(120)被配置成 產(chǎn)生包括壓縮的膨脹的深度數(shù)據(jù)的信號以及有關(guān)已經(jīng)施加到深度數(shù)據(jù)的膨脹的量的信息。
8. 依照權(quán)利要求7的圖像處理系統(tǒng)，包括-解壓縮器(16),其被配置成對壓縮的圖像數(shù)據(jù)和壓縮的膨脹的 深度數(shù)據(jù)進(jìn)行解壓縮；-合成視圖發(fā)生器(18),其用于通過按照從解壓縮的深度數(shù)據(jù)確 定的量空間平移解壓縮的圖像數(shù)據(jù)來產(chǎn)生合成視點的圖像；-腐蝕單元(40)，其被配置成在解壓縮的深度數(shù)據(jù)用于按照根據(jù) 有關(guān)已經(jīng)施加到深度數(shù)據(jù)的膨脹的量的信息而選擇的量進(jìn)行合成視圖 的產(chǎn)生之前腐蝕該解壓縮的深度數(shù)據(jù)。
9. 一種圖像信號，包括壓縮的深度數(shù)據(jù)、壓縮的圖像數(shù)據(jù)、用信號 表示解壓縮之后施加到深度數(shù)據(jù)的腐蝕的量的信息。
10. —種圖像解壓縮系統(tǒng)，包括-輸入端，其用于接收傳送的壓縮的圖像數(shù)據(jù)和壓縮的深度數(shù)據(jù)以 及有關(guān)已經(jīng)施加到深度數(shù)據(jù)的膨脹的量的信息；-解壓縮器(16),其用于對壓縮的圖像數(shù)據(jù)和壓縮的深度數(shù)據(jù)進(jìn) 行解壓縮；-處理電路(40),其被配置成根據(jù)有關(guān)已經(jīng)施加到深度數(shù)據(jù)的膨 脹的量的信息處理解壓縮的圖像數(shù)據(jù)和/或壓縮的深度數(shù)據(jù)。
11. 依照權(quán)利要求10的圖像解壓縮系統(tǒng)，其中所述圖像處理電路是 腐蝕單元，該腐蝕單元用于腐蝕深度數(shù)據(jù)以便將深度數(shù)據(jù)中具有相對較 小的距離的圖像位置的區(qū)域與深度數(shù)據(jù)中具有相對較大的距離的圖像 位置的區(qū)域之間的邊緣移向所述具有相對較小的距離的圖像位置的區(qū) 域，腐蝕單元(40)具有用于控制膨脹的量的控制輸入端，其耦合用于 接收有關(guān)已經(jīng)施加到深度數(shù)據(jù)的膨脹的量的信息。
12. —種處理圖像數(shù)據(jù)的方法，包括-提供圖像數(shù)據(jù)和深度數(shù)據(jù)的組合，所述圖像數(shù)據(jù)和深度數(shù)據(jù)分別 定義了圖像中的圖像位置的亮度和/或顏色以及到所述圖像位置處可見 的目標(biāo)的距離；-壓縮和解壓縮圖像數(shù)據(jù)和深度數(shù)據(jù)；-在所述壓縮之前對深度數(shù)據(jù)進(jìn)行膨脹，以便將具有相對較小的距 離的圖像位置的區(qū)域與具有相對較大的距離的圖像位置的區(qū)域之間的 邊緣移向所述具有相對較大的距離的圖像位置的區(qū)域。
13. 依照權(quán)利要求12的處理圖像數(shù)據(jù)的方法，包括根據(jù)解壓縮的圖 像數(shù)據(jù)和解壓縮的膨脹的深度數(shù)據(jù)計算合成視點的圖像。
14. 依照權(quán)利要求12的處理圖像數(shù)據(jù)的方法，包括-檢測在哪些位置處壓縮和解壓縮的組合造成距離的誤差； -根據(jù)作為位置的函數(shù)的距離的梯度和檢測的位置的重合的度量調(diào) 節(jié)膨脹的量。
15. 依照權(quán)利要求12的處理圖像數(shù)據(jù)的方法，包括調(diào)節(jié)膨脹的量， 直到壓縮的深度數(shù)據(jù)和/或圖像數(shù)據(jù)滿足預(yù)定的準(zhǔn)則。
16. —種計算機(jī)程序產(chǎn)品，包括指令程序，其當(dāng)由可編程計算機(jī)執(zhí) 行時使得該可編程計算機(jī)執(zhí)行權(quán)利要求12的方法的步驟。
全文摘要
提供了圖像數(shù)據(jù)和深度數(shù)據(jù)的組合，其分別定義了圖像中的圖像位置的亮度和/或顏色以及到所述圖像位置處可見的目標(biāo)的距離。圖像數(shù)據(jù)和深度數(shù)據(jù)由壓縮器(120)壓縮并且由解壓縮器(16)解壓縮。在所述壓縮之前對深度數(shù)據(jù)進(jìn)行膨脹，以便將具有相對較小的距離的圖像位置的區(qū)域與具有相對較大的距離的圖像位置的區(qū)域之間的邊緣移向所述具有相對較大的距離的圖像位置的區(qū)域。
文檔編號H04N7/26GK101589626SQ200780044922
公開日2009年11月25日 申請日期2007年12月3日 優(yōu)先權(quán)日2006年12月4日
發(fā)明者C·瓦雷坎普, R·B·M·克萊因古尼維克 申請人:皇家飛利浦電子股份有限公司