專利名稱：利用分級塊分裂和運(yùn)動分割進(jìn)行目標(biāo)邊界準(zhǔn)確運(yùn)動的檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明描述了一種新型的運(yùn)動檢測方法，其與現(xiàn)有技術(shù)的方法相比生成了更為準(zhǔn)確和均勻的運(yùn)動圖(motion map)，其中所擁有的運(yùn)動檢測錯誤數(shù)量更少。
圖像處理的目標(biāo)之一是(例如在人工視覺領(lǐng)域)模擬人類視覺系統(tǒng)的某些特征諸如復(fù)雜環(huán)境內(nèi)識別物體運(yùn)動并跟蹤它們行為的技能。
跟蹤應(yīng)用中的第一個步驟是檢測環(huán)境中的運(yùn)動目標(biāo)，對目標(biāo)像素進(jìn)行分類并將它們聚集在連接的區(qū)域內(nèi)，這些區(qū)域由能夠使它們被識別的特征進(jìn)行表征，這就降低了給出現(xiàn)場全局感觀的問題復(fù)雜性。以這種方式在環(huán)境中的所述區(qū)域和實(shí)際運(yùn)動的目標(biāo)之間建立了連接并且利用象平面上所述區(qū)域的行為代替現(xiàn)場中目標(biāo)的行為。
在運(yùn)動檢測領(lǐng)域中，有三個子領(lǐng)域值得關(guān)注環(huán)境建模、運(yùn)動分割(motionsegmentation)和目標(biāo)分類。
運(yùn)動分割中存在的問題是在視頻或圖像序列中發(fā)現(xiàn)獨(dú)立的運(yùn)動目標(biāo)并因而將從中提取出來的場面或特征聚集在具有公共運(yùn)動的區(qū)域內(nèi)。在大多數(shù)情況下，分割取決于圖像灰度值或顏色，有時由織構(gòu)表示延伸。然而，在圖像序列的情況下，運(yùn)動信息也已經(jīng)是過去數(shù)十年在分割過程中常用的。
大多數(shù)的運(yùn)動分割技術(shù)因而處理光流、或僅是圖像差，作為被發(fā)送到標(biāo)準(zhǔn)分割方法中預(yù)先計(jì)算的特征。
通?？梢粤信e一些對運(yùn)動檢測器的重要要求。以下各項(xiàng)可以認(rèn)為是在圖像處理應(yīng)用中對運(yùn)動檢測處理的要求 正確性最基本的說法是檢測過程應(yīng)當(dāng)使理想環(huán)境內(nèi)的假正(false positive)和假負(fù)(false negative)最小化。
魯棒性應(yīng)當(dāng)能夠在一定程度上抵抗噪聲的影響。
均勻性這應(yīng)當(dāng)能夠確保目標(biāo)運(yùn)動的正確描述。通常人類視覺系統(tǒng)對假的、局部錯誤敏感。因此，最好獲得圖畫景象的語義目標(biāo)內(nèi)一致處理的均勻圖。
精確性其對于精確描述目標(biāo)以避免圖畫內(nèi)的語義目標(biāo)之間的影響是很重要的。
通過滿足上述要求可以為了圖像處理應(yīng)用以適當(dāng)?shù)姆绞蕉谝曨l序列內(nèi)來描述目標(biāo)靜止或移動狀態(tài)。通常對于消費(fèi)電子產(chǎn)品而言，其它的要求是運(yùn)動檢測算法的復(fù)雜性。

背景技術(shù)：
對于運(yùn)動分割，在科學(xué)文獻(xiàn)已經(jīng)給出了兩種主要的方法圖像差和背景扣除。前者包括時間t時的幀和時間t-1時的幀之間的閾值差；該方法在計(jì)算方面比較好并在兩幀之間提供即時的目標(biāo)運(yùn)動檢測；然而，其有兩個幀速度和目標(biāo)速度所導(dǎo)致的公知的缺點(diǎn)前景孔徑(foreground aperture)和重影(ghosting)。
在運(yùn)動分割中存在的問題是所謂的“幻影(ghost)”和“陰影”。其大約是在幀比較內(nèi)識別為運(yùn)動部分的顯示部分。然而，上述顯示部分沒有對應(yīng)真實(shí)目標(biāo)并因而不應(yīng)該在目標(biāo)分類中考慮。
當(dāng)將目標(biāo)記錄在背景參考模型并將其從背景中移除和擦掉時，會出現(xiàn)“幻影”。術(shù)語“陰影”表示陰影，從而使搜索目標(biāo)的陰影和“幻影”的陰影能互相區(qū)分開。
在當(dāng)前的去交錯(de-interlacing)框架的現(xiàn)有技術(shù)中，運(yùn)動檢測算法試圖在兩個相繼的輸入場之間檢測運(yùn)動。由此從隨后的多個場中得到的像素差并與閾值比較。如果像素差小于給定的閾值，則沒有包含運(yùn)動。如果另一方面各個場之間的像素差大于特定的閾值，則假定有運(yùn)動。在一些文獻(xiàn)中已經(jīng)描述了像素選擇和初始過程的各種不同的配置。
考慮到現(xiàn)有技術(shù)，主要有兩類檢測錯誤被觀察，這樣會在圖像的贗象中導(dǎo)致典型的去交錯應(yīng)用 假正運(yùn)動區(qū)域被錯誤地檢測成靜止區(qū)域，這樣會導(dǎo)致“老鼠牙”贗象。
假負(fù)靜止區(qū)域被檢測成運(yùn)動區(qū)域，這在高垂直細(xì)節(jié)中會導(dǎo)致“閃爍贗象”。


發(fā)明內(nèi)容
本發(fā)明的一個目的是加強(qiáng)運(yùn)動檢測錯誤中的目標(biāo)邊界處理，而能保持目標(biāo)形狀。
本發(fā)明的另一個目的是提高靜止或運(yùn)動目標(biāo)內(nèi)運(yùn)動信息的準(zhǔn)確性。
本發(fā)明的在一個目的是通過消除像素錯誤提高運(yùn)動圖的均勻性。
本發(fā)明的上述目的是通過下面的精確運(yùn)動圖生成設(shè)備實(shí)現(xiàn)的，該設(shè)備可以被操作來接收和處理包括有運(yùn)動圖的輸入數(shù)據(jù)并輸出最終的運(yùn)動圖，所述運(yùn)動圖識別至少兩幅連續(xù)圖像之間的像素的非運(yùn)動和運(yùn)動，所述裝置包括可以被操作來接收和處理所述輸入數(shù)據(jù)并輸出第一信號M1、第二信號M2和第三信號M3的處理分割裝置，從而所述信號M1、M2和M3分別是特征圖，其基于所述輸入數(shù)據(jù)并描述至少兩幅連續(xù)圖像之間的特性；所述第一信號M1描述靜止邊緣、所述第二信號M2描述運(yùn)動邊緣、并且所述第三信號M3描述運(yùn)動平坦區(qū)域；和可以被操作來接收和處理所述第一信號M1、所述第二信號M2和所述第三信號M3并輸出所述最終的運(yùn)動圖的組合邏輯裝置，所述最終的運(yùn)動圖基于所述信號M1、M2和M3。
優(yōu)選地，組合邏輯裝置可以被操作來基于形態(tài)關(guān)閉操作“關(guān)閉”A而將信號M2處理為信號A。
優(yōu)選地，操作“關(guān)閉”A包括在形態(tài)侵蝕操作(morphological closingoperation)前面的形態(tài)擴(kuò)張操作(morphological dilatation operation)。
優(yōu)選地，組合邏輯裝置可以被操作來基于后處理操作前面的形態(tài)關(guān)閉操作“關(guān)閉”B而將信號M3處理成信號B。
優(yōu)選地，操作“關(guān)閉”B包括形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
優(yōu)選地，處理操作包括一個二維邊緣保存濾波器。
優(yōu)選地，后處理操作包括一個二維中值濾波器。
優(yōu)選地，所述組合邏輯裝置可以被操作來將信號M1反轉(zhuǎn)為信號C。
優(yōu)選地，所述組合邏輯裝置可以被操作來將信號A、B和C組合在一起成為最終的運(yùn)動圖。
優(yōu)選地，所述輸入數(shù)據(jù)包括邊緣圖、所述邊緣圖識別一幅圖像的邊緣，所述處理分割裝置包括可以被操作來接收和處理運(yùn)動圖并輸出預(yù)處理運(yùn)動圖的預(yù)處理裝置；和可以被操作來接收和處理預(yù)處理過的運(yùn)動圖和邊緣圖并輸出信號M1、M2和M3的分割裝置。
優(yōu)選地，所述精確運(yùn)動圖生成裝置，進(jìn)一步包括可以被操作來接收和處理圖像數(shù)據(jù)并輸出包括運(yùn)動圖的所述輸入數(shù)據(jù)的圖像分析裝置。
優(yōu)選地，所述圖像分析裝置包括可以被操作來接收和處理所述圖像數(shù)據(jù)并輸出所述運(yùn)動圖的運(yùn)動檢測裝置；和可以被操作來接收和處理所述圖像數(shù)據(jù)并輸出所述邊緣圖的邊緣檢測裝置，所述圖像分析裝置可以被操作來輸出包括有所述運(yùn)動圖和所述邊緣圖的所述輸入數(shù)據(jù)。
優(yōu)選地，所述運(yùn)動檢測裝置可以被操作來基于具有分級塊分裂的精確運(yùn)動檢測來處理。
優(yōu)選地，所述邊緣檢測裝置可以被操作來基于3×3蘇貝爾算符(Sobeloperator)進(jìn)行處理。
本發(fā)明的上述目的還可以通過下面的精確運(yùn)動圖生成方法實(shí)現(xiàn)，該方法用于接收和處理包括有運(yùn)動圖的輸入數(shù)據(jù)并輸出最終的運(yùn)動圖，從而所述運(yùn)動圖識別至少兩幅連續(xù)圖像之間的像素的非運(yùn)動和運(yùn)動，該方法包括接收和處理所述輸入數(shù)據(jù)并輸出第一信號M1、第二信號M2和第三信號M3的處理分割步驟，從而所述信號M1、M2和M3分別是特征圖，其基于所述輸入數(shù)據(jù)并描述至少兩幅連續(xù)圖像之間的特性；所述第一信號M1描述靜止邊緣、所述第二信號M2描述運(yùn)動邊緣、并且所述第三信號M3描述運(yùn)動平坦區(qū)域；和接收和處理所述第一信號M1、所述第二信號M2和所述第三信號M3并輸出所述最終的運(yùn)動圖的組合邏輯步驟，從而所述最終的運(yùn)動圖基于所述信號M1、M2和M3。
優(yōu)選地，所述組合邏輯步驟基于形態(tài)關(guān)閉操作“關(guān)閉”A而將信號M2處理為信號A。
優(yōu)選地，所述操作“關(guān)閉”A包括在形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
優(yōu)選地，所述組合邏輯步驟基于后處理操作前面的形態(tài)關(guān)閉操作“關(guān)閉”B而將信號M3處理成信號B。
優(yōu)選地，操作“關(guān)閉”B包括形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
優(yōu)選地，所述后處理操作包括一個二維邊緣保存濾波器。
優(yōu)選地，所述后處理操作包括一個二維中值濾波器。
優(yōu)選地，在組合邏輯步驟期間將信號M1被反轉(zhuǎn)為信號C。
優(yōu)選地，在組合邏輯步驟期間將信號A、B和C組合在一起成為最終的運(yùn)動圖。
優(yōu)選地，所述輸入數(shù)據(jù)包括邊緣圖、所述邊緣圖識別一幅圖像的邊緣，所述處理分割步驟包括接收和處理運(yùn)動圖并輸出預(yù)處理運(yùn)動圖的預(yù)處理步驟；和接收和處理預(yù)處理過的運(yùn)動圖和邊緣圖并輸出信號M1、M2和M3的分割步驟。
優(yōu)選地，所述精確運(yùn)動圖生成方法進(jìn)一步包括接收和處理圖像數(shù)據(jù)并輸出包括有運(yùn)動圖的所述輸入數(shù)據(jù)的圖像分析步驟。
優(yōu)選地，所述圖像分析步驟進(jìn)一步包括接收和處理所述圖像數(shù)據(jù)并輸出所述運(yùn)動圖的運(yùn)動檢測步驟；和接收和處理所述圖像數(shù)據(jù)并輸出所述邊緣圖的邊緣檢測步驟，所述圖像分析步驟輸出包括有所述運(yùn)動圖和所述邊緣圖的所述輸入數(shù)據(jù)。
優(yōu)選地，所述運(yùn)動檢測步驟基于具有分級塊分裂的精確運(yùn)動檢測來處理。
優(yōu)選地，所述邊緣檢測步驟基于3×3蘇貝爾算符來處理。



本發(fā)明的上述和其他特征和優(yōu)點(diǎn)通過下面參考附圖詳細(xì)的描述，將變得愈加顯而易見，其中 圖1示出了現(xiàn)有技術(shù)中準(zhǔn)確運(yùn)動檢測足跡的實(shí)施例； 圖2示出了包括本發(fā)明實(shí)施例的運(yùn)動檢測系統(tǒng)的方框圖； 圖3示出了5×5膨脹遮罩的實(shí)施例； 圖4示出了3×3膨脹或侵蝕遮罩或5 Tap中間交叉的實(shí)施例； 圖5示出了運(yùn)動分割系統(tǒng)的實(shí)施例； 圖6示出了AMD-HBS系統(tǒng)的實(shí)施例； 圖7示出了分級塊分裂處理的流程圖； 圖8示出了精確運(yùn)動檢測裝置的實(shí)施例。

具體實(shí)施例方式 運(yùn)動檢測將提供連續(xù)圖像序列中的某些局部區(qū)域是否是靜止的信息，因而其包括沒有運(yùn)動、或處于運(yùn)動狀態(tài)的信息。運(yùn)動檢測系統(tǒng)的輸出典型地是二進(jìn)制運(yùn)動圖，其描述了某些局部區(qū)域的狀態(tài)，如像素等級或塊等級。所述像素或塊的運(yùn)動圖值對于靜止?fàn)顟B(tài)通常是0并且對于特定存在運(yùn)動的像素是1。
運(yùn)動向量圖可以包含大于l的值，例如從0到10的所有整數(shù)值，從而不同像素和/或目標(biāo)的速度可以互相區(qū)分開。運(yùn)動向量圖表示運(yùn)動速度，并且運(yùn)動圖更準(zhǔn)確的是指運(yùn)動的存在。對于運(yùn)動向量圖，如果在運(yùn)動向量圖內(nèi)僅允許一個值，則x和y方向的兩個不同圖需要區(qū)分水平和垂直運(yùn)動。
應(yīng)當(dāng)指出，表述“場”是指圖像的交錯表示，其可以是奇數(shù)或偶數(shù)場。如果僅參考逐行材料如電影則使用詞“幀”。
后面部分將描述具有不同復(fù)雜等級的運(yùn)動檢測模型的實(shí)施例，其可以至少用在兩個連續(xù)的圖像之間 在“基于運(yùn)動檢測的一個場存儲器內(nèi)”，使I(x，y，t)表示當(dāng)前場并且I(x，y，t-1)表示具有相反掃描光柵的前一場。符號x表示各個場的列，并且符號y表示類似方式中的行。符合t表示視頻場的時間。因此場差d1利用下述公式表示為 d1(x，y，t)＝|I(x，y，t)-I(x，y，t-1)| (1) 基于從公式(1)得到絕對值差，根據(jù)下面的關(guān)系式確定運(yùn)動結(jié)果
公式(2)的結(jié)果可以解釋為作為當(dāng)前場具有相同絕對值的運(yùn)動圖。各個運(yùn)動圖的像素值在沒有檢測到運(yùn)動即為靜止內(nèi)容的情況下為0，并且在存在運(yùn)動的情況下為1。在上述技術(shù)中，兩個連續(xù)場之間的像素差信息包含空間偏移。這意味著由于交錯掃描當(dāng)前場象素信息對于前一場是沒有用的。因而必須插補(bǔ)缺少的信息，其可以容易地通過線性平均得到。如果它們包含高垂直場頻，“基于運(yùn)動檢測的一個場”會將靜止圖形錯誤地檢測為運(yùn)動。另一種可能性是將兩幅圖片都插補(bǔ)到普通、虛擬的光柵。
在“基于運(yùn)動檢測兩場存儲器”內(nèi)，絕對值像素差d2通過具有相同光柵的兩場計(jì)算得到，意味著相同奇偶運(yùn)動檢測。該差沒有空間補(bǔ)償，因?yàn)閮蓤霭ń诲e掃描內(nèi)的相同的行 d2(x，y，t)＝|I(x，y，t-1)-I(x，y，t+1)| (3) 基于公式(2)的絕對值差，根據(jù)下面的關(guān)系式確定運(yùn)動結(jié)果
該絕對值差通過具有場延遲2t的兩場計(jì)算得出。像素信息現(xiàn)在被調(diào)整并不包含空間信息，因此與以前相比不需要插補(bǔ)。因?yàn)檫\(yùn)動結(jié)果仍舊是基于單獨(dú)的差，根據(jù)公式(3)的“基于運(yùn)動檢測的兩場存儲器”在有噪聲的情況下容易出錯。
在“基于運(yùn)動檢測的三場存儲器”內(nèi)，三場存儲器被合并。因此一組兩場像素差d3根據(jù)下面的公式計(jì)算得出 在簡單實(shí)現(xiàn)方式中，邏輯函數(shù)描述符F被像素差的最大值代替。因而運(yùn)動結(jié)果是基于公式(5)的右側(cè)函數(shù)的最大像素差的。邏輯函數(shù)F可以更普遍地被想到為預(yù)設(shè)的所有可能邏輯關(guān)系式的結(jié)合。
運(yùn)動結(jié)果基于公式(5)的左側(cè)并被描述如下
像素差的范圍被擴(kuò)展并且隨之得到的運(yùn)動圖與前面描述的運(yùn)動檢測技術(shù)相比對于抑制噪聲能力更強(qiáng)。
現(xiàn)在描述利用織構(gòu)檢測方法的“三場存儲器型運(yùn)動檢測”。織構(gòu)檢測以基于方差測量的像素為基礎(chǔ)。為了從四個不同的去交錯算法中選擇一個，織構(gòu)檢測的結(jié)果與運(yùn)動圖鏈接。
在“基于運(yùn)動檢測的四場存儲器”內(nèi)，存在用于運(yùn)動檢測的四場存儲器技術(shù)，其能提高運(yùn)動檢測的準(zhǔn)確性并減少運(yùn)動檢測錯誤的數(shù)量。運(yùn)動判定基于三個運(yùn)動行為圖的估算。存在兩種運(yùn)動檢測錯誤 錯誤A將運(yùn)動區(qū)域誤認(rèn)為靜止區(qū)域。這會導(dǎo)致所謂“老鼠牙”贗象并被定義為假正。
錯誤B將靜止區(qū)域誤認(rèn)為運(yùn)動區(qū)域。這種假負(fù)在存在高垂直細(xì)節(jié)時會導(dǎo)致所謂“閃爍贗象”。
精確運(yùn)動檢測(AMD)算法是基于5個連續(xù)場的像素?cái)?shù)據(jù)的檢測，調(diào)用四場存儲器。通過比較圖1所示的相同奇偶場的像素值得到運(yùn)動信息。如果像素差超過預(yù)定閾值，則各個參考場內(nèi)的像素假定為是移動的。
在AMD方法中，利用下面定義的絕對值像素差計(jì)算三個初始運(yùn)動行為圖 R＝|Xn-1-Xn+1| (9) 其中， Tn＝I(x，y-1，t)，Tn+2＝I(x，y-1，t+2)，Tn-2＝I(x，y-1，t-2)， Bn＝I(x，y+1，t)，Bn+2＝I(x，y+1，t+2)，Bn-2＝I(x，y+1，t-2)(10) Xn-1＝I(x，y，t-1)，Xn+2＝I(x，y，t+1) 在圖1中示出了具有三個軸x，y和t的精確運(yùn)動檢測覆蓋區(qū)，從而橫坐標(biāo)是時間軸t102，縱坐標(biāo)是線軸y103并且第三個軸是圓柱軸x 104。時間軸表示時間點(diǎn)t-2、t-1、t、t+1和t+2。線軸y表示線y-1、y和y+1。并且，圖1中示出的Tn 108、Tn+2 111、Tn-2 105、Bn 109、Bn+2 112和Bn-2 106分別是圖形序列I(x，y，t)內(nèi)的參考像素位置或塊位置。此外，圖1內(nèi)還示出了幀Xn-1107和幀Xn+1 110。從而例如像素位置Tn-2和Bn-2處于相同的時間點(diǎn)，但是它們的線y是位移的，并且例如Bn-2和Bn具有相同的線y，但它們的時間點(diǎn)是位移的。
基于從公式(7)、(8)和(9)得到的絕對值差P、Q和R的值，最終的運(yùn)動圖mmAMD根據(jù)下面的關(guān)系式在兩個步驟內(nèi)被計(jì)算
并且
最后運(yùn)動圖mmAMD的生成過程如下 如果場參考t-2和t+2內(nèi)的像素差是下面的一個閾值T，由此頂部和底部線被平均，則僅計(jì)算R。因而運(yùn)動信息僅從插補(bǔ)像素的兩個直接的鄰居(t-1和t+1)得到。在與現(xiàn)有的“兩場存儲器運(yùn)動檢測”比較中，其中P和Q都小于T，AMD算法降低了假正的概率。這主要是由于假定運(yùn)動物體維數(shù)高于像素等級。第二點(diǎn)是延伸的檢索區(qū)域，因?yàn)榭紤]了5個像素，所以其消除了噪聲影響。
在所有其他情況下，采用(P，Q，R)的3-tap中間值來確定運(yùn)動圖。如果P或Q之一大于T，則中間值取決于運(yùn)動行為圖R。如果R小于或等于T，并且M小于T，從而假定沒有運(yùn)動。如果R大于T，并且M大于T從而假定存在運(yùn)動。因而與公共5場運(yùn)動檢測相比可以很好地降低假負(fù)。
AMD系統(tǒng)在抗噪聲以及產(chǎn)生假正和假負(fù)的數(shù)目方面要優(yōu)于上述的基于運(yùn)動檢測系統(tǒng)的兩場和三場存儲器。
然而，上述AMD產(chǎn)生運(yùn)動圖提高了物體邊界附近的精確性并且可以包括運(yùn)動或靜止物體內(nèi)部的孔。在上述范圍內(nèi)，孔被定義為與正確的指定周圍環(huán)境相比具有相反值的錯誤的指定區(qū)域。
在本發(fā)明中，運(yùn)動檢測系統(tǒng)可以以分級塊分裂功能進(jìn)行擴(kuò)展，從而運(yùn)動檢測系統(tǒng)是基于AMD系統(tǒng)的并且其擴(kuò)展是以精確運(yùn)動檢測-分級塊分裂(AMD-HBS)系統(tǒng)為參考的。上述擴(kuò)展背后的基本思想是粗糙—精細(xì)的細(xì)化理念，其提供了運(yùn)動物體邊界的精確運(yùn)動圖和物體內(nèi)的均勻運(yùn)動圖。
此外，后處理也可以應(yīng)用到運(yùn)動檢測系統(tǒng)。在一個實(shí)施例中，運(yùn)動檢測利用圖6示出的AMD-HBS系統(tǒng)的裝置625表示。一個建議的后處理能減少剩余的像素錯誤以及運(yùn)動圖中靜止和運(yùn)動區(qū)域的交疊區(qū)域。因此，其提供了在三個不同的特征圖內(nèi)運(yùn)動圖的分割，其描述了至少兩個連續(xù)圖像之間的運(yùn)動邊緣、運(yùn)動平坦區(qū)域和靜止邊緣。上述分割通過例如具有二進(jìn)制邊緣圖的運(yùn)動圖的邏輯運(yùn)算或單獨(dú)基于運(yùn)動圖來實(shí)現(xiàn)。通過降低物體邊緣或分界線處的假正和假負(fù)上述分割的結(jié)果被用于改進(jìn)運(yùn)動檢測結(jié)果。
詳細(xì)講，特征圖“運(yùn)動邊緣”描述了至少兩個圖像的一個序列的所有運(yùn)動邊緣。特征圖“運(yùn)動平坦區(qū)域”描述了上述序列內(nèi)的所有運(yùn)動區(qū)域。上述區(qū)域是具有運(yùn)動物體的正常的區(qū)域，其具有恒定的顏色和/或亮度恒定；最后上述可比較的較大區(qū)域的運(yùn)動與運(yùn)動邊緣的運(yùn)動向量的數(shù)量相比可以描述為一個運(yùn)動向量或更少。特征圖“靜止邊緣”描述至少兩個圖像內(nèi)的一個序列的所有非運(yùn)動邊緣。
下面描述三個有用的不同的運(yùn)動分割 ●背景扣除 將觀測幀的像素分別與計(jì)算的背景場景的像素進(jìn)行比較。將上述差圖并與一個閾值進(jìn)行比較。在一個場景中得到?jīng)]有背景運(yùn)動的好的結(jié)果。
●基于下述方法的運(yùn)動檢測 使連續(xù)的圖像互相比較。與背景扣除相似的是將上述差圖并將其與一個閾值進(jìn)行比較。得到具有很多運(yùn)動好的結(jié)果，從而在物體內(nèi)的慢速改變區(qū)域內(nèi)生成孔。此外，不需要參考模型并因而減少了計(jì)算過程。
●基于下述方法的運(yùn)動估計(jì) 計(jì)算兩個連續(xù)圖像之間的運(yùn)動向量。具有相似方向和值的相比被匯總到一個稱之為束的集合里。一個大的優(yōu)點(diǎn)是在相機(jī)運(yùn)動期間可以認(rèn)可運(yùn)動物體。另一方面，由于高計(jì)算過程因而實(shí)時計(jì)算比較困難。
在完成兩個連續(xù)幀的比較和計(jì)算之后，可以分別采用閾值來將二進(jìn)制值分配到像素。在另一個實(shí)施例中，不同的閾值或值范圍可以應(yīng)用為分布分配不必要的二進(jìn)制值但很少基于所述不同值的數(shù)量。另一個實(shí)施例是閾值是尺寸閾值，其忽略了小的顯示部分，因?yàn)樯鲜霾糠衷诖蟛糠謺r間是沒有用的；因而在僅有大部分移動物體必須被追蹤、檢測或處理的情況下，可以從運(yùn)動檢測結(jié)果中忽略較小的運(yùn)動物體。
圖2圖解了一個運(yùn)動檢測系統(tǒng)的概略圖 在圖2的實(shí)施例中，示出了可接收和處理圖像輸入數(shù)據(jù)201并輸出最終的運(yùn)動圖數(shù)據(jù)205的運(yùn)動檢測系統(tǒng)211。運(yùn)動檢測系統(tǒng)211包括運(yùn)動檢測裝置206、精細(xì)裝置(refinement device)208和邊緣檢測裝置207。精細(xì)裝置208包括預(yù)處理裝置209和運(yùn)動分割裝置210。
運(yùn)動檢測裝置206可以被操作來接收和處理圖像輸入數(shù)據(jù)201到運(yùn)動圖數(shù)據(jù)201并輸出所述運(yùn)動圖數(shù)據(jù)202。在運(yùn)動檢測裝置206檢測過程中，圖像輸入數(shù)據(jù)201識別和描述至少兩個連續(xù)圖像之間的運(yùn)動或動作并利用一般的運(yùn)動圖201表示運(yùn)動的像素或塊。
邊緣檢測裝置207可以被操作來接收和處理所述圖像輸入數(shù)據(jù)201到邊緣圖數(shù)據(jù)203并輸出所述邊緣圖數(shù)據(jù)203。在邊緣檢測裝置207檢測過程中，圖像輸入數(shù)據(jù)201識別或描述邊緣并利用生成的邊緣圖指明邊緣像素。
精細(xì)裝置208可以被操作來接收和處理包括運(yùn)動圖數(shù)據(jù)202和邊緣圖數(shù)據(jù)203的輸入數(shù)據(jù)并輸出所述最終的運(yùn)動圖數(shù)據(jù)205。
預(yù)處理裝置209可以被操作來接收和處理運(yùn)動圖數(shù)據(jù)202并輸出預(yù)處理運(yùn)動圖數(shù)據(jù)204。
運(yùn)動分割裝置210可以被操作來接收和處理預(yù)處理運(yùn)動圖數(shù)據(jù)204和邊緣圖數(shù)據(jù)203并輸出所述最終的運(yùn)動圖數(shù)據(jù)205。
當(dāng)然，本發(fā)明并不局限于圖2所示的結(jié)構(gòu)，但其可以包括附加的模塊和裝置等，如放大器、過濾器等來修改和處理數(shù)據(jù)。
隨后將給出精細(xì)系統(tǒng)的詳細(xì)描述。首先，將解釋分級塊分裂(HBS)方法。
上述方法結(jié)合精確運(yùn)動檢測-分級塊分裂(AMD-HBS)系統(tǒng)以提高得到的運(yùn)動圖mmAMD來克服錯誤的檢測。通過上述方法，可以關(guān)閉運(yùn)動物體內(nèi)的孔并且可以減少靜止區(qū)域的假正。此外，可以提高物體邊界附近運(yùn)動圖的正確性。下面將詳細(xì)描述分級塊分裂。
基于運(yùn)動檢測的塊被應(yīng)用到交錯輸入場，與圖1所示的基于像素的過程相似。使交錯輸入為具有圖像分辨率為X×Y的場I(x，y，t)。
在初始步驟中，輸入場I被分成尺寸為BStart×BStart的N0＝(X/BStart)×(Y/BStart)塊B。N0代表輸入場被分成的塊的數(shù)量。塊差以初始塊尺寸開始被計(jì)算，為了標(biāo)記塊交替分裂塊尺寸直到達(dá)到目標(biāo)塊尺寸。塊差通過與上述場差比較來計(jì)算，但僅考慮兩幅圖像輸入I(x，y，t)和I(x，y，t-1)的各個塊來同時代替兩幅完整的圖像輸入。模擬結(jié)果已示出為提供有優(yōu)選結(jié)果的具有BStart＝2和BTarget＝1的值。塊值的數(shù)學(xué)值通過下面的公式給出 R＝|XnHBS-1-XnHBS+1| (15) 并且BnHBS、TnHBS-2、BnHBS-2、、BnHBS+2 XnHBS、XnHBS 也是同樣(16) 在上述初始步驟完成以后，實(shí)行分裂處理。分裂處理將實(shí)際塊分成四個或更多在垂直和水平方向具有一半維數(shù)的子塊。一個塊被分裂，如果其與周圍8個鄰居內(nèi)的任何一個鄰居塊具有不同值。在分裂過程中，不但實(shí)際塊被分裂，具有不同值的相鄰塊也被分裂。
當(dāng)然，子塊可以具有相同的尺寸或者甚至是相同的維數(shù)。另一方面，子塊可以具有完全不同的尺寸和維數(shù)。上述塊可以僅與例如其相鄰塊進(jìn)行比較，其具有相同的尺寸或維數(shù)或經(jīng)歷了相同數(shù)量的分裂。上述塊還可以對稱或非對稱地分成少于、等于或大于4塊。
此外，有待分裂的塊還可以與例如四個位于被分裂塊的側(cè)邊的相鄰塊進(jìn)行比較。或與位于被分裂的塊的水平或垂直行的2個相鄰塊進(jìn)行比較。
在一幀與隨后幀的被分裂的塊與相鄰塊進(jìn)行比較期間，其被檢測在所述幀之間移動的塊是否處于靜止?fàn)顟B(tài)。塊的狀態(tài)可以是“運(yùn)動”或“不運(yùn)動”。
在示出的特定塊與其相鄰塊不同的情況下，如特定塊處于運(yùn)動狀態(tài)而相鄰塊處于非運(yùn)動狀態(tài)和/或反之亦然，所述特定塊和所述相連塊都將被分裂并且將分裂得到的塊與其各個相鄰塊進(jìn)行比較并且必要的分裂也是如此。首先，比較在檢測到相鄰塊與所述特定塊不同的情況下執(zhí)行比較。然后，所有與所述特定塊不同的相鄰塊都與所述特定塊一樣再次被分裂。該方法提高了運(yùn)動圖的精確性并且能更好地識別和檢測運(yùn)動和非運(yùn)動的邊界。
AMD-HBS可以通過例如圖6、2和8分別示出的裝置625、206和801來執(zhí)行。
對于上述粗糙-精細(xì)的方法，精確檢測物體邊界的運(yùn)動并同時關(guān)閉物體內(nèi)的孔是可能的。在一個粗糙等級內(nèi)，語義物體的內(nèi)部被分配一致的運(yùn)動信息。在精細(xì)等級內(nèi)，如果需要，物體邊界附近的語義物體的運(yùn)動信息可以被精細(xì)。
圖7示出了包括步驟701到711的HBS程序的流程圖。
步驟701是流程圖的初始步驟并且其表示HBS程序的開始。步驟701之后是步驟702。
在步驟702內(nèi)，兩個連續(xù)場I分別被分成N塊，具有尺寸為2的初始塊。步驟702之后是步驟703。
在步驟703內(nèi)，將兩個連續(xù)場的各個塊都用于計(jì)算塊差。步驟703之后是步驟704。
在步驟704內(nèi)，該過程精選具有各個塊差的第一塊。步驟704之后是步驟705。
在步驟705內(nèi)，將塊差與其8個相鄰的塊分別進(jìn)行比較，并且確定塊差值與相鄰塊差值是否不同。如果該值不同，意味著問題的答案是“是”，則繼續(xù)到步驟706。如果該值相同，意味著問題的答案是“否”，則繼續(xù)到步驟707。
在步驟706內(nèi)，將被分析的塊和比較的相鄰塊分裂，除非已經(jīng)達(dá)到了尺寸為1的分裂目標(biāo)。
在步驟707內(nèi)，該過程檢查所有塊是否都已經(jīng)比較過一次。在其他實(shí)施例中其檢查所有塊是否已經(jīng)比較過第二、第三次等等。如果是“否”，則繼續(xù)到步驟710。如果是“是”，則繼續(xù)到步驟708。
在步驟708內(nèi)，該過程檢查尺寸為1的塊目標(biāo)是否達(dá)到了任何塊。如果是“否”，則繼續(xù)到步驟709。如果是“是”，則繼續(xù)到步驟711。
在步驟709內(nèi)，該過程檢查任何塊是否具有塊不同值，其不同于相鄰塊并直到它被分裂。如果有塊留下，意味著“是”，則繼續(xù)到步驟710。如果是“否”，則繼續(xù)到步驟711。
在步驟710內(nèi)，將下一塊進(jìn)行到比較步驟705。
在步驟711內(nèi)，HBS程序過程結(jié)束。
在上述過程的另一個實(shí)施例中，每個塊都有被分裂直到達(dá)到目標(biāo)大小或者相鄰塊的塊差值相似或相等。然后該過程會進(jìn)入到下一塊。
在圖7中存在很多可以結(jié)束分級塊分裂程序的出口條件 ●所有塊都已經(jīng)比較完，該塊在程序結(jié)束時仍具有不同值，目標(biāo)塊尺寸達(dá)到具有不同值的塊； 上述可以考慮為存在很多可能的情況 ●所有塊都已經(jīng)比較完，在程序結(jié)束時沒有具有不同值的塊，達(dá)到目標(biāo)塊尺寸； 上述情況時可能的但很少出現(xiàn)，因?yàn)閳D像將示出一個相對光滑的塊值的梯度 ●所有塊已經(jīng)比較完，在程序結(jié)束時上述塊不具有不同值，沒有達(dá)到目標(biāo)塊尺寸； 在例如圖像沒有明顯物體或邊界線時會出現(xiàn)上述情況 在本發(fā)明的其他實(shí)施例中，負(fù)責(zé)的出口條件的詢問可以總結(jié)如下 最后HBS程序?qū)⒗^續(xù)，直到所有塊已經(jīng)至少比較過一次并且所有具有被分裂的具有不同塊差的塊直到達(dá)到目標(biāo)尺寸或相鄰塊之間沒有不同的塊差。
對于具有相同值塊差的塊和相鄰塊，應(yīng)當(dāng)考慮上述值不是必須相等而是允許存在特定的公差和閾值，所述閾值可以通過用戶或程序本身和/或手動調(diào)整。反之亦然，具有不同值的塊差的塊和其相鄰塊意味著上述值可以超過特定公差和閾值，當(dāng)與其他進(jìn)行比較時。
在關(guān)閉物體內(nèi)部孔方面模擬已經(jīng)示出了穩(wěn)定的結(jié)果，然而一個大的塊尺寸如32×32或16×16已經(jīng)使塊交疊或伸出到實(shí)際的物體。標(biāo)記等級分裂步驟結(jié)束的塊尺寸應(yīng)該設(shè)置為維數(shù)維1×1的像素等級。當(dāng)選擇較大的目標(biāo)塊尺寸時，容易在很多情況下錯配物體形狀。在一個實(shí)施例中，算法采用初始塊尺寸維2×2并且目標(biāo)塊尺寸維1×1。
對于實(shí)際場內(nèi)的運(yùn)動得到的運(yùn)動圖mmAMD-HBS是1并且對于沒有運(yùn)動的為0。

并且
在AMD-HBS系統(tǒng)的實(shí)施例中，在于AMD-HBS系統(tǒng)的運(yùn)動信息結(jié)合中使用邊緣檢測如圖2的裝置207表示的以得到一組特征圖如運(yùn)動分割的運(yùn)動邊緣、運(yùn)動平面和/或靜止邊緣。
通常，邊緣檢測不限于特定的邊緣檢測方法?？梢允褂萌魏芜吘墮z測算法，從而邊緣檢測應(yīng)該傳送精確邊緣信息并能很好地一致噪聲。
在AMD-HBS系統(tǒng)的實(shí)施例中，邊緣檢測塊包括一個3×3蘇貝爾算符。如果在當(dāng)前像素位置存在邊緣則得到的邊緣圖是1，并且在其他情況下是0。在很多感光邊緣檢測器內(nèi)，將邊緣檢測的初始參數(shù)設(shè)置為較小的值，因?yàn)檫@對于檢測很多邊緣信息是很重要的，原因在于該分割能直接從某個區(qū)域的邊緣行為得到。蘇貝爾算符的缺點(diǎn)在于邊緣圖和初始物體行政存在至少1個像素交疊，但其在自動連接高細(xì)節(jié)區(qū)域的特征圖內(nèi)相對較厚的邊緣線的特性是其優(yōu)點(diǎn)。
蘇貝爾算符是圖像處理過程(尤其是邊緣檢測算法)中采用的算符。在技術(shù)上，蘇貝爾算符是一種離散微分算符，計(jì)算圖像強(qiáng)度函數(shù)的梯度近似。在圖像的每一點(diǎn)上，蘇貝爾算符的結(jié)果是相應(yīng)的梯度向量或者是該向量的標(biāo)準(zhǔn)。
簡而言之，算符計(jì)算每個點(diǎn)處圖像強(qiáng)度的梯度，給出從亮到暗的最大可能增加值的方向和在該方向上速度的變化。其結(jié)果示出了在該點(diǎn)上圖像變化如何“陡”或“平滑”，并因此表示邊緣的圖像部分如何相似，因而邊緣的可能性與方向計(jì)算相比比較可靠并易于解釋。
算術(shù)上，兩個可變函數(shù)的梯度(在這種情況下是圖像強(qiáng)度函數(shù))在每個圖像點(diǎn)處是具有水平和垂直方向分量的2D向量。在每個圖像點(diǎn)處，在最大可能強(qiáng)度方向內(nèi)的梯度向量點(diǎn)逐漸增加，并且梯度向量的長度對應(yīng)于在此方向上的變化速度。這意味著在該圖像點(diǎn)上蘇貝爾算符的結(jié)果，其存在于固定圖像強(qiáng)度區(qū)域內(nèi)，是零向量并且在邊緣點(diǎn)處是從暗到亮越過邊緣的向量。
因?yàn)閿?shù)字圖像的強(qiáng)度函數(shù)僅在離散點(diǎn)處是可知的，該函數(shù)的導(dǎo)數(shù)不能被定義除非假定其是潛在的連續(xù)強(qiáng)度函數(shù)，其已經(jīng)在圖像點(diǎn)處被取樣。對于一些另外的假設(shè)，連續(xù)強(qiáng)度函數(shù)的導(dǎo)數(shù)可以被計(jì)算為取樣強(qiáng)度函數(shù)，也就是數(shù)字圖像?？梢缘贸鋈魏翁厥恻c(diǎn)處的隱身都是實(shí)際上所有圖像點(diǎn)處強(qiáng)度值的函數(shù)。然而，上述導(dǎo)數(shù)函數(shù)的近似值都可以被定義為具有更好或更差的精確度。
蘇貝爾算符代表了圖像梯度相當(dāng)不準(zhǔn)確的近似，但其在很多應(yīng)用中的實(shí)際使用過程中已經(jīng)足夠。更確切的是，其僅使用每個圖像點(diǎn)附近的3×3區(qū)域內(nèi)的強(qiáng)度值來估算相應(yīng)的圖像梯度，并且其僅使用整數(shù)值系數(shù)，其對圖像強(qiáng)度加權(quán)以生成梯度估計(jì)。
精細(xì)系統(tǒng)208或808包括預(yù)處理模塊209或804和運(yùn)動分割模塊210。精細(xì)系統(tǒng)可以被操作來接收和處理運(yùn)動圖和邊緣圖并輸出最終的運(yùn)動圖。運(yùn)動圖202或811可以通過運(yùn)動檢測模塊提供并且邊緣圖203或812可以通過邊緣檢測模塊提供。精細(xì)系統(tǒng)的功能在圖2、5、6或8中提供。將在下面的段落中對其進(jìn)行詳細(xì)描述。
預(yù)處理的主要任務(wù)是減少運(yùn)動圖內(nèi)剩余的假正或假負(fù)并進(jìn)一步提高運(yùn)動圖的一致性。因此，可以使用任何能減少脈沖噪聲的邊緣保存空間濾波。
在一個實(shí)施例中，可以選擇一種二維中值濾波。該中值濾波是具有可以消除脈沖噪聲并保存邊緣特性的等級序列濾波。這意味著中值濾波可以保持物體形狀并可以消除假正和假負(fù)。
在圖像處理中，經(jīng)常有必要在執(zhí)行高級處理步驟如邊緣檢測之前在圖像內(nèi)執(zhí)行高度的噪聲減少處理。中值濾波是一種非線性數(shù)字濾波技術(shù)，用于從圖像或其他信號中去除噪聲。其思想是檢查輸入樣本并確定其是否是代表性信號。其利用具有奇數(shù)數(shù)目的樣本的窗口來實(shí)現(xiàn)。將窗口內(nèi)的值被數(shù)字順序分類；中值，也就是窗口中心的樣本作為輸出被選擇。將最老的樣本丟棄，并生成新的樣本，并重復(fù)該計(jì)算過程。
中值濾波在圖像處理中用于減少斑點(diǎn)噪聲和局部珠光體化噪聲尤其有用。其邊緣保存特性使其在出現(xiàn)了不希望的邊緣模糊的情況下尤其有用。
還有其他的非線性濾波，其可以代替前述的中值濾波，如最小值或最大值濾波。
在AMD-HBS系統(tǒng)的實(shí)施例中，使用一個二維5-tap中值濾波器從運(yùn)動圖中移除具有1或2像素延伸物的像素結(jié)構(gòu)并使物體平滑且保存物體形狀和邊緣。當(dāng)前的實(shí)施例采用圖4中示出的3個具有中值遮罩(mask)402重復(fù)盤旋或圖2中的預(yù)處理濾波器209、圖6內(nèi)的626或圖8內(nèi)的804。
圖5內(nèi)圖解了運(yùn)動分割系統(tǒng)的功能圖。
如上所述，得到的運(yùn)動圖mmAMD-HBS是更精確更均勻的，但仍然存在著精細(xì)精致細(xì)節(jié)如不透明覆蓋物被錯誤地當(dāng)作運(yùn)動被檢測的可能性。這樣就會特定區(qū)域內(nèi)導(dǎo)致“閃爍贗象”。
如果精細(xì)靜止細(xì)節(jié)近似內(nèi)的運(yùn)動圖被延伸到運(yùn)動物體如背景，則就會出現(xiàn)第二個問題。這種現(xiàn)象在任何細(xì)節(jié)物體附近會導(dǎo)致出現(xiàn)所謂的“暈輪效應(yīng)(haloeffect)”，在更糟糕的情況下會包含很多“老鼠牙”贗象。如果在靜止背景前面存在精細(xì)細(xì)節(jié)移動，也當(dāng)然會看到相同的贗象。
中間結(jié)果示出了具有所述5-tap中值的反復(fù)濾波在噪聲減少和其形狀內(nèi)部物體平滑度方面能提供好的結(jié)果。作為選擇，還存在很多類型的能檢測到的形態(tài)關(guān)閉和打開操作，其對于侵蝕和擴(kuò)張采用不同的結(jié)構(gòu)單元。
在圖像處理中，通過其他組B設(shè)定的二維組(圖像)A的關(guān)閉是上述組擴(kuò)張的侵蝕， C(A，B)＝(A+B)-B 此處，加號代表擴(kuò)張操作且減號代表侵蝕操作，一個具有 關(guān)閉，與打開一起，可以用于形態(tài)噪聲移除。打開操作移除小物體，而關(guān)閉操作移除小孔。
在上述情況下，當(dāng)上述形態(tài)操作都對后加工處理過濾運(yùn)動圖不夠敏感時，因?yàn)槠洳荒芤瞥袼氐燃壣系乃绣e誤并關(guān)閉物體內(nèi)部的孔且同事保存物體形狀，將設(shè)計(jì)和采用更尖端的后加工處理，其與預(yù)分割特征圖上的形態(tài)操作合在一起。
在下面，將出現(xiàn)上述問題的解決方案，其與圖像分割應(yīng)用合在一起，從而使至少兩幅圖像的一幅圖像或運(yùn)動圖被分割為包含靜止邊緣、運(yùn)動邊緣和/或運(yùn)動平坦區(qū)域的特征圖。
運(yùn)動分割后加工處理如精細(xì)系統(tǒng)208或運(yùn)動檢測系統(tǒng)如211的特定分割裝置210以提高運(yùn)動或靜止物體的運(yùn)動圖的穩(wěn)定性和精確性為目標(biāo)。此外，其也可以提高運(yùn)動圖的均勻性。
在一般方法中，輸入運(yùn)動圖如202被分割成三個不同的特征圖。上述特征圖分別表示輸入運(yùn)動圖的運(yùn)動邊緣、運(yùn)動平坦區(qū)域和靜止邊緣部分。上述分割可以利用能將運(yùn)動圖分割成各個特征圖的任何分割技術(shù)實(shí)現(xiàn)。在其他實(shí)施例中，上述分割可以通過具有前面所述的邊緣檢測系統(tǒng)提供的邊緣圖的運(yùn)動圖的一組邏輯運(yùn)算來實(shí)現(xiàn)。這意味著數(shù)據(jù)813沒有必要包括本發(fā)明所有實(shí)施例的所述邊緣圖數(shù)據(jù)。僅有運(yùn)動圖數(shù)據(jù)811必須是所述數(shù)據(jù)813的一部分。
在一個實(shí)施例中，圖5內(nèi)的信號路徑“運(yùn)動邊緣”501根據(jù)稱為“關(guān)閉”A如在裝置519內(nèi)的形態(tài)關(guān)閉操作被處理。關(guān)閉操作包括有后面跟隨有形態(tài)侵蝕的形態(tài)擴(kuò)張。在上述關(guān)閉操作背后的主要思想是利用擴(kuò)張擦作充滿運(yùn)動邊緣內(nèi)部的孔并利用侵蝕操作保持外部邊緣形狀。后加工處理的主要好處是能充滿小孔且能保存邊緣形狀。
在一個實(shí)施例中，信號路徑“運(yùn)動平坦區(qū)域”502利用被標(biāo)注為“關(guān)閉”B的關(guān)閉操作來處理，“關(guān)閉”B如在裝置521內(nèi)進(jìn)行，其后跟隨有如在裝置521中進(jìn)行的后加工處理操作。關(guān)閉操作應(yīng)當(dāng)充滿運(yùn)動物體內(nèi)的孔并保持物體的外部形狀。在一般實(shí)施例中，后加工處理塊包括有一個二維邊緣保存過濾器，其能減少脈沖噪聲。在更詳細(xì)的實(shí)施例中，后加工處理塊是一個前面所述的二維中值濾波器。
在一個實(shí)施例中，信號路徑A和B利用如裝置518內(nèi)的邏輯OR連接組合在一起。邏輯OR連接的結(jié)果與裝置514內(nèi)的信號路徑C組合在一起，其表示反轉(zhuǎn)的特征圖“靜止區(qū)域”503。因而靜止邊緣被從運(yùn)動圖中剪切出來。運(yùn)動分割的結(jié)果就是最終的運(yùn)動圖。
圖5示出了運(yùn)動分割裝置210，其與圖2示出的一個裝置對應(yīng)。運(yùn)動分割裝置210包括四個AND邏輯裝置511到514、三個INV邏輯裝置515到517、一個OR邏裝置518、一個“關(guān)閉”A裝置519、一個“關(guān)閉”B裝置520和一個后加工處理裝置521。
AND邏輯裝置511可以被操作來接收和處理預(yù)處理運(yùn)動圖數(shù)據(jù)204和邊緣圖數(shù)據(jù)203并輸出運(yùn)動邊緣數(shù)據(jù)501。
AND邏輯裝置512可以被操作來接收和處理預(yù)處理運(yùn)動圖數(shù)據(jù)204和反轉(zhuǎn)的邊緣圖數(shù)據(jù)509并輸出運(yùn)動平面數(shù)據(jù)502。
AND邏輯裝置513可以被操作來接收和處理邊緣圖數(shù)據(jù)203和反轉(zhuǎn)的運(yùn)動圖數(shù)據(jù)510并輸出靜止邊緣數(shù)據(jù)503。
AND邏輯裝置514可以被操作來接收和處理信號AB’507和信號C508并輸出最終的運(yùn)動圖數(shù)據(jù)205。
所有AND邏輯裝置511到514都可以被操作來根據(jù)邏輯或布爾操作AND分別與各個輸入數(shù)據(jù)組合在一起。
INV邏輯裝置515可以被操作來接收和處理邊緣圖數(shù)據(jù)203并輸出反轉(zhuǎn)的邊緣圖數(shù)據(jù)509。
INV邏輯裝置516可以被操作來接收和處理預(yù)處理運(yùn)動圖數(shù)據(jù)204并輸出反轉(zhuǎn)的運(yùn)動圖數(shù)據(jù)510。
INV邏輯裝置517可以被操作來接收和處理靜止邊緣圖數(shù)據(jù)503并輸出信號C508。
所有INV邏輯裝置515到517都可以被操作來根據(jù)邏輯或布爾操作否定或也稱之為反轉(zhuǎn)將各個輸入數(shù)據(jù)反轉(zhuǎn)。
OR邏輯裝置518可以被操作來根據(jù)邏輯操作OR接收、處理和組合信號A504和信號B’506并輸出信號AB’507。
“關(guān)閉”A裝置519可以被操作來接收和處理運(yùn)動邊緣數(shù)據(jù)501并輸出信號A 504。
“關(guān)閉”B裝置520可以被操作來接收和處理運(yùn)動平面數(shù)據(jù)502并輸出信號B 505。
關(guān)閉操作通過前面所述的擴(kuò)張和隨后的侵蝕操作來實(shí)現(xiàn)。
后加工處理裝置521可以被操作來接收和處理信號B 505并輸出信號B’，其優(yōu)選利用圖6內(nèi)裝置632示出的5 Tap中值濾波器來執(zhí)行。
應(yīng)當(dāng)強(qiáng)調(diào)的是，所有輸出數(shù)據(jù)，即圖2、5、6和8內(nèi)示出的各個裝置輸出的，都是基于各個輸入數(shù)據(jù)的，其已經(jīng)被所述裝置接收。
在圖6示出的AMD-HBS系統(tǒng)的實(shí)施例中，運(yùn)動檢測精細(xì)系統(tǒng)將運(yùn)動圖mmAMD-HBS分割成具有下述特性的三個不同的特征圖。
信號路徑運(yùn)動邊緣描述運(yùn)動細(xì)節(jié)如文本、結(jié)構(gòu)的特征圖。運(yùn)動細(xì)節(jié)特征圖是通過在5tap中值濾波重復(fù)3次以后具有二進(jìn)制運(yùn)動圖mmAMD-HBS的二進(jìn)制邊緣圖的邏輯運(yùn)算生成的。上述圖像特征圖利用圖4的模型實(shí)現(xiàn)3×3擴(kuò)張。上述擴(kuò)張導(dǎo)致充滿精細(xì)結(jié)構(gòu)的小間隙內(nèi)部并且在靜止區(qū)域內(nèi)運(yùn)動細(xì)節(jié)的交疊。下述的3×3侵蝕操作移除交疊區(qū)域的某些部分并將運(yùn)動細(xì)節(jié)的外部形狀減小到其原始尺寸。上述兩個處理過程的結(jié)果是得到特征圖，其中運(yùn)動細(xì)節(jié)內(nèi)部的孔和小間隙被關(guān)閉并且原始物體形狀被保存。
信號路徑運(yùn)動平面描述了平面運(yùn)動區(qū)域的處理步驟如大的均勻性物體或背景?！斑\(yùn)動平面”圖像特征圖通過在5tap中值濾波重復(fù)3次以后具有二進(jìn)制運(yùn)動圖mmAMD-HBS的反轉(zhuǎn)二進(jìn)制邊緣圖的邏輯運(yùn)算生成的。與路徑運(yùn)動邊緣相似的是，在侵蝕步驟后執(zhí)行擴(kuò)張步驟。其主要不同在為了擴(kuò)張所需的更大的模型尺寸(見圖6)?？梢允褂脭U(kuò)張?zhí)幚韮?nèi)的大的模型，因?yàn)槠湎旅娴膮^(qū)域是平面的并且應(yīng)該整體被標(biāo)記為運(yùn)動區(qū)域。均勻的靜止背景前面的運(yùn)動平面物體可以被擴(kuò)張。生成暈輪的可能性比靜止背景生成的贗象更不容易被看到，其延伸到運(yùn)動物體。因而物體內(nèi)部的孔通過5×5擴(kuò)張被關(guān)閉并且前面的物體形狀通過5tap中值低通濾波后面的3×3侵蝕來估算。當(dāng)然，可以改變擴(kuò)張遮罩的尺寸和維數(shù)。
從信號路徑靜止邊緣得到的特征圖包括靜止細(xì)節(jié)。圖像特征圖靜止細(xì)節(jié)是通過在5tap中值濾波重復(fù)3次以后具有反轉(zhuǎn)的二進(jìn)制運(yùn)動圖mmAMD-HBS的二進(jìn)制邊緣圖的邏輯運(yùn)算生成的。重要的是在整個運(yùn)動檢測過程中保持細(xì)節(jié)靜止區(qū)域如文本覆蓋圖。因此，靜止細(xì)節(jié)路徑的反轉(zhuǎn)結(jié)果通過與運(yùn)動細(xì)節(jié)和運(yùn)動平面的OR關(guān)系再AND關(guān)系連接在一起。因而，精細(xì)靜止細(xì)節(jié)被從運(yùn)動細(xì)節(jié)路徑和運(yùn)動平面路徑得到的擴(kuò)張的運(yùn)動圖中剪切出來。最終的運(yùn)動圖是一個AMD-HBS系統(tǒng)的輸出。
圖6示出了AMD-HBS系統(tǒng)633的實(shí)施例，其與圖5相比更詳細(xì)和延伸的塊圖。系統(tǒng)633包括四個AND邏輯裝置617到620、三個INV邏輯裝置621到623、一個OR邏輯裝置624、一個精確運(yùn)動檢測分級塊分裂裝置625、一個三次反復(fù)5—tap中值濾波器626、一個邊緣檢測裝置627、一個3×3擴(kuò)張操作裝置628、一個3×3侵蝕操作裝置629、一個5×5擴(kuò)張操作裝置630、一個3×3侵蝕操作裝置631和一個5-tap中值濾波器632。
裝置628和629是圖5描述的“關(guān)閉”A裝置519的一部分，從而所述裝置628和629的組合根據(jù)裝置519操作。
裝置630和631是圖5描述的“關(guān)閉”B裝置520的一部分，從而所示裝置630和631的組合根據(jù)裝置520操作。
濾波器632對應(yīng)于圖5描述的后處理裝置521。
所有圖5描述的AND邏輯裝置511到514、INV邏輯裝置515到517和OR邏輯裝置518分別對應(yīng)于AND邏輯裝置617到620、INV邏輯裝置621到623和OR邏輯裝置624。
圖2描述的裝置206、207和209分別對應(yīng)于裝置625、627和626。
圖8示出了精確運(yùn)動檢測裝置809，其可以對應(yīng)于運(yùn)動檢測系統(tǒng)211并可以被操作來接收和處理包括有一組至少兩幅圖像的圖像輸入數(shù)據(jù)并輸出最終的運(yùn)動圖數(shù)據(jù)818。所述裝置809包括圖像分析裝置803及精細(xì)裝置808。
在本發(fā)明中，信號M1、M2和M3分別對應(yīng)于信號815、816和817。
圖像分析裝置包括運(yùn)動檢測裝置801和邊緣檢測裝置802、所述裝置803可以被操作來接收和處理圖像輸入數(shù)據(jù)810并輸出包括有邊緣圖數(shù)據(jù)812和運(yùn)動圖數(shù)據(jù)811的數(shù)據(jù)813。運(yùn)動檢測裝置801和邊緣檢測裝置802分別對應(yīng)于圖2示出的裝置206和207。
精細(xì)裝置808包括預(yù)處理分割裝置806和組合邏輯裝置807。
預(yù)處理分割裝置806可以被操作來接收和處理所述數(shù)據(jù)813并輸出靜止邊緣數(shù)據(jù)815、運(yùn)動邊緣數(shù)據(jù)816和運(yùn)動平坦區(qū)域數(shù)據(jù)817。裝置806包括預(yù)處理裝置804和分割裝置805。預(yù)處理裝置804可以被操作來接收和處理運(yùn)動圖數(shù)據(jù)811并輸出預(yù)處理過的運(yùn)動圖數(shù)據(jù)814并可以對應(yīng)于圖2描述的預(yù)處理裝置209。
分割裝置805可以被操作來接收和處理預(yù)處理過的運(yùn)動圖數(shù)據(jù)814和邊緣圖數(shù)據(jù)812并輸出靜止邊緣數(shù)據(jù)815、運(yùn)動邊緣數(shù)據(jù)816和運(yùn)動平坦區(qū)域數(shù)據(jù)817組合邏輯裝置807可以被操作來接收和處理靜止邊緣數(shù)據(jù)815、運(yùn)動邊緣數(shù)據(jù)816和運(yùn)動平坦區(qū)域數(shù)據(jù)817并輸出最終的運(yùn)動圖數(shù)據(jù)818。
最后，圖5描述的裝置514、517、518、519、520和521可以是組合邏輯裝置807的一部分。同樣圖6描述的裝置620、623、624、628、629、630、631和632也可以是組合邏輯裝置807的一部分。圖5描述的裝置511、512、513、515和516可以是分割裝置805的一部分。圖6描述的裝置617、618、619、621和622可以是分割裝置805的一部分。
現(xiàn)在描述本發(fā)明和現(xiàn)有技術(shù)之間的主要不同優(yōu)點(diǎn)。
前述方法的一個實(shí)施例提供了物體內(nèi)部的均勻運(yùn)動圖，并且還保持了物體邊界的高精確運(yùn)動圖。這一點(diǎn)可以通過將AMD算法和均勻塊分裂功能得到，其組合了運(yùn)動圖的粗糙-精細(xì)細(xì)節(jié)。分別原則是基于相鄰塊之間的不同。
原理是僅在具有不同狀態(tài)的物體邊界附近再分配運(yùn)動圖的像素，其描述運(yùn)動或靜止?fàn)顟B(tài)。計(jì)算的復(fù)雜性不依賴圖像特征，而是依賴運(yùn)動物體的數(shù)量和特性。
本發(fā)明方法的一個實(shí)施例是提供運(yùn)動圖，與現(xiàn)有技術(shù)的實(shí)施方式相比其生成更少的假正或假負(fù)。這一點(diǎn)是通過將精細(xì)系統(tǒng)內(nèi)的預(yù)處理適用到運(yùn)動圖得到的(圖2)。
本發(fā)明方法的一個實(shí)施例提供具有小數(shù)目假正和假負(fù)的運(yùn)動圖尤其是在物體邊界附近。這一點(diǎn)可以通過將運(yùn)動分割精細(xì)應(yīng)用到運(yùn)動圖得到的。
本發(fā)明方法的一個實(shí)施例在其空間精確性方面可以調(diào)整的，這是由于運(yùn)動檢測過程的等級組合，而且在其精細(xì)精確性方面(如像素或子像素上的分裂)也是可以的。該分級塊分裂方法以及運(yùn)動分割后處理不僅僅限于前面所述的運(yùn)動檢測過程而且適用于軟件操作。
本發(fā)明方法一個實(shí)施例的優(yōu)點(diǎn)可以進(jìn)一步在視頻處理步驟中看出，如非隔行和運(yùn)動估計(jì)。插補(bǔ)贗象通過更高的均勻性、空間精確性和減少假正和假負(fù)的數(shù)量。
上面所述的僅是本發(fā)明的優(yōu)選實(shí)施例，而其保護(hù)范圍不受說明書的限制。本領(lǐng)域普通技術(shù)人員容易想到的本發(fā)明公開的技術(shù)范圍內(nèi)的任何變化和替代均屬于在本發(fā)明的保護(hù)范圍。因此，本發(fā)明的保護(hù)范圍應(yīng)當(dāng)由權(quán)利要求進(jìn)行限定。
附圖標(biāo)記 101精確運(yùn)動檢測足跡 102時間軸 103y-軸 104x-軸 105像素/塊位置Tn-2 106像素/塊位置Bn-2 107幀Xn-1 108像素/塊Tn 109像素/塊位置Bn 110幀Xn+1 111像素/塊位置Tn+2 112像素/塊位置Bn+2 201圖像輸入數(shù)據(jù) 202運(yùn)動圖數(shù)據(jù) 203邊緣圖數(shù)據(jù) 204預(yù)處理運(yùn)動圖數(shù)據(jù) 205最終的運(yùn)動圖數(shù)據(jù) 206運(yùn)動檢測裝置 207邊緣檢測裝置 208精細(xì)裝置 209預(yù)處理裝置 210運(yùn)動分割裝置 211運(yùn)動檢測系統(tǒng) 3015×5擴(kuò)張遮罩 4013×3擴(kuò)張/侵蝕遮罩 4025-Tap中值交叉 501運(yùn)動邊緣 502運(yùn)動平面 503靜止邊緣 504信號A 505信號B 506信號B’ 507信號AB’ 508信號C 509反轉(zhuǎn)的邊緣圖 510反轉(zhuǎn)的運(yùn)動圖 511-514 AND邏輯 515—517 INV邏輯 518OR邏輯 519“關(guān)閉”A 520“關(guān)閉”B 521后處理 601運(yùn)動圖 602邊緣圖 603預(yù)處理運(yùn)動圖 604反轉(zhuǎn)的邊緣圖 605反轉(zhuǎn)的運(yùn)動圖 606運(yùn)動細(xì)節(jié) 607運(yùn)動平面 608靜止細(xì)節(jié) 609信號A1 610信號A2 611信號B1 612信號B2 613信號B2’ 614信號D 615信號C 616最終的運(yùn)動圖 617-620 AND邏輯 621-623 INV邏輯 624OR邏輯 625精確運(yùn)動檢測-分級塊分裂(AMD-HBS) 6263重復(fù)，5-tap中值 627邊緣檢測 6283×3擴(kuò)張 6293×3侵蝕 6305×5擴(kuò)張 6313×3侵蝕 6325-tap中值 633AMD-HBS系統(tǒng) 701分級塊分裂程序開始 702劃分塊—步驟 703塊差計(jì)算—步驟 704 以初始塊開始—步驟 705 比較—詢問 706 分裂—步驟 707 所有塊比較—詢問 708 目標(biāo)塊大小—詢問 709 塊差—詢問 710 進(jìn)入到下一塊—步驟 711 分級塊分裂程序結(jié)束 801 運(yùn)動檢測裝置 802 邊緣檢測裝置 803 圖像分析裝置 804 預(yù)處理裝置 805 分割裝置 806 處理分割裝置 807 組合邏輯裝置 808 精細(xì)裝置 809 精確運(yùn)動檢測裝置 810 圖像輸入數(shù)據(jù) 811 運(yùn)動圖數(shù)據(jù) 812 邊緣圖數(shù)據(jù) 813 包括有邊緣圖數(shù)據(jù)和運(yùn)動圖數(shù)據(jù)的數(shù)據(jù) 814 預(yù)處理運(yùn)動圖數(shù)據(jù) 815 靜止邊緣數(shù)據(jù)M1 816 運(yùn)動邊緣數(shù)據(jù)M2 817 運(yùn)動平坦區(qū)域數(shù)據(jù)M3 818 最終的運(yùn)動圖數(shù)據(jù)
權(quán)利要求
1、一種精確運(yùn)動圖生成裝置，該精確運(yùn)動圖生成裝置可以被操作來接收和處理包括有運(yùn)動圖的輸入數(shù)據(jù)并輸出最終的運(yùn)動圖，
從而所述運(yùn)動圖識別至少兩幅連續(xù)圖像之間像素的非運(yùn)動和運(yùn)動，
該裝置包括
處理分割裝置(806)，該處理分割裝置(806)可以被操作來接收和處理所述輸入數(shù)據(jù)并輸出第一信號M1、第二信號M2和第三信號M3，從而所述信號M1、M2和M3分別是特征圖，其基于所述輸入數(shù)據(jù)并描述至少兩幅連續(xù)圖像之間的特性；
所述第一信號M1描述靜止邊緣、
所述第二信號M2描述運(yùn)動邊緣、并且
所述第三信號M3描述運(yùn)動平坦區(qū)域；和
組合邏輯裝置(807)，該組合邏輯裝置(807)可以被操作來接收和處理所述第一信號M1、所述第二信號M2和所述第三信號M3并輸出所述最終的運(yùn)動圖，
從而所述最終的運(yùn)動圖是基于所述信號M1、M2和M3的。
2、根據(jù)權(quán)利要求1所述的精確運(yùn)動圖生成裝置，所述組合邏輯裝置(807)可以被操作來基于形態(tài)關(guān)閉操作“關(guān)閉”A而將信號M2處理為信號A。
3、根據(jù)權(quán)利要求2所述的精確運(yùn)動圖生成裝置，所述操作“關(guān)閉”A包括在形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
4、根據(jù)前面任一權(quán)利要求所述的精確運(yùn)動圖生成裝置，所述組合邏輯裝置(807)可以被操作來基于后處理操作前面的形態(tài)關(guān)閉操作“關(guān)閉”B而將信號M3處理成信號B。
5、根據(jù)權(quán)利要求4所述的精確運(yùn)動圖生成裝置，從而操作“關(guān)閉”B包括形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
6、根據(jù)權(quán)利要求4或5所述的精確運(yùn)動圖生成裝置，從而所述后處理操作包括二維邊緣保存濾波器。
7、根據(jù)權(quán)利要求6所述的精確運(yùn)動圖生成裝置，從而所述后處理操作包括二維中值濾波器。
8、根據(jù)前面任一權(quán)利要求所述的精確運(yùn)動圖生成裝置，從而所述組合邏輯裝置(807)可以被操作來將信號M1反轉(zhuǎn)為信號C。
9、根據(jù)權(quán)利要求2、4和8所述的精確運(yùn)動圖生成裝置，從而所述組合邏輯裝置(807)可以被操作來將信號A、B和C組合在一起稱為最終的運(yùn)動圖。
10、根據(jù)前面任一權(quán)利要求所述的精確運(yùn)動圖生成裝置，其中所述輸入數(shù)據(jù)包括邊緣圖、所述邊緣圖識別圖像的邊緣，
所述處理分割裝置(806)包括
預(yù)處理裝置(804)，該預(yù)處理裝置(804)可以被操作來接收和處理運(yùn)動圖并輸出預(yù)處理運(yùn)動圖；和
分割裝置(805)，該分割裝置(805)可以被操作來接收和處理預(yù)處理過的運(yùn)動圖和邊緣圖并輸出信號M1、M2和M3。
11、根據(jù)權(quán)利要求1到9任一權(quán)利要求所述的精確運(yùn)動圖生成裝置，進(jìn)一步包括
圖像分析裝置(803)，該圖像分析裝置(803)可以被操作來接收和處理圖像數(shù)據(jù)并輸出包括有運(yùn)動圖的所述輸入數(shù)據(jù)。
12、根據(jù)權(quán)利要求10和11所述的精確運(yùn)動圖生成裝置，所述圖像分析裝置(803)包括
運(yùn)動檢測裝置(801)，該運(yùn)動檢測裝置(801)可以被操作來接收和處理所述圖像數(shù)據(jù)并輸出所述運(yùn)動圖；和
邊緣檢測裝置(802)，該邊緣檢測裝置(802)可以被操作來接收和處理所述圖像數(shù)據(jù)并輸出所述邊緣圖，
所述圖像分析裝置(803)可以被操作來輸出包括所述運(yùn)動圖和所述邊緣圖的所述輸入數(shù)據(jù)。
13、根據(jù)權(quán)利要求12所述的精確運(yùn)動圖生成裝置，所述運(yùn)動檢測裝置(801)可以被操作來基于具有等級塊分裂的精確運(yùn)動檢測來處理。
14、根據(jù)權(quán)利要求12或13所述的精確運(yùn)動圖生成裝置，所述邊緣檢測裝置(802)可以被操作來基于3×3蘇貝爾算符進(jìn)行處理。
15、一種精確運(yùn)動圖生成方法，該精確運(yùn)動圖生成方法用于接收和處理包括有運(yùn)動圖的輸入數(shù)據(jù)并輸出最終的運(yùn)動圖的，所述運(yùn)動圖識別至少兩幅連續(xù)圖像之間的像素的非運(yùn)動和運(yùn)動，該方法包括
接收和處理所述輸入數(shù)據(jù)并輸出第一信號M1、第二信號M2和第三信號M3的處理分割步驟，從而所述信號M1、M2和M3分別是特征圖，其基于所述輸入數(shù)據(jù)并描述至少兩幅連續(xù)圖像之間的特性；
所述第一信號M1描述靜止邊緣、
所述第二信號M2描述運(yùn)動邊緣、并且
所述第三信號M3描述運(yùn)動平坦區(qū)域；和
組合邏輯步驟，該組合邏輯步驟用于接收和處理所述第一信號M1、所述第二信號M2和所述第三信號M3并輸出所述最終的運(yùn)動圖，
從而所述最終的運(yùn)動圖基于所述信號M1、M2和M3。
16、根據(jù)權(quán)利要求15所述的精確運(yùn)動圖生成方法，在所述組合邏輯步驟期間，基于形態(tài)關(guān)閉操作“關(guān)閉”A而將信號M2處理為信號A。
17、根據(jù)權(quán)利要求16所述的精確運(yùn)動圖生成方法，所述操作“關(guān)閉”A包括在形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
18、根據(jù)權(quán)利要求1到17任一權(quán)利要求所述的精確運(yùn)動圖生成方法，在所述組合邏輯步驟期間，基于后處理操作前面的形態(tài)關(guān)閉操作的“關(guān)閉”B而將信號M3處理成信號B。
19、根據(jù)權(quán)利要求18所述的精確運(yùn)動圖生成方法，該操作“關(guān)閉”B包括形態(tài)侵蝕操作前面的形態(tài)擴(kuò)張操作。
20、根據(jù)權(quán)利要求18或19所述的精確運(yùn)動圖生成方法，所述后處理操作包括一個二維邊緣保存濾波器。
21、根據(jù)權(quán)利要求20所述的精確運(yùn)動圖生成方法，所述后處理操作包括一個二維中值濾波器。
22、根據(jù)權(quán)利要求1到21任一權(quán)利要求所述的精確運(yùn)動圖生成方法，在所述組合邏輯步驟期間，信號M1被反轉(zhuǎn)為信號C。
23、根據(jù)權(quán)利要求16、18和22所述的精確運(yùn)動圖生成方法，在所述組合邏輯步驟期間，將信號A、B和C被組合在一起成為最終的運(yùn)動圖。
24、根據(jù)權(quán)利要求1到23任一權(quán)利要求所述的精確運(yùn)動圖生成方法，其中所述輸入數(shù)據(jù)包括邊緣圖、所述邊緣圖識別圖像的邊緣，
所述處理分割步驟包括
接收和處理運(yùn)動圖并輸出預(yù)處理運(yùn)動圖的預(yù)處理步驟；和
接收和處理預(yù)處理過的運(yùn)動圖和邊緣圖并輸出信號M1、M2和M3的分割步驟。
25、根據(jù)權(quán)利要求1到23任一權(quán)利要求所述的精確運(yùn)動圖生成方法，進(jìn)一步包括
接收和處理圖像數(shù)據(jù)并輸出包括有運(yùn)動圖的所述輸入數(shù)據(jù)的圖像分析步驟。
26、根據(jù)權(quán)利要求24和25所述的精確運(yùn)動圖生成方法，所述圖像分析步驟包括
接收和處理所述圖像數(shù)據(jù)并輸出所述運(yùn)動圖的運(yùn)動檢測步驟；和
接收和處理所述圖像數(shù)據(jù)并輸出所述邊緣圖的邊緣檢測步驟，
所述圖像分析步驟用于輸出包括所述運(yùn)動圖和所述邊緣圖的所述輸入數(shù)據(jù)。
27、根據(jù)權(quán)利要求26所述的精確運(yùn)動圖生成方法，所述運(yùn)動檢測步驟基于具有分級塊分裂的精確運(yùn)動檢測來進(jìn)行處理。
28、根據(jù)權(quán)利要求26或27所述的精確運(yùn)動圖生成方法，所述邊緣檢測步驟基于3×3蘇貝爾算符來進(jìn)行處理。
29、一種可以被操作來接收和處理圖像輸入數(shù)據(jù)并輸出運(yùn)動圖的精確運(yùn)動檢測-分級塊分裂、AMD-HBS設(shè)備(206)，
所述圖像輸入數(shù)據(jù)包括至少兩幅連續(xù)圖像，并且
所述運(yùn)動圖識別所述至少兩幅連續(xù)圖像之間的塊和/或像素的非運(yùn)動或運(yùn)動，
所述設(shè)備可以被操作來
將所述圖像輸入數(shù)據(jù)的至少兩幅連續(xù)圖像分裂為多個具有特定起始塊尺寸的塊，
檢測所述至少兩幅圖像之間的塊的非運(yùn)動或運(yùn)動，和
在檢測到所述特定塊的非運(yùn)動和至少一個其相鄰塊的運(yùn)動情況下，附加地分裂該特定塊和至少一個其相鄰塊，并且反之亦然，
所述運(yùn)動圖包括塊和/或像素，這些塊或像素的大小基于所述特定起始塊尺寸和所述塊的分裂。
30、一種接收和處理圖像輸入數(shù)據(jù)并輸出運(yùn)動圖的精確運(yùn)動檢測-分級塊分裂、AMD-HBS方法，
所述圖像輸入數(shù)據(jù)包括至少兩幅連續(xù)圖像，并且
所述運(yùn)動圖識別所述至少兩幅連續(xù)圖像之間的塊和/或像素的非運(yùn)動或運(yùn)動，
所述方法包括以下步驟
將所述圖像輸入數(shù)據(jù)的至少兩幅連續(xù)圖像分裂為多個具有特定起始塊尺寸的塊的初始分裂步驟，
檢測所述至少兩幅圖像之間的塊的非運(yùn)動或運(yùn)動的檢測步驟，和
在檢測到所述特定塊的非運(yùn)動和至少一個其相鄰塊的運(yùn)動情況下，分裂該特定塊和至少一個其相鄰塊的附加分裂步驟，并且反之亦然，
所述運(yùn)動圖包括塊和/或像素，這些塊或像素的大小基于所述初始分裂步驟和所述附加分裂步驟。
全文摘要
本發(fā)明涉及利用分級塊分裂和運(yùn)動分割進(jìn)行目標(biāo)邊界準(zhǔn)確運(yùn)動的檢測。尤其涉及一種運(yùn)動檢測領(lǐng)域的用于運(yùn)動分割的設(shè)備，初始運(yùn)動圖被處理為更精確的最終的運(yùn)動圖，其識別至少兩幅連續(xù)圖像之間的像素的非運(yùn)動或運(yùn)動。所述設(shè)備包括處理分割裝置和組合邏輯裝置。在上述設(shè)備中初始運(yùn)動圖被處理為三個不同的特征圖，其分別描述至少兩幅連續(xù)圖像之間的靜止邊緣、運(yùn)動邊緣和運(yùn)動平坦區(qū)域。本發(fā)明進(jìn)一步涉及一種適用于運(yùn)動檢測領(lǐng)域的運(yùn)動分割的相應(yīng)方法。
文檔編號G06T7/20GK101533514SQ20081018988
公開日2009年9月16日 申請日期2008年11月14日 優(yōu)先權(quán)日2007年11月14日
發(fā)明者P·斯普林格, O·埃德勒 申請人:索尼株式會社