用于更新場(chǎng)景模型和視頻監(jiān)視的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理，特別地，本發(fā)明涉及視頻圖像中的對(duì)象檢測(cè)，更特別地，本 發(fā)明涉及前景/背景分離。
【背景技術(shù)】
[0002] 視頻是多個(gè)圖像的序列。圖像也稱(chēng)為幀。在本說(shuō)明書(shū)中，術(shù)語(yǔ)"幀"和"圖像"可 互換地使用，用以描述圖像序列中的單個(gè)圖像。
[0003] 場(chǎng)景建模，也稱(chēng)為背景建模，涉及基于描繪場(chǎng)景的圖像序列，對(duì)場(chǎng)景的視覺(jué)成分的 建模。所述成分通常包括前景成分和背景成分，常常希望對(duì)二者進(jìn)行區(qū)分或分離。
[0004] 在智能監(jiān)視領(lǐng)域，普遍地使用前景/背景分離，以檢測(cè)場(chǎng)景中的前景對(duì)象。場(chǎng)景包 括若干個(gè)視覺(jué)元素，并且每個(gè)視覺(jué)元素可以具有若干種可能的表象。視覺(jué)元素可以例如是 像素，或者如在JPEG圖像中使用的8*8DCT (離散余弦變換）塊。
[0005] 在現(xiàn)有技術(shù)的一種前景對(duì)象檢測(cè)方法中，通過(guò)分析視覺(jué)元素的表象持續(xù)時(shí)間來(lái)將 前景對(duì)象與背景分離。如果視覺(jué)元素在一種狀態(tài)下的表象持續(xù)時(shí)間大于預(yù)定的閾值，則該 視覺(jué)元素將被識(shí)別為背景。
[0006] 然而，上述方法無(wú)法將運(yùn)動(dòng)的前景對(duì)象與靜止的前景對(duì)象精確地分離，例如在如 圖l(a)-l(c)所示的在背景中存在丟棄的物體的情況。如圖1(a)所示，走廊被監(jiān)視。在圖 1(b)中，一個(gè)包被丟棄在地面上。在圖1(c)中，一個(gè)人從所述包旁邊經(jīng)過(guò)。期望只有運(yùn)動(dòng) 的人被識(shí)別為前景對(duì)象，并且能夠?qū)c人分離。然而，通過(guò)現(xiàn)有技術(shù)的上述方法，所述運(yùn) 動(dòng)的人和所述包都將被檢測(cè)為前景，并且將作為一個(gè)對(duì)象輸出。因此，需要區(qū)分運(yùn)動(dòng)的前景 對(duì)象與靜止的前景對(duì)象（例如被丟棄的物體）的方法，此外，需要確定運(yùn)動(dòng)的前景對(duì)象與靜 止的前景對(duì)象之間的邊界的方法。
[0007] 在US2012/0163658中提出的方法解決了運(yùn)動(dòng)對(duì)象檢測(cè)無(wú)法將運(yùn)動(dòng)的前景對(duì)象與 靜止的前景對(duì)象（丟棄的物體）分離的問(wèn)題。該發(fā)明能夠使用較少的存儲(chǔ)器容量在短時(shí)間 內(nèi)將運(yùn)動(dòng)的前景對(duì)象與靜止的前景對(duì)象分離。在US2012/0163658的方法中，運(yùn)動(dòng)的前景對(duì) 象可以通過(guò)分析視覺(jué)元素對(duì)的表象之間的共同出現(xiàn)率而與靜止的前景對(duì)象分離。
[0008] 圖2(a)_(c)示出了 US2012/0163658的方法的原理。如圖2(a)所示，兩個(gè)相鄰的 視覺(jué)元素A和B被選擇，視覺(jué)元素A和B的當(dāng)前表象分別被識(shí)別為平面1和1'。由于視覺(jué) 元素A和B的表象在圖2 (a)中沒(méi)有改變，因此確定這兩個(gè)視覺(jué)元素A和B的表象具有高的 共同出現(xiàn)率，因此它們是連接的。在圖2(b)中，一個(gè)包被丟棄在地面上。視覺(jué)元素A和B 的表象分別由平面1和1'改變?yōu)槠矫?和2'。因?yàn)橐曈X(jué)元素A和B的表象都發(fā)生改變， 因此確定這兩個(gè)視覺(jué)元素A和B的表象具有高的共同出現(xiàn)率，并且因此它們是連接的。在 圖2(c)中，一個(gè)人從所述包旁邊經(jīng)過(guò)。視覺(jué)元素A的表象沒(méi)有改變，并且保持為平面2。然 而，視覺(jué)元素B的表象從平面2'改變?yōu)槠矫?'，即，將識(shí)別出視覺(jué)元素B的新表象。因此， 確定這兩個(gè)視覺(jué)元素A和B的表象具有低的共同出現(xiàn)率，并且因此它們是非連接的。由此， 可以確定運(yùn)動(dòng)的對(duì)象與靜止的對(duì)象之間的邊界。
[0009] 圖3示出了在現(xiàn)有技術(shù)中的US2012/0163658的方法的流程圖。如圖3所示，在步 驟110中，計(jì)算在每個(gè)視覺(jué)元素對(duì)中的視覺(jué)元素的表象的共同出現(xiàn)率。在步驟120,基于在 步驟110計(jì)算的共同出現(xiàn)率來(lái)確定每個(gè)視覺(jué)元素對(duì)中的視覺(jué)元素之間的連接關(guān)系。在步驟 130,根據(jù)視覺(jué)元素之間的連接關(guān)系來(lái)更新場(chǎng)景模型。
[0010] US2012/0163658的方法能夠區(qū)分運(yùn)動(dòng)的前景對(duì)象與靜止的前景對(duì)象，但是在該方 法中仍然存在著一些問(wèn)題。因?yàn)閁S2012/0163658的方法中的確定依賴(lài)于相鄰視覺(jué)元素的 表象的共同出現(xiàn)信息的精度，當(dāng)噪聲的量較大時(shí)，可能發(fā)生"欠分隔"和"過(guò)分隔"，它們是 不期望的。圖4(a)示出了在現(xiàn)有技術(shù)的US2012/0163658的方法中的"欠分隔"現(xiàn)象。圖 4(b)示出了在現(xiàn)有技術(shù)的US2012/0163658的方法中的"過(guò)分隔"現(xiàn)象。
[0011] 如圖4(a)所示，因?yàn)槿说耐群桶念伾?lèi)似，因此當(dāng)人的腿與包相鄰時(shí)，對(duì)于相 應(yīng)的視覺(jué)元素，不會(huì)識(shí)別出新的表象。因此，相鄰視覺(jué)元素的表象之間的共同出現(xiàn)率高，并 且它們會(huì)被不正確地確定為是連接的。換言之，人的腿和包的邊界無(wú)法被區(qū)分。該問(wèn)題是 所謂的"欠分隔"。
[0012] 如圖4(b)所示，因?yàn)楣饩€(xiàn)改變對(duì)人的不同部分帶來(lái)了不同的影響，例如在人的上 半部分，會(huì)識(shí)別出視覺(jué)元素的新表象，但是在人的下半部分，不會(huì)識(shí)別出視覺(jué)元素的新表 象。因此，上半部分和下半部分的表象之間的共同出現(xiàn)率低，并且這兩部分將被不正確地確 定為是非連接的。該問(wèn)題是所謂的"過(guò)分隔"。
[0013] 因此，需要提出一種新的技術(shù)來(lái)解決上述現(xiàn)有技術(shù)中的至少一個(gè)問(wèn)題。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明的一個(gè)目的是準(zhǔn)確地分離運(yùn)動(dòng)對(duì)象和靜止對(duì)象。
[0015] 本發(fā)明的另一個(gè)目的是在前景/背景分離處理中提高相對(duì)于噪聲的魯棒性。
[0016] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于更新視頻中的場(chǎng)景模型的方法，所述場(chǎng) 景模型包括多個(gè)視覺(jué)元素，所述方法包括：分類(lèi)步驟，用于根據(jù)場(chǎng)景中的視覺(jué)元素的表象改 變率將視覺(jué)元素分類(lèi)成靜止視覺(jué)元素和運(yùn)動(dòng)視覺(jué)元素；邊界確定步驟，用于根據(jù)所述靜止 視覺(jué)元素和所述運(yùn)動(dòng)視覺(jué)元素的空間分布信息確定場(chǎng)景中的邊界；以及更新步驟，用于根 據(jù)所確定的所述場(chǎng)景中的邊界更新所述場(chǎng)景模型。
[0017] 根據(jù)本發(fā)明的另一方面，提供了一種用于視頻監(jiān)視的方法，所述方法包括：獲取視 頻；根據(jù)上述方法更新視頻中的場(chǎng)景模型；以及根據(jù)所更新的場(chǎng)景模型，檢測(cè)視頻中的前 景對(duì)象。
[0018] 根據(jù)本發(fā)明的另一方面，提供了一種用于更新視頻中的場(chǎng)景模型的設(shè)備，所述場(chǎng) 景模型包括多個(gè)視覺(jué)元素，所述設(shè)備包括：分類(lèi)單元，用于根據(jù)場(chǎng)景中的視覺(jué)元素的表象改 變率將視覺(jué)元素分類(lèi)成靜止視覺(jué)元素和運(yùn)動(dòng)視覺(jué)元素；邊界確定單元，用于根據(jù)所述靜止 視覺(jué)元素和所述運(yùn)動(dòng)視覺(jué)元素的空間分布信息確定場(chǎng)景中的邊界；以及更新單元，用于根 據(jù)所確定的所述場(chǎng)景中的邊界更新所述場(chǎng)景模型。
[0019] 根據(jù)本發(fā)明的另一方面，提供了一種用于視頻監(jiān)視的設(shè)備，所述設(shè)備包括：獲取單 元，用于獲取視頻；上述用于更新視頻中的場(chǎng)景模型的設(shè)備；以及檢測(cè)單元，用于根據(jù)所更 新的場(chǎng)景模型，檢測(cè)視頻中的前景對(duì)象。
[0020] 本發(fā)明的一個(gè)優(yōu)點(diǎn)在于，運(yùn)動(dòng)對(duì)象和靜止對(duì)象能夠被準(zhǔn)確地分離。
[0021] 本發(fā)明的另一個(gè)優(yōu)點(diǎn)在于，能夠在前景/背景分離處理中提高相對(duì)于噪聲的魯棒 性。
[0022] 通過(guò)以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其它特征及其 優(yōu)點(diǎn)將會(huì)變得清楚。
【附圖說(shuō)明】
[0023] 包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)的一部分的附圖描述了本發(fā)明的實(shí)施例，并且連同 說(shuō)明書(shū)一起用于解釋本發(fā)明的原理。
[0024] 圖l(a)_(c)示出了被監(jiān)視以進(jìn)行前景和背景分離的環(huán)境。
[0025] 圖2(a)-(c)示出了現(xiàn)有技術(shù)的US2012/0163658的方法的原理。
[0026] 圖3示出了在現(xiàn)有技術(shù)的US2012/0163658的方法的流程圖。
[0027] 圖4(a)示出了在現(xiàn)有技術(shù)的US2012/0163658的方法中的"欠分隔"現(xiàn)象，圖4(b) 示出了在現(xiàn)有技術(shù)的US2012/0163658的方法中的"過(guò)分隔"現(xiàn)象。
[0028] 圖5是示出能夠?qū)嵤┍景l(fā)明的實(shí)施方式的計(jì)算機(jī)系統(tǒng)1000的硬件配置的示意性 框圖。
[0029] 圖6示出了根據(jù)本發(fā)明的實(shí)施例更新場(chǎng)景模型的方法的流程圖。
[0030] 圖7示出了根據(jù)本發(fā)明的實(shí)施例將視覺(jué)元素分類(lèi)成靜止視覺(jué)元素和運(yùn)動(dòng)視覺(jué)元 素的處理的流程圖。
[0031] 圖8示出了根據(jù)本發(fā)明的實(shí)施例計(jì)算視覺(jué)元素的表象改變率的處理的示意圖。
[0032] 圖9示出了使用圖7和圖8的方法的示例性分類(lèi)結(jié)果。
[0033] 圖10示出了根據(jù)本發(fā)明的實(shí)施例確定場(chǎng)景中邊界的處理的流程圖。
[0034]圖11示出了確定第一序列的順序以及靜止視覺(jué)區(qū)域和運(yùn)動(dòng)視覺(jué)區(qū)域之間的邊界 的示例的示意圖。
[0035] 圖12示出了根據(jù)本發(fā)明的實(shí)施例基于所確定的場(chǎng)景中的邊界更新場(chǎng)景模型的處 理的流程圖。
[0036] 圖13示出了圖9中的場(chǎng)景的示例的擬合結(jié)果。
[0037] 圖14示出了根據(jù)本發(fā)明的實(shí)施例監(jiān)視視頻的方法的流程圖。
[0038] 圖15示出了根據(jù)本發(fā)明的實(shí)施例用于更新視頻中的場(chǎng)景模型的設(shè)備4000的功能 性框圖。
[0039] 圖16示出了根據(jù)本發(fā)明的實(shí)施例用于視頻監(jiān)視的設(shè)備5000的功能性框圖。
[0040] 圖17(a)和（b)直觀地示出了根據(jù)本發(fā)明的方法和現(xiàn)有技術(shù)的US2012/0163658 的方法進(jìn)行前景/背景分離的比較結(jié)果。
【具體實(shí)施方式】
[0041] 現(xiàn)在將參照附圖來(lái)詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到：除非另外具 體說(shuō)明，否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本 發(fā)明的范圍。
[0042] 以下對(duì)至少一個(gè)示例性實(shí)施例的