專利名稱：物體檢測方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及圖像和視頻處理，具體地，涉及圖像和視頻的物體檢測方法和
直O(jiān)
背景技術(shù)：
精確的物體檢測技術(shù)諸如人檢測技術(shù)是多類視頻應(yīng)用的基石，例如視頻會議系統(tǒng)，智能交通系統(tǒng)，多媒體監(jiān)控系統(tǒng)等。以物體檢測中的人檢測為例，目前已經(jīng)研究和開發(fā)了多種人檢測技術(shù)，例如人臉檢測，膚色檢測，頭檢測，運動對象檢測，上半身檢測等。但對于一般應(yīng)用場景，例如視頻會議室，辦公室，零售商店，戶外場景等，僅使用某一種檢測技術(shù)很難達(dá)到高的檢測精度。對于人臉檢測，光照和人臉角度對檢測精度影響大；對于膚色檢測，光照狀況和復(fù)雜環(huán)境的顏色分布對檢測精度影響大；對于運動對象檢測，陰影、遮擋、粘連等問題將影響檢測精度。因此，基于多模式的人檢測方法開始被關(guān)注。專利US6639998 Bl提出了一種在圖像中檢測指定對象的方法。首先，使用對象的一般特征從圖像或幀中檢測對象；然后，在后續(xù)的圖像或幀中使用對象相關(guān)的同樣或類似特征檢測對象；同時，當(dāng)檢測到多個對象或者對象的局部時，確定指定對象的全部顏色范圍，使用全部顏色范圍中的部分顏色范圍段來檢測對象。該專利僅使用相似的特征如始終用顏色(僅顏色范圍不同)來進行后續(xù)圖像或幀中對象的檢測，沒有使用其他特征來驗證結(jié)果。其檢測結(jié)果的誤檢率較高。專利文獻US20080008360 Al提出了一種在指定區(qū)域內(nèi)計數(shù)人的方法和系統(tǒng)。該系統(tǒng)包括一個攝像機來獲取指定區(qū)域的圖像，還包括一臺計算機來接收采集的圖像。計算機通過檢測頭和人臉的形狀來檢測圖像中的人，通過計數(shù)檢測到的頭或者臉形狀的個數(shù)來確定指定區(qū)域中人的數(shù)量。計算機通過判別檢測到得頭部或者臉部區(qū)域的顏色是否類似于膚色來確定其是否是人。該方法使用了膚色來驗證人臉和頭部的檢測結(jié)果，但是由于顏色檢測的穩(wěn)定性較差，易于引起誤檢；同時，考慮到人臉和頭的角度等問題，該方法的檢測精度和穩(wěn)定性不高。專利文獻W020070^904A2提出了一種感興趣區(qū)域視頻對象分割的方法。感興趣區(qū)域可以是人臉、頭部、肩部等區(qū)域。該方法組合了感興趣區(qū)域特征檢測，區(qū)域分割和背景減除。其提供精確地前景對象生成和低復(fù)雜度地前景對象提取。該方法首先檢測前景；其次，在前景內(nèi)部使用膚色檢測人臉；然后在檢測到的人臉內(nèi)部檢測眼睛和嘴；最后利用雙眼的對稱性或嘴眼睛三級性的方向來驗證是否是人臉。該方法使用膚色檢測人臉會導(dǎo)致誤檢率較高，同時其使用多模式信息僅進行與運算的驗證，例如只有當(dāng)同時檢測出臉和頭時， 才確認(rèn)是人臉，會導(dǎo)致檢測精度的下降。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，一種檢測視頻中預(yù)定物體的物體檢測方法，包括獲取通過各種物體檢測方法對當(dāng)前幀中的預(yù)定物體的整體或者部分進行檢測所獲得的各種檢測結(jié)果；根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢測結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果，計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度；根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體， 以得到過濾后的在先幀檢測結(jié)果；根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率；以及根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表。根據(jù)本發(fā)明的另一方面，提供了一種檢測視頻中預(yù)定物體的物體檢測裝置，可以包括檢測結(jié)果獲取部件，用于獲取通過各種物體檢測方法對當(dāng)前幀中的預(yù)定物體的整體或者部分進行檢測所獲得的各種檢測結(jié)果；初始概率設(shè)置部件，用于根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢測結(jié)果的初始概率；運動頻度分布圖計算部件，用于基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果，計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度；在先幀檢測結(jié)果過濾部件，用于根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體，以得到過濾后的在先幀檢測結(jié)果；時空交疊更新部件， 用于根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率；以及物體列表確定部件，用于根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表。利用本發(fā)明的物體檢測方法和裝置，以概率來表征檢測正確的可能性，并根據(jù)不同檢測方法的檢測結(jié)果的交疊情況來更新有關(guān)概率，具有更強的靈活性，更綜合地考慮了各檢測結(jié)果，可以提高檢測精度，降低誤檢率。


圖1是根據(jù)本發(fā)明一個實施例的物體檢測方法的整體流程圖；圖2是根據(jù)本發(fā)明另一實施例的以人檢測為例的人檢測方法的整體流程圖；圖3是根據(jù)本發(fā)明一個實施例的基于統(tǒng)計計算的知識庫構(gòu)建的流程圖；圖4是根據(jù)本發(fā)明一個實施例的基于知識庫設(shè)定各種檢測結(jié)果初始概率的流程圖；圖5是根據(jù)本發(fā)明一個實施例的、根據(jù)各種檢測結(jié)果在空域的交疊情況更新各種檢測結(jié)果概率的流程圖；圖6是根據(jù)本發(fā)明一個實施例的、基于運動對象檢測結(jié)果計算當(dāng)前幀的運動頻度分布圖的流程圖；圖7是根據(jù)本發(fā)明一個實施例的、根據(jù)當(dāng)前幀的運動頻度分布圖過濾歷史人區(qū)域列表的流程圖；圖8是根據(jù)本發(fā)明一個實施例的、根據(jù)空域各種檢測結(jié)果同時域歷史人區(qū)域列表的交疊情況修正各類檢測結(jié)果概率的流程圖；圖9是根據(jù)本發(fā)明一個實施例的、根據(jù)各類檢測結(jié)果的最終概率以及預(yù)定義的規(guī)則確定最終的人區(qū)域列表的流程圖；圖10是根據(jù)本發(fā)明一個實施例的物體檢測裝置的示意性框圖；以及圖11是根據(jù)本發(fā)明一個實施例的可以實踐本發(fā)明的示例性計算機系統(tǒng)。
具體實施例方式為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細(xì)說明。在進行更詳細(xì)的實施例描述之前，為便于理解和閱讀，首先概述一下本發(fā)明的思想與現(xiàn)有技術(shù)不同，不是以全盤否定和全盤接受的方式來判斷某種檢測方法的檢測結(jié)果， 本發(fā)明引入概率來表征該檢測方法的檢測結(jié)果正確的可能性；而且，考慮到對于視頻而言， 歷史檢測結(jié)果，例如對0. 1秒前的幀的檢測結(jié)果對于當(dāng)前幀的檢測可以提供幫助信息，因此考察當(dāng)前幀的檢測結(jié)果與歷史幀的檢測結(jié)果的交疊情況，對于交疊的個體檢測結(jié)果，應(yīng)該提升該當(dāng)前幀的個體檢測結(jié)果的概率；在得到各種檢測結(jié)果中的各個檢測結(jié)果的概率之后，確定最終檢測出的物體列表。而且，在利用歷史幀的檢測結(jié)果時，不是對所檢測出的各個物體不加區(qū)別地采用，而是考慮到時間上某個體物體區(qū)域的整體運動頻度，如果其運動頻度很大，則歷史幀上個體檢測結(jié)果的存在可能并不能為當(dāng)前幀的檢測結(jié)果的核查提供幫助，因此考慮把這樣的歷史幀中的個體檢測結(jié)果從檢測結(jié)果中去除。在后續(xù)的描述中，為了表述方便，常常以人作為檢測物體的示例來加以描述。不過，這僅是示例性的，任何活體或者可能動的物體都可以作為本發(fā)明的檢測對象。圖1是根據(jù)本發(fā)明一個實施例的物體檢測方法100的整體流程圖。如圖1所示，物體檢測方法100可以包括檢測結(jié)果獲得步驟S110、初始概率設(shè)置步驟S120、運動頻度分布圖計算步驟S130、在先幀檢測結(jié)果過濾步驟S140、概率更新步驟 S150、物體檢測列表確定步驟S160。下面對各步驟進行具體說明。在步驟S110，獲取通過各種物體檢測方法對當(dāng)前幀中的預(yù)定物體的整體或者部分進行檢測所獲得的各種檢測結(jié)果。從是基于多幀間運動對象來檢測還是僅僅基于單幀靜止圖像來檢測的角度，所述各種物體檢測方法可以分為運動對象檢測方法和其他物體檢測方法。運動對象檢測一般指從一段視頻中提取出運動物體，常用的方法有背景差分法、 相鄰幀差法和光流法，這些是本領(lǐng)域公知的技術(shù)。背景差分法的關(guān)鍵在于建立精準(zhǔn)的背景模型并隨著場景的變化實時更新。在背景模型的建立中，基于統(tǒng)計的背景建模法能比較準(zhǔn)確地模擬真實場景，提取出較完整的運動對象。相鄰幀差法實時性好且對動態(tài)場景具有魯棒性，但其不適合于檢測大的運動緩慢的物體。光流法在不需要背景區(qū)域的任何先驗知識條件下就能夠?qū)崿F(xiàn)對運動對象的檢測和跟蹤，但其計算了大對噪聲比較敏感?？梢愿鶕?jù)需求來選擇適當(dāng)?shù)倪\動對象檢測方法。另外，基于多個混合高斯的背景建模法既可以檢測出運動對象也可以部分地檢測出臨時靜止的對象。其他檢測方法是指除上述運動對象檢測方法外以單幀圖像為處理對象的其他的任意與物體相關(guān)的檢測方法。例如，以各種人檢測方法為例，按照對人體的部位檢測，可以分為人臉檢測、頭部檢測、上半身檢測、全身檢測、膚色檢測等；按照具體所采用的算法，則可分為特征空間算法、神經(jīng)網(wǎng)絡(luò)算法、Adaboost算法、決策樹算法等等。這些物體的各部分的檢測方法和具體各類算法以及其組合都可以作為本發(fā)明實施例中的其他檢測方法，比如對人臉的特征臉?biāo)惴?，對人臉的Adaboost算法、對人臉的決策樹算法、對頭部的特征空間算法、對頭部的Adaboost算法、對頭部的決策樹算法等等。物體檢測結(jié)果為在當(dāng)前幀中所檢測到的一個或多個物體的整體或部分的列表，一
6個物體的整體或部分可以用包含該物體的整體或部分的最小矩形區(qū)域來表征，具體地，例如可以用該矩形區(qū)域的左上角的坐標(biāo)和右下角的坐標(biāo)來表示。例如，對于人臉，可以利用包圍人臉的矩形框的左上角的坐標(biāo)和右下角的坐標(biāo)來表征。當(dāng)然，也可以以其他形式，例如橢圓或者圓形來表征。例如，如果從一幀圖像中檢測出3個人，可以用(XMy1^Xmylli), (x%， y2L ；χ2Ε, y2E)，(x3L' y3L ；χ3Κ，y3E)}這樣的列表來表示這樣的檢測結(jié)果。在步驟S120，根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢
測結(jié)果的初始概率。檢測方法的檢測精度，例如可以定義為WOZ)= ^^^ROD表示檢測
h λ- γ
精度，H(hit)表示正確的檢測結(jié)果的數(shù)量，F(xiàn)(false)表示錯誤的檢測結(jié)果的數(shù)量，H+F即為總的檢測結(jié)果的數(shù)量。此外，檢測精度還可以考慮定義為檢出率。檢出率即所有物體中被正確檢出的數(shù)量占所有物體的數(shù)量比率。某檢測結(jié)果的初始概率表示該檢測結(jié)果正確的可能性，例如，某頭檢測方法的初始概率可表示為P(人I頭)，意思是在該檢測方法檢測出頭的情況下該物體確實是人的可能性。這里，各種檢測方法的預(yù)定檢測精度可以是預(yù)先通過統(tǒng)計計算獲得并且存儲于知識庫中的，不過也可以通過自適應(yīng)學(xué)習(xí)而獲得，或者根據(jù)經(jīng)驗設(shè)置。后面將參考圖3描述知識庫的示例性構(gòu)建方法。此外，后面將參考圖4說明如何利用該構(gòu)建的知識庫來設(shè)定各種檢測方法所獲得的各種檢測結(jié)果的初始概率。在步驟S130，基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度。需要說明的是，這里的多幀運動對象檢測結(jié)果可以利用任何運動對象檢測方法來獲得，該任何檢測方法可以與上述步驟SllO 和S120中涉及的各種檢測結(jié)果相關(guān)的各種檢測方法是獨立的，或者也可以為上述各種檢測方法中的一部分。后面將參考圖6對如何計算運動頻度分布圖進行示例性說明。在步驟S140，根據(jù)步驟S130中計算得到的運動頻度分布圖過濾在先幀中所檢測出的物體，以得到過濾后的在先幀檢測結(jié)果。后面將參考圖7對如何利用運動頻度分布圖來對在先幀的檢測結(jié)果進行過濾給出示例性描述。在步驟S150，根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率，后面將參考圖8就具體如何執(zhí)行此步驟加以舉例說明。在步驟S160，根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表，后面將參考圖9給出執(zhí)行該步驟的一個示例。該最后的物體檢測結(jié)果既可以直接在顯示器上顯示，也可以存儲，以及可以發(fā)送給在先幀檢測結(jié)果數(shù)據(jù)庫作為最新的在先幀檢測結(jié)果。此外，還可以包括根據(jù)與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則來去除最后物體列表中的作為噪聲的物體。預(yù)定義規(guī)則是指與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則。例如，在人檢測的情況下，在視頻會議場景中，人出現(xiàn)在視頻底部區(qū)域的可能性非常低，可設(shè)計規(guī)則去除視頻底部區(qū)域中的檢測結(jié)果，如去除在椅子面下的所檢測出的人。顯然，預(yù)定義的規(guī)則同樣也可以用于去除各種檢測結(jié)果，例如步驟SllO中的各種檢測結(jié)果。圖2示出了根據(jù)本發(fā)明另一實施例的以人檢測為例的檢測方法的整體流程圖。圖2中除了示出各個步驟外，為易于理解，還以平行四邊形的形式示出了有關(guān)步驟涉及的數(shù)據(jù)，例如作為各種檢測結(jié)果的運動對象列表201、人臉列表202、頭列表203、其他列表204 ；以及在設(shè)置概率以及更新概率的操作中需要參考的知識庫205、作為最后結(jié)果的人區(qū)域列表206、供后續(xù)檢測使用的歷史人區(qū)域列表207。人檢測方法200中的步驟S210、S220、S230、S240、S250、S260與圖1所示的物體檢測方法100中的步驟S110、S120、S130、S140、S150、S160類似，其區(qū)別僅在于，在圖2中，
要檢測的物體是人。因此，不再重復(fù)敘述。人檢測方法200與物體檢測方法100的不同在于增加了步驟S270。步驟S270根據(jù)當(dāng)前幀的各種檢測結(jié)果之間的交疊情況來更新各種檢測結(jié)果的概率，例如如果對于當(dāng)前幀圖像，人臉檢測列表202中的一個人臉a與頭檢測列表203中的一個頭b交疊，則這通常暗示這里存在一個人的可能性很高，因此，應(yīng)該提升人臉檢測列表202中人臉a的正確概率和頭b的正確概率。后面將參考圖5示例性地對該步驟S270進一步進行具體說明。需要說明的是，在圖2中，步驟S270被示出在處理當(dāng)前幀檢測與歷史幀檢測的交疊的步驟S250之前，不過，這并不表示限定為步驟S270的操作必須在步驟S250之前執(zhí)行， 相反，步驟S270當(dāng)然可以在步驟S250之后進行。圖2所示的示例性方法既考慮當(dāng)前幀的檢測結(jié)果與歷史幀的檢測結(jié)果的交疊(后文為敘述方便，有時稱之為時域交疊)，又考慮了當(dāng)前幀的各種檢測結(jié)果之間的交疊(后文為敘述方便，有時稱之為空域交疊)來更新有關(guān)當(dāng)前幀的檢測結(jié)果的概率，可以進一步提高整體檢測方法的準(zhǔn)確度。下面仍以人檢測為例，參考圖3來示例性說明存儲了各種檢測算法的各自檢測精度以及各種算法的檢測結(jié)果交疊時的檢測精度(后文為敘述方便，有時稱之為混合檢測精度)的知識庫的構(gòu)建過程，圖3是根據(jù)本發(fā)明一個實施例的基于統(tǒng)計計算的知識庫構(gòu)建的流程圖。在步驟S310，準(zhǔn)備含有人的多幅圖像和多個視頻片段307。在步驟S320人工地標(biāo)注人的區(qū)域，記錄標(biāo)注的區(qū)域坐標(biāo)到文件。通過此步驟來得到有關(guān)圖像和視頻片斷各幀中的人的位置和數(shù)量。在步驟S330選擇一種與人相關(guān)的檢測方法，例如運動對象檢測方法，人臉檢測方法，頭檢測方法，上半身檢測方法，全身檢測方法，膚色檢測方法等。本實施例假設(shè)選擇了運動對象檢測方法、頭檢測方法和臉檢測方法。在步驟S340使用運動對象檢測方法檢測運動和臨時靜止的人。在步驟S350使用人臉檢測方法檢測人臉。在步驟S360使用頭檢測方法檢測頭。不過，本領(lǐng)域技術(shù)人員應(yīng)該理解，所選擇的檢測方法的數(shù)量并不限于3個，以及具體所選擇的檢測方法也不局限于運動對象檢測方法、頭檢測方法和臉檢測方法，而是可以是任何一種與人相關(guān)的檢測方法。在步驟S370使用在步驟S320中得到的人區(qū)域標(biāo)識信息的文件和每種檢測方法的檢測結(jié)果來計算每種檢測方法的檢測精度。例如，以人臉檢測為例說明計算人臉檢測精度的方法。當(dāng)前的檢測方法是人臉檢測方法，檢測結(jié)果是人臉。通過驗證檢測到的人臉區(qū)域與標(biāo)識的人區(qū)域的是否交疊可以計算出檢出的正確人臉數(shù)量和錯誤人臉數(shù)量，同時可計算出未檢測到的真實人的數(shù)量?；谏鲜鲇嬎愕玫降恼_的人臉數(shù)量、錯誤的人臉數(shù)量、漏檢的人的數(shù)量、總的標(biāo)注的人的數(shù)量，即可計算得到人臉檢測方法檢測人的精度。是否交疊可通過交疊區(qū)域的大小來判定。例如，計算交疊的人臉區(qū)域和標(biāo)識區(qū)域二者中的面積小的區(qū)域的面積值A(chǔ)rea。通過使用交疊區(qū)域的面積除以該面積值A(chǔ)rea得到交疊比率r。如果r大于給定的閾值，則該人臉區(qū)域可以被判定為正確的人臉。閾值的范圍例如為從0.6到1.0，確切的數(shù)值可以通過實驗、經(jīng)驗或者在閾值范圍內(nèi)隨機采值獲取。除統(tǒng)計計算諸如人臉檢測的單種檢測方法的檢測精度外，步驟S370還基于上述方法計算某幾種檢測方法的混合檢測精度，例如人臉和頭檢測的檢測精度，人臉和上半身檢測的檢測精度等。具體地，例如，關(guān)于人臉檢測方法和頭檢測方法的混合檢測精度可以如下計算例如得出人臉檢測方法的人臉檢測列表和頭檢測方法的頭檢測列表，通過檢查交疊情況，得到了既被判斷為人臉也被判定為頭的頭臉區(qū)域列表，由此可以知道該頭臉區(qū)域列表中正確的頭臉數(shù)量、錯誤的頭臉數(shù)量，漏檢的數(shù)量、總的標(biāo)注的頭臉數(shù)量，由此例如通過以該頭臉區(qū)域列表中正確的頭臉數(shù)量除以該頭臉區(qū)域列表中正確的頭臉數(shù)量和錯誤的頭臉數(shù)量的和來得到人臉檢測方法和頭檢測方法的混合精度。此外，步驟S370類似地還計算時空混合檢測方法的檢測精度，例如，人臉和時域歷史檢測結(jié)果的時空混合檢測精度，頭和時域歷史檢測結(jié)果的時空混合檢測精度。時空混合檢測方法指通過將某種空域檢測方法(人臉，頭，上半身等)的檢測結(jié)果同時域歷史檢測結(jié)果(時域歷史人區(qū)域)進行合并進而得到人區(qū)域的方法。最終，所有單種檢測方法、混合檢測方法、時空混合檢測方法的檢測精度數(shù)據(jù)都存儲到知識庫205中。圖4是根據(jù)本發(fā)明一個實施例的圖1中步驟S120所可以使用的基于知識庫設(shè)定各種檢測結(jié)果初始概率的流程圖。在步驟S121獲取任意與人檢測相關(guān)的一種或者多種檢測結(jié)果。在步驟S122判定是何種檢測結(jié)果。在步驟S123、S124、S125根據(jù)檢測結(jié)果種類從知識庫205中獲取對應(yīng)的檢測精度，并設(shè)置該檢測結(jié)果的初始概率。例如，在檢測結(jié)果是運動對象檢測結(jié)果的情況下， 在步驟S123從知識庫205獲取對應(yīng)運動對象檢測方法的檢測精度，以其值設(shè)定所有運動對象檢測結(jié)果的初始概率P (人I運動對象)。在檢測結(jié)果是人臉檢測結(jié)果的情況下，在步驟 S124從知識庫205中獲取對應(yīng)人臉檢測方法的檢測精度，以其值設(shè)定所有人臉檢測結(jié)果的初始概率P (人I人臉)。在檢測結(jié)果是頭檢測結(jié)果的情況下，在步驟S125從知識庫205中獲取對應(yīng)頭檢測方法的檢測精度，以其值設(shè)定所有頭檢測結(jié)果的初始概率P(人I頭)。圖4中以運動對象檢測結(jié)果、臉檢測結(jié)果、頭檢測結(jié)果為例說明了初始概率的設(shè)定，不過本發(fā)明當(dāng)然不局限于此?？梢詰?yīng)用該方法設(shè)定任意種類的檢測結(jié)果的初始概率，只要在知識庫205中已經(jīng)預(yù)先存儲了對應(yīng)方法的檢測精度即可。下面參考圖5來舉例說明圖2中處理空域交疊的步驟S270的示例性具體過程。 圖5是根據(jù)本發(fā)明一個實施例的、根據(jù)各種檢測結(jié)果在空域的交疊情況更新各種檢測結(jié)果概率的流程圖。在步驟S271，獲取各種包含初始概率的檢測結(jié)果，例如設(shè)置了初始概率的臉區(qū)域列表2701、設(shè)置了初始概率的頭區(qū)域列表2702、設(shè)置了初始概率的運動對象區(qū)域列表 2703。在步驟S272，判定各種檢測結(jié)果的交疊類型。例如，如果步驟S272確定作為臉檢測結(jié)果的臉區(qū)域、作為頭檢測結(jié)果的頭區(qū)域、 作為運動對象檢測結(jié)果的運動對象區(qū)域三者相交疊，則在步驟S273根據(jù)人臉、頭和運動對象混合檢測方法的精度(例如從知識庫205中獲取)修正交疊的人臉、頭和運動對象檢測結(jié)果的概率，例如采用下述公式來修正P(人I臉)=P(人I頭)=P(人I運動)=P(人臉，頭，運動)。如果步驟S272確定作為臉檢測結(jié)果的臉區(qū)域、作為頭檢測結(jié)果的頭區(qū)域兩者相交疊，則在步驟S274根據(jù)人臉、頭混合檢測方法的精度(例如從知識庫205中獲取)修正交疊的人臉、頭的概率，例如采用下述公式來修正P(人I臉)=P(人I頭)=P(人I臉， 頭)。如果步驟S272確定作為臉檢測結(jié)果的臉區(qū)域、作為運動對象檢測結(jié)果的運動對象區(qū)域兩者相交疊，則在步驟S275根據(jù)人臉和運動對象混合檢測方法的精度(例如從知識庫205中獲取)修正交疊的人臉和運動對象檢測結(jié)果的概率，例如采用下述公式來修正 P(人I臉)=P(人I運動)=P(人I臉，運動)。如果步驟S272確定作為頭檢測結(jié)果的頭區(qū)域、作為運動對象檢測結(jié)果的運動對象區(qū)域兩者相交疊，則在步驟S276根據(jù)頭和運動對象混合檢測方法的精度(例如從知識庫205中獲取)修正交疊頭和運動對象檢測結(jié)果的概率，例如采用下述公式來修正P (人頭)=P(人I運動)=P(人I頭，運動)。如果步驟S272確定作為臉檢測結(jié)果的臉區(qū)域、作為頭檢測結(jié)果的頭區(qū)域、作為運動對象檢測結(jié)果的運動對象區(qū)域不存在交疊，即三者不交疊，以及任兩個間也不交疊，則不進行修正概率的操作。在經(jīng)過交疊類型判斷，并根據(jù)判斷結(jié)果而執(zhí)行相應(yīng)的操作后，得到了含有最新概率值的檢測結(jié)果列表2704。然后，結(jié)束處理。需要說明的是，上面對各種檢測結(jié)果不交疊的情況采取保持原概率不變的處理。 替代地，這種情況下，可以降低各種檢測結(jié)果的概率，即認(rèn)為應(yīng)該交疊，如果不交疊，可以采取罰則，比如將概率乘以90%。另外，上面對于例如兩種檢測結(jié)果交疊的情況，簡單地以從知識庫中獲取的空域混合檢測精度來替代原來各檢測結(jié)果的概率。替代地，可以根據(jù)交疊面積的比率作為權(quán)重來更新各檢測結(jié)果。例如，如果一個頭區(qū)域和一個臉區(qū)域交疊的面積占臉區(qū)域面積的70%， 則可以利用下述公式來更新該臉區(qū)域的概率P(人I臉)=P(人I臉)*(1-70%)+Ρ(人
頭，臉)*70%。下面參考圖6來示例性描述圖1中步驟S130可以執(zhí)行的具體過程，S卩如何基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果來計算當(dāng)前幀的運動頻度分布圖。該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度，即表征當(dāng)前幀中各像素的運動劇烈傾向。在步驟S131獲取在自當(dāng)前時間向回算的預(yù)定持續(xù)時間內(nèi)的運動對象檢測的結(jié)果，從而獲得了多個運動對象1301，該預(yù)定持續(xù)時間可以是0. 5秒、1. 0秒、2秒或者其他的時間間隔值。在步驟S132計算該指定持續(xù)時間內(nèi)每個像素點屬于運動對象的次數(shù)，計算公式如式(1)和(2)所示。
權(quán)利要求
1.一種檢測視頻中預(yù)定物體的物體檢測方法，包括獲取通過各種物體檢測方法對當(dāng)前幀中的預(yù)定物體的整體或者部分進行檢測所獲得的各種檢測結(jié)果；根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢測結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果，計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度；根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體，以得到過濾后的在先幀檢測結(jié)果；根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率；以及根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表。
2.根據(jù)權(quán)利要求1的物體檢測方法，還包括根據(jù)各種檢測結(jié)果之間的交疊來更新各種檢測結(jié)果概率。
3.根據(jù)權(quán)利要求2所述的物體檢測方法，其中所述根據(jù)各種檢測結(jié)果之間的交疊來更新各種檢測結(jié)果概率包括通過將預(yù)定數(shù)目的檢測結(jié)果對應(yīng)區(qū)域之間的重疊比例與預(yù)定閾值相比較來判定該預(yù)定數(shù)目的檢測結(jié)果是否交疊，并且如果交疊，則根據(jù)與該預(yù)定數(shù)目的檢測結(jié)果交疊對應(yīng)的預(yù)定檢測精度來更新該預(yù)定數(shù)目檢測結(jié)果中每種檢測結(jié)果的概率。
4.根據(jù)權(quán)利要求1的物體檢測方法，還包括根據(jù)與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則來去除各種檢測結(jié)果或最后物體列表中的作為噪聲的物體。
5.根據(jù)權(quán)利要求1所述的物體檢測方法，其中所述各種檢測方法的預(yù)定檢測精度、與各種檢測方法的檢測結(jié)果的交疊對應(yīng)的預(yù)定檢測精度、以及與各種檢測方法的檢測結(jié)果和在先幀檢測結(jié)果的交疊對應(yīng)的預(yù)定檢測精度預(yù)先存儲于知識庫中，該知識庫通過統(tǒng)計計算獲得。
6.根據(jù)權(quán)利要求1所述的物體檢測方法，其中，所述計算運動頻度分布圖的操作包括 根據(jù)多幀運動對象檢測結(jié)果計算在自當(dāng)前時間向回算的預(yù)定持續(xù)時間內(nèi)每個像素點屬于運動對象的次數(shù)，通過將每個像素點屬于運動對象的次數(shù)除以幀數(shù)來獲得該像素點的運動頻度，從而得到當(dāng)前運動頻度分布圖。
7.根據(jù)權(quán)利要求6的物體檢測方法，其中所述根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體的操作包括計算在先幀中所檢測出的一個物體所處區(qū)域的運動頻度累加和；歸一化該物體所處區(qū)域的運動頻度累加和；如果該物體的歸一化后的累加和小于等于預(yù)定閾值，則保留該物體， 否則從在先幀中所檢測出的物體中去除該物體。
8.根據(jù)權(quán)利要求1所述的物體檢測方法，其中所述根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率的操作包括通過將一種檢測結(jié)果與所述過濾后的在先幀檢測結(jié)果對應(yīng)區(qū)域之間的重疊比例與預(yù)定閾值相比較來判定該種檢測結(jié)果與過濾后的在先幀檢測結(jié)果是否交疊，以及如果交疊， 則根據(jù)與該交疊對應(yīng)的預(yù)定檢測精度來更新該種檢測結(jié)果的概率。
9.根據(jù)權(quán)利要求1所述的物體檢測方法，其中，所述根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表的操作包括由隨機數(shù)發(fā)生器產(chǎn)生位于0和1之間的隨機數(shù)；將每種檢測結(jié)果中每個檢測結(jié)果的概率同該隨機數(shù)以及設(shè)定的第一閾值和小于第一閾值的第二閾值進行比較；如果該每個檢測結(jié)果的概率大于第一閾值或者該每個檢測結(jié)果的概率大于第二閾值且大于隨機數(shù)，則保留該每個檢測結(jié)果，否則，拋棄該每個檢測結(jié)果。
10. 一種檢測視頻中預(yù)定物體的物體檢測裝置，包括檢測結(jié)果獲取部件，用于獲取通過各種物體檢測方法對當(dāng)前幀中的預(yù)定物體的整體或者部分進行檢測所獲得的各種檢測結(jié)果；初始概率設(shè)置部件，用于根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢測結(jié)果的初始概率；運動頻度分布圖計算部件，用于基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果，計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度；在先幀檢測結(jié)果過濾部件，用于根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體， 以得到過濾后的在先幀檢測結(jié)果；時空交疊更新部件，用于根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊， 更新各種檢測結(jié)果的概率；以及物體列表確定部件，用于根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表。
全文摘要
提供了檢測視頻中預(yù)定物體的物體檢測方法和裝置。該方法包括獲取通過各種物體檢測方法所獲得的各種檢測結(jié)果；根據(jù)每種檢測方法的預(yù)定檢測精度，設(shè)定與該種檢測方法對應(yīng)的檢測結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運動對象檢測結(jié)果，計算運動頻度分布圖，該運動頻度分布圖表明當(dāng)前幀圖像中各像素的運動頻度；根據(jù)運動頻度分布圖過濾在先幀中所檢測出的物體，以得到過濾后的在先幀檢測結(jié)果；根據(jù)各種檢測結(jié)果和所述過濾后的在先幀檢測結(jié)果的交疊，更新各種檢測結(jié)果的概率；以及根據(jù)各種檢測結(jié)果的概率，確定檢測出的最后物體列表。本發(fā)明具有更強的靈活性，更綜合地考慮了各檢測結(jié)果，可以提高檢測精度，降低誤檢率。
文檔編號G06K9/00GK102236899SQ20101016523
公開日2011年11月9日 申請日期2010年5月7日 優(yōu)先權(quán)日2010年5月7日
發(fā)明者伊紅, 王鑫, 范圣印, 鄧宇 申請人:株式會社理光