使用分類器級聯(lián)的復(fù)雜對象檢測的制作方法
【專利摘要】本發(fā)明涉及使用分類器級聯(lián)的復(fù)雜對象檢測，用于：識別圖像中的復(fù)雜對象的各部分，級聯(lián)中的相繼的分類器處理像素塊的條件是先前分類器的相應(yīng)的判別特征集合已被識別；并且，通過應(yīng)用已識別出的復(fù)雜對象的部分和待識別的另一部分之間的已知位置關(guān)系，從查詢圖像中選擇另外的像素塊。
【專利說明】使用分類器級聯(lián)的復(fù)雜對象檢測
【背景技術(shù)】
[0001]基于計算機(jī)的對象檢測系統(tǒng)和方法被用在要求幾乎實時地實現(xiàn)高準(zhǔn)確度的許多不同應(yīng)用中。這樣的應(yīng)用的例子包括:主動車輛安全系統(tǒng)、智能監(jiān)控系統(tǒng)和機(jī)器人。
[0002]在車輛安全領(lǐng)域中，例如，對行駛路徑中的行人或?qū)ο蟮臏?zhǔn)確的高速識別使得自動化安全系統(tǒng)能夠采取必要措施來避免碰撞，或者使得自動化系統(tǒng)能夠警示司機(jī)以允許司機(jī)采取必要的預(yù)防措施來避免碰撞。

【發(fā)明內(nèi)容】

[0003]本發(fā)明包括如下方案。
[0004]1.一種用于在查詢圖像中識別復(fù)雜對象的方法，所述方法包括:
[0005]執(zhí)行啟用計算機(jī)的步驟，所述步驟包括:
[0006]使用分類器的級聯(lián)處理來自所述查詢圖像的至少一個像素塊，所述級聯(lián)中的每個分類器都被配置為識別表示了所述復(fù)雜對象的一部分的特點(diǎn)的至少一個判別特征，其中所述級聯(lián)中每個相繼的分類器識別的判別特征的數(shù)量大于由所述級聯(lián)中的先前分類器識別的判別特征的數(shù)量；以及
[0007]在所述級聯(lián)中的最后一個分類器已經(jīng)識別出區(qū)別特征后，從所述查詢圖像中選擇另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分和另外的部分之間的已知位置關(guān)系。
[0008]2.如方案I的方法，其中，所述已知位置關(guān)系從樣本圖像習(xí)得。
[0009]3.如方案I的方法，其中，所述已知位置關(guān)系是人體測量學(xué)關(guān)系。
[0010]4.如方案I的方法，進(jìn)一步包括:在所述級聯(lián)的最后一個分類器已經(jīng)識別出第二部分的區(qū)別特征后，從所述查詢圖像中選擇第二另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分、所述第二部分與第三另外的部分之間的已知位置關(guān)系。
[0011]5.如方案I的方法，進(jìn)一步包括識別樣本復(fù)雜圖像的一部分的至少一個判別特征，所述判別特征表示了所述復(fù)雜對象的所述部分的特點(diǎn)。
[0012]6.如方案I的方法，進(jìn)一步包括按隨機(jī)原則選擇另外的像素塊。
[0013]7.如方案I的方法，進(jìn)一步包括:當(dāng)選擇未來的像素塊時，將搜索的像素塊指定成被放棄，所述搜索的像素塊被確定為缺乏表示了所述復(fù)雜對象的一部分的特點(diǎn)的判別特征。
[0014]8.一種在查詢圖像中識別復(fù)雜對象的系統(tǒng)，所述系統(tǒng)包括:
[0015]處理器，所述處理器被配置為:
[0016]使用分類器的級聯(lián)來處理所述查詢圖像中的至少一個像素塊，所述級聯(lián)中的每個分類器被配置為識別表示了所述復(fù)雜對象的一部分的特點(diǎn)的至少一個判別特征，其中，所述級聯(lián)中每個相繼的分類器使用的判別特征的數(shù)量大于由所述級聯(lián)中的先前分類器使用的判別特征的數(shù)量；以及
[0017]在所述級聯(lián)的最后一個分類器已經(jīng)識別出區(qū)別特征后，從所述查詢圖像中選擇另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分和另外的部分之間的已知位置關(guān)系。
[0018]9.如方案8的系統(tǒng)，其中，所述已知位置關(guān)系從樣本圖像中習(xí)得。
[0019]10.如方案8的系統(tǒng)，其中，所述已知位置關(guān)系是人體測量學(xué)關(guān)系。
[0020]11.如方案8的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為:在所述級聯(lián)的最后一個分類器已經(jīng)識別出第二部分后，從所述查詢圖像中選擇第二另外的像素塊用于處理，其中，基于所述復(fù)雜對象的所述部分、所述第二部分與第三另外的部分之間的已知位置關(guān)系來選擇所述第二另外的像素塊。
[0021]12.如方案7的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為:識別樣本復(fù)雜圖像的一部分的判別特征，所述判別特征表示了所述復(fù)雜對象的所述部分的特點(diǎn)。
[0022]13.如方案8的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為按隨機(jī)原則選擇另外的像素塊。
[0023]14.如方案8的系統(tǒng)，其中，所述處理器進(jìn)一步被配置為:當(dāng)選擇未來的像素塊時，將搜索的像素塊指定成被放棄，所述搜索的像素塊被發(fā)現(xiàn)為缺乏表示了所述復(fù)雜對象的一部分的特征的判別特征。
[0024]15.一種具有存儲于其上的指令的非暫態(tài)計算機(jī)可讀介質(zhì)，所述指令用于在查詢圖像中識別復(fù)雜對象，當(dāng)被處理器執(zhí)行時，其使得所述處理器執(zhí)行包括下述各項的指令:
[0025]使用分類器的級聯(lián)來處理所述查詢圖像中的至少一個像素塊，所述級聯(lián)中每個相繼的分類器被配置為識別所述像素塊中表示了所述復(fù)雜對象的一部分的特點(diǎn)的至少一個判別特征；其中，所述級聯(lián)中每個相繼的分類器使用的判別特征的數(shù)量大于所述級聯(lián)的先前分類器中使用的判別特征的數(shù)量；以及
[0026]在所述級聯(lián)的最后一個分類器已經(jīng)識別出所述判別特征后，從所述查詢圖像中選擇另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分和另外的部分之間的已知位置關(guān)系。
[0027]16.如方案15的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其中，所述已知位置關(guān)系從樣本圖像中習(xí)得。
[0028]17.如方案15的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其中，所述程序代碼被進(jìn)一步配置為:將從所述查詢圖像中識別的所述復(fù)雜對象的各部分組合，以便識別完整的復(fù)雜對象。
[0029]18.如方案15的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其中，所述程序代碼被進(jìn)一步配置為:使得所述處理器在所述級聯(lián)的最后一個分類器已經(jīng)識別出第二部分的區(qū)別特征后從所述查詢圖像中選擇第二另外的像素塊用于處理，其中，基于所述復(fù)雜對象的所述部分、所述第二部分與第三另外的部分之間的已知位置關(guān)系來選擇所述第二另外的像素塊。
[0030]19.如方案15的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其中，所述程序代碼被進(jìn)一步配置為:使得所述處理器識別樣本復(fù)雜圖像的一部分的判別特征，所述判別特征表示了所述復(fù)雜對象的所述部分的特點(diǎn)。
[0031]20.如方案15的非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其中，所述程序代碼被進(jìn)一步配置為:使得所述處理器當(dāng)選擇未來的像素塊時將搜索的像素塊指定成被放棄，所述搜索的像素塊被發(fā)現(xiàn)為缺乏表示了所述復(fù)雜對象的一部分的特征的判別特征?！緦＠綀D】

【附圖說明】
[0032]在申請文檔的結(jié)束部分，本發(fā)明的主題被特別地指出并且被清楚地要求保護(hù)。然而，參照如下的詳細(xì)說明和附圖，本發(fā)明可在其部件、特征、操作方法及其優(yōu)勢方面得到最好的理解，附圖中:
[0033]圖1是根據(jù)本發(fā)明一實施例的使用了分類器的級聯(lián)的復(fù)雜對象檢測系統(tǒng)的示意性框圖；
[0034]圖2是具有待識別的復(fù)雜對象的詢問圖像；
[0035]圖3是樣本復(fù)雜對象，其各部分已被指定成用于學(xué)習(xí)，以便由分類器級聯(lián)的各分類器使用。
[0036]圖4是根據(jù)本發(fā)明一實施例的特征的圖形表示，當(dāng)識別與復(fù)雜對象的一部分相關(guān)聯(lián)的特征時，從特征的圖形表示中獲得判別特征，以便由分類器級聯(lián)的三個分類器中的每一個使用。
[0037]圖5根據(jù)本發(fā)明的一實施例描述了具有三個分類器的分類器級聯(lián)，其中每個分類器識別其各自的已習(xí)得的判別特征集合，該判別特征集合表示了與圖2中描述的復(fù)雜對象相關(guān)聯(lián)的部分的區(qū)別特征。
[0038]圖6根據(jù)本發(fā)明的一實施例描述了圖5的分類器級聯(lián)的處理配置，其用于來自多個位置的三個對象部分，其中每個相繼的分類器在下述條件下處理像素塊，所述條件是先前的分類器已成功識別出它們各自的判別特征。
[0039]圖7是示出了根據(jù)本發(fā)明一實施例的基于習(xí)得的關(guān)于已識別部分的位置關(guān)系來識別另外的像素塊的方法的流程圖，所述另外的像素塊可能包含另外的復(fù)雜對象部分。
[0040]圖8是示出了根據(jù)本發(fā)明一實施例的基于計算出的關(guān)于已識別部分的概率來識別另外的像素塊的方法的流程圖，所述另外的像素塊可能包含另外的復(fù)雜對象部分。
[0041]圖9根據(jù)本發(fā)明的一實施例示出了圖2的查詢圖像，其中，含有像素塊的多個搜索窗口在成功識別復(fù)雜對象部分之前被擴(kuò)展到各個位置處以及在成功識別所述部分之后被擴(kuò)展到第一優(yōu)選位置處。
[0042]圖10根據(jù)本發(fā)明的一實施例示出了圖9的查詢圖像，其中，含有像素塊的多個搜索窗口在成功識別一部分之前被擴(kuò)展到各個位置處以及在成功識別一部分之后被擴(kuò)展到第二優(yōu)選位置處。
[0043]圖11根據(jù)本發(fā)明的一實施例示出了圖2的查詢圖像，其中，含有像素塊的搜索窗口被未來識別相關(guān)特征的試圖拒絕，并且搜索窗口基于對兩個對象部件的成功識別在對復(fù)雜對象部件的搜索中擴(kuò)展在優(yōu)選位置處。
[0044]圖12根據(jù)本發(fā)明的一實施例描述了圖2的具有被部分遮擋的復(fù)雜對象的查詢圖像，其中，有可能包含另一對象部分的含有像素塊的搜索窗口基于先前所識別出的部分。
[0045]圖13根據(jù)本發(fā)明的一實施例描述了圖2的具有縮減尺寸的復(fù)雜對象的查詢圖像，其中，有可能包含另一對象部分的含有像素塊的搜索窗口基于先前所識別出的部分。
[0046]圖14描述了根據(jù)本發(fā)明的一實施例的在其上具有存儲的指令的非暫態(tài)計算機(jī)可讀介質(zhì)，所述指令用于在查詢圖像中使用分類器級聯(lián)來識別復(fù)雜對象。
[0047]應(yīng)當(dāng)理解，為了說明的簡潔和清楚，圖中示出的元件并沒有必要按照比例尺繪制，并且在不同的圖中，附圖標(biāo)記可以被重復(fù)使用以表示相同、相應(yīng)或相似的元件?！揪唧w實施方式】
[0048]在下面的詳細(xì)說明中，為了透徹理解本發(fā)明，大量細(xì)節(jié)被闡述。然而，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在沒有這些特定的細(xì)節(jié)的情況下本發(fā)明仍可被實施。進(jìn)一步地，為了不與本發(fā)明混淆，已知的方法、程序和組件沒有被詳細(xì)描述。
[0049]應(yīng)當(dāng)理解的是，下面的術(shù)語將在本文檔中通篇使用。
[0050]“復(fù)雜對象”指的是這樣的對象:所述對象呈現(xiàn)于一圖像中，并且由于與該對象相關(guān)聯(lián)的多種復(fù)雜性，因而需要多種模板來描述或識別。這些復(fù)雜性可以包括:具有彼此之間的變化的人體測量學(xué)關(guān)系的多個對象部分；在特定類別中的大尺寸變化；部分遮擋；以及多視角。尤其是，典型的例子包括人、動物或車輛。為了本文檔的目的并且不減弱普適性，將人作為復(fù)雜對象的一個例子被突出描述。
[0051]“分類器”指的是一種函數(shù)(例如，計算機(jī)可執(zhí)行的函數(shù))，其被配置為:基于表示了與復(fù)雜對象相關(guān)聯(lián)的部分的特點(diǎn)的判別特征來識別圖像的對象部分。這些判別特征通?？杀惶幚硪陨衫巛敵鲋?，該輸出值與從模型圖像類似地獲取的閾值相比較以確定“匹配”。這樣的匹配可基于，例如，諸如像素密度、幾何圖元之類的成像參數(shù)，和/或其他圖像參數(shù)。
[0052]“分類器級聯(lián)”指的是多個相繼的分類器。
[0053]“像素塊”指的是像素的一個區(qū)域。
[0054]“判別特征”指的是這種圖像像素的參數(shù)，例如密度梯度、平均密度、像素顏色，并且表示了圖像內(nèi)容的特征。
[0055]“人體測量學(xué)關(guān)系”指的是投影在圖像中的人的身體部分的相對尺寸、放置和取向。
[0056]“協(xié)作搜索”指的是基于先前對至少一個復(fù)雜對象的部分的成功識別或分類在查詢圖像中選擇像素塊。
[0057]根據(jù)本發(fā)明的實施例，一種用于使用分類器級聯(lián)的復(fù)雜對象檢測方法可以包括:識別查詢圖像中的像素塊，并且在對習(xí)得的判別特征的搜索中使用分類器級聯(lián)來處理它。如上文所述，分類器的級聯(lián)可具有一連串的分類器，其中每一個分類器可被配置為識別其各自的判別特征集合。級聯(lián)中每個相繼的分類器為同一對象部分搜索更大數(shù)量的判別特征，并且被配置為:只有在先前使用的分類器已經(jīng)成功識別它們各自的判別特征之后，再識別其各自的判別特征集合。如果這沒有實現(xiàn)，那么每個相繼階段的分類器就不處理所述像素塊，并且那個特定的像素塊被拒絕并被指定為缺少所需判別特征的區(qū)域。然后另一個像素塊可從查詢圖像中按隨機(jī)或半隨機(jī)原則被選擇。在其他實施例中，當(dāng)先前分類器確實識別出它們各自的判別特征集合時，可選擇相鄰的塊或任何其他的塊作為要被處理的下一個塊，相繼的分類器處理該像素集合直至識別出對象部分。在被發(fā)現(xiàn)之后，該對象部分的位置與模型對象圖像的各對象部分之間的已習(xí)得的空間關(guān)系一起作為下述內(nèi)容的基礎(chǔ)，即:用于在查詢圖像內(nèi)擴(kuò)展到有可能包含另外的對象部分的另外的像素塊。其他實施例使用了這樣的數(shù)據(jù)圖，其中概率函數(shù)的變量的最大值被用來選擇這樣的另外像素集合，該另外像素集合具有包含對象部分的最大概率。
[0058]根據(jù)本發(fā)明的實施例，通過針對每一部分的分類操作的數(shù)量減少以及搜索位置數(shù)量的減少從而提供了整體的計算節(jié)省，使得對復(fù)雜對象的近實時、高準(zhǔn)確度的識別成為可能。相應(yīng)地，根據(jù)本發(fā)明的方法和系統(tǒng)在需要準(zhǔn)確和快速識別復(fù)雜對象的真實世界應(yīng)用(例如，主動車輛安全特征、智能監(jiān)控系統(tǒng)和機(jī)器人)中有著廣泛的使用。
[0059]現(xiàn)在轉(zhuǎn)向附圖，圖1是根據(jù)本發(fā)明一個實施例的使用了分類器級聯(lián)的復(fù)雜對象檢測系統(tǒng)的示意性框圖。復(fù)雜對象檢測系統(tǒng)100可包括一個或多個計算機(jī)視覺傳感器10(例如，照相機(jī)、攝像機(jī)、數(shù)碼照相機(jī)/攝像機(jī)，或其他圖像采集設(shè)備)。計算機(jī)視覺傳感器10能夠捕捉可包含有一個或多個對象和/或特征的圖像。另外，圖像也可以另外的方式被輸入到系統(tǒng)100中，例如，從其他計算機(jī)、數(shù)據(jù)庫或系統(tǒng)下載。對象檢測系統(tǒng)100可包括一個或多個處理器或控制器20、存儲器30、長期非暫態(tài)存儲器40、輸入設(shè)備50和輸出設(shè)備60。輸入設(shè)備50的非限制性例子可以是，例如，觸摸屏、電容輸入設(shè)備、鍵盤、麥克風(fēng)、指示器設(shè)備、按鍵、開關(guān)或其他設(shè)備。輸出設(shè)備的非限制性例子包括顯示屏、例如擴(kuò)音器或耳機(jī)之類的音頻設(shè)備。輸入設(shè)備50和輸出設(shè)備60可被組合到單個設(shè)備中。
[0060]處理器或控制器20可以是，例如，中央處理單元(CPU)，芯片或任何適于計算的設(shè)備。處理器或控制器20可包括多個處理器，并且可包括通用處理器和/或例如圖形處理芯片之類的專用處理器。處理器20可執(zhí)行例如存儲在存儲器30或長期存儲器40中的代碼或指令來實施本發(fā)明的實施例。
[0061]存儲器30可以是隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、動態(tài)RAM (DRAM)、同步DRAM(SD-DRAM)、雙數(shù)據(jù)率(DDR)存儲芯片、閃存存儲器、易失性存儲器、非易失性存儲器、緩存存儲器、緩沖器、短期存儲器單元、長期存儲器單元，或其他適合的存儲器單元或存儲單元。存儲器30可以是或者可包括多種存儲器單元。
[0062]長期非暫態(tài)存儲器40可以是或可包括，例如，硬盤驅(qū)動器、軟盤驅(qū)動器、光盤(⑶)驅(qū)動器、可寫CD (CD-R)驅(qū)動器、通用串行總線(USB)設(shè)備、或其它適合的可移除和/或固定的存儲單元，并且可包括多個這樣的單元或這樣的單元的組合。應(yīng)當(dāng)理解的是，圖像數(shù)據(jù)、代碼和其它相關(guān)數(shù)據(jù)結(jié)構(gòu)被存儲在上述存儲器和/或存儲設(shè)備中。
[0063]圖2是查詢圖像210，其包含復(fù)雜對象220，復(fù)雜對象220是有待通過識別多個部分來進(jìn)行分類的人，所述多個部分包括；頭部240，背部250，以及足部260。應(yīng)當(dāng)理解的是，為了本發(fā)明的目的，人被用作復(fù)雜對象的非限制性例子。
[0064]圖3描述了復(fù)雜對象模型330的圖像，從中能提取出每一部分的判別特征集合以及這些部分之間的人體測量學(xué)關(guān)系。模型復(fù)雜對象330被劃分成包含各對象部分的各像素塊或各圖像區(qū)域。圖3的非限制性例子中，復(fù)雜對象是一個人330，其中三個獨(dú)立的部分已被識別；頭部340，背部350以及足部360。應(yīng)當(dāng)理解的是，多種多樣的復(fù)雜對象都是可被用于訓(xùn)練階段分類器的適合模型。這樣的模型包括:有生命和無生命的對象；具有很多個部分的對象；包括彼此之間具有可變幾何關(guān)系的各部分的對象；被部分遮擋的對象；所有對象都如上所述那樣從不同角度或距離來觀看到。
[0065]圖4描述了從圖像樣本(未示出)的前視圖獲取的特征的三個圖形表示:405、410和415。根據(jù)本發(fā)明的實施例，這些特征用于訓(xùn)練級聯(lián)中的相繼的分類器?？梢詫D像樣本應(yīng)用特征選擇算法來獲取圖形表示405、410和415，其可進(jìn)一步被處理以識別最能代表與樣本相關(guān)聯(lián)的特征的特點(diǎn)的判別特征。例如，該特征選擇算法可以僅基于供第一分類器使用的兩個像素區(qū)域406和407來生成理想的判別特征，理想的判別特征也可基于供第二分類器使用的像素區(qū)域411413，并且七個另外的像素區(qū)域414 一起被指定成由第三分類器使用。以這種方式，具有三個分類器的級聯(lián)中的每個分類器都被啟用，從而以提高的準(zhǔn)確性和清楚性來識別與復(fù)雜對象相關(guān)聯(lián)的對象部分的區(qū)別特征。
[0066]應(yīng)當(dāng)注意到，很多像素或圖像參數(shù)都可被用于提取識別判別特征的最有效的特征，并且一些例子包括梯度直方圖(HoGs)、積分通道特征、Haar特征。此外，應(yīng)當(dāng)理解的是，圖4例子中的前視面部特征從樣本圖像中被識別；然而，根據(jù)待識別的對象部分的特定視角，這些特征可以從樣本圖像的側(cè)視圖中提取。
[0067]根據(jù)本發(fā)明的實施例，圖5描述了具有三個分類器的級聯(lián)，其被配置為按一個階段接一個階段(或者一級接一級)的原則使用已習(xí)得的判別特征來識別復(fù)雜對象部分240。
[0068]如上文所述，每個相繼的分類器都搜索對象部分240來識別其相應(yīng)的判別特征集合。在當(dāng)前的非限制性例子中，第一階段分類器505針對從圖形表示405中獲取的判別特征來檢查候選對象部分240。如果它們沒被找到，則已識別出的像素塊被拒絕，并且系統(tǒng)100或者在查詢圖像210中擴(kuò)展到另外的搜索區(qū)域，或者將第一階段分類器505應(yīng)用至隊列中的復(fù)雜對象部分的另外的像素塊。如果第一階段分類器505識別出第一判別特征集合，則第二分類器510搜索從圖形表示410中獲取的第二判別特征集合。如果分類器510沒有識別出它們，則如上文所述，這個像素塊對象也被拒絕。如果實現(xiàn)了匹配，則第三分類器515被應(yīng)用并且試圖識別從圖形表示415中獲取的判別特征。如果沒有識別出匹配，則所搜索的像素塊部分被拒絕，相反，如果識別出匹配，則對象部分240被認(rèn)為已經(jīng)由分類器級聯(lián)520識別出。應(yīng)當(dāng)注意的是，在本發(fā)明的實施例中，可以考慮任何分類器級聯(lián)，其包括有使用了任何數(shù)量的判別特征的任何數(shù)量的分類器。
[0069]應(yīng)當(dāng)注意的是，在被拒絕的情況下，被發(fā)現(xiàn)為不包含判別特征的像素塊被指定為關(guān)于這個特定對象部分的非可行區(qū)域，以便避免在相同的區(qū)域內(nèi)針對被拒絕的該部分進(jìn)行不必要的搜索。應(yīng)當(dāng)理解的是，本發(fā)明包括這樣的實施例，其中一些像素塊關(guān)于特定部分被拒絕，但是這些像素塊確實可能關(guān)于另外的對象部分而被搜索。
[0070]根據(jù)本發(fā)明的實施例，圖6描述了對在五個不同位置1-V的像素塊進(jìn)行處理的分類器示例，其中五個分開的具有三個分類器1-3的級聯(lián)均被用來識別三個復(fù)雜對象部分
1-3。如描述的那樣，分類器Ia確定來自位置I和III的內(nèi)容缺少期望的特征，所以不需要剩余分類器Ib和Ic進(jìn)一步處理來自這些位置的內(nèi)容。分類器2b繼續(xù)處理來自剩余位置
I1、IV和V的內(nèi)容。分類器2b確定來自位置V的內(nèi)容也缺少所需的特征，所以分類器Ic繼續(xù)處理僅僅來自位置II和IV的內(nèi)容。分類器Ic確定來自位置IV的內(nèi)容也缺少所需的特征，并且處理來自位置II的內(nèi)容的分類器I識別出所需的特征，所以部分I被認(rèn)為位于位置II處。
[0071]對復(fù)雜對象部分2的搜索可以在幾個(例如，五個)不同位置處繼續(xù)，其中來自位置V1-X的相應(yīng)的像素塊由具有三個分類器2a-2c的另一級聯(lián)來處理。來自位置VII和VIII的內(nèi)容被分類器2a拒絕，所以由分類器2b繼續(xù)處理來自剩余位置V1、VIII和X的內(nèi)容。分類器2b拒絕來自位置VIII的內(nèi)容，所以由分類器2c繼續(xù)處理來自位置VI和X的內(nèi)容。分類器2c拒絕來自位置VI的內(nèi)容，而分類器2a識別出了來自位置X的內(nèi)容中的相關(guān)特征。因為所有三個分類器2a-2c識別出了來自位置X的內(nèi)容中的相關(guān)特征，所以部分2被認(rèn)為已經(jīng)得到識別。[0072]對第三部分的搜索使用五個各自具有三個分類器3a_3c的級聯(lián)來繼續(xù)，每一3a-3c中的內(nèi)容來自位置V1-X。分類器3a拒絕從位置XIIII獲取的內(nèi)容，所以繼續(xù)處理從剩余位置X1-XII1、XV獲得的像素塊。分類器3b拒絕從位置XIII獲得的內(nèi)容，并且分類器3c繼續(xù)處理從剩余位置X1-XI1、XV獲取的內(nèi)容，然后拒絕從位置XII和XV獲取的內(nèi)容。剩余的分類器3c識別來自位置XI的內(nèi)容中的相關(guān)特征。同樣，因為所有三個分類器3a-3c已經(jīng)識別出從這個位置獲取的內(nèi)容中的相關(guān)特征，所以部分3被認(rèn)為在位置XI處得到識別。
[0073]圖7是描述了上述方法的流程圖，其中具有的另外的步驟是:在對象部分得到分類之后，為剩余的對象部分?jǐn)U展另外的搜索區(qū)域或像素塊。
[0074]特別地，在根據(jù)本發(fā)明實施例的步驟710中，根據(jù)本發(fā)明的實施例，例如，可以基于隨機(jī)原則從查詢圖像210中選擇第一像素塊。
[0075]在步驟715中，相繼的分類器被應(yīng)用于每一部分的條件是，級聯(lián)中的所有先前分類器已識別出它們各自的判別特征集合。在步驟720中，如果所有分類器的所有相應(yīng)的判別特征集合已得到識別，則對象部分被認(rèn)為已經(jīng)如上文所述的那樣被分類或識別。然而，如果不是所有相應(yīng)的判別特征集合都已得到識別，則在步驟721中指定那個像素塊為“被拒絕的”，并且在步驟710中按照隨機(jī)或半隨機(jī)原則從查詢圖像210中選擇新的像素塊。再一次地，如在步驟715中所示的那樣，相繼的分類器處理新選擇的像素塊。當(dāng)所有分類器都已成功識別出它們各自的判別特征時，則如步驟725中所示，一對象部分已被分類，并且還如步驟730中所示的那樣，基于已習(xí)得的先前已識別出的對象部分(如果有的話)和待識別的該對象部分之間的空間關(guān)系，從查詢圖像中選擇另外的像素塊。當(dāng)選擇了可能包含另外的對象部分的新的像素塊后，如步驟715所示，通過應(yīng)用與該另外的部分相關(guān)聯(lián)的相繼的分類器，該處理過程被重復(fù)進(jìn)行。
[0076]圖8描述的方法與圖7闡述的方法類似，其中使用了一種選擇另外的像素塊的替代方式，所述另外的像素塊可能包含另外的對象部分，在該替代方式中采用了概率圖，如步驟830中所示的那樣。
[0077]特別地，響應(yīng)于處理特定像素塊的每個分類器的輸出值，范圍在O和I之間的概率值被分配給每個像素。在一對象部分已經(jīng)得到識別后，相應(yīng)地更新概率圖，并且通過計算下一對象部分的概率函數(shù)變量最大值(Argmax)來選擇像素塊,或者等效地:
[0078]ArgmaxPn+1Prob (Pn+11 P，n+1, P1,..., Pn)其中:
[0079]Pn是檢測部分的概率圖，n=l...N ；
[0080]Pn+1是先前的概率圖。
[0081]通過將概率值設(shè)置為零，從而拒絕概率值小于預(yù)定值的區(qū)域。
[0082]圖9和圖10是圖2的查詢圖像，其中具有疊加的搜索窗口來表示針對對象部分正被搜索的區(qū)域。在各個實施例中，根據(jù)本發(fā)明一實施例，使用分類器級聯(lián)的復(fù)雜對象檢測系統(tǒng)被配置為擴(kuò)展搜索窗口，所述搜索窗口包含有基本上對應(yīng)于已習(xí)得的對象部分的區(qū)域的區(qū)域。作為非限制性例子，搜索窗口 970和975包含有這樣的區(qū)域，所述區(qū)域分別對應(yīng)于圖
3中包含有已習(xí)得的頭部340和已習(xí)得的背部350的區(qū)域。另外，搜索窗口 970和975可在多個位置或在一種方法中被擴(kuò)展，在這些位置中，新搜索區(qū)域的一部分與所示的先前已搜索區(qū)域的一部分重疊，在該方法中，無論是選擇第一像素塊，還是因缺少相關(guān)的判別特征而拒絕兩個替補(bǔ)塊，都是完全隨機(jī)的。[0083]當(dāng)對象部分被識別出時，如上所述，它被作為基礎(chǔ)用來擴(kuò)展到最可能包含所要求的對象部分的另外的搜索區(qū)域。如上所述，一些實施例對該識別出的部分應(yīng)用習(xí)得的人體測量學(xué)關(guān)系，以便將隨后的搜索區(qū)域引導(dǎo)到最可能包含另外的部分的像素區(qū)域。如上所述，當(dāng)針對所有部分確定了概率函數(shù)的“變量最大值(maxarg) ”時，其它實施例使用已識別出的部分的位置作為先驗數(shù)據(jù)。窗口 980指示頭部240 (圖2)已被定位，從而搜索窗口 990和1090(圖10)被擴(kuò)展在最有可能包含背部250的區(qū)域中，因為這些區(qū)域表示了圖3的模型圖像330中的這些部分的人體測量學(xué)關(guān)系。因為對象220的兩側(cè)都符合習(xí)得的人體測量學(xué)關(guān)系，所以搜索窗口 990和1090區(qū)域兩者都被識別為待搜索的合適的像素塊。
[0084]本發(fā)明的一些實施例中，當(dāng)應(yīng)用概率圖時，鑒于更新的概率數(shù)據(jù)，窗口 990和1090兩者所包含有的區(qū)域都可被確定為具有包含背部250的高概率。應(yīng)當(dāng)理解的是，本發(fā)明的范圍內(nèi)包括任意多個搜索。
[0085]圖11闡述了一實施例，其中基于對多個對象部分的成功識別或分類來擴(kuò)展像素塊。例如，頭部240和足部260 (圖3)都已經(jīng)分別在搜索窗口 1110和1120中得以識別。根據(jù)在圖3描述的模型圖像330中的這些部分各個部分之間的已習(xí)得的人體測量學(xué)關(guān)系或更新的概率數(shù)據(jù)，搜索窗口 1190被擴(kuò)展。應(yīng)當(dāng)理解的是，在本發(fā)明的范圍內(nèi)包括:根據(jù)任何數(shù)量的先前識別出的對象部分來擴(kuò)展另外的搜索區(qū)域的實施例。
[0086]本發(fā)明的一些實施例中,通過減少計算冗余來進(jìn)一步優(yōu)化計算有效性。窗口 1100是在級聯(lián)的分類器中任意分類器已經(jīng)確定了一像素塊缺乏判別特征之后指定被拒絕的該像素塊或區(qū)域的窗口。
[0087]圖12和圖13闡釋了分別根據(jù)本發(fā)明的實施例的如上所述的應(yīng)用，其中級聯(lián)的分類器有助于對部分遮擋的或者比例縮小的復(fù)雜對象的搜索。特別是，頭部240在窗口 1210中被識別，并且如上文所述，基于已習(xí)得的圖3中頭部340和足部360之間的人體測量學(xué)關(guān)系，或者基于已識別出的頭部240的概率數(shù)據(jù)，窗口 1220作為足部260的可能位置而被擴(kuò)展。
[0088]圖14描述了根據(jù)本發(fā)明實施例的非限制性的包含可執(zhí)行代碼的計算機(jī)可讀介質(zhì)，所述可執(zhí)行代碼用于配置計算機(jī)系統(tǒng)以便執(zhí)行上述針對在圖像內(nèi)復(fù)雜對象的級聯(lián)分類器輔助的搜索。
[0089]本發(fā)明實施例通過組合在各像素塊中被識別出的對象部分來識別完整對象。
[0090]應(yīng)當(dāng)理解的是，根據(jù)特定的實施例，可以基于任何數(shù)量的已被成功識別的對象部分來擴(kuò)展搜索區(qū)域。還應(yīng)當(dāng)進(jìn)一步理解的是，如圓形、三角形、多邊形搜索窗口這樣的搜索，都處于本發(fā)明的范圍內(nèi)。
[0091]盡管在此已經(jīng)闡述和說明了本發(fā)明的某些特征，但現(xiàn)在很多修改、替代、變化和等效形式將很容易被本領(lǐng)域的那些普通技術(shù)人員想到。從而應(yīng)當(dāng)理解的是，所附權(quán)利要求旨在覆蓋落入本發(fā)明的真實精神內(nèi)的所有這樣的修改和變化。
【權(quán)利要求】
1.一種用于在查詢圖像中識別復(fù)雜對象的方法，所述方法包括: 執(zhí)行啟用計算機(jī)的步驟，所述步驟包括: 使用分類器的級聯(lián)處理來自所述查詢圖像的至少一個像素塊，所述級聯(lián)中的每個分類器都被配置為識別表示了所述復(fù)雜對象的一部分的特點(diǎn)的至少一個判別特征，其中所述級聯(lián)中每個相繼的分類器識別的判別特征的數(shù)量大于由所述級聯(lián)中的先前分類器識別的判別特征的數(shù)量；以及 在所述級聯(lián)中的最后一個分類器已經(jīng)識別出區(qū)別特征后，從所述查詢圖像中選擇另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分和另外的部分之間的已知位置關(guān)系。
2.如權(quán)利要求1的方法，其中，所述已知位置關(guān)系從樣本圖像習(xí)得。
3.如權(quán)利要求1的方法，其中，所述已知位置關(guān)系是人體測量學(xué)關(guān)系。
4.如權(quán)利要求1的方法，進(jìn)一步包括:在所述級聯(lián)的最后一個分類器已經(jīng)識別出第二部分的區(qū)別特征后，從所述查詢圖像中選擇第二另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分、所述第二部分與第三另外的部分之間的已知位置關(guān)系。
5.如權(quán)利要求1的方法，進(jìn)一步包括識別樣本復(fù)雜圖像的一部分的至少一個判別特征，所述判別特征表示了所述復(fù)雜對象的所述部分的特點(diǎn)。
6.如權(quán)利要求1的方法，進(jìn)一步包括按隨機(jī)原則選擇另外的像素塊。
7.如權(quán)利要求1的方法，進(jìn)一步包括:當(dāng)選擇未來的像素塊時，將搜索的像素塊指定成被放棄，所述搜索的像素塊被確定為缺乏表示了所述復(fù)雜對象的一部分的特點(diǎn)的判別特征。
8.—種在查詢圖像中識別復(fù)雜對象的系統(tǒng)，所述系統(tǒng)包括: 處理器，所述處理器被配置為: 使用分類器的級聯(lián)來處理所述查詢圖像中的至少一個像素塊，所述級聯(lián)中的每個分類器被配置為識別表示了所述復(fù)雜對象的一部分的特點(diǎn)的至少一個判別特征，其中，所述級聯(lián)中每個相繼的分類器使用的判別特征的數(shù)量大于由所述級聯(lián)中的先前分類器使用的判別特征的數(shù)量；以及 在所述級聯(lián)的最后一個分類器已經(jīng)識別出區(qū)別特征后，從所述查詢圖像中選擇另外的像素塊用于處理，所述選擇是基于所述復(fù)雜對象的所述部分和另外的部分之間的已知位置關(guān)系。
9.如權(quán)利要求8的系統(tǒng)，其中，所述已知位置關(guān)系從樣本圖像中習(xí)得。
10.如權(quán)利要求8的系統(tǒng)，其中，所述已知位置關(guān)系是人體測量學(xué)關(guān)系。
【文檔編號】G06K9/62GK103530646SQ201310469453
【公開日】2014年1月22日 申請日期:2013年6月12日 優(yōu)先權(quán)日:2012年6月12日
【發(fā)明者】D·利瓦伊, A·B·希勒爾 申請人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司