特征提取裝置、特征提取程序、以及圖像處理裝置制造方法
【專利摘要】本發(fā)明提供特征提取裝置，該特征提取裝置能夠在抑制物體檢測(cè)精度降低且抑制處理負(fù)荷增加的狀態(tài)下根據(jù)更多的像素生成局部二值模式。該特征提取裝置包括對(duì)關(guān)注像素設(shè)定多個(gè)子區(qū)域的子區(qū)域設(shè)定單元(433)、以及對(duì)每個(gè)關(guān)注像素生成表示與各子區(qū)域之間的像素值比較的局部二值模式的二值模式生成單元(434)，子區(qū)域設(shè)定單元(433)至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為子區(qū)域且該多個(gè)像素包含從關(guān)注像素離開(kāi)的像素，二值模式生成單元(434)對(duì)每個(gè)子區(qū)域計(jì)算代表值（437），生成表示該代表值相對(duì)于關(guān)注像素的像素值的差值（438）是否在規(guī)定閾值以上的局部二值模式（439）。
【專利說(shuō)明】特征提取裝置、特征提取程序、以及圖像處理裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及從圖像數(shù)據(jù)提取圖像特征的特征提取裝置、特征提取程序、以及使用特征提取裝置的圖像處理裝置。
【背景技術(shù)】
[0002]以往，廣泛進(jìn)行從圖像數(shù)據(jù)中提取圖像特征以檢測(cè)或識(shí)別在圖像中包含的物體(以下稱為“物體檢測(cè)”)的處理。作為物體檢測(cè)的一種方法，例如非專利文獻(xiàn)I中記載了使用局部二值模式(LBP)的技術(shù)。
[0003]局部二值模式是對(duì)每個(gè)關(guān)注像素將與該關(guān)注像素的周圍附近的各像素之間的像素值差值進(jìn)行二值化并排列而得到的二值模式。能夠根據(jù)局部二值模式，提取圖像中包含的灰度模式。
[0004]非專利文獻(xiàn)I以及非專利文獻(xiàn)2中記載的技術(shù)(以下稱為“第一以往技術(shù)”)中，對(duì)于作為識(shí)別對(duì)象的圖像(以下稱為“對(duì)象圖像”)的某個(gè)區(qū)域所包含的全部或部分像素計(jì)算局部二值模式。而且，第一以往技術(shù)生成局部二值模式的值的直方圖作為圖像特征。另外，第一以往技術(shù)基于根據(jù)包含規(guī)定物體的圖像和不包含規(guī)定物體的圖像(以下總稱為“學(xué)習(xí)圖像”)同樣地生成的直方圖，生成識(shí)別器并預(yù)先存儲(chǔ)。并且，第一以往技術(shù)使用識(shí)別器評(píng)價(jià)對(duì)象圖像的直方圖，判斷對(duì)象圖像中是否包含規(guī)定物體。
[0005]局部二值模式的直方圖與亮度梯度方向直方圖(HOG:Histograms of OrientedGradients)等圖像特征相比，能夠更高精度地表現(xiàn)紋理的差異和灰度模式，并且能夠以較少的處理負(fù)荷進(jìn)行計(jì)算。因此，第一以往技術(shù)這種使用局部二值模式的物體檢測(cè)可望應(yīng)用于各種領(lǐng)域。
[0006] 作為局部二值模式的運(yùn)算對(duì)象的區(qū)域一般是以關(guān)注像素為中心的3像素X3像素的區(qū)域。然而，根據(jù)圖像種類或作為檢測(cè)對(duì)象的物體的種類不同，更寬地設(shè)定作為該運(yùn)算對(duì)象的區(qū)域，根據(jù)更多的像素生成局部二值模式，從而存在想要使用更寬范圍的特征的共現(xiàn)性的要求。
[0007]因此，例如在專利文獻(xiàn)I中記載了如下的技術(shù)(以下稱為“第二以往技術(shù)”，即，將更寬的5像素X5像素的區(qū)域或只將該區(qū)域的外周部作為運(yùn)算對(duì)象的技術(shù)。根據(jù)這樣的技術(shù)，能夠更寬地設(shè)定作為局部二值模式的運(yùn)算對(duì)象的區(qū)域。
[0008]現(xiàn)有技術(shù)文獻(xiàn)
[0009]專利文獻(xiàn)
[0010]專利文獻(xiàn)1:日本特開(kāi)2009-211179號(hào)公報(bào)
[0011]非專利文獻(xiàn)
[0012]非專利文獻(xiàn)1:Timo Ojala, Matti Pietikainen and Topi Maenpaa^Multiresolution Gray-Scale and Rotation Invariant Texture ClassificationWith Local Binary Patterns〃IEEE，Pattern Analysis and Machine Intelligencevol.24n0.7，pp.971-978，July2002o[0013]非專利文獻(xiàn)2:Xiaoyu Wang, Tony X.Han and Shuicheng Yan，"An HOG-LBP HumanDetector with Partial Occlusion Handling, 〃IEEE International Conference onComputer Vision(ICCV2009)，Kyoto, 2009。

【發(fā)明內(nèi)容】

[0014]發(fā)明要解決的問(wèn)題
[0015]但是，在第二以往技術(shù)中，作為運(yùn)算對(duì)象的區(qū)域越寬，局部二值模式的比特?cái)?shù)越增大。例如，在將上述的3像素X 3像素的區(qū)域作為運(yùn)算對(duì)象的情況下，該比特?cái)?shù)為8比特，相對(duì)于此，在將上述的5像素X5像素的區(qū)域作為運(yùn)算對(duì)象的情況下，即使只使用其外周部，也成為一倍的16比特。若局部二值模式的比特?cái)?shù)增加，則直方圖的維數(shù)增加，識(shí)別器生成和使用識(shí)別器的物體檢測(cè)時(shí)的處理負(fù)荷增加。
[0016]另一方面，如果拉開(kāi)作為運(yùn)算對(duì)象的像素間隔，則能夠抑制局部二值模式的比特?cái)?shù)，但是，相應(yīng)地，物體檢測(cè)的精度降低。
[0017]S卩，第二以往技術(shù)存在若將更寬的區(qū)域作為局部二值模式的運(yùn)算對(duì)象則檢測(cè)精度降低或處理負(fù)荷增加的問(wèn)題。
[0018]本發(fā)明的目的在于，提供能夠在抑制物體檢測(cè)精度降低且抑制處理負(fù)荷增加的狀態(tài)下根據(jù)更多的像素生成局部二值模式的特征提取裝置、特征提取程序、以及圖像處理裝置。
[0019]解決問(wèn)題的方案
[0020]本發(fā)明的特征提取裝置包括:子區(qū)域設(shè)定單元，其對(duì)圖像的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域；以及二值模式生成單元，其對(duì)每個(gè)所述關(guān)注像素，生成利用比特值表示與所設(shè)定的所述多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式，所述子區(qū)域設(shè)定單元至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為所述子區(qū)域，且該多個(gè)像素包含從所述關(guān)注像素離開(kāi)的像素，所述二值模式生成單元對(duì)每個(gè)所述子區(qū)域計(jì)算代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值，生成利用比特值表示該代表值相對(duì)于所述關(guān)注像素的像素值的差值是否在規(guī)定閾值以上的比特?cái)?shù)據(jù)，作為所述局部二值模式。
[0021]本發(fā)明的圖像處理裝置包括:權(quán)利要求1所述的特征提取裝置，其還具有直方圖生成單元，該直方圖生成單元生成表示根據(jù)所述圖像生成的所述局部二值模式的分布的直方圖；以及識(shí)別單元，其使用用于識(shí)別規(guī)定物體的識(shí)別器，根據(jù)由所述特征提取裝置生成的所述直方圖，判斷所述圖像是否包含所述規(guī)定物體。
[0022]本發(fā)明的特征提取程序使計(jì)算機(jī)執(zhí)行以下處理:對(duì)圖像的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域的處理；以及對(duì)每個(gè)所述關(guān)注像素，生成利用比特值表示與所設(shè)定的所述多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式的處理，設(shè)定所述子區(qū)域的處理中，至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為所述子區(qū)域，且該多個(gè)像素包括從所述關(guān)注像素離開(kāi)的像素，生成所述局部二值模式的處理包括:對(duì)每個(gè)所述子區(qū)域計(jì)算代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值的處理；以及生成利用比特值表示該代表值相對(duì)于所述關(guān)注像素的像素值的差值是否在規(guī)定閾值以上的比特?cái)?shù)據(jù)，作為所述局部二值模式的處理。[0023]發(fā)明效果
[0024]根據(jù)本發(fā)明，能夠在抑制物體檢測(cè)精度降低且抑制處理負(fù)荷增加的狀態(tài)下使用更多的像素生成局部二值模式。
【專利附圖】

【附圖說(shuō)明】
[0025]圖1是表示一例本發(fā)明實(shí)施方式I的特征提取裝置的結(jié)構(gòu)的方框圖。
[0026]圖2是表示一例包含本發(fā)明實(shí)施方式2的特征提取裝置的物體檢測(cè)系統(tǒng)的結(jié)構(gòu)的方框圖。
[0027]圖3是表示本發(fā)明實(shí)施方式2的特征提取單元的詳細(xì)結(jié)構(gòu)的方框圖。
[0028]圖4是表示一例本發(fā)明實(shí)施方式2的物體檢測(cè)裝置的動(dòng)作的流程圖。
[0029]圖5是表示一例本發(fā)明實(shí)施方式2中的圖像掃描的情形的示意圖。
[0030]圖6是表示一例本發(fā)明實(shí)施方式2中的附近區(qū)域的移位情形的示意圖。
[0031]圖7是表示一例本發(fā)明實(shí)施方式2中的照相機(jī)的空間頻率特性的曲線圖。
[0032]圖8是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第一例的示意圖。
[0033]圖9是表示直至本發(fā)明實(shí)施方式2中的局部二值模式反映于直方圖為止的處理的一例的概要的示意圖。
[0034]圖10是表不一例本發(fā)明實(shí)施方式2中的直方圖的歸一化情形的圖。
[0035]圖11是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第二例的圖。
[0036]圖12是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第三例的圖。
[0037]圖13是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第四例的圖。
[0038]圖14是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第五例的圖。
[0039]圖15是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第四例以及第五例的性能評(píng)價(jià)的實(shí)驗(yàn)結(jié)果的圖。
[0040]圖16是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第六例的圖。
[0041]圖17是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第七例的圖。
[0042]圖18是表示本發(fā)明實(shí)施方式2中的子區(qū)域配置的第六例以及第七例的性能評(píng)價(jià)的實(shí)驗(yàn)結(jié)果的圖。
[0043]標(biāo)號(hào)說(shuō)明
[0044]10 特征提取裝置
[0045]100物體檢測(cè)系統(tǒng)
[0046]200識(shí)別器學(xué)習(xí)裝置
[0047]210學(xué)習(xí)用數(shù)據(jù)存儲(chǔ)單元
[0048]220特征提取單元
[0049]240 學(xué)習(xí)單元
[0050]300識(shí)別器存儲(chǔ)裝置
[0051]400物體檢測(cè)裝置
[0052]410照相機(jī)
[0053]420圖像輸入單元
[0054]430特征提取單元[0055]431特征提取區(qū)域獲取單元
[0056]432區(qū)域掃描單元
[0057]433子區(qū)域設(shè)定單元
[0058]434二值模式生成單元
[0059]435附近區(qū)域獲取單元
[0060]436子區(qū)域設(shè)定單元
[0061]437區(qū)域代表值計(jì)算單元
[0062]438子區(qū)域差值計(jì)算單元 [0063]439二值模式計(jì)算單元
[0064]440直方圖生成單元
[0065]450識(shí)別單元
【具體實(shí)施方式】
[0066]以下參照附圖對(duì)本發(fā)明的各實(shí)施方式詳細(xì)進(jìn)行說(shuō)明。
[0067](實(shí)施方式I)
[0068]本發(fā)明實(shí)施方式I是一例本發(fā)明的基本形態(tài)。
[0069]圖1是表示一例本實(shí)施方式的特征提取裝置的結(jié)構(gòu)的方框圖。
[0070]在圖1中，特征提取裝置10具有子區(qū)域設(shè)定單元433以及二值模式生成單元434。
[0071]子區(qū)域設(shè)定單元433對(duì)圖像的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域。這時(shí)，子區(qū)域設(shè)定單元433至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為子區(qū)域，該多個(gè)像素包含從關(guān)注像素離開(kāi)的像素。
[0072]二值模式生成單元434對(duì)每個(gè)關(guān)注像素，生成利用比特值表示與所設(shè)定的多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式。這時(shí)，二值模式生成單元434對(duì)每個(gè)子區(qū)域，計(jì)算代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值。而且，二值模式生成單元434生成利用比特值表示該代表值相對(duì)于關(guān)注像素的像素值的差值是否在規(guī)定閾值以上的比特?cái)?shù)據(jù)，作為局部二值模式。
[0073]此外,特征提取裝置10例如可以采用包含CPU(central processing unit,中央處理單元)以及RAM (random access memory,隨機(jī)存取存儲(chǔ)器)等存儲(chǔ)介質(zhì)等的計(jì)算機(jī)的結(jié)構(gòu)。在這種情況下，特征提取裝置10通過(guò)由CPU執(zhí)行存儲(chǔ)的控制程序來(lái)工作。
[0074]這樣的特征提取裝置10能夠在使局部二值模式的運(yùn)算對(duì)象中包含從關(guān)注像素離開(kāi)的像素的同時(shí)，根據(jù)多個(gè)像素的像素值的代表值生成局部二值模式。由此，特征提取裝置10能夠在抑制物體檢測(cè)精度降低且抑制處理負(fù)荷增加的狀態(tài)下使用更多的像素生成局部二值模式。
[0075](實(shí)施方式2)
[0076]本發(fā)明實(shí)施方式2是一例將本發(fā)明適用于物體檢測(cè)系統(tǒng)的情況下的具體的方式。
[0077]首先，說(shuō)明包含本實(shí)施方式的特征提取裝置的物體檢測(cè)系統(tǒng)的結(jié)構(gòu)。
[0078]圖2是表示一例包含本實(shí)施方式的特征提取裝置的物體檢測(cè)系統(tǒng)的結(jié)構(gòu)的方框圖。
[0079]在圖2中，物體檢測(cè)系統(tǒng)100包括識(shí)別器學(xué)習(xí)裝置200、識(shí)別器存儲(chǔ)裝置300、以及物體檢測(cè)裝置400。識(shí)別器學(xué)習(xí)裝置200以及物體檢測(cè)裝置400例如能夠通過(guò)互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)分別與識(shí)別器存儲(chǔ)裝置300連接。
[0080]本實(shí)施方式中，作為識(shí)別器學(xué)習(xí)裝置200使用的機(jī)器學(xué)習(xí)方法的一個(gè)例子，采用Boosting (提升)法。識(shí)別器學(xué)習(xí)裝置200預(yù)先根據(jù)被歸一化為學(xué)習(xí)用的圖像，學(xué)習(xí)用于檢測(cè)作為檢測(cè)對(duì)象的物體(以下稱為“檢測(cè)對(duì)象物體”)的識(shí)別器，將作為學(xué)習(xí)結(jié)果的識(shí)別器存儲(chǔ)到識(shí)別器存儲(chǔ)裝置300中。
[0081]識(shí)別器學(xué)習(xí)裝置200包括學(xué)習(xí)用數(shù)據(jù)存儲(chǔ)單元210、包含本發(fā)明的特征提取裝置的特征提取單元220、以及學(xué)習(xí)單元240。
[0082]學(xué)習(xí)用數(shù)據(jù)存儲(chǔ)單元210預(yù)先存儲(chǔ)包含檢測(cè)對(duì)象物體的多個(gè)學(xué)習(xí)圖像(正樣本)、不包含檢測(cè)對(duì)象物體的多個(gè)學(xué)習(xí)圖像(負(fù)樣本)、以及特征提取區(qū)域信息的候選。
[0083]特征提取單元220對(duì)學(xué)習(xí)用數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的每個(gè)學(xué)習(xí)圖像獲取特征提取區(qū)域，并從所獲取的特征提取區(qū)域提取圖像特征。
[0084]所謂特征提取區(qū)域，是作為圖像特征的提取對(duì)象的圖像區(qū)域。例如，在檢測(cè)對(duì)象是人物的臉部的情況下，特征提取區(qū)域可以是包含人的臉部器官例如眼或鼻等的隨機(jī)配置的多個(gè)圖像區(qū)域。另外，在檢測(cè)對(duì)象是人的全身的情況下，特征提取區(qū)域例如可以是包含頭部、胳膊、腳等的隨機(jī)配置的多個(gè)圖像區(qū)域。
[0085]特征提取單元220對(duì)每個(gè)特征提取區(qū)域，提取其圖像特征，并輸出到學(xué)習(xí)單元240。更具體而言，特征提取單元220首先對(duì)特征提取區(qū)域的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素生成局部二值模式。而且，特征提取單元220生成表示所生成的局部二值模式的分布的直方圖(以下簡(jiǎn)稱為“直方圖”)，作為該特征提取區(qū)域的圖像特征。
[0086]所謂局部二值模式，是利用比特值表示關(guān)注像素與多個(gè)子區(qū)域中的每個(gè)子區(qū)域之間的像素值比較的信息。關(guān)于子區(qū)域的設(shè)定方法、以及關(guān)注像素與各子區(qū)域之間的像素值比較方法，將后述。
[0087]學(xué)習(xí)單元240生成一個(gè)或多個(gè)識(shí)別器，該一個(gè)或多個(gè)識(shí)別器用于基于由正樣本得到的直方圖群、和由負(fù)樣本得到的直方圖群，區(qū)分包含檢測(cè)對(duì)象物體的圖像和不包含檢測(cè)對(duì)象物體的圖像。即，學(xué)習(xí)單元240生成特征提取區(qū)域信息與對(duì)應(yīng)于特征提取區(qū)域信息的識(shí)別信息，作為識(shí)別器。并且，學(xué)習(xí)單元240將所生成的識(shí)別信息與特征提取區(qū)域信息一起發(fā)送給識(shí)別器存儲(chǔ)裝置300，與特征提取區(qū)域信息組合而進(jìn)行存儲(chǔ)。
[0088]所謂特征提取區(qū)域信息，是表示特征提取區(qū)域的范圍的信息，例如包含特征提取區(qū)域的位置以及尺寸。所謂識(shí)別信息，是用于對(duì)對(duì)象圖像的特征提取區(qū)域的直方圖進(jìn)行評(píng)價(jià)，判定對(duì)象圖像中是否包含規(guī)定物體的信息。
[0089]物體檢測(cè)裝置400獲取識(shí)別器存儲(chǔ)裝置300中存儲(chǔ)的識(shí)別器，進(jìn)行對(duì)對(duì)象圖像的物體檢測(cè)。
[0090]物體檢測(cè)裝置400包括照相機(jī)410、圖像輸入單元420、包含本發(fā)明的特征提取裝置的特征提取單元430、以及識(shí)別單元450。
[0091]照相機(jī)410進(jìn)行對(duì)象圖像的拍攝，將對(duì)象圖像輸出到圖像輸入單元420。
[0092]圖像輸入單元420用尺寸預(yù)先決定了的窗掃描對(duì)象圖像，將掃描出的各個(gè)圖像區(qū)域(以下稱為“窗區(qū)域”)輸出到特征提取單元430。
[0093]特征提取單元430對(duì)每個(gè)窗區(qū)域，獲取該窗區(qū)域中的、識(shí)別器存儲(chǔ)裝置中存儲(chǔ)的特征提取區(qū)域信息所示的范圍作為特征提取區(qū)域。
[0094]而且，特征提取單元430對(duì)每個(gè)特征提取區(qū)域提取其圖像特征，并輸出到識(shí)別單元450。更具體而言，特征提取單元430對(duì)特征提取區(qū)域的每個(gè)像素生成局部二值模式，并生成局部二值模式的直方圖，作為其特征提取區(qū)域的圖像特征。
[0095]此外，特征提取單元430對(duì)窗區(qū)域進(jìn)行的處理與上述的識(shí)別器學(xué)習(xí)裝置200中的特征提取單元220對(duì)學(xué)習(xí)圖像進(jìn)行的處理類似。即，識(shí)別器學(xué)習(xí)裝置200中的特征提取單元220例如獲取作為候選區(qū)域預(yù)先準(zhǔn)備的大量區(qū)域的全部區(qū)域，作為特征提取區(qū)域。相對(duì)于此，特征提取單元430從識(shí)別器存儲(chǔ)裝置300只獲取已經(jīng)由學(xué)習(xí)單元240選擇的特征提取區(qū)域信息所示的區(qū)域，作為特征提取區(qū)域。因此，以下，適當(dāng)?shù)?，在說(shuō)明一方的結(jié)構(gòu)以及動(dòng)作的基礎(chǔ)上，省略另一方的結(jié)構(gòu)以及動(dòng)作的說(shuō)明。
[0096]圖3是表示特征提取單元430的詳細(xì)結(jié)構(gòu)的方框圖。
[0097]在圖3中，特征提取單元430包括特征提取區(qū)域獲取單元431、區(qū)域掃描單元432、子區(qū)域設(shè)定單元433、二值模式生成單元434、以及直方圖生成單元440。
[0098]特征提取區(qū)域獲取單元431對(duì)從圖像輸入單元420輸入的每個(gè)窗區(qū)域，獲取該窗區(qū)域中的、識(shí)別器存儲(chǔ)裝置300中存儲(chǔ)的特征提取區(qū)域信息所示的范圍，將其作為特征提取區(qū)域。而且，將所獲取的特征提取區(qū)域輸出到區(qū)域掃描單元432。
[0099]區(qū)域掃描單元432以預(yù)先決定的間隔掃描從特征提取區(qū)域獲取單元431輸入的特征提取區(qū)域，并將掃描出的像素作為關(guān)注像素輸出到子區(qū)域設(shè)定單元433。
[0100]子區(qū)域設(shè)定單元433對(duì)從區(qū)域掃描單元432輸入的特征提取區(qū)域的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域。
[0101]子區(qū)域設(shè)定單元433包括附近區(qū)域獲取單元435以及子區(qū)域設(shè)定單元436。
[0102]附近區(qū)域獲取單元435對(duì)從區(qū)域掃描單元432輸入的關(guān)注像素，設(shè)定以關(guān)注像素為中心的附近區(qū)域，并獲取各像素的像素值。這時(shí)，附近區(qū)域獲取單元435將由包含從關(guān)注像素離開(kāi)的像素的多個(gè)像素構(gòu)成的區(qū)域設(shè)定為附近區(qū)域。而且，附近區(qū)域獲取單元435對(duì)每個(gè)關(guān)注像素，將所設(shè)定的附近區(qū)域和所獲取的多個(gè)像素值輸出到子區(qū)域設(shè)定單元436。
[0103]子區(qū)域設(shè)定單元436根據(jù)從附近區(qū)域獲取單元435輸入的附近區(qū)域設(shè)定多個(gè)子區(qū)域。而且，子區(qū)域設(shè)定單元436對(duì)每個(gè)關(guān)注像素，將關(guān)注像素的像素值(以下稱為“關(guān)注像素值”)和各子區(qū)域的各像素的像素值輸出到二值模式生成單元434。這時(shí)，子區(qū)域設(shè)定單元436設(shè)定至少一個(gè)由包含從關(guān)注像素離開(kāi)的像素的多個(gè)像素構(gòu)成的子區(qū)域。此外，這時(shí)，子區(qū)域設(shè)定單元436根據(jù)照相機(jī)410的空間頻率特性設(shè)定子區(qū)域。對(duì)于基于照相機(jī)410的空間頻率特性的子區(qū)域設(shè)定方法，將在后面描述。
[0104]二值模式生成單元434對(duì)每個(gè)關(guān)注像素生成利用比特值表示與所設(shè)定的多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式。
[0105]二值模式生成單元434包括區(qū)域代表值計(jì)算單元437、子區(qū)域差值計(jì)算單元438、以及二值模式計(jì)算單元439。
[0106]區(qū)域代表值計(jì)算單元437對(duì)每個(gè)子區(qū)域計(jì)算代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值(以下稱為“區(qū)域代表值”)。而且，區(qū)域代表值計(jì)算單元437對(duì)每個(gè)子區(qū)域?qū)㈥P(guān)注像素值和計(jì)算出的區(qū)域代表值輸出到子區(qū)域差值計(jì)算單元438。
[0107]在本實(shí)施方式中，對(duì)于由一個(gè)像素構(gòu)成的子區(qū)域，區(qū)域代表值計(jì)算單元437將該像素的像素值設(shè)為區(qū)域代表值，對(duì)于由多個(gè)像素構(gòu)成的子區(qū)域，區(qū)域代表值計(jì)算單元437將該多個(gè)像素的像素值的平均設(shè)為區(qū)域代表值。
[0108]子區(qū)域差值計(jì)算單元438對(duì)每個(gè)關(guān)注像素，計(jì)算從區(qū)域代表值計(jì)算單元437輸入的各區(qū)域代表值相對(duì)于關(guān)注像素值的差值。而且，子區(qū)域差值計(jì)算單元438對(duì)每個(gè)關(guān)注像素，將計(jì)算出的各相鄰子區(qū)域的差值輸出到二值模式計(jì)算單元439。
[0109]二值模式計(jì)算單元439對(duì)每個(gè)關(guān)注像素，判斷從子區(qū)域差值計(jì)算單元438輸入的各子區(qū)域的差值是否在規(guī)定閾值以上。而且，對(duì)每個(gè)關(guān)注像素，生成表示各子區(qū)域的差值是否在規(guī)定閾值以上的局部二值模式，并輸出到直方圖生成單元440。
[0110]直方圖生成單元440對(duì)每個(gè)特征提取區(qū)域，根據(jù)從二值模式計(jì)算單元439輸入的局部二值模式，生成表示特征提取區(qū)域的局部二值模式的分布的直方圖。而且，直方圖生成單元440對(duì)每個(gè)特征提取區(qū)域，將所生成的直方圖輸出到圖2的識(shí)別單元450。
[0111]圖2的識(shí)別單元450獲取識(shí)別器存儲(chǔ)裝置300存儲(chǔ)的識(shí)別信息。識(shí)別單元450使用所獲取的識(shí)別信息，根據(jù)從特征提取單元430輸入的直方圖，計(jì)算對(duì)象圖像中是否包含檢測(cè)對(duì)象物體的器官的得分。而且，識(shí)別單元450根據(jù)識(shí)別器存儲(chǔ)裝置300存儲(chǔ)的全部特征提取區(qū)域的得分計(jì)算總得分，利用所述總得分判斷對(duì)象圖像中是否包含檢測(cè)對(duì)象物體。而且，識(shí)別單元450將判斷結(jié)果例如通過(guò)圖像表示裝置或語(yǔ)音輸出裝置(未圖示)通知給用戶。
[0112]此外，識(shí)別器學(xué)習(xí)裝置200以及物體檢測(cè)裝置400例如可以分別采用包括CPU以及RAM等存儲(chǔ)介質(zhì)等的計(jì)算機(jī)結(jié)構(gòu)。在這種情況下，識(shí)別器學(xué)習(xí)裝置200以及物體檢測(cè)裝置400通過(guò)CPU執(zhí)行存儲(chǔ)的控制程序分別進(jìn)行工作。另外，物體檢測(cè)裝置400也可以是只進(jìn)行其計(jì)算的專用芯片。另外，識(shí)別器存儲(chǔ)裝置300例如是包含半導(dǎo)體存儲(chǔ)器或硬盤等存儲(chǔ)介質(zhì)的網(wǎng)絡(luò)服務(wù)器。
[0113]為了高精度地提取學(xué)習(xí)圖像的特征或?qū)ο髨D像的特征，希望將更寬的區(qū)域、即更多的像素作為局部二值模式的運(yùn)算對(duì)象。然而，如上所述，在只增加附近區(qū)域的像素?cái)?shù)的情況下，處理負(fù)荷變高，并且含有噪聲的可能性變高，檢測(cè)精度有可能降低。
[0114]因此，物體檢測(cè)系統(tǒng)100設(shè)定由多個(gè)像素構(gòu)成的子區(qū)域，對(duì)子區(qū)域的像素值進(jìn)行統(tǒng)計(jì)處理，來(lái)計(jì)算區(qū)域代表值。而且，物體檢測(cè)系統(tǒng)100將區(qū)域代表值用于特征提取中。由此，物體檢測(cè)系統(tǒng)100不只能夠減少局部二值模式的比特?cái)?shù)，還能夠降低二值模式中的以像素為單位的噪聲。在使用這樣的二值模式的直方圖進(jìn)行物體檢測(cè)的情況下，能夠削減運(yùn)算成本，能夠進(jìn)行對(duì)噪聲具有魯棒性的物體檢測(cè)。
[0115]因此，物體檢測(cè)系統(tǒng)100能夠在抑制物體檢測(cè)精度降低且抑制處理負(fù)荷增加的狀態(tài)下根據(jù)更多的像素生成局部二值模式。即，物體檢測(cè)系統(tǒng)100在對(duì)圖像進(jìn)行物體檢測(cè)時(shí)，對(duì)于在低照度等環(huán)境下拍攝到的噪聲多的圖像，可以使用能夠進(jìn)行高速且魯棒性好的物體檢測(cè)的圖像特征。
[0116]以上結(jié)束對(duì)物體檢測(cè)系統(tǒng)100的結(jié)構(gòu)的說(shuō)明。
[0117]下面，對(duì)包含本發(fā)明的特征提取裝置的物體檢測(cè)裝置400的動(dòng)作進(jìn)行說(shuō)明。此外，識(shí)別器學(xué)習(xí)裝置200中的特征提取單元220的動(dòng)作與物體檢測(cè)裝置400中的特征提取單元430的動(dòng)作相同，因此省略其說(shuō)明。
[0118]圖4是表示一例物體檢測(cè)裝置400的動(dòng)作的流程圖。[0119]首先，在步驟SllOO中，圖像輸入單元420用尺寸預(yù)先決定了的窗掃描對(duì)象圖像。
[0120]圖5表不圖像掃描的情形的一例的不意圖。
[0121]如圖5所示，圖像輸入單元420用尺寸預(yù)先決定了的窗511掃描對(duì)象圖像510的全體，從各位置獲取窗區(qū)域512。窗511的尺寸例如是64像素X 128像素。
[0122]接著，在圖4的步驟S1200中，圖3的特征提取單元430的特征提取區(qū)域獲取單元431獲取一個(gè)通過(guò)識(shí)別器學(xué)習(xí)裝置200的學(xué)習(xí)得到的、并存儲(chǔ)在識(shí)別器存儲(chǔ)裝置中的特征提取區(qū)域的信息(位置、尺寸等)。特征提取區(qū)域獲取單元431例如如圖5所示那樣獲取包含人的頭部的矩形狀的區(qū)域作為特征提取區(qū)域520。
[0123]而且，在步驟S1300中，特征提取單元430的區(qū)域掃描單元432選擇特征提取區(qū)域520的一個(gè)像素作為關(guān)注像素。
[0124]接著，在步驟S1400中，附近區(qū)域獲取單元435設(shè)定以在步驟S1300中掃描出的關(guān)注像素為中心的附近區(qū)域。區(qū)域掃描單元432在每次通過(guò)后述的步驟S1900的判斷處理返回到步驟S1300時(shí)，選擇未選擇的像素，其結(jié)果是使附近區(qū)域逐漸移位。
[0125]圖6是表示附近區(qū)域的移位情形的一例的示意圖。
[0126]如圖6所示，區(qū)域掃描單元432通過(guò)在特征提取區(qū)域520的全體使關(guān)注像素521移位，來(lái)使以關(guān)注像素521為中心的附近區(qū)域522逐漸移位。
[0127]在本實(shí)施方式中，如圖6所示，附近區(qū)域獲取單元435對(duì)每個(gè)關(guān)注像素521設(shè)定以關(guān)注像素521為中心的11像素X 11像素的區(qū)域，作為附近區(qū)域522。S卩，附近區(qū)域獲取單元435設(shè)定121個(gè)像素作為附近區(qū)域。
[0128]接著，在圖4的步驟S1500中，特征提取單元430的子區(qū)域設(shè)定單元436從關(guān)注像素的附近區(qū)域設(shè)定子區(qū)域。這時(shí)，子區(qū)域設(shè)定單元436根據(jù)照相機(jī)410的空間頻率特性設(shè)定子區(qū)域。
[0129]圖7是表示一例照相機(jī)410的空間頻率特性的曲線圖。在圖7中，橫軸表示空間頻率，縱軸表示從照相機(jī)410輸出的信號(hào)(對(duì)比度的再現(xiàn)率)。
[0130]如圖7所示，在照相機(jī)410的輸出523中，較高的空間頻率被濾掉。即，照相機(jī)410的透鏡具有與低通濾波器相似的MTF (Modulation Transfer Function,調(diào)制傳遞函數(shù))特性。根據(jù)該特性，照相機(jī)410拍攝到的圖像的像素值在相鄰的像素間平滑地變化，在比與在照相機(jī)410中可再現(xiàn)的空間頻率的最大值相當(dāng)?shù)南袼財(cái)?shù)短的長(zhǎng)度，沒(méi)有較大的亮度值的變化。
[0131]因此，子區(qū)域設(shè)定單元436設(shè)定子區(qū)域，以使得子區(qū)域的尺寸為能夠視為其長(zhǎng)度方向中的全部像素值均等地接近的大小(以下稱為“等像素值長(zhǎng)”)。在此，子區(qū)域的尺寸，指的是子區(qū)域的寬度、長(zhǎng)度、與關(guān)注像素之間的間隔、以及與其他子區(qū)域之間的間隔中的至少一者。由此，子區(qū)域設(shè)定單元436能夠設(shè)定使區(qū)域代表值高精度地反映附近區(qū)域的特征那樣的子區(qū)域。例如，在兩個(gè)像素的間隔(像素?cái)?shù))為與空間頻率的最大值的倒數(shù)相當(dāng)?shù)南袼財(cái)?shù)以下的情況下，能夠?qū)⒃搩蓚€(gè)像素設(shè)為同樣的亮度進(jìn)行處理。即，在多個(gè)像素彼此的間隔為與空間頻率的最大值的倒數(shù)相當(dāng)?shù)南袼財(cái)?shù)以下的情況下，由該多個(gè)像素構(gòu)成子區(qū)域。
[0132]根據(jù)照相機(jī)的種類不同，MTF特性也不同。另外，對(duì)于通常的照相機(jī)，為了提高分辨率，較高地設(shè)定對(duì)于成像元件的空間頻率。這時(shí)，不用為了在對(duì)細(xì)致的條紋進(jìn)行拍攝時(shí)也不產(chǎn)生混疊噪聲引起的偽條紋圖形，而將空間頻率設(shè)定為成像元件的像素的間隔倒數(shù)以上。即，在由照相機(jī)410拍攝到的圖像中相鄰的間隔2到3個(gè)像素的像素彼此的像素值與照相機(jī)的種類無(wú)關(guān)而為相同程度。因此，希望將子區(qū)域的尺寸設(shè)定為2個(gè)像素或3個(gè)像素。這是因?yàn)?，在相鄰?個(gè)像素或3個(gè)像素之間，像素值之差較小，將它們作為一個(gè)信息進(jìn)行處理的情況下，信息量的損失較少，能夠抑制特征提取的運(yùn)算量以及特征維數(shù)。此外，在照相機(jī)410的MTF特性為低頻的窄帶低通濾波器特性的情況(即，急劇衰減的情況)下，也可以將子區(qū)域的尺寸設(shè)為4像素以上。
[0133]圖8是表示一例子區(qū)域配置的示意圖。
[0134]如圖8所示，在本實(shí)施方式中，子區(qū)域設(shè)定單元436將附近區(qū)域522中的、與關(guān)注像素521相鄰的8個(gè)像素(用編號(hào)11~18表示)的每個(gè)像素設(shè)定為子區(qū)域524。另外，子區(qū)域設(shè)定單元436將如下的8個(gè)區(qū)域(用編號(hào)21~28表示)的每個(gè)區(qū)域設(shè)定為子區(qū)域524,該8個(gè)區(qū)域?yàn)?將與關(guān)注像素521間隔2個(gè)像素的24個(gè)像素組分成每3個(gè)像素為一個(gè)區(qū)域而得到的8個(gè)區(qū)域。進(jìn)而，子區(qū)域設(shè)定單元436將如下的8個(gè)區(qū)域(用編號(hào)31~38表示)的每個(gè)區(qū)域設(shè)定為子區(qū)域524，該8個(gè)區(qū)域?yàn)椋c關(guān)注像素521間隔4個(gè)像素的40個(gè)像素組中的、相對(duì)于關(guān)注像素521為等角度間隔且每3個(gè)像素構(gòu)成一個(gè)區(qū)域而得到的8個(gè)區(qū)域。即，子區(qū)域設(shè)定單元436將距關(guān)注像素的像素距離不同的8個(gè)X3組的區(qū)域設(shè)定為子區(qū)域524。
[0135]接著，在圖4的步驟S1600中，區(qū)域代表值計(jì)算單元437對(duì)每個(gè)子區(qū)域組求子區(qū)域的像素值平均，作為區(qū)域代表值。接著，子區(qū)域差值計(jì)算單元438計(jì)算各區(qū)域代表值與關(guān)注像素之間的差值。
[0136]在本實(shí)施方式中，將距關(guān)注像素的距離不同的8個(gè)X3組的區(qū)域設(shè)定為子區(qū)域。因此，區(qū)域代表值計(jì)算單元437對(duì)每個(gè)關(guān)注像素，生成3組8個(gè)差值的集合。
[0137]而且，在步驟S1700`中，二值模式計(jì)算單元435通過(guò)與規(guī)定閾值比較將差值二值化，來(lái)生成局部二值模式。
[0138]在本實(shí)施方式中，二值模式計(jì)算單元435將“O”設(shè)為上述的規(guī)定閾值。而且，二值模式計(jì)算單元435對(duì)差值為規(guī)定閾值以上的子區(qū)域計(jì)算出值為“1”，對(duì)差值小于規(guī)定閾值的子區(qū)域，計(jì)算出值為“O”。
[0139]即，例如用以下的式(I)表示局部二值模式LBPP，K。這里，g。為關(guān)注像素的像素值，P為子區(qū)域的數(shù)量(本實(shí)施方式中為8)。另外，P為子區(qū)域的順序，gp為第P個(gè)子區(qū)域的像素平均值(即代表值)，R為與子區(qū)域和關(guān)注像素的距離相當(dāng)?shù)南袼財(cái)?shù)(本實(shí)施方式中為1、
3、3)。
【權(quán)利要求】
1.特征提取裝置，包括: 子區(qū)域設(shè)定單元，對(duì)圖像的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域；以及 二值模式生成單元，對(duì)每個(gè)所述關(guān)注像素，生成利用比特值表示與所設(shè)定的所述多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式， 所述子區(qū)域設(shè)定單元至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為所述子區(qū)域，且該多個(gè)像素包含從所述關(guān)注像素離開(kāi)的像素， 所述二值模式生成單元對(duì)每個(gè)所述子區(qū)域計(jì)算代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值，生成利用比特值表示該代表值相對(duì)于所述關(guān)注像素的像素值的差值是否在規(guī)定閾值以上的比特?cái)?shù)據(jù)，作為所述局部二值模式。
2.如權(quán)利要求1所述的特征提取裝置， 所述圖像是利用照相機(jī)得到的拍攝圖像， 所述子區(qū)域設(shè)定單元根據(jù)所述照相機(jī)的空間頻率特性設(shè)定所述子區(qū)域。
3.如權(quán)利要求2所述的特征提取裝置， 所述子區(qū)域設(shè)定單元設(shè)定所述子區(qū)域，以使得所述子區(qū)域的寬度、長(zhǎng)度、與所述關(guān)注像素之間的間隔、以及與其他所述子區(qū)域之間的間隔中的至少一者，為從所述照相機(jī)的空間頻率特性來(lái)看能夠視為其長(zhǎng)度方向上的全部像素值均等地接近的大小。
4.如權(quán)利要求1所述的特征提取裝置， 所述子區(qū)域設(shè)定單元以距所述關(guān)注像素為等距離的方式設(shè)定所述多個(gè)子區(qū)域。
5.如權(quán)利要求1所述的特征提取裝置， 所述子區(qū)域設(shè)定單元以相互不重疊的方式設(shè)定所述多個(gè)子區(qū)域。
6.如權(quán)利要求1所述的特征提取裝置， 所述子區(qū)域設(shè)定單元以相互離開(kāi)的方式設(shè)定所述多個(gè)子區(qū)域。
7.如權(quán)利要求1所述的特征提取裝置， 所述子區(qū)域設(shè)定單元以相對(duì)于所述關(guān)注像素為等角度間隔的方式設(shè)定所述多個(gè)子區(qū)域。
8.如權(quán)利要求1所述的特征提取裝置， 所述子區(qū)域設(shè)定單元至少將與所述關(guān)注像素相鄰的多個(gè)像素的每個(gè)像素、以及由從所述關(guān)注像素分別離開(kāi)兩個(gè)像素以上的距離的多個(gè)像素構(gòu)成的區(qū)域，設(shè)定為所述子區(qū)域。
9.圖像處理裝置，包括: 權(quán)利要求1所述的特征提取裝置，其還具有直方圖生成單元，該直方圖生成單元生成表示根據(jù)所述圖像生成的所述局部二值模式的分布的直方圖；以及 識(shí)別單元，其使用用于識(shí)別規(guī)定物體的識(shí)別器，根據(jù)由所述特征提取裝置生成的所述直方圖，判斷所述圖像是否包含所述規(guī)定物體。
10.特征提取程序， 使計(jì)算機(jī)執(zhí)行以下處理: 對(duì)圖像的全部或部分像素中的每個(gè)像素，以該像素為關(guān)注像素，對(duì)該關(guān)注像素設(shè)定多個(gè)子區(qū)域的處理；以及 對(duì)每個(gè)所述關(guān)注像素，生成利用比特值表示與所設(shè)定的所述多個(gè)子區(qū)域的每個(gè)子區(qū)域之間的像素值比較的局部二值模式的處理， 設(shè)定所述子區(qū)域的處理中，至少將由多個(gè)像素構(gòu)成的區(qū)域設(shè)定為所述子區(qū)域，且該多個(gè)像素包含從所述關(guān)注像素離開(kāi)的像素， 生成所述局部二值模式的處理包括: 對(duì)每個(gè)所述子區(qū)域計(jì)算 代表構(gòu)成該子區(qū)域的一個(gè)或多個(gè)像素的像素值組的代表值的處理；以及 生成利用比特值表示該代表值相對(duì)于所述關(guān)注像素的像素值的差值是否在規(guī)定閾值以上的比特?cái)?shù)據(jù)，作為所述局部二值模式的處理。
【文檔編號(hào)】G06T7/00GK103733224SQ201280038798
【公開(kāi)日】2014年4月16日 申請(qǐng)日期:2012年7月31日 優(yōu)先權(quán)日:2011年8月11日
【發(fā)明者】曹蕓蕓, 西村洋文, S.普拉納塔, Z.H.牛 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社