基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法
【專利摘要】本發(fā)明涉及一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，包括以下步驟：1)初步描述場(chǎng)景圖像的對(duì)象特征；2)根據(jù)場(chǎng)景圖像的對(duì)象特征建立空間層次模型，該空間層次模型包括場(chǎng)景層、對(duì)象層、特征層，每個(gè)層之間通過條件概率關(guān)系進(jìn)行關(guān)聯(lián)，由特征層對(duì)對(duì)象層進(jìn)行概率預(yù)測(cè)，由對(duì)象層對(duì)場(chǎng)景層進(jìn)行概率預(yù)測(cè)，由場(chǎng)景層對(duì)場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)；3)建立場(chǎng)景圖像的時(shí)間序列模型；4)通過貝葉斯網(wǎng)絡(luò)對(duì)場(chǎng)景圖像的空間層次模型和時(shí)間序列模型進(jìn)行結(jié)合，獲得識(shí)別模型，由識(shí)別模型對(duì)下一時(shí)刻的場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)，并根據(jù)預(yù)測(cè)的場(chǎng)景圖像進(jìn)行場(chǎng)景識(shí)別；5)對(duì)識(shí)別模型進(jìn)行在線更新。與現(xiàn)有技術(shù)相比，本發(fā)明魯棒性好，可以適應(yīng)復(fù)雜環(huán)境。
【專利說明】基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種場(chǎng)景識(shí)別方法，尤其是涉及一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法。
【背景技術(shù)】
[0002]移動(dòng)機(jī)器人的自主作業(yè)將極大的依賴于其對(duì)環(huán)境的感知和理解，其中核心問題之一是對(duì)場(chǎng)景的識(shí)別?？臻g和時(shí)間是場(chǎng)景識(shí)別任務(wù)中兩種重要信息來(lái)源。目前的一些研究已經(jīng)為基于空間或者時(shí)間信息的場(chǎng)景識(shí)別方法提供了理論基礎(chǔ)。不過這些工作大多數(shù)只是單獨(dú)考慮一個(gè)方面的信息，目前還沒有一個(gè)完整的用于移動(dòng)機(jī)器人場(chǎng)景識(shí)別時(shí)間與空間信息融合的系統(tǒng)框架。另外，目前大多數(shù)場(chǎng)景識(shí)別方法都假設(shè)有限和靜態(tài)的場(chǎng)景類型。這些方法被限制用于預(yù)定義的或者已知的環(huán)境，對(duì)于動(dòng)態(tài)和未知的環(huán)境，需要場(chǎng)景識(shí)別模型能夠在運(yùn)行中根據(jù)環(huán)境更新系統(tǒng)參數(shù)，甚至是模型結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，該方法可以提高機(jī)器人的適應(yīng)動(dòng)態(tài)復(fù)雜環(huán)境的能力以
及魯棒性。
[0004]本發(fā)明的目的可以通過以下技術(shù)方案來(lái)實(shí)現(xiàn):
[0005]一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，包括以下步驟:
[0006]I)對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行特征提取，初步描述場(chǎng)景圖像的對(duì)象特征；
[0007]2)根據(jù)場(chǎng)景圖像的對(duì)象特征建立空間層次模型，該空間層次模型包括場(chǎng)景層、對(duì)象層、特征層，每個(gè)層之間通過條件概率關(guān)系進(jìn)行關(guān)聯(lián)，由特征層對(duì)對(duì)象層進(jìn)行概率預(yù)測(cè)，由對(duì)象層對(duì)場(chǎng)景層進(jìn)行概率預(yù)測(cè)，由場(chǎng)景層對(duì)場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)；
[0008]3)建立場(chǎng)景圖像的時(shí)間序列模型；
[0009]4)通過貝葉斯網(wǎng)絡(luò)對(duì)場(chǎng)景圖像的空間層次模型和時(shí)間序列模型進(jìn)行結(jié)合，獲得識(shí)別模型，由識(shí)別模型對(duì)下一時(shí)刻的場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)，并根據(jù)預(yù)測(cè)的場(chǎng)景圖像進(jìn)行場(chǎng)景識(shí)別。
[0010]5)對(duì)識(shí)別模型進(jìn)行在線更新。
[0011]步驟I)中對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行初步描述的方式包括場(chǎng)景特征提取與描述、物體識(shí)別以及區(qū)域分割。
[0012]步驟I)中場(chǎng)景圖像的對(duì)象特征包括全局特征和局部特征，其中局部特征包括外觀特征和輪廓特征。
[0013]外觀特征的描述采用SIFT算法，輪廓特征的描述采用Canny算法結(jié)合梯度方向統(tǒng)計(jì)算法。
[0014]步驟2)中場(chǎng)景的空間關(guān)系信息用層次化概率模型來(lái)描述。
[0015]步驟3)中時(shí)間序列模型通過隱馬爾可夫模型來(lái)進(jìn)行描述。[0016]步驟4)通過概率方式實(shí)現(xiàn)空間層次模型和時(shí)間序列模型進(jìn)行結(jié)合與場(chǎng)景識(shí)別。[0017]步驟5)中以預(yù)測(cè)到的場(chǎng)景圖像作為訓(xùn)練樣本，對(duì)識(shí)別模型進(jìn)行自適應(yīng)學(xué)習(xí)，在線更新并優(yōu)化識(shí)別模型，其更新策略受人工記憶系統(tǒng)控制。
[0018]與現(xiàn)有技術(shù)相比，本發(fā)明通過同時(shí)對(duì)空間和時(shí)間信息的融合，可以進(jìn)一步提高識(shí)別模型的性能，更符合人類獲取信息的特點(diǎn)，也將會(huì)更適應(yīng)復(fù)雜環(huán)境下的場(chǎng)景識(shí)別任務(wù)，此外本發(fā)明可以對(duì)識(shí)別模型進(jìn)行在線學(xué)習(xí)，更新并優(yōu)化識(shí)別模型，使其可以處理更加復(fù)雜的動(dòng)態(tài)場(chǎng)景以及未知場(chǎng)景。
【專利附圖】

【附圖說明】
[0019]圖1為本發(fā)明的整體流程圖；
[0020]圖2為本發(fā)明中空間層次模型的示意圖；
[0021]圖3為本發(fā)明中時(shí)間序列模型的示意圖；
[0022]圖4為識(shí)別模型的示意圖；
[0023]圖5為人工記憶管理系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0025]如圖1所示，一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，包括以下步驟:
[0026]I)對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行特征提取，初步描述場(chǎng)景圖像的對(duì)象特征。
[0027]其中，對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行初步描述的方式包括場(chǎng)景特征提取與描述、物體識(shí)別以及區(qū)域分割，場(chǎng)景圖像的對(duì)象特征包括全局特征和局部特征，其中局部特征包括外觀特征和輪廓特征，分別采用SIFT和Canny算法結(jié)合梯度方向統(tǒng)計(jì)算法進(jìn)行特征提取。上述特征采用相關(guān)向量機(jī)結(jié)合核函數(shù)組合的方式進(jìn)行多種特征通道的融合，該模型中特征核函數(shù)的權(quán)重將根據(jù)特征在對(duì)場(chǎng)景進(jìn)行識(shí)別時(shí)具有的不同的重要程度自適應(yīng)地學(xué)習(xí)得到，并且模型中與每一個(gè)訓(xùn)練樣本相關(guān)聯(lián)的核函數(shù)的組合方式都是靈活可變的。
[0028]具體為:由于每個(gè)場(chǎng)景圖像為一個(gè)樣本，而每一種特征描述構(gòu)成了該樣本的一個(gè)通道。令X為場(chǎng)景圖像樣本的多特征聯(lián)接向量，其包含的三個(gè)特征通道分別為:全局特征Xgi—1、外觀特征和輪廓特征xshape。
[0029]首先，本發(fā)明分別為這三個(gè)通道的特征向量選擇一種核函數(shù)，用于衡量同類特征向量間的相似度。注意到，不同特征通道的核函數(shù)可以是高斯核、X2核、線性核、或者其它。核函數(shù)可以相同，也可以不同，可視需要自由組合。下面為了表達(dá)的簡(jiǎn)潔，使用如下的等價(jià)表達(dá):
[0030]Kglobal (x, y) —Kglobal (Xglobal，yglobal)
[0031 ] Kapp (x, y) = Kapp (xapp, yapp)
[0032]Kshape (x，y) — Kshape (Xshape，yShape)
[0033]對(duì)于具有N個(gè)樣本的訓(xùn)練集，基本的相關(guān)向量機(jī)定義了如下的判別函數(shù):

N
[0034]/0) = /0; W) = 2 WiKiX, A ) + W0 = WT^(JC)


/=1[0035]針對(duì)特征具有多個(gè)通道的特點(diǎn)，將該相關(guān)向量機(jī)判別函數(shù)進(jìn)行了擴(kuò)展。定義如下的多核相關(guān)向量機(jī)判別函數(shù):
【權(quán)利要求】
1.一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，包括以下步驟: 1)對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行特征提取，初步描述場(chǎng)景圖像的對(duì)象特征； 2)根據(jù)場(chǎng)景圖像的對(duì)象特征建立空間層次模型，該空間層次模型包括場(chǎng)景層、對(duì)象層、特征層，每個(gè)層之間通過條件概率關(guān)系進(jìn)行關(guān)聯(lián)，由特征層對(duì)對(duì)象層進(jìn)行概率預(yù)測(cè)，由對(duì)象層對(duì)場(chǎng)景層進(jìn)行概率預(yù)測(cè)，由場(chǎng)景層對(duì)場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)； 3)建立場(chǎng)景圖像的時(shí)間序列模型； 4)通過貝葉斯網(wǎng)絡(luò)對(duì)場(chǎng)景圖像的空間層次模型和時(shí)間序列模型進(jìn)行結(jié)合，獲得識(shí)別模型，由識(shí)別模型對(duì)下一時(shí)刻的場(chǎng)景圖像進(jìn)行概率預(yù)測(cè)，并根據(jù)預(yù)測(cè)的場(chǎng)景圖像進(jìn)行場(chǎng)景識(shí)別。 5)對(duì)識(shí)別模型進(jìn)行在線更新。
2.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟I)中對(duì)場(chǎng)景圖像的對(duì)象進(jìn)行初步描述的方式包括場(chǎng)景特征提取與描述、物體識(shí)別以及區(qū)域分割。
3.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟I)中場(chǎng)景圖像的對(duì)象特征包括全局特征和局部特征，其中局部特征包括外觀特征和輪廓特征。
4.根據(jù)權(quán)利要求3所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，外觀特征的描述采用SIFT算法，輪廓特征的描述采用Canny算法結(jié)合梯度方向統(tǒng)計(jì)算法。
5.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟2)中場(chǎng)景的空間關(guān)系信息用層次化概率模型來(lái)描述。
6.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟3)中時(shí)間序列模型通過隱馬爾可夫模型來(lái)進(jìn)行描述。
7.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟4)通過概率方式實(shí)現(xiàn)空間層次模型和時(shí)間序列模型進(jìn)行結(jié)合與場(chǎng)景識(shí)別。
8.根據(jù)權(quán)利要求1所述的一種基于空間與時(shí)間信息融合的機(jī)器人場(chǎng)景識(shí)別方法，其特征在于，步驟5)中以預(yù)測(cè)到的場(chǎng)景圖像作為訓(xùn)練樣本，對(duì)識(shí)別模型進(jìn)行自適應(yīng)學(xué)習(xí)，在線更新并優(yōu)化識(shí)別模型，其更新策略受人工記憶系統(tǒng)控制。
【文檔編號(hào)】G06K9/62GK103544496SQ201210241977
【公開日】2014年1月29日 申請(qǐng)日期:2012年7月12日 優(yōu)先權(quán)日:2012年7月12日
【發(fā)明者】陳啟軍, 陳雷 申請(qǐng)人:同濟(jì)大學(xué)