專(zhuān)利名稱(chēng)：在普及計(jì)算環(huán)境中集成視覺(jué)和對(duì)象信息的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用視覺(jué)信息進(jìn)行場(chǎng)景分析的研究領(lǐng)域。
背景技術(shù)：
利用視覺(jué)信息進(jìn)行場(chǎng)景分析是一個(gè)熱門(mén)研究領(lǐng)域。特別是，已經(jīng)報(bào)道了對(duì)受約束的環(huán)境和受限數(shù)量的對(duì)象的成功應(yīng)用，即面孔辨識(shí)。同時(shí)，在自然環(huán)境中來(lái)自單筒望遠(yuǎn)鏡或立體攝像系統(tǒng)的純粹視覺(jué)信號(hào)的成功受到限制。通常添加額外的傳感器，例如雷達(dá)或紅外線傳感器，以支持并減輕由視覺(jué)系統(tǒng)所做的處理。
“普及計(jì)算”涉及具有處理和通信能力的設(shè)備，但是不認(rèn)為這些設(shè)備是傳統(tǒng)的計(jì)算機(jī)。在普及和普適計(jì)算環(huán)境(pervasive and ubiquitouscomputing environment)中，環(huán)境中的每個(gè)元件或?qū)ο蟀l(fā)送一些信息，這些信息能夠被其它任何對(duì)象，和/或者進(jìn)入該環(huán)境中的新的對(duì)象使用。例如，被帶入這種計(jì)算環(huán)境中的能夠自動(dòng)檢測(cè)并連接到可用的打印機(jī)和網(wǎng)絡(luò)上的移動(dòng)計(jì)算機(jī)。然而，這種小的計(jì)算設(shè)備不限于科技產(chǎn)品，它們能夠容易地用于衣服中或附在日常使用的物體上。
英國(guó)的GB 2347834A公開(kāi)了普及計(jì)算設(shè)備。
美國(guó)的US2003/0149803A1公開(kāi)了在使用多模式集成的普適計(jì)算環(huán)境中的一種系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的是改善計(jì)算設(shè)備的收集關(guān)于其環(huán)境中對(duì)象的信息的能力。
借助于獨(dú)立權(quán)利要求的特征來(lái)實(shí)現(xiàn)這個(gè)目的。從屬權(quán)利要求進(jìn)一步發(fā)展了本發(fā)明的中心思想。
根據(jù)本發(fā)明的第一方面，計(jì)算系統(tǒng)可以從環(huán)境中收集信息，特別是關(guān)于其環(huán)境中的對(duì)象的信息，該系統(tǒng)包括，用于從所述環(huán)境中收集視覺(jué)信息的裝置；用于接收信息的裝置，所述信息是由所述計(jì)算系統(tǒng)的所述環(huán)境中的對(duì)象主動(dòng)發(fā)送的；以及，用于合并所述視覺(jué)信息以及所述無(wú)線接收的信息以辨識(shí)對(duì)象的裝置。
該計(jì)算系統(tǒng)可以是移動(dòng)計(jì)算設(shè)備。
該計(jì)算設(shè)備可以是(例如，具有人類(lèi)特點(diǎn)的)機(jī)器人。
該計(jì)算設(shè)備可以安裝到汽車(chē)或摩托車(chē)上。
該計(jì)算設(shè)備可以是固定設(shè)備。
本發(fā)明的另一個(gè)方面涉及一種從環(huán)境中收集信息的方法，該方法包括以下步驟從所述環(huán)境中收集視覺(jué)信息；接收由計(jì)算系統(tǒng)的所述環(huán)境中的對(duì)象主動(dòng)發(fā)送的信息；以及，合并所述視覺(jué)信息以及所述無(wú)線接收的信息以辨識(shí)對(duì)象。
本發(fā)明的又一個(gè)方面涉及一種實(shí)現(xiàn)這種方法的計(jì)算機(jī)程序產(chǎn)品。


現(xiàn)在將參照

本發(fā)明的另外的特征，優(yōu)點(diǎn)和目的，附圖中只有一個(gè)圖，其示意性地示出了根據(jù)本發(fā)明的系統(tǒng)。
具體實(shí)施例方式
在附圖中，附圖標(biāo)記1一般地指定了用于收集和邏輯地處理關(guān)于環(huán)境的多模式信息(multimodal information)的系統(tǒng)，具體地說(shuō)，所述多模式信息是關(guān)于計(jì)算設(shè)備9的環(huán)境中的對(duì)象2的多模式信息。應(yīng)注意，“環(huán)境”表示計(jì)算設(shè)備9周?chē)囊粋€(gè)區(qū)域，所述區(qū)域被定義為，使得計(jì)算設(shè)備9能夠收集知覺(jué)信息或能夠接收位于所述區(qū)域中的對(duì)象無(wú)線發(fā)送的信號(hào)。
計(jì)算設(shè)備9具有用于收集信息的至少兩個(gè)設(shè)備6，7，也就是，視覺(jué)傳感器裝置6(攝像機(jī)等)和天線7，該天線7具有用于接收從對(duì)象2無(wú)線發(fā)送的信息的后繼接收機(jī)部分(圖中未示出)。
在集成器單元8中合并和處理兩個(gè)輸入數(shù)據(jù)流，該集成器單元8對(duì)由該至少兩個(gè)多模式輸入流識(shí)別的對(duì)象作出判定，并且能夠基于所述判定產(chǎn)生輸出信號(hào)10，以例如激活致動(dòng)器或使計(jì)算設(shè)備向所識(shí)別的對(duì)象移動(dòng)。
對(duì)象2具有用于發(fā)送有關(guān)相關(guān)對(duì)象2的信息的RF ID標(biāo)簽。
因此，本發(fā)明提出了一種集成器單元8，其能夠?qū)σ曈X(jué)信息和從普及或普適計(jì)算環(huán)境中的對(duì)象或元件發(fā)送的信息進(jìn)行合并。因此，通常從純粹的視覺(jué)分析中很難獲得的信息能夠被來(lái)自對(duì)象自身的信息進(jìn)行擴(kuò)充，反之亦然。將由對(duì)象發(fā)送的信息稱(chēng)為“主觀信息”，將由視覺(jué)系統(tǒng)收集的信息稱(chēng)為“客觀信息”。
這種區(qū)分的原因如下，由對(duì)象發(fā)送的信息僅是來(lái)自對(duì)象自身視角的信息，即是以對(duì)象為中心的。這種信息的示例如下“靜態(tài)信息”，如存在、形狀、顏色、重量、對(duì)稱(chēng)性信息、脆性等；“動(dòng)態(tài)信息”溫度、滿/空等。
然而，視覺(jué)系統(tǒng)能夠收集不僅僅以對(duì)象為中心的信息，還考慮多個(gè)對(duì)象的關(guān)系以及它們的位置，因此，稱(chēng)這種信息是客觀的。這種區(qū)分還強(qiáng)調(diào)本發(fā)明和現(xiàn)有技術(shù)之間的區(qū)分，現(xiàn)有技術(shù)通常著眼于給系統(tǒng)添加額外的傳感器設(shè)備，并且融合由這些不同設(shè)備提供的信息。而本發(fā)明是合并不同類(lèi)型的信息，即主觀信息和客觀信息。
通常，如下文，攝像機(jī)系統(tǒng)和集成器被安裝在移動(dòng)平臺(tái)上，如具有人類(lèi)特點(diǎn)的機(jī)器人，但也可以構(gòu)思另選的方案。平臺(tái)將進(jìn)入一個(gè)普及計(jì)算環(huán)境，在最簡(jiǎn)單的一種情況中，該環(huán)境可以是一個(gè)能夠提供有關(guān)其自身信息的對(duì)象。集成器在不同的階段將該信息與視覺(jué)信息處理系統(tǒng)和行為發(fā)生系統(tǒng)進(jìn)行合并。在移動(dòng)平臺(tái)方案中，對(duì)象可能是桌上的杯子。該杯子例如具有一RF ID標(biāo)簽，該標(biāo)簽用以發(fā)送有關(guān)杯子存在的主觀信息，如形狀、顏色、重量、適度的脆度。一旦接收到來(lái)自集成器的請(qǐng)求激活信號(hào)，RF ID標(biāo)簽就能夠主動(dòng)地發(fā)送該信息。
同時(shí)，視覺(jué)系統(tǒng)能夠提供桌上的對(duì)象的幾種假設(shè)(某些假設(shè)可能是假相或者是來(lái)自不屬于所述普及計(jì)算環(huán)境的一部分的對(duì)象)?；谌珙伾@樣粗略的信息，集成器能夠使視覺(jué)系統(tǒng)集中在其視野中的特定部分上。利用形狀信息，可以確定該對(duì)象是否被部分地阻擋。此外，可以推斷出該對(duì)象的哪一側(cè)正在面向移動(dòng)平臺(tái)，例如為抓取目的，對(duì)于平臺(tái)來(lái)說(shuō)可能有必要改變其位置。僅僅依據(jù)客觀信息源或者主觀信息源，很難判定兩個(gè)對(duì)象是相互部分地阻擋的還是同一個(gè)對(duì)象的不同部分。使用普及計(jì)算環(huán)境和視覺(jué)信息，集成器可以不費(fèi)多少力氣就能得出這種判定。此外，集成器能夠向整個(gè)系統(tǒng)中的其它設(shè)備(如操縱器)提供額外的信息，如有關(guān)易碎性或者滿/空的程度。驅(qū)動(dòng)操縱器的系統(tǒng)可以使用該信息來(lái)決定如何接近該對(duì)象以及以多大的力量來(lái)接近該對(duì)象。
集成器系統(tǒng)的應(yīng)用舉例如下進(jìn)入到普及計(jì)算環(huán)境中的具有集成器系統(tǒng)和攝像機(jī)系統(tǒng)的有人類(lèi)特點(diǎn)的機(jī)器人；具有集成器系統(tǒng)和攝像機(jī)系統(tǒng)的汽車(chē)，其從其它汽車(chē)、行人的智能衣服、交通信號(hào)和其它可能配有普及計(jì)算設(shè)備的與交通場(chǎng)景相關(guān)的對(duì)象中收集信息。
固定的集成器和攝像機(jī)系統(tǒng)，對(duì)象進(jìn)入其監(jiān)視范圍之內(nèi)。示例可以是室內(nèi)系統(tǒng)或者在機(jī)場(chǎng)，銀行，火車(chē)站等地方的監(jiān)視系統(tǒng)。普及計(jì)算對(duì)象可以進(jìn)入到固定系統(tǒng)的范圍內(nèi)，普及計(jì)算對(duì)象例如是智能衣服，行李等。
在諸如PDA(個(gè)人數(shù)字助理)，膝上型電腦或者移動(dòng)電話這樣的移動(dòng)設(shè)備上的集成器和攝像機(jī)系統(tǒng)。
該系統(tǒng)可以概括如下1、安裝在有源的且自主的移動(dòng)平臺(tái)(例如具有人類(lèi)特點(diǎn)的機(jī)器人)上的一個(gè)系統(tǒng)，包括攝像機(jī)部分和集成器部分，集成器部分能夠執(zhí)行上述的主觀信息和客觀信息的組合，用于場(chǎng)景分析、進(jìn)而用于控制整個(gè)系統(tǒng)中的附加設(shè)備如操縱器。
2.安裝在無(wú)源的或者部分有源的且非自主或部分自主的移動(dòng)平臺(tái)(例如汽車(chē))上的一個(gè)系統(tǒng)，包括攝像機(jī)部分和集成器部分，集成器部分能夠執(zhí)行上述的主觀信息和客觀信息的組合，用于場(chǎng)景分析、進(jìn)而用于控制像燈光、剎車(chē)或者安全帶等附加設(shè)備。
3.一個(gè)固定的系統(tǒng)，包括攝像機(jī)部分和集成器部分，集成器部分能夠執(zhí)行上述的主觀信息和客觀信息的組合，用于場(chǎng)景分析、進(jìn)而用于控制報(bào)警設(shè)備這樣的附加設(shè)備，或者向用戶(hù)提供所請(qǐng)求的信息。
權(quán)利要求
1.一種用于從環(huán)境中收集信息的計(jì)算系統(tǒng)，該系統(tǒng)包括用于從所述環(huán)境中收集視覺(jué)信息的裝置；用于接收信息的裝置，所述信息是由所述計(jì)算系統(tǒng)的所述環(huán)境中的對(duì)象主動(dòng)發(fā)送的；以及，用于合并所述視覺(jué)信息以及所述無(wú)線接收的信息以辨識(shí)對(duì)象的裝置。
2.根據(jù)權(quán)利要求1的計(jì)算系統(tǒng)，特征在于，其是移動(dòng)計(jì)算設(shè)備。
3.根據(jù)前述任意一個(gè)權(quán)利要求的計(jì)算設(shè)備，特征在于，其是機(jī)器人。
4.根據(jù)權(quán)利要求1的計(jì)算設(shè)備，特征在于，其被安裝到汽車(chē)或摩托車(chē)中。
5.根據(jù)權(quán)利要求1的計(jì)算設(shè)備，特征在于，其是固定設(shè)備。
6.一種從環(huán)境中收集信息的方法，該方法包括以下步驟從所述環(huán)境中收集視覺(jué)信息；接收由計(jì)算系統(tǒng)的所述環(huán)境中的對(duì)象主動(dòng)發(fā)送的信息；以及，合并所述視覺(jué)信息以及所述無(wú)線接收的信息以辨識(shí)對(duì)象。
7.一種計(jì)算機(jī)軟件程序產(chǎn)品，當(dāng)在計(jì)算設(shè)備上運(yùn)行時(shí)，其實(shí)現(xiàn)根據(jù)權(quán)利要求6的方法。
全文摘要
在普及計(jì)算環(huán)境中集成視覺(jué)和對(duì)象信息。一種用于從環(huán)境中收集信息的計(jì)算系統(tǒng)，該系統(tǒng)包括用于從該環(huán)境中收集視覺(jué)信息的裝置；用于接收信息的裝置，該信息是由計(jì)算系統(tǒng)環(huán)境中的對(duì)象主動(dòng)發(fā)送的；以及用于合并該視覺(jué)信息和無(wú)線接收的信息以辨識(shí)對(duì)象的裝置。
文檔編號(hào)G06F17/00GK1667651SQ20051000749
公開(kāi)日2005年9月14日 申請(qǐng)日期2005年2月22日 優(yōu)先權(quán)日2004年3月3日
發(fā)明者克里斯蒂安·格里克 申請(qǐng)人:本田研究所歐洲有限公司