專利名稱:用于追蹤、索引及搜尋的物件匹配的制作方法
技術(shù)領(lǐng)域:
此揭露內(nèi)容是概括關(guān)于而非為專指視訊監(jiān)視,且尤其指匹配代表于多個(gè)影像的物 件。
背景技術(shù):
自動(dòng)化保全及監(jiān)視系統(tǒng)系典型為運(yùn)用視訊相機(jī)或其它影像捕捉裝置或傳感器以 收集影像數(shù)據(jù)。于最簡(jiǎn)單系統(tǒng)中,由影像數(shù)據(jù)所代表的影像系顯示以供保全人員的同時(shí)審 查及/或記錄以供在保全違反之后的后續(xù)參考。于彼等系統(tǒng)中,偵測(cè)有關(guān)物件的任務(wù)是由 一觀察人員所實(shí)行。重大的進(jìn)展是當(dāng)系統(tǒng)本身為能夠部分或完整實(shí)行物件偵測(cè)與追蹤而發(fā) 生。于一種典型的監(jiān)視系統(tǒng)中,舉例而言,可能對(duì)于追蹤其移動(dòng)通過環(huán)境的諸如人類、 載具、動(dòng)物等等的一偵測(cè)的物件為有興趣。能夠追蹤偵測(cè)的物件的現(xiàn)存的系統(tǒng)系企圖以運(yùn) 用運(yùn)動(dòng)預(yù)測(cè)及于連續(xù)視訊框的選擇特征的追蹤而追蹤物件。諸如SIFT方法的其它技術(shù)系 企圖以精確代表一物件的一實(shí)例的外觀,使該代表可用以匹配一物件的多個(gè)實(shí)例而無關(guān)于 時(shí)間接近性。然而,已知的追蹤系統(tǒng)受損于下列一或多者⑴無能作訓(xùn)練,⑵缺乏與物件 搜尋、索引、及分類系統(tǒng)的整合,(3)不當(dāng)?shù)奈锛粉櫯c搜尋性能、及(4)無效的交互相機(jī)追 蹤言旨力O
發(fā)明內(nèi)容
一種相機(jī)系統(tǒng)包含一影像捕捉裝置;一物件偵測(cè)模塊,連接至該影像捕捉裝置; 一物件追蹤模塊,連接至該物件偵測(cè)模塊;及一匹配分類器,連接至該物件追蹤模塊。該影 像捕捉裝置具有一視野且產(chǎn)生代表該視野的多個(gè)影像的影像數(shù)據(jù)。該物件偵測(cè)模塊接收影 像數(shù)據(jù)且為可操作以偵測(cè)其出現(xiàn)于多個(gè)影像的一或多者的物件。該物件追蹤模塊可操作以 暫時(shí)關(guān)聯(lián)其偵測(cè)于該多個(gè)影像的一第一群組的一第一物件的實(shí)例(instance)。第一物件具 有一第一簽章(signature),其代表自第一群組的影像所導(dǎo)出的第一物件的特征。該匹配分 類器可操作以由分析自第一物件的第一簽章與一第二物件的一第二簽章所導(dǎo)出的數(shù)據(jù)而 匹配物件實(shí)例。第二物件偵測(cè)于不同于第一群組的影像的一第二影像。第二簽章是代表自 第二影像所導(dǎo)出的第二物件的特征。該匹配分類器分析第一組資料以確定第二簽章是否為 匹配第一簽章。該匹配分類器操作于一種方式以匹配物件實(shí)例,該種方式是已經(jīng)至少部分 為由一種訓(xùn)練方法所確定,該種訓(xùn)練方法是運(yùn)用一組可能的物件特征以自動(dòng)組態(tài)該匹配分類器?!N方法是追蹤由一相機(jī)系統(tǒng)所捕捉的一物件。該種方法捕捉該相機(jī)系統(tǒng)的一 視野的第一與第二影像,偵測(cè)捕捉于第一影像的一第一物件與捕捉于第二影像的一第二物 件,且產(chǎn)生第一物件的一第一簽章與第二物件的一第二簽章。第一簽章代表第一物件的一 第一組的特征,且第二簽章代表第二物件的一第二組的特征。該種方法是產(chǎn)生自第一與第 二簽章所導(dǎo)出的資料。該數(shù)據(jù)對(duì)應(yīng)于自第一組所選擇的一第一子集的特征及自第二組所選 擇的一第二子集的特征。一種訓(xùn)練方法是自動(dòng)確定其為選擇以納入于第一與第二子集的第 一與第二組的特征。該種方法是分析該數(shù)據(jù)以確定第二物件是否為第一物件的一實(shí)例。一種方法是產(chǎn)生于由一相機(jī)系統(tǒng)所捕捉的影像的物件的索引元素。該種方法是捕 捉于該相機(jī)系統(tǒng)的一視野的一物件的一第一群組的多個(gè)影像,偵測(cè)于第一群組的多個(gè)影像 的該物件,且產(chǎn)生該物件的一第一組的單框簽章。第一組的單框簽章是對(duì)應(yīng)于自第一群組 的多個(gè)影像所導(dǎo)出的該物件的特征。該種方法產(chǎn)生該物件的一第一平均簽章。第一平均簽 章是第一組的單框簽章的一平均值。第一平均簽章是該物件的一第一索引元素。該種方法 產(chǎn)生該物件的一累積簽章。該累積簽章是第一組的單框簽章的一加權(quán)平均值。該種方法捕 捉該物件的一第二影像,偵測(cè)于第二影像的該物件,且產(chǎn)生自第二影像所導(dǎo)出的一第二單 框簽章。該種方法是由加權(quán)第二單框簽章且平均該加權(quán)的第二單框簽章與該累積簽章而更 新該累積簽章。該種方法確定是否接受或拒絕該更新累積簽章與第一平均簽章作為一匹 配。當(dāng)該更新累積簽章與第一平均簽章系接受作為一匹配,第一平均簽章是基于第二單框 簽章而更新。當(dāng)該更新累積簽章與第一平均簽章拒絕作為一匹配,該物件的一第二平均簽 章是基于第二單框簽章而產(chǎn)生。第二平均簽章是該物件的一第二索引元素。一種方法是搜尋數(shù)據(jù)以識(shí)別由一相機(jī)系統(tǒng)所捕捉的一物件的影像。該種方法是捕 捉于該相機(jī)系統(tǒng)的一視野的一影像的一第一物件。第一物件具有代表第一物件的特征的一 第一簽章。該種方法顯示第一物件的一影像于一顯示器,接受其表示第一物件的一選擇的 使用者輸入,作出關(guān)于該第一簽章是否匹配其對(duì)應(yīng)于該相機(jī)系統(tǒng)的視野的影像所捕捉的一 組的物件的一群組的簽章的確定。該種方法在該組的第二物件的第二簽章匹配該第一簽章 時(shí)發(fā)送一通知。一種相機(jī)系統(tǒng)包含一影像捕捉裝置;一物件偵測(cè)模塊,連接至該影像捕捉裝置; 一使用者接口,連接至該影像捕捉裝置;一匹配分類器;一物件追蹤模塊,連接至該匹配分 類器與該物件偵測(cè)模塊;及,一搜尋模塊,連接至該匹配分類器與該使用者接口。該影像捕 捉裝置具有一視野且產(chǎn)生其代表該視野的多個(gè)影像的影像數(shù)據(jù)。該物件偵測(cè)模塊接收該影 像數(shù)據(jù)且為可操作以偵測(cè)其出現(xiàn)于該多個(gè)影像之一或多者的物件。該使用者接口包括一 顯示器,用于顯示由該物件偵測(cè)模塊所偵測(cè)的物件;及一輸入裝置,可操作以響應(yīng)于使用者 命令而選擇由該物件偵測(cè)模塊所偵測(cè)的物件。該匹配分類器可操作以匹配由該物件偵測(cè)模 塊所偵測(cè)的物件。該物件追蹤模塊可操作以暫時(shí)關(guān)聯(lián)由該物件偵測(cè)模塊所偵測(cè)的物件的實(shí) 例且亦為可操作以請(qǐng)求該匹配分類器以確定是否關(guān)聯(lián)物件的實(shí)例。該搜尋模塊可操作以擷 取由該輸入裝置所選擇的物件的儲(chǔ)存影像且亦為可操作以請(qǐng)求該匹配分類器以找出一選 擇物件的一儲(chǔ)存影像。
圖1是根據(jù)一個(gè)實(shí)施例的一種相機(jī)系統(tǒng)的繪圖。圖2是于圖1所示的系統(tǒng)的一個(gè)影像捕捉裝置的簡(jiǎn)化方塊圖。圖3是描繪根據(jù)一個(gè)實(shí)施例的一種產(chǎn)生針對(duì)于圖2的匹配分類器的一輸入的方法 的方塊圖。圖4是圖2的匹配分類器的方塊圖。圖5A是顯示于圖4所示的匹配分類器的初始N-I個(gè)步級(jí)之一者的方塊圖。圖5B是于圖5A所示的步級(jí)所利用的接受與拒絕臨限的繪圖。圖6是描繪根據(jù)一個(gè)實(shí)施例的一種利用匹配分類器的方法的流程圖。圖7是一種匹配分類器訓(xùn)練方法的流程圖。圖8是一種匹配分類器訓(xùn)練方法的流程圖。圖9是另一種匹配分類器訓(xùn)練方法的流程圖。圖10是一種物件追蹤系統(tǒng)的方塊圖。圖11是一種物件追蹤方法的流程圖。圖12是另一種物件追蹤系統(tǒng)的混合方塊圖與流程圖。圖13A與13B是一種相機(jī)間追蹤方法的混合方塊圖與流程圖。圖14是一種物件索引系統(tǒng)的方塊圖。圖15是一種物件搜尋方法的繪圖。
具體實(shí)施例方式相機(jī)系統(tǒng)參考附圖,此段落是描述特定的實(shí)施例與其詳細(xì)的結(jié)構(gòu)與操作。本文所述的實(shí)施 例僅為作為舉例而非為限制所陳述。熟悉此技術(shù)人士按照本文的揭示內(nèi)容而將認(rèn)知的是 對(duì)于本文所述的實(shí)施例存在一系列的等效者。特別是,其它的實(shí)施例可能,變化可作成于本 文所述的實(shí)施例,且對(duì)于其構(gòu)成所述的實(shí)施例的構(gòu)件、零件、或步驟系可能存在等效者。如熟悉此技術(shù)人士按照此揭示內(nèi)容而將理解的是某些實(shí)施例是能夠達(dá)成優(yōu)于已 知的先前技術(shù)的某些優(yōu)點(diǎn),其包括下列的一些或全部(1)統(tǒng)合物件追蹤、索引、及搜尋方法; ⑵實(shí)施一種用于物件追蹤、索引、及搜尋的可訓(xùn)練的匹配分類器;(3)能夠在一規(guī)則違反之 前而搜尋所捕捉的一物件的實(shí)例;(4)能夠在一新物件型式為加入至一偵測(cè)鏈接庫之后而辨 識(shí)先前捕捉的物件;(5)能夠?qū)τ诃h(huán)境變化而適應(yīng)物件追蹤、索引、及搜尋;(6)能夠加入新特 征以最佳化偵測(cè)及分類準(zhǔn)確度;(7)實(shí)施一種高速的追蹤系統(tǒng),其允許于甚至具有相當(dāng)?shù)偷?框率的準(zhǔn)確的追蹤;(8)運(yùn)用不昂貴的硬件以實(shí)施一種準(zhǔn)確的追蹤系統(tǒng)于一嵌入式平臺(tái);(9) 能夠由反饋準(zhǔn)確追蹤數(shù)據(jù)以改良物件偵測(cè)準(zhǔn)確度與分類準(zhǔn)確度;及(10)能夠跨過相機(jī)而實(shí) 時(shí)自動(dòng)追蹤物件。種種的實(shí)施例的此等與其它優(yōu)點(diǎn)于閱讀此段落的其余部分而將為顯明。為了簡(jiǎn)明,某些實(shí)施例的構(gòu)件或步驟的某些層面不具有過度的細(xì)節(jié)而呈現(xiàn),其中, 該種細(xì)節(jié)將對(duì)于熟悉此技術(shù)人士于按照本文的揭示內(nèi)容為顯明,且/或其中,該種細(xì)節(jié)將 混淆該些實(shí)施例的較為有關(guān)層面的了解。圖1是根據(jù)一個(gè)實(shí)施例的一種相機(jī)系統(tǒng)100的繪圖。相機(jī)系統(tǒng)100包括彼此連接 于一網(wǎng)絡(luò)108的影像捕捉裝置102、一使用者接口 104、及一遠(yuǎn)程儲(chǔ)存/處理單元106 (例如一遠(yuǎn)程服務(wù)器)。網(wǎng)絡(luò)108可包括任何型式的有線或無線網(wǎng)絡(luò)。雖然圖1的相機(jī)系統(tǒng)100包 括連接于一網(wǎng)絡(luò)的多個(gè)影像捕捉裝置102,相機(jī)系統(tǒng)100可包括單一個(gè)影像捕捉裝置102。 影像捕捉裝置102可包括一內(nèi)部?jī)?chǔ)存系統(tǒng)110,其包含一硬盤機(jī)(HD,hard drive) 111與一 元數(shù)據(jù)數(shù)據(jù)庫(DB,database) 1120舉例而言,影像捕捉裝置102可包括一種儲(chǔ)存系統(tǒng),其 描述于標(biāo)題分別為“視訊數(shù)據(jù)的內(nèi)容覺察儲(chǔ)存”與“延伸其用于視訊數(shù)據(jù)儲(chǔ)存應(yīng)用的硬盤機(jī) 的操作壽命”的共同擁有的美國專利申請(qǐng)案第12/105,971號(hào)與第12/105,893號(hào),此二件美 國專利申請(qǐng)案均為以參照方式而整體納入于本文。使用者接口 104包括一顯示器114與一 輸入裝置116。影像捕捉裝置102捕捉個(gè)別的視野的影像且產(chǎn)生代表該些影像的數(shù)據(jù)。要 了解的是影像可意指靜止影像或運(yùn)動(dòng)視訊影像。影像數(shù)據(jù)是通過網(wǎng)絡(luò)108而通訊至使用 者接口 104,且一或多個(gè)視野的影像提出于顯示器114。輸入裝置116可操作以允許一使用 者為提供針對(duì)于相機(jī)系統(tǒng)100的使用者反饋信息。影像數(shù)據(jù)亦可通過網(wǎng)絡(luò)108而通訊至遠(yuǎn) 程儲(chǔ)存/處理單元106。圖2是一個(gè)影像捕捉裝置102的簡(jiǎn)化方塊圖。影像捕捉裝置102可為一種高分辨 率的視訊相機(jī),諸如一種百萬畫素的視訊相機(jī)。影像捕捉裝置102亦可捕捉自外側(cè)的可見 頻譜(例如熱能)的資料。除了儲(chǔ)存系統(tǒng)110之外,影像捕捉裝置102包括一影像處理單 元,其包括一視訊分析模塊200以分析由影像捕捉裝置102所捕捉的影像。該影像處理單 元無須為容納于如于圖2所繪的影像捕捉裝置102的一外殼202內(nèi)。甚者,遠(yuǎn)程儲(chǔ)存/處 理單元106亦可包括一影像處理單元。視訊分析模塊200包括用于實(shí)行種種任務(wù)的一些模塊。舉例而言,視訊分析模塊 200包括一物件偵測(cè)模塊204,用于偵測(cè)其出現(xiàn)于影像捕捉裝置102的視野的物件。物件偵 測(cè)模塊204可運(yùn)用任何已知的物件偵測(cè)方法,諸如運(yùn)動(dòng)偵測(cè)或二進(jìn)制大型物件(blob)偵 測(cè)。物件偵測(cè)模塊204可包括于標(biāo)題為“用于偵測(cè)于時(shí)空訊號(hào)的有關(guān)物件的方法及系統(tǒng)”的 共同擁有的美國專利申請(qǐng)案第10/884,486號(hào)的所述的系統(tǒng)且運(yùn)用所述的偵測(cè)方法,此美 國專利申請(qǐng)案的整體內(nèi)容系以參照方式而納入于本文。視訊分析模塊200亦包括一物件追蹤模塊206,其連接至物件偵測(cè)模塊204。如運(yùn) 用于本文,術(shù)語“連接”意指直接或間接為通過一或多個(gè)中間媒介所邏輯或?qū)嶓w連接。物件 追蹤模塊206可操作以于時(shí)間關(guān)聯(lián)由物件偵測(cè)模塊204所偵測(cè)的一物件的實(shí)例。物件追蹤 模塊206產(chǎn)生其對(duì)應(yīng)于所追蹤的物件的元數(shù)據(jù)。該元數(shù)據(jù)可對(duì)應(yīng)于物件的簽章,其代表物 件的外觀或其它特征。該元數(shù)據(jù)可傳送至元數(shù)據(jù)數(shù)據(jù)庫112以供儲(chǔ)存。物件追蹤模塊206 更為詳細(xì)描述于下文。視訊分析模塊200亦包括一暫時(shí)物件分類模塊208。暫時(shí)物件分類模塊208可操 作以分類一物件為根據(jù)其型式(例如人、載具、動(dòng)物),由考慮隨著時(shí)間的該物件的外觀。 換言之,物件追蹤模塊206是追蹤一物件于多個(gè)訊框(即多個(gè)影像),且暫時(shí)物件分類模 塊208是基于多個(gè)訊框的其外觀而確定該物件的型式。暫時(shí)物件分類模塊208可組合關(guān)于 一物件的軌跡的信息(例如該軌跡是否為平滑或混亂、物件是否為移動(dòng)或不動(dòng))及于多 個(gè)訊框所平均的由一物件分類模塊210所作成的分類的信賴。舉例而言,由物件分類模塊 210所確定的分類信賴值可基于該物件的軌跡的平滑度而作調(diào)整。暫時(shí)物件分類模塊208 可指定一物件至一未知的類別,直到該物件于一充分的次數(shù)及一預(yù)定數(shù)目的統(tǒng)計(jì)資料為已 經(jīng)收集而由該物件分類模塊所分類。于分類一物件,暫時(shí)物件分類模塊208亦可考慮該物件已經(jīng)于視野為多久。暫時(shí)物件分類模塊可基于上述的信息而作成關(guān)于一物件的類別的最 后確定。暫時(shí)物件分類模塊208亦可運(yùn)用一種用于改變一物件的類別的磁滯方法。舉例而 言,一臨限可設(shè)定以變遷一物件的分類為自未知至人類,且該臨限可為大于針對(duì)于相反變 遷(即自人類至未知)的一臨限。暫時(shí)物件分類模塊208可產(chǎn)生其關(guān)于一物件的分類的 元數(shù)據(jù),且該元數(shù)據(jù)可儲(chǔ)存于元數(shù)據(jù)數(shù)據(jù)庫112。視訊分析模塊200亦包括物件分類模塊210,其連接至物件偵測(cè)模塊204。對(duì)照于 暫時(shí)物件分類模塊208,物件分類模塊210可基于物件的單一個(gè)實(shí)例(即單一個(gè)影像)而 確定一物件的型式。物件分類模塊可包括于標(biāo)題為“動(dòng)態(tài)物件分類”的共同擁有的美國專 利申請(qǐng)案(代理人檔案號(hào)碼37686/8:2)的所述的系統(tǒng)且運(yùn)用所述的方法,此美國專利申請(qǐng) 案的整體內(nèi)容是以參照方式而納入于本文。暫時(shí)物件分類模塊208可聚集由物件分類模塊 210所作成的分類。視訊分析模塊200亦包括一物件索引模塊212,其連接至儲(chǔ)存系統(tǒng)110。物件索引 模塊212可操作以產(chǎn)生針對(duì)于物件的簽章。該些簽章可儲(chǔ)存于元數(shù)據(jù)數(shù)據(jù)庫112且可作用 為針對(duì)于物件的視訊影像的索引元素。物件索引模塊212更為詳細(xì)描述于下文。視訊分析模塊200亦包括一物件搜尋模塊214,其連接至儲(chǔ)存系統(tǒng)110與使用者接 口 104。物件搜尋模塊214可操作以搜尋通過其儲(chǔ)存于儲(chǔ)存系統(tǒng)110的簽章,以識(shí)別一物件 是否為存在于先前捕捉的影像。物件搜尋模塊214更為詳細(xì)描述于下文。視訊分析模塊200亦包括一物件種類化模塊216,其連接至物件分類模塊210。物 件種類化模塊216可操作以當(dāng)多個(gè)物件為偵測(cè)于一影像時(shí)而排定追蹤的優(yōu)先級(jí)。舉例而 言,物件種類化模塊216可操作以運(yùn)用物件分類模塊210所產(chǎn)生的信息以建立用于企圖關(guān) 聯(lián)一目前訊框的物件與其偵測(cè)于過去訊框的物件的一順序。物件種類化模塊216更為詳細(xì) 描述于下文。由視訊分析模塊200所產(chǎn)生的數(shù)據(jù)可由一規(guī)則引擎220所運(yùn)用以確定一或多個(gè)使 用者指定的規(guī)則是否為已經(jīng)違反。舉例而言,規(guī)則引擎220是可觸發(fā)其為提出于使用者接 口的顯示器114的一警報(bào),若一人是偵測(cè)于該些影像捕捉裝置102之一者的視野。如運(yùn)用于本文,術(shù)語“模塊”是一構(gòu)件,其可包含一或多個(gè)硬件電路或裝置、及/或 一或多個(gè)軟件例程、函式、物件或類似者。一模塊亦可整體為硬件,整體為軟件,包含韌體, 或包含前述者的某個(gè)組合。如運(yùn)用于本文,術(shù)語“系統(tǒng)”是指一種有形者。匹配分類器視訊分析模塊200亦包括一匹配分類器218,其連接至物件追蹤模塊206、物件索 引模塊212、與物件搜尋模塊214。匹配分類器218可操作以接收其代表二個(gè)物件的簽章的 一輸入型態(tài)ζ且確定該些簽章是否為匹配(例如該些簽章是否為充分類似)。匹配分類 器218可為由物件追蹤模塊206、物件索引模塊212、與物件搜尋模塊214所運(yùn)用以協(xié)助該 些模塊于其種種操作。因此,針對(duì)于追蹤、索引、及搜尋的一種統(tǒng)合架構(gòu)可經(jīng)由匹配分類器 218所達(dá)成。匹配分類器218可操作以基于物件簽章(例如特征或外觀特性)而匹配物件。 舉例而言,匹配分類器218接收其關(guān)于捕捉于不同訊框的二個(gè)物件的簽章的數(shù)據(jù)(即輸入 型態(tài)ζ)且確定該些物件是否為對(duì)應(yīng)于相同的實(shí)際物件。一物件的一簽章可由其選擇自一集合的特征F = {fi; f2,f3,…,fj的一子集合的特征P= {fklf /fe2,…所作成。戶的元素可視為一物件的一影像區(qū)域R的某個(gè)變換t 因此,一物件的一簽章χ可呈現(xiàn)以下形式 ·Χ=
Z2 = A2W
⑴一物件的特征^liI2, 可對(duì)應(yīng)于一些外觀特性,諸如而不限于長(zhǎng)寬比、色調(diào)、 強(qiáng)度、邊緣方位、紋理、角隅特征、原始影像的像素?cái)?shù)據(jù)、正規(guī)化的飽和、與諸如標(biāo)度不變特 征變換(SIFT,Scale-invariant featuretransform)特征的區(qū)域描述符。該些特征均包 括色彩特征(例如色調(diào)與飽和)及灰階特征(例如強(qiáng)度與邊緣方位)。此允許匹配分 類器218以運(yùn)作于彩色與黑白影像。一物件的一影像可分割成為區(qū)域或子窗口,且特征 h,L·…可對(duì)應(yīng)于該些區(qū)域或子窗□的物件的外觀特性。甚者,特征H胃可代 表外觀特性的特征向量(例如直方圖,其中,直方圖的分格對(duì)應(yīng)于向量分量)且可為由匹 配分類器218所運(yùn)用以確定物件是否為匹配。舉例而言,物件的邊緣方位的直方圖可針對(duì) 于物件影像的不同區(qū)域(例如子窗口)而作圖。換言之,一物件的影像可分割成為子窗口, 且邊緣方位可針對(duì)于子窗口的各個(gè)像素而計(jì)算。一像素的邊緣方位可運(yùn)用一可操縱濾波器 (例如運(yùn)用一高斯導(dǎo)數(shù)濾波器于多個(gè)方向)而導(dǎo)出。舉例而言,一影像可卷積于其方位在 零與90度的一高斯分布的一第一導(dǎo)數(shù),零與90度可運(yùn)用作為基礎(chǔ)濾波器以合成諸多的方 位。高斯導(dǎo)數(shù)響應(yīng)可針對(duì)于各個(gè)像素而計(jì)算于八個(gè)方位,且針對(duì)于各個(gè)像素,關(guān)于最大響應(yīng) 的方位可選取作為針對(duì)于該像素的方向。運(yùn)用一可操縱濾波器允許主要方向?yàn)橹付ㄖ烈蛔?窗口的像素,且允許該些方向的直方圖為針對(duì)于該子窗口所作圖。舉例而言,針對(duì)于一已知 的像素,一可操縱濾波器可運(yùn)用于多個(gè)方向以產(chǎn)生多個(gè)響應(yīng),且對(duì)應(yīng)于最大方向?qū)?shù)響應(yīng) 的方向指定作為該像素的方向。一物件的一簽章χ可捕捉該物件的獨(dú)特性而且允許于物件 的不同實(shí)例間的外觀變化。雖然非為必要,一物件的一簽章可為以針對(duì)于相機(jī)系統(tǒng)100可 利用的最大分辨率而計(jì)算且可為不受到事后的降低取樣頻率或壓縮所影響。圖3是方塊圖,顯示一種方法300,其可運(yùn)用以基于自一第一物件的一簽章χ與自 一第二物件的一簽章y而產(chǎn)生用于匹配分類器218的一輸入ζ。概括而言,自第一與第二物 件的簽章χ與y組合以形成輸入ζ (步驟302)。舉例而言,簽章χ的特征義可與簽章y的特 征i;為組合。簽章χ與y可運(yùn)用諸如直方圖相交或特征的連鎖的組合函數(shù)而數(shù)學(xué)方式組合。 一組合函數(shù)可認(rèn)為于特征之間的一距離度量d。諸多不同的距離度量可運(yùn)用以提供輸入z, 諸如一距離L1、一曼哈頓(Manhattan)距離、一距離L2、與一 Bhattacharyya距離。因此,
多個(gè)組合或距離度量是針對(duì)于例如簽章χ的特征;;與簽章y的特征^為可能。距離度量可對(duì) 應(yīng)于特征之間的相似性的一度量;相同的物件的實(shí)例可于特征空間為“接近”(例如小的 距離度量),而不同的物件的實(shí)例可于特征空間為“遠(yuǎn)離”(例如大的距離度量)。當(dāng)組合 自例如簽章χ與y的邊緣方位直方圖,邊緣方位直方圖可作為一距離度量d。輸入ζ是供應(yīng) 至匹配分類器218,且匹配分類器218作出其關(guān)于第一與第二物件是否為匹配的一決策。如 下所述,一種訓(xùn)練方法可自動(dòng)選取簽章χ與y的最佳特征、以及最佳組合或距離度量,以達(dá) 成于匹配物件的一高程度的準(zhǔn)確度。匹配分類器218的輸出可對(duì)應(yīng)于一決策步級(jí)值S(Z),如下所述。決策步級(jí)值S(Z)可指出第一與第二物件是否為匹配,且可包括對(duì)應(yīng)于其決策的
一信賴度的一值。匹配分類器218可為其概括由一分類器函數(shù)Γ (ζ)所定義的一分類問題而代表, 其中,輸入型態(tài)ζ所代表的二個(gè)物件是當(dāng)Γ (ζ) >0而宣告為一匹配或當(dāng)Γ (ζ) <0而宣 告為一不匹配。概括而言,分類器函數(shù)Γ (ζ)是以一組的參數(shù)而為參數(shù)化,且輸入ζ是由上 述的特征的組合所構(gòu)成。分類器函數(shù)的輸出的大小可反映該匹配分類器218于其決策的信 賴度。此信賴度可構(gòu)成相似性(或相異性)的一度量。匹配分類器218的結(jié)構(gòu)的一個(gè)實(shí)施例是將參考圖4至6而更詳細(xì)描述。匹配分類 器218包括其組態(tài)于一種串級(jí)組態(tài)(即步級(jí)1、隨后為步級(jí)2、隨后為步級(jí)3、···、隨后為步 級(jí)N)的多個(gè)步級(jí)400 (N個(gè)決策步級(jí)),如于圖4所示。N個(gè)步級(jí)操作以確定二個(gè)簽章是否為 匹配。不同于公元2004年的國際計(jì)算機(jī)視覺期刊(International Journal of Computer Vision)第137至154頁的Paul Viola與Michael Jones的“強(qiáng)健實(shí)時(shí)臉部偵測(cè)”所提出 的一種已知的串級(jí)分類系統(tǒng),本實(shí)施例的初始N-I個(gè)步級(jí)各者可操作以作成三個(gè)決策之一 者(1)接受二個(gè)物件作為匹配;(2)拒絕該些物件作為匹配(即宣告為不匹配);及(3) 轉(zhuǎn)送該決策至下個(gè)步級(jí)。舉例而言,輸入ζ供應(yīng)至步級(jí)1,且步級(jí)1判斷是否(1)接受該些 物件作為匹配;(2)拒絕該些物件作為匹配;或(3)轉(zhuǎn)送該決策至步級(jí)2。接受、拒絕或轉(zhuǎn)送 的決策是基于由該步級(jí)所產(chǎn)生的一值(即決策步級(jí)值s(z))。最后或第N個(gè)步級(jí)可操作 以(1)接受該些物件作為匹配;或(2)拒絕該些物件作為匹配。圖5A是方塊圖,更為詳細(xì)顯示初始N-I個(gè)步級(jí)400之一者。各個(gè)步級(jí)400包括一 或多個(gè)階段500。針對(duì)于各個(gè)階段500,自一第一物件的特征U2i ...JroW—者與自一第 二物件的特征H ...,L的一對(duì)應(yīng)者的組合(例如一距離度量或毗連)自輸入ζ而取出 (由方塊502所代表)且供應(yīng)至其對(duì)應(yīng)的階段500。舉例而言,自第一物件的特征 與自第 二物件的特征的組合可供應(yīng)至第一階段500。因此,各個(gè)階段500是具有關(guān)聯(lián)于其的一對(duì) 應(yīng)特征。階段/特征的組合可由于如下所述的一訓(xùn)練方法期間的一種學(xué)習(xí)算法而預(yù)定。甚 者,舉例而言,供應(yīng)至圖5的第一階段(階段1)的特征組合可為不同或相同于其供應(yīng)至第 二階段(階段2)的特征組合。概括而言,一階段500可為由一階段函數(shù)g所代表,階段函數(shù)g定義為如下g (x, y) — Yg e G(χ, y) e ζ 且y e [-1,1](2)其中,G代表特定階段函數(shù)g為選取自其的一般集合,且(x,y)代表其取出自簽章 χ的一特征與其取出自簽章y的一特征的組合。如上所述,供應(yīng)至一階段500的特征的組合 可視為一距離度量d。因此,集合G可寫為G = DXT,其中,D是于圖3的步驟302所計(jì)算 的一組所有可能的距離度量(例如d e D,d:(x,y) — ζ),且T代表一組可能的變換(即 映射),使針對(duì)于t e T,t :ζ — γ。因此,階段函數(shù)g可呈現(xiàn)以下的展開形式gt(KxJn=Kd(ZkxJn)(3)一階段500代表一判別函數(shù),其包括一加權(quán)向量#與一啟動(dòng)函數(shù)β。如上所述,特征fiI2,... Jra可代表特征向量。此外,于特征向量之間的一距離度量d可代表一距離向 量J。階段函數(shù)可改寫為如下Sidk^iwl-dk)(4)其中,i .式代表加權(quán)向量#與距離向量之的內(nèi)乘積。啟動(dòng)函數(shù)β i可為任何函數(shù), 諸如而不限于一 S型函數(shù)或一徑向基底函數(shù)。啟動(dòng)函數(shù)Pi運(yùn)用以映像加權(quán)向量場(chǎng)與距離 向量式的內(nèi)乘積至于0與1之間之一值。純量值Y可由計(jì)算該判別函數(shù)的一微分而確定。 不同于其包括針對(duì)所有階段的相同判別函數(shù)的公知串級(jí)分類器,針對(duì)于本實(shí)施例的階段的 判別函數(shù)可彼此為不同。甚者,針對(duì)于各個(gè)階段500的加權(quán)向量巧與啟動(dòng)函數(shù)β ,如下所述 而自動(dòng)確定于訓(xùn)練期間。各個(gè)步級(jí)400是階段500之一或多者的一線性組合(由比例及總和方塊502所代 表)。換言之,階段500的純量值γ系比例及總和以產(chǎn)生決策步級(jí)值S(Z)。概括而言,一 步級(jí)函數(shù)系可數(shù)學(xué)式代表如下S(Z)=J^ai 忌仏擬)(5)其中,1力馮=1因?yàn)镾(Z)(即決策步級(jí)值)是階段的一凸組合,s (ζ)與g(x,y)具有相同的范 圍。加權(quán)系數(shù)α是于訓(xùn)練期間為由一種學(xué)習(xí)算法所選取。決策步級(jí)值是相較于一接受臨 限τ a與一拒絕臨限τ r之一或二者(由方塊506所代表),以確定二個(gè)物件是否匹配、拒 絕該些物件作為一匹配、或轉(zhuǎn)送該決策至下一個(gè)步級(jí)400。該比較可代表為如下接受,若、<S(Z)彡 1轉(zhuǎn)送,若、<S(Z)彡、 (7)拒絕,若-I< s(z)彡 Tr圖5B說明于區(qū)間[_1,+1]的接受與拒絕臨限的一個(gè)實(shí)例。接受臨限τ 3與拒絕臨 限、是基于使用者特定的偽正與偽負(fù)率而由一種學(xué)習(xí)算法所選取于訓(xùn)練期間。各個(gè)步級(jí) 400可具有其為不同于或相同于其它步級(jí)400的針對(duì)于τ α與、的值。“接受”的一決策 指的是分類器確信該二個(gè)物件為匹配?!稗D(zhuǎn)送”的一決策指的是分類器不確定且延緩該 決策至下一個(gè)步級(jí)?!熬芙^”的一決策指的是分類器確信該二個(gè)物件為不匹配。于任何步 級(jí),若決策系非“轉(zhuǎn)送”至下一個(gè)步級(jí)400,接受/拒絕決策作成于該點(diǎn)且評(píng)估完成。于該步 級(jí)的決策步級(jí)值s(Z)是針對(duì)于匹配分類器218的輸出值。決策步級(jí)值可對(duì)應(yīng)于針對(duì)于對(duì) 應(yīng)步級(jí)400的一決策信賴度。舉例而言,相較于稍高于接受臨限τ 3的一決策步級(jí)值,接近 1的一決策步級(jí)值可代表的是對(duì)應(yīng)步級(jí)400較確信二個(gè)物件為匹配。替代而言,于決策步 級(jí)值的一增大是可能非必要為對(duì)應(yīng)于一較高決策信賴度(即決策為正確的一機(jī)率)。由 于物件是以不同的決策步級(jí)值而正確及不正確匹配,關(guān)聯(lián)于各個(gè)決策步級(jí)值的信賴度可憑 經(jīng)驗(yàn)估計(jì)于訓(xùn)練期間。決策步級(jí)值的信賴度更詳細(xì)描述于下文。如上所述,于匹配分類器 218的最后一個(gè)步級(jí)(步級(jí)N)是強(qiáng)制以恒為接受或拒絕接受,若0<s(z)<l拒絕,若-1< s(z)彡 0 (7)圖6是流程圖,舉例描繪匹配分類器218的一種操作流程600。首先,第一與第二 物件的簽章組合(步驟602)。第一與第二物件可對(duì)應(yīng)于相同的實(shí)際物件。步驟602是相關(guān)于圖3的步驟302。輸入ζ是傳送至匹配分類器218的第一個(gè)步級(jí)400 (步驟604)。對(duì) 應(yīng)于第一個(gè)到第S個(gè)階段500的特征(例如距離度量)是識(shí)別于輸入ζ且為選取自輸入 ζ (步驟606)。替代而言,非為傳送輸入ζ至第一個(gè)步級(jí)400,由第一個(gè)步級(jí)400的階段500 所運(yùn)用的組合特征可選擇且僅為彼等組合特征可傳送至第一個(gè)步級(jí)400。該些組合特征供 應(yīng)至其個(gè)別的階段500,且該些階段500是映像該些組合特征至純量值Y (步驟608)。該 些純量值是比例化(即加權(quán))且總和以產(chǎn)生一決策步級(jí)值s (ζ)(步驟610)。決策步級(jí)值 相較于接受臨限、與拒絕臨限、之一或多者(步驟612)。若決策步級(jí)值大于接受臨限 Ta,第一與第二物件接受作為一匹配(步驟614)。若決策步級(jí)值小于或等于拒絕臨限、, 第一與第二物件拒絕作為一匹配(步驟616)。若決策步級(jí)值大于拒絕臨限、而小于或等 于接受臨限τ a,輸入ζ轉(zhuǎn)送至第二個(gè)步級(jí)400 (或替代而言,僅為由第二個(gè)步級(jí)400所運(yùn)用 的彼等特征組合傳送至第二個(gè)步級(jí)400)(步驟618)。第一與第二物件可于串級(jí)的內(nèi)的任一 個(gè)步級(jí)400而接受或拒絕作為一匹配。訓(xùn)練匹配分類器一種訓(xùn)練匹配分類器218的方法將描述。公知分類器可為以學(xué)習(xí)算法AdaBoost 或AdaBoost的某種變化者而訓(xùn)練。盡管AdaBoost已證明其于一些應(yīng)用的價(jià)值,運(yùn)用于該 學(xué)習(xí)方法的算法與目標(biāo)函數(shù)具有一些限制。舉例而言,為了 AdaBoost為有效,匹配或不匹 配物件的距離度量不能顯著重迭彼此于特征空間。換言之,物件的特征應(yīng)為相當(dāng)分開一分 類空間。甚者,因?yàn)锳daBoost是運(yùn)用弱的學(xué)習(xí)器,大量的弱的學(xué)習(xí)器可能為必要以形成其 能夠達(dá)成一期望準(zhǔn)確度的一全分類器。根據(jù)一個(gè)實(shí)施例,稱為依序判別誤差最小化(SDEM,Sequential Discriminant Error Minimization)的一個(gè)替代的目標(biāo)函數(shù)與學(xué)習(xí)算法是用以訓(xùn)練匹配分類器218。 SDEM提出于Saptharishi的“依序判別誤差最小化理論與其于實(shí)時(shí)視訊物件辨識(shí)的應(yīng) 用”(Carnegie Mellon大學(xué),公元2005年),其整體內(nèi)容是以參照方式而納入于本文。SDEM 可處理其非必要為相當(dāng)分開一分類空間的特征或距離度量。不同于AdaBoost與其它類似 的激增(boosting)技術(shù),SDEM可運(yùn)用弱的學(xué)習(xí)器或其非必要視為弱的其它的判別函數(shù)。因 此,相較于AdaBoost,運(yùn)用SDEM以訓(xùn)練,一物件分類器的步級(jí)400與階段500的數(shù)目可為顯 著較小。針對(duì)于一既定特征,SDEM經(jīng)常為能夠?qū)W習(xí)針對(duì)于對(duì)應(yīng)特征空間的最佳分類器。物 件的最佳特征、距離度量、與轉(zhuǎn)變是可針對(duì)于一既定分類問題而自動(dòng)選擇。概括而言,SDEM算法是運(yùn)用以訓(xùn)練針對(duì)于各個(gè)步級(jí)400的階段500的組合。如于
式(3)所定義,一階段500包括一階段函數(shù)&&,y),其為等于特征//與//的一距離度量d 的一轉(zhuǎn)變t (即:t(d(JkxJky)))。訓(xùn)練任務(wù)是選取最佳轉(zhuǎn)變t、最佳距離度量d、與最佳特征 Λ,使當(dāng)一特定的階段500相加至一步級(jí)400,物件分類器的性能是最大化。換言之,SDEM 算法是選擇針對(duì)于一特定階段的轉(zhuǎn)變t、距離度量d、與特征^,以最大化一目標(biāo)函數(shù)。特征 的集合F與距離度量的集合D可為有限,且轉(zhuǎn)變的集合T可為連續(xù)且可微分。采用SDEM算 法,針對(duì)于一離散對(duì)(Λ,《)的各個(gè)選取,一搜尋是實(shí)行于集合T以識(shí)別其實(shí)行最佳于一訓(xùn) 練數(shù)據(jù)集的轉(zhuǎn)變t。于集合T的搜尋是運(yùn)用標(biāo)準(zhǔn)無限制最佳化技術(shù)而實(shí)行,諸如而不限于 一種準(zhǔn)牛頓(Quasi-Newton)最佳化方法。一旦最佳轉(zhuǎn)變t是針對(duì)于(又的各個(gè)選取而 識(shí)別,最佳特征/距離度量對(duì)可根據(jù)一估計(jì)概括誤差興而選擇。最佳特征/距離度量對(duì)的選擇可寫為如下
權(quán)利要求
一種相機(jī)系統(tǒng)(100),包含一影像捕捉裝置(102),具有一視野且產(chǎn)生代表該視野的多個(gè)影像的影像數(shù)據(jù);一物件偵測(cè)模塊(204),連接至該影像捕捉裝置(102)且接收該影像數(shù)據(jù),該物件偵測(cè)模塊(204)可操作以偵測(cè)出現(xiàn)于該多個(gè)影像之一或多者的物件;一物件追蹤模塊(206),連接至該物件偵測(cè)模塊(204)且可操作以暫時(shí)關(guān)聯(lián)偵測(cè)于該多個(gè)影像的一第一群組的一第一物件的實(shí)例,第一物件具有一第一簽章,其代表自第一群組的影像所導(dǎo)出的第一物件的特征;及一匹配分類器(218),連接至該物件追蹤模塊(206)以供匹配物件實(shí)例,該匹配分類器(218)可操作以由分析自第一物件的第一簽章與一第二物件的一第二簽章所導(dǎo)出的數(shù)據(jù)而匹配物件實(shí)例,第二物件是偵測(cè)于不同于第一群組的影像的一第二影像,且第二簽章代表自第二影像所導(dǎo)出的第二物件的特征,其中,該匹配分類器(218)是分析第一組資料以確定第二簽章是否為匹配第一簽章,其中,該匹配分類器(218)所操作以匹配物件實(shí)例的方式是已經(jīng)至少部分為由一種訓(xùn)練方法所確定,該種訓(xùn)練方法是運(yùn)用一組可能物件特征而自動(dòng)組態(tài)該匹配分類器(218)。
2.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,第二物件是第一物件的一實(shí)例。
3.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,第二簽章是實(shí)時(shí)產(chǎn)生。
4.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)包括組態(tài)于一串 級(jí)組態(tài)的N個(gè)決策步級(jí)(400),該N個(gè)決策步級(jí)(400)可操作以確定第一物件與第二物件是 否為匹配,其中,該N個(gè)決策步級(jí)(400)的至少一者可操作以(a)接受第一物件與第二物件 作為一匹配,(b)拒絕第一物件與第二物件作為一匹配,或(c)請(qǐng)求下一個(gè)步級(jí)以確定第二 物件是否為匹配第一物件。
5.根據(jù)權(quán)利要求4所述的相機(jī)系統(tǒng)(100),其中,N個(gè)決策步級(jí)(400)的該至少一者包 括一階段(500),用于映像該數(shù)據(jù)的一部分至相關(guān)于一匹配信賴的一純量值。
6.根據(jù)權(quán)利要求5所述的相機(jī)系統(tǒng)(100),其中,第一簽章是代表第一物件的外觀特征 且包括第一物件的一第一邊緣方位直方圖,而第二簽章是代表第二物件的外觀特征且包括 第二物件的一第二邊緣方位直方圖。
7.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一與第二邊緣方位直方圖是運(yùn)用一 可操縱的濾波器所產(chǎn)生。
8.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一與第二邊緣方位直方圖組合以產(chǎn) 生該數(shù)據(jù)的部分。
9.根據(jù)權(quán)利要求8所述的相機(jī)系統(tǒng)(100),其中,第一與第二邊緣方位直方圖是由序連 所組合。
10.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一簽章包括一第一群組的多個(gè)邊 緣方位直方圖,其對(duì)應(yīng)于第一物件的一第一組的不同空間區(qū)域,且第二簽章包括一第二群 組的多個(gè)邊緣方位直方圖,其對(duì)應(yīng)于第二物件的一第二組的不同空間區(qū)域,第二組的不同 空間區(qū)域?qū)?yīng)于第一組的不同空間區(qū)域。
11.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一簽章包括第一物件的一第一色 調(diào)直方圖與一第一強(qiáng)度直方圖,且第二簽章包括第二物件的一第二色調(diào)直方圖與一第二強(qiáng) 度直方圖。
12.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一簽章包括一第一群組的多個(gè)色 調(diào)直方圖,其對(duì)應(yīng)于第一物件的一第一組的不同空間區(qū)域,且第二簽章包括一第二群組的 多個(gè)色調(diào)直方圖,其對(duì)應(yīng)于第二物件的一第二組的不同空間區(qū)域,第二組的不同空間區(qū)域 對(duì)應(yīng)于第一組的不同空間區(qū)域。
13.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)(100),其中,第一簽章包括一第一群組的多個(gè)強(qiáng) 度直方圖,其對(duì)應(yīng)于第一物件的一第一組的不同空間區(qū)域,且第二簽章包括一第二群組的 多個(gè)強(qiáng)度直方圖,其對(duì)應(yīng)于第二物件的一第二組的不同空間區(qū)域,第二組的不同空間區(qū)域 對(duì)應(yīng)于第一組的不同空間區(qū)域。
14.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)包括組態(tài)于一 串級(jí)組態(tài)的N個(gè)決策步級(jí)(400),該N個(gè)決策步級(jí)(400)的各者包括用于映像該數(shù)據(jù)的部 分至純量值之一或多個(gè)階段(500),其中,該些階段(500)的一第一者包括用于確定一第一 純量值的一第一判別函數(shù),該些階段(500)的一第二者包括用于確定一第二純量值的一第 二判別函數(shù),且第一與第二判別函數(shù)選擇自其由不同型式的復(fù)數(shù)個(gè)判別函數(shù)所組成的一群 組。
15.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,第一簽章是自第一群組的影像所導(dǎo) 出的第一物件的累積簽章,且第二簽章是自第二影像所導(dǎo)出的第二物件的單框簽章。
16.根據(jù)權(quán)利要求15所述的相機(jī)系統(tǒng)(100),其中,第一物件的累積簽章是自第一群組 的影像所導(dǎo)出的第一物件的單框簽章的一加權(quán)平均。
17.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,該物件追蹤模塊(206)包括一運(yùn)動(dòng) 模型化模塊(1002),其為可操作以估計(jì)于該視野的依序影像之間的物件位置變化,其中,該 運(yùn)動(dòng)模型化模塊(1002)可操作以運(yùn)用為連同該匹配分類器(218)以確定第二物件是否為 第一物件的一實(shí)例。
18.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,該影像捕捉裝置(102)其彼此為連 接于一網(wǎng)絡(luò)(108)的多個(gè)影像捕捉裝置(102)的一第一者,該多個(gè)影像捕捉裝置(102)包 括一第二影像捕捉裝置(102),第一群組的影像是由第一影像捕捉裝置(102)所捕捉,且第 二影像是由第二影像捕捉裝置(102)所捕捉。
19.根據(jù)權(quán)利要求18所述的相機(jī)系統(tǒng)(100),其中,第一影像捕捉裝置(102)包括一外 殼(202),該匹配分類器(218)容納于該外殼(202)內(nèi),且第二影像捕捉裝置(102)可操作 以傳送第二物件的第二簽章至第一影像捕捉裝置(102)的該匹配分類器(218)。
20.根據(jù)權(quán)利要求19所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)是確定自第二 影像捕捉裝置(102)所傳送的第二簽章與第一物件的第一簽章為匹配,且第一影像捕捉裝 置(102)是可操作以通知第二影像捕捉裝置(102)該匹配。
21.根據(jù)權(quán)利要求18所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)遠(yuǎn)離第一與第 二影像捕捉裝置(102)的一處理器的部分,且第一與第二影像捕捉裝置(102)可操作以分 別傳送第一與第二簽章至該處理器。
22.根據(jù)權(quán)利要求21所述的相機(jī)系統(tǒng)(100),其中,當(dāng)該處理器確定第一與第二簽章為 匹配,該處理器可操作以傳送一通知至第一與第二影像捕捉裝置(102)的一者或二者。
23.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,第二物件偵測(cè)于第二影像的多個(gè)物 件之一,且第一物件為由該物件追蹤模塊(206)所追蹤的多個(gè)追蹤物件之一,該相機(jī)系統(tǒng)(100)包含一物件分類模塊(210),該物件分類模塊(210)可操作以分類物件作為一物件類別的 成員或非成員;及一物件種類化模塊(216),連接至該匹配分類器(218)與該物件分類模塊(210),該物 件種類化模塊(216)可操作以確定該匹配分類器(218)為企圖以匹配該些追蹤的物件與偵 測(cè)于第二影像的多個(gè)物件的一順序,該順序是基于由該物件分類模塊(210)所確定的該些 追蹤的物件的分類。
24.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),其中,第一簽章是一累積簽章,其代表自 第一群組的影像所導(dǎo)出的第一物件的單框簽章的一加權(quán)平均,第二簽章代表自第二影像所 導(dǎo)出的第二物件的一單框簽章,且該匹配分類器(218)是確定第二物件為第一物件的一實(shí) 例。
25.根據(jù)權(quán)利要求24所述的相機(jī)系統(tǒng)(100),包含一數(shù)據(jù)庫(112),用于儲(chǔ)存?zhèn)蓽y(cè)的物件的平均簽章,該些平均簽章是該些偵測(cè)的物件的 索引元素;及一物件索引模塊(212),連接至該匹配分類器(218)與該數(shù)據(jù)庫(112),該物件索引模 塊(212)可操作以產(chǎn)生第一物件的一第一平均簽章,第一平均簽章是代表第一物件的單框 簽章的一平均,其中,該物件索引模塊(212)可操作以供應(yīng)第一平均簽章至該數(shù)據(jù)庫(112) 以供儲(chǔ)存。
26.根據(jù)權(quán)利要求25所述的相機(jī)系統(tǒng)(100),其中,自第一物件的第一簽章與第二物件 的第二簽章所導(dǎo)出的該數(shù)據(jù)是一第一組的數(shù)據(jù),該物件索引模塊(212)可操作以請(qǐng)求該匹 配分類器(218)以確定第二物件的第二簽章是否為作用至第一平均簽章,且該匹配分類器 (218)可操作以分析其代表第一簽章與第一平均簽章的一第二組的資料,以確定第一簽章 與第一平均簽章是否為匹配。
27.根據(jù)權(quán)利要求26所述的相機(jī)系統(tǒng)(100),其中,當(dāng)該匹配分類器(218)是確定第一 簽章為匹配第一平均簽章,該物件索引模塊(212)可操作以借著自第二簽章的作用而更新 第一平均簽章。
28.根據(jù)權(quán)利要求26所述的相機(jī)系統(tǒng)(100),其中,當(dāng)該匹配分類器(218)是確定第一 簽章為未匹配第一平均簽章,該物件索引模塊(212)是可操作以產(chǎn)生針對(duì)于第一物件的一 第二平均簽章,第二平均簽章包括自第二簽章的作用,且該物件索引模塊(212)可操作以 供應(yīng)第一與第二平均簽章至該數(shù)據(jù)庫(112)以供儲(chǔ)存。
29.根據(jù)權(quán)利要求28所述的相機(jī)系統(tǒng)(100),其中,第一平均簽章是代表第一物件的一 第一視圖,且第二平均簽章是代表第一物件的一第二視圖。
30.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)(100),包含一數(shù)據(jù)庫(112),用于儲(chǔ)存?zhèn)蓽y(cè)的物件的簽章,該數(shù)據(jù)庫(112)提供一索引至該些偵測(cè) 的物件的影像;一使用者接口(104),連接至該影像捕捉裝置(102)且包括用于提出該視野的多個(gè)影 像至一使用者的一顯示器(114),該使用者接口(104)包括一輸入裝置(116),其致能于該 多個(gè)影像之一或多者所出現(xiàn)的一物件的使用者選擇,其中,其包括第一物件的一代表的第 一群組的一影像提出于該顯示器(114),且第一物件由該使用者所選擇;及一搜尋模塊(214),連接至該使用者接口(104)、該數(shù)據(jù)庫(112)、及該匹配分類器 (218),該搜尋模塊(214)可操作以搜尋儲(chǔ)存于該數(shù)據(jù)庫(112)的簽章以識(shí)別第一物件是否 出現(xiàn)于該些偵測(cè)的物件的一第二群組的影像,該搜尋模塊(214)可操作以請(qǐng)求該匹配分類 器(218)以確定第一物件的第一簽章是否為匹配其儲(chǔ)存于該數(shù)據(jù)庫(112)的簽章之一或多者ο
31.根據(jù)權(quán)利要求30所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)是可操作以產(chǎn) 生于第一簽章與儲(chǔ)存于該數(shù)據(jù)庫(112)的簽章之間所作成的匹配的信賴度,且該搜尋模塊 (214)是可操作以產(chǎn)生根據(jù)信賴度所組織的一匹配表。
32.根據(jù)權(quán)利要求31所述的相機(jī)系統(tǒng)(100),其中,儲(chǔ)存于該數(shù)據(jù)庫(112)的簽章包括 該些偵測(cè)的物件的平均簽章,其代表自該些偵測(cè)的物件為出現(xiàn)于其的第二群組的影像所導(dǎo) 出的單框簽章的平均,且儲(chǔ)存于該數(shù)據(jù)庫(112)的簽章包括該些偵測(cè)的物件的快速簽章, 其代表該些平均簽章的簡(jiǎn)化。
33.根據(jù)權(quán)利要求32所述的相機(jī)系統(tǒng)(100),其中,第一物件包括代表第一簽章的一簡(jiǎn) 化者的一快速簽章,且該搜尋模塊(214)可操作以比較第一物件的快速簽章與儲(chǔ)存于該數(shù) 據(jù)庫(112)的快速簽章以識(shí)別未對(duì)應(yīng)于第一物件的該些偵測(cè)的物件的一片段。
34.根據(jù)權(quán)利要求33所述的相機(jī)系統(tǒng)(100),其中,自第一物件的第一簽章與第二物件 的第二簽章所導(dǎo)出的該數(shù)據(jù)是一第一組的資料,且該匹配分類器(218)可操作以分析一第 二組的數(shù)據(jù),其代表第一物件的第一簽章與非為該片段的成員的該些偵測(cè)的物件的平均簽
35.根據(jù)權(quán)利要求31的相機(jī)系統(tǒng)(100),其中,當(dāng)該匹配分類器(218)確定第一簽章為 匹配該些偵測(cè)的物件的一第一者的一簽章時(shí),該搜尋模塊(214)可操作以擷取代表該些偵 測(cè)的物件的該第一者的一影像的影像數(shù)據(jù)以供傳送至該使用者接口(104)。
36.根據(jù)權(quán)利要求31所述的相機(jī)系統(tǒng)(100),其中,該影像捕捉裝置(102)是彼此為連 接于一網(wǎng)絡(luò)(108)的多個(gè)影像捕捉裝置(102)的一第一者,且該多個(gè)影像捕捉裝置(102) 包括一第二影像捕捉裝置(102)。
37.根據(jù)權(quán)利要求36所述的相機(jī)系統(tǒng)(100),其中,第一群組的影像是由第一影像捕捉 裝置(102)所捕捉,且第二群組的影像是由第二影像捕捉裝置(102)所捕捉。
38.根據(jù)權(quán)利要求37所述的相機(jī)系統(tǒng)(100),其中,第二影像捕捉裝置(102)包括一外 殼(202),該匹配分類器(218)容納于該外殼(202)內(nèi)。
39.根據(jù)權(quán)利要求37所述的相機(jī)系統(tǒng)(100),其中,該匹配分類器(218)遠(yuǎn)離第一與第 二影像捕捉裝置(102)的一處理器的部分。
40.一種追蹤物件的方法,該物件是由一相機(jī)系統(tǒng)(100)所捕捉,該方法包含捕捉該相機(jī)系統(tǒng)(100)的一視野的第一與第二影像;偵測(cè)捕捉于第一影像的一第一物件與捕捉于第二影像的一第二物件;產(chǎn)生第一物件的一第一簽章與第二物件的一第二簽章,第一簽章代表第一物件的一第 一組的特征,且第二簽章代表第二物件的一第二組的特征;產(chǎn)生自第一與第二簽章所導(dǎo)出的數(shù)據(jù),該數(shù)據(jù)對(duì)應(yīng)于自第一組所選擇的一第一子集的 特征及自第二組所選擇的一第二子集的特征,其中,一訓(xùn)練方法是自動(dòng)確定被選擇以納入 于第一與第二子集的第一與第二組的特征;及分析該數(shù)據(jù)以確定第二物件是否為第一物件的一實(shí)例。
41.根據(jù)權(quán)利要求40所述的方法,其中,包含確定第二物件為第一物件的一實(shí)例。
42.根據(jù)權(quán)利要求40所述的方法,其中,第二簽章是實(shí)時(shí)產(chǎn)生。
43.根據(jù)權(quán)利要求40所述的方法,其中,第一與第二簽章的部分是組合以產(chǎn)生該數(shù)據(jù)。
44.根據(jù)權(quán)利要求43所述的方法,其中,該相機(jī)系統(tǒng)(100)包括一匹配分類器(218), 且該匹配分類器(218)包括組態(tài)于一串級(jí)組態(tài)的N個(gè)決策步級(jí)(400),該N個(gè)決策步級(jí) (400)的各者包括用于分析該數(shù)據(jù)的部分的一或多個(gè)階段(500)。
45.根據(jù)權(quán)利要求44所述的方法,其中,第一子集的特征包括第一物件的一第一邊緣 方位直方圖的外觀特征,且第二子集的特征包括第二物件的一第二邊緣方位直方圖的外觀 特征。
46.根據(jù)權(quán)利要求45所述的方法,其中,一階段(500)映射自第一與第二邊緣方位直方 圖所導(dǎo)出的該資料的一部分至其代表一相似性的度量的一純量值。
47.根據(jù)權(quán)利要求40所述的方法,其中,第一簽章是一累積簽章,其代表自第一物件的 多個(gè)影像所導(dǎo)出的單框簽章的一加權(quán)平均,該方法包含當(dāng)?shù)诙锛堑谝晃锛囊粚?shí)例時(shí),更新第一物件的第一簽章,其中,第二簽章借著該 累積簽章所加權(quán)及平均。
48.根據(jù)權(quán)利要求40所述的方法,其中,該相機(jī)系統(tǒng)(100)包括彼此為連接于一網(wǎng)絡(luò) (108)的第一與第二影像捕捉裝置(102),第一與第二影像捕捉裝置(102)分別具有一第一 視野與一第二視野,該相機(jī)系統(tǒng)(100)的視野是對(duì)應(yīng)于組合的第一視野與第二視野,第一 物件的第一影像是由第一影像捕捉裝置(102)所捕捉,且第二物件的第二影像是由第二影 像捕捉裝置(102)所捕捉。
49.根據(jù)權(quán)利要求48所述的方法,其中,第二影像捕捉裝置(102)包括用于分析該數(shù)據(jù) 的一匹配分類器(218),該種方法包含自第一影像捕捉裝置(102)而傳送第二簽章至第二影像捕捉裝置(102)。
50.根據(jù)權(quán)利要求48所述的方法,其中,遠(yuǎn)離第一與第二影像捕捉裝置(102)的一處理 器包括用于分析該數(shù)據(jù)的一匹配分類器(218),該方法包含分別自第一與第二影像捕捉裝置(102)而傳送第一與第二簽章至該處理器。
51.一種產(chǎn)生于相機(jī)系統(tǒng)(100)所捕捉的影像的物件的索引元素的方法,該方法包含捕捉于該相機(jī)系統(tǒng)(100)的一視野的一物件的一第一群組的多個(gè)影像;偵測(cè)于第一群組的多個(gè)影像的該物件;產(chǎn)生該物件的一第一組的單框簽章,第一組的單框簽章對(duì)應(yīng)于自第一群組的多個(gè)影像 所導(dǎo)出的該物件的特征;產(chǎn)生該物件的一第一平均簽章,第一平均簽章是第一組的單框簽章的一平均值,且第 一平均簽章是該物件的一第一索引元素;產(chǎn)生該物件的一累積簽章,該累積簽章是第一組的單框簽章的一加權(quán)平均值;捕捉該物件的一第二影像;偵測(cè)于第二影像的該物件;產(chǎn)生自第二影像所導(dǎo)出的一第二單框簽章;更新該累積簽章,由加權(quán)第二單框簽章且平均該加權(quán)的第二單框簽章與該累積簽章;確定是否接受或拒絕該更新累積簽章與第一平均簽章作為一匹配,其中,當(dāng)該更新累 積簽章與第一平均簽章接受作為一匹配,第一平均簽章是基于第二單框簽章而更新,而當(dāng) 該更新累積簽章與第一平均簽章拒絕作為一匹配,該物件的一第二平均簽章是基于第二單 框簽章而產(chǎn)生,第二平均簽章是該物件的一第二索引元素。
52.根據(jù)權(quán)利要求51所述的方法,其中,包含 拒絕該更新累積簽章與第一平均簽章作為一匹配;及 儲(chǔ)存該物件的第一與第二索引元素于一數(shù)據(jù)庫(112)。
53.根據(jù)權(quán)利要求52所述的方法,其中,第一平均簽章代表該物件的一第一視圖,且第 二平均簽章代表該物件的一第二視圖。
54.一種搜尋數(shù)據(jù)的方法,以識(shí)別由一相機(jī)系統(tǒng)(100)所捕捉的一物件的影像,該方法 包含捕捉于該相機(jī)系統(tǒng)(100)的一視野的一影像的一第一物件,第一物件具有代表第一物 件的特征的一第一簽章;顯示第一物件的一影像于一顯示器(114); 接受表示第一物件的一選擇的使用者輸入;對(duì)于關(guān)于第一簽章是否為匹配對(duì)應(yīng)于該視野的影像所捕捉的一組的物件的一群組的 一或多個(gè)簽章作出確定;及當(dāng)該組的一第二物件的一第二簽章為匹配第一簽章時(shí),送出通知。
55.根據(jù)權(quán)利要求54所述的方法,其中,該通知包括顯示第二物件的一影像于該顯示 器(114)。
56.根據(jù)權(quán)利要求54所述的方法,其中,該相機(jī)系統(tǒng)(100)包括第一與第二影像捕捉 裝置(102),其為于一網(wǎng)絡(luò)(108)而連接至彼此及該顯示器(114),第一與第二影像捕捉裝 置(102)分別具有一第一視野與一第二視野,該相機(jī)系統(tǒng)(100)的視野是對(duì)應(yīng)于組合的第 一視野與第二視野,第一物件的影像是由第一影像捕捉裝置(102)所產(chǎn)生,且第二物件的 影像是由第二影像捕捉裝置(102)所捕捉。
57.根據(jù)權(quán)利要求54所述的方法,其中,第一物件包括其代表第一簽章的一簡(jiǎn)化者 的一快速簽章,且該組的物件包括其代表該群組的簽章的簡(jiǎn)化者的快速簽章,該種方法包 含在對(duì)于關(guān)于該群組的簽章是否為匹配第一簽章作出確定之前,比較第一物件的快速簽 章與該組的物件的快速簽章。
58.根據(jù)權(quán)利要求54所述的方法,其中,包含自一數(shù)據(jù)庫(112)擷取該群組的簽章。
59.一種相機(jī)系統(tǒng)(100),包含一影像捕捉裝置(102),具有一視野且產(chǎn)生代表該視野的多個(gè)影像的影像數(shù)據(jù); 一物件偵測(cè)模塊(204),連接至該影像捕捉裝置(102)且接收該影像數(shù)據(jù),該物件偵測(cè) 模塊(204)可操作以偵測(cè)出現(xiàn)于該多個(gè)影像之一或多者的物件;一使用者接口(104),連接至該影像捕捉裝置(102),該使用者接口(104)包括一顯示 器(114)與一輸入裝置(116),該顯示器(114)是用于顯示由該物件偵測(cè)模塊(204)所偵測(cè) 的物件,該輸入裝置(116)可操作以響應(yīng)于使用者命令而選擇由該物件偵測(cè)模塊(204)所偵測(cè)的物件;一匹配分類器(218),可操作以匹配由該物件偵測(cè)模塊(204)所偵測(cè)的物件; 一物件追蹤模塊(206),連接至該匹配分類器(218)與該物件偵測(cè)模塊(204),該物件 追蹤模塊(206)可操作以暫時(shí)關(guān)聯(lián)由該物件偵測(cè)模塊(204)所偵測(cè)的物件的實(shí)例,其中,該 物件追蹤模塊(206)可操作以請(qǐng)求該匹配分類器(218)以確定是否關(guān)聯(lián)物件的實(shí)例;及一搜尋模塊(214),連接至該匹配分類器(218)與該使用者接口(104),該搜尋模塊 (214)可操作以擷取由該輸入裝置(116)所選擇的物件的儲(chǔ)存影像,該搜尋模塊(214)可操 作以請(qǐng)求該匹配分類器(218)以找出一選擇物件的一儲(chǔ)存影像。
60.根據(jù)權(quán)利要求59所述的相機(jī)系統(tǒng)(100),其中,包含一物件索引模塊(212),連接 至該匹配分類器(218)與該物件偵測(cè)模塊(204),該物件索引模塊(212)可操作以產(chǎn)生針對(duì) 于由該物件偵測(cè)模塊(204)所偵測(cè)的物件的一或多個(gè)索引元素,該物件索引模塊(212)可 操作以請(qǐng)求該匹配分類器(218)以確定是否產(chǎn)生針對(duì)于一偵測(cè)的物件的一新索引元素。
全文摘要
一種相機(jī)系統(tǒng)(100)包含一影像捕捉裝置(102)、一物件偵測(cè)模塊(204)、一物件追蹤模塊(206)、及一匹配分類器(218)。物件偵測(cè)模塊(204)接收影像數(shù)據(jù)且偵測(cè)出現(xiàn)于該些影像之一或多者的物件。物件追蹤模塊(206)暫時(shí)關(guān)聯(lián)偵測(cè)于該些影像的一第一群組的一第一物件的實(shí)例。第一物件是具有代表第一物件特征的一第一簽章。匹配分類器(218)是由分析自第一物件的第一簽章與偵測(cè)于一第二影像的一第二物件的一第二簽章所導(dǎo)出的數(shù)據(jù)而匹配物件實(shí)例。第二簽章代表自第二影像所導(dǎo)出的第二物件的特征。匹配分類器(218)是確定第二簽章是否為匹配第一簽章。一種訓(xùn)練方法是運(yùn)用一組可能物件特征而自動(dòng)組態(tài)該匹配分類器(218)。
文檔編號(hào)H04N7/18GK101965576SQ200980107333
公開日2011年2月2日 申請(qǐng)日期2009年3月3日 優(yōu)先權(quán)日2008年3月3日
發(fā)明者莎薩芮許·馬哈詡, 里森·狄米翠·A 申請(qǐng)人:視頻監(jiān)控公司