System，分布式文件系統(tǒng))進(jìn)行文件分布式存儲，使用HBase進(jìn)行數(shù)據(jù)存儲，使用Hive構(gòu)建分布式數(shù)據(jù)倉庫。Hi ve為HBase提供高層語言支持，便于在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理。并行計(jì)算層使用MapReduce、Spark、Storm構(gòu)建計(jì)算框架，使用YARN(Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者)進(jìn)行資源管理。數(shù)據(jù)分析層包含視頻檢索系統(tǒng)的核心算法，如視頻濃縮算法、視頻檢索算法。數(shù)據(jù)服務(wù)層包含各類算法服務(wù)引擎。數(shù)據(jù)應(yīng)用層包括視頻檢索互動(dòng)門戶、Web配置、運(yùn)維監(jiān)控等。集群節(jié)點(diǎn)通過Zookeeper進(jìn)行管理協(xié)調(diào)。
[0078]上述系統(tǒng)具有以下優(yōu)點(diǎn):
[0079]1.在線分析采用Storm流式計(jì)算框架，離線分析采用Hadoop生態(tài)系統(tǒng)的MapReduce。在線分析與離線分析計(jì)算框架分離，充分發(fā)揮不同技術(shù)優(yōu)勢。
[0080]2.Spark引入RDD(Resilient Distributed Dataset，彈性分布式數(shù)據(jù)集)，所有統(tǒng)計(jì)分析認(rèn)為被編譯成對RDD的若干基本操作組成的有向無環(huán)圖(DAG) ADD可以被駐留在內(nèi)存中，后續(xù)的任務(wù)可以直接讀取內(nèi)存中的數(shù)據(jù)。同時(shí)分析DAG中任務(wù)之間的依賴性可以把相鄰的任務(wù)合并，從而減少了大量中間結(jié)果輸出，極大減少了磁盤I/O。能夠充分利用Spark基于內(nèi)存計(jì)算的高速高效計(jì)算框架，進(jìn)行實(shí)時(shí)查詢、流處理、迭代算法、復(fù)雜操作運(yùn)算等。
[0081 ] 3.面對監(jiān)控系統(tǒng)的海量視頻，如果直接從HDFS上讀寫視頻是比較花費(fèi)時(shí)間的。HBase是一個(gè)在HDFS上開發(fā)的面向列的分布式數(shù)據(jù)庫，適合實(shí)時(shí)地隨機(jī)讀/寫超大規(guī)模數(shù)據(jù)集。將根據(jù)視頻中的圖像序列及其特征、視頻中出現(xiàn)的運(yùn)動(dòng)目標(biāo)等內(nèi)容劃分列族，在此基礎(chǔ)上細(xì)分列。檢索時(shí)只需查找特征列族，并進(jìn)行列族內(nèi)分列內(nèi)容的匹配即可，從而達(dá)到效率的提升。
[0082]4.由于系統(tǒng)高并發(fā)量特點(diǎn)，采用對數(shù)據(jù)庫進(jìn)行讀寫分離設(shè)計(jì)，即將讀數(shù)據(jù)和寫數(shù)據(jù)進(jìn)行分離，以提高數(shù)據(jù)訪問可用性。
[0083]上述基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)，基于Hadoop平臺對監(jiān)控視頻信息進(jìn)行預(yù)處理，并將得出的特征信息存儲在對應(yīng)的數(shù)據(jù)庫中；在各種數(shù)據(jù)庫中同時(shí)檢索符合檢索條件信息的特征信息，并根據(jù)檢索出的特征信息從監(jiān)控視頻信息中得出候選檢索目標(biāo)，能夠有效的提高監(jiān)控視頻檢索效率，增快監(jiān)控視頻檢索的速度。
[0084]以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種基于Hadoop平臺的監(jiān)控視頻檢索方法，其特征在于，包括: 基于Hadoop平臺，對監(jiān)控視頻信息同時(shí)進(jìn)行兩種以上的預(yù)設(shè)處理，并將經(jīng)過處理得出的特征信息存儲在對應(yīng)的數(shù)據(jù)庫中；所述數(shù)據(jù)庫分為兩種以上，每種所述數(shù)據(jù)庫存儲一種所述特征信息； 接收輸入的檢索條件信息，在各種所述數(shù)據(jù)庫中同時(shí)檢索符合所述檢索條件信息的所述特征信息，并根據(jù)檢索出的所述特征信息從所述監(jiān)控視頻信息中得出一個(gè)以上的候選檢索目標(biāo);所述特征信息的條數(shù)為一個(gè)以上，每條所述特征信息對應(yīng)一個(gè)所述候選檢索目標(biāo)。2.根據(jù)權(quán)利要求1所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，其特征在于，所述預(yù)設(shè)處理包括關(guān)鍵幀處理和視頻摘要處理;所述數(shù)據(jù)庫包括關(guān)鍵幀庫和視頻摘要庫； 所述關(guān)鍵幀處理包括:從所述監(jiān)控視頻信息中提取反映視頻主要事件的關(guān)鍵幀;對所述關(guān)鍵幀進(jìn)行圖像特征提取;將所述關(guān)鍵幀和所述圖像特征存儲至所述關(guān)鍵幀庫中；其中，所述圖像特征包括顏色、紋理和輪廓中的至少一種； 所述視頻摘要處理包括:將監(jiān)控視頻信息進(jìn)行濃縮，得出視頻摘要和運(yùn)動(dòng)特征序列;將所述視頻摘要和所述運(yùn)動(dòng)特征序列存儲至所述視頻摘要庫中。3.根據(jù)權(quán)利要求2所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，其特征在于，在所述對監(jiān)控視頻信息同時(shí)進(jìn)行兩種以上的預(yù)設(shè)處理步驟之前，還包括: 對所述監(jiān)控視頻信息進(jìn)行鏡頭邊界檢測，將所述監(jiān)控視頻信息進(jìn)行分割。4.根據(jù)權(quán)利要求2所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，其特征在于，所述在所述數(shù)據(jù)庫中檢索符合所述檢索條件信息的所述特征信息，并根據(jù)檢索出的所述特征信息從所述監(jiān)控視頻信息中得出一個(gè)以上的候選檢索目標(biāo)步驟包括: 同時(shí)從所述關(guān)鍵幀庫和所述視頻摘要庫中按照所述檢索條件信息進(jìn)行特征匹配檢索； 若先從所述關(guān)鍵幀庫中匹配成功，則根據(jù)對應(yīng)的關(guān)鍵幀定位出所述候選檢索目標(biāo)在所述監(jiān)控視頻信息中的位置； 若先從所述視頻摘要庫中匹配成功，則根據(jù)對應(yīng)的視頻摘要定位出所述候選檢索目標(biāo)在所述監(jiān)控視頻信息中的位置。5.根據(jù)權(quán)利要求4所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，所述檢索條件信息為文本、圖像或視頻。6.根據(jù)權(quán)利要求4所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，根據(jù)相似度度量方法進(jìn)行特征匹配檢索； 其中，所述相似度度量方法包括:距離度量方法或關(guān)聯(lián)系數(shù)計(jì)算方法。7.根據(jù)權(quán)利要求1至6任意一項(xiàng)所述的基于Hadoop平臺的監(jiān)控視頻檢索方法，其特征在于，所述基于Hadoop平臺的監(jiān)控視頻檢索方法還包括: 將各個(gè)所述候選檢索目標(biāo)按照符合度的大小進(jìn)行排序并輸出。8.一種基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)，其特征在于，包括監(jiān)控視頻處理模塊、目標(biāo)檢索模塊和數(shù)據(jù)庫； 所述監(jiān)控視頻處理模塊，被配置以基于Hadoop平臺，對監(jiān)控視頻信息同時(shí)進(jìn)行兩種以上的預(yù)設(shè)處理，并將經(jīng)過處理得出的特征信息存儲在所述數(shù)據(jù)庫中；所述數(shù)據(jù)庫分為兩種以上，每種所述數(shù)據(jù)庫存儲一種所述特征信息； 所述目標(biāo)檢索模塊，被配置以接收輸入的檢索條件信息，在各種所述數(shù)據(jù)庫中同時(shí)檢索符合所述檢索條件信息的所述特征信息，并根據(jù)檢索出的所述特征信息從所述監(jiān)控視頻信息中得出一個(gè)以上的候選檢索目標(biāo);所述特征信息的條數(shù)為一個(gè)以上，每條所述特征信息對應(yīng)一個(gè)所述候選檢索目標(biāo)。9.根據(jù)權(quán)利要求8所述的基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)，其特征在于，所述監(jiān)控視頻處理模塊包括關(guān)鍵幀處理單元和視頻摘要處理單元;所述數(shù)據(jù)庫包括關(guān)鍵幀庫和視頻摘要庫； 所述關(guān)鍵幀處理單元，被配置以從所述監(jiān)控視頻信息中提取反映視頻主要事件的關(guān)鍵幀，并對所述關(guān)鍵幀進(jìn)行圖像特征提取，以及將所述關(guān)鍵幀和所述圖像特征存儲至所述關(guān)鍵幀庫中；其中，所述圖像特征包括顏色、紋理和輪廓中的至少一種； 所述視頻摘要處理單元，被配置以將監(jiān)控視頻信息進(jìn)行濃縮，得出視頻摘要和運(yùn)動(dòng)特征序列，并將所述視頻摘要和所述運(yùn)動(dòng)特征序列存儲至所述視頻摘要庫中。10.根據(jù)權(quán)利要求9所述的基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)，其特征在于，所述監(jiān)控視頻處理模塊還包括鏡頭邊界檢測單元； 所述鏡頭邊界檢測單元，被配置以對所述監(jiān)控視頻信息進(jìn)行鏡頭邊界檢測，將所述監(jiān)控視頻信息進(jìn)行分割。11.根據(jù)權(quán)利要求8至10任意一項(xiàng)所述的基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)，其特征在于，還包括檢索目標(biāo)排序輸出模塊； 所述檢索目標(biāo)排序輸出模塊，被配置以將各個(gè)所述候選檢索目標(biāo)按照符合度的大小進(jìn)行排序并輸出。
【專利摘要】本發(fā)明公開一種基于Hadoop平臺的監(jiān)控視頻檢索方法，包括：基于Hadoop平臺，對監(jiān)控視頻信息同時(shí)進(jìn)行兩種以上的預(yù)設(shè)處理，并將經(jīng)過處理得出的特征信息存儲在對應(yīng)的數(shù)據(jù)庫中；接收輸入的檢索條件信息，在各種數(shù)據(jù)庫中同時(shí)檢索符合檢索條件信息的特征信息，并根據(jù)檢索出的特征信息從監(jiān)控視頻信息中得出一個(gè)以上的候選檢索目標(biāo)；其中，數(shù)據(jù)庫分為兩種以上，每種數(shù)據(jù)庫存儲一種特征信息；特征信息的條數(shù)為一個(gè)以上，每條特征信息對應(yīng)一個(gè)候選檢索目標(biāo)。上述方法能夠有效的提高監(jiān)控視頻檢索效率，增快監(jiān)控視頻檢索的速度。本發(fā)明還公開一種基于Hadoop平臺的監(jiān)控視頻檢索系統(tǒng)。
【IPC分類】G06F17/30
【公開號】CN105589974
【申請?zhí)枴緾N201610080204
【發(fā)明人】王玨, 王平, 李洪研
【申請人】通號通信信息集團(tuán)有限公司
【公開日】2016年5月18日
【申請日】2016年2月4日