專利名稱：基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種視頻跟蹤裝置，具體涉及ー種基于麥克風(fēng)陣列的視頻跟蹤裝置。
背景技術(shù)：
在如今的日常可生活中無(wú)論是學(xué)校、公共場(chǎng)所、路旁、商場(chǎng)、社區(qū)攝像頭幾乎無(wú)處不在，監(jiān)控?cái)z像頭為保護(hù)公眾的人身財(cái)產(chǎn)安全，維護(hù)公共秩序，促進(jìn)交通安全起到了不可或缺的作用。但注意觀察我們可以發(fā)現(xiàn)這些攝像頭大多是固定不動(dòng)，即使少數(shù)攝像頭是能夠自動(dòng)旋轉(zhuǎn)但是在某一單位時(shí)間內(nèi)它依然是對(duì)準(zhǔn)某一方位，別有用心的人只要把握好他的轉(zhuǎn)動(dòng)周期就完全可以躲過攝像頭的拍攝。也就是說(shuō)傳統(tǒng)攝像頭監(jiān)控方位是靜態(tài)的，只能監(jiān)控有限的方位區(qū)間。這樣的監(jiān)控系統(tǒng)監(jiān)控方位區(qū)間狹窄，難免存在很大的監(jiān)控盲區(qū)，無(wú)法很好得實(shí)現(xiàn)監(jiān)控。那么這個(gè)問題又該如何解決呢？不難提出兩種方案第一，安裝更多的攝像頭以實(shí)現(xiàn)全面的監(jiān)控覆蓋；第二，通過某種技術(shù)以實(shí)現(xiàn)攝像頭的跟蹤拍攝。第一種方案無(wú)疑會(huì) 大大的増加監(jiān)控成本，同時(shí)也增加了監(jiān)控視頻的存儲(chǔ)量，相應(yīng)的也就縮短了監(jiān)控視頻的存儲(chǔ)時(shí)間。因此采用第二套解決方案較為適合。目前，各種視頻跟蹤設(shè)計(jì)方案和有關(guān)產(chǎn)品被相繼推出，國(guó)內(nèi)主要有
I)謝進(jìn)一等人設(shè)計(jì)了一種加裝有數(shù)據(jù)采集卡和自動(dòng)跟蹤軟件的閉路電視自動(dòng)跟蹤系統(tǒng)，該系統(tǒng)成本低、維護(hù)方便，可實(shí)現(xiàn)手動(dòng)選擇所要跟蹤目標(biāo)，然后對(duì)其實(shí)現(xiàn)一定范圍內(nèi)的自動(dòng)跟蹤；2)劉成剛等人設(shè)計(jì)了異常目標(biāo)發(fā)現(xiàn)及跟蹤攝像機(jī)系統(tǒng)，該系統(tǒng)由攝像機(jī)、云臺(tái)、圖像采集視頻解碼芯片、數(shù)字圖像處理DSP、云臺(tái)控制單片機(jī)等構(gòu)成，可以實(shí)現(xiàn)入侵目標(biāo)快速檢測(cè)和跟蹤；3)曾文斌設(shè)計(jì)了具有多攝像機(jī)的智能跟蹤監(jiān)視系統(tǒng)，該系統(tǒng)由全景攝像機(jī)和多個(gè)跟蹤攝像機(jī)構(gòu)成，可以進(jìn)行大范圍、多目標(biāo)檢測(cè)和跟蹤；4)江郁霖設(shè)計(jì)了環(huán)場(chǎng)攝影監(jiān)視追蹤系統(tǒng)，該系統(tǒng)由ー個(gè)環(huán)場(chǎng)攝像機(jī)、ー個(gè)高速球攝像機(jī)、坐標(biāo)轉(zhuǎn)移模塊、初始化校對(duì)模塊、現(xiàn)實(shí)模塊等構(gòu)成，可以環(huán)場(chǎng)追蹤、監(jiān)視目標(biāo)而不產(chǎn)生監(jiān)視死角問題；5)目前市面上出現(xiàn)了自動(dòng)跟蹤的球型攝像機(jī)，可以按照預(yù)先編程的邏輯路線掃描ー個(gè)區(qū)域，當(dāng)發(fā)現(xiàn)運(yùn)動(dòng)目標(biāo)吋，停止執(zhí)行巡邏程序，發(fā)出警報(bào)引起現(xiàn)場(chǎng)監(jiān)視人員注意，并對(duì)目標(biāo)圖像變焦放大和跟蹤錄像，一定程度上實(shí)現(xiàn)了主動(dòng)監(jiān)視。國(guó)外主要有I) Murakami等人設(shè)計(jì)的全天候視頻監(jiān)視系統(tǒng)方案，主要由一臺(tái)可見光攝像機(jī)和一臺(tái)紅外攝像機(jī)及相關(guān)控制設(shè)備組成，該系統(tǒng)循環(huán)采用可見光攝像機(jī)和紅外攝像機(jī)自動(dòng)監(jiān)測(cè)和跟蹤入侵目標(biāo)，有效杜絕了外界光線情況影響，并有目標(biāo)識(shí)別功能；2) Ishigami等人提出的聯(lián)合攝像機(jī)視頻監(jiān)控系統(tǒng)，多個(gè)攝像機(jī)聯(lián)合檢測(cè)和跟蹤異常目標(biāo)，其中包括一個(gè)可控的PTZ攝像機(jī)，等等。注意觀察不難發(fā)現(xiàn)現(xiàn)如今的視頻跟蹤系統(tǒng)多采用了圖像處理的方法實(shí)現(xiàn)對(duì)與目標(biāo)點(diǎn)的跟蹤。這種跟蹤方法就好似我們的眼睛捕捉景物，當(dāng)目標(biāo)物體未出現(xiàn)在攝像頭的監(jiān)控范圍內(nèi)時(shí)它就無(wú)法實(shí)現(xiàn)目標(biāo)物體的跟蹤。如果只依靠這種監(jiān)控方案進(jìn)行視頻跟蹤那么就必須首先實(shí)現(xiàn)攝像頭監(jiān)控范圍的全方位覆蓋，這無(wú)疑又大大增加了監(jiān)控成本，失去了視頻跟蹤監(jiān)控的主要價(jià)值。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是現(xiàn)有視頻監(jiān)控設(shè)備需要安裝較大量的攝像頭、増加了成本，提供一種可以減少攝像頭數(shù)量、降低成本的基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)。
本發(fā)明的技術(shù)方案是以下述方式實(shí)現(xiàn)的一種基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)，包括若干個(gè)麥克風(fēng)，將采集到的音頻信號(hào)轉(zhuǎn)化為模擬信號(hào)輸入到音頻采集模塊中；音頻采集模塊，把麥克風(fēng)輸出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)后傳輸給DSP數(shù)字信號(hào)處理器；DSP數(shù)字信號(hào)處理器，通過外部存儲(chǔ)器接ロ從Falsh模塊中提取算法程序，處理音頻采集模塊傳來(lái)的信號(hào)得到方位角和控制信號(hào)、通過EMIF輸出方位角和控制信號(hào)到UART模塊來(lái)對(duì)DSP輸出的并行控制信號(hào)進(jìn)行并串轉(zhuǎn)換，而后與FPGA模塊實(shí)現(xiàn)信號(hào)傳輸；鎖相環(huán)，使得各路音頻采集模塊的時(shí)鐘同步；FLASH模塊，向DSP數(shù)字信號(hào)處理器傳輸算法程序；FPGA模塊，對(duì)FLASH模塊進(jìn)行翻頁(yè)、對(duì)PLL輸出頻率進(jìn)行控制、對(duì)UART輸出串行信號(hào)頻率進(jìn)行控制、對(duì)外部存儲(chǔ)器接ロ EMIF進(jìn)行控制；SDRAM模塊，向DSP數(shù)字信號(hào)處理器提供調(diào)試程序。還包括與DSP數(shù)字信號(hào)處理器連接的視頻輸出模塊和視頻輸入模塊。所述音頻采集模塊是TLV320AIC23芯片，所述DSP數(shù)字信號(hào)處理器是DM642芯片。本發(fā)明針對(duì)目前視頻跟蹤監(jiān)控技術(shù)的不足，用若干個(gè)麥克風(fēng)組成的麥克風(fēng)陣列進(jìn)行音頻信號(hào)的采集，而后傳輸給音頻采集模塊進(jìn)行A/D轉(zhuǎn)換，進(jìn)而把相應(yīng)的數(shù)字信號(hào)傳給數(shù)字信號(hào)處理模塊應(yīng)用相關(guān)算法程序進(jìn)行處理運(yùn)算得出方位角和控制信號(hào)，傳輸給通用異步串ロ UART進(jìn)行并串轉(zhuǎn)換，而后將控制信號(hào)傳給步進(jìn)電機(jī)和云臺(tái)實(shí)現(xiàn)對(duì)于目標(biāo)聲源的跟蹤拍攝。與現(xiàn)有技術(shù)相比，本發(fā)明所需要安裝的攝像頭數(shù)量較少，可以在保證監(jiān)控區(qū)域的同時(shí)減小生產(chǎn)成本。


圖I是本發(fā)明的原理框圖。圖2是本發(fā)明的電路原理圖。圖3是音頻采集模塊的電路原理圖。圖4是FPGA模塊的電路原理圖。圖5是鎖相環(huán)的電路原理圖。圖6是SDRAM的電路原理圖。圖7是FLASH模塊的電路原理圖。圖8是UART模塊的電路原理圖。圖9是本發(fā)明系統(tǒng)算法流程圖。圖10是本發(fā)明中軟件流程圖。
具體實(shí)施例方式如附圖所示，一種基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)，包括四個(gè)麥克風(fēng)，將采集到的音頻信號(hào)轉(zhuǎn)化為模擬信號(hào)輸入到音頻采集模塊中；音頻采集模塊，把麥克風(fēng)輸出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)后傳輸給DSP數(shù)字信號(hào)處理器；DSP數(shù)字信號(hào)處理器，通過外部存儲(chǔ)器接ロ從Falsh模塊中提取算法程序，處理音頻采集模塊傳來(lái)的信號(hào)得到方位角和控制信號(hào)、通過EMIF輸出方位角和控制信號(hào)到UART模塊來(lái)對(duì)DSP輸出的并行控制信號(hào)進(jìn)行并串轉(zhuǎn)換，而后與FPGA模塊實(shí)現(xiàn)信號(hào)傳輸；鎖相環(huán)，使得各路音頻采集模塊的時(shí)鐘同步；FLASH模塊，向DSP數(shù)字信號(hào)處理器傳輸算法程序；FPGA模塊，對(duì)FLASH模塊進(jìn)行翻頁(yè)、對(duì)PLL輸出頻率進(jìn)行控制、對(duì)UART輸出串行信號(hào)頻率進(jìn)行控制、對(duì)外部存儲(chǔ)器接ロ EMIF進(jìn)行控制；SDRAM模塊，向DSP數(shù)字信號(hào)處理器提供調(diào)試程序。作為優(yōu)選方案，本發(fā)明還包括與DSP數(shù)字信號(hào)處理器連接的視頻輸出模塊和視頻輸入模塊。本發(fā)明中，四個(gè)麥克風(fēng)組成麥克風(fēng)陣列，它們將采集的音頻信號(hào)轉(zhuǎn)化為模擬信號(hào)輸入到音頻采集模塊，該模塊采用TLV320AIC23芯片，完成A/D轉(zhuǎn)換把麥克風(fēng)采集來(lái)的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。而后用McASP (多通道音頻采集串ロ)傳輸給數(shù)字信號(hào)處理器，信號(hào)的處理部分采用DSP數(shù)字信號(hào)處理器(TMS320DM642，即DM642芯片)。PLL (鎖相環(huán))實(shí)現(xiàn)了4路音頻采集模塊的時(shí)鐘同歩。音頻信號(hào)傳輸給DSP數(shù)字信號(hào)處理器前，首先對(duì)DSP數(shù)字信號(hào)處理器初始化，通過EMIF (外部存儲(chǔ)器接ロ)從FLASH模塊中提取算法程序，然后對(duì)傳 入的音頻信號(hào)進(jìn)行相關(guān)運(yùn)算處理，得出方位角和控制信號(hào)，并通過EMIF輸出方位角和控制信號(hào)到UART (通用異步接收發(fā)送設(shè)備)來(lái)對(duì)DSP輸出的并行控制信號(hào)進(jìn)行并串轉(zhuǎn)換，而后傳輸?shù)讲竭M(jìn)電機(jī)、云臺(tái)實(shí)現(xiàn)對(duì)攝像頭方位的控制。FPGA模塊和SDRAM模塊都通過EMIF與DSP數(shù)字信號(hào)處理器相連。FPGA模塊在本系統(tǒng)中完成以下四種功能其一，完成對(duì)于FLASH模塊的翻頁(yè)，因?yàn)镕LASH芯片AM29LV033C有22根地址線可訪問所有4M的FLASH內(nèi)容，而DM642有20根地址線，所以在FLASH模塊中采用翻頁(yè)技術(shù)用三根地址線實(shí)現(xiàn)對(duì)它的翻頁(yè)控制，從而可以訪問全部的FLASH內(nèi)容；其ニ，完成對(duì)于PLL輸出頻率的調(diào)頻控制；其三，完成對(duì)于UART輸出串行信號(hào)頻率的控制；其四，它也可對(duì)外部存儲(chǔ)器接ロ EMIF進(jìn)行控制如控制其刷新速率、CAS延遲和很多SDRAM時(shí)序參數(shù)等。本系統(tǒng)采用的采集點(diǎn)數(shù)是256點(diǎn)毎次吋，由于采集的點(diǎn)數(shù)比較少，可以直接存儲(chǔ)在DSP數(shù)字信號(hào)處理器的內(nèi)部寄存器中，每次采集數(shù)據(jù)后新的數(shù)據(jù)覆蓋原來(lái)的數(shù)據(jù)，SDRAM模塊主要作為調(diào)試程序中使用。當(dāng)采集點(diǎn)數(shù)較大時(shí)，可能造成DSP數(shù)字信號(hào)處理器還沒有運(yùn)算完上次的數(shù)據(jù)這次的數(shù)據(jù)就已經(jīng)傳入，這樣就必須用到SDRAM模塊，將采集進(jìn)來(lái)的數(shù)據(jù)先傳輸?shù)絊DRAM模塊中去，而后DSP數(shù)字信號(hào)處理器使用時(shí)再?gòu)腟DRAM模塊中提取。視頻的輸入輸出模塊是預(yù)留的兩個(gè)模塊，以便對(duì)于視頻信號(hào)的進(jìn)ー步處理。本發(fā)明系統(tǒng)算法流程圖如圖8所示，首先，進(jìn)行參數(shù)初始化，初始化的參數(shù)包括采樣頻率48khz ;陣元個(gè)數(shù)4個(gè)；陣元間距O. 06m，近似是接收音頻信號(hào)最小波長(zhǎng)的一半，滿足近場(chǎng)模型，可以忽略柵瓣和空域混迭影響。然后對(duì)4路麥克風(fēng)采集信號(hào)的輸入進(jìn)行FFT變換，求空間譜，即采用離散傅立葉變換的快速算法，把時(shí)域信號(hào)轉(zhuǎn)變成頻域信號(hào)。因?yàn)闀r(shí)域信號(hào)補(bǔ)充延時(shí)，相當(dāng)于對(duì)頻域信號(hào)進(jìn)行相位移動(dòng)，而且由于時(shí)域采樣點(diǎn)有限，頻域信號(hào)展寬后移動(dòng)相位比時(shí)域補(bǔ)時(shí)延更容易，所以采用FFT變換有利于算法處理補(bǔ)充延吋。而后求協(xié)方差矩陣，可以使矩陣數(shù)據(jù)完全去相關(guān)，是標(biāo)量隨機(jī)變量到高維度隨機(jī)向量的自然推廣，有利于算法后續(xù)處理。乘以波束形成加權(quán)向量，相當(dāng)于用ー個(gè)空域?yàn)V波器，使信號(hào)在各陣元上的延遲和衰減均衡，相當(dāng)于對(duì)時(shí)間序列譜分析中的加窗或銳化。對(duì)于陣元間距小于或等
于a/2的線陣，在加權(quán)和頻率——波數(shù)響應(yīng)之間存在傅里葉變換的關(guān)系。因此，柵瓣和空域混迭就不是很重要了，可以忽略柵瓣和空域混迭，直接應(yīng)用連續(xù)函數(shù)的傅里葉變換理論和波束形成加權(quán)向量處理。然后形成能量矩陣，以便于能量估計(jì)，最后使能量估計(jì)圖在角度范圍上掃描，能量值最大點(diǎn)對(duì)應(yīng)角度即為聲源方位角。本發(fā)明使用時(shí)軟件流程如圖9所示，其中，采集信號(hào)的平均功率5 ，背景噪聲平均功率Stl，前一次采集信號(hào)的平均功率，n ^ 2。系統(tǒng)軟件設(shè)計(jì)原理如下系統(tǒng)上電工作后在DSP數(shù)字信號(hào)處理器調(diào)用FALSH中算法程序并初始化數(shù)據(jù)，音頻采集模塊將采集來(lái)的4路麥克風(fēng)音頻信號(hào)A/D轉(zhuǎn)換后，輸入DSP數(shù)字信號(hào)處理器中，進(jìn)行功率分析，采集信號(hào)的平均功率Sn小于或等于背景噪聲平均功率Sci時(shí)，系統(tǒng)將重新初始化，采集下一次數(shù)據(jù)，否則，對(duì)上一組數(shù)據(jù)進(jìn)行進(jìn)一歩判斷。若上一次采集信號(hào)的平均功率大于背景噪聲平均功率S11，系統(tǒng)將重新初始化，采集下一次數(shù)據(jù)，否則數(shù)據(jù)存儲(chǔ)并由DSP數(shù)字信號(hào)處理器運(yùn)算給出方位角，然后，F(xiàn)PGA控制步進(jìn)電機(jī)驅(qū)動(dòng)初始化，驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)相應(yīng)角，對(duì)準(zhǔn)聲源。本發(fā)明應(yīng)用仿生學(xué)原理模擬人類對(duì)于目標(biāo)物體的跟蹤方式，利用聲學(xué)原理實(shí)現(xiàn)對(duì) 于目標(biāo)物體的視頻跟蹤定位，采用這種視頻跟蹤方式可以大大減少監(jiān)控成本，實(shí)現(xiàn)對(duì)于聲源真正意義上的全方位跟蹤。而監(jiān)控?cái)z像頭的主要監(jiān)控目標(biāo)就是人，在大多數(shù)場(chǎng)合下完全可以把人當(dāng)作ー個(gè)語(yǔ)音信號(hào)的聲源來(lái)對(duì)待，從而利用麥克風(fēng)整列和相關(guān)算法實(shí)現(xiàn)跟蹤監(jiān)控。
權(quán)利要求
1.一種基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)，其特征在于包括 若干個(gè)麥克風(fēng)，將采集到的音頻信號(hào)轉(zhuǎn)化為模擬信號(hào)輸入到音頻采集模塊中； 音頻采集模塊，把麥克風(fēng)輸出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)后傳輸給DSP數(shù)字信號(hào)處理器； DSP數(shù)字信號(hào)處理器，通過外部存儲(chǔ)器接ロ從Falsh模塊中提取算法程序，處理音頻采集模塊傳來(lái)的信號(hào)得到方位角和控制信號(hào)、通過EMIF輸出方位角和控制信號(hào)到UART模塊來(lái)對(duì)DSP輸出的并行控制信號(hào)進(jìn)行并串轉(zhuǎn)換，而后與FPGA模塊實(shí)現(xiàn)信號(hào)傳輸； 鎖相環(huán)，使得各路音頻采集模塊的時(shí)鐘同步； FLASH模塊，向DSP數(shù)字信號(hào)處理器傳輸算法程序； FPGA模塊，對(duì)FLASH模塊進(jìn)行翻頁(yè)、對(duì)PLL輸出頻率進(jìn)行控制、對(duì)UART輸出串行信號(hào)頻率進(jìn)行控制、對(duì)外部存儲(chǔ)器接ロ EMIF進(jìn)行控制； SDRAM模塊，向DSP數(shù)字信號(hào)處理器提供調(diào)試程序。
2.根據(jù)權(quán)利要求I所述的基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)，其特征在于還包括與DSP數(shù)字信號(hào)處理器連接的視頻輸出模塊和視頻輸入模塊。
3.根據(jù)權(quán)利要求I或2所述的基于聲源定位的動(dòng)態(tài)視頻監(jiān)控系統(tǒng)，其特征在于所述音頻采集模塊是TLV320AIC23芯片，所述DSP數(shù)字信號(hào)處理器是DM642芯片。
全文摘要
本發(fā)明公開一種基于聲源定位的動(dòng)態(tài)視頻跟蹤系統(tǒng)，包括若干個(gè)麥克風(fēng)、音頻采集模塊、DSP數(shù)字信號(hào)處理器、鎖相環(huán)、FLASH模塊、FPGA模塊、SDRAM模塊。本發(fā)明針對(duì)目前視頻跟蹤監(jiān)控技術(shù)的不足，用若干個(gè)麥克風(fēng)組成的麥克風(fēng)陣列進(jìn)行音頻信號(hào)的采集，而后傳輸給音頻采集模塊進(jìn)行A/D轉(zhuǎn)換，進(jìn)而把相應(yīng)的數(shù)字信號(hào)傳給數(shù)字信號(hào)處理模塊應(yīng)用相關(guān)算法程序進(jìn)行處理運(yùn)算得出方位角和控制信號(hào)，傳輸給通用異步串口UART進(jìn)行并串轉(zhuǎn)換，而后將控制信號(hào)傳給步進(jìn)電機(jī)和云臺(tái)實(shí)現(xiàn)對(duì)于目標(biāo)聲源的跟蹤拍攝。與現(xiàn)有技術(shù)相比，本發(fā)明所需要安裝的攝像頭數(shù)量較少，可以在保證監(jiān)控區(qū)域的同時(shí)減小生產(chǎn)成本。
文檔編號(hào)H04N5/232GK102695043SQ201210185080
公開日2012年9月26日 申請(qǐng)日期2012年6月6日 優(yōu)先權(quán)日2012年6月6日
發(fā)明者周洲, 李勇, 李懿平, 李磊, 梁偉, 王浩 申請(qǐng)人:鄭州大學(xué)