0輸出到視頻顯示設(shè)備進(jìn)行實(shí)時顯示，但本發(fā)明并不只局限于此。例如，視頻分析模塊120的分析結(jié)果還可以保存在系統(tǒng)的存儲資源中，諸如由集成電路芯片構(gòu)成的嵌入式智能視頻分析系統(tǒng)的片內(nèi)存儲器、片內(nèi)寄存器或者透過接口擴(kuò)展的片外存儲器。
[0031]圖2示出圖1的嵌入式智能視頻分析系統(tǒng)中的視頻分析模塊的一較佳實(shí)施例的結(jié)構(gòu)示意圖。
[0032]參照圖2，在該示意性的實(shí)施例中，視頻分析模塊120包括可編程邏輯單元310和嵌入式處理單元320。其中，可編程邏輯單元310主要用于實(shí)現(xiàn)視頻分析算法的邏輯部分，而嵌入式處理單元320則用于實(shí)現(xiàn)視頻分析算法的軟件部分。在圖2中，可編程邏輯單元310包括圖像處理部240，該圖像處理部240用于對攜帶有視覺信息的視頻幀進(jìn)行并行處理，得到圖像處理結(jié)果。例如，圖像處理部240用于對視頻幀進(jìn)行顏色空間轉(zhuǎn)換、視頻格式轉(zhuǎn)換、濾波、圖像增強(qiáng)、邊緣檢測、背景建模和/或分割。嵌入式處理單元320包括分析統(tǒng)計部250，該分析統(tǒng)計部250用于對圖像處理結(jié)果進(jìn)行分析和統(tǒng)計，并輸出視頻分析結(jié)果。
[0033]在一具體實(shí)施例，可編程邏輯單元310包括視頻輸入接口 210和視頻輸出接口220。其中，視頻輸入接口 210與視頻輸入模塊110相連接，用于接收視頻輸入模塊110產(chǎn)生的視頻幀序列。視頻輸出接口 220與視頻輸出模塊140相連接，用于將視頻分析結(jié)果提供給視頻輸出模塊140。
[0034]此外，在圖2所示的實(shí)施例中，圖像處理部240和片外存儲器330共同構(gòu)成視頻分析模塊120的存儲架構(gòu)，該片外存儲器330可用來存儲視頻分析結(jié)果270。較佳地，該片外存儲器330具有至少一視頻幀緩存280。該視頻幀緩存280用于圖像處理部240對攜帶有視覺信息的視頻幀實(shí)現(xiàn)幀間處理。該視頻幀緩存280的數(shù)量可根據(jù)實(shí)際需求配置，如2幀緩存可以產(chǎn)生3幀延時。
[0035]圖3示出圖1的嵌入式智能視頻分析系統(tǒng)中的視頻分析模塊的一較佳實(shí)施例的存儲架構(gòu)示意圖。
[0036]參照圖3，該視頻分析模塊120的圖像處理部240還包括片內(nèi)存儲器410。該片內(nèi)存儲器410具有至少一視頻行緩存(諸如視頻行緩存0、視頻行緩存I)。視頻行緩存用于所述圖像處理部對攜帶有視覺信息的視頻幀實(shí)現(xiàn)行間處理。例如，視頻行緩存的數(shù)量可根據(jù)實(shí)際需求配置，如2行緩存可以產(chǎn)生3行延時。此外，該視頻分析模塊120的圖像處理部240還包括片內(nèi)寄存器420。該片內(nèi)寄存器420具有至少一視頻像素緩存。該視頻像素緩存用于圖像處理部對攜帶有視覺信息的視頻幀實(shí)現(xiàn)像素間處理。視頻像素緩存的數(shù)量也可根據(jù)實(shí)際需求配置。此外，圖像處理部240還可包括多個MXN窗口 430。舉例來說，2行緩存可以產(chǎn)生行延時為0、1、2的M= 3行視頻數(shù)據(jù)，用于視頻分析算法的行間處理；2個像素緩存可以得到延時分別為0、1、2的N= 3個像素，用于視頻分析算法的像素間處理，如此一來，M行緩存和N個像素共同構(gòu)成I個MXN窗口 430從而用來進(jìn)行視頻分析算法的處理。
[0037]圖4為實(shí)現(xiàn)圖1的嵌入式智能視頻分析系統(tǒng)的一具體實(shí)施例。在該實(shí)施例中，例如，GV7601為SDI視頻輸入接口芯片，GV7600為SDI視頻輸出接口芯片，XC7Z020為Xilinx公司的ZYNQ芯片，基于ZYNQ的嵌入式視頻分析系統(tǒng)有可擴(kuò)展的架構(gòu)，能夠根據(jù)不同的視頻分析應(yīng)用需求配置視頻分析模塊，輸出視頻和分析結(jié)果。Hi3516A為海思公司的視頻編碼芯片(即，視頻編碼模塊)，用來實(shí)現(xiàn)壓縮編碼后的視頻流和視頻分析結(jié)果的網(wǎng)絡(luò)傳輸。從圖4可知，該系統(tǒng)對SDI輸入的視頻數(shù)據(jù)，執(zhí)行實(shí)時的智能視頻分析算法，然后將視頻壓縮編碼流和視頻分析結(jié)果通過千兆網(wǎng)絡(luò)上傳給遠(yuǎn)程的監(jiān)控系統(tǒng)后臺主機(jī)160。當(dāng)然，也可將視頻幀序列合并了視頻分析結(jié)果后，再通過SDI接口輸出給視頻顯示設(shè)備。
[0038]采用本發(fā)明的嵌入式智能視頻分析系統(tǒng)，其設(shè)置于視頻輸入模塊與后臺主機(jī)之間，視頻分析模塊從視頻輸入模塊產(chǎn)生的視頻幀序列中篩檢出至少一種視覺信息，根據(jù)預(yù)定的分析規(guī)則對攜帶有視覺信息的視頻幀進(jìn)行分析并生成視頻分析結(jié)果，視頻編碼模塊對視頻幀序列根據(jù)預(yù)定的編碼格式進(jìn)行壓縮編碼，生成視頻編碼數(shù)據(jù)，視頻傳送模塊接收視頻分析結(jié)果和視頻編碼數(shù)據(jù)，并通過網(wǎng)絡(luò)接口傳送至后臺主機(jī)。相比于現(xiàn)有技術(shù)，本發(fā)明充分利用視頻分析模塊中的可編程資源和嵌入式處理器資源，在監(jiān)控系統(tǒng)前端實(shí)時進(jìn)行高分辨率的視頻分析，不僅極大減少了網(wǎng)絡(luò)帶寬，而且還大幅減輕了監(jiān)控系統(tǒng)的后端主機(jī)的數(shù)據(jù)處理壓力。此外，由于本發(fā)明的嵌入式智能視頻分析系統(tǒng)部署在監(jiān)控系統(tǒng)前端，可實(shí)時進(jìn)行警情分析和視頻存儲。當(dāng)報警發(fā)生時，還可實(shí)時上報警情和即時視頻，進(jìn)而提高了系統(tǒng)的應(yīng)急響應(yīng)性能。
[0039]上文中，參照附圖描述了本發(fā)明的【具體實(shí)施方式】。但是，本領(lǐng)域中的普通技術(shù)人員能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對本發(fā)明的【具體實(shí)施方式】作各種變更和替換。這些變更和替換都落在本發(fā)明權(quán)利要求書所限定的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種嵌入式智能視頻分析系統(tǒng)，設(shè)置于視頻輸入模塊與后臺主機(jī)之間，其特征在于，所述嵌入式智能視頻分析系統(tǒng)包括: 視頻分析模塊，用于從所述視頻輸入模塊產(chǎn)生的視頻幀序列中篩檢出至少一種視覺信息，根據(jù)預(yù)定的分析規(guī)則對攜帶有所述視覺信息的視頻幀進(jìn)行分析，生成視頻分析結(jié)果； 視頻編碼模塊，用于對從所述視頻輸入模塊產(chǎn)生的視頻幀序列根據(jù)預(yù)定的編碼格式進(jìn)行壓縮編碼，生成視頻編碼數(shù)據(jù)；以及 視頻傳送模塊，與所述視頻分析模塊和所述視頻編碼模塊相連接，用于接收所述視頻分析結(jié)果和所述視頻編碼數(shù)據(jù)，并通過網(wǎng)絡(luò)接口將所接收的視頻分析結(jié)果和所述視頻編碼數(shù)據(jù)傳送至所述后臺主機(jī)。
2.根據(jù)權(quán)利要求1所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述嵌入式智能視頻分析系統(tǒng)還包括: 視頻輸出模塊，與所述視頻分析模塊和所述視頻輸入模塊相連接，用于在從所述視頻輸入模塊產(chǎn)生的視頻幀序列中合成所述視頻分析結(jié)果，并通過視頻輸出接口輸出到視頻顯示設(shè)備進(jìn)行實(shí)時顯示。
3.根據(jù)權(quán)利要求1所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視頻分析模塊包括嵌入式處理單元和可編程邏輯單元，所述可編程邏輯單元包括圖像處理部，用于對攜帶有所述視覺信息的視頻幀進(jìn)行并行處理，得到圖像處理結(jié)果；所述嵌入式處理單元包括分析統(tǒng)計部，用于對所述圖像處理結(jié)果進(jìn)行分析和統(tǒng)計，并輸出所述視頻分析結(jié)果。
4.根據(jù)權(quán)利要求3所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視頻分析模塊還包括片外存儲器，具有至少一視頻幀緩存，所述視頻幀緩存用于所述圖像處理部對攜帶有所述視覺信息的視頻幀實(shí)現(xiàn)幀間處理。
5.根據(jù)權(quán)利要求3所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視頻分析模塊還包括片內(nèi)存儲器，具有至少一視頻行緩存，所述視頻行緩存用于所述圖像處理部對攜帶有所述視覺信息的視頻幀實(shí)現(xiàn)行間處理。
6.根據(jù)權(quán)利要求3所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視頻分析模塊還包括片內(nèi)寄存器，具有至少一視頻像素緩存，所述視頻像素緩存用于所述圖像處理部對攜帶有所述視覺信息的視頻幀實(shí)現(xiàn)像素間處理。
7.根據(jù)權(quán)利要求3所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述圖像處理部用于對所述視頻幀進(jìn)行顏色空間轉(zhuǎn)換、視頻格式轉(zhuǎn)換、濾波、圖像增強(qiáng)、邊緣檢測、背景建模和/或分割。
8.根據(jù)權(quán)利要求3所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述可編程邏輯單元包括視頻輸入接口和視頻輸出接口，所述視頻輸入接口與所述視頻輸入模塊相連接，用于接收所述視頻輸入模塊產(chǎn)生的視頻幀序列；所述視頻輸出接口與視頻輸出模塊相連接，用于將所述視頻分析結(jié)果提供給所述視頻輸出模塊。
9.根據(jù)權(quán)利要求1所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視覺信息包括視頻運(yùn)動向量、圖像亮度和色度、圖像邊緣特征、圖像紋理特征。
10.根據(jù)權(quán)利要求1所述的嵌入式智能視頻分析系統(tǒng)，其特征在于，所述視頻輸入模塊的視頻幀為高速SDI視頻信號。
【專利摘要】本發(fā)明提供一種嵌入式智能視頻分析系統(tǒng)，設(shè)置于視頻輸入模塊與后臺主機(jī)之間，包括：視頻分析模塊，用于從視頻輸入模塊產(chǎn)生的視頻幀序列中篩檢出至少一種視覺信息，根據(jù)預(yù)定的分析規(guī)則對攜帶有視覺信息的視頻幀進(jìn)行分析，生成視頻分析結(jié)果；視頻編碼模塊，用于對視頻幀序列根據(jù)預(yù)定的編碼格式進(jìn)行壓縮編碼，生成視頻編碼數(shù)據(jù)；以及視頻傳送模塊，用于接收視頻分析結(jié)果和視頻編碼數(shù)據(jù)，并通過網(wǎng)絡(luò)接口傳送至后臺主機(jī)。相比于現(xiàn)有技術(shù)，本發(fā)明充分利用視頻分析模塊中的可編程資源和嵌入式處理器資源，在監(jiān)控系統(tǒng)前端實(shí)時進(jìn)行高分辨率的視頻分析，不僅極大減少了網(wǎng)絡(luò)帶寬，而且還大幅減輕了監(jiān)控系統(tǒng)的后端主機(jī)的數(shù)據(jù)處理壓力。
【IPC分類】H04N7-18
【公開號】CN104683768
【申請?zhí)枴緾N201510093586
【發(fā)明人】黃峰, 尹文波, 楊賢
【申請人】智擎信息系統(tǒng)（上海）有限公司
【公開日】2015年6月3日
【申請日】2015年3月3日