專利名稱：實現視頻結構化描述處理的芯片及其方法
技術領域：
本發(fā)明涉及芯片結構及功能領域，特別涉及視頻處理芯片的機構與功能領域，具 體是指一種實現視頻結構化描述處理的芯片及其方法。
背景技術：
隨著數碼產品和計算機技術的發(fā)展，多媒體芯片由于其高性能、低功耗、可擴展等 特點受到業(yè)界的關注，并且廣泛應用于音頻視頻處理技術領域。飛利浦公司推出一款型號為PNX9106的車用媒體處理器系列產品，可讓客戶提供 整合的音響信息娛樂系統(tǒng)。海信集團研發(fā)的一款名為“Hiview信芯”的數字視頻處理器，可 廣泛用于各類IXD液晶電視、PDP等離子電視、CRT顯示器等設備中。中星微電子公司自主 開發(fā)設計了一款型號為VC0818BYAA的手機多媒體芯片，該芯片使得手機具有語音、視頻通 訊、視頻監(jiān)控、拍照、網絡瀏覽等多媒體功能。申請?zhí)枮?00620033833. 9的發(fā)明專利申請?zhí)?出一種具有多媒體和網絡處理功能的SoC芯片，置有與internet連接的網絡接口、存儲器 控制器、圖像解碼編碼器和嵌入式CPU核，相對于多芯片結構，此種SoC芯片系統(tǒng)運行更可 靠，使用更方便。但是目前多媒體芯片主要功能是對圖像信號進行處理，提高清晰度和分辨率，降 低噪聲，對圖像進行編解碼等，其目的是把圖像清晰、完美地展現給用戶，而不涉及圖像的 內容。用戶如果想了解視頻圖像所描述的內容，必須自己把視頻圖像完整地瀏覽一遍，才 會對圖像內容有所理解和掌握。如果用戶希望對特定的視頻僅想初步了解其中是否有他所 需要的內容又或者從大量的視頻中找出其所需要的視頻，那么上述的做法勢必會大量浪費 用戶的時間和精力。而且受個體差異的影響，不同的用戶對視頻內容的理解也不盡相同，因 此，對于視頻的篩選和內容的確定更多地添加了用戶主觀判斷的因素。隨著互聯網技術和多媒體技術的不斷發(fā)展，目前視頻數據呈海量增長。由于視頻 數據是一種非結構化的數據，用戶如果想通過逐段瀏覽的方式來查找自己想要的視頻圖像 已經是不可能完成的任務。因此，必須要通過對視頻內容進行分析，產生關于視頻內容的結 構化描述數據，才能通過對結構化描述數據檢索的方式查找到想要的視頻。

發(fā)明內容
本發(fā)明的目的是克服了上述現有技術中的缺點，提供一種能夠結構化描述視頻數 據并產生關于圖像屬性、內容和特征的描述數據、工作性能穩(wěn)定可靠、適用范圍較為廣泛的 實現視頻結構化描述處理的芯片及其方法為了實現上述的目的，本發(fā)明的實現視頻結構化描述處理的芯片及其方法如下該實現視頻結構化描述處理的芯片，其主要特點是，所述的芯片包括用于控制芯 片各部分協調工作的主控處理器，用于數據輸入輸出的輸入輸出處理器，用于控制數據存 儲的存儲控制處理器，用于視頻編碼解碼的視頻編解碼處理器以及用于結構化描述視頻數 據的視頻分析處理器，所述的各處理器通過多層總線彼此交互連接。
該實現視頻結構化描述處理的芯片中，所述的視頻分析處理器為視頻分析描述協 處理器，所述的視頻分析描述協處理器用于對視頻圖像進行分析處理和結構化描述，產生 關于圖像屬性、內容和特征的描述數據。該實現視頻結構化描述處理的芯片中，所述的主控處理器為主控CPU。該實現視頻結構化描述處理的芯片中，所述的視頻編解碼處理器為視頻編解碼處理器。該實現視頻結構化描述處理的芯片中，所述的輸入輸出處理器包括用于網絡接口 控制的以太網控制器以及用于視頻信號輸入的視頻輸入單元，所述的太網控制器和所述的 視頻輸入單元均與所述的多層總線相連接。所述的輸入輸出處理器還包括用于將模擬視頻 信號轉換為數字視頻信號的模數轉換器，所述的視頻輸入單元通過所述的模數轉換器與所 述的多層總線相連接。該實現視頻結構化描述處理的芯片中，所述的存儲控制處理器為用于控制芯片內 部和外部存儲的存儲控制器。利用上述的實現視頻結構化描述處理的芯片進行視頻結構化描述的方法，其主要 特點是，所述的實現視頻結構化描述的方法包括以下步驟(1)芯片通過輸入輸出處理器接收視頻信號；(2)視頻編解碼處理器和視頻分析處理器接收到視頻信號；(3)視頻分析處理器對視頻圖像數據進行分析處理和結構化描述，產生關于圖像 屬性、內容和特征的視頻描述數據；(4)視頻編解碼處理器對視頻圖像數據進行編碼，產生壓縮視頻流數據；(5)存儲控制處理器將視頻描述數據和壓縮視頻流數據輸入存儲器，或輸入輸出 處理器將視頻描述數據和壓縮視頻流數據輸出。該實現視頻結構化描述的方法中，所述的視頻分析處理器對視頻圖像數據進行分 析處理包括對圖像進行分割、特征提取和分類判別，所述的結構化描述包括對圖像的特征 和分類判別的結果進行編碼，產生關于圖像屬性、內容和特征的結構化數據。該實現視頻結構化描述的方法中，所述的芯片通過輸入輸出處理器接收視頻信號 的步驟具體包括以下步驟(11)視頻輸入單元接收到模擬視頻信號；(12)視頻輸入單元將模擬視頻信號發(fā)送到模數轉換器；(13)模數轉換器將模擬視頻信號轉換為數字視頻信號并輸出。該實現視頻結構化描述的方法中，所述的步驟(3)中還包括以下步驟(31)視頻分析處理器根據芯片內預設的監(jiān)控對象對視頻圖像數據進行匹配；(32)當發(fā)現與預設的監(jiān)控對象相匹配的視頻圖像數據，則通過輸入輸出處理器輸 出報警信號。采用了該發(fā)明的實現視頻結構化描述處理的芯片及其方法，由于視頻圖像被輸入 芯片后，視頻分析處理器能夠對視頻圖像數據進行分析處理和結構化描述，產生能夠用于 檢索的關于圖像屬性、內容和特征的描述數據，視頻編解碼處理器對視頻圖像數據進行編 碼，產生壓縮視頻流數據，該描述信息可以被用于檢索，方便用戶對所需視頻的查找，或用 于快速判斷視頻的內容，該描述數據的數據量小，并結合容量較小的壓縮視頻流數據，方便存儲和網絡傳輸，從而可提高視頻信息的利用效率，大大降低現有技術中視頻信息檢索需 要全部瀏覽的人工成本。


圖1為本發(fā)明的實現視頻結構化描述處理的芯片的處理器結構示意圖。圖2為本發(fā)明的實現視頻結構化描述處理的芯片的一種實施方式的處理器結構 示意圖。圖3為利用本發(fā)明的實現視頻 結構化描述處理的芯片進行視頻結構化描述的流 程圖。
具體實施例方式為了能夠更清楚地理解本發(fā)明的技術內容，特舉以下實施例詳細說明。請參閱圖1所示，本發(fā)明所提供的實現視頻結構化描述處理的芯片，其中包括用 于控制芯片各部分協調工作的主控處理器，用于數據輸入輸出的輸入輸出處理器，用于控 制數據存儲的存儲控制處理器，用于視頻編碼解碼的視頻編解碼處理器以及用于結構化描 述視頻數據的視頻分析處理器，所述的各處理器通過多層總線彼此交互連接。請參閱圖2所示，本發(fā)明所提供的實現視頻結構化描述處理的芯片的一種實施方 式，該實現視頻結構化描述處理的芯片中所述的視頻分析處理器為視頻分析描述協處理 器，所述的視頻分析描述協處理器用于對視頻圖像進行分析處理和結構化描述，產生關于 圖像屬性、內容和特征的描述數據，所述的視頻分析描述協處理器是型號為DM642的數字 信號處理器芯片。該實現視頻結構化描述處理的芯片中所述的主控處理器為主控CPU，所述的主控 CPU為ARM公司生產的型號為A8的CPU。該實現視頻結構化描述處理的芯片中所述的視頻編解碼處理器為視頻編解碼處 理器，所述的視頻編解碼處理器是型號為DM642的數字信號處理器芯片。該實現視頻結構化描述處理的芯片中所述的輸入輸出處理器包括用于網絡接口 控制的以太網控制器以及用于視頻信號輸入的視頻輸入單元，所述的太網控制器和所述的 視頻輸入單元均與所述的多層總線相連接，所述的以太網控制器為LXT971A芯片。該實現視頻結構化描述處理的芯片中所述的輸入輸出處理器還包括用于將模擬 視頻信號轉換為數字視頻信號的模數轉換器，所述的視頻輸入單元通過所述的模數轉換器 與所述的多層總線相連接，所述的模數轉換器的型號為TVP5145。該實現視頻結構化描述處理的芯片中所述的輸入輸出處理器還包括用于數據傳 輸的USB接口單元、SPI接口單元、UART接口單元和I2C接口單元，所述的USB接口單元、 SPI接口單元、UART接口單元和I2C接口單元均與所述的多層總線相連接。該實現視頻結構化描述處理的芯片中所述的存儲控制處理器為用于控制芯片內 部和外部存儲的存儲控制器，所述的存儲控制器包括管理DMA通道的DMA控制器、用于芯片 內部數據存儲的內置SRAM、用于管理控制DDR存儲器的64/32位DDR控制器和用于管理與 控制FLASH存儲器的NAND控制器，所述的DMA控制器、內置SRAM、DDR控制器和NAND控制 器均與所述的多層總線相連接。
該實現視頻結構化描述處理的芯片中還包括檢索功能處理器，所述的檢索功能處 理器與所述的多層總線相連接。該實現視頻結構化描述處理的芯片中所述的多層總線為帶寬為128位的、頻率為 400MHz 的 AXI 總線。請參閱圖3所示，該圖為利用上述實現視頻結構化描述處理的芯片進行視頻結構 化描述的方法的流程圖，該方法包括以下步驟(1)芯片通過輸入輸出處理器接收視頻信號；(2)視頻編解碼處理器和視頻分析處理器接收到視頻信號；(3)視頻分析處理器對視頻圖像數據進行分析處理和結構化描述，產生關 于圖像 屬性、內容和特征的視頻描述數據；(4)視頻編解碼處理器對視頻圖像數據進行編碼，產生壓縮視頻流數據；(5)存儲控制處理器將視頻描述數據和壓縮視頻流數據輸入存儲器，或輸入輸出 處理器將視頻描述數據和壓縮視頻流數據輸出。在所述的步驟(3)中，所述的視頻分析處理器對視頻圖像數據進行分析處理的步 驟包括對圖像進行分割、特征提取和分類判別。所述的視頻分析處理器對視頻圖像數據進 行結構化描述的步驟包括對圖像的特征提取和分類判別的結果進行編碼，產生關于圖像屬 性、內容和特征的結構化數據。在本發(fā)明的一個優(yōu)選實施方式中，該視頻結構化描述的方法中所述的輸入輸出處 理器還包括視頻輸入單元和模數轉換器，所述的視頻輸入單元通過所述的模數轉換器連接 所述的多層總線，所述的芯片通過輸入輸出處理器接收視頻信號的步驟具體包括以下步 驟(11)視頻輸入單元接收到模擬視頻信號；(12)視頻輸入單元將模擬視頻信號發(fā)送到模數轉換器；(13)模數轉換器將模擬視頻信號轉換為數字視頻信號并輸出。在實現本發(fā)明另一個功能的實施例中，該視頻結構化描述的方法中所述的步驟 (3)中還包括以下步驟(31)視頻分析處理器根據芯片內預設的監(jiān)控對象對視頻圖像數據進行匹配；(32)當發(fā)現與預設的監(jiān)控對象相匹配的視頻圖像數據，則通過輸入輸出處理器輸 出報警信號。在本發(fā)明的另一個實施方式中，該視頻結構化描述的方法中所述的實現視頻結構 化描述處理的芯片還包括檢索功能處理器，所述的檢索功能處理器與所述的多層總線相連 接，所述的步驟(5)后還包括以下步驟(6)檢索功能處理器接收用戶輸入的檢索數據；(7)檢索功能處理器根據檢索數據對視頻描述數據和壓縮視頻流數據進行檢索， 并將相符的視頻描述數據和壓縮視頻流數據輸出。在本發(fā)明的應用中，首先，通過輸入輸出處理器輸入視頻信號，然后，主控處理器 控制視頻信號輸入到視頻編解碼處理器和視頻分析處理器，隨后，視頻分析處理器對視頻 圖像數據進行分析處理和結構化描述，產生關于圖像屬性、內容和特征的視頻描述數據，而 視頻編解碼處理器對視頻圖像數據進行編碼，產生壓縮視頻流數據，最后，存儲控制處理器將視頻描述數據和壓縮視頻流數據輸入存儲器，或輸入輸出處理器將視頻描述數據和壓縮 視頻流數據輸出。 所獲得的視頻描述數據可以通過芯片自身的檢索功能處理器進行檢索，也可以通 過外部設備進行檢索，從而方便用戶對所需視頻的查找，也可以用于快速判斷視頻的內容。 并且，視頻描述數據的數據量小，該描述數據與容量較小的壓縮視頻流數據相結合，方便存 儲和網絡傳輸，進而提高視頻信息的利用效率，大大降低現有技術中視頻信息檢索需要全 部瀏覽的人工成本。另外，在使用監(jiān)控功能時，用戶可以預先在芯片內設定需要監(jiān)控的對象的信息，芯 片的視頻分析處理器將視頻圖像數據與該特征信息進行匹配，當發(fā)現與預設的監(jiān)控對象相 匹配的視頻圖像數據，則通過輸入輸出處理器輸出報警信號。例如，當用戶需要監(jiān)控某輛汽 車時，則預先在芯片內設定該輛汽車的特征信息，如車牌號碼，將道路監(jiān)控視頻圖像輸入芯 片，若芯片發(fā)現所監(jiān)控的汽車的特征信息相匹配的車輛時，就可以立即通過SPI接口單元 或網絡輸出報警信號。該功能大大提高了視頻監(jiān)控的效率，特別適合用于多個監(jiān)控對象的 實時視頻監(jiān)控，降低了視頻監(jiān)控的人工成本。
在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出 各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應被認為是說明性的 而非限制性的。
權利要求
一種實現視頻結構化描述處理的芯片，其特征在于，所述的芯片包括用于控制芯片各部分協調工作的主控處理器，用于數據輸入輸出的輸入輸出處理器，用于控制數據存儲的存儲控制處理器，用于視頻編碼解碼的視頻編解碼處理器以及用于結構化描述視頻數據的視頻分析處理器，所述的各處理器通過多層總線彼此交互連接。
2.根據權利要求1所述的實現視頻結構化描述處理的芯片，其特征在于，所述的視頻 分析處理器為視頻分析描述協處理器，所述的視頻分析描述協處理器用于對視頻圖像進行 分析處理和結構化描述，產生關于圖像屬性、內容和特征的描述數據。
3.根據權利要求1所述的實現視頻結構化描述處理的芯片，其特征在于，所述的主控 處理器為主控CPU。
4.根據權利要求1所述的實現視頻結構化描述處理的芯片，其特征在于，所述的視頻 編解碼處理器為視頻編解碼處理器。
5.根據權利要求1所述的實現視頻結構化描述處理的芯片，其特征在于，所述的輸入 輸出處理器包括用于網絡接口控制的以太網控制器以及用于視頻信號輸入的視頻輸入單 元，所述的以太網控制器和所述的視頻輸入單元均與所述的多層總線相連接。
6.根據權利要求5所述的實現視頻結構化描述處理的芯片，其特征在于，所述的輸入 輸出處理器還包括用于將模擬視頻信號轉換為數字視頻信號的模數轉換器，所述的視頻輸 入單元通過所述的模數轉換器與所述的多層總線相連接。
7.根據權利要求1所述的實現視頻結構化描述處理的芯片，其特征在于，所述的存儲 控制處理器為用于控制芯片內部和外部存儲的存儲控制器。
8.一種利用權利要求1所述的實現視頻結構化描述處理的芯片實現視頻結構化描述 的方法，其特征在于，所述的實現視頻結構化描述的方法包括以下步驟(1)芯片通過輸入輸出處理器接收視頻信號；(2)視頻編解碼處理器和視頻分析處理器接收到視頻信號；(3)視頻分析處理器對視頻圖像數據進行分析處理和結構化描述，產生關于圖像屬性、 內容和特征的視頻描述數據；(4)視頻編解碼處理器對視頻圖像數據進行編碼，產生壓縮視頻流數據；(5)存儲控制處理器將視頻描述數據和壓縮視頻流數據輸入存儲器，或輸入輸出處理 器將視頻描述數據和壓縮視頻流數據輸出。
9.根據權利要求8所述的實現視頻結構化描述的方法，其特征在于，所述的視頻分析 處理器對視頻圖像數據進行分析處理包括對圖像進行分割、特征提取和分類判別，所述的 結構化描述包括對圖像的特征和分類判別的結果進行編碼，產生關于圖像屬性、內容和特 征的結構化數據。
10.根據權利要求8所述的實現視頻結構化描述的方法，其特征在于，所述的輸入輸出 處理器還包括視頻輸入單元和模數轉換器，所述的視頻輸入單元通過所述的模數轉換器連 接所述的多層總線，所述的芯片通過輸入輸出處理器接收視頻信號的步驟具體包括以下步 驟(11)視頻輸入單元接收到模擬視頻信號；(12)視頻輸入單元將模擬視頻信號發(fā)送到模數轉換器；(13)模數轉換器將模擬視頻信號轉換為數字視頻信號并輸出。
11.根據權利要求8所述的實現視頻結構化描述的方法，其特征在于，所述的步驟(3) 中還包括以下步驟(31)視頻分析處理器根據芯片內預設的監(jiān)控對象對視頻圖像數據進行匹配；(32)當發(fā)現與預設的監(jiān)控對象相匹配的視頻圖像數據，則通過輸入輸出處理器輸出報警信號。
全文摘要
本發(fā)明涉及一種實現視頻結構化描述處理的芯片及其方法，其中所述的芯片包括用于控制芯片各部分協調工作的主控處理器，用于數據輸入輸出的輸入輸出處理器，用于控制數據存儲的存儲控制處理器，用于視頻編碼解碼的視頻編解碼處理器以及用于結構化描述視頻數據的視頻分析處理器，所述的各處理器通過多層總線彼此交互連接。采用該種實現視頻結構化描述處理的芯片，由于其能夠對視頻進行結構化的描述，產生可用于檢索的關于圖像屬性、內容和特征的描述數據，該描述數據的數據量小，方便存儲以及網絡傳輸，從而可提高視頻信息的利用效率，大大降低視頻信息檢索成本。
文檔編號H04N7/24GK101860663SQ20101016644
公開日2010年10月13日 申請日期2010年4月29日 優(yōu)先權日2010年4月29日
發(fā)明者劉偉豪, 吳晶, 吳炬, 張鴻洲, 朱麗英, 李萬才, 梁辰, 梅林 , 湯志偉, 沙淼淼, 蔡烜, 趙銳 申請人:公安部第三研究所