一種基于雙目攝像頭的影像預(yù)處理裝置制造方法
【專利摘要】本實(shí)用新型公開了一種基于雙目攝像頭的影像預(yù)處理裝置，其裝置本體包括視頻圖像預(yù)處理器、影像緩存存儲(chǔ)器、視頻輸入端子和視頻輸出端子，視頻圖像預(yù)處理器與影像緩存存儲(chǔ)器連接，視頻圖像預(yù)處理器信號(hào)輸入端與視頻輸入端子連接，視頻圖像預(yù)處理器信號(hào)輸出端與視頻輸出端子連接；外部雙目攝像頭通過通訊線纜連接至所述裝置的視頻輸入端子，用于立體場景深度圖生成的外部計(jì)算設(shè)備通過通訊線纜連接至所述裝置的視頻輸出端子。通過本實(shí)用新型，為基于雙目攝像頭的立體場景探測(cè)產(chǎn)品增加了影像預(yù)處理裝置，將場景探測(cè)中立體匹配算法的部分處理預(yù)先由影像預(yù)處理裝置進(jìn)行運(yùn)算，節(jié)約大量的運(yùn)算開銷，提升立體場景探測(cè)產(chǎn)品的工作效率。
【專利說明】—種基于雙目攝像頭的影像預(yù)處理裝置

【技術(shù)領(lǐng)域】
[0001]本實(shí)用新型涉及圖像通信領(lǐng)域，尤其涉及一種基于雙目攝像頭的影像預(yù)處理裝置。

【背景技術(shù)】
[0002]雙目攝像頭通過以不同角度安裝的兩個(gè)攝像元件同時(shí)對(duì)一個(gè)場景進(jìn)行拍攝來獲取兩路影像，由于可以通過立體匹配算法從影像中獲取立體深度信息，成本低，雙目攝像頭在立體場景探測(cè)技術(shù)中受到重視。
[0003]雙目攝像頭所用的立體匹配算法，需要攝像頭的兩路影像達(dá)到一定程度的匹配才能實(shí)現(xiàn)，但受鏡頭、環(huán)境潔凈度、傳輸損耗、模數(shù)轉(zhuǎn)換精度等諸多不可控因素的影響，雙目攝像頭的兩路影像在圖像噪聲、色彩空間、圖形畸變等方面通常有一定差別，且差別值難以預(yù)測(cè)；由于此問題的存在，雙目攝像頭用于立體場景探測(cè)時(shí)，通常用后端計(jì)算機(jī)對(duì)兩路圖像進(jìn)行預(yù)處理，使之能符合立體匹配算法的需要，但這種方式占用了后端計(jì)算資源，當(dāng)計(jì)算能力不足時(shí)，立體場景探測(cè)的實(shí)時(shí)性將受到很大影響。


【發(fā)明內(nèi)容】

[0004]為提升雙目攝像頭的立體場景探測(cè)能力，本實(shí)用新型提出一種可以初步處理雙目攝像頭采集圖像的影像預(yù)處理裝置。
[0005]本實(shí)用新型采用以下方案:一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:其包括視頻圖像預(yù)處理器、影像緩存存儲(chǔ)器、視頻輸入端子和視頻輸出端子，視頻圖像預(yù)處理器與影像緩存存儲(chǔ)器連接，視頻圖像預(yù)處理器信號(hào)輸入端與視頻輸入端子連接，視頻圖像預(yù)處理器信號(hào)輸出端與視頻輸出端子連接；外部雙目攝像頭通過通訊線纜連接至所述裝置的視頻輸入端子，用于立體場景深度圖生成的外部計(jì)算設(shè)備通過通訊線纜連接至所述裝置的視頻輸出端子。
[0006]所述視頻圖像預(yù)處理器，設(shè)有影像采集電路。
[0007]所述視頻圖像預(yù)處理器，設(shè)有影像同步電路。
[0008]所述視頻圖像預(yù)處理器，設(shè)有影像校正電路。
[0009]所述視頻圖像預(yù)處理器，設(shè)有影像縮放電路。
[0010]所述視頻圖像預(yù)處理器，設(shè)有影像增強(qiáng)電路。
[0011]所述視頻圖像預(yù)處理器，設(shè)有色彩轉(zhuǎn)換電路。
[0012]所述視頻圖像預(yù)處理器，設(shè)有控制器，控制視頻圖像預(yù)處理器與影像緩存存儲(chǔ)器之間的通訊連接。
[0013]所述視頻輸入端子數(shù)為一個(gè)或兩個(gè)，接收外部雙目攝像頭的影像，視頻輸出端子數(shù)為I。
[0014]本實(shí)用新型主要用于立體場景探測(cè)，利用視頻圖像預(yù)處理硬件對(duì)場景探測(cè)雙目攝像頭的采集圖像進(jìn)行校正、濾波、同步、縮放、影像增強(qiáng)和色彩轉(zhuǎn)換等方面的預(yù)處理，具有以下優(yōu)點(diǎn):
[0015]1、以專用的影像預(yù)處理裝置對(duì)攝像頭影像進(jìn)行預(yù)處理，減輕了外部計(jì)算設(shè)備運(yùn)行立體匹配算法的計(jì)算壓力。
[0016]2、通過結(jié)合影像預(yù)處理裝置與用于立體場景深度圖生成的外部計(jì)算設(shè)備，提高了立體匹配算法的實(shí)時(shí)運(yùn)行能力，可得到高質(zhì)量的場景立體信息。
[0017]3、影像預(yù)處理裝置使用IC器件的硬件邏輯對(duì)兩路影像并行處理，處理速度快且穩(wěn)定。
[0018]4、通過影像預(yù)處理裝置的預(yù)處理，還可以對(duì)雙目攝像頭的視頻數(shù)據(jù)進(jìn)行壓縮，降低網(wǎng)絡(luò)占用，提高外部計(jì)算設(shè)備與雙目攝像頭之間的數(shù)據(jù)傳輸能力。
[0019]5、影像預(yù)處理裝置為硬件設(shè)備，其工作方式較為固定，而外部計(jì)算設(shè)備一般為SoC或CPU運(yùn)算設(shè)備，以軟件方式運(yùn)行立體匹配算法的一部分，其工作方式和性能較為靈活，因此通過合理安排影像預(yù)處理裝置和后端計(jì)算平臺(tái)的具體分工，可以適應(yīng)不同的立體匹配算法需求。

【專利附圖】

【附圖說明】
[0020]下面結(jié)合附圖對(duì)本實(shí)用新型進(jìn)一步詳細(xì)的說明:
[0021]圖1為本實(shí)用新型所述的一種基于雙目攝像頭的影像預(yù)處理裝置的系統(tǒng)架構(gòu)示意圖；
[0022]圖2為本實(shí)用新型所述的視頻圖像預(yù)處理器內(nèi)部電路模塊框圖。

【具體實(shí)施方式】
[0023]如圖1所示，本實(shí)用新型包括視頻圖像預(yù)處理器4、影像緩存存儲(chǔ)器5、視頻輸入端子6和8、視頻輸出端子7，視頻圖像預(yù)處理器4與影像緩存存儲(chǔ)器5相連，視頻圖像預(yù)處理器4信號(hào)輸入端與視頻輸入端子6和8連接，視頻圖像預(yù)處理器4信號(hào)輸出端與視頻輸出端子7連接，外部雙目攝像頭I通過通訊線纜連接至所述裝置的視頻輸入端子6、8，用于立體場景深度圖生成的外部計(jì)算設(shè)備3通過通訊線纜連接至所述裝置的視頻輸出端子7。
[0024]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有影像采集電路21。
[0025]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有影像同步電路22。
[0026]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有影像校正電路23。
[0027]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有影像縮放電路24。
[0028]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有影像增強(qiáng)電路25。
[0029]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有色彩轉(zhuǎn)換電路26。
[0030]如圖2所示，所述視頻圖像預(yù)處理器4，設(shè)有控制器27，控制視頻圖像預(yù)處理器4與影像緩存存儲(chǔ)器5之間的通訊連接。
[0031]如圖1所示，所述影像預(yù)處理裝置視頻輸入端子數(shù)為兩個(gè)，接收外部雙目攝像頭I的影像，視頻輸出端子數(shù)為1，圖示視頻輸入端子為端子6、端子8，視頻輸出端子為端子7。
[0032]如圖1所示，雙目攝像頭I的兩個(gè)攝像元件分別采集不同視角的影像R、影像L，采集到的影像經(jīng)視頻輸入端子6、8送入影像預(yù)處理裝置，影像預(yù)處理裝置內(nèi)置影像緩存存儲(chǔ)器5對(duì)影像數(shù)據(jù)進(jìn)行緩存，影像預(yù)處理裝置內(nèi)置視頻圖像預(yù)處理器4對(duì)影像數(shù)據(jù)進(jìn)行預(yù)處理，經(jīng)預(yù)處理修正后的L/R影像信息經(jīng)視頻輸出端子7傳輸給外部計(jì)算設(shè)備3進(jìn)行立體場景探測(cè)的相關(guān)計(jì)算。
[0033]在本實(shí)施例中，視頻輸入端子6、8輸入攝像頭的兩路視頻數(shù)據(jù)，視頻輸出端子7向用于立體場景深度圖生成的外部計(jì)算設(shè)備3輸出預(yù)處理過的影像數(shù)據(jù)。
[0034]如圖2所示，在視頻圖像預(yù)處理器4內(nèi)，影像采集電路21、影像同步電路22、影像校正電路23、影像縮放電路24、影像增強(qiáng)電路25、色彩轉(zhuǎn)換電路26通過控制器27與所述影像緩存存儲(chǔ)器5相連接。
[0035]如圖2所示，在本實(shí)施例中，影像L、R輸入的視頻信號(hào)到達(dá)視頻圖像預(yù)處理器4后，先送至影像采集電路21，影像采集電路向控制器27發(fā)出信號(hào)，表明視頻圖像預(yù)處理器4開始視頻預(yù)處理過程，通過控制器27，把視頻數(shù)據(jù)存入影像緩存存儲(chǔ)器5，同時(shí)向影像同步電路22發(fā)出視頻預(yù)處理信號(hào)。
[0036]影像同步電路22收到視頻預(yù)處理信號(hào)后，通過控制器27，從影像緩存存儲(chǔ)器5中獲取影像采集電路21存入的視頻數(shù)據(jù)，按預(yù)設(shè)參數(shù)，通過對(duì)視頻幀的校驗(yàn)和修正，使兩部分?jǐn)?shù)字視頻的視頻幀傳輸能實(shí)現(xiàn)同步，并在結(jié)束處理后，通過控制器27，把視頻數(shù)據(jù)存入影像緩存存儲(chǔ)器5，同時(shí)向影像校正電路23發(fā)出視頻預(yù)處理信號(hào)。
[0037]影像校正電路23收到視頻預(yù)處理信號(hào)后，通過控制器27，從影像緩存存儲(chǔ)器5中獲取影像同步電路22存入的視頻數(shù)據(jù)，按預(yù)設(shè)參數(shù)，對(duì)視頻影像進(jìn)行幾何校正，并在結(jié)束處理后，通過控制器27，把視頻數(shù)據(jù)存入影像緩存存儲(chǔ)器5，同時(shí)向影像縮放電路24發(fā)出視頻預(yù)處理信號(hào)。
[0038]影像縮放電路24收到視頻預(yù)處理信號(hào)后，通過控制器27，從影像緩存存儲(chǔ)器5中獲取影像校正電路23存入的視頻數(shù)據(jù)，按預(yù)設(shè)參數(shù)，對(duì)視頻影像做縮放處理，并在結(jié)束處理后，通過控制器27，把視頻數(shù)據(jù)存入影像緩存存儲(chǔ)器5，同時(shí)向影像增強(qiáng)電路25發(fā)出視頻預(yù)處理信號(hào)。
[0039]影像增強(qiáng)電路25收到視頻預(yù)處理信號(hào)后，通過控制器27，從影像緩存存儲(chǔ)器5中獲取影像縮放電路24存入的視頻數(shù)據(jù)，按預(yù)設(shè)參數(shù)，對(duì)視頻影像進(jìn)行影像特征強(qiáng)化處理，如濾波、對(duì)比度增強(qiáng)、銳化、降噪等，并在結(jié)束處理后，通過控制器27，把視頻數(shù)據(jù)存入影像緩存存儲(chǔ)器5，同時(shí)向色彩轉(zhuǎn)換電路26發(fā)出視頻預(yù)處理信號(hào)。
[0040]色彩轉(zhuǎn)換電路26收到視頻預(yù)處理信號(hào)后，通過控制器27，從影像緩存存儲(chǔ)器5中獲取影像增強(qiáng)電路25存入的視頻數(shù)據(jù)，按預(yù)設(shè)參數(shù)，對(duì)視頻影像進(jìn)行色彩空間的轉(zhuǎn)換，如將RGB色彩轉(zhuǎn)換為YUV，或?qū)⒉噬跋褶D(zhuǎn)換為灰度影像等，在結(jié)束處理后，向控制器27發(fā)出指令，表明此次視頻圖像預(yù)處理器4的視頻預(yù)處理過程已結(jié)束，并把處理后的視頻數(shù)據(jù)送出視頻圖像預(yù)處理器4。
[0041 ] 本實(shí)施例中，視頻圖像預(yù)處理器4是類似FPGA可編程邏輯器件或具備相應(yīng)功能的IC器件，采用器件的硬件邏輯來實(shí)現(xiàn)對(duì)影像的處理，以提高運(yùn)行速度，達(dá)到實(shí)時(shí)運(yùn)算的目標(biāo)。
[0042]本實(shí)施例中，影像預(yù)處理裝置的輸出是滿足特定立體匹配算法要求的、色彩及尺寸等經(jīng)過優(yōu)化處理后的影像數(shù)據(jù)，通過視頻輸出端子7傳送給外部計(jì)算設(shè)備3的CPU/S0C進(jìn)行立體匹配的其余運(yùn)算。由于影像預(yù)處理裝置已經(jīng)為立體匹配運(yùn)算做了大量的預(yù)處理，因此，外部計(jì)算設(shè)備3的CPU/S0C可節(jié)約大量的運(yùn)算開銷。外部計(jì)算設(shè)備3的CPU/S0C可以集中資源進(jìn)行立體匹配算法的其余運(yùn)算，提升了立體場景探測(cè)的效率。
[0043]本實(shí)用新型的技術(shù)特點(diǎn)是為基于雙目攝像頭的立體場景探測(cè)產(chǎn)品增加了影像預(yù)處理裝置，將場景探測(cè)中立體匹配算法的部分處理預(yù)先由影像預(yù)處理裝置進(jìn)行運(yùn)算。應(yīng)該指出的是，根據(jù)所選用立體匹配算法的要求，本實(shí)用新型所述影像預(yù)處理裝置所進(jìn)行的運(yùn)算、結(jié)構(gòu)、構(gòu)架，以及所包含的運(yùn)算模塊可以是不同的。本實(shí)用新型中的附圖只是作為示例，凡是采用類似系統(tǒng)架構(gòu)用于立體場景探測(cè)的產(chǎn)品，皆為本實(shí)用新型的權(quán)利要求所在。
【權(quán)利要求】
1.一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:其包括視頻圖像預(yù)處理器、影像緩存存儲(chǔ)器、視頻輸入端子和視頻輸出端子，視頻圖像預(yù)處理器與影像緩存存儲(chǔ)器連接，視頻圖像預(yù)處理器信號(hào)輸入端與視頻輸入端子連接，視頻圖像預(yù)處理器信號(hào)輸出端與視頻輸出端子連接；外部雙目攝像頭通過通訊線纜連接至所述裝置的視頻輸入端子，用于立體場景深度圖生成的外部計(jì)算設(shè)備通過通訊線纜連接至所述裝置的視頻輸出端子。
2.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有影像采集電路。
3.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有影像同步電路。
4.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有影像校正電路。
5.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有影像縮放電路。
6.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有影像增強(qiáng)電路。
7.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器，設(shè)有色彩轉(zhuǎn)換電路。
8.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻圖像預(yù)處理器設(shè)有控制器，控制視頻圖像預(yù)處理器與影像緩存存儲(chǔ)器之間的通訊連接。
9.根據(jù)權(quán)利要求1所述的一種基于雙目攝像頭的影像預(yù)處理裝置，其特征在于:所述視頻輸入端子數(shù)為一個(gè)或兩個(gè)，接收外部雙目攝像頭的影像，視頻輸出端子數(shù)為I。
【文檔編號(hào)】H04N5/232GK204206364SQ201420708906
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月21日 優(yōu)先權(quán)日:2014年11月21日
【發(fā)明者】洪鴻榕, 曹國忠, 程文帆 申請(qǐng)人:冠捷顯示科技（廈門）有限公司