一種雙目視覺自由立體顯示系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種雙目視覺自由立體顯示系統(tǒng)。
【背景技術(shù)】
[0002]隨著科技的進(jìn)步，數(shù)字多媒體技術(shù)也不斷發(fā)展，如今3D視頻應(yīng)用已出現(xiàn)在人們的生活中，例如在娛樂領(lǐng)域、軍事領(lǐng)域及醫(yī)療領(lǐng)域等都能見其身影。觀看一般立體視頻時(shí)，人們需要佩戴紅藍(lán)眼鏡或偏振光眼鏡等輔助設(shè)備，當(dāng)觀看者觀看久了會(huì)產(chǎn)生疲勞感，限制了立體視頻顯示技術(shù)的推廣應(yīng)用。
[0003]所謂自由立體顯示技術(shù)，是指觀看者在不需要任何輔助設(shè)備的條件下，直接觀察顯示器屏幕就能感知立體感的一種技術(shù)，即裸眼3D技術(shù)。自由立體顯示系統(tǒng)主要包括視頻信息的采集、編碼、傳輸和顯示這幾個(gè)步驟。現(xiàn)有的自由立體顯示系統(tǒng)在顯示端需要多個(gè)視點(diǎn)的信息，這樣在觀看范圍內(nèi)，觀看者左右眼能接收到兩幅具有視差的圖像，經(jīng)過大腦的融合處理從而感知到立體感。
[0004]自由立體顯示系統(tǒng)對(duì)實(shí)時(shí)性要求高，如何做到實(shí)時(shí)的顯示是一難點(diǎn)?，F(xiàn)有的自由立體顯示系統(tǒng)不能完全做到真正的實(shí)時(shí)顯示，都是先將采集好的視頻利用PC軟件的處理方式提取場景的深度信息，接著由深度信息生成立體視頻并保存，最后對(duì)生成的立體視頻進(jìn)行播放。這種方式不能很好實(shí)現(xiàn)對(duì)場景信息的實(shí)時(shí)采集。而且常用的提取場景深度信息的方法以及由深度信息生成立體視頻的方法都是比較耗時(shí)的，采用通用PC軟件處理方式很難保證立體視頻的實(shí)時(shí)性。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)的缺陷，并從成本和實(shí)用性方面考慮，本發(fā)明提供一種雙目視覺自由立體顯示系統(tǒng)，利用雙目相機(jī)對(duì)現(xiàn)實(shí)場景進(jìn)行采集，將采集得到的視頻經(jīng)由接口轉(zhuǎn)換電路輸出給FPGA加速電路，利用FPGA加速電路對(duì)采集到的視頻數(shù)據(jù)逐幀地進(jìn)行立體匹配、多視點(diǎn)生成及立體圖像合成，并將合成的立體圖像輸出到自由立體顯示器進(jìn)行顯示。本發(fā)明利用FPGA支持并行和流水處理的特性，對(duì)立體匹配、多視點(diǎn)生成、立體圖像合成這些耗時(shí)的操作進(jìn)行加速處理，以達(dá)到實(shí)時(shí)的自由立體顯示，使觀看者在不需要任何輔助設(shè)備的條件下，可以在自由立體顯示器前方的較大范圍內(nèi)觀看到連續(xù)、流暢的立體視頻。實(shí)驗(yàn)驗(yàn)證本發(fā)明顯示1920 X 1080分辨率的立體視頻的幀速約為每秒30幀。
[0006]本發(fā)明提供一種雙目視覺自由立體顯示系統(tǒng)，包括:
[0007](權(quán)I)。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0009](I)利用雙目相機(jī)對(duì)自然場景進(jìn)行采集，接著將采集到的視頻數(shù)據(jù)進(jìn)行立體匹配處理得出視差信息，最后由基于深度圖像的繪制(Depth-1mage-Based Rendering，DIBR)技術(shù)實(shí)現(xiàn)多視點(diǎn)的繪制，為自由立體顯示提供多視點(diǎn)信息，采用這樣的處理方法降低了系統(tǒng)的傳輸帶寬、存儲(chǔ)空間以及成本；
[0010](2)充分利用FPGA支持并行和流水處理的特性，將一些處理比較耗時(shí)的操作(例如立體匹配、多視點(diǎn)繪制及立體視頻的合成)采用硬件來進(jìn)行加速處理，大大提高系統(tǒng)處理速度，實(shí)現(xiàn)立體視頻的實(shí)時(shí)顯示；
[0011](3)系統(tǒng)的集成性高，利用FPGA實(shí)現(xiàn)整個(gè)與自由立體顯示相關(guān)的處理，通過提供相應(yīng)的視頻數(shù)據(jù)，就能得到用于顯示的立體視頻；
[0012](4)系統(tǒng)的實(shí)用性好，相比其他加速方法(例如采用GPU)，F(xiàn)PGA不僅能實(shí)現(xiàn)并行處理，同時(shí)也降低系統(tǒng)的功耗，利用本發(fā)明進(jìn)行自由立體顯示比較方便。
【附圖說明】
[0013]圖1是本發(fā)明一種雙目視覺自由立體顯示系統(tǒng)結(jié)構(gòu)示意圖；
[0014]圖2是本發(fā)明FPGA加速電路的硬件結(jié)構(gòu)框圖；
[0015]圖3是本發(fā)明FPGA邏輯處理流程圖；
[0016]圖4是本發(fā)明FPGA解析LVDS差分信號(hào)的硬件實(shí)現(xiàn)圖；
[0017]圖5是本發(fā)明立體匹配處理流程圖；
[0018]圖6是本發(fā)明生成一幅虛視圖的處理流程圖；
[0019]圖7是本發(fā)明合成立體圖的處理流程圖。
【具體實(shí)施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0021]圖1所示為本發(fā)明實(shí)施例的雙目視覺自由立體顯示系統(tǒng)的結(jié)構(gòu)示意圖，包括雙目相機(jī)1、接口轉(zhuǎn)換電路2、FPGA加速電路3及自由立體顯示器4。雙目相機(jī)I對(duì)現(xiàn)實(shí)場景進(jìn)行采集，并將左右相機(jī)采集到的視頻通過HDMI接口傳輸?shù)浇涌谵D(zhuǎn)換電路2。接口轉(zhuǎn)換電路2包括HDMI接口、微控制器及LVDS接口。接口轉(zhuǎn)換電路2的微控制器從HDMI接口接收視頻，依據(jù)HDMI傳輸協(xié)議格式解析出其中所包含的視頻數(shù)據(jù)，并按照LVDS傳輸協(xié)議格式將視頻數(shù)據(jù)通過LVDS接口輸出到FPGA加速電路3 JPGA加速電路3接收視頻數(shù)據(jù)并逐幀進(jìn)行處理，將合成的立體視頻輸出到自由立體顯示器4進(jìn)行顯示。
[0022]圖2所示為本發(fā)明實(shí)施例的FPGA加速電路3的結(jié)構(gòu)框圖。FPGA加速電路3包括信號(hào)輸入接口、信號(hào)輸出接口、處理器模塊、存儲(chǔ)模塊及電源模塊。信號(hào)輸入接口接收的信號(hào)包括LVDS差分信號(hào)組及12V電源信號(hào)，其中LVDS差分信號(hào)組用于傳輸視頻數(shù)據(jù)，12電源輸入信號(hào)用于給FPGA加速電路3提供外部輸入電源。信號(hào)輸出接口輸出的信號(hào)與信號(hào)輸入接口類似，將LVDS差分信號(hào)組及12V電源信號(hào)傳輸給自由立體顯示器4。處理器模塊包括FPGA處理器、時(shí)鐘電路及JTAG接口電路，其中，F(xiàn)PGA處理器用于一系列計(jì)算并生成立體視頻，具體包括:雙目視頻數(shù)據(jù)解析、左右圖像校正、立體匹配、多視點(diǎn)生成、立體圖像合成和立體視頻數(shù)據(jù)包裝;時(shí)鐘電路用于給FPGA處理器提供50M的外部時(shí)鐘信號(hào)輸入;JTAG接口電路用于FPAG處理器邏輯功能的調(diào)試和升級(jí)。在本發(fā)明實(shí)施例中，F(xiàn)PGA處理器選用Xilinx公司XC6SLX150或者類似的芯片，采用有源晶振SG8002CE芯片為FPGA處理器提供50M時(shí)鐘信號(hào)，也可以采用其他類似的有源晶振實(shí)現(xiàn)。存儲(chǔ)模塊包括DDR2存儲(chǔ)器及配置FLASH，其中DDR2存儲(chǔ)器用于緩存視頻數(shù)據(jù)以方便處理;配置FLASH用于存儲(chǔ)FPGA處理器的配置數(shù)據(jù)，在系統(tǒng)上電時(shí)，F(xiàn)PGA處理器能自動(dòng)從配置FLASH中讀取配置數(shù)據(jù)從而進(jìn)行處理。在本發(fā)明實(shí)施例中，設(shè)計(jì)配置電路時(shí)采用主模式中的SPI配置模式，采用M25P128這款SPI FLASH芯片，其容量為128M，也可以采用其他類似的FLASH芯片實(shí)現(xiàn);DDR2存儲(chǔ)器選用MT47H64M16HR-25E這款DDR2芯片，其容量為1Gb，也可以采用其他類似的DDR2芯片實(shí)現(xiàn)。電源模塊包括12V轉(zhuǎn)5V電路、5V轉(zhuǎn)1.2V和
2.5V電路、5V轉(zhuǎn)3.3V和1.8V電路、1.8V轉(zhuǎn)0.9V電路，通過這些轉(zhuǎn)換電路得到FPGA加速電路3各個(gè)模塊工作所需要的電壓。在本發(fā)明實(shí)施例中，首先將信號(hào)輸入接口輸入進(jìn)來的12V電壓轉(zhuǎn)換成5V電壓，接著將5V電壓分別轉(zhuǎn)換成3.3V、2.5V、1.8V和1.2V，最后將1.8V轉(zhuǎn)換成0.9V。在本發(fā)明實(shí)施例中，12V轉(zhuǎn)5V電路采用TPS54326PWP電源轉(zhuǎn)換芯片，也可以采用類似的芯片實(shí)現(xiàn);5V轉(zhuǎn)2.5￥和1.2V電路采用LTC3546電源轉(zhuǎn)換芯片，也可以采用類似的芯片實(shí)現(xiàn);5V轉(zhuǎn)
3.3V和1.8V電路采用LT3501電源轉(zhuǎn)換芯片，也可以采用類似的芯片實(shí)現(xiàn)；1.8V轉(zhuǎn)0.9V電路采用LTC3413電源轉(zhuǎn)換芯片，也可以采用類似的芯片實(shí)現(xiàn)。
[0023]圖3所示為本發(fā)明實(shí)施例的FPGA處理器進(jìn)行邏輯處理的流程圖。FPGA處理器接收視頻數(shù)據(jù)并逐幀進(jìn)行處理，每幀數(shù)據(jù)由雙目相機(jī)拍攝得到的數(shù)據(jù)組成，即拍攝得到的左右兩幅圖像數(shù)據(jù)，其步驟如下:
[0024]步驟I從信號(hào)輸入接口接收LVDS差分信號(hào)組，解析出其中的視頻數(shù)據(jù)。本發(fā)明實(shí)施例中LVDS傳輸采用24位雙像素模式，總共有2路差分信號(hào)，每路各包括4對(duì)數(shù)據(jù)差分信號(hào)和一對(duì)時(shí)鐘差分信號(hào)。圖4所示為本發(fā)明實(shí)施例的FPGA解析LVDS差分信號(hào)組的硬件實(shí)現(xiàn)圖。因兩路LVDS差分信號(hào)的時(shí)鐘信號(hào)是同步的，沒有相位偏移，因此在圖4中只標(biāo)出一對(duì)時(shí)鐘差分信號(hào)，即CLK+和CLK-。每一對(duì)數(shù)據(jù)差分信號(hào)在一個(gè)時(shí)鐘周期內(nèi)，能傳輸7比特?cái)?shù)據(jù)。LVDS差分信號(hào)經(jīng)過接收器后轉(zhuǎn)換成TTL電平信號(hào)，在實(shí)現(xiàn)時(shí)可將FPGA處理器內(nèi)部的1資源配置成接收器。接收解析模塊的輸入時(shí)鐘頻率CLK_0UT是差分時(shí)鐘接收器的輸出時(shí)鐘CLK_IN的7倍。當(dāng)有數(shù)據(jù)到來時(shí)，接收解析模塊在接下來7個(gè)時(shí)鐘周期的每一個(gè)時(shí)鐘周期輸出從端口 AO?A7傳輸來的比特?cái)?shù)據(jù)，即第一個(gè)時(shí)鐘周期內(nèi)將接收到的8比特?cái)?shù)據(jù)分別從DO?D7這8個(gè)端口輸出，第二個(gè)時(shí)鐘周期內(nèi)將接收到的8比特?cái)?shù)據(jù)分別從D8?D15這8個(gè)端口輸出，同理在接下來時(shí)鐘周期內(nèi)從相應(yīng)的端口輸出數(shù)據(jù)直到第7個(gè)時(shí)鐘周期。
[0025]步驟2逐幀地對(duì)視頻數(shù)據(jù)進(jìn)行立體圖像對(duì)校正操作。因雙目相機(jī)的兩相機(jī)沒有絕對(duì)的水平放置，拍攝得到的左右圖