專利名稱：多視角立體渲染裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)和視頻處理技術(shù)領(lǐng)域，特別涉及一種多視角立體渲染裝置。
背景技術(shù)：
在立體視頻的拍攝、制作過(guò)程中，深度圖反映了一副圖像的每個(gè)像素與觀測(cè)者的距離遠(yuǎn)近。深度圖可通過(guò)不同的途徑獲得，例如深度探測(cè)儀、在多視角視頻中通過(guò)立體匹配、單視角視頻中通過(guò)圖像理解算法等。而視差圖則反映出對(duì)于同一物體或場(chǎng)景，觀測(cè)者在不同視角下觀察時(shí)所體現(xiàn)出來(lái)的差別，人體因?yàn)檫@些差別而產(chǎn)生出立體感。一般來(lái)說(shuō)，每一個(gè)視角觀測(cè)到的視差圖都是不一樣的，不同視角的視差圖可以通過(guò)將深度圖經(jīng)過(guò)量化、濾波等處理獲得。因此，基于深度圖的立體渲染是立體視頻制作、處理的一個(gè)至關(guān)重要的步馬聚ο現(xiàn)有技術(shù)普遍采用軟件進(jìn)行多視角立體渲染，現(xiàn)有技術(shù)存在的問(wèn)題是，計(jì)算能力受限、數(shù)據(jù)傳送帶寬不夠，特別是在視頻內(nèi)容分辨率高、視角數(shù)量較多的情況下顯得尤為突
出ο

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為達(dá)到上述目的，本發(fā)明提出一種多視角立體渲染裝置，包括視差圖生成模塊， 用于接收視頻圖像和所述視頻圖像對(duì)應(yīng)的深度圖，并根據(jù)預(yù)定的視差控制信號(hào)對(duì)所述深度圖進(jìn)行轉(zhuǎn)換以獲得多個(gè)視角的視差圖；以及多個(gè)渲染器，所述渲染器的數(shù)量與所述視角的數(shù)量相同，且每個(gè)渲染器分別用于根據(jù)每個(gè)視角的視差圖和所述視頻圖像進(jìn)行圖像渲染以獲得每個(gè)視角的圖像。在本發(fā)明的一個(gè)實(shí)施例中，所述渲染器進(jìn)一步包括視差圖預(yù)處理單元，用于根據(jù)所述視差圖的視差值和所述視差控制信號(hào)生成第一控制信號(hào)和第二控制信號(hào)，其中，所述第一控制信號(hào)和所述第二控制信號(hào)的取值為0或1 ；像素搬移單元，用于根據(jù)所述視差值、 第一控制信號(hào)及第二控制信號(hào)對(duì)所述視頻圖像的當(dāng)前像素進(jìn)行搬移，并獲得所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位；以及空洞填補(bǔ)單元，用于根據(jù)所述空洞標(biāo)志位對(duì)所述當(dāng)前像素進(jìn)行空洞填補(bǔ)并將所述空洞標(biāo)志位清零，以及輸出填補(bǔ)后的視頻圖像。在本發(fā)明的一個(gè)實(shí)施例中，所述視差圖預(yù)處理單元進(jìn)一步包括第一寄存器，用于存儲(chǔ)視差值的基準(zhǔn)數(shù)值；第二寄存器，用于存儲(chǔ)當(dāng)前視差值；狀態(tài)判斷子單元，用于根據(jù)所述基準(zhǔn)數(shù)值和所述當(dāng)前視差值輸出所述第一控制信號(hào)和所述第二控制信號(hào)，如果所述當(dāng)前視差值大于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出1，所述第二控制信號(hào)輸出1，如果所述當(dāng)前視差值等于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出0，所述第二控制信號(hào)輸出1， 如果所述當(dāng)前視差值小于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出0，所述第二控制信號(hào)輸出0。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)所述第一控制信號(hào)輸出1時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為0 ；當(dāng)所述第一控制信號(hào)輸出0時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為1。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)所述第二控制信號(hào)輸出1時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素不被其他像素覆蓋；當(dāng)所述第二控制信號(hào)輸出0時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素被其他像素覆蓋。在本發(fā)明的一個(gè)實(shí)施例中，所述像素搬移單元進(jìn)一步包括狀態(tài)寄存器，用于存儲(chǔ)空洞標(biāo)志位；環(huán)形讀寫存儲(chǔ)器，用于存儲(chǔ)所述當(dāng)前像素；像素FIFO存儲(chǔ)器，用于存儲(chǔ)空洞位置的像素；寫數(shù)據(jù)控制器，用于根據(jù)所述第一控制信號(hào)和第二控制信號(hào)控制所述環(huán)形讀寫存儲(chǔ)器、狀態(tài)寄存器和像素FIFO存儲(chǔ)器的寫入操作，當(dāng)所述第一控制信號(hào)輸出1時(shí)，則將所述當(dāng)前像素寫入所述環(huán)形讀寫存儲(chǔ)器，并將所述空洞標(biāo)志位置1，如果所述第二控制信號(hào)也輸出1，則同時(shí)將所述當(dāng)前像素寫入所述像素FIFO存儲(chǔ)器，如果所述第二控制信號(hào)輸出0， 則不進(jìn)行所述像素FIFO存儲(chǔ)器的寫入操作，當(dāng)所述第一控制信號(hào)輸出0，不進(jìn)行任何操作。
在本發(fā)明的一個(gè)實(shí)施例中，所述空洞填補(bǔ)單元進(jìn)一步包括讀取接口，用于依次從所述環(huán)形讀寫存儲(chǔ)器中讀出所述當(dāng)前像素及所述狀態(tài)寄存器中讀出所述空洞標(biāo)志位；空洞判斷子單元，用于判斷所述空洞標(biāo)志位；填補(bǔ)子單元，用于根據(jù)所述空洞標(biāo)志位的判斷結(jié)果填補(bǔ)所述視頻圖像，如果所述空洞標(biāo)志位值為1，則所述讀出的像素有效，直接輸出所述像素，并將所述空洞標(biāo)志位值置0，如果所述空洞標(biāo)志位值為0，則所述讀出的像素?zé)o效，所述像素對(duì)應(yīng)的當(dāng)前位置為空洞位置，從所述像素FIFO存儲(chǔ)器中讀取一個(gè)像素值，并根據(jù)所述空洞位置左右兩側(cè)的像素值計(jì)算獲得所述空洞中填補(bǔ)的像素值并將其輸出。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)所述視差值確定所述環(huán)形讀寫存儲(chǔ)器大小，且所述環(huán)形讀寫存儲(chǔ)器至少為所述視差值最大范圍值加1之后的2倍。在本發(fā)明的一個(gè)實(shí)施例中，所述深度圖與所述視差圖的轉(zhuǎn)換關(guān)系進(jìn)一步包括，根據(jù)所述視差圖的視差值Disp和所述深度圖的深度值D印th，按照以下公式進(jìn)行轉(zhuǎn)換，Disp =f*(D印th-Dz)，其中Dz為零視點(diǎn)位置，f為視差大小調(diào)節(jié)參數(shù)。在本發(fā)明的一個(gè)實(shí)施例中，視差圖生成模塊還包括視差控制信號(hào)設(shè)置單元，用于通過(guò)系統(tǒng)設(shè)置或用戶設(shè)置所述視差控制信號(hào)，所述視差控制信號(hào)包括量化參數(shù)和量化公式，控制視差圖生成的大小。根據(jù)本發(fā)明實(shí)施例的多視角立體渲染裝置，克服了軟件進(jìn)行多視角立體渲染時(shí)計(jì)算能力受限、數(shù)據(jù)傳送帶寬不夠的缺陷，可通過(guò)硬件結(jié)構(gòu)簡(jiǎn)潔而高效地實(shí)現(xiàn)多視角立體渲染，并實(shí)現(xiàn)各視角渲染過(guò)程的并行處理，計(jì)算過(guò)程無(wú)需受限于計(jì)算能力，且渲染過(guò)程中的參數(shù)、模式可由用戶靈活控制。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的多視角立體渲染裝置的結(jié)構(gòu)示意圖2為本發(fā)明實(shí)施例的渲染器的結(jié)構(gòu)示意圖；圖3為本發(fā)明實(shí)施例的視差圖預(yù)處理單元的結(jié)構(gòu)示意圖；圖4為本發(fā)明實(shí)施例的像素搬移單元的結(jié)構(gòu)示意圖；以及圖5為本發(fā)明實(shí)施例的空洞填補(bǔ)單元的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。圖1為本發(fā)明實(shí)施例的多視角立體渲染裝置的結(jié)構(gòu)示意圖。如圖1所示，根據(jù)本發(fā)明實(shí)施例的多視角立體渲染裝置，包括視差圖生成模塊100和多個(gè)渲染器200。其中，視差圖生成模塊100用于接收視頻圖像和視頻圖像對(duì)應(yīng)的深度圖，并根據(jù)預(yù)定的視差控制信號(hào)對(duì)深度圖進(jìn)行轉(zhuǎn)換以獲得多個(gè)視角的視差圖。多個(gè)渲染器200，渲染器200的數(shù)量與視角的數(shù)量相同，且每個(gè)渲染器200分別用于根據(jù)每個(gè)視角的視差圖和視頻圖像進(jìn)行圖像渲染以獲得每個(gè)視角的圖像。具體地，視差圖生成模塊100根據(jù)視差圖的視差值Di sp和深度圖的深度值D^th， 按照以下公式進(jìn)行深度圖到視差圖的轉(zhuǎn)換，Disp = f*(D印th-Dz)，其中Dz為零視點(diǎn)位置， f為視差大小調(diào)節(jié)參數(shù)，f可自行調(diào)節(jié)。在本發(fā)明的一個(gè)實(shí)施例中，視差圖生成模塊100還可包括視差控制信號(hào)設(shè)置單元 (未示出)，用于通過(guò)系統(tǒng)設(shè)置或用戶設(shè)置視差控制信號(hào)，視差控制信號(hào)包括量化參數(shù)和量化公式，控制視差圖生成的大小。通過(guò)視差控制信號(hào)設(shè)置單元，在立體視頻渲染過(guò)程中的參數(shù)、模式可由用戶靈活控制，也可通過(guò)系統(tǒng)設(shè)置。圖2為本發(fā)明實(shí)施例的渲染器的結(jié)構(gòu)示意圖。如圖2所示，根據(jù)本發(fā)明的實(shí)施例渲染器200包括視差圖預(yù)處理單元210、像素搬移單元220和空洞填補(bǔ)單元230。視差圖預(yù)處理單元210用于根據(jù)視差圖的視差值和視差控制信號(hào)生成第一控制信號(hào)和第二控制信號(hào)， 其中，第一控制信號(hào)和第二控制信號(hào)的取值為0或1。像素搬移單元220用于根據(jù)視差值、 第一控制信號(hào)及第二控制信號(hào)對(duì)視頻圖像的當(dāng)前像素進(jìn)行搬移，并獲得當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位?？斩刺钛a(bǔ)單元230用于根據(jù)空洞標(biāo)志位對(duì)當(dāng)前像素進(jìn)行空洞填補(bǔ)并將空洞標(biāo)志位清零，以及輸出填補(bǔ)后的視頻圖像。。更具體地，圖3為本發(fā)明實(shí)施例的視差圖預(yù)處理單元的結(jié)構(gòu)示意圖，如圖3所示，視差圖預(yù)處理單元210包括第一寄存器221、第二寄存器222和狀態(tài)判斷子單元223。 第一寄存器221用于存儲(chǔ)視差值的基準(zhǔn)數(shù)值DispHistory。第二寄存器222用于存儲(chǔ)當(dāng)前視差值CurrentDisp。狀態(tài)判斷子單元223用于根據(jù)基準(zhǔn)數(shù)值DispHistory和當(dāng)前視差值CurrentDisp輸出第一控制信號(hào)和第二控制信號(hào)，如果當(dāng)前視差值CurrentDisp大于基準(zhǔn)數(shù)值DispHistory，則第一控制信號(hào)輸出1，第二控制信號(hào)輸出1，如果當(dāng)前視差值 CurrentDisp等于基準(zhǔn)數(shù)值DispHistory，則第一控制信號(hào)輸出0，第二控制信號(hào)輸出1，如果當(dāng)前視差值CurrentDisp小于基準(zhǔn)數(shù)值DispHistory，則第一控制信號(hào)輸出0，第二控制信號(hào)輸出0。每個(gè)新視差值CurrentDisp輸入之后會(huì)根據(jù)具體情況調(diào)整基準(zhǔn)數(shù)值DispHistory的值，例如若當(dāng)前視差值CurrentDisp小于基準(zhǔn)數(shù)值DispHistory，則基準(zhǔn)數(shù)值 DispHistory減一，否則將當(dāng)前視差值CurrentDisp賦給基準(zhǔn)數(shù)值DispHistory。其中基準(zhǔn)數(shù)值DispHistory的初始值為每行圖像第一個(gè)像素點(diǎn)的視差值。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)?shù)谝豢刂菩盘?hào)輸出1時(shí)，對(duì)當(dāng)前像素搬移后，當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為O。當(dāng)?shù)谝豢刂菩盘?hào)輸出O時(shí)，對(duì)當(dāng)前像素搬移后，當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為1。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)?shù)诙刂菩盘?hào)輸出1時(shí)，對(duì)當(dāng)前像素搬移后，當(dāng)前像素不被其他像素覆蓋。當(dāng)?shù)诙刂菩盘?hào)輸出O時(shí)，對(duì)當(dāng)前像素搬移后，當(dāng)前像素被其他像素覆蓋。圖4為本發(fā)明實(shí)施例的像素搬移單元的結(jié)構(gòu)示意圖。如圖4所示，像素搬移單元 220包括狀態(tài)寄存器221、環(huán)形讀寫存儲(chǔ)器222、像素FIFO存儲(chǔ)器223和寫數(shù)據(jù)控制器224。 狀態(tài)寄存器222用于存儲(chǔ)空洞標(biāo)志位。環(huán)形讀寫存儲(chǔ)器222用于存儲(chǔ)當(dāng)前像素。像素FIFO 存儲(chǔ)器223用于存儲(chǔ)空洞位置的像素。寫數(shù)據(jù)控制器2M用于根據(jù)第一控制信號(hào)和第二控制信號(hào)控制環(huán)形讀寫存儲(chǔ)器222、狀態(tài)寄存器221和像素FIFO存儲(chǔ)器223的寫入操作，當(dāng)?shù)谝豢刂菩盘?hào)輸出1時(shí)，則將當(dāng)前像素寫入環(huán)形讀寫存儲(chǔ)器222，并將空洞標(biāo)志位置1，如果第二控制信號(hào)也輸出1，則同時(shí)將當(dāng)前像素寫入像素FIFO存儲(chǔ)器223，如果第二控制信號(hào)輸出 0，則不進(jìn)行像素FIFO存儲(chǔ)器的寫入操作，當(dāng)?shù)谝豢刂菩盘?hào)輸出0，不進(jìn)行任何操作。在本發(fā)明的一個(gè)實(shí)施例中，環(huán)形讀寫存儲(chǔ)器222的大小由視差值的大小范圍所決定，假設(shè)視差值范圍為-DM +DM，則環(huán)形讀寫存儲(chǔ)器222的實(shí)際大小至少為2*(DM+1)。環(huán)形讀寫存儲(chǔ)器222的讀數(shù)據(jù)口和寫數(shù)據(jù)口的讀寫地址由一個(gè)循環(huán)變化的基礎(chǔ)地址決定，基礎(chǔ)地址為BaseAddress，從0開(kāi)始，每個(gè)時(shí)鐘周期遞增1，到達(dá)環(huán)形讀寫存儲(chǔ)器222最大地址后歸零繼續(xù)遞增，循環(huán)往復(fù)，讀寫地址均由此BaseAddress得到，假設(shè)環(huán)形讀寫存儲(chǔ)器222 的長(zhǎng)度為L(zhǎng)，則讀數(shù)據(jù)口地址ReadAddress和寫數(shù)據(jù)口地址feiteAddress按照以下公式計(jì)算，ReadAddress = BaseAddress,WriteAddress = ModL (BaseAddress+DM+ 視差值)其中，Mod指對(duì)括號(hào)里的數(shù)據(jù)進(jìn)行取模操作，L是模的基數(shù)，例如Mod3(8) = 2。圖5為本發(fā)明實(shí)施例的空洞填補(bǔ)單元的結(jié)構(gòu)示意圖。如圖5所示，空洞填補(bǔ)單元 230包括讀取接口 231、空洞判斷子單元232和填補(bǔ)子單元233。讀取接口 231用于依次從環(huán)形讀寫存儲(chǔ)器222中讀出當(dāng)前像素及狀態(tài)寄存器221中讀出空洞標(biāo)志位?？斩磁袛嘧訂卧?32用于判斷空洞標(biāo)志位。填補(bǔ)子單元233，用于根據(jù)空洞標(biāo)志位的判斷結(jié)果填補(bǔ)所述視頻圖像，如果空洞標(biāo)志位值為1，則讀出的像素有效，直接輸出像素，并將空洞標(biāo)志位值置0，如果空洞標(biāo)志位值為0，則讀出的像素?zé)o效，像素對(duì)應(yīng)的當(dāng)前位置為空洞位置，從像素 FIFO存儲(chǔ)器223中讀取一個(gè)像素值，并根據(jù)空洞位置左右兩側(cè)的像素值獲得空洞中填補(bǔ)的像素值并將其輸出，例如利用線性插值的方法。根據(jù)本發(fā)明實(shí)施例的多視角立體渲染裝置，克服了軟件進(jìn)行多視角立體渲染時(shí)計(jì)算能力受限、數(shù)據(jù)傳送帶寬不夠的缺陷，可通過(guò)硬件結(jié)構(gòu)簡(jiǎn)潔而高效地實(shí)現(xiàn)多視角立體渲染，并實(shí)現(xiàn)各視角渲染過(guò)程的并行處理，計(jì)算過(guò)程無(wú)需受限于計(jì)算能力，且渲染過(guò)程中的參數(shù)、模式可由用戶靈活控制。
盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
1.一種多視角立體渲染裝置，其特征在于，包括視差圖生成模塊，用于接收視頻圖像和所述視頻圖像對(duì)應(yīng)的深度圖，并根據(jù)預(yù)定的視差控制信號(hào)對(duì)所述深度圖進(jìn)行轉(zhuǎn)換以獲得多個(gè)視角的視差圖；以及多個(gè)渲染器，所述渲染器的數(shù)量與所述視角的數(shù)量相同，且每個(gè)渲染器分別用于根據(jù)每個(gè)視角的視差圖和所述視頻圖像進(jìn)行圖像渲染以獲得每個(gè)視角的圖像。
2.根據(jù)權(quán)利要求1所述的多視角立體渲染裝置，其特征在于，所述渲染器進(jìn)一步包括 視差圖預(yù)處理單元，用于根據(jù)所述視差圖的視差值和所述視差控制信號(hào)生成第一控制信號(hào)和第二控制信號(hào)，其中，所述第一控制信號(hào)和所述第二控制信號(hào)的取值為0或1 ；像素搬移單元，用于根據(jù)所述視差值、第一控制信號(hào)及第二控制信號(hào)對(duì)所述視頻圖像的當(dāng)前像素進(jìn)行搬移，并獲得所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位；以及空洞填補(bǔ)單元，用于根據(jù)所述空洞標(biāo)志位對(duì)所述當(dāng)前像素進(jìn)行空洞填補(bǔ)并將所述空洞標(biāo)志位清零，以及輸出填補(bǔ)后的視頻圖像。
3.根據(jù)權(quán)利要求2所述的多視角立體渲染裝置，其特征在于，所述視差圖預(yù)處理單元進(jìn)一步包括第一寄存器，用于存儲(chǔ)視差值的基準(zhǔn)數(shù)值； 第二寄存器，用于存儲(chǔ)當(dāng)前視差值；狀態(tài)判斷子單元，用于根據(jù)所述基準(zhǔn)數(shù)值和所述當(dāng)前視差值輸出所述第一控制信號(hào)和所述第二控制信號(hào)，如果所述當(dāng)前視差值大于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出1， 所述第二控制信號(hào)輸出1，如果所述當(dāng)前視差值等于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出0，所述第二控制信號(hào)輸出1，如果所述當(dāng)前視差值小于所述基準(zhǔn)數(shù)值，則所述第一控制信號(hào)輸出0，所述第二控制信號(hào)輸出0。
4.根據(jù)權(quán)利要求3所述的多視角立體渲染裝置，其特征在于，當(dāng)所述第一控制信號(hào)輸出1時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為0 ；當(dāng)所述第一控制信號(hào)輸出0時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素所對(duì)應(yīng)的位置的空洞標(biāo)志位為1。
5.根據(jù)權(quán)利要求3所述的多視角立體渲染裝置，其特征在于，當(dāng)所述第二控制信號(hào)輸出1時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素不被其他像素覆蓋；當(dāng)所述第二控制信號(hào)輸出0時(shí)，對(duì)所述當(dāng)前像素搬移后，所述當(dāng)前像素被其他像素覆至ΓΤΠ ο
6.根據(jù)權(quán)利要求2所述的多視角立體渲染裝置，其特征在于，所述像素搬移單元進(jìn)一步包括狀態(tài)寄存器，用于存儲(chǔ)空洞標(biāo)志位； 環(huán)形讀寫存儲(chǔ)器，用于存儲(chǔ)所述當(dāng)前像素； 像素FIFO存儲(chǔ)器，用于存儲(chǔ)空洞位置的像素；寫數(shù)據(jù)控制器，用于根據(jù)所述第一控制信號(hào)和第二控制信號(hào)控制所述環(huán)形讀寫存儲(chǔ)器、狀態(tài)寄存器和像素FIFO存儲(chǔ)器的寫入操作，當(dāng)所述第一控制信號(hào)輸出1時(shí)，則將所述當(dāng)前像素寫入所述環(huán)形讀寫存儲(chǔ)器，并將所述空洞標(biāo)志位置1，如果所述第二控制信號(hào)也輸出.1，則同時(shí)將所述當(dāng)前像素寫入所述像素FIFO存儲(chǔ)器，如果所述第二控制信號(hào)輸出0，則不進(jìn)行所述像素FIFO存儲(chǔ)器的寫入操作，當(dāng)所述第一控制信號(hào)輸出0，不進(jìn)行任何操作。
7.根據(jù)權(quán)利要求6所述的多視角立體渲染裝置，其特征在于，所述空洞填補(bǔ)單元進(jìn)一步包括讀取接口，用于依次從所述環(huán)形讀寫存儲(chǔ)器中讀出所述當(dāng)前像素及所述狀態(tài)寄存器中讀出所述空洞標(biāo)志位；空洞判斷子單元，用于判斷所述空洞標(biāo)志位；填補(bǔ)子單元，用于根據(jù)所述空洞標(biāo)志位的判斷結(jié)果填補(bǔ)所述視頻圖像，如果所述空洞標(biāo)志位值為1，則所述讀出的像素有效，直接輸出所述像素，并將所述空洞標(biāo)志位值置0，如果所述空洞標(biāo)志位值為0，則所述讀出的像素?zé)o效，所述像素對(duì)應(yīng)的當(dāng)前位置為空洞位置， 從所述像素FIFO存儲(chǔ)器中讀取一個(gè)像素值，并根據(jù)所述空洞位置左右兩側(cè)的像素值通過(guò)線性差值獲得所述空洞中填補(bǔ)的像素值并將其輸出。
8.根據(jù)權(quán)利要求6所述的多視角立體渲染裝置，其特征在于，根據(jù)所述視差值確定所述環(huán)形讀寫存儲(chǔ)器大小，且所述環(huán)形讀寫存儲(chǔ)器至少為所述視差值最大范圍值加1之后的2倍。
9.根據(jù)權(quán)利要求1所述的多視角立體渲染裝置，其特征在于，所述深度圖與所述視差圖的轉(zhuǎn)換關(guān)系進(jìn)一步包括根據(jù)所述視差圖的視差值Disp和所述深度圖的深度值D印th，按照以下公式進(jìn)行轉(zhuǎn)換，Disp = f*(D印th-Dz)，其中Dz為零視點(diǎn)位置，f為視差大小調(diào)節(jié)參數(shù)。
10.根據(jù)權(quán)利要求1所述的多視角立體渲染裝置，其特征在于，視差圖生成模塊還包括視差控制信號(hào)設(shè)置單元，用于通過(guò)系統(tǒng)設(shè)置或用戶設(shè)置所述視差控制信號(hào)，所述視差控制信號(hào)包括量化參數(shù)和量化公式，控制視差圖生成的大小。
全文摘要
本發(fā)明提出一種多視角立體渲染裝置，包括視差圖生成模塊，用于接收視頻圖像和視頻圖像對(duì)應(yīng)的深度圖，并根據(jù)預(yù)定的視差控制信號(hào)對(duì)深度圖進(jìn)行轉(zhuǎn)換以獲得多個(gè)視角的視差圖；以及多個(gè)渲染器，渲染器的數(shù)量與視角的數(shù)量相同，且每個(gè)渲染器分別用于根據(jù)每個(gè)視角的視差圖和視頻圖像進(jìn)行圖像渲染以獲得每個(gè)視角的圖像。根據(jù)本發(fā)明的裝置，克服了軟件多視角立體渲染時(shí)計(jì)算能力受限的缺陷，可簡(jiǎn)潔高效地實(shí)現(xiàn)多視角立體渲染，并實(shí)現(xiàn)多視角渲染的并行處理，且渲染過(guò)程中的參數(shù)、模式可以由用戶靈活控制。
文檔編號(hào)H04N13/00GK102427547SQ20111036261
公開(kāi)日2012年4月25日 申請(qǐng)日期2011年11月15日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者徐楓, 戴瓊海, 王好謙, 郝偉 申請(qǐng)人:清華大學(xué)