專利名稱：一種基于圖像扭曲技術(shù)的圖像及視頻2d 轉(zhuǎn)3d 的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像及視頻處理方法，尤其涉及一種2D圖像及2D視頻轉(zhuǎn)換為3D圖像及3D視頻的方法。
背景技術(shù)：
隨著立體顯示技術(shù)和機(jī)器視覺(jué)技術(shù)的快速發(fā)展，3D圖像及3D視頻憑借其較2D圖像及2D視頻更出眾的真實(shí)感和立體感，使用戶體驗(yàn)到了更加真切的身臨其境的感覺(jué)，受到了用戶的廣泛歡迎。然而在立體顯示技術(shù)和機(jī)器視覺(jué)技術(shù)飛速發(fā)展的同時(shí)，現(xiàn)階段適合進(jìn)行立體顯示的3D圖像及3D視頻資源卻難以滿足用戶的需求。人類之所以能夠看到立體的景物，是因?yàn)槿祟惖碾p眼在觀看時(shí)存在視差，即左眼所看到的影像與右眼所看到的影像存在差異，3D圖像及3D視頻的原理便是利用人工方式重現(xiàn)視差，讓左右兩眼分別看到不同的影像，藉以仿真出立體影像。3D圖像及3D視頻的制作方法主要有兩種:一種是直接生成，另一種是由2D圖像及2D視頻轉(zhuǎn)換而來(lái)。利用3D攝像機(jī)拍攝新的3D圖像及3D視頻是獲取3D圖像及3D視頻的一種直接有效的方式，但這種方式不僅制作困難、制作周期長(zhǎng)、費(fèi)用高昂，而且無(wú)法有效利用已經(jīng)存在的大量2D圖像及2D視頻資源。圖像及視頻2D轉(zhuǎn)3D技術(shù)是從2D圖像及2D視頻中生成與之對(duì)應(yīng)的視差圖像及視頻，進(jìn)而生成3D圖像及3D視頻的技術(shù)。2D圖像及2D視頻擁有豐富的資源，將2D圖像及2D視頻轉(zhuǎn)為3D圖像及3D視頻能夠彌補(bǔ)3D圖像及3D視頻資源短缺的不足。除此之外，有些經(jīng)典珍貴的2D圖像及2D視頻無(wú)法再重新攝制，通過(guò)圖像及視頻2D轉(zhuǎn)3D技術(shù)能夠以3D的形式重溫以前經(jīng)典的2D圖像及2D視頻資源，因此，圖像及視頻2D轉(zhuǎn)3D技術(shù)對(duì)3D圖像及3D視頻的發(fā)展具有重要意義。目前的圖像及視頻2D轉(zhuǎn)3D技術(shù)目前大都基于原始2D圖像生成具有不同深度信息的左右眼圖像，在提取2D圖像中物體的深度信息時(shí)，僅將2D圖像分為前景和背景兩種場(chǎng)景區(qū)分物體的深度，即物體在與2D圖像平面垂直的方向上的長(zhǎng)度。同一場(chǎng)景中的物體深度均相同，從而導(dǎo)致產(chǎn)生的立體感較差。除此之外，對(duì)于3D圖像及3D視頻轉(zhuǎn)換后的立體效果在轉(zhuǎn)換過(guò)程中也難以進(jìn)行檢查，難以確定物體的前后順序，制作效率較低。

發(fā)明內(nèi)容
本發(fā)明需要解決的技術(shù)問(wèn)題是提供一種易于實(shí)現(xiàn)、且制作成本較低的2D視頻轉(zhuǎn)換為3D視頻的方法，用于將2D視頻轉(zhuǎn)換為3D視頻。為解決上述技術(shù)問(wèn)題，本發(fā)明所采用的技術(shù)方案如下:一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，所述方法在圖像扭曲技術(shù)的基礎(chǔ)上將2D圖像及2D視頻轉(zhuǎn)換為相對(duì)應(yīng)的3D圖像及3D視頻，具體實(shí)現(xiàn)方法包括以下步驟:步驟I)追蹤2D圖像的攝像機(jī)原點(diǎn):根據(jù)2D圖像中各物體的坐標(biāo)值追蹤拍攝該2D圖像的攝像機(jī)原點(diǎn)，從而確定2D圖像中各物體與攝像機(jī)原點(diǎn)的空間位置關(guān)系和遠(yuǎn)近關(guān)系。步驟2)繪制等高線圖:以2D圖像的攝像機(jī)原點(diǎn)為中心，參考2D圖像中各物體與攝像機(jī)的空間位置關(guān)系和遠(yuǎn)近關(guān)系，按照2D圖像中各物體距離攝像機(jī)的距離不同設(shè)定該物體以及該物體各個(gè)點(diǎn)的相應(yīng)深度值，以相等深度值的物體或物體上的各點(diǎn)為對(duì)象繪制2D圖像的等高線，從而將位于不同等高線上的物體進(jìn)行區(qū)域劃分并進(jìn)行摳圖。步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應(yīng)的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，從而生成灰度圖。步驟4)合成模型化扭曲圖像:以灰度圖作為立體模型基礎(chǔ)，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進(jìn)行疊加從而生成具有立體效果的模型化扭曲圖像。步驟5)核對(duì)物體的前后順序:對(duì)模型化扭曲圖像中各物體立體效果的前后順序進(jìn)行核對(duì)，如果各物體的前后順序均正確則進(jìn)行步驟6)，否則返回步驟3)，對(duì)2D圖像中物體的灰度值進(jìn)行細(xì)微調(diào)節(jié)，最終達(dá)到灰度圖與物體立體效果的統(tǒng)一及匹配。步驟6)確定左右攝像機(jī)的空間位置:根據(jù)2D圖像中各個(gè)物體的成像規(guī)則確定攝像機(jī)像素格的位移量，進(jìn)一步模擬出左右兩部攝像機(jī)的空間位置。步驟7)生成3D圖像:根據(jù)步驟6)確定的左右兩部攝像機(jī)的空間位置，參照灰度圖對(duì)2D圖像進(jìn)行相應(yīng)的像素格的移位與補(bǔ)洞，從而生成3D圖像即左右眼圖像。步驟8)生成3D視頻:根據(jù)視頻中每一幀圖像分別重復(fù)步驟I)至步驟7)，生成每一幀2D圖像對(duì)應(yīng)的3D圖像，從而生成3D視頻的左右眼視頻。本發(fā)明的改進(jìn)在于:所述步驟2)的2D圖像中等高線圍成的區(qū)域距離攝像機(jī)原點(diǎn)越遠(yuǎn)時(shí)，深度值越大；距離攝像機(jī)原點(diǎn)越近時(shí)，深度值越小。本發(fā)明的進(jìn)一步改進(jìn)在于:所述步驟3)中灰度值自白色向黑色漸變，并根據(jù)深度值的數(shù)量確定灰度變化量，進(jìn)而形成最小值為純白、最大值為純黑的灰度圖。本發(fā)明的進(jìn)一步改進(jìn)在于:所述灰度圖自2D圖像中的最低最近點(diǎn)逐步向最高最遠(yuǎn)點(diǎn)繪制。由于采用了上述技術(shù)方案，本發(fā)明取得的技術(shù)進(jìn)步是:本發(fā)明提出的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，可以對(duì)2D圖像及2D視頻實(shí)現(xiàn)具有高質(zhì)量的3D圖像及3D視頻轉(zhuǎn)換，不僅能有效降低3D圖像及3D視頻的投資成本，而且能降低3D圖像及3D視頻制作團(tuán)隊(duì)的需求，同時(shí)提高3D圖像及3D視頻的制作效率。本發(fā)明在圖像及視頻2D轉(zhuǎn)3D過(guò)程中，可利用模型化扭曲圖像對(duì)物體的前后順序進(jìn)行核對(duì)，保證灰度圖的正確性，從而提高3D圖像及3D視頻的轉(zhuǎn)換效率。本發(fā)明通過(guò)根據(jù)2D圖像及2D視頻中物體以及該物體各個(gè)點(diǎn)的相應(yīng)深度值繪制等高線圖，可對(duì)2D圖像及2D視頻中的各個(gè)物體根據(jù)用戶需要進(jìn)行不同的精確度的深度分配，深度分配準(zhǔn)確，再根據(jù)等高線圖繪制灰度圖，從而保證3D圖像及3D視頻具有高度的立體逼真感。本發(fā)明在繪制灰度圖時(shí)從2D圖像及2D視頻中的最低最近點(diǎn)逐步向最聞最遠(yuǎn)點(diǎn)繪制，可以有效利用2D圖像及2D視頻中物體的幾何信息及漸變效果，提高灰度圖的繪制效率。


圖1為本發(fā)明所述方法的流程圖。圖2為根據(jù)本發(fā)明針對(duì)一個(gè)實(shí)施例得到的3D圖像。其中a)是2D圖像，b)是2D圖像的等高線圖，c)是根據(jù)等高線圖及遠(yuǎn)近關(guān)系繪制的灰度圖，d)是根據(jù)2D圖像和灰度圖得到的模型化扭曲圖像，e)是最終生成的3D圖像。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法是在圖像扭曲技術(shù)的基礎(chǔ)上完成2D圖像及2D視頻向3D圖像及3D視頻的轉(zhuǎn)換，其流程圖如圖1所示。實(shí)施例1在本實(shí)施例中，采用本發(fā)明所述方法將2D圖像轉(zhuǎn)換為3D圖像，首先應(yīng)用相關(guān)軟件建立2D圖像的坐標(biāo)系，根據(jù)2D圖像中各物體的坐標(biāo)值追蹤拍攝該2D圖像的攝像機(jī)原點(diǎn)；然后以相等深度值的物體或物體上的各點(diǎn)為對(duì)象繪制2D圖像的等高線，生成等高線圖；再根據(jù)等高線圖繪制相應(yīng)的灰度圖；再以灰度圖為立體模型、2D圖像為法線貼圖進(jìn)行疊加生成模型化扭曲圖像；利用模型化扭曲圖像對(duì)2D圖像中各物體立體效果的前后順序進(jìn)行核對(duì)，經(jīng)過(guò)微調(diào)2D圖像中各物體的灰度值最終達(dá)到灰度圖與物體立體效果的統(tǒng)一及匹配；進(jìn)而確定左右攝像機(jī)的空間位置，最終生成3D圖像，具體包括以下步驟:步驟I)追蹤2D圖像的攝像機(jī)原點(diǎn):將圖2a)所示的2D圖像在相關(guān)軟件中建立坐標(biāo)系，根據(jù)2D圖像中各圖像的坐標(biāo)值追S示拍攝該2D圖像的攝像機(jī)原點(diǎn)，從而確定2D圖像中各物體與攝像機(jī)原點(diǎn)的空間位置關(guān)系和遠(yuǎn)近關(guān)系；步驟2)繪制等聞線圖:以追蹤到的2D圖像的攝像機(jī)原點(diǎn)為中心，參考圖2a)所示的2D圖像中各物體與攝像機(jī)的空間位置關(guān)系和遠(yuǎn)近關(guān)系，以相等深度值的物體或物體上的各點(diǎn)為對(duì)象繪制2D圖像的等高線，生成等高線圖，其中深度值采用O到100之間的數(shù)值表示2D圖像中等高線圍成的區(qū)域的深度；根據(jù)當(dāng)2D圖像中等高線圍成區(qū)域距離攝像機(jī)原點(diǎn)越遠(yuǎn)時(shí)，深度值越大；距離攝像機(jī)原點(diǎn)越近時(shí)，深度值越小的原則，確定O表示零距離、100表示無(wú)限遠(yuǎn)。最后將不同深度的物體進(jìn)行區(qū)域劃分，對(duì)相同深度的物體進(jìn)行區(qū)域摳圖，如圖2b)所示。步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應(yīng)的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，其中O轉(zhuǎn)換為純白、100轉(zhuǎn)換為純黑，中間值由小到大按照由白色向黑色的趨勢(shì)漸變。在繪制灰度圖的過(guò)程中應(yīng)首先從地面的灰度開(kāi)始繪制，然后繪制接觸地面的物體的灰度，從而可以有效利用物體的漸變關(guān)系繪制灰度圖，提高灰度圖的繪制效率，根據(jù)圖2b)所示的等高線圖繪制的灰度圖如圖2c)所示。步驟4)合成模型化扭曲圖像:灰度圖中每個(gè)物體的灰度代表了 2D原始圖中對(duì)應(yīng)物體的深度，從而該灰度圖可看作是2D圖像的立體模型。以灰度圖作為為立體模型基礎(chǔ)，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進(jìn)行疊加生成具有立體效果的模型化扭曲圖像，如圖2d)所示。步驟5)核對(duì)物體的前后順序:利用模型化扭曲圖像對(duì)2D圖像中物體的立體效果的前后順序是否正確進(jìn)行核對(duì)，如果物體的前后順序正確則進(jìn)行步驟6)，否則返回步驟3)。經(jīng)過(guò)多次細(xì)微調(diào)節(jié)2D圖像中各物體的灰度，最終達(dá)到灰度圖與物體立體效果的統(tǒng)一及匹配。步驟6)確定左右攝像機(jī)的空間位置:根據(jù)2D圖像中各個(gè)物體的成像規(guī)則確定攝像機(jī)像素格的位移量，進(jìn)一步模擬出左右兩部攝像機(jī)。在本實(shí)施例中，以拍攝該2D圖像的攝像機(jī)為左側(cè)攝像機(jī)，右側(cè)攝像機(jī)像素格的位移量向右(0~15個(gè)像素，從而模擬出左右兩部攝像機(jī)的空間位置。步驟7)生成3D圖像:根據(jù)模擬出的右側(cè)攝像機(jī)，參照灰度圖對(duì)2D圖像進(jìn)行相應(yīng)的像素格的移位，并對(duì)移位產(chǎn)生的破洞進(jìn)行補(bǔ)洞，從而生成具有不同深度信息的3D圖像的右眼圖像，以原始的2D圖像為左眼圖像，將左右眼圖像合成形成3D圖像，如圖2e)所示。最后將生成的3D圖像輸入到相應(yīng)的3D顯示設(shè)備即可進(jìn)行顯示。實(shí)施例2一種基于圖像扭曲技術(shù)的視頻2D轉(zhuǎn)3D的方法是根據(jù)視頻是由連貫的一系列圖像組成的原理，利用實(shí)施例1中的方法對(duì)視頻中每一幀圖像進(jìn)行2D轉(zhuǎn)3D，從而完成基于圖像扭曲技術(shù)的視頻2D轉(zhuǎn)3D。在視頻2D轉(zhuǎn)3D過(guò)程中，繪制等高線圖進(jìn)行區(qū)域劃分并摳圖時(shí)，對(duì)視頻中的各物體影像進(jìn)行相應(yīng)模塊的跟蹤，形成灰度圖序列,從而生成2D視頻中各物體的動(dòng)態(tài)灰度圖。最后將生成的3D視頻輸入到相應(yīng)的3D顯示設(shè)備即可進(jìn)行顯示。
權(quán)利要求
1.一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述方法在圖像扭曲技術(shù)的基礎(chǔ)上將2D圖像及2D視頻轉(zhuǎn)換為相對(duì)應(yīng)的3D圖像及3D視頻，具體實(shí)現(xiàn)方法包括以下步驟: 步驟I)追蹤2D圖像的攝像機(jī)原點(diǎn):根據(jù)2D圖像中各物體的坐標(biāo)值追蹤拍攝該2D圖像的攝像機(jī)原點(diǎn)，從而確定2D圖像中各物體與攝像機(jī)原點(diǎn)的空間位置關(guān)系和遠(yuǎn)近關(guān)系；步驟2)繪制等高線圖:以2D圖像的攝像機(jī)原點(diǎn)為中心，參考2D圖像中各物體與攝像機(jī)的空間位置關(guān)系和遠(yuǎn)近關(guān)系，按照2D圖像中各物體距離攝像機(jī)的遠(yuǎn)近不同設(shè)定該物體以及該物體各個(gè)點(diǎn)的相應(yīng)深度值，以相等深度值的物體或物體上的各點(diǎn)為對(duì)象繪制2D圖像的等高線，從而將位于不同等高線上的物體進(jìn)行區(qū)域劃分并進(jìn)行摳圖； 步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應(yīng)的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，從而生成灰度圖； 步驟4)合成模型化扭曲圖像:以灰度圖作為立體模型基礎(chǔ)，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進(jìn)行疊加從而生成具有立體效果的模型化扭曲圖像； 步驟5)核對(duì)物體的前后順序:對(duì)模型化扭曲圖像中各物體的立體效果的前后順序進(jìn)行核對(duì)，如果各物體的前后順序均正確則進(jìn)行步驟6)，否則返回步驟3)，對(duì)2D圖像中物體的灰度值進(jìn)行細(xì)微調(diào)節(jié)，最終達(dá)到灰度圖與物體的立體效果的統(tǒng)一及匹配； 步驟6)確定左右攝像機(jī)的空間位置:根據(jù)2D圖像中各個(gè)物體的成像規(guī)則確定攝像機(jī)像素格的位移量，進(jìn)一步模擬出左右兩部攝像機(jī)的空間位置； 步驟7)生成3D圖像:根據(jù)步驟6)確定的左右兩部攝像機(jī)的空間位置，參照灰度圖對(duì)2D圖像進(jìn)行相應(yīng)的像素格的移位與補(bǔ)洞，從而生成3D圖像即左右眼圖像； 步驟8)生成3D視頻:根據(jù)視頻中每一幀圖像分別重復(fù)步驟I)至步驟7)，生成每一幀2D圖像對(duì)應(yīng)的3D圖像，從而生成3D視頻的左右眼視頻。
2.根據(jù)權(quán)利要求1所述的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述步驟2)的2D圖像中等高線圍成的區(qū)域距離攝像機(jī)原點(diǎn)越遠(yuǎn)時(shí)，深度值越大；距離攝像機(jī)原點(diǎn)越近時(shí)，深度值越小。
3.根據(jù)權(quán)利要求2所述的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述步驟3)中灰度值自白色向黑色漸變，并根據(jù)深度值的數(shù)量確定灰度變化量，進(jìn)而形成最小值為純白、最大值為純黑的灰度圖。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的一種基于圖像扭曲技術(shù)實(shí)現(xiàn)圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述灰度圖自2D圖像中的最低最近點(diǎn)逐步向最高最遠(yuǎn)點(diǎn)繪制。
全文摘要
本發(fā)明涉及一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，是一種3D圖像及3D視頻的制作方法。所述方法通過(guò)追蹤2D圖像的攝像機(jī)原點(diǎn)首先繪制以攝像機(jī)為中心繪制等高線圖，然后繪制灰度圖，再以灰度圖作為立體模型基礎(chǔ)、作用于2D圖像的法線貼圖上，生成模型化扭曲圖像，根據(jù)模型化扭曲圖像對(duì)物體前后順序是否正確進(jìn)行核對(duì)，最終對(duì)2D圖像進(jìn)行像素格位移生成3D圖像。將2D視頻中每一幀圖像利用上述方法轉(zhuǎn)換為3D圖像，便可生成3D視頻。本發(fā)明不僅能使2D圖像及2D視頻產(chǎn)生逼真的3D立體效果，還有效降低3D圖像及3D視頻的制作成本，同時(shí)提高3D圖像及3D視頻的制作效率。
文檔編號(hào)H04N15/00GK103118269SQ20131004345
公開(kāi)日2013年5月22日 申請(qǐng)日期2013年2月4日 優(yōu)先權(quán)日2013年2月4日
發(fā)明者郝勝利 申請(qǐng)人:河北瑪雅影視有限公司