3d動(dòng)畫(huà)效果產(chǎn)生方法和系統(tǒng)的制作方法
【專利摘要】提供了一種產(chǎn)生三維(3D)動(dòng)畫(huà)效果的方法和裝置。該方法包括：在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域，并確定檢測(cè)到的感興趣區(qū)域的至少一個(gè)特征；構(gòu)建包括視覺(jué)多媒體對(duì)象的3D場(chǎng)景；根據(jù)感興趣區(qū)域以及感興趣區(qū)域的特征，在3D場(chǎng)景中產(chǎn)生動(dòng)畫(huà)效果的至少一個(gè)3D視覺(jué)對(duì)象；以及執(zhí)行3D場(chǎng)景空間中3D視覺(jué)對(duì)象的轉(zhuǎn)換和3D場(chǎng)景的轉(zhuǎn)換中的至少一個(gè)，使得由于3D場(chǎng)景的可視化而產(chǎn)生3D動(dòng)畫(huà)效果。
【專利說(shuō)明】3D動(dòng)畫(huà)效果產(chǎn)生方法和系統(tǒng)
[0001]相關(guān)申請(qǐng)
[0002]本申請(qǐng)要求2013年I月11日在俄國(guó)專利局提交的俄國(guó)專利申請(qǐng)N0.2013101015以及2013年4月I日在韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)N0.10-2013-0035465的優(yōu)先權(quán)，其全部公開(kāi)通過(guò)引用合并于此。
【技術(shù)領(lǐng)域】
[0003]根據(jù)示例實(shí)施例的方法和裝置涉及產(chǎn)生三維(3D)動(dòng)畫(huà)效果，所述3D動(dòng)畫(huà)效果在3D顯示器上實(shí)時(shí)地實(shí)現(xiàn)。
【背景技術(shù)】
[0004]現(xiàn)有技術(shù)中已知多種向靜止圖像中添加動(dòng)態(tài)二維(2D)藝術(shù)效果的方法。具體地，這樣的解決方案在許多特殊編輯工具(例如，Adobe After Effects和Ulead VideoStudio)中是眾所周知的。
[0005]可以通過(guò)執(zhí)行可以在計(jì)算機(jī)上可執(zhí)行的轉(zhuǎn)換來(lái)將使用數(shù)字?jǐn)z相機(jī)接收到的2D圖像轉(zhuǎn)換成藝術(shù)圖像，使得形成如人手繪制的自然圖像，如，油畫(huà)、用畫(huà)筆(brush)繪制的插圖(illustration)、動(dòng)畫(huà)圖像或馬賽克。
[0006]近來(lái)三維(3D)顯示器和3D電視(TV)變得非常流行。然而主要視覺(jué)源仍然是2D的。因此，許多技術(shù)方案針對(duì)2D圖像和視頻到3D的轉(zhuǎn)換。然而現(xiàn)有技術(shù)已知的方案僅僅是提出了立體或運(yùn)動(dòng)攝像機(jī)，移動(dòng)一個(gè)或多個(gè)動(dòng)畫(huà)對(duì)象的集合，并根據(jù)非線性比率來(lái)確定攝像機(jī)和對(duì)象之間的距離，以將圖像可視化。
[0007]目前3D顯示器很普遍，特別是具有被動(dòng)眼鏡或主動(dòng)眼鏡的3D電視。消費(fèi)者存儲(chǔ)大量的2D照片和視頻。然而盡管存在增加3D內(nèi)容量的趨向，但是3D照片和視頻的普及程度要小得多?，F(xiàn)有技術(shù)已知的方案不允許運(yùn)行中(on-the-fly)實(shí)時(shí)地產(chǎn)生真實(shí)的3D動(dòng)畫(huà)效果。

【發(fā)明內(nèi)容】

[0008]一個(gè)或多個(gè)實(shí)施例提供了一種方法和裝置，針對(duì)諸如2D圖像、3D圖像或視頻等多媒體對(duì)象實(shí)時(shí)地產(chǎn)生真實(shí)的3D動(dòng)畫(huà)效果。
[0009]各個(gè)方面將在下面的描述中被部分地闡述并且通過(guò)描述將部分地變得清楚，或者通過(guò)實(shí)踐提出的實(shí)施例可以得到各個(gè)方面。
[0010]根據(jù)示例實(shí)施例的方面，提供了一種產(chǎn)生三維(3D)動(dòng)畫(huà)效果的方法，所述方法包括:在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域，并確定檢測(cè)到的感興趣區(qū)域的至少一個(gè)特征；構(gòu)建包括視覺(jué)多媒體對(duì)象的3D場(chǎng)景；根據(jù)感興趣區(qū)域以及感興趣區(qū)域的特征，在3D場(chǎng)景中產(chǎn)生動(dòng)畫(huà)效果的至少一個(gè)3D視覺(jué)對(duì)象；并且執(zhí)行3D場(chǎng)景空間中3D視覺(jué)對(duì)象的轉(zhuǎn)換和3D場(chǎng)景的轉(zhuǎn)換中的至少一個(gè)，使得由于3D場(chǎng)景的可視化而產(chǎn)生3D動(dòng)畫(huà)效果。
[0011]視覺(jué)多媒體對(duì)象可以包括以下中的至少一個(gè):2D圖像、3D圖像和視頻序列。[0012]當(dāng)檢測(cè)到視覺(jué)多媒體對(duì)象上的感興趣區(qū)域時(shí)，可以通過(guò)以下中的至少一個(gè)對(duì)視覺(jué)多媒體對(duì)象進(jìn)行預(yù)處理:亮度調(diào)節(jié)、著色、伽馬校正、白平衡調(diào)節(jié)和顏色系統(tǒng)轉(zhuǎn)換。
[0013]檢測(cè)至少一個(gè)感興趣區(qū)域可以是檢測(cè)多個(gè)感興趣區(qū)域，可以通過(guò)從檢測(cè)到的多個(gè)感興趣區(qū)域中隨機(jī)選擇選定數(shù)目的感興趣區(qū)域，來(lái)執(zhí)行3D視覺(jué)對(duì)象的產(chǎn)生。
[0014]檢測(cè)至少一個(gè)感興趣區(qū)域可以是檢測(cè)多個(gè)感興趣區(qū)域，可以通過(guò)基于選定數(shù)目的感興趣區(qū)域的特征，從檢測(cè)到的多個(gè)感興趣區(qū)域中選擇選定數(shù)目的感興趣區(qū)域，來(lái)執(zhí)行3D視覺(jué)對(duì)象的產(chǎn)生。
[0015]可以通過(guò)使用視覺(jué)多媒體對(duì)象作為疊加在3D場(chǎng)景的背景上的紋理，來(lái)執(zhí)行3D場(chǎng)
景的構(gòu)建。
[0016]可以通過(guò)檢測(cè)與關(guān)于視覺(jué)多媒體對(duì)象的場(chǎng)景深度有關(guān)的信息，來(lái)執(zhí)行3D場(chǎng)景的構(gòu)建，并且檢測(cè)到的信息用于構(gòu)建3D場(chǎng)景的背景。
[0017]3D視覺(jué)對(duì)象的轉(zhuǎn)換可以包括以下中的至少一個(gè):移動(dòng)、旋轉(zhuǎn)、扭曲、改變大小和合并至少兩個(gè)3D對(duì)象，或者將3D對(duì)象分成至少兩個(gè)新的3D視覺(jué)對(duì)象。
[0018]可以通過(guò)使用視覺(jué)多媒體對(duì)象作為3D場(chǎng)景的背景并針對(duì)視覺(jué)多媒體對(duì)象產(chǎn)生3D動(dòng)畫(huà)效果，來(lái)執(zhí)行3D場(chǎng)景的可視化。
[0019]根據(jù)另一示例實(shí)施例的方面，提供了一種在顯示器上產(chǎn)生3D動(dòng)畫(huà)效果的裝置，所述裝置包括:感興趣區(qū)域檢測(cè)模塊，配置為在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域；特征確定模塊，配置為確定視覺(jué)多媒體對(duì)象的檢測(cè)到的感興趣區(qū)域的至少一個(gè)特征；3D視覺(jué)對(duì)象產(chǎn)生模塊，配置為基于感興趣區(qū)域的特征產(chǎn)生至少一個(gè)3D視覺(jué)對(duì)象；3D場(chǎng)景產(chǎn)生模塊，配置為基于視覺(jué)多媒體對(duì)象和產(chǎn)生的3D視覺(jué)對(duì)象來(lái)產(chǎn)生3D場(chǎng)景；3D轉(zhuǎn)換模塊，配置為在3D場(chǎng)景的空間中轉(zhuǎn)換3D視覺(jué)對(duì)象；以及幀產(chǎn)生模塊，配置為通過(guò)使用包含轉(zhuǎn)換后的3D視覺(jué)對(duì)象的3D場(chǎng)景來(lái)產(chǎn)生3D幀。
【專利附圖】

【附圖說(shuō)明】
[0020]結(jié)合附圖，根據(jù)以下對(duì)示例實(shí)施例的描述，上述和/或其他方面將變得更清楚并且易于理解，在附圖中:
[0021]圖1是示出了根據(jù)示例實(shí)施例的3D動(dòng)畫(huà)中的若干幀的圖，其中對(duì)靜止圖像應(yīng)用了“肥皂泡”效果；
[0022]圖2是根據(jù)示例實(shí)施例的由3D動(dòng)畫(huà)效果產(chǎn)生系統(tǒng)執(zhí)行的在3D顯示器上實(shí)時(shí)產(chǎn)生3D動(dòng)畫(huà)效果的方法的流程圖；
[0023]圖3是根據(jù)示例實(shí)施例的在不存在對(duì)象運(yùn)動(dòng)的2D或3D圖像上動(dòng)態(tài)地(運(yùn)行中)產(chǎn)生3D動(dòng)畫(huà)效果的方法的流程圖；
[0024]圖4是根據(jù)示例實(shí)施例的在3D顯示器上實(shí)時(shí)產(chǎn)生3D動(dòng)畫(huà)效果的系統(tǒng)的框圖；
[0025]圖5是根據(jù)示例實(shí)施例的產(chǎn)生深度圖的方法的流程圖；
[0026]圖6是根據(jù)示例實(shí)施例的檢測(cè)關(guān)注區(qū)的方法的流程圖；
[0027]圖7是根據(jù)示例實(shí)施例的檢測(cè)文本區(qū)域的方法的流程圖；
[0028]圖8是根據(jù)示例實(shí)施例的檢測(cè)針對(duì)“閃光(Flashing Light) ”的感興趣區(qū)域的方法的流程圖，其中“閃光”是3D動(dòng)畫(huà)效果；
[0029]圖9是根據(jù)示例實(shí)施例的產(chǎn)生“肥皂泡”效果的方法的流程圖，其中“肥皂泡”效果是3D動(dòng)畫(huà)效果；
[0030]圖10是根據(jù)示例實(shí)施例的產(chǎn)生“閃光”效果的方法的流程圖，其中“閃光”效果是3D動(dòng)畫(huà)效果；
[0031]圖11是根據(jù)示例實(shí)施例的產(chǎn)生“信標(biāo)燈光”效果的方法的流程圖，其中“信標(biāo)燈光”效果是3D動(dòng)畫(huà)效果。
【具體實(shí)施方式】
[0032]現(xiàn)在將詳細(xì)參考附圖中所示的示例實(shí)施例，貫穿附圖相似的參考數(shù)字表示相似的單元。對(duì)此，示例實(shí)施例可以具有不同的形式，發(fā)明構(gòu)思不應(yīng)被解釋為限于本文闡述的內(nèi)容。因此，以下參考附圖描述了示例實(shí)施例僅用于說(shuō)明本說(shuō)明書(shū)的一些方面。本文中使用的術(shù)語(yǔ)“和/或”包含相關(guān)所列項(xiàng)目中一個(gè)或多個(gè)的任意所有組合。在元件列表前面的例如“......中的至少一個(gè)”等表述修飾整個(gè)元件列表但不修飾列表中的單獨(dú)的元件。
[0033]在示例實(shí)施例的描述中，當(dāng)認(rèn)為對(duì)相關(guān)技術(shù)的特定詳細(xì)說(shuō)明可能不必要地模糊本發(fā)明構(gòu)思的實(shí)質(zhì)時(shí)，省略了這種對(duì)相關(guān)技術(shù)的特定詳細(xì)說(shuō)明。
[0034]將理解，當(dāng)提到元件與另一元件“連接”或“耦合”時(shí)，可以將該元件與另一元件“直接連接或耦合”，或者以二者之間具有中間元件的形式“電連接”。還將理解，除非特別指出，否則本文中使用的術(shù)語(yǔ)“包括”和/或“包含”表明組件的存在，但并不排除一個(gè)或多個(gè)其他組件的存在或添加。
[0035]在以下描述示例實(shí)施例時(shí)，在用于顯示3D圖像的屏幕上獲得三維(3D)動(dòng)畫(huà)效果的多媒體對(duì)象可以是平面2D圖像、立體3D圖像和運(yùn)動(dòng)圖像中的至少一個(gè)。
[0036]下文中將參考附圖更全面地描述示例實(shí)施例。
[0037]圖1是示出了根據(jù)示例實(shí)施例的3D動(dòng)畫(huà)中的若干幀的圖，其中對(duì)靜止圖像應(yīng)用“肥皂泡”效果。
[0038]可以對(duì)允許產(chǎn)生動(dòng)畫(huà)幀的圖像應(yīng)用肥皂泡的參數(shù)，例如，大小、顏色、運(yùn)動(dòng)路徑等等，在實(shí)踐中所述動(dòng)畫(huà)幀在時(shí)間上不重復(fù)。在開(kāi)始產(chǎn)生動(dòng)畫(huà)之前用戶僅看到靜止圖像101。此外，當(dāng)產(chǎn)生動(dòng)畫(huà)效果時(shí)，用戶可以看到在圖像前面在3D空間中飛舞的肥皂泡102和103。
[0039]圖2是根據(jù)示例實(shí)施例的在3D顯示器上實(shí)時(shí)產(chǎn)生3D動(dòng)畫(huà)的方法的流程圖，所述方法由3D動(dòng)畫(huà)效果產(chǎn)生系統(tǒng)來(lái)執(zhí)行。
[0040]在操作201，選擇視覺(jué)多媒體對(duì)象。視覺(jué)多媒體對(duì)象可以是不動(dòng)的(靜止的)2D或3D圖像或者視頻序列。
[0041]在操作202，在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域，并確定感興趣區(qū)域的至少一個(gè)特征。感興趣區(qū)域可以是被選擇為對(duì)視覺(jué)多媒體對(duì)象中的圖像進(jìn)行處理的區(qū)域。例如可以使用感興趣區(qū)域來(lái)處理圖像中的必要區(qū)域而不是整個(gè)圖像。感興趣區(qū)域和特征可以隨著動(dòng)畫(huà)效果的類型的不同而不同。在視覺(jué)多媒體對(duì)象上檢測(cè)感興趣區(qū)域期間，可以執(zhí)行對(duì)視覺(jué)多媒體對(duì)象的預(yù)處理?？梢允褂美缫韵轮械闹辽僖粋€(gè)來(lái)預(yù)處理該對(duì)象:亮度調(diào)節(jié)、著色、伽馬校正、白平衡調(diào)節(jié)以及顏色系統(tǒng)轉(zhuǎn)換。
[0042]在操作203，構(gòu)建包含所選視覺(jué)多媒體對(duì)象的3D場(chǎng)景。本文中，將所選視覺(jué)多媒體對(duì)象用作疊加在3D場(chǎng)景背景上的紋理。對(duì)于3D視覺(jué)對(duì)象，可以檢測(cè)與所選視覺(jué)多媒體對(duì)象上呈現(xiàn)的場(chǎng)景的深度有關(guān)的信息。3D視覺(jué)對(duì)象可以是包含在所選視覺(jué)多媒體對(duì)象中的對(duì)象、不同的對(duì)象、或者應(yīng)用了 3D效果的視覺(jué)對(duì)象?？梢允褂门c場(chǎng)景深度有關(guān)的信息來(lái)構(gòu)建3D場(chǎng)景的背景。如上所述，將所選視覺(jué)多媒體對(duì)象作為紋理疊加在3D場(chǎng)景的背景上。在操作203中，可以執(zhí)行操作204和205。然而本發(fā)明的實(shí)施例不限于此。
[0043]在操作204，根據(jù)感興趣區(qū)域及其特征來(lái)產(chǎn)生至少一個(gè)3D視覺(jué)對(duì)象，并將3D視覺(jué)對(duì)象放置在3D場(chǎng)景中。3D視覺(jué)對(duì)象包括將出現(xiàn)在3D場(chǎng)景中的3D動(dòng)畫(huà)效果。存在兩種產(chǎn)生3D視覺(jué)對(duì)象的方法。在第一種方法中，可以從所有檢測(cè)到的感興趣區(qū)域中隨機(jī)選擇若干感興趣區(qū)域。在第二種方法中，可以根據(jù)若干感興趣區(qū)域的特征從所有檢測(cè)到的感興趣區(qū)域中選擇若干感興趣區(qū)域。
[0044]在操作205，可以執(zhí)行3D對(duì)象的轉(zhuǎn)換以及3D場(chǎng)景空間中3D動(dòng)畫(huà)效果的產(chǎn)生。如果可以順次執(zhí)行3D對(duì)象的轉(zhuǎn)換。當(dāng)執(zhí)行3D空間中3D對(duì)象的順次轉(zhuǎn)換時(shí)，可以執(zhí)行以下轉(zhuǎn)換:移動(dòng)、旋轉(zhuǎn)、扭曲、改變尺寸、將至少兩個(gè)3D對(duì)象合并成一個(gè)、將對(duì)象分成至少兩個(gè)新的3D視覺(jué)對(duì)象。除此之外，可以針對(duì)用作場(chǎng)景背景的視覺(jué)對(duì)象產(chǎn)生附加的動(dòng)畫(huà)效果。
[0045]圖3是根據(jù)示例實(shí)施例的在不存在對(duì)象運(yùn)動(dòng)的2D或3D圖像上動(dòng)態(tài)(運(yùn)行中)產(chǎn)生3D動(dòng)畫(huà)效果的方法的流程圖。
[0046]在操作301，從適當(dāng)?shù)脑唇邮請(qǐng)D像，例如通過(guò)從硬盤(pán)讀取，。
[0047]然后在操作302，針對(duì)圖像產(chǎn)生深度圖。
[0048]在操作303，在圖像上檢測(cè)至少一個(gè)感興趣區(qū)域。在操作304，針對(duì)至少一個(gè)感興趣區(qū)域中的每一個(gè)確定至少一個(gè)特征。
[0049]在操作305，基于所確定的特征產(chǎn)生至少一個(gè)3D視覺(jué)對(duì)象。
[0050]在操作306，通過(guò)將3D視覺(jué)對(duì)象與3D場(chǎng)景中的至少一幅圖像相組合，來(lái)產(chǎn)生多個(gè)3D動(dòng)畫(huà)幀?？梢葬槍?duì)每個(gè)3D幀來(lái)變換和顯示3D視覺(jué)對(duì)象。可以將3D視覺(jué)對(duì)象放置在每個(gè)3D幀中的不同位置。因此，當(dāng)播放產(chǎn)生的3D幀時(shí)，可以在3D場(chǎng)景的空間中將3D視覺(jué)對(duì)象顯示為移動(dòng)或變換。
[0051]在操作307，將動(dòng)畫(huà)的幀可視化。
[0052]在操作308，確定是否要停止動(dòng)畫(huà)。如果不停止動(dòng)畫(huà)，則執(zhí)行操作306。在停止動(dòng)畫(huà)之前,始終連續(xù)地重復(fù)操作306和307。
[0053]圖4是根據(jù)示例實(shí)施例的用于在3D顯示器上實(shí)時(shí)產(chǎn)生3D動(dòng)畫(huà)效果的系統(tǒng)的框圖。
[0054]參考圖4，用于產(chǎn)生3D動(dòng)畫(huà)效果的系統(tǒng)400可以包括感興趣區(qū)域檢測(cè)模塊401、特征確定模塊402、3D視覺(jué)對(duì)象產(chǎn)生模塊403、3D場(chǎng)景產(chǎn)生模塊404、3D轉(zhuǎn)換模塊405、幀產(chǎn)生模塊以及3D顯示器407。
[0055]感興趣區(qū)域檢測(cè)模塊401接收視覺(jué)多媒體對(duì)象作為輸入。感興趣區(qū)域檢測(cè)模塊401在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域。特征確定模塊402接收至少一個(gè)檢測(cè)到的感興趣區(qū)域的列表并確定感興趣區(qū)域的至少一個(gè)特征。
[0056]接收視覺(jué)多媒體對(duì)象和檢測(cè)到的感興趣區(qū)域的列表的特征確定模塊402確定視覺(jué)多媒體對(duì)象上感興趣區(qū)域的特征。將所確定的感興趣區(qū)域的特征輸入到3D視覺(jué)對(duì)象產(chǎn)生模塊403，其中3D視覺(jué)對(duì)象產(chǎn)生模塊403產(chǎn)生至少一個(gè)3D視覺(jué)對(duì)象。
[0057]將所確定的感興趣區(qū)域的特征輸入到3D視覺(jué)對(duì)象產(chǎn)生模塊403。3D視覺(jué)對(duì)象產(chǎn)生模塊403根據(jù)感興趣區(qū)域的特征來(lái)產(chǎn)生3D視覺(jué)對(duì)象。將產(chǎn)生的3D視覺(jué)對(duì)象輸入到3D場(chǎng)景產(chǎn)生模塊404，其中3D場(chǎng)景產(chǎn)生模塊404產(chǎn)生3D場(chǎng)景。
[0058]接收視覺(jué)多媒體對(duì)象和3D視覺(jué)對(duì)象的3D場(chǎng)景產(chǎn)生模塊404針對(duì)視覺(jué)多媒體對(duì)象和產(chǎn)生的3D視覺(jué)對(duì)象構(gòu)建3D場(chǎng)景。將3D場(chǎng)景輸入到3D轉(zhuǎn)換模塊405。
[0059]接收3D場(chǎng)景的3D轉(zhuǎn)換模塊405在3D場(chǎng)景的空間中轉(zhuǎn)換3D對(duì)象。如果3D視覺(jué)對(duì)象產(chǎn)生模塊403產(chǎn)生了兩個(gè)或更多個(gè)3D對(duì)象，則3D轉(zhuǎn)換模塊405在3D場(chǎng)景的空間中順次轉(zhuǎn)換這兩個(gè)或更多個(gè)3D對(duì)象。將轉(zhuǎn)換后的3D對(duì)象和3D場(chǎng)景輸入到幀產(chǎn)生模塊406。
[0060]接收轉(zhuǎn)換后的3D對(duì)象和3D場(chǎng)景的幀產(chǎn)生模塊406以適合于在3D顯示器上可視化的格式產(chǎn)生多個(gè)3D幀，然后將產(chǎn)生的3D幀輸出到3D顯示器407，其中3D顯示器407將幀可視化。
[0061]如圖4所示并且如上所述在用于產(chǎn)生3D動(dòng)畫(huà)效果的系統(tǒng)400中包含的模塊401至406可以以片上系統(tǒng)(SoC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)的形式來(lái)實(shí)現(xiàn)。
[0062]圖5是根據(jù)示例實(shí)施例的產(chǎn)生深度圖的方法的流程圖，所述深度圖用于限定視覺(jué)對(duì)象的參數(shù)，具體地，移動(dòng)路徑。深度圖的產(chǎn)生可以對(duì)應(yīng)于圖3的操作302。在操作501中，確定圖像格式。如果圖像格式是立體圖像(條件502)，則可以使用用于估計(jì)場(chǎng)景深度和視差圖(disparity map)的方法之一來(lái)接收深度圖。視差指的是立體圖像中人的左右眼觀看的圖像點(diǎn)之間的差異。圖像中位于互不相同的距離處的對(duì)象可以具有互不相同的視差值。估計(jì)方法可以是例如論文 “Robust Phase Correlation Based Sub-pixel DisparityEstimation，，(H.Yan and J.Guo Liu, Proc.0f 4th SEAS DTC Technical Conference,2009)中描述的方法。
[0063]在操作503，如果圖像類型是平面圖像，則可以使用將靜態(tài)圖像從2D轉(zhuǎn)換到3D的方法之一來(lái)接收深度圖。例如，轉(zhuǎn)換方法可以是論文“2D-to-3D conversion by usingvisual attention analysis”(J.Kim, A.Baik, Y.Ju Jung, D.Park, Proc.SPIE 7524,Stereoscopic Displays and Applications XXI, 2010)中描述的基于注意區(qū)的檢測(cè)來(lái)執(zhí)行的方法。
[0064]注意區(qū)不僅可以用于2D到3D的轉(zhuǎn)換，還可以用于將被看做是感興趣區(qū)域的一些類型的動(dòng)畫(huà)效果。根據(jù)示例實(shí)施例，注意區(qū)是由于以下的組合而接收到的:具有文本圖像的區(qū)域、人臉圖像的區(qū)域以及根據(jù)人類即時(shí)視野(human instant sight)模型來(lái)確定的特征圖 / 顯著圖(saliency map)。
[0065]圖6是根據(jù)示例實(shí)施例的檢測(cè)注意區(qū)的方法的流程圖。在操作601，檢測(cè)文本區(qū)域。這是參考圖7來(lái)描述的。在操作602，檢測(cè)人臉圖像區(qū)域?？梢允褂谜撐摹癆nImprovement of face detection algorithm for color photos”(Egorova, M.A.,Murynin, A.B., Safonov,1.V., Pattern Recognition and Image Analysis, vol.19,N0.4,pp.634-640，2009)中描述的方法來(lái)檢測(cè)人臉圖像區(qū)域。在操作603，計(jì)算特征圖。可以使用在論文“Global Contrast based Salient Region Detection，，(Μ.M.Cheng,G.X.Zhang,N.J.Mitra X.Huang, S.M.Hu, Proc.0f IEEE CVPR，pp.409-416，2011)中描述的方法來(lái)有效地計(jì)算特征圖。在操作604，在注意區(qū)的映射圖中組合所有檢測(cè)到的區(qū)域和特征圖。可以通過(guò)對(duì)標(biāo)記出的文本區(qū)域和人臉區(qū)域的圖像并且還有特征圖進(jìn)行加權(quán)求和，來(lái)執(zhí)行該操作。
[0066]圖7是根據(jù)示例實(shí)施例的檢測(cè)文本區(qū)域的方法的流程圖。在操作701，可以檢測(cè)輪廓差(contour difference)。對(duì)此,可以采用具有后續(xù)閾值切除(subsequent thresholdcutting)的高斯拉普拉斯(LoG)濾波器。在操作702,計(jì)算不存在輪廓的區(qū)域,并通過(guò)執(zhí)行形態(tài)學(xué)(morphological)操作來(lái)進(jìn)一步恢復(fù)計(jì)算出的區(qū)域。在基本情形下可以使用操作“閉合(close)”。在操作703，利用具有檢測(cè)到的輪廓差的圖像來(lái)標(biāo)記相干區(qū)域。在操作704，將相鄰的相干區(qū)域組合成組。將每一組分類為文本區(qū)域和非文本區(qū)域。可以使用論文 “Bottom-up Document Segmentation Method Based on Textural Features，，(A.M.Vii’kin, 1.V.Safonov, M.A.Egorova, Pattern Recognition and Image Analysis,vol.21，N0.3，pp.565-568,2011)中描述的方法來(lái)進(jìn)行這種分類。
[0067]上述示例實(shí)施例的示例可以是3D動(dòng)畫(huà)藝術(shù)效果“閃光”?！伴W光”效果示出了位于圖像的較小亮片段中白色或彩色星星的閃爍和旋轉(zhuǎn)。圖8是根據(jù)示例實(shí)施例的針對(duì)“閃光”效果檢測(cè)感興趣區(qū)域的方法的流程圖。在操作801，構(gòu)造圖像像素的亮度直方圖。在操作802，進(jìn)一步執(zhí)行針對(duì)分割的閾值計(jì)算。在操作803，通過(guò)執(zhí)行閾值切除來(lái)分割圖像，以在圖像中找到最亮的地方。在操作804，進(jìn)一步執(zhí)行對(duì)相干區(qū)域的標(biāo)記，所述相干區(qū)域是要對(duì)其應(yīng)用“閃光”效果的感興趣區(qū)域。針對(duì)每個(gè)感興趣區(qū)域計(jì)算特征集合。此外，特征集合可以包括以下之中的至少一個(gè):
[0068].區(qū)域極限中顏色分量的平均值
[0069].權(quán)重中心的坐標(biāo)
[0070].感興趣區(qū)域與圖像區(qū)域的面積比值
[0071].球系數(shù)(rotundity coefficient)-面積與感興趣區(qū)域的面積相同的圓形的
直徑跟感興趣區(qū)域的最大線性尺寸之間的比值；以及
[0072].與小光源的相似度系數(shù)——作為感興趣區(qū)域的最大亮度、平均亮度、球系數(shù)和感興趣區(qū)域的相對(duì)面積的加權(quán)和而計(jì)算的集成參數(shù)。
[0073]從所有感興趣區(qū)域中進(jìn)一步選擇特征滿足預(yù)定標(biāo)準(zhǔn)的區(qū)域。用于產(chǎn)生3D視覺(jué)對(duì)象的模塊產(chǎn)生視覺(jué)對(duì)象列表。根據(jù)感興趣區(qū)域的特征，視覺(jué)對(duì)象列表可以包括例如閃爍并且旋轉(zhuǎn)的星星或者各個(gè)星星的位置、大小或顏色清晰度(color definition)。
[0074]圖9是根據(jù)示例實(shí)施例的產(chǎn)生“肥皂泡”效果的方法的流程圖，其中“肥皂泡”效果是3D動(dòng)畫(huà)效果。肥皂泡效果可以顯示在圖像中飛舞的肥皂泡。在操作901，通過(guò)使用與深度有關(guān)的信息來(lái)改變肥皂泡的位置。在操作902，肥皂泡的顏色隨著圖像的適當(dāng)區(qū)域中照明的方向而變化。在操作903，在調(diào)節(jié)了參數(shù)之后，在動(dòng)畫(huà)的當(dāng)前幀中將源圖像可視化。在操作904，將肥皂泡可視化。可以在當(dāng)前幀中執(zhí)行肥皂泡的可視化。
[0075]圖10是根據(jù)示例實(shí)施例的產(chǎn)生“閃光”效果的方法的流程圖，其中“閃光”效果是3D動(dòng)畫(huà)效果。在操作1001，閃光的類型根據(jù)當(dāng)前的時(shí)間以及場(chǎng)景的深度而變化?？梢愿鶕?jù)深度圖來(lái)調(diào)節(jié)Z軸上的坐標(biāo)?？梢曰趜坐標(biāo)和光源參數(shù)來(lái)確定大小、亮度和顏色的初始值。其他參數(shù)可以在對(duì)用戶產(chǎn)生更亮印象的時(shí)間過(guò)程中逐步改變。在操作1002，在調(diào)節(jié)了參數(shù)之后，在動(dòng)畫(huà)的當(dāng)前幀中將源圖像可視化。在操作1003，將閃光可視化，作為準(zhǔn)備動(dòng)畫(huà)的當(dāng)前幀的最后步驟。
[0076]圖11是根據(jù)示例實(shí)施例的產(chǎn)生“信標(biāo)燈光”效果的方法的流程圖，其中“信標(biāo)燈光”效果是動(dòng)畫(huà)效果?？梢栽趶男艠?biāo)的光錐獲得的光斑(light stain)的圖像中形成“信標(biāo)燈光”效果。光斑首先位于作為圖像中最合適位置的較亮位置處，然后移向圖像的注意區(qū)。在操作1101,信標(biāo)燈光的光斑的方向在3D空間中改變。信標(biāo)燈光的光斑的位置可以隨著圖像上的移動(dòng)而變化。在注意區(qū)上產(chǎn)生信標(biāo)燈光的移動(dòng)路徑。如上所述產(chǎn)生注意區(qū)。在操作1102，根據(jù)場(chǎng)景深度來(lái)確定光斑的大小、亮度、形狀和顏色。這可以允許產(chǎn)生為用戶提供真實(shí)印象的效果。在操作1103，在調(diào)節(jié)了參數(shù)之后，將動(dòng)畫(huà)的當(dāng)前幀中變黑的(blackout)源圖像可視化?？梢詰?yīng)用變暗(darkening)以使光斑更顯著。在操作1104，將信標(biāo)燈光的光斑可視化，作為準(zhǔn)備動(dòng)畫(huà)的當(dāng)前幀的最后步驟。
[0077]對(duì)于多媒體對(duì)象的內(nèi)容，例如，照片上呈現(xiàn)的內(nèi)容，可以修改效果的外觀。根據(jù)上述實(shí)施例中的一個(gè)或多個(gè)，動(dòng)態(tài)(運(yùn)行中)產(chǎn)生3D動(dòng)畫(huà)效果的方法可以提供一種印象深刻并且具有吸引力的方法，其中可以在現(xiàn)代3D顯示器上審閱多媒體對(duì)象。上述實(shí)施例可以即使在用戶審閱2D照片時(shí)為用戶提供滿意的體驗(yàn)。根據(jù)上述實(shí)施例，動(dòng)態(tài)產(chǎn)生3D動(dòng)畫(huà)效果的方法和系統(tǒng)可以用于包含3D顯示器并且可以采用多媒體對(duì)象的顯示功能的設(shè)備。這種設(shè)備的示例可以是具有多媒體能力的3D電視、移動(dòng)電話、平板電腦、數(shù)字?jǐn)z相機(jī)、相框或者用于PC以進(jìn)行多媒體顯示的軟件。
[0078]本領(lǐng)域技術(shù)人員將理解，在不脫離所附權(quán)利要求所限定的本發(fā)明的精神和范圍的前提下，可以對(duì)上述裝置和方法做出形式和細(xì)節(jié)上的各種刪除、替換和改變。
[0079]此外，其他實(shí)施例還可以通過(guò)介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))中的計(jì)算機(jī)可讀代碼/指令來(lái)實(shí)現(xiàn)，以控制至少一個(gè)處理元件實(shí)現(xiàn)任何上述實(shí)施例。介質(zhì)可以與允許存儲(chǔ)和/或存儲(chǔ)計(jì)算機(jī)可讀代碼的任何介質(zhì)/媒介相對(duì)應(yīng)。
[0080]可以以多種方式在介質(zhì)上記錄/傳遞計(jì)算機(jī)可讀代碼，介質(zhì)的示例包括諸如磁性存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光學(xué)存儲(chǔ)介質(zhì)(例如，CD-ROM或DVD)之類的記錄介質(zhì)以及諸如互聯(lián)網(wǎng)傳輸介質(zhì)之類的傳輸介質(zhì)。因此，介質(zhì)可以是如此定義的并且可測(cè)量的結(jié)構(gòu)，包括或承載信標(biāo)或信息，如，根據(jù)一個(gè)或多個(gè)實(shí)施例，承載比特流的設(shè)備。介質(zhì)還可以是分布式網(wǎng)絡(luò)，使得以分布的方式存儲(chǔ)/傳遞并執(zhí)行計(jì)算機(jī)可讀代碼。此外，處理元件可以包括處理器或計(jì)算機(jī)處理器，處理元件可以分布在和/或包含在單一設(shè)備中。
[0081 ] 應(yīng)理解，上述實(shí)施例僅應(yīng)被看作是描述性的，不用于限制。每個(gè)實(shí)施例中特征或方面的描述應(yīng)當(dāng)?shù)湫偷乇豢醋魇强捎糜谄渌麑?shí)施例中的其他類似特征或方面。例如，以單一形式描述的每個(gè)組件是可以以分布的形式來(lái)執(zhí)行的。同樣，以分布的形式描述的組件是可以以組合的形式來(lái)執(zhí)行的。
[0082] 盡管參考附圖描述了一個(gè)或多個(gè)實(shí)施例，然而本領(lǐng)域技術(shù)人員將理解，在不脫離以上權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的前提下可以做出形式和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種產(chǎn)生三維3D動(dòng)畫(huà)效果的方法，所述方法包括: 在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域，并確定檢測(cè)到的感興趣區(qū)域的至少一個(gè)特征； 構(gòu)建包括視覺(jué)多媒體對(duì)象的3D場(chǎng)景； 根據(jù)感興趣區(qū)域以及感興趣區(qū)域的特征，在3D場(chǎng)景中產(chǎn)生動(dòng)畫(huà)效果的至少一個(gè)3D視覺(jué)對(duì)象；并且 執(zhí)行3D場(chǎng)景空間中3D視覺(jué)對(duì)象的轉(zhuǎn)換和3D場(chǎng)景的轉(zhuǎn)換中的至少一個(gè)，使得由于3D場(chǎng)景的可視化而產(chǎn)生3D動(dòng)畫(huà)效果。
2.根據(jù)權(quán)利要 求1所述的方法，其中，視覺(jué)多媒體對(duì)象包括以下中的至少一個(gè):二維2D圖像、3D圖像和視頻序列。
3.根據(jù)權(quán)利要求1所述的方法，其中，當(dāng)在視覺(jué)多媒體對(duì)象上檢測(cè)到感興趣區(qū)域時(shí)，通過(guò)以下中的至少一個(gè)對(duì)視覺(jué)多媒體對(duì)象進(jìn)行預(yù)處理:亮度調(diào)節(jié)、著色、伽馬校正、白平衡調(diào)節(jié)和顏色系統(tǒng)轉(zhuǎn)換。
4.根據(jù)權(quán)利要求1所述的方法，其中，檢測(cè)至少一個(gè)感興趣區(qū)域包括檢測(cè)多個(gè)感興趣區(qū)域，并且 通過(guò)從檢測(cè)到的多個(gè)感興趣區(qū)域中隨機(jī)選擇選定數(shù)目的感興趣區(qū)域，來(lái)執(zhí)行3D視覺(jué)對(duì)象的產(chǎn)生。
5.根據(jù)權(quán)利要求1所述的方法，其中，檢測(cè)至少一個(gè)感興趣區(qū)域包括檢測(cè)多個(gè)感興趣區(qū)域，并且 通過(guò)基于選定數(shù)目的感興趣區(qū)域的特征從檢測(cè)到的多個(gè)感興趣區(qū)域中選擇選定數(shù)目的感興趣區(qū)域，來(lái)執(zhí)行3D視覺(jué)對(duì)象的產(chǎn)生。
6.根據(jù)權(quán)利要求1所述的方法，其中，通過(guò)使用視覺(jué)多媒體對(duì)象作為疊加在3D場(chǎng)景的背景上的紋理，來(lái)執(zhí)行3D場(chǎng)景的構(gòu)建。
7.根據(jù)權(quán)利要求6所述的方法，其中，通過(guò)檢測(cè)與關(guān)于視覺(jué)多媒體對(duì)象的場(chǎng)景深度有關(guān)的信息，來(lái)執(zhí)行3D場(chǎng)景的構(gòu)建，并且 檢測(cè)到的信息用于構(gòu)建3D場(chǎng)景的背景。
8.根據(jù)權(quán)利要求1所述的方法，其中，3D視覺(jué)對(duì)象的轉(zhuǎn)換包括以下中的至少一個(gè):移動(dòng)、旋轉(zhuǎn)、扭曲、改變大小和合并至少兩個(gè)3D對(duì)象，或者將3D對(duì)象分成至少兩個(gè)新的3D視覺(jué)對(duì)象。
9.根據(jù)權(quán)利要求1所述的方法，其中，通過(guò)使用視覺(jué)多媒體對(duì)象作為3D場(chǎng)景的背景并針對(duì)視覺(jué)多媒體對(duì)象產(chǎn)生3D動(dòng)畫(huà)效果，來(lái)執(zhí)行3D場(chǎng)景的可視化。
10.一種在顯示器上產(chǎn)生三維3D動(dòng)畫(huà)效果的裝置，所述裝置包括: 感興趣區(qū)域檢測(cè)模塊，配置為在視覺(jué)多媒體對(duì)象上檢測(cè)至少一個(gè)感興趣區(qū)域； 特征確定模塊，配置為確定視覺(jué)多媒體對(duì)象上檢測(cè)到的感興趣區(qū)域的至少一個(gè)特征； 3D視覺(jué)對(duì)象產(chǎn)生模塊，配置為基于感興趣區(qū)域的特征來(lái)產(chǎn)生至少一個(gè)3D視覺(jué)對(duì)象； 3D場(chǎng)景產(chǎn)生模塊，配置為基于視覺(jué)多媒體對(duì)象和產(chǎn)生的3D視覺(jué)對(duì)象來(lái)產(chǎn)生3D場(chǎng)景； 3D轉(zhuǎn)換模塊，配置為在3D場(chǎng)景空間中轉(zhuǎn)換3D視覺(jué)對(duì)象；以及 幀產(chǎn)生模塊，配置為通過(guò)使用包含轉(zhuǎn)換后的3D視覺(jué)對(duì)象的3D場(chǎng)景來(lái)產(chǎn)生3D幀。
11.根據(jù)權(quán)利要求10所述的裝置，其中，當(dāng)檢測(cè)到視覺(jué)多媒體對(duì)象上的感興趣區(qū)域時(shí)，感興趣區(qū)域檢測(cè)模塊通過(guò)亮度調(diào)節(jié)、著色、伽馬校正、白平衡調(diào)節(jié)和顏色系統(tǒng)轉(zhuǎn)換中的至少一個(gè)對(duì)視覺(jué)多媒體對(duì)象進(jìn)行預(yù)處理。
12.根據(jù)權(quán)利要求10所述的裝置，其中，感興趣區(qū)域檢測(cè)模塊檢測(cè)多個(gè)感興趣區(qū)域，并且 3D視覺(jué)對(duì)象產(chǎn)生模塊通過(guò)從檢測(cè)到的多個(gè)感興趣區(qū)域中隨機(jī)選擇選定數(shù)目的感興趣區(qū)域來(lái)產(chǎn)生3D視覺(jué)對(duì)象。
13.根據(jù)權(quán)利要求10所述的裝置，其中，感興趣區(qū)域檢測(cè)模塊檢測(cè)多個(gè)感興趣區(qū)域，并且 3D視覺(jué)對(duì)象產(chǎn)生模塊通過(guò)基于選定數(shù)目的感興趣區(qū)域的特征從檢測(cè)到的多個(gè)感興趣區(qū)域中選擇選定數(shù)目的感興趣區(qū)域，來(lái)產(chǎn)生3D視覺(jué)對(duì)象。
14.根據(jù)權(quán)利要求10所述的裝置，其中，3D場(chǎng)景產(chǎn)生模塊通過(guò)使用視覺(jué)多媒體對(duì)象作為疊加在3D場(chǎng)景的背景上的紋理，來(lái)產(chǎn)生3D場(chǎng)景。
15.根據(jù)權(quán)利要求10所述的裝置，其中，3D場(chǎng)景產(chǎn)生模塊通過(guò)檢測(cè)與關(guān)于視覺(jué)多媒體對(duì)象的場(chǎng)景深度有關(guān)的信息來(lái)產(chǎn)生3D場(chǎng)景，并且 檢測(cè)到的信息用于構(gòu)建3D場(chǎng)景的背景。
【文檔編號(hào)】G06T13/00GK103929634SQ201410012369
【公開(kāi)日】2014年7月16日 申請(qǐng)日期:2014年1月10日 優(yōu)先權(quán)日:2013年1月11日
【發(fā)明者】阿列克謝·威爾金, 伊利亞·薩夫洛夫, 康斯坦丁·克雷扎諾夫斯基 申請(qǐng)人:三星電子株式會(huì)社