3d圖像序列的處理的制作方法
【專利摘要】多種實(shí)現(xiàn)方式提供了防止將過度的視差、深度或差異傳遞給觀看者的技術(shù)。在一種具體實(shí)現(xiàn)方式中，確定視頻序列的立體圖像對中的對象的深度指示符在目標(biāo)范圍之外。修改立體圖像對的一個或多個圖像，使得對象的深度指示符在目標(biāo)范圍內(nèi)。在其他實(shí)現(xiàn)方式中，平滑對象與視頻序列的另一部分之間的深度轉(zhuǎn)變。在其他實(shí)現(xiàn)方式中，將立體圖像對替換成包括對象的2D圖像對。在其他實(shí)現(xiàn)方式中，產(chǎn)生的視頻序列包括：(i)具有非零差異并且其深度指示符在針對整個圖像對的目標(biāo)范圍內(nèi)的一個或多個立體圖像對；以及(ii)一個或多個2D圖像對。
【專利說明】3D圖像序列的處理
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求以下申請的權(quán)益：（i)2012年1月4日提交的題為"Method and Apparatus to Prevent Excessive Parallax Viewing，'的美國臨時申請 No. 61/583, 105， (ii) 2012 年 1 月 5 日提交的題為"Method and Apparatus for Automatic Stereo Rendering Based on Viewing Conditions，' 的美國臨時申請 No. 61/583, 462，以及 (iii) 2012年 1月 6 日提交的題為"Method and Apparatus for Proiding Assistance to Prevent Vergence Issues During the Capture of Images，' 的美國臨時申請 No. 61/584, 123。這些申請中每個申請的全部內(nèi)容通過引用合并于此。

【技術(shù)領(lǐng)域】
[0003] 描述的實(shí)現(xiàn)方式涉及立體視頻序列。各種具體實(shí)現(xiàn)方式涉及調(diào)節(jié)立體視頻序列的 一個或多個圖像對中的視差、深度或差異。

【背景技術(shù)】
[0004] 當(dāng)前的立體內(nèi)容可以分為兩類：預(yù)先呈現(xiàn)的內(nèi)容，意味著將視差值構(gòu)建到立體圖 像中；以及實(shí)時呈現(xiàn)的內(nèi)容，如同計算機(jī)生成的游戲和電影。對于實(shí)時呈現(xiàn)的內(nèi)容，可以通 過呈現(xiàn)引擎上的限制來限制視差量。然而更困難的是提供一種針對預(yù)先呈現(xiàn)的內(nèi)容的解決 方案，使得如果預(yù)先呈現(xiàn)的內(nèi)容違反了舒適閾值則對觀看者予以保護(hù)。


【發(fā)明內(nèi)容】

[0005] 根據(jù)一個總體方面，確定視頻序列的立體圖像對中的對象的深度指示符在目標(biāo)范 圍之外。修改立體圖像對的一個或多個圖像，使得對象的深度指示符在目標(biāo)范圍內(nèi)。
[0006] 根據(jù)另一總體方面，平滑對象與視頻序列的另一部分之間的深度轉(zhuǎn)變。
[0007] 根據(jù)另一總體方面，所述修改立體圖像對的一個或多個圖像包括：將立體圖像對 替換成包括對象的2D圖像對。
[0008] 根據(jù)另一總體方面，所述將立體圖像對替換成包括對象的2D圖像對產(chǎn)生的視頻 序列包括：（i)具有非零差異并且其深度指示符在針對整個圖像對的目標(biāo)范圍內(nèi)的一個或 多個立體圖像對；以及（ii) 一個或多個2D圖像對。
[0009] 在附圖和以下描述中闡述了一個或多個實(shí)現(xiàn)方式的細(xì)節(jié)。即使以一種特定的方式 來描述，也應(yīng)當(dāng)理解實(shí)現(xiàn)方式可以以多種方式來配置和體現(xiàn)。例如，實(shí)現(xiàn)方式可以以方法的 形式來執(zhí)行，或者體現(xiàn)為裝置（例如，配置為執(zhí)行操作集合的裝置或者存儲用于執(zhí)行操作 集合的指令的裝置），或者體現(xiàn)為信號。結(jié)合附圖和權(quán)利要求，通過以下詳細(xì)描述，其他方面 和特征將變得清楚。

【專利附圖】

【附圖說明】
[0010] 圖1提供了示出特定視差情形的示意圖。
[0011] 圖2提供了示出用于提供視頻序列的系統(tǒng)的實(shí)現(xiàn)方式的框圖。
[0012] 圖3提供了示出提供視頻序列的過程的實(shí)現(xiàn)方式的流程圖。
[0013] 圖4提供了示出用于對視頻內(nèi)容進(jìn)行平滑的系統(tǒng)的實(shí)現(xiàn)方式的框圖。
[0014] 圖5提供了示出對深度轉(zhuǎn)變進(jìn)行平滑的過程的實(shí)現(xiàn)方式的流程圖。

【具體實(shí)施方式】
[0015] 許多移動音頻設(shè)備提供音量安全切斷，以防止由于過于大聲的源內(nèi)容而破壞用戶 的收聽效果。在立體觀看中，看似沒有類似的設(shè)備，因此并未保護(hù)觀看者免受觀看過度視差 的不舒適體驗。一種或多種實(shí)現(xiàn)方式提供了一種機(jī)制，限制觀看過度視差。一種或多種實(shí) 現(xiàn)方式還提供了一種機(jī)制，在以過度視差拍攝的內(nèi)容上調(diào)制深度、壓縮深度或轉(zhuǎn)變到2D，以 使所有內(nèi)容回到對用戶而言舒適的水平。
[0016] 在立體顯現(xiàn)中涉及視差、差異和深度。視差是至對象的兩條視線之間的角度差。在 立體顯現(xiàn)的上下文中，視線起始于觀看者的左眼和右眼中的每一個，進(jìn)行到對象（或其一 部分）的對應(yīng)左眼圖像視圖和右眼圖像視圖。
[0017] 差異是立體圖像對的左眼圖像和右眼圖像中的每一個圖像中對象（或其一部分） 的位置的線性差。差異可以表示為物理度量（例如，以厘米為單位）或以圖像相關(guān)度量來 表示（例如，以像素為單位或者表示為圖像寬度百分比）。當(dāng)已知所顯示的圖像的尺寸時， 在這兩種形式之間進(jìn)行轉(zhuǎn)換是可能的。
[0018] 可以根據(jù)視差來確定在立體顯現(xiàn)中感知到的深度。然而深度與差異和視差三角相 關(guān)，而不是線性相關(guān)。如以下描述的，圖1中以視距（D)示出了深度，并且深度可以在理論 上從零到無限。
[0019] 如上所述，視差、差異和深度這三種度量是相互可推導(dǎo)的。在廣義上來說這三種度 量都可以被看作是"深度"的度量，在本申請中將這三種度量看作是"深度指示符"。除非另 外要求，否則在本申請中將這三種度量看作是可互換的。以下在下面的表1中提供了這三 種度量之間的對應(yīng)關(guān)系的簡要示例。
[0020]

【權(quán)利要求】
1. 一種方法，包括： 確定視頻序列的立體圖像對中的對象的深度指示符在目標(biāo)范圍之外；以及 修改所述立體圖像對的一個或多個圖像，使得對象的深度指示符在目標(biāo)范圍內(nèi)。
2. 根據(jù)權(quán)利要求1所述的方法，還包括： 平滑對象與視頻序列的另一部分之間的深度轉(zhuǎn)變。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述修改立體圖像對的一個或多個圖像包 括：進(jìn)行修改使得對象的深度指示符在〇與先前立體圖像對中對應(yīng)對象的深度指示符的值 之間。
4. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述修改立體圖像對的一個或多個圖像包 括：將立體圖像對替換成包括所述對象的2D圖像對。
5. 根據(jù)權(quán)利要求4所述的方法，其中，所述將立體圖像對替換成包括所述對象的2D圖 像對產(chǎn)生的視頻序列包括：（i)具有非零差異并且其深度指示符在針對整個圖像對的目標(biāo) 范圍內(nèi)的一個或多個立體圖像對；以及（ii) 一個或多個2D圖像對。
6. 根據(jù)權(quán)利要求4所述的方法，還包括： 確定深度指示符超出目標(biāo)范圍多于閾值；以及 基于確定超過了閾值，來確定將立體圖像對替換成2D圖像對。
7. 根據(jù)權(quán)利要求2所述的方法，其中，所述平滑包括：平滑對象與立體圖像對中的區(qū)域 之間的深度轉(zhuǎn)變。
8. 根據(jù)權(quán)利要求7所述的方法，其中，所述區(qū)域與所述對象相鄰。
9. 根據(jù)權(quán)利要求2、7、8中的任一項權(quán)利要求所述的方法，其中，所述平滑包括平滑對 象與視頻序列的單獨(dú)圖像對中的相應(yīng)對象之間的深度轉(zhuǎn)變。
10. 根據(jù)權(quán)利要求9所述的方法，其中，所述單獨(dú)圖像對在視頻序列中出現(xiàn)在立體圖像 對之前。
11. 根據(jù)權(quán)利要求9所述的方法，其中，所述單獨(dú)圖像對在視頻序列中出現(xiàn)在立體圖像 對之后。
12. 根據(jù)權(quán)利要求9-11中任一項權(quán)利要求所述的方法，其中，所述平滑是在立體圖像 對中執(zhí)行的。
13. 根據(jù)權(quán)利要求9-12中任一項權(quán)利要求所述的方法，其中，所述平滑是在單獨(dú)圖像 對中執(zhí)行的。
14. 根據(jù)權(quán)利要求9-13中任一項權(quán)利要求所述的方法，其中，所述單獨(dú)圖像對包括立 體圖像對。
15. 根據(jù)權(quán)利要求9-13中任一項權(quán)利要求所述的方法，其中，所述單獨(dú)圖像對包括2D 圖像對。
16. 根據(jù)權(quán)利要求3所述的方法，其中，執(zhí)行平滑，直到深度指示符的梯度在目標(biāo)梯度 范圍內(nèi)。
17. 根據(jù)權(quán)利要求3所述的方法，其中，所述平滑包括：確定執(zhí)行平滑的平滑處理區(qū)。
18. 根據(jù)權(quán)利要求17所述的方法，其中，所述平滑處理區(qū)包括立體圖像對內(nèi)的空間平 滑處理區(qū)，并且包括對象周圍的指定像素寬度。
19. 根據(jù)權(quán)利要求18所述的方法，其中，所述空間平滑處理區(qū)是相對于立體圖像對中 的圖像之一而確定的。
20. 根據(jù)權(quán)利要求17-19中任一項權(quán)利要求所述的方法，其中，所述平滑處理區(qū)包括時 間平滑處理區(qū)，并且包括視頻序列中的一個或多個立體圖像對，所述一個或多個立體圖像 對的對象的深度指示符相對于所述一個或多個立體圖像對中的對應(yīng)對象被平滑。
21. 根據(jù)權(quán)利要求17所述的方法，其中，所述平滑包括：貫穿平滑處理區(qū)線性地改變深 度指示符。
22. 根據(jù)權(quán)利要求1-21中任一項權(quán)利要求所述的方法，其中，確定對象的深度指示符 在目標(biāo)范圍之外包括：確定深度指示符在至少預(yù)定的時間量內(nèi)超過閾值。
23. -種裝置，配置為執(zhí)行根據(jù)權(quán)利要求1-22所述的方法中的一個或多個。
24. 根據(jù)權(quán)利要求23所述的裝置，包括共同配置為執(zhí)行以下操作的一個或多個處理 器： 確定視頻序列的立體圖像對中的對象的深度指示符在目標(biāo)范圍之外；以及 修改立體圖像對的一個或多個圖像，使得對象的深度指示符在目標(biāo)范圍內(nèi)。
25. 根據(jù)權(quán)利要求23所述的裝置，包括： 用于確定視頻序列的立體圖像對中的對象的深度指示符在目標(biāo)范圍之外的裝置；以及 用于修改立體圖像對的一個或多個圖像，使得對象的深度指示符在目標(biāo)范圍內(nèi)的裝 置。
26. 根據(jù)權(quán)利要求23所述的裝置，其中，所述裝置具有足夠的等待時間以允許在視頻 序列的回放期間對視頻序列執(zhí)行根據(jù)權(quán)利要求1-22所述的一個或多個方法。
27. -種處理器可讀介質(zhì)，其上存儲有使一個或多個處理器共同執(zhí)行權(quán)利要求1-22所 述的一個或多個方法。
【文檔編號】H04N13/00GK104067612SQ201280066132
【公開日】2014年9月24日 申請日期:2012年12月20日 優(yōu)先權(quán)日:2012年1月4日
【發(fā)明者】皮爾·休斯·魯?shù)侔? 威廉·吉本斯·雷德曼, 迪蒂爾·杜嚴(yán) 申請人:湯姆遜許可公司