實(shí)現(xiàn)裸眼3d視頻會(huì)議的方法
【專利摘要】本發(fā)明公開了實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法,包括以下步驟：(1)用于采集第一用戶多角度圖像信息的攝像機(jī)組裝置；(2)將步驟(1)中所述攝像機(jī)組裝置采集的多角度圖像信息實(shí)時(shí)轉(zhuǎn)換成適合圖像編碼和圖像存儲(chǔ)的恩式3D圖像格式數(shù)據(jù)；(3)用于接收第二用戶3D圖像的接收顯示軟件轉(zhuǎn)換器，所述接收顯示軟件轉(zhuǎn)換器用于接收步驟(2)中所述圖像數(shù)據(jù)軟件融合器產(chǎn)生的恩式3D圖像格式數(shù)據(jù)；本發(fā)明的優(yōu)點(diǎn)是在視頻發(fā)送端對(duì)采集到的3D視頻數(shù)據(jù)經(jīng)圖像數(shù)據(jù)軟件融合器轉(zhuǎn)換成恩式3D圖像格式數(shù)據(jù)，更適合3D圖像的存儲(chǔ)和標(biāo)準(zhǔn)化編解碼；在視頻接收端以接收顯示軟件轉(zhuǎn)換器將恩式3D圖像格式數(shù)據(jù)轉(zhuǎn)換成與顯示設(shè)備相匹配的裸眼3D數(shù)據(jù)，使觀看者擺脫了3D眼鏡的束縛。
【專利說明】實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，屬于自動(dòng)控制【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]視頻會(huì)議系統(tǒng)在全世界范圍內(nèi)有著廣泛應(yīng)用，而遠(yuǎn)程傳輸高清3D視頻能夠使用戶得到更多有用的圖像信息，從而滿足機(jī)械設(shè)計(jì)、遠(yuǎn)程診療等進(jìn)一步的需求，但3D視頻會(huì)議的多數(shù)據(jù)流同步、視頻編碼、實(shí)時(shí)傳輸和裸眼顯示等一系列技術(shù)問題尚未得到充分解決，3D視頻會(huì)議系統(tǒng)的實(shí)現(xiàn)有著諸多技術(shù)瓶頸。
[0003]經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)和專利的檢索發(fā)現(xiàn)，皇家飛利浦電子股份有限公司2004年申請(qǐng)的3D視頻會(huì)議專利中提出以一種雙視頻的照相機(jī)和立體圖像顯象的光學(xué)裝置實(shí)現(xiàn)3D視頻會(huì)議的方法，但該專利使用3D左右眼圖像切換的顯像方式，必須配套使用特制的3D眼鏡，因此系統(tǒng)實(shí)現(xiàn)復(fù)雜；且該專利著重定義了 3D采集設(shè)備和顯示設(shè)備，而對(duì)3D圖像的數(shù)字化編碼、傳輸和存儲(chǔ)方法沒有明確給出，因此研究有效的3D圖像編碼、傳輸、存儲(chǔ)和裸眼3D成像方法對(duì)于3D視頻會(huì)議系統(tǒng)的實(shí)現(xiàn)具有重要的意義。
[0004]在進(jìn)一步的檢索中，尚未發(fā)現(xiàn)任何與本文類似的實(shí)現(xiàn)裸眼3D視頻會(huì)議方法的文獻(xiàn)和報(bào)道。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種能夠克服上述技術(shù)問題的實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，本發(fā)明包括以下步驟:
[0006](I)用于采集第一用戶多角度圖像信息的攝像機(jī)組裝置，該攝像機(jī)組裝置包括N (N〉= I)個(gè)攝像機(jī)；
[0007](2)圖像數(shù)據(jù)軟件融合器，將步驟(I)中所述攝像機(jī)組裝置采集的多角度圖像信息實(shí)時(shí)轉(zhuǎn)換成適合圖像編碼和圖像存儲(chǔ)的恩式3D圖像格式數(shù)據(jù)；
[0008](3)用于接收第二用戶3D圖像的接收顯示軟件轉(zhuǎn)換器，所述接收顯示軟件轉(zhuǎn)換器用于接收步驟(2)中所述圖像數(shù)據(jù)軟件融合器產(chǎn)生的恩式3D圖像格式數(shù)據(jù)，并將恩式3D圖像格式數(shù)據(jù)與不同顯示設(shè)備進(jìn)行匹配，使圖像能夠在包括但不限于裸眼3D設(shè)備上正確顯不O
[0009]所述恩式3D圖像格式是一種3D圖像存儲(chǔ)格式，其特征在于，對(duì)同一時(shí)刻的多幅圖像采用分割16x16像素宏塊并交織排列存儲(chǔ)的方式，該格式采用宏塊交織結(jié)構(gòu)，因此更適合3D圖像的存儲(chǔ)和對(duì)3D圖像進(jìn)行標(biāo)準(zhǔn)壓縮編解碼。
[0010]其一，步驟(I)中所述的攝像機(jī)組裝置，其特征在于，
[0011]I)所述攝像機(jī)組裝置包括一個(gè)，或二個(gè)，或三個(gè)，甚至更多個(gè)采集攝像機(jī)，面對(duì)第一用戶進(jìn)行多角度圖像信息采集；
[0012]2)所述攝像機(jī)組裝置的攝像機(jī)分布的方法為均勻圍繞用戶；
[0013]3)所述攝像機(jī)組裝置采集的圖像信息包括:連續(xù)拍攝動(dòng)態(tài)視頻圖像和單幀拍攝靜態(tài)圖像。其二，步驟(2)中所述的圖像數(shù)據(jù)軟件融合器，其特征在于，
[0014]I)所述圖像數(shù)據(jù)軟件融合器將步驟(1)中所述的攝像機(jī)組采集的同一個(gè)時(shí)刻的N個(gè)圖像進(jìn)行融合，融合成恩式格式圖像數(shù)據(jù)；
[0015]2)所述恩式3D圖像格式為適合3D圖像編碼和圖像存儲(chǔ)的宏塊排列方式；具體包括以下步驟:
[0016]步驟一:將同一個(gè)時(shí)刻的N幅圖像按照攝像機(jī)位置相鄰順序依次編號(hào)為1，2，...，N，其中N為攝像機(jī)個(gè)數(shù)；
[0017]步驟二:將同一個(gè)時(shí)刻的N幅圖像分別分割成16x16像素的宏塊，得到第I幅圖像為宏塊集合{MBn，MB12,MB1J，第2幅圖像為宏塊集合{MB21，MB22,MB2J，……，得到第N幅圖像為宏塊集合{MBN1，MBN2，..., MBnJ ,其中k=M/(16 X 16)，M為每幅圖像包含的像素個(gè)數(shù)；
[0018]步驟三:將N 幅圖像包含的宏塊集合按{MBn，MB21, MBni, MB12, MB22, MBn2,...，MBlk, MB2k,MBnJ的交錯(cuò)順序排列成恩式3D圖像格式；
[0019]3)對(duì)恩式3D圖像格式數(shù)據(jù)進(jìn)行H.264圖像編碼，連同G.729編碼的實(shí)時(shí)音頻數(shù)據(jù)，通過以太網(wǎng)傳輸?shù)降诙脩簟?[0020]其三，步驟(3)中所述的接收顯示軟件轉(zhuǎn)換器，其特征在于，
[0021]I)第二用戶獲得數(shù)據(jù)后，進(jìn)行圖像H.264解壓縮，重新獲得恩式3D圖像格式數(shù)據(jù)；
[0022]2)對(duì)恩式3D圖像格式數(shù)據(jù)進(jìn)行數(shù)據(jù)宏塊拆分，重新獲得分離的N幅圖像；
[0023]3)將N幅圖像對(duì)不同的顯示設(shè)備進(jìn)行匹配，本發(fā)明對(duì)于裸眼3D，即柱鏡式免眼鏡的3D顯示屏幕，提供算法。算法如下:
[0024]步驟一:檢測(cè)3D顯示屏幕設(shè)備，獲得該設(shè)備支持顯示的視點(diǎn)圖數(shù)目W ；
[0025]步驟二:根據(jù)3D顯示屏幕設(shè)備要求的視點(diǎn)圖產(chǎn)生視點(diǎn)數(shù)據(jù)；
[0026](i)若W=N，則直接將N幅圖像輸出為視點(diǎn)數(shù)據(jù)；
[0027](ii)若1 < N，則將N幅圖序列以第N/2幅圖像為中點(diǎn)(假設(shè)第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對(duì)稱減少圖像數(shù)目，直至N=W，此時(shí)將W幅圖像輸出為視點(diǎn)數(shù)據(jù)。以W = 5，N = 9為例，恩式格式圖像數(shù)據(jù)分離得到9幅圖像{I, 2，3，4，5，6，7，8，9}，根據(jù)3D顯示屏幕設(shè)備要求最終輸出視點(diǎn)數(shù)據(jù)包括5幅圖像{1，3，5，7，9}；
[0028](iii)若1>1則將N幅圖序列以第N/2幅圖像為中點(diǎn)(假設(shè)第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對(duì)稱增加圖像數(shù)目，增加合成圖像算法采用相鄰兩幅圖像空域均值法，直至N=W，此時(shí)將W幅圖像輸出為視點(diǎn)數(shù)據(jù)。以W = 9，N = 5為例，恩式格式圖像數(shù)據(jù)分離得到5幅圖像{1，2，3，4，5}，根據(jù)3D顯示屏幕設(shè)備要求，使用相鄰兩幅圖像空域均值法，最終輸出視點(diǎn)數(shù)據(jù)包括9幅圖像{I, (1+2)’，2，(2+3)’，3，(3+4)’，4，(4+5)，，5}；
[0029]4)獲得相應(yīng)視點(diǎn)數(shù)據(jù)后，按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡或者全息的方式顯示。
[0030]顯示采用微透鏡光柵屏幕，利用一組傾斜排列的凸透鏡陣列，通過僅在水平方向上發(fā)生的折射來為雙眼提供不同的透視圖像。
[0031]本發(fā)明的優(yōu)點(diǎn)是在視頻發(fā)送端對(duì)采集到的3D視頻數(shù)據(jù)經(jīng)圖像數(shù)據(jù)軟件融合器轉(zhuǎn)換成恩式3D圖像格式數(shù)據(jù)，該格式為16X16宏塊交織結(jié)構(gòu)，更適合3D圖像的存儲(chǔ)和標(biāo)準(zhǔn)化編解碼；在視頻接收端以接收顯示軟件轉(zhuǎn)換器將恩式3D圖像格式數(shù)據(jù)轉(zhuǎn)換成與顯示設(shè)備相匹配的裸眼3D數(shù)據(jù)，使觀看者擺脫了 3D眼鏡的束縛。
【專利附圖】

【附圖說明】
[0032]圖1是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的第一用戶攝像機(jī)組裝置圖；
[0033]圖2是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的圖像數(shù)據(jù)軟件融合器框圖；
[0034]圖3是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的恩式3D圖像格式數(shù)據(jù)生成原理圖；
[0035]圖4是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的第二用戶視點(diǎn)數(shù)據(jù)生成原理圖(W < N)；
[0036]圖5是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的第二用戶視點(diǎn)數(shù)據(jù)生成原理圖(W > N)；
[0037]圖6是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的第二用戶IXD顯示板排列圖；
[0038]圖7是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的子像素所對(duì)應(yīng)視點(diǎn)圖；
[0039]圖8是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的子像素點(diǎn)在IXD上的映射圖；
[0040]圖9是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的接收顯示軟件轉(zhuǎn)換器輸出的視點(diǎn)數(shù)據(jù)；
[0041]圖10是本發(fā)明所述實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法的最終合成的裸眼3D顯示圖像?！揪唧w實(shí)施方式】
[0042]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述。如圖1所示是第一用戶攝像機(jī)組裝置圖；如圖2所示是圖像數(shù)據(jù)軟件融合器框圖；如圖3所示是恩式3D圖像格式數(shù)據(jù)生成原理圖；如圖4所示是第二用戶視點(diǎn)數(shù)據(jù)生成原理圖(W<N);如圖5所示是第二用戶視點(diǎn)數(shù)據(jù)生成原理圖(W > N)。
[0043]如圖6所示，IXD板上排列的是原多視點(diǎn)圖像上的R.G.B子像素；如圖7所示，計(jì)算子像素所對(duì)應(yīng)的視點(diǎn)數(shù)，每個(gè)柱鏡光柵單元的柵距為P，在水平方向上覆蓋RGB子像素的個(gè)數(shù)為X，透鏡軸相對(duì)于IXD顯示屏垂直軸的傾斜角為α。
[0044]由圖7可得W個(gè)視點(diǎn)圖子像素映射通用計(jì)算公式:
[0045]Pixel=(((y_3xtan a +Offset)modX)*ff)/X
[0046]a)Pixel表示每個(gè)子像素對(duì)應(yīng)的視點(diǎn)號(hào)，Pixel最終取四舍五入；
[0047]b)x, y為子像素在圖像陣列中的下標(biāo)；
[0048]c) α為光柵傾斜角(本示例取13.8432)；
[0049]d) Offset為顯示器偏移量(本示例取-3.90)；
[0050]e)X為一個(gè)柱鏡光柵所能容納的視點(diǎn)個(gè)數(shù)；
[0051]f)ff為視點(diǎn)個(gè)數(shù)(本實(shí)施例中取9)。
[0052]本實(shí)施例中，采用9個(gè)640*360大小視點(diǎn)圖像，實(shí)際中還有8個(gè)視點(diǎn)或者26視點(diǎn)等多個(gè)視點(diǎn)的基于柱鏡的裸眼3D成像技術(shù)，根據(jù)棱鏡光柵自由立體顯示成像原理，利用計(jì)算機(jī)軟件設(shè)計(jì)對(duì)9視點(diǎn)圖像的像素點(diǎn)進(jìn)行融合。
[0053]因此，通過給定的子像素坐標(biāo)(x，y)，可以計(jì)算出每一個(gè)子像素點(diǎn)對(duì)應(yīng)的視點(diǎn)圖像序號(hào)，然后根據(jù)視點(diǎn)序號(hào)進(jìn)行圖像融合，如圖8所示，圖8即是子像素點(diǎn)在LCD上的映射圖。
[0054]第二用戶解碼、重組得到的9幅圖像，如圖9所示，圖9即是接收顯示軟件轉(zhuǎn)換器輸出的視點(diǎn)數(shù)據(jù)，視點(diǎn)數(shù)據(jù)按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡顯示方式合成后的圖像如圖10所示，圖10即是最終合成的裸眼3D顯示圖像，圖10完全符合裸眼3D顯示設(shè)備的要求。
[0055]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明公開的范圍內(nèi)，能夠輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，其特征在于，包括以下步驟: (1)用于采集第一用戶多角度圖像信息的攝像機(jī)組裝置，該攝像機(jī)組裝置包括N個(gè)攝像機(jī)，N〉= I); (2)圖像數(shù)據(jù)軟件融合器，將步驟(1)中所述攝像機(jī)組裝置采集的多角度圖像信息實(shí)時(shí)轉(zhuǎn)換成適合圖像編碼和圖像存儲(chǔ)的恩式3D圖像格式數(shù)據(jù)； (3)用于接收第二用戶3D圖像的接收顯示軟件轉(zhuǎn)換器，所述接收顯示軟件轉(zhuǎn)換器用于接收步驟(2)中所述圖像數(shù)據(jù)軟件融合器產(chǎn)生的恩式3D圖像格式數(shù)據(jù)，并將恩式3D圖像格式數(shù)據(jù)與不同顯示設(shè)備進(jìn)行匹配，使圖像能夠在包括但不限于裸眼3D設(shè)備上正確顯示； 所述恩式3D圖像格式是一種3D圖像存儲(chǔ)格式，其對(duì)同一時(shí)刻的多幅圖像采用分割16x16像素宏塊并交織排列存儲(chǔ)的方式，該格式采用宏塊交織結(jié)構(gòu)，因此更適合3D圖像的存儲(chǔ)和對(duì)3D圖像進(jìn)行標(biāo)準(zhǔn)壓縮編解碼。
2.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，其特征在于，步驟(1)中所述的攝像機(jī)組裝置的特征是: 1)所述攝像機(jī)組裝置包括一個(gè)，或二個(gè)，或三 個(gè)，甚至更多個(gè)采集攝像機(jī)，面對(duì)第一用戶進(jìn)行多角度圖像信息采集； 2)所述攝像機(jī)組裝置的攝像機(jī)分布的方法為均勻圍繞用戶； 3)所述攝像機(jī)組裝置采集的圖像信息包括:連續(xù)拍攝動(dòng)態(tài)視頻圖像和單幀拍攝靜態(tài)圖像。
3.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，其特征在于，步驟(2)中所述的圖像數(shù)據(jù)軟件融合器的特征是: 1)所述圖像數(shù)據(jù)軟件融合器將步驟(1)中所述的攝像機(jī)組采集的同一個(gè)時(shí)刻的N個(gè)圖像進(jìn)行融合，融合成恩式格式圖像數(shù)據(jù)； 2)所述恩式3D圖像格式為適合3D圖像編碼和圖像存儲(chǔ)的宏塊排列方式；具體包括以下步驟: 步驟一:將同一個(gè)時(shí)刻的N幅圖像按照攝像機(jī)位置相鄰順序依次編號(hào)為1，2，...，N，其中N為攝像機(jī)個(gè)數(shù)； 步驟二:將同一個(gè)時(shí)刻的N幅圖像分別分割成16x16像素的宏塊，得到第I幅圖像為宏塊集合{MBn，MB12,MB1J，第2幅圖像為宏塊集合{MB21，MB22,MB2J，……，得到第N幅圖像為宏塊集合{MBN1，MBN2，...，MBnJ，其中k=M/(16 X 16)，M為每幅圖像包含的像素個(gè)數(shù)； 步驟三:將N幅圖像包含的宏塊集合按{MBn，MB21,MBni, MB12, MB22,MBn2,…，MBlk, MB2k,...，MBnJ的交錯(cuò)順序排列成恩式3D圖像格式； 3)對(duì)恩式3D圖像格式數(shù)據(jù)進(jìn)行H.264圖像編碼，連同G.729編碼的實(shí)時(shí)音頻數(shù)據(jù)，通過以太網(wǎng)傳輸?shù)降诙脩簟?br> 4.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)裸眼3D視頻會(huì)議的方法，其特征在于，步驟(3)中所述的接收顯示軟件轉(zhuǎn)換器的特征是: 1)第二用戶獲得數(shù)據(jù)后，進(jìn)行圖像H.264解壓縮，重新獲得恩式3D圖像格式數(shù)據(jù)； 2)對(duì)恩式3D圖像格式數(shù)據(jù)進(jìn)行數(shù)據(jù)宏塊拆分，重新獲得分離的N幅圖像； 3)將N幅圖像對(duì)不同的顯示設(shè)備進(jìn)行匹配，本發(fā)明對(duì)于裸眼3D，即柱鏡式免眼鏡的3D顯示屏幕，提供算法。算法如下: 步驟一:檢測(cè)3D顯示屏幕設(shè)備，獲得該設(shè)備支持顯示的視點(diǎn)圖數(shù)目W ； 步驟二:根據(jù)3D顯示屏幕設(shè)備要求的視點(diǎn)圖產(chǎn)生視點(diǎn)數(shù)據(jù)； ⑴若W=N，則直接將N幅圖像輸出為視點(diǎn)數(shù)據(jù)； (?)若1<1則將N幅圖序列以第N/2幅圖像為中點(diǎn)(假設(shè)第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對(duì)稱減少圖像數(shù)目，直至N=W，此時(shí)將W幅圖像輸出為視點(diǎn)數(shù)據(jù)。以W = 5，N = 9為例，恩式格式圖像數(shù)據(jù)分離得到9幅圖像{I, 2，3，4，5，6，7，8，9}，根據(jù)3D顯示屏幕設(shè)備要求最終輸出視點(diǎn)數(shù)據(jù)包括5幅圖像{1，3，5，7，9}； (iii)若1>1則將N幅圖序列以第N/2幅圖像為中點(diǎn)(假設(shè)第N/2幅圖像為第一用戶的正面圖像)，按均勻分布對(duì)稱增加圖像數(shù)目，增加合成圖像算法采用相鄰兩幅圖像空域均值法，直至N=W，此時(shí)將W幅圖像輸出為視點(diǎn)數(shù)據(jù)。以W = 9，N = 5為例，恩式格式圖像數(shù)據(jù)分離得到5幅圖像{1，2，3，4，5}，根據(jù)3D顯示屏幕設(shè)備要求，使用相鄰兩幅圖像空域均值法，最終輸出視點(diǎn)數(shù)據(jù)包括9幅圖像{I, (1+2)’，2，(2+3)’，3，(3+4)’，4，(4+5)，，5}； 4)獲得相應(yīng)視點(diǎn)數(shù)據(jù) 后，按照合成柱鏡格式像素排練要求，以裸眼3D柱鏡或者全息的方式顯不。
【文檔編號(hào)】G03B35/00GK104038726SQ201410294821
【公開日】2014年9月10日 申請(qǐng)日期:2014年6月26日 優(yōu)先權(quán)日:2014年6月26日
【發(fā)明者】周偉 申請(qǐng)人:武漢恩倍思科技有限公司