專利名稱：一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機多媒體技術(shù)領(lǐng)域，特別是一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)。
二背景技術(shù)：
眾所周知，現(xiàn)實世界是真正的三維立體世界，而現(xiàn)有的顯示設(shè)備絕大多數(shù)都只能顯 示二維信息，并不能給人以深度感覺。為了使顯示的場景和物體具有深度感覺(也就是 3D),人們在各方面進行了嘗試。3D顯示技術(shù)的研究經(jīng)歷了十幾年的發(fā)展，取得了十分 豐碩的成果，從各種手執(zhí)式觀測器、3D立體眼鏡、頭盔顯示器，到現(xiàn)在最新的不需要 眼鏡的3D顯示器等等很多成果。3D顯示系統(tǒng)基于立體成像原理，現(xiàn)實世界是三維立體世 界，它為人的雙眼提供了兩幅具有視差的圖像，映入雙眼后即形成立體視覺所需的視差， 這樣經(jīng)視神經(jīng)中樞的融合反射，以及視覺心理反應(yīng)便產(chǎn)生了三維立體感覺。利用這個原 理，通過立體顯示器將兩副具有視差的左圖像和右圖像分別呈現(xiàn)給左眼和右眼，就能獲 得3D的感覺。
立體顯示設(shè)備的片源一般都用3D動畫技術(shù)制作合成，不僅影片的造價十分的昂貴， 場景也不真實，后來人們采用多個相機來獲取立體影片片源。
三
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是將立體拍攝系統(tǒng)和立體顯示系統(tǒng)結(jié)合起來，提供一種 實時拍攝實時顯示多鏡頭數(shù)碼立體系統(tǒng)，該系統(tǒng)不僅可以為立體顯示系統(tǒng)提供片源，而且 可以做到拍顯同步。
本發(fā)明采用了下列技術(shù)方案解決了其技術(shù)難題
1、 本發(fā)明由立體拍攝系統(tǒng)和立體顯示系統(tǒng)共同構(gòu)成。拍攝系統(tǒng)包括多個CCD攝像機
單元(1)，用來固定CCD攝像機單元的平臺(2)、用來支撐該平臺的支架(3)、圖像采集卡 (4)、電源(5)、 一臺PC機(6)等，固定CCD攝像機單元的平臺通過四個螺絲與用來支撐 該平臺的支架相連接，其中一顆為固定螺絲，其它三顆螺絲可手動調(diào)節(jié)單個CCD的位置高低， 俯仰程度，旋轉(zhuǎn)角度以及相鄰兩CCD間的距離等，顯示系統(tǒng)(7)則由柱面光柵式或狹縫光柵 式立體顯示器組成。拍攝系統(tǒng)和立體顯示系統(tǒng)經(jīng)數(shù)據(jù)線相互連接。
2、 攝像機標(biāo)定求解幾何畸變系數(shù)和相機間的空間位置關(guān)系。通過拍攝一個事先做好的標(biāo) 定平面模板，提取模板圖像上的網(wǎng)格角點，圖像上的網(wǎng)格角點像素坐標(biāo)和對應(yīng)模板上網(wǎng) 格角點的世界坐標(biāo)存在一定的映射關(guān)系，假設(shè)用^(,表示，Mu.表示網(wǎng)格角點的在世界坐
標(biāo)里的坐標(biāo)，/^.表示模板圖像上的網(wǎng)格角點的像素坐標(biāo)，其中Z為采集圖像幅數(shù)，y表
示第f幅圖像上的第y個角點，則有
Aw々.=爿,'仏.(!' = 1,2…w; _/' = 1,2…w) (1 )
3對每一個CCD來講，都有一組4，^,4…4，分解映射組4，求解各個CCD對應(yīng) 的H、,p,，/^等內(nèi)參數(shù)。
畸變系數(shù)主要包括三個徑向畸變因子^，^，、和兩個切向畸變因子p,，/72;設(shè)("，v)是理 想的像素坐標(biāo)，(M ,v )是畸變的像素坐標(biāo)，貝"
一
w 二m + (m-c^)[V2+、"+2p_y + p2(—十2;ic)] (2)
cos(p) 0 _ sin(伊)
0 1 0 sin(p) 0 cos(p)
1 0 0 0 cos(c;) - sin(") 0 sin(ffl) cos(Q))
cos((9) - sin(60 0 sin(6>)cos(6>) 0 0 0 1
■ v + O —c,')[A,r2 +A2r4 +/t3rf' +2p2x + pl(——+ 2少)〗
少
(3)
根據(jù)以上理想像點在像素坐標(biāo)系中的坐標(biāo)和畸變像點在像素坐標(biāo)系中的坐標(biāo)關(guān)系，可消 除幾何畸變，這就是幾何畸變的校正方法。
外參數(shù)有兩部分旋轉(zhuǎn)矩陣w^h r2 。r和平移矩陣r-^ ^ d"。在立體視覺中,
一般需要用兩個攝像機，可用前面的單相機標(biāo)定法分別得到兩個相機各自內(nèi)外參數(shù)，如果外
參數(shù)分別用/ ,， 7;，與/ 2， r2表示，則兩個攝像機間的相對位置關(guān)系可表示為
r = r, - Wr2
旋轉(zhuǎn)矩陣/ 也可表示成
(4)
COS A COSCOS %z
cos Be cos & cos cos^x cos乏y cos5z
A,。2,fl3是軸義與義,乂z間夾角的余弦；6,，62A是軸y與;c，,z間夾角的余弦；c,，C2,。是軸Z
與x,少,z間夾角的余弦。由于R是正交矩陣，所以九個方向余弦中只含有三個獨立參數(shù)，這三
個參數(shù)可以是一個空間直角坐標(biāo)系(如S-X7Z)按三個空間軸向順次旋轉(zhuǎn)至另一個空間直 角坐標(biāo)系(如S-x^)的三個旋轉(zhuǎn)角。從而有
這樣就可以用旋轉(zhuǎn)角度伊,w,^來表示/ 的值，很明顯，當(dāng)兩個攝像機主光軸平行時
I-
i-1
2 2 2
- I
41 0 0 0 1 0 0 0 1
，正好是一個單位矩陣。針對多個攝像機的情況，可將左邊或者右邊的第一個
攝像機作為參考攝像機，分別標(biāo)定出其它攝像機相對參考攝像機的w(9),w，0和r，根據(jù)/ ，:r
的值調(diào)節(jié)成各個像單元間的位置關(guān)系并使其滿足拍攝條件。
3、 一種針對非理想像對的圖像校正，眾所周知，在一個任意擺放的雙目視覺系統(tǒng)中，相 對于空間同一個物點，所成的像對可能存在梯形失真的不一致，有垂直視差等等，這些因 素對合成圖在3D設(shè)備上的顯示效果是很不利的，為此，我們希望拍攝的像對是非常理想的情 況，即沒有垂直視差，外極線互相平行且水平。通過前面的攝像機標(biāo)定技術(shù)，可近似調(diào)節(jié) 雙攝像機的成像平面在同一平面上，但要達到理想的情況是比較困難的，因為這不僅需要高 精度的設(shè)備，同時也增加了勞動的強度，所以，在此采用一種針對非理想像對的圖像校正技 術(shù)是非常合理的選擇。
首先得求校正變換矩陣，提取立體圖像對的精確匹配點，假設(shè)其中的一對匹配點為w,w'，
校正后的對極幾何關(guān)系是己知的，設(shè)為#,用數(shù)學(xué)關(guān)系表示為
(//'附',,(//附)=0 (5)
其中=求解滿足此數(shù)學(xué)關(guān)系的校正變換矩陣/^, A和//,。
1)射影變換矩陣/^ =
1 0 0 0 1 0
w。 w 1.
經(jīng)//。變換后，外極點被移動到無窮遠，外極線
互相平行。
2)旋轉(zhuǎn)矩陣//,.=
cos(e)sin(。 0--sin(6>) cos(6") 0 0 0 1
經(jīng)//。變換的外極線互相平行，但不一定水平，
因此，通過旋轉(zhuǎn)一定的角度6就可使外極線與圖像的行方向平行。
—10 0 0 1 f 0 0 1
3)平移變換矩陣//,
在經(jīng)過Z/p， //,變換后，雖然左右圖像的外極線都平
行，也滿足水平，但還需平移其中的一幅圖像，保持另外一幅圖像不動，使得左右圖像的對 應(yīng)點垂直視差為零。
4、基于圖像分析的偏色檢測及顏色的校正。成像設(shè)備采集的圖像的顏色與物體表面的真 實顏色之間存在一定程度上的誤差，即偏色，圖像的偏色不僅與圖像色度的平均值有關(guān)，還 與圖像色度分布特性有關(guān)。
1)采用圖像平均色度/)和色度中心距離M的比值，即偏色因子A:來衡量圖像的偏色程度。<formula>formula see original document page 6</formula>
在一種由亮度義和色度域值",々共同決定的約束條件下計算色差
-Qr<C*<C!; (10) -/ < O <
然后計算色溫校正系數(shù)，保持G通道不變，對W，S通道進行顏色校正。
5、 一種水平視差大小調(diào)節(jié)技術(shù)。根據(jù)相關(guān)理論在一個立體拍攝系統(tǒng)中，物距越小，視
差越大，相反，視差越小，因此，用同一個立體拍攝系統(tǒng)拍攝不同的場景，可能存在視差過 大或者過小的情況，這些都不利于顯示的效果，就需要視差的大小調(diào)節(jié)，該視差調(diào)節(jié)技術(shù)首
先得判斷合適的視差大小。被拍場景可以分為三個部分前景，主景和后景， 一般選取主景 中的某一物點的像作為參考點，分別計算相鄰拍攝圖片的視差大小，并與合適的視差大小值 相比較，確定視差需調(diào)節(jié)的大小值，然后保持最左或最右的拍攝圖片不變，依次向左或向右 平移其它的圖片，使之兩兩相鄰圖片間參考點的水平視差滿足合適的視差大小。
四

圖1為本發(fā)明一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)機構(gòu)示意圖 圖2為本發(fā)明一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)剖面圖；圖3為本發(fā)明一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)標(biāo)定模板。 五具體實施例方式
第一步將CCD攝像機固定在平臺上，注意保持各光軸的方向大致平行，并使各
個CCD大致在同一直線上且間距大致相等；用數(shù)據(jù)線把各個CCD和PC機中的圖像采集
卡連接起來，柱面光柵式或狹縫光柵式立體顯示器直接和PC機相連；接上電源線，打開
電腦和立體顯示器，安裝CCD驅(qū)動軟件等。
第二步將標(biāo)定模板(圖3)放在此立體攝像機前2-3米的范圍內(nèi)某一位置，選模
板平面上左上角某一位置，分別以兩條正交的直線為w軸，并按右手定則建立世界坐
標(biāo)系，調(diào)節(jié)每個CCD的焦距使之成清晰的像，然后各個CCD分別對標(biāo)定模板采像一次， 變換3次以上模板相對攝像機角度和位置，每變換一次，各個CCD分別對標(biāo)定模板采像 一次；對其中任意一個CCD,假設(shè)模板變換的次數(shù)為w,模板放置的總次數(shù)就是w +， 對應(yīng)采集的圖像幅數(shù)就是"+ l，然后提取這"+ l幅圖像上的網(wǎng)格角點，根據(jù)式(1)求 解映射組力,，分解映射組4，求解此CCD對應(yīng)的mp,，p2等內(nèi)參數(shù)，同理，分別
解出其它CCD的內(nèi)參數(shù)。
第三步在完成第二步后，還需將標(biāo)定模板按照第二步的擺放方式再放置一次，各 個CCD同時采集模板圖像一次，根據(jù)解得的內(nèi)參數(shù)和式(4)，計算各個CCD間的旋轉(zhuǎn)
矩陣w和平移矩陣r,如果旋轉(zhuǎn)矩陣w近似為單位矩陣，平移矩陣r近似相等，表明初調(diào)完
成，可滿足拍攝條件，如果不滿足，重復(fù)此步驟， 一直到滿足為止。
第四步在完成第三步后，拍攝工作就可以正式開始了，但采集的圖像是原始的， 可能存在幾何畸變，梯形失真，垂直視差等缺陷，此時，需要將采集的原始圖像進行系 列處理，首先，將第二步得到的各個CCD的幾何畸變系數(shù)&，^，&,A，A代入(2)和(3)
式中，消除幾何畸變。
其次，提取立體圖像對的精確匹配點，根據(jù)式(5)求解滿足此數(shù)學(xué)關(guān)系的校正變換矩陣 /^和//,,用解得的校正變換矩陣作用原圖，消除攝像機匯聚擺放引起的圖像梯形失真
的不一致和垂直視差等。
再次，根據(jù)式(6)、 (7)、 (8)求解偏色因子A;，如果存在偏色，根據(jù)式(9)和(10)計 算色溫校正系數(shù)，保持G通道不變，對/ ,￡通道進行顏色校正。
最后，選取主景中的某一物點的像作為參考點，分別計算相鄰拍攝圖片的視差大小，并 與合適的視差大小值相比較，確定視差需調(diào)節(jié)的大小值，然后保持最左或最右的拍攝圖片不 變，依次向左或向右平移其它的圖片，使之兩兩相鄰圖片間參考點的水平視差滿足合適的視 差大小。
第五步在完成上述步驟后，根據(jù)具體的立體顯示器尺寸的大小，光柵斜率的參數(shù) 等，采用編碼合成處理后的圖像，該合成圖像就可以經(jīng)立體顯示器直接顯示。至此，以光柵式為顯示終端的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)己經(jīng)介紹完畢，但本 發(fā)明并不僅局限于具體實施方式
中提到的四鏡頭數(shù)碼相機以及光柵式自由立體顯示器， 其他任意多鏡頭配合非自由立體顯示終端的實拍實顯系統(tǒng)同樣在本發(fā)明的保護范圍之 內(nèi)。
權(quán)利要求
1、一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，其特征在于該系統(tǒng)由多鏡頭數(shù)碼拍攝系統(tǒng)和柱面光柵式或狹縫光柵式立體顯示器組成；多鏡頭數(shù)碼立體拍攝系統(tǒng)采用標(biāo)定法初調(diào)；多鏡頭數(shù)碼立體拍攝系統(tǒng)同步采集某時刻單幀多路圖像，該時刻單幀多路圖像經(jīng)圖像校正，視差調(diào)節(jié)，編碼合成后可由柱面光柵式或狹縫光柵式立體顯示器直接顯示；該系統(tǒng)不僅可以拍攝動態(tài)的場景，而且可以拍攝靜態(tài)場景，還可以做到拍顯同步。
2、 如權(quán)利要求1所述的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，其特征還在于各個CCD攝象機 單元以視頻速率同步采集所拍場景圖像，并將圖像同時傳輸至柱面光柵式或狹縫式裸 眼自由立體顯示器進行顯示。
3、 如權(quán)利要求1所述的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，通過相機標(biāo)定技術(shù)確定該系統(tǒng)的 拍攝條件，其特征在于1)采用相機標(biāo)定技術(shù)，標(biāo)定出各個攝像機單元內(nèi)參數(shù)(包括幾何畸變系數(shù))，并保存 該數(shù)據(jù)；2)在該拍攝系統(tǒng)前放一標(biāo)定模板，各個攝像機分別對其采像一次，根據(jù)空間 物點坐標(biāo)和像點坐標(biāo)以及保存的內(nèi)參數(shù)，并以左邊或者右邊第一個攝像機為參考位置， 分別計算出其它攝像機相對參考攝像機的空間位置關(guān)系，該空間位置關(guān)系用旋轉(zhuǎn)矩陣《和平移矩陣7;表示；3)重復(fù)步驟2)，使其滿足各個《近似為單位矩陣，各個7:.近似相等，該系統(tǒng)即可用 于拍攝。
4、 如權(quán)利要求l， 3所述的一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，其特征還在于，根據(jù)標(biāo)定出的幾何畸變系數(shù)和實際像點在像素坐標(biāo)系里的坐標(biāo)，可得到理想的像。
5、 如權(quán)利要求1所述的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，采用一種針對攝像機匯聚擺放引起的圖像梯形失真的不一致和垂直視差等的外極幾何校正法，其特征在于計算出校正變換矩陣//,，將該校正變換矩陣/z,分別作用于對應(yīng)的梯形失真圖，可有效消除圖像梯形失真的不一致和垂直視差。
6、 如權(quán)利要求1所述的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，其特征在于采用綜合考慮色度 的平均值和色度分布特性的偏色檢測方法來判斷圖像的偏色程度；采用由亮度;ir和色度域值a,/ 共同決定的約束條件，并在該約束條件下進行顏色校正。
7、 如權(quán)利要求1所述的實拍實顯多鏡頭數(shù)碼立體系統(tǒng)，調(diào)節(jié)不合適的水平視差大小，其 特征在于從拍攝的場景中的主景中選一參考點，分別確定出該參考點在多個攝像機所拍圖中的成像點的位置水平坐標(biāo)，任選擇一拍攝圖參考點的像點水平坐標(biāo)保持不變， 分別求出其它拍攝圖中參考點的像點與保持不變圖的參考點像點的在水平坐標(biāo)上的差 值，并根據(jù)自由立體顯示器的尺寸大小，調(diào)節(jié)合適的視差大小。
全文摘要
本發(fā)明設(shè)計了一種實拍實顯多鏡頭數(shù)碼立體系統(tǒng)。該系統(tǒng)由立體拍攝系統(tǒng)和立體顯示系統(tǒng)共同構(gòu)成，具體包括多個CCD攝像機單元(1)，用來固定CCD攝像機單元的平臺(2)、用來支撐該平臺的支架(3)、圖像采集卡(4)、電源(5)、一臺PC機(6)，一臺柱面光柵式或狹縫式裸眼自由立體顯示器(7)等。本發(fā)明采用相機標(biāo)定法初調(diào)多個CCD攝像機單元的空間位置關(guān)系和計算攝像機鏡頭畸變系數(shù)，并根據(jù)畸變系數(shù)糾正圖像的幾何畸變；然后針對攝像機擺放引起的梯形失真采用外極幾何進行校正，再針對多路采集中的視差不合理進行視差調(diào)節(jié)。本發(fā)明通過以上方法的結(jié)合，不僅可以拍攝靜態(tài)的場景，而且還可以拍攝動態(tài)的場景，使得拍攝過程更加簡單、方便和靈活，還可做到拍顯同步。
文檔編號G03B35/08GK101505433SQ20091005859
公開日2009年8月12日 申請日期2009年3月13日 優(yōu)先權(quán)日2009年3月13日
發(fā)明者浩 張, 琳 張, 文福林, 李大海, 柱 梁, 王瓊?cè)A 申請人:四川大學(xué)