專利名稱：數(shù)碼3d/360度照相機(jī)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像記錄裝置領(lǐng)域，尤其涉及一種數(shù)碼3D/360度照相機(jī)系統(tǒng)。該數(shù)碼3D/360°照相機(jī)系統(tǒng)使用多個立體照相機(jī)對(stereoscopic camerapairs)記錄覆蓋整個360°場景的圖像數(shù)據(jù)，該圖像數(shù)據(jù)可用于制作3D圖像、3D電影或3D動畫。
背景技術(shù)：
更高分辨率和照片質(zhì)量的數(shù)碼照相機(jī)的出現(xiàn)，以及計算機(jī)不斷增加的速度和處理能力，為能夠記錄用于制作三維圖像、電影、動畫和遙現(xiàn)(telepresence)的圖像數(shù)據(jù)的三維360°數(shù)碼照相機(jī)系統(tǒng)奠定了基礎(chǔ)。
三維攝影并非新事物。通過立體照相機(jī)的三維攝影已經(jīng)超過一百年了。在立體照相機(jī)系統(tǒng)中，使用兩個照相機(jī)來記錄場景，每個照相機(jī)從略微不同的有利位置上來記錄。照相機(jī)的構(gòu)造一般類似人眼；兩個照相機(jī)并排布置并記錄兩個獨立的但大部分重疊的視野。通過立體觀察器一起觀看這兩個圖像，在圖像重疊的地方產(chǎn)生三維視覺。
1934年5月1日授予J.HarloW的美國專利No.1,957,043描述了一種立體照相機(jī)和觀看裝置。這種簡單的立體攝影在實現(xiàn)擴(kuò)展或全景視場上無所作為。另外，因為立體照片的結(jié)果旨在用于通過立體觀察器直接由人觀看，所以照相機(jī)及其產(chǎn)生的圖像必須符合使人能舒適觀看的種種限制。對人最理想的立體照相觀察，視場和圖像的重疊程度必須接近人眼。現(xiàn)代數(shù)字圖像處理可以使用計算機(jī)技術(shù)來利用不受這些限制的圖像，這是因為圖像可以用于數(shù)字處理的目的而非人的直接觀看。
全景攝影拍攝覆蓋寬達(dá)整個360°全景的視場的一張或多張照片，在攝影中有很長的歷史。可能最原始的全景攝影方法是用常規(guī)照相機(jī)拍攝幾張相鄰的照片，然后將照片對準(zhǔn)放置在一起以實現(xiàn)完整的全景?，F(xiàn)代的技術(shù)通過使用數(shù)碼照相機(jī)記錄圖像然后使用計算機(jī)圖像處理技術(shù)將圖像對準(zhǔn)以打印成一個全景圖像，而適應(yīng)此方法。
1997年7月8日授予K.Yano等人的美國專利No.5,646,679公開了一種圖像合并方法及裝置，其使用一對數(shù)碼照相機(jī)記錄單獨的重疊圖像。圖像的重疊部分用于使對準(zhǔn)的圖像相關(guān)。這些對準(zhǔn)的單獨圖像可以制作寬視場的單一圖像。然后圖像處理系統(tǒng)組合這些圖像以用于觀看。
1999年12月21日授予M.Nakamura等人的美國專利No.6,005,987示出一種畫面圖像形成裝置，其通過連結(jié)單獨的畫面圖像而類似地形成全景畫面圖像。象Yano專利一樣，Nakamura裝置使用圖像的重疊區(qū)域來對準(zhǔn)并連結(jié)圖像。Nakamura裝置還糾正了重疊區(qū)域中的偏差和扭曲。
在實現(xiàn)改進(jìn)的全景攝影術(shù)時，這些方法沒有提供產(chǎn)生三維圖像或模型所必需的視覺圖像數(shù)據(jù)。此外，當(dāng)全景由幾個單獨曝光的圖像所組成時，結(jié)果在質(zhì)量和實用性上受時間維度的限制。幾個圖像在一段時間內(nèi)單獨曝光時，可能已經(jīng)移動的場景中的元素被記錄在單獨圖像中的不同位置。結(jié)果可能是一幅圖像，其在曝光中有不同步移動的元素，使得難以或不可能連結(jié)圖像，或者一幅連結(jié)好的全景圖像具有重象。
一種可選擇的記錄全景圖像的方法是在一次曝光中記錄整個全景。一種這樣的方法為使用具有轉(zhuǎn)動鏡頭的照相機(jī)或轉(zhuǎn)動照相機(jī)。在膠片照相機(jī)中，在鏡頭掃過整個360°視野時轉(zhuǎn)動鏡頭可以使一條膠片曝光。
在2001年8月2日公開的美國專利公開No.2001/0010555中，公開了另一種一次曝光的全景照相機(jī)。該全景照相機(jī)使用凸鏡以二維環(huán)形形式記錄360°全景。該數(shù)字記錄的環(huán)形圖像被數(shù)字轉(zhuǎn)換成二維矩形圖像。雖然該方法通過在一次曝光中記錄整個全景視野而解決了時間維度的問題，但是結(jié)果仍然是不能提供制作三維模型或圖像所需要的圖像數(shù)據(jù)的二維圖像。
2001年9月13日公開的美國專利公開No.2001/0020976描述了一種立體全景照相機(jī)的布置。該布置將兩個全景照相機(jī)連結(jié)成立體對。在每個照相機(jī)中，使用專用鏡或菲涅爾透鏡重定向全景圖像以進(jìn)行記錄。提出的一個實施例需要圓柱形而非平面的光學(xué)元件來記錄圖像。因而，雖然能提供具有立體視覺性能的全景照相機(jī)，但是這并非是一個易于獲得且簡單的數(shù)碼照相機(jī)的方案。
1996年2月27日授予K.Ritchie的美國專利No.5,495,576描述了一種視聽系統(tǒng)，其結(jié)合照相機(jī)以記錄全景圖像，并連同形狀傳感器以確定場景的三維形狀。所記錄的圖像被繪制到該形狀上以制作可被處理成在各種3-D顯示系統(tǒng)上顯示的三維模型。形狀傳感器基本上是與照相機(jī)排列在一起的雷達(dá)、聲納或類似的傳感器。形狀傳感器用于采集與視場中物體的形狀相關(guān)的信息，主要是距物體表面的距離。這樣，三維模型是數(shù)據(jù)源相結(jié)合的結(jié)果而不是嚴(yán)格根據(jù)立體圖像數(shù)據(jù)的產(chǎn)物。
1991年6月11日授予D.McCutchen的美國專利No.5,023,725公開了一種十二面體成像系統(tǒng)，其中幾個照相機(jī)布置成十二面體。與該照相機(jī)系統(tǒng)一起，McCutchen公開了具有與照相機(jī)匹配的十二面體形狀的突出圓頂(projection dome)。雖然該系統(tǒng)記錄了用于投射到圓頂或球形室的內(nèi)表面的大致球形的視場的視頻，但該視頻并不是三維的。該照相機(jī)并非用于提供立體視場。每個照相機(jī)的視場實際上被剪切成與各個視場對準(zhǔn)，而無重疊地投射到十二面體的內(nèi)部。
上述發(fā)明和專利不論單獨考慮還是組合考慮，都無法得到如權(quán)利要求所述的本發(fā)明的描述。因而，期望有一種解決上述問題的數(shù)碼3D/360°照相機(jī)系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明涉及一種數(shù)碼3D/360°照相機(jī)系統(tǒng)。該系統(tǒng)包括殼體。多個數(shù)碼照相機(jī)設(shè)置在該殼體上。每個數(shù)碼照相機(jī)具有一視場，該視場與至少一個其它數(shù)碼照相機(jī)的視場相重疊，以形成立體視場。該系統(tǒng)具有控制器，控制器具有處理器、存儲器、存儲設(shè)備、時鐘、通訊接口和照相機(jī)接口。該照相機(jī)接口與每個數(shù)碼照相機(jī)進(jìn)行通訊。
此外，本發(fā)明也涉及一種使用數(shù)碼3D/360°照相機(jī)系統(tǒng)制作三維圖像模型的方法。該方法包括使用數(shù)碼3D/360°照相機(jī)系統(tǒng)記錄具有目標(biāo)點(point ofinterest)的數(shù)字圖像數(shù)據(jù)的步驟，其中該目標(biāo)點記錄在至少兩個數(shù)碼照相機(jī)的數(shù)字圖像數(shù)據(jù)中。對每個目標(biāo)點，從該至少兩個數(shù)碼照相機(jī)的每一個數(shù)碼照相機(jī)標(biāo)識對應(yīng)于此目標(biāo)點的像素矢量。對每個目標(biāo)點，使用來自該至少兩個數(shù)碼照相機(jī)的每一個數(shù)碼照相機(jī)的像素矢量來確定該目標(biāo)點在坐標(biāo)系中相對于系統(tǒng)參考點的位置。


圖1A是根據(jù)本發(fā)明的數(shù)碼3D/360°照相機(jī)系統(tǒng)的透視圖；
圖1B是根據(jù)本發(fā)明的數(shù)碼3D/360°照相機(jī)系統(tǒng)的透視圖，有選擇地配備有附加的上下取向的照相機(jī)對；圖2是根據(jù)本發(fā)明的數(shù)碼3D/360°照相機(jī)系統(tǒng)的頂視圖，示出照相機(jī)的視場和盲點；圖3是數(shù)碼3D/360°照相機(jī)系統(tǒng)的可選擇實施例的透視圖，其中該數(shù)碼3D/360°照相機(jī)系統(tǒng)具有附加的立體照相機(jī)對；圖4是數(shù)碼3D/360°照相機(jī)系統(tǒng)的可選擇實施例的頂視圖，其中該數(shù)碼3D/360°照相機(jī)系統(tǒng)具有圓形布置的數(shù)碼照相機(jī)；圖5是數(shù)碼3D/360°照相機(jī)系統(tǒng)的實施例的透視圖，其中該數(shù)碼3D/360°照相機(jī)系統(tǒng)具有球形布置的數(shù)碼照相機(jī)；圖6是根據(jù)本發(fā)明的數(shù)碼3D/360°照相機(jī)系統(tǒng)的方塊圖；圖7是流程圖，描述用根據(jù)本發(fā)明的數(shù)碼3D/360°照相機(jī)系統(tǒng)記錄圖像數(shù)據(jù)的步驟；圖8A是以像素陣列表示的數(shù)碼照相機(jī)的視場的圖示；圖8B是以像素矢量陣列表示三維的數(shù)碼照相機(jī)的視場的圖示；圖9是照相機(jī)相對于參考點的視場的示意性說明，該參考點為三維XYZ坐標(biāo)系的原點；圖10是示出多個數(shù)碼照相機(jī)相對于系統(tǒng)參考點和XYZ坐標(biāo)系的示圖，每個數(shù)碼照相機(jī)具有各自的照相機(jī)參考點；圖11A是示出圖10中的數(shù)碼照相機(jī)30a的視場的示圖；圖11B是示出圖10中的數(shù)碼照相機(jī)30b的視場的示圖；圖12是示出將像素矢量轉(zhuǎn)變成在XYZ坐標(biāo)系中相對系統(tǒng)參考點的已知位置的方法的示圖。
在所有附圖中，相同的附圖標(biāo)記表示相應(yīng)的部件。
具體實施例方式
數(shù)碼3D/360°照相機(jī)系統(tǒng)使用幾個數(shù)碼照相機(jī)來記錄制作三維場景的精確數(shù)字模型所需要的圖像數(shù)據(jù)。該模型可用于制作3-D圖像、3-D電影、3-D動畫或其它視覺三維產(chǎn)品。所記錄的圖像數(shù)據(jù)也可以用于制作二維全景圖像，以及通過某些配置來制作人可觀看的立體圖像。確定照相機(jī)的方向，使得每個照相機(jī)的視場與至少一個其它照相機(jī)的視場重疊而形成立體視場。可以利用立體視覺技術(shù)處理來自立體視場的圖像數(shù)據(jù)，從而制作完全三維的模型。為使圖像數(shù)據(jù)精確，將這些照相機(jī)一起剛性地安裝在一殼體上，這些照相機(jī)的精確的幾何形狀由校準(zhǔn)(calibration)過程確定。對這些照相機(jī)同時發(fā)出指令，或者使它們在1ms或更短的時間內(nèi)保持同步，從而記錄它們的圖像。
在本發(fā)明的最簡單的實施例中，這些照相機(jī)安裝在正方形的殼體上，在該正方形的四個面的每個面上有一對照相機(jī)。構(gòu)造成立體對(stereoscopic pair)的這些照相機(jī)，以“北、南、東、西”的形式瞄準(zhǔn)，使得每個立體對記錄立體視場中360度視場的單獨四分之一(quadrant)。立體視場是對立體對中的兩個照相機(jī)都可見的區(qū)域，在該區(qū)域中兩個照相機(jī)的視場重疊。所用照相機(jī)的視場指示出立體對元件的重疊量，以及照相機(jī)之間和相鄰四分之一區(qū)域之間的盲點的尺寸?？蛇x擇實施例以更復(fù)雜的幾何形狀布置添加立體對，而另一實施例中照相機(jī)分布成均勻地圍繞球體。
當(dāng)設(shè)置為圓形布置或球形布置時，照相機(jī)不再分組為原意上(literal)的立體對。而是可以將每個照相機(jī)看作與每個相鄰的照相機(jī)構(gòu)成立體配對(stereoscopic partnership)。當(dāng)設(shè)置為球形布置時，數(shù)碼3D/360°照相機(jī)系統(tǒng)以最佳布置記錄完整的球形視野以實現(xiàn)三維模型。
照相機(jī)由計算機(jī)控制，該計算機(jī)管理描述照相機(jī)實體幾何形狀及其相互關(guān)系的數(shù)據(jù)，向照相機(jī)同時發(fā)出指令以記錄圖像數(shù)據(jù)，讀取、保存并存儲圖像數(shù)據(jù)，并輸出圖像數(shù)據(jù)以進(jìn)行處理。
可以在單獨位置配合使用多個數(shù)碼3D/360°照相機(jī)系統(tǒng)，從而為更大的場景或區(qū)域采集更全面的三維圖像數(shù)據(jù)。
數(shù)碼3D/360°照相機(jī)系統(tǒng)在附圖中一般表示為10。數(shù)碼3D/360°照相機(jī)系統(tǒng)10具有其上安裝有多個數(shù)碼照相機(jī)30的殼體20，數(shù)碼照相機(jī)30取向為使得每個照相機(jī)的視場與至少一個其它照相機(jī)的視場重疊，以形成立體視場。在最簡單的實施例中，如圖1A所示，殼體20是正方形的，而照相機(jī)30布置成立體對，每個立體對覆蓋全360°視野的單獨四分之一。圖1B示出可選擇實施例，其中照相機(jī)30的附加立體對取向為具有向上的視野，照相機(jī)30的附加立體對取向為具有向下的視野。
在傳統(tǒng)的立體攝影中，立體對中的兩個照相機(jī)間隔約兩英寸(5cm)，每個照相機(jī)具有模擬人眼的視角。這再現(xiàn)了對人的觀察而言較舒服的三維視野。然而，數(shù)碼3D/360°照相機(jī)系統(tǒng)10的作用是記錄將要由計算機(jī)處理成三維模型的數(shù)據(jù)。因而，數(shù)碼照相機(jī)30的幾何形狀及其視場不會受到傳統(tǒng)的立體攝影所受的限制。不論照相機(jī)30的幾何形狀，剛性地安裝照相機(jī)30，并且其精確的幾何形狀是已知的。數(shù)碼照相機(jī)30可以間隔任何距離。例如，在室內(nèi)使用或記錄小場景的數(shù)碼3D/360°照相機(jī)系統(tǒng)10可以構(gòu)造為照相機(jī)僅間隔幾英寸，而用于覆蓋機(jī)場或城市街區(qū)的數(shù)碼3D/360°照相機(jī)系統(tǒng)10可構(gòu)造為照相機(jī)間隔幾英尺。由于數(shù)碼照相機(jī)30布置成立體對，其中每個立體對記錄360度視場的單一四分之一，因此鏡頭應(yīng)具有約100°的視場。
圖2示出數(shù)碼3D/360°照相機(jī)系統(tǒng)10的頂視圖，以及每個數(shù)碼照相機(jī)30的視場。對于立體對的左側(cè)元件，視角表示為αL，示出為從參考線36延伸到參考線38，對于右側(cè)元件視角表示為αR，示出為從參考線32延伸到參考線34。對于給定的立體對，可以看到存在視場重疊的區(qū)域αLR。重疊區(qū)域αLR也稱作立體視場，確定了用于制作三維模型的立體圖像數(shù)據(jù)的區(qū)域。還可以看出存在盲點，以及僅被單一數(shù)碼照相機(jī)30看到的區(qū)域。這些區(qū)域中每個區(qū)域的尺寸將取決于所用的視場。
應(yīng)該理解，照相機(jī)視場的選擇涉及最大覆蓋范圍和分辨率之間的權(quán)衡。當(dāng)然，增大的視場會增加可記錄的圖像數(shù)據(jù)量，特別是隨著立體視場尺寸的增大而增加有用的立體數(shù)據(jù)量。然而，隨著視角增大，分辨率降低。通過考慮一假定的數(shù)碼照相機(jī)來說明，該數(shù)碼照相機(jī)具有4,000像素，具有4,000的分辨率，并具有100°的視場。用4,000像素來分100°，得到每像素覆蓋1/40度。這樣產(chǎn)生的分辨率在23米約為1cm。隨著數(shù)碼照相機(jī)技術(shù)的提高，分辨率也提高。數(shù)碼照相機(jī)的分辨率遵循適于半導(dǎo)體的摩爾定律(Moore′s law)，約每一年或每兩年翻倍，預(yù)期在至少接下來的十五年里這一趨勢仍會繼續(xù)。增大分辨率的一種可選擇方案是簡單地使用更多的照相機(jī)，每個照相機(jī)覆蓋更小的視場。
圖3示出數(shù)碼3D/360°照相機(jī)系統(tǒng)10的實施例，其具有附加的數(shù)碼照相機(jī)30的立體對。該數(shù)碼照相機(jī)30的立體對設(shè)置為使得每個立體對覆蓋360度視場的的單一八分之一(octant)，而不是四分之一。這樣，數(shù)碼照相機(jī)30可以使用僅50°的視場來實現(xiàn)全覆蓋，并且與100°的視場相比在圖像分辨率上得到兩倍的增長。
圖4中示出另一實施例，其不再采用將數(shù)碼照相機(jī)30以原意上的立體對進(jìn)行分組的布置。而是，數(shù)碼照相機(jī)30設(shè)置成均勻地圍繞圓形殼體。在此布置中，每個數(shù)碼照相機(jī)30與其相鄰的每個數(shù)碼照相機(jī)30共用立體視場。如所示出的，視場β3與視場β2重疊而形成立體視場β23，還與視場β4重疊而形成立體視場β34。
另一實施例將數(shù)碼照相機(jī)30的圓形布置擴(kuò)展為整個球體，如圖5所示，數(shù)碼照相機(jī)圍繞球形殼體。將數(shù)碼照相機(jī)30分布成球形布置允許最大的覆蓋范圍，不僅采集了360°全景，而且還采集了場景的全部圖像數(shù)據(jù)。
現(xiàn)在應(yīng)意識到，可以采用多種實施例，每個實施例中數(shù)碼照相機(jī)30的數(shù)量和布置不同。所有實施例中的共同特征是，數(shù)碼照相機(jī)30處于固定的位置，并布置為使得每個數(shù)碼照相機(jī)30的視場與至少一個其它數(shù)碼照相機(jī)30的視場重疊以形成立體視場。由數(shù)碼照相機(jī)30的多種組合而提供的多個立體視場提供了精確的三維模型制作所需的三維圖像數(shù)據(jù)。
如圖6中示意性地示出的，數(shù)碼照相機(jī)30處于控制器60的控制之下?？刂破?0是包括CPU 40、存儲器42、大容量存儲設(shè)備44、時鐘48、外部通訊接口46和照相機(jī)接口50的系統(tǒng)。該系統(tǒng)可以是通用的計算機(jī)系統(tǒng)，例如個人計算機(jī)(PC)或定制設(shè)計的計算機(jī)系統(tǒng)?？刂破?0可以設(shè)置在殼體20的外部，但優(yōu)選的是，控制器60容納在殼體20內(nèi)。
數(shù)碼照相機(jī)30具有與照相機(jī)接口50相連接的指令和數(shù)據(jù)接口。市售數(shù)碼照相機(jī)一般帶有通用串行總線(USB)、指令線(FireWire)或用于指令和數(shù)據(jù)傳輸?shù)牧硪唤涌?。因而，照相機(jī)接口50包括USB、指令線或用于指令和數(shù)據(jù)傳輸?shù)牧硪唤涌?。此外，雖然不是必須的，但期望的是，數(shù)碼照相機(jī)30配備有單一數(shù)字控制線，其允許數(shù)字信號使數(shù)碼照相機(jī)30記錄圖像。使用單一數(shù)字控制線允許用單一數(shù)字控制信號同時對所有的數(shù)碼照相機(jī)30發(fā)出指令以記錄圖像。
時鐘48用于確定圖像記錄的時間，用于給記錄到的圖像數(shù)據(jù)文件加標(biāo)記，以及用于對數(shù)碼照相機(jī)30進(jìn)行同步控制。因為所有這些功能都需要精確的時間基準(zhǔn)，所以時鐘48應(yīng)具有0.1ms以內(nèi)的分辨率和精度。另外，基于共同的標(biāo)準(zhǔn)時間基準(zhǔn)如世界協(xié)調(diào)時間(UTC)或與其同步的精確時間基準(zhǔn)，在為了記錄附加視野點而使用多個數(shù)碼3D/360°照相機(jī)系統(tǒng)10的應(yīng)用中，可便于該多個數(shù)碼3D/360°照相機(jī)系統(tǒng)10的同步。
外部通訊接口46可以是任何數(shù)據(jù)通訊接口，并可以使用有線、光纖、無線或其它方法與外部設(shè)備進(jìn)行連接。例如以太網(wǎng)或者無線以太網(wǎng)。
控制器60可有選擇地包括位置及取向傳感器54，用于確定數(shù)碼3D/360°照相機(jī)系統(tǒng)的位置和取向。例如，當(dāng)必須將數(shù)碼3D/360°照相機(jī)系統(tǒng)10的地理位置和圖像數(shù)據(jù)一起記錄時，全球定位系統(tǒng)(GPS)接收器是有用的。可以使用數(shù)字磁羅盤來確定數(shù)碼3D/360°照相機(jī)系統(tǒng)相對于磁北的取向。
存儲在大容量存儲設(shè)備44上并由處理器40在存儲器42中執(zhí)行的計算機(jī)軟件程序引導(dǎo)控制器完成各種功能，例如在外部通訊接口上接收來自外部設(shè)備的指令、管理定義數(shù)碼照相機(jī)30的精確幾何形狀的數(shù)據(jù)文件、向數(shù)碼照相機(jī)30發(fā)出指令以記錄圖像數(shù)據(jù)、標(biāo)記并存儲圖像數(shù)據(jù)文件，以及將圖像數(shù)據(jù)文件傳送到外部設(shè)備。管理定義數(shù)碼照相機(jī)30的精確幾何形狀的數(shù)據(jù)文件的功能可包括執(zhí)行校準(zhǔn)步驟以創(chuàng)建數(shù)據(jù)文件或從外部信源(externalsource)下載數(shù)據(jù)文件。
由數(shù)碼3D/360°照相機(jī)系統(tǒng)10記錄的圖像數(shù)據(jù)可用于制作三維圖像和模型。對制作三維圖像和模型來說，必須知道每個照相機(jī)30在系統(tǒng)中的精確幾何形狀，包括每個像素。
數(shù)碼照相機(jī)以像素陣列來記錄圖像，如圖8A所示，示出繪制到像素陣列上的旗幟F的圖像。從三維透視來看，也可將數(shù)碼照相機(jī)的圖像看作是像素矢量Vp的陣列，如圖8B所示。每個矢量是從照相機(jī)鏡頭到視場中的物體的直線。通過識別3D空間內(nèi)的照相機(jī)參考點Rc作為像素矢量Vp的起點以及確定像素矢量路徑的“方向矢量”，可以定義像素矢量Vp。照相機(jī)中的每個像素具有唯一的像素矢量Vp。這樣，照相機(jī)的像素矢量圖是對照相機(jī)中每個像素的路徑的定義。
如果鏡頭具有固定的焦距，則每個像素矢量Vp的參考點Rc和方向矢量是固定的。如果鏡頭具有可變焦距，則參考點Rc和方向矢量隨焦距的改變而改變。對于變焦鏡頭，為了保持最大精確度，需要對不同焦距設(shè)定多個像素圖。
在精確的固定焦距鏡頭中，參考點Rc可以認(rèn)為是等同鏡頭的光學(xué)中心，并且對于每個像素矢量Vp都相同。
可以通過分析照相機(jī)的設(shè)計說明書，或者通過機(jī)械校準(zhǔn)過程，來制作照相機(jī)的像素矢量圖。可以通過使照相機(jī)中的每個像素對3D空間中的兩個不同的已知點曝光來完成校準(zhǔn)。由于每個像素矢量Vp是直線，而兩點確定一條直線，因此該過程可用于確定照相機(jī)的像素矢量圖。
為數(shù)碼3D/360°照相機(jī)系統(tǒng)10中的每個數(shù)碼照相機(jī)30制作像素矢量圖。每個照相機(jī)的像素矢量圖包括對該照相機(jī)的坐標(biāo)系的定義。例如，如圖9所示，可以使用矩形XYZ坐標(biāo)系。像素矢量圖還確定照相機(jī)的參考點Rc，例如照相機(jī)的光學(xué)中心。像素矢量圖中的每個像素是可唯一識別的，例如由像素的行和列坐標(biāo)進(jìn)行識別。像素矢量圖還包括每個像素的方向矢量。在矩形XYZ坐標(biāo)系的情況中，可以用帶符號的XYZ格式來表示方向矢量。
如果照相機(jī)使用變焦鏡頭，則確定多個像素矢量圖，或者確定單一像素矢量圖，并對不同焦距設(shè)定進(jìn)行修正或插值。
參考點和每個方向矢量的精度決定了用于三維模型制作的數(shù)碼3D/360°照相機(jī)系統(tǒng)的精度。單個照相機(jī)的像素矢量圖可以從照相機(jī)設(shè)計中推導(dǎo)出，或者通過校準(zhǔn)過程確定。
在數(shù)碼3D/360°照相機(jī)系統(tǒng)10中，整個數(shù)碼3D/360°照相機(jī)系統(tǒng)10的像素矢量圖包括每個單個數(shù)碼照相機(jī)30的像素矢量圖，以及確定每個單個數(shù)碼照相機(jī)30相對于每一個其它照相機(jī)的位置的信息。要作到這一點的一種容易的方法是為數(shù)碼3D/360°照相機(jī)系統(tǒng)10確定XYZ坐標(biāo)系以及原點，并在描述每個照相機(jī)的像素矢量圖時使用該坐標(biāo)系。數(shù)碼3D/360°照相機(jī)系統(tǒng)10的參考點稱作系統(tǒng)參考點，其可以是照相機(jī)組件的物理中心、系統(tǒng)前部、單個數(shù)碼照相機(jī)的參考點，或者3D空間中的任何其它點。
因為數(shù)碼3D/360°照相機(jī)系統(tǒng)10用于制作精確的3D模型，因此必須知道每個數(shù)碼照相機(jī)30的參考點之間的實際距離。參照圖10，例如，如果，相對于數(shù)碼3D/360°照相機(jī)系統(tǒng)10的參考點，數(shù)碼照相機(jī)30a的參考點是(0”，7”，0”)，數(shù)碼照相機(jī)30b的參考點是(3”，3”，0”)，那么可以看出從數(shù)碼照相機(jī)30a到數(shù)碼照相機(jī)30b的矢量是(3”，-4”，0”)，從數(shù)碼照相機(jī)30a到數(shù)碼照相機(jī)30b的距離是5英寸(13cm)。
由于已知數(shù)碼3D/360°照相機(jī)系統(tǒng)10的內(nèi)部尺寸和數(shù)碼照相機(jī)30的精確幾何形狀，因此參考兩個或多個數(shù)碼照相機(jī)30可以確定物體的尺寸和距離。已知的內(nèi)部尺寸和照相機(jī)幾何形狀的精度決定數(shù)碼3D/360°照相機(jī)系統(tǒng)10可以達(dá)到的測量精度和制作模型的精度。
與數(shù)碼3D/360°照相機(jī)系統(tǒng)10的像素矢量圖一起，由數(shù)碼照相機(jī)30記錄的圖像數(shù)據(jù)，可以用于通過確定系統(tǒng)參考點和圖像數(shù)據(jù)中各目標(biāo)點之間的距離來制作三維模型。該距離可以由兩個或多個數(shù)碼照相機(jī)30記錄的圖像數(shù)據(jù)的每一點來確定。參照圖10，照相機(jī)30a和照相機(jī)30b的視場中示出旗幟F。再參照圖11A和11B，可以看出，旗幟F出現(xiàn)在每個照相機(jī)的視場中不同的位置。圖11A示出照相機(jī)30a的視場，圖11B示出照相機(jī)30b的視場?？梢钥吹剑瑥拿總€照相機(jī)的一個像素或三維情況的一個像素矢量記錄了旗桿的頂端，這是此例中的目標(biāo)點。
圖12中更清楚地示出，像素矢量V是照相機(jī)30a記錄旗桿頂端的像素矢量，而在照相機(jī)30b中像素矢量W記錄旗桿的頂端。旗桿的頂端由點C表示。每個像素矢量是方向矢量，定義從照相機(jī)參考點到旗桿頂端的點C的方向，但沒有定義距離。距離矢量“a*V”定義了從照相機(jī)30a的參考點(點A)開始到點C結(jié)束的直線，其中“a”是標(biāo)量。類似地，距離矢量“b*W”為照相機(jī)30b定義了從點B到點C的直線，其中“b”是標(biāo)量。
期望知道C相對于系統(tǒng)參考點RS的位置。照相機(jī)參考點A和B的位置從它們的像素矢量圖信息中已知。矢量U＝B-A表示從A到B的位移。由于V和W是線性無關(guān)的，因此叉積矢量Y＝V×W非零。此外，假定存在C，則三個矢量U＝B-A、V和W線性相關(guān)。C可定義如下(1)C＝A+aV＝B+bW其中a和b是標(biāo)量。改寫(1)，(2)aV＝U+bW分別與W和V做叉積，得到(3)a(V×W)＝(U×W)及(4)b(W×V)＝-(U×V)系數(shù)a和b唯一確定。使用點積可以確定(5)a＝((U×W)·(V×W))/((V×W)·(V×W))；及(6)b＝((U×V)·(V×W))/((V×W)·(V×W))再參考(1)，對C求解，(7)C＝A+((U×V)·(V×W))/((V×W)·(V×W))V點C，在本例中是旗桿頂端，現(xiàn)在可以精確定位在數(shù)碼3D/360°照相機(jī)系統(tǒng)10的XYZ坐標(biāo)系中。使用同樣的數(shù)學(xué)分析，可以在三維坐標(biāo)系中精確定位數(shù)碼3D/360°照相機(jī)系統(tǒng)10的視場中的每一個點。
數(shù)碼3D/360°照相機(jī)系統(tǒng)10的像素矢量圖是描述系統(tǒng)中每個數(shù)碼照相機(jī)30的幾何形狀的數(shù)據(jù)集合。像素矢量圖數(shù)據(jù)以像素矢量圖文件存儲在大容量存儲設(shè)備44上，連同其它有關(guān)描述數(shù)碼3D/360°照相機(jī)系統(tǒng)10的附加數(shù)據(jù)。實際上，描述數(shù)碼3D/360°照相機(jī)系統(tǒng)10的附加數(shù)據(jù)可包括描述數(shù)碼3D/360°照相機(jī)系統(tǒng)10自身的序號、名稱、模型類型或其它信息，以及描述數(shù)碼3D/360°照相機(jī)系統(tǒng)10中的每個數(shù)碼照相機(jī)30的序號、類型、鏡頭類型或其它信息。
在使用中，控制器60的功能為向數(shù)碼照相機(jī)30發(fā)出指令以記錄圖像數(shù)據(jù)，然后取回圖像數(shù)據(jù)并將圖像數(shù)據(jù)存儲到大容量存儲設(shè)備50上。一旦圖像數(shù)據(jù)存儲到大容量存儲設(shè)備50上，則可以通過外部通訊接口46將圖像數(shù)據(jù)輸出到外部計算機(jī)或圖像處理系統(tǒng)中。
圖7所示的流程圖示出記錄圖像的過程。當(dāng)外部通訊接口46接收到指令時或根據(jù)內(nèi)部已編程的時間表，可以開始圖像記錄過程。一旦開始，控制器60向每個數(shù)碼照相機(jī)30發(fā)出指令以設(shè)定正確的曝光參數(shù)，如塊102所示。一旦已設(shè)定曝光參數(shù)，向數(shù)碼照相機(jī)30同時發(fā)出指令以記錄圖像，如塊104所示。要注意，盡可能地接近同時記錄所有圖像對圖像數(shù)據(jù)的精確且無誤差的三維模型制作是重要的。
理想地，使用數(shù)字控制線對每個數(shù)碼照相機(jī)30同時發(fā)出數(shù)字控制信號?？蛇x擇地，可以利用指令和數(shù)據(jù)接口對每個數(shù)碼照相機(jī)30單獨發(fā)出“開拍(fire)”指令。如果單獨向這些照相機(jī)發(fā)出指令，則較好的經(jīng)驗法則是在1/2曝光時間內(nèi)對全部照相機(jī)發(fā)出指令。例如，如果使用1ms的曝光時間，則應(yīng)在0.5ms內(nèi)對全部照相機(jī)發(fā)出開拍指令。
一旦照相機(jī)已開拍，如塊106所示，則取回并存儲圖像數(shù)據(jù)。來自每個照相機(jī)的每個圖像被存儲為單獨的文件。該文件可包括嵌入的元數(shù)據(jù)以及圖像數(shù)據(jù)。這些圖像文件應(yīng)當(dāng)命名為，使得例如通過打印時間標(biāo)記(time-stamp)來標(biāo)識曝光，以及標(biāo)識照相機(jī)。文件存儲在大容量存儲設(shè)備44上。如果不再拍攝更多圖片，則在塊108處做判斷，然后傳送圖像數(shù)據(jù)以進(jìn)行處理?？赏ㄟ^外部通訊接口46輸出或根據(jù)外部處理系統(tǒng)的要求而得到圖像數(shù)據(jù)，或者可以立即送出圖片，如塊110所示。如果要順次拍攝額外的圖像，則過程返回到塊102以設(shè)定新的曝光或者返回到塊104立即記錄新圖像。
圖像可以單獨記錄或順序記錄。圖像序列可用于三維動畫或甚至是三維電影中。另外，可以在不同位置配合使用多個數(shù)碼3D/360°照相機(jī)系統(tǒng)來采集更大場景或區(qū)域的更加全面的三維圖像數(shù)據(jù)。
本發(fā)明的優(yōu)選實施例提供了一種數(shù)碼3D/360°照相機(jī)系統(tǒng)，其記錄制作三維場景(包括全景360°三維場景)的精確模型所需的立體圖像數(shù)據(jù)。該系統(tǒng)結(jié)合了設(shè)置成在多個立體視場中記錄圖像數(shù)據(jù)的多個照相機(jī)。通過對多個照相機(jī)同時操作，該系統(tǒng)消除了多圖像立體照相機(jī)系統(tǒng)的時間誤差。
應(yīng)理解本發(fā)明并不局限于上述實施例，而是包括處于所附權(quán)利要求的范圍內(nèi)的任何以及全部實施例。
權(quán)利要求
1.一種數(shù)碼3D/360°照相機(jī)系統(tǒng)，包括殼體；設(shè)置在所述殼體上的多個數(shù)碼照相機(jī)，每個數(shù)碼照相機(jī)具有一視場，該視場與至少一個其它數(shù)碼照相機(jī)的視場重疊，以形成立體視場；以及控制器，其具有處理器、存儲器、存儲設(shè)備、時鐘、通訊接口以及照相機(jī)接口，所述照相機(jī)接口與每個所述數(shù)碼照相機(jī)進(jìn)行通訊。
2.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述控制器還包括用于確定數(shù)碼3D/360°照相機(jī)系統(tǒng)的位置的裝置。
3.根據(jù)權(quán)利要求2所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述用于確定數(shù)碼3D/360°照相機(jī)系統(tǒng)的位置的裝置包括全球定位系統(tǒng)(GPS)接收器。
4.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述控制器還包括用于確定數(shù)碼3D/360°照相機(jī)系統(tǒng)的取向的裝置。
5.根據(jù)權(quán)利要求4所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述用于確定數(shù)碼3D/360°照相機(jī)系統(tǒng)的取向的裝置包括數(shù)字磁羅盤。
6.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述控制器設(shè)置在所述殼體內(nèi)。
7.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，其還包括在所述處理器的指導(dǎo)下存儲在所述存儲設(shè)備中并在所述存儲器中執(zhí)行的計算機(jī)程序代碼，該計算機(jī)程序包括用于控制所述數(shù)碼照相機(jī)的方法。
8.根據(jù)權(quán)利要求7所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法包括在所述大容量存儲設(shè)備中存儲像素矢量圖文件的方法；從所述大容量存儲設(shè)備中取回所述像素矢量圖文件的方法；以及使用所述外部通訊接口將所述像素矢量圖文件輸出到外部設(shè)備的方法。
9.根據(jù)權(quán)利要求8所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法還包括制作所述像素矢量圖文件的方法。
10.根據(jù)權(quán)利要求8所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法還包括從外部信源下載所述像素矢量圖文件的方法。
11.根據(jù)權(quán)利要求7所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法包括向所述數(shù)碼照相機(jī)發(fā)出指令以記錄圖像的方法；以及從所述數(shù)碼照相機(jī)讀取圖像數(shù)據(jù)并將所述圖像數(shù)據(jù)存儲在所述存儲設(shè)備中的方法。
12.根據(jù)權(quán)利要求11所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法還包括向所述數(shù)碼照相機(jī)發(fā)出指令以設(shè)定曝光參數(shù)的方法。
13.根據(jù)權(quán)利要求11所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，用于控制所述數(shù)碼照相機(jī)的所述方法還包括在所述外部通訊接口輸出所述圖像數(shù)據(jù)的方法。
14.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述多個數(shù)碼照相機(jī)包括布置為四個立體對的八個數(shù)碼照相機(jī)，每個立體對觀察360°全景場景的單獨四分之一。
15.根據(jù)權(quán)利要求14所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述多個數(shù)碼照相機(jī)還包括布置為兩個附加立體對的四個附加數(shù)碼照相機(jī)，其中一個附加立體對具有相對于由360°全景場景確定的平面向上的視場，另一個附加立體對具有相對于由360°全景場景確定的平面向下的視場。
16.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述多個數(shù)碼照相機(jī)包括布置為八個立體對的十六個數(shù)碼照相機(jī)，每個立體對觀察360°場景的單獨八分之一。
17.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述多個數(shù)碼照相機(jī)布置成圓形。
18.根據(jù)權(quán)利要求1所述的數(shù)碼3D/360°照相機(jī)系統(tǒng)，其中，所述多個數(shù)碼照相機(jī)布置成球體。
19.一種使用數(shù)碼3D/360°照相機(jī)系統(tǒng)制作三維圖像模型的方法，該方法包括下列步驟使用數(shù)碼3D/360°照相機(jī)系統(tǒng)記錄具有目標(biāo)點的數(shù)字圖像數(shù)據(jù)，所述目標(biāo)點記錄在至少兩個數(shù)碼照相機(jī)的數(shù)字圖像數(shù)據(jù)中；對每個目標(biāo)點，從所述至少兩個數(shù)碼照相機(jī)中每一個數(shù)碼照相機(jī)標(biāo)識對應(yīng)于該目標(biāo)點的像素矢量；以及對每個目標(biāo)點，使用來自所述至少兩個數(shù)碼照相機(jī)中每一個數(shù)碼照相機(jī)的所述像素矢量來確定該目標(biāo)點在坐標(biāo)系中相對于系統(tǒng)參考點的位置。
全文摘要
數(shù)碼3D/360°照相機(jī)系統(tǒng)(10)是一種全方向的立體視覺裝置，用于記錄可用于制作三維模型以展現(xiàn)3D圖像、3D電影或3D動畫的圖像數(shù)據(jù)。該裝置使用多個布置成視場重疊的數(shù)碼照相機(jī)(30)，以記錄覆蓋整個360°場景的圖像數(shù)據(jù)。通過對重疊視場內(nèi)的圖像數(shù)據(jù)進(jìn)行三角測量，由一個或多個數(shù)碼3D/360°照相機(jī)系統(tǒng)采集的數(shù)據(jù)可用于制作360°場景的3D模型。
文檔編號H04N5/225GK1965578SQ200480019273
公開日2007年5月16日 申請日期2004年3月11日 優(yōu)先權(quán)日2003年6月3日
發(fā)明者倫納德·P·斯圖爾特第三 申請人:倫納德·P·斯圖爾特第三