專利名稱：立體全景觀看系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種觀看系統(tǒng)，尤其涉及全景觀看系統(tǒng)。
為了更有效地工作，希望使用電視會議完成某些任務(wù)。電視會議指的是從在遠(yuǎn)方的裝置向用戶提供視覺的或其它類型的感知信息，使用戶感到和在遠(yuǎn)方一樣。例如，許多公司現(xiàn)在使用電視會議舉行會議。電視會議對于遠(yuǎn)距離學(xué)習(xí)和遠(yuǎn)方觀看事件例如音樂會和運動會也是有用的。通過向用戶提供在圖像之間轉(zhuǎn)換的能力，并借以例如模擬觀看會議室，向用戶提供更實際的電視會議。
在過去，當(dāng)使用戶能夠得到幾個圖像時，使用幾個具有不同的光學(xué)中心的鏡頭。

圖1說明了這種情況。圖1說明分別具有光學(xué)中心10，12，14和16的鏡頭2，4，6和8。當(dāng)用戶決定改變圖像時，便在鏡頭之間進(jìn)行簡單地轉(zhuǎn)換。在較復(fù)雜的系統(tǒng)中，當(dāng)用戶決定改變圖像時，可以得到來自光學(xué)中心10，12，14和16得到圖像以及來自光學(xué)中心18，20，22，24或26的圖像。和光學(xué)中心例如18，20，22，24或26有關(guān)的圖像通過使用來自兩個最接近所選擇的鏡頭的圖像獲得。例如，來自光學(xué)中心18的圖像通過使用來自鏡頭2和4的圖像并在兩個圖像之間進(jìn)行內(nèi)插來模擬來自光學(xué)中心18的圖像而獲得。這種處理在圖像中引入了不規(guī)則性。此外，形成這些內(nèi)插的圖像需要大量的計算能力和時間，因而使得這種技術(shù)成本高，并且對用戶的指令響應(yīng)慢。額外的計算量也限制了可以同時使用系統(tǒng)的用戶的數(shù)量。
本發(fā)明的一個實施例提供一種全方向的或全景的觀看器，其中多個不同的鏡頭通過使其中的至少一個具有由一個平面鏡改變的視野使它們實際上具有一個公共的光學(xué)中心。每個鏡頭的視野被這樣設(shè)置，使得當(dāng)作為一個整體時形成連續(xù)360度的觀看區(qū)域。通過簡單地使用一個鏡頭、一個以上的鏡頭或者幾個鏡頭的組合的輸出，而不需要在現(xiàn)有技術(shù)中使用的大量的內(nèi)插計算，用戶可以掃描360度的視野，其中每個圖像具有相同的或接近相同的光心。這種裝置通過使觀眾能夠以更真實的方式看到會議室，可用來增強(qiáng)虛擬會議室的使用。這種方式相當(dāng)于坐在實際的會議室中的人在特定時間通過簡單地轉(zhuǎn)頭來改變視野的情況一樣。
在本發(fā)明的另一個實施例中，鏡頭的位置被如此設(shè)置，使得每個鏡頭對著實心的或空心的多面體例如實心的或空心的棱錐體的不同的反射表面。這使得每個鏡頭具有位于棱錐體內(nèi)的虛擬光心。鏡頭的位置被如此設(shè)置，使得其虛擬光心相互偏移。該偏移產(chǎn)生窄的盲區(qū)，從而消除從棱錐體的反射表面的邊緣接收到的圖像失真。
在本發(fā)明的另一個實施例中，通過使用多個虛擬光心提供立體的全景圖像。反射多面體元件，例如棱錐體，改變第一組鏡頭中每個鏡頭的視野，從而在棱錐體內(nèi)的第一位置形成一組基本上同位置的虛擬光心。棱錐體還改變變第二組鏡頭中每個鏡頭的視野，從而在棱錐體內(nèi)的第二位置形成一組基本上同位置的虛擬光心。當(dāng)一個全景圖像被提供給用戶的左眼，而另一個全景圖像被提供給用戶的右眼時，來自第一和第二虛擬光心的全景圖像提供立體的全景視野。
在本發(fā)明的另一個實施例中，具有反射表面的多面體例如棱錐體被底對底地疊置或者一個被嵌套在另一個內(nèi)，從而形成小型的全景觀看器。用這種方式，使用多個反射多面體，允許使用許多具有相同的或幾乎相同的虛擬光心的鏡頭。使用許多鏡頭把大的觀看區(qū)域劃分為許多較小的區(qū)域，其中每個鏡頭觀看一個較小的區(qū)域。因為每個鏡頭觀看一個較小的區(qū)域，便對用戶提供增加的清晰度。
在本發(fā)明的另一個實施例中，反射多面體例如棱錐體由通過棱錐體的頂點的支柱支撐著。然后把鏡頭固定在支柱上，以便利用一種固定結(jié)構(gòu)和用于支撐各個鏡頭的結(jié)構(gòu)提供全景觀看器。
在本發(fā)明的另一個實施例中，通過把鏡頭置于觀看器的公共的虛擬光心對用戶提供近于球形的視野。為了增加球形視野，在公共虛擬光心的鏡頭可以使用廣角鏡。
在本發(fā)明的另一個實施例中，觀看裝置可以包括任何類型的圖像處理裝置。如果圖像處理裝置是鏡頭或其它類型的圖像捕捉裝置，則用戶會觀看到全景圖像，如果圖像處理裝置是投影器或其它圖像產(chǎn)生裝置，則為用戶產(chǎn)生全景圖像。
圖1說明現(xiàn)有技術(shù)的多鏡頭觀看系統(tǒng)；圖2說明使用具有反射表面的四邊棱錐體的四鏡頭全方位或全景觀看系統(tǒng)；圖3說明如何使用棱錐體的反射表面使每個鏡頭具有共同的光學(xué)中心；圖4說明棱錐體的頂視圖，用于說明鏡頭的位置；圖5具有反射側(cè)面的8邊棱錐體；圖6是圖5的棱錐體的頂視圖；圖7是用于控制由鏡頭產(chǎn)生的數(shù)據(jù)的系統(tǒng)的方塊圖；圖8說明在從鏡頭接收的數(shù)據(jù)和提供給用戶的圖像之間的關(guān)系；圖9說明對于圖7的存儲器的尋址方法；圖10是圖7的控制器的方塊圖；圖11說明具有第五個鏡頭的圖2的觀看系統(tǒng)；圖12說明具有位移的虛光心的圖2的棱錐體的頂視圖；圖13說明具有位于盲區(qū)域中的陰影的圖12的棱錐體；圖14說明使用底對底地疊放的棱錐體的全景觀看器；圖15說明使用嵌套的棱錐體的全景觀看器；圖16說明使用嵌套的棱錐體的球形觀看器；圖17說明用于支撐全景觀看器的支架；圖18說明兩種類型的失真；圖19說明校正過程；圖20說明在從鏡頭接收的數(shù)據(jù)和提供給用戶的具有失真的圖像之間的關(guān)系；
圖21說明失真的圖像數(shù)據(jù)是如何被存儲的；圖22說明變換的圖像數(shù)據(jù)是如何被存儲的；圖23是使用圖像變換的全景鏡頭系統(tǒng)的方塊圖；圖24說明具有兩個虛擬光心的棱錐體；圖25是圖24的棱錐體的底視圖；圖26是沿圖24的線AA取的棱錐體的截面圖；圖27是沿圖24的線BB取的棱錐體的截面圖；圖28說明和棱錐體的一個虛擬光心相關(guān)的鏡頭；圖29說明具有3個虛擬光心的反射棱錐體；圖30說明對于不同的觀看方向使用不同對的虛擬光心；圖31說明具有8個虛擬光心的反射棱錐體；圖32說明對于不同的觀看方向使用不同對的虛擬光心；以及圖33說明具有3個虛擬光心的全景觀看系統(tǒng)的方塊圖。
圖2說明用于向用戶提供360度視野的4鏡頭系統(tǒng)，其中每個鏡頭具有在棱錐體內(nèi)的共同的或接近共同的虛光心。棱錐體40具有反射側(cè)42，44，和46，并且可以是空心的實心的或者截頭的結(jié)構(gòu)。在優(yōu)選實施例中，每個反射側(cè)和平行于底面50并通過棱錐體40的頂點的平面形成45度角。鏡頭52，54，56和58分別和棱錐體反射表面48，42，44和46相連系。這些鏡頭可以是圖像聚集裝置，例如光學(xué)掃描器。結(jié)果，鏡頭52觀看來自表面48的反射，使得能夠看到沿箭頭60的方向的物體。鏡頭54觀看來自表面52的反射，觀看沿箭頭62的方向的物體。鏡頭56觀看來自表面44的反射，觀看沿箭頭64的方向的物體，以及鏡頭58觀看來自表面46的反射，觀看沿箭頭66的方向的物體。每個鏡頭具有90度的視野；不過，可以使用較大的視野，并通過刪除或組合和重疊的圖像有關(guān)的象素除去圖像的重疊部分。觀看來自棱錐體40上的各自相關(guān)的反射表面的反射的4個鏡頭的組合產(chǎn)生圍繞棱錐體40的360度的觀看區(qū)域。當(dāng)反射鏡相對于棱錐體底面45度時，需要使每個鏡頭的光心位于平行于底面50并和棱錐體40的頂點70相交的平面內(nèi)。每個鏡頭的光心也應(yīng)當(dāng)位于通過頂點70并垂直于鏡頭有關(guān)的反射表面的基線上。例如，鏡頭54的光心位于線72上。線72垂直于反射表面42的基線74。線72在通過頂點70并平行于基底50的平面內(nèi)。同樣，鏡頭56的光心位于垂直于基線78的直線76上，鏡頭58的光心位于垂直于基線82的基線80上，鏡頭52的光心位于垂直于基線86的直線84上。
每個鏡頭光心位于一個上述的直線上，離開頂點一個距離X，并且每個鏡頭具有其光軸或垂直于底面50的觀看方向。(距離X應(yīng)當(dāng)這樣設(shè)置，使得反射表面反射鏡頭的視野所需的量，不過，當(dāng)鏡頭移動而靠近反射表面時，反射表面的缺陷將成為更明顯的。)光心的這種定位產(chǎn)生共用一個虛擬光心的鏡頭，所述虛擬光心位于或基本上位于位置90上。虛擬光心90位于通過頂點70并垂直于底面50的直線上，距離頂點70為X。
雖然在本例中討論了一種棱錐體結(jié)構(gòu)，但是可以使用不同的平面鏡幾何結(jié)構(gòu)來改變視野的方向，使得鏡頭具有基本上相同位置的光心。例如，可以使用實心的、空心的或局部多面體。此外，在棱錐體結(jié)構(gòu)的情況下，不必存在物理上的底面和頂點，并且底面和頂點可以認(rèn)為是概念上的輔助手段，例如底平面或底端以及頂點或頂端。
圖3是說明棱錐體40的另一個圖，為簡明起見其中只示出了鏡頭54。鏡頭54位于直線72上，因而具有在棱錐體40內(nèi)的位置90上的或靠近位置90的虛擬光心。如果鏡頭54沿垂直于底面50的方向具有90度的視野，并且如果鏡頭54的光心在沿著直線72離開頂點70為X距離處，則鏡頭54沿著箭頭62的方向具有90度視野。用類似方式，鏡頭56，58和52沿著箭頭64，66和60分別具有90度的視野。因為具有90度視野的鏡頭的低的成本，所以這種結(jié)構(gòu)可以以低的成本產(chǎn)生360度的視野。
圖4是棱錐體的頂視圖。圖4說明沿著直線72鏡頭54的光心的方位。直線72應(yīng)當(dāng)在通過頂點70并且平行于底面50的平面內(nèi)。該直線還應(yīng)當(dāng)垂直于棱錐體40的基線74。鏡頭的光心應(yīng)當(dāng)位于沿著直線72離開頂點70的距離為X或基本上等于X的點上。點100位于底面50上，位于經(jīng)過頂點70與底面50垂直相交的一點上。用類似方式，鏡頭56，58和52的光心分別被定位在沿著直線76，80和84的距離等于X或基本上等于X的點上。
圖5說明8邊的棱錐體120。棱錐體120具有反射表面122，其中每個反射表面122和通過頂點130并且平行于底面124的平面形成45度角。如圖2的4邊棱錐體一樣，圖5的每個反射表面可以具有和其相關(guān)的鏡頭。每個鏡頭的光心被設(shè)置在經(jīng)過頂點130并且平行于底面124的平面內(nèi)的直線上。該直線垂直于和要被定位的鏡頭相關(guān)的反射表面的基線132。使用8邊棱錐體的優(yōu)點在于，可以使用只具有45度水平視野的鏡頭獲得360度的視野。只具有45度視野的鏡頭成本低，因而可以以低的成本構(gòu)成具有360度視野的鏡頭。
圖6是棱錐體120的頂視圖。如參照圖5所討論的那樣，每個鏡頭的光心沿著直線134被定位，直線134在經(jīng)過頂點130并且平行于底面124的平面內(nèi)。光心被定位在沿著直線134一個距離X或基本上等于X的一點上，直線134垂直于合適的基線132。點140位于底面124上，在底面124和經(jīng)過頂點130并且垂直于底面124的直線的交點上。
可以使用具有或多或少的反射側(cè)面的多面體或棱錐體。使用具有大量側(cè)面的棱錐體的優(yōu)點在于，可以使用具有適度的小視野的鏡頭。具有適度的視野的鏡頭具有相當(dāng)廉價的鏡片。在棱錐體中使用的側(cè)面的數(shù)量受到提供大量鏡頭的成本的限制。使用具有3個反射側(cè)面的棱錐體可以提供360度的視野。只使用具有3個反射側(cè)面的棱錐體提供360度的視野的成本可能是高的。本發(fā)明的這個實施例使用3個鏡頭，每個具有120度底對底視野，具有這種大視野的鏡頭使用相當(dāng)貴的光學(xué)元件。
在不需要360度的全視野的應(yīng)用中，可以制造一種不具有和棱錐體的每個反射表面相關(guān)的鏡頭的觀看器。通過使用部分棱錐體或部分多面體的反射元件，除去取消不需要的鏡頭之外，還可以消除不需要的棱錐體的多面體表面。
雖然在本例中討論了棱錐體結(jié)構(gòu)，但是也可以使用不同的平面鏡幾何結(jié)構(gòu)，用來改變視野的方向，使得鏡頭具有基本上在同一位置的虛擬光心。例如，可以使用實心的，空心的或部分棱錐體。此外，在棱錐體結(jié)構(gòu)的情況下，底面和頂點不必在物理上存在，并且可被認(rèn)為是一種概念性的輔助手段，例如底平面或底端與頂點或頂點端。
圖7說明用于控制由觀看裝置的鏡頭例如圖2到圖4所述的觀看裝置的鏡頭產(chǎn)生的數(shù)據(jù)的系統(tǒng)的方塊圖。鏡頭52，54，56和58通過其相關(guān)的棱錐體40的反射表面獲得360度的視野。圖像信號或鏡頭52，54，56和58的輸出信號被分別通過模數(shù)轉(zhuǎn)換器(A/D)160，162，164和166。這些鏡頭的輸出可以認(rèn)為是象素流，模數(shù)轉(zhuǎn)換器的輸出可被認(rèn)為是代表來自鏡頭的數(shù)據(jù)。模數(shù)轉(zhuǎn)換器的輸出通過mux 170。mux 170使來自每個模數(shù)轉(zhuǎn)換器的象素數(shù)據(jù)到達(dá)存儲器阿72?？刂破?74循環(huán)接通mux 170的選擇線，使得所有的模數(shù)轉(zhuǎn)換器的輸出都被存儲在存儲器172中。mux 170以4倍于鏡頭象素的速率被轉(zhuǎn)換。如果使用或多或少的鏡頭，則mux 170被轉(zhuǎn)換的速率被相應(yīng)地增加或減少。也可以取消mux 170并把每個模數(shù)轉(zhuǎn)換器的輸出存儲在一個單獨的存儲器中?？刂破?74使用微處理器實現(xiàn)，其向控制mux 170的轉(zhuǎn)換的計數(shù)器和用于向存儲器172提供地址的計數(shù)器提供控制信號。提供給計數(shù)器的控制信號包括復(fù)位信號、選通信號和開始偏移信號。
因為象素信息被送到存儲器172，存儲器172含有360度實況圖。存儲在存儲器172內(nèi)的象素信息通過數(shù)模轉(zhuǎn)換器176被送到視頻顯示器178。通過數(shù)模轉(zhuǎn)換器176被送到視頻顯示器178的存儲器172的實際的部分通過用戶輸入裝置180被控制。用戶輸入裝置180可以是一種通用裝置，例如鼠標(biāo)，游戲棒，或鍵盤。用戶可以簡單地使游戲棒向右偏斜從而使其視野移向右方，使游戲棒向左偏斜是其視野移向左方，或者把游戲棒保持在中心位置而保持其視野不變。根據(jù)來自用戶裝置180的輸入，控制器174改變偏移和用于提供對存儲器172尋址的開始地址。
圖8說明在由鏡頭提供的數(shù)據(jù)和用戶可得到的圖像之間的關(guān)系。因為鏡頭共用一個虛擬光心，所以可以認(rèn)為圖像是一個圓柱形的圖像。扇區(qū)200可以認(rèn)為代表由鏡頭52提供的信息，扇區(qū)202可以認(rèn)為代表由鏡頭54提供的信息，扇區(qū)204可以認(rèn)為代表由鏡頭56提供的信息，扇區(qū)206可以認(rèn)為代表由鏡頭58提供的信息。在每個扇區(qū)的圓柱表面可以認(rèn)為是列的集合，其中每個列由象素構(gòu)成。例如，扇區(qū)200可以認(rèn)為是包括列210，212，214和216的列的集合。同樣，由鏡頭54產(chǎn)生的輸出可以認(rèn)為是在扇區(qū)202中包括列218的列的集合，鏡頭58的輸出可以包括例如在扇區(qū)206中的列220。
圖9說明存儲器172如何被劃分以便根據(jù)來自用戶輸入裝置180的信號容易地存取不同的圖像。部分230，232，234和236分別相應(yīng)于扇區(qū)206，200，202和204。每個部分230，232，234和236可以認(rèn)為是存儲器172內(nèi)的一個方塊。在存儲器172內(nèi)的方塊被分成按順序編址的列。存儲器部分230的第一列相應(yīng)于扇區(qū)206的象素的第一列。和列有關(guān)的存儲器位置的數(shù)量應(yīng)當(dāng)至少能夠使在一個特定列中的每個象素具有一個位置。例如，如果圖8中的一列象素包括1000個象素，和圖9的存儲器部分相關(guān)的每個列至少應(yīng)當(dāng)具有1000個位置。和特定的存儲器部分有關(guān)的列的數(shù)量至少應(yīng)當(dāng)?shù)扔诤蛨D8中的圓柱的特定部分相關(guān)的列的數(shù)量。
如果鏡頭沿水平方向掃描，通過簡單地改變對于計數(shù)器產(chǎn)生的地址的偏移，有順序的象素便被寫入特定存儲器部分的相鄰的列但可能不同行中。通過把偏移加到計數(shù)器的輸出產(chǎn)生總的寫地址。這個偏移以接收水平掃描的象素的速率被改變。在水平掃描完成之后，計數(shù)器加1，并再次以水平掃描的速率改變偏移。結(jié)果，當(dāng)在一個寫周期期間尋址特定的存儲器部分時，通過以水平掃描的速率改變偏移對列進(jìn)行尋址，并以垂直掃描的速率使計數(shù)器遞增。使用這類尋址方法存取每個存儲器部分內(nèi)的列。當(dāng)在寫周期期間尋址不同的存儲器部分時，一個寫部分偏移被加到計數(shù)器輸出和列偏移的和上。寫部分偏移使得可以尋址存儲器部分230，232，234，和236。部分偏移以mux 170被轉(zhuǎn)換的速率被改變。
象素數(shù)據(jù)以類似方式被從存儲器172中讀出。使用計數(shù)器輸出的和和兩組偏移產(chǎn)生讀地址。一旦選定初始的起始列，通過以等于視頻顯示的水平掃描速率的速率轉(zhuǎn)換讀列偏移產(chǎn)生讀地址。在讀出一個水平掃描值的數(shù)據(jù)之后讀計數(shù)器被加1，并以等于顯示的水平掃描速率的速率改變讀列偏移。結(jié)果，偏移地址以顯示的水平顯示速率改變，并且計數(shù)器以等于顯示的垂直掃描速率的速率遞增。可以以比視頻顯示所需的速率較快或較慢的速率讀出數(shù)據(jù)；不過，如果較快，則應(yīng)當(dāng)使用緩沖存儲器，如果較慢，視頻顯示對觀眾可能出現(xiàn)不連續(xù)。
應(yīng)當(dāng)注意，圖8的象素的圓柱排列一般在平的或接近平的顯示器上被顯示。結(jié)果，圖像可以通過補(bǔ)償在圓柱表面和平面之間的轉(zhuǎn)換來被顯示。這可以在普通的數(shù)字信號處理集成電路中利用簡單的轉(zhuǎn)換算法來實現(xiàn)。關(guān)于這類轉(zhuǎn)換的方法在本領(lǐng)域中是熟知的，并且可以在“A Guided Tour of Computer Vision，VishvhitS.nalwa，Addison-Wisley PublishingCo.，Reading，Massachusetts，1993”中找到。還可以使用非常高的清晰度的顯示器進(jìn)行轉(zhuǎn)換。
應(yīng)當(dāng)注意，如果由用戶選擇的視野精確地對應(yīng)于特定鏡頭的視野，例如鏡頭52，則列240-248被從存儲器170中讀出。列240在部分232的第一列，列248在部分232的最后一列。如果用戶決定沿反時針方向移動視野，則起始列向右方移動，使得讀操作在列246開始而在列250結(jié)束。應(yīng)當(dāng)注意，列246是和具有來自鏡頭52的象素數(shù)據(jù)的存儲器部分232相關(guān)的第二列，并且列250是和鏡頭56相關(guān)的象素數(shù)據(jù)的第一列。當(dāng)用戶移動其視野時，起始列按照用戶的指令移動。例如，如果用戶指示視野應(yīng)當(dāng)按反時針方向移動，則圖9的起始列移向右方，類似地，如果用戶指示視野應(yīng)當(dāng)按順時針方向移動，則起始列移到左方。因為以前使用偏移對列進(jìn)行尋址，如果偏移涉及在存儲器部分之間的運動，則讀部分偏移被加到列偏移和計數(shù)器輸出的和中。
圖10是控制器174的方塊圖?？刂破?74包括微處理器270和存儲器272。存儲器272包括RAM和ROM。處理器270接收在線274上來自用戶輸入裝置180的指令。微處理器270控制計數(shù)器276的開始、停止和復(fù)位。計數(shù)器276控制mux 170的選擇線。計數(shù)器726以4倍于鏡頭的水平掃描頻率的速率計數(shù)。寫地址發(fā)生器278對存儲器172提供寫地址。寫地址發(fā)生器278包括計數(shù)器，用于存儲偏移的寄存器和用于使偏移和計數(shù)器輸出相加的加法器。微處理器270控制偏移選擇和由寫地址發(fā)生器278使用的計數(shù)器。按照圖9所述形成寫地址。讀地址發(fā)生器280對存儲器172提供讀地址。讀地址發(fā)生器280包括計數(shù)器，用于存儲偏移的寄存器和用于使偏移和計數(shù)器輸出相加的加法器。正如寫地址發(fā)生器278的情況一樣，微處理器270控制偏移選擇和由讀地址發(fā)生器280使用的計數(shù)器。微處理器270還根據(jù)在線274上由用戶輸入180提供的輸入控制由計數(shù)器使用的起始列。
如果存儲器172使用2端口存儲器來實現(xiàn)，則寫地址和讀地址被分別提供給存儲器172。如果存儲器172利用1端口存儲器來實現(xiàn)，則寫地址和讀地址被多路傳輸給存儲器172。
圖11說明具有第五個鏡頭的圖2的觀看系統(tǒng)。鏡頭或圖像采集裝置400棱錐體40中，使鏡頭400的光心位于虛擬光心90上或在虛擬光心90附近。鏡頭400沿箭頭410的方向觀看物體。和其余4個鏡頭的視野相連的合成視野提供接近球形的視野。如果圖11的鏡頭利用圖像產(chǎn)生裝置代替，接近球形的觀看系統(tǒng)則成為接近球形的投影系統(tǒng)。應(yīng)當(dāng)注意，鏡頭或者投影裝置可以位于具有3面，4面或更多的面的棱錐體的觀看/投影裝置的虛擬光心。還應(yīng)當(dāng)注意，反射表面的底邊420應(yīng)當(dāng)被斜削，以便避免對鏡頭400的視野的不希望的干擾。通過移動鏡頭或圖像處理裝置400，使其離開底邊420，可以避免不希望的圖像失真。裝置400應(yīng)當(dāng)如此移動，使得其光心沿箭頭410的方向離開虛擬光心90。裝置400的光心應(yīng)當(dāng)這樣設(shè)置，使得該裝置使用的視野不包括邊420。
圖12說明圖2的棱錐體的頂視圖。參看圖2，鏡頭52，54，56和58已被向著底面50的方向向上移動。結(jié)果，分別相應(yīng)于鏡頭52，54，56和58的虛擬光心500，502，504和506被移開虛擬光心90。所需這樣移動虛擬光心，使得鏡頭52捕獲不受棱錐體的邊緣影響的直線508和510之間的圖像，鏡頭54捕獲不受棱錐體的邊緣影響的直線512和514之間的圖像，鏡頭56捕獲不受棱錐體的邊緣影響的直線516和518之間的圖像，鏡頭58捕獲不受棱錐體的邊緣影響的直線520和522之間的圖像。這形成了這樣的鏡頭，其不捕獲由窄的平面形狀的區(qū)域中的棱錐體的邊緣引起的失真的圖像。具體地說，平面區(qū)域524，526，528和530不被使用，因而形成盲區(qū)域。這提供的優(yōu)點在于，除去了由反射棱錐體的邊緣引起失真的圖像區(qū)域。消除視野中的這些部分便不需提供用于補(bǔ)償在邊緣處的圖像失真的圖像處理。需要保持虛擬光心500，502，504和506被緊密地聚集，使得平面524，526，528和530只有所需的那樣薄，從而避免邊緣失真。通過保持這種薄的平面，便不需在圖像的公共邊界處理圖像，同時使被用戶看到的明顯影響減到最小。
圖13說明圖12的棱錐體，其具有分別位于平面區(qū)域524，526，528和530內(nèi)的陰影560，562，564和566。陰影減少了進(jìn)入鏡頭的不想要的光的數(shù)量。類似的陰影可以位于裝置400和一個或幾個其它圖像處理裝置之間的盲區(qū)域中。也可以在使陰影位于底面50上，使陰影的邊緣延長到底面邊緣之外，以便減少來自底面50后方的源的進(jìn)入鏡頭52，54，56和58的不想要的光的數(shù)量。
圖14說明被設(shè)置在底對底結(jié)構(gòu)中的反射棱錐體中的602和604。底面可以相互接觸或者彼此分離。反射棱錐體602和604每個具有4個反射側(cè)面。棱錐體602具有側(cè)面608，610，612和614。反射棱錐體604具有反射側(cè)面616，618，620和622。棱錐體602包括頂點624，棱錐體604包括頂點626。頂點624和626位于垂直于每個棱錐體底面的直線628上。每個棱錐體具有4個圖像處理裝置，例如具有其視野對著反射表面的鏡頭。關(guān)于棱錐體602，光心位于點630的鏡頭具有沿箭頭632方向的視野，這是由反射表面608反射的視野。光心位于點634的鏡頭具有沿箭頭636方向的視野，這是由反射表面610反射的視野。第三個鏡頭具有位于點638的光心，其具有沿箭頭640方向的視野，這是由反射表面612反射的視野。第四個鏡頭具有位于點642的光心，其具有沿箭頭644方向的視野，這是由反射表面614反射的視野。關(guān)于反射棱錐體604，第一個鏡頭具有位于點646的光心，其具有沿箭頭648方向的視野，這是由反射表面616反射的視野。第二個鏡頭具有位于點650的光心，其具有沿箭頭652方向的視野，這是由反射表面618反射的視野。第三個鏡頭具有位于點654的光心，其具有沿箭頭656方向的視野，這是由反射表面620反射的視野。第四個鏡頭具有位于點658的光心，其具有沿箭頭660方向的視野，這是由反射表面622反射的視野。和每個棱錐體相關(guān)的鏡頭的位置設(shè)置以和關(guān)于圖2，3，4，11和12中的鏡頭的位置設(shè)置的方式相似的方式設(shè)置，使得每組4個鏡頭共用一個公共的虛擬光心，或者具有在其相關(guān)的棱錐體內(nèi)的緊密聚集的虛擬光心。每組鏡頭也可以具有在其相關(guān)的棱錐體內(nèi)的偏移的虛擬光心。鏡頭的位置可以被這樣設(shè)置，使得和每個棱錐體相關(guān)的鏡頭沿著兩個棱錐體的底面會合的直線628共用一個公共的虛擬光心。也可以這樣設(shè)置，使得其偏移的虛擬光心聚集在兩個棱錐體的底面會合的直線628的一點上。
圖14的結(jié)構(gòu)和參照圖2，3，和4討論的觀看器相比增加了縱向視野。圖14的觀看器通過使用兩個鏡頭而不是一個鏡頭用于相同的或接近相同的縱向范圍來增加縱向視野。應(yīng)當(dāng)注意，可以通過利用圖像產(chǎn)生裝置代替鏡頭而構(gòu)成投影器。應(yīng)當(dāng)注意，反射棱錐體602和604可以通過轉(zhuǎn)動使彼此不對準(zhǔn)。這個不對準(zhǔn)關(guān)系通過圍繞通過兩個棱錐體的頂點的軸線轉(zhuǎn)動一個或兩個棱錐體來獲得。例如，軸線可以是和直線628的共直線。作為轉(zhuǎn)動的結(jié)果，棱錐體602的反射側(cè)面的側(cè)邊將不再和棱錐體604的反射側(cè)面?zhèn)冗厡?zhǔn)。
雖然在本例中討論了棱錐體結(jié)構(gòu)，可以使用不同的平面鏡幾何結(jié)構(gòu)來改變視野，使得這些鏡頭具有基本上位于相同位置的虛擬光心。例如，可以使用實心的，空心的，或者局部的多面體。此外，在棱錐體結(jié)構(gòu)的情況下，不必存在物理上的底面和頂點，并且可以認(rèn)為這些是在概念上的輔助手段，例如底平面或底端，頂點或頂點端。
圖15說明兩個反射棱錐體。反射棱錐體702被嵌套在反射棱錐體704內(nèi)。應(yīng)當(dāng)注意，也可以嵌套兩個以上的棱錐體。例如，另一個反射棱錐體可以嵌套在反射棱錐體702內(nèi)，而在該被嵌套的棱錐體內(nèi)還可以再嵌套另一個反射棱錐體。棱錐體702的頂點706和棱錐體704的頂點708在垂直于兩個棱錐體底面的直線710上。每個棱錐體還是包括4個圖像處理裝置，例如鏡頭，其中每個具有由其相關(guān)棱錐體改變的視野。棱錐體702包括反射側(cè)面712，714，716和718。反射棱錐體704包括反射側(cè)面720，722，724和726。4個鏡頭的位置被如此設(shè)置，使得其視野被棱錐體702的反射表面改變。第一個鏡頭具有在點730的光心和沿箭頭732的方向的視野，該鏡頭具有由反射表面712改變的視野。第二個鏡頭具有在點734的光心和沿箭頭736的方向的視野，該鏡頭具有由反射表面714改變的視野。第三個鏡頭具有在點738的光心和沿箭頭740的方向的視野，該鏡頭具有由反射表面716改變的視野。第四個鏡頭具有在點742的光心和沿箭頭744的方向的視野，該鏡頭具有由反射表面718改變的視野。應(yīng)當(dāng)注意，棱錐體702和其相關(guān)的鏡頭的位置被如此設(shè)置，使得鏡頭的視野不被棱錐體704妨礙。這通過使棱錐體702可以延伸到棱錐體704的底面之外來實現(xiàn)。關(guān)于棱錐體704，第一個鏡頭具有在點750的光心和沿箭頭752的方向的視野，該鏡頭具有由反射表面720改變的視野。第二個鏡頭具有在點754的光心和沿箭頭756的方向的視野，該鏡頭具有由反射表面722改變的視野。第三個鏡頭具有在點758的光心和沿箭頭760的方向的視野，該鏡頭具有由反射表面724改變的視野。第四個鏡頭具有在點762的光心和沿箭頭764的方向的視野，該鏡頭具有由反射表面726改變的視野。和每個棱錐體相關(guān)的鏡頭的位置按照圖2-4，11，和12說明的位置設(shè)置，使得8個鏡頭共用一個在位置770的虛擬光心或具有緊密聚集在棱錐體702內(nèi)的虛擬光心。每組鏡頭也可以具有在棱錐體702內(nèi)的偏移的虛擬光心。
圖15的全景觀看器可以配備有第9個鏡頭，該鏡頭具有在點770的光心和由箭頭772的方向的視野，用于提供具有局部球形視野的觀看器。具有在點770的光心的鏡頭可以使用廣角鏡，以便提供較寬的視野。
圖16說明具有附加的鏡頭的圖15的局部球形觀看器，所述附加鏡頭具有在點780的光心和沿箭頭782的方向的視野，該視野被平面鏡784改變。應(yīng)當(dāng)注意，光心780在通過棱錐體702和704的頂點以及虛擬光心770的直線710上。還應(yīng)當(dāng)注意，點780離開平面鏡784的距離等于或大約等于平面鏡784和虛擬光心770之間的距離。通過設(shè)置具有在點780的光心和具有由平面鏡784改變的視野的鏡頭，圖15的局部球形觀看器成為球形觀看器。為了增加具有在點780的光心的鏡頭的視野，該鏡頭可被配備廣角鏡。應(yīng)當(dāng)注意，平面鏡784可以用曲面鏡代替，以便對具有在點780的光心的鏡頭提供較寬的視野，并把需要廣角鏡的必要性減到最小。
雖然在本例中討論了棱錐體結(jié)構(gòu)，但是也可以使用不同的平面鏡幾何結(jié)構(gòu)，用來改變視野的方向，使得鏡頭具有基本上在同一位置的虛擬光心。例如，可以使用實心的，空心的或局部多面體。此外，在棱錐體結(jié)構(gòu)的情況下，底面和頂點不必在物理上存在，而是可被認(rèn)為是一種概念性的輔助手段，例如底平面或底端與頂點或頂點端。
關(guān)于圖15和圖16，應(yīng)當(dāng)注意，可以通過利用圖像產(chǎn)生裝置代替鏡頭而構(gòu)成投影器。還應(yīng)當(dāng)注意，反射棱錐體702和704可以通過轉(zhuǎn)動使彼此不對準(zhǔn)。這個不對準(zhǔn)關(guān)系通過圍繞通過兩個棱錐體的頂點的軸線轉(zhuǎn)動一個或兩個棱錐體來獲得。例如，軸線可以是和直線710的共直線。作為轉(zhuǎn)動的結(jié)果，棱錐體702的反射側(cè)面的側(cè)邊將不再和棱錐體604的反射側(cè)面?zhèn)冗厡?zhǔn)。
圖17說明用于支撐全景觀看器的一種支架。反射棱錐體800使用支撐件例如空心管804被固定在支架或支柱802上。棱錐體在頂點端被固定在空心管804上?？招墓苁褂媒菗渭?08被固定在支架802上。空心管804延伸到頂點端806，使得鏡頭810可被管子804支撐住。鏡頭通過把鏡頭810壓向墊片814的緊固夾板或皮帶812被固定在管子804上。由夾具或夾板812提供的壓力提供在鏡頭810、墊片814和管子804的外表面之間的摩擦，借以以牢固的方式把鏡頭810固定到管子804上。還應(yīng)當(dāng)在鏡頭810的端部816提供第二夾板和相關(guān)的墊片。通過電纜818對鏡頭810提供視頻和電源連接，電纜818通過空管804送入，并通過在支柱802和棱錐體800的底面之間的空間802送出。應(yīng)當(dāng)注意，空管804可以用實心的支撐件代替；不過，空心的支撐件提供了方便的電纜進(jìn)出通路。通過管子804送入電纜可以防止電纜進(jìn)入鏡頭810的視野。橡膠墊或腳824被提供在棱錐體800的底端。這些墊可以用于代替柱802，當(dāng)用戶不想使用支柱802時，用于提供柔性。
也可以使圖17的觀看器反向，使得觀看器被管子804的端部830支撐著。在這種結(jié)構(gòu)中，電纜818將簡單地通過管子804的端部830的開口穿出。在這種結(jié)構(gòu)中，管子804使用類似于角撐架808的一個角撐架在端部830被固定到支柱802上。還可以把端部830固定到任何常規(guī)的結(jié)構(gòu)上，以便支撐全景觀看器。
圖17的支架可以應(yīng)用于圖14-16的觀看器。如參照圖17所述，觀看器被固定到通過兩個棱錐體的頂點或頂端的空心管子上。
通過校準(zhǔn)鏡頭系統(tǒng)可以產(chǎn)生高質(zhì)量的圖像?？梢允褂眯?zhǔn)確定用于補(bǔ)償不同類型的圖像失真的圖像映射功能(這可以作為查表來實現(xiàn))。例如，可以使用映射功能校正由廣角鏡引入的筒形失真?？梢允褂糜成涔δ苄Ｕ渌愋偷氖д?，例如由在鏡頭內(nèi)的未對準(zhǔn)的充電連接裝置引起的轉(zhuǎn)動失真。圖18說明筒形失真和轉(zhuǎn)動失真的組合，其中失真使矩形物體900呈現(xiàn)失真的圖像902。失真的圖像902相對于未失真的物體900被轉(zhuǎn)動，并且看到筒形失真，其中矩形物體900的邊緣904和906表現(xiàn)為圖像902的邊緣908和910，并且其中邊緣912和914分別表現(xiàn)為916和918。這種失真可以使用通過校準(zhǔn)鏡頭系統(tǒng)而確定的映射功能被校正。
圖19說明用于校準(zhǔn)鏡頭系統(tǒng)的處理。一列垂直的等間隔的橢圓點930被設(shè)置在固定位置內(nèi)。這些點在黑色背景上是白的，其中橢圓點的主軸在垂直方向。全景鏡頭940圍繞通過全景鏡頭的虛擬光心的軸線942以小的離散步驟轉(zhuǎn)動。在每一步，觀察一列橢圓點的失真的圖像，確定對于那一數(shù)據(jù)頂端映射功能，以便除去失真。這一功能映射圖像，使得等間隔點的每個垂直列的失真的圖像在映射圖像中是一列垂直的等間隔點。注意雖然在白點的圖像之間具有黑色間隙，通過內(nèi)插計算用于每個圖像象素(包括在白點之間的象素)的映射功能。隨著鏡頭轉(zhuǎn)動，在每個離散步驟確定圖像映射功能，這些映射功能的聯(lián)合可以結(jié)合成為2-D對2-D變換，其不僅確保每個等間隔點的垂直列作為在圖像中的等間隔點的垂直列出現(xiàn)，而且這些列在水平方向上和其圖像采集之間的角度轉(zhuǎn)動成正比地被分開，后者提供了場景的圓柱(而不是平的)圖像。
圖20和21說明表示垂直列的橢圓點表示為失真結(jié)果的情況。圖20和圖8的類似之處在于，圖20說明由鏡頭提供的數(shù)據(jù)和用戶可得到的圖像之間的關(guān)系。應(yīng)當(dāng)注意，由于失真的結(jié)果，點的垂直列不處于圖20中的一列中。失真使得點占據(jù)列960，962，964和966，而不僅僅是一列。圖21和圖9的類似之處在于，它說明圖像是如何存儲的。當(dāng)失真的圖像數(shù)據(jù)被存儲在圖21表示的存儲器中時，代表點的數(shù)據(jù)也占據(jù)幾個列，其中列980，982，984和986分別相應(yīng)于圖20的列960，962，964和966。當(dāng)數(shù)據(jù)被從圖21表示的存儲器中讀出時，在校準(zhǔn)階段確定的圖像映射功能被用于校正這個失真。然后，校正的或未失真的圖像數(shù)據(jù)可以被向用戶顯示，或被寫入用于存儲代表未失真的圖像的數(shù)據(jù)的存儲器中。圖12說明從圖21的存儲器讀出的數(shù)據(jù)和使用戶得到的未失真的圖像之間的關(guān)系。例如，和列1000相關(guān)的映射功能規(guī)定了當(dāng)讀出用于列1000的最上方部分中的數(shù)據(jù)時，數(shù)據(jù)被從列980讀出，并在讀用于列1000的下方的數(shù)據(jù)時，數(shù)據(jù)被從列982讀出。映射功能還規(guī)定了，當(dāng)讀列1000中部的數(shù)據(jù)時，數(shù)據(jù)被從列984讀出。進(jìn)一步向列1000移動，然后數(shù)據(jù)被從列982讀出，然后從列980讀出，并且在最后當(dāng)用于列1000底部的數(shù)據(jù)被恢復(fù)時，從列986中讀出。作為讀數(shù)據(jù)的結(jié)果，如映射功能所規(guī)定的，出現(xiàn)的數(shù)據(jù)的列對于觀看顯示器的用戶將是垂直的。圖22說明從圖21的存儲器中恢復(fù)的數(shù)據(jù)現(xiàn)在作為垂直的列出現(xiàn)，其中失真不再明顯。對于圖22的每個列使用在校準(zhǔn)期間確定的類似的映射功能，產(chǎn)生用于顯示的未失真的圖像。應(yīng)當(dāng)注意，用于校準(zhǔn)全景鏡頭的多個離散的轉(zhuǎn)動步驟可以用圖12中所示的包括幾個列的組代替。
也可以使用類似于圖19所示的步驟進(jìn)行顏色和強(qiáng)度的校準(zhǔn)。在這種情況下，橢圓點的列930被用已知的顏色圖形代替。然后轉(zhuǎn)動全景鏡頭，使得每個鏡頭捕捉顏色圖形的圖像。若干顏色圖形(例如紅綠藍(lán)和灰的若干陰影)可被逐一地使用。然后根據(jù)逐個象素調(diào)整來自每個鏡頭的數(shù)據(jù)，以便校正上述顏色中任何一個的失真，使得產(chǎn)生的圖像具有接近和校準(zhǔn)顏色圖形匹配的顏色圖形。此外，來自每個鏡頭的每個象素的強(qiáng)度被這樣調(diào)整，使得當(dāng)利用恒定的顏色和亮度觀看場景時，在一個鏡頭的圖像內(nèi)和在多個鏡頭的圖像之間，具有相當(dāng)均勻的強(qiáng)度。如同對映射功能所討論的，逐個象素的調(diào)整可以存儲在表中?？梢允褂貌惶_但是較簡單的顏色和強(qiáng)度計算方法。該方法只涉及手動地調(diào)整每個鏡頭的顏色和強(qiáng)度控制，使得當(dāng)利用特定的顏色和強(qiáng)度觀看場景時，得到正確的顏色和強(qiáng)度。應(yīng)當(dāng)注意，通過使用這種方法，一個特定鏡頭的所有象素都要接受相同的調(diào)整。
圖23說明一種全景鏡頭系統(tǒng)，其中使用根據(jù)圖像映射校正的調(diào)整。圖23和圖7類似；不過，應(yīng)當(dāng)注意，其中包括幀緩沖存儲器和附加的微處理器。鏡頭52，54，56，和58采集圖像數(shù)據(jù)，然后把數(shù)據(jù)分別送到模數(shù)轉(zhuǎn)換器160，162，164和166。模數(shù)轉(zhuǎn)換器的輸出然后被通過紅綠藍(lán)以及強(qiáng)度調(diào)整單元1010，1012，1014和1018。如果這些單元是模擬單元，可以把這些單元置于模數(shù)轉(zhuǎn)換器之前。此外，也可以使用具有在每個鏡頭內(nèi)內(nèi)裝的調(diào)整單元的鏡頭。在任何情況下，調(diào)整單元被編程或被設(shè)置用于調(diào)整由計算確定的顏色和強(qiáng)度。這些單元的每一個單元調(diào)整紅綠藍(lán)的值和來自模數(shù)轉(zhuǎn)換器的信號的整個值。應(yīng)當(dāng)注意，如果鏡頭52-58是彩色鏡頭，則模數(shù)轉(zhuǎn)換器160-166一般接收3個信號并輸出3個信號，其中每對輸入輸出信號相應(yīng)于紅綠藍(lán)顏色中的一個。單元1010-1016按照在校正過程期間確定的設(shè)置，簡單地調(diào)整紅綠藍(lán)信號的相對幅值。每個單元1010-1018也按照總的強(qiáng)度校正設(shè)置調(diào)整紅綠藍(lán)信號的整個幅值。然后，紅綠藍(lán)強(qiáng)度調(diào)整的輸出通過圖7中所討論的多路轉(zhuǎn)換器，并通過幀緩沖器1030。還可以利用對于紅綠藍(lán)和強(qiáng)度單元1010，1012，1-14，和1018的每一個單元的單獨的幀緩沖器代替幀緩沖器1030。然后，每個單獨的幀緩沖器的輸出經(jīng)過多路轉(zhuǎn)換器170被送到微處理器1030。
幀緩沖器1030按照類似于圖7的存儲器172的方式被操作，并存儲代表失真的圖像的數(shù)據(jù)，如結(jié)合圖21討論的那樣。然后，微處理器1040使用在校正處理期間確定映射功能從幀緩沖器1030讀出數(shù)據(jù)，并把數(shù)據(jù)寫入顯示存儲器1050中?；貞浗Y(jié)合圖22的討論可知，然后，代表未失真的圖像的數(shù)據(jù)被存儲在存儲器1050中，供用戶檢索使用。用戶可以按照圖7的討論檢索數(shù)據(jù)，其中讀出的數(shù)據(jù)根據(jù)用戶的輸入確定。也可以使每個用戶能夠得到顯示存儲器的整個內(nèi)容。數(shù)據(jù)可以通過通信網(wǎng)絡(luò)例如電話網(wǎng)絡(luò)或數(shù)據(jù)網(wǎng)絡(luò)和每個用戶通信，或者可以通過專用線路或無線電通信通路直接和用戶通信。然后，用戶可以使用模數(shù)轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換成可供用戶顯示的模擬格式，或者用戶可以直接地使用數(shù)字?jǐn)?shù)據(jù)而不使用數(shù)模轉(zhuǎn)換器。
圖24說明具有反射表面1202，1204，1206和1208的反射棱錐體1200。線1210是通過棱錐體1200的頂點1212并且和棱錐體的底面1214垂直的棱錐體的軸線。棱錐體1200和參照圖2和3討論的棱錐體類似。不過，在這種情況下，不是一個虛擬光心，而是提供有兩個虛擬光心。虛擬光心1214和1216被用于提供立體全景觀看器。為了真實地模擬正常人的視覺，需要虛擬光心1214和1216在水平方向上分開的距離近似等于人的兩個眼睛之間的一般距離。每個虛擬光心1214和1216和一組鏡頭相關(guān)，其中在所述組中的每個鏡頭具有由棱錐體的反射表面改變的視野，使得被改變的視野的部分基本上是鄰接的。鏡頭按照圖2和17討論的方式被設(shè)置和支撐，不過，鏡頭被如此設(shè)置，使得每組鏡頭具有離開棱錐體的中心的虛擬光心。對于每個光心的鏡頭以和圖2和圖3的方式類似的方式被設(shè)置，不過，鏡頭被如此設(shè)置，使得兩組鏡頭中的每一個具有不同的虛擬光心，其中一組鏡頭具有在點1214的虛擬光心，另一組鏡頭具有在點1216的虛擬光心。
圖25說明當(dāng)沿著軸線1210并沿著圖24的箭頭1218的方向從底面看時的棱錐體1200。應(yīng)當(dāng)注意，虛擬光心1214和1216在水平方向與中心軸線1210分開的距離近似等于人的兩個眼睛之間的距離。在這個例子中，虛擬光心1214和1216位于通過軸線1210的線AA上。
圖26說明沿圖24和25的線AA取的棱錐體1200的截面圖。為簡明起見，只示出了虛擬光心1214；不過，對于和虛擬光心1214有關(guān)的鏡頭的定位技術(shù)可以用于另一個分開的虛擬光心，例如虛擬光心1216。點1230代表其視野被棱錐體1200的反射表面1202改變的鏡頭的光心。光心1230被如此定位，使得其和反射表面1202的垂直距離1232等于虛擬光心1214和反射表面1202之間的垂直距離1234。同樣，點1238代表其視野被反射表面1204改變的鏡頭的光心。光心1238被如此定位，使得其和反射表面1204的垂直距離1240等于虛擬光心1214和反射表面1204之間的垂直距離1242。
圖27說明沿圖25的CC線取的棱錐體1200的截面圖。點1250代表其視野被反射表面1208改變的鏡頭的光心。點1252代表其視野被反射表面1206改變的鏡頭的光心。點1250被如此定位，使得其和反射表面1208的垂直距離1254等于反射表面1208和虛擬光心1214之間的垂直距離1256。光心1252被如此定位，使得其和反射表面1202的垂直距離1258等于反射表面1202和虛擬光心1214之間的垂直距離1260。
圖28說明和虛擬光心1214有關(guān)的并被如此設(shè)置使得每個鏡頭的光心按照圖26和27排列的鏡頭。光心在位置1230的鏡頭具有沿箭頭1260方向的視野和由反射表面1202改變的視野，從而使得和點1230有關(guān)的鏡頭的虛擬光心位于虛擬光心1214。光心在位置1250的鏡頭具有沿箭頭1262方向的視野，該視野由反射表面1208改變，這使得和點1250有關(guān)的鏡頭具有在點1214的虛擬光心。類似地，光心在位置1252的鏡頭具有沿箭頭1264方向的視野，該視野由表面1206改變，這使得和點1252有關(guān)的鏡頭具有在點1214的虛擬光心。同樣，光心在位置1238的鏡頭具有沿箭頭1266方向的視野，該視野由表面1204改變，這使得和位置1238有關(guān)的鏡頭具有在點1214的虛擬光心。可以按照關(guān)于圖26和27討論的那樣定位一組類似的鏡頭，使得可以在點1216形成第二虛擬光心。為筒明起見，和虛擬光心1216有關(guān)的附加鏡頭沒有示出。
應(yīng)當(dāng)注意，對于每個虛擬光心1214和1216都產(chǎn)生完整的全景圖像。和每個虛擬光心有關(guān)的圖像被按照圖7和23所述的方法處理。不過，在這種情況下，當(dāng)用戶需要圖像時，則提供兩個圖像；最好一個代表左方，一個代表右方，其中左圖像被提供給用戶的左眼，而右圖像被提供給用戶的右眼。這便提供了立體圖像，該圖像相當(dāng)于用戶從棱錐體內(nèi)部利用位于虛擬光心1214的一個眼和位于虛擬光心1216的另一個眼觀看事物時得到的圖像。此外，應(yīng)當(dāng)注意，和每個鏡頭相關(guān)的虛擬光心并不精確地位于一個位置或一個點，例如虛擬光心1214。這些光心可以緊密地聚集在點1214的周圍，這是由于要精確地對準(zhǔn)鏡頭是困難的。此外，需要特意地使和這些鏡頭有關(guān)的虛擬光心聚集在點1214的周圍，使得產(chǎn)生一組偏離的虛擬光心，這將引起如參照圖12所述的盲區(qū)。這些盲區(qū)可以用于除去由于棱錐體的邊緣而引起的可能失真的圖像部分，在所述棱錐體的邊緣遇到不同的反射表面。
圖29說明反射棱錐體1300。其具有通過棱錐體的頂點并且垂直于棱錐體的底的軸線1302。該棱錐體是全景觀看器的一部分，其具有3個虛擬光心1304，1306和1308。每個虛擬光心具有一組按照圖26和27的討論而設(shè)置的鏡頭。虛擬光心離開軸線1302的距離1310是相等的，并被如此設(shè)置，使得它們每個相互之間離開一個距離1312，該距離1312近似等于人眼之間的一般距離。這種結(jié)構(gòu)形成和全景圖像相關(guān)的每個虛擬光心。
圖30是從棱錐體的外部在底面向下看的棱錐體1300的視圖。圖30說明使用那一對虛擬光心向用戶提供圖像。被使用的虛擬光心對取決于用戶希望觀看的方向。作為基準(zhǔn)，示出了線1320，1322和1324。線1320通過虛擬光心1304和軸線1302。線1322通過虛擬光心1308和軸線1302。同樣，線1324通過虛擬光心1306和軸線1302。應(yīng)當(dāng)注意，線1322的箭頭1326可以認(rèn)為是由虛擬光心1306和1304沿箭頭1326的方向呈現(xiàn)的圖像的中心。此外，線1324的箭頭1328可以認(rèn)為是由虛擬光心1308和1304沿箭頭1328的方向提供的圖像的中心。線1320的箭頭1330可以認(rèn)為是由虛擬光心1306和1308沿箭頭1330的方向呈現(xiàn)的圖像的中心。線1322的箭頭1332可以認(rèn)為是由虛擬光心1306和1304沿箭頭1332的方向提供的圖像的中心。線1324的箭頭1334可以認(rèn)為是由虛擬光心1304和1308沿箭頭1334的方向提供的圖像的中心。線1320的箭頭1336可以認(rèn)為是由虛擬光心1306和1308沿箭頭1336的方向提供的圖像的中心。這樣，虛擬光心的不同的有序?qū)ψ詈糜糜谘夭煌较虻牧Ⅲw圖像。當(dāng)用戶改變觀看的方向時，將改變用于向左眼和右眼提供圖像的虛擬光心。當(dāng)觀看其中心在線1340和1342之間的圖像時，分別由虛擬光心1306和1304供給向用戶的左眼和右眼提供的圖像。當(dāng)觀看其中心在線1342和1344之間的圖像時，分別由虛擬光心1308和1304供給向用戶的左眼和右眼提供的圖像。當(dāng)用戶觀看其中心在線1344和1346之間的圖像時，左眼和右眼分別接收來自虛擬光心1308和1306的圖像。當(dāng)用戶觀看其中心在線1348和1346之間的圖像時，分別由虛擬光心1304和1306向用戶提供左圖像和右圖像。當(dāng)用戶觀看其中心在線1350和1348之間的圖像時，分別從虛擬光心1304和1308向用戶提供左圖像和右圖像。最后，當(dāng)用戶觀看其中心在線1340和1350之間的圖像時，分別從虛擬光心1306和1308向左眼和右眼提供圖像。
圖31說明從外部在底面看的反射棱錐體1400，所述棱錐體具有通過其頂點并且垂直于棱錐體底面的軸線1402。棱錐體1400具有8組和8個虛擬光心1404，1406，1408，1410，1412，1414，1416和1418相關(guān)的鏡頭。這些虛擬光心具有距軸線1402相等的距離1420。每對相對的虛擬光心，例如光心1404和1412的距離是距離1420的兩倍。兩倍于距離1420的距離應(yīng)當(dāng)大致等于一對人眼之間的距離。
圖32說明圖31的全景觀看器，其中具有用于說明根據(jù)觀眾希望觀看的方向使用哪對虛擬光心提供圖像的參考線。參考線1430通過虛擬光心1406，軸線1402和虛擬光心1414。參考線1432通過虛擬光心1408，軸線1402和虛擬光心1418。參考線1436通過虛擬光心1412，軸線1402和虛擬光心1404。在這個例子中，當(dāng)用戶要求參考線的22.5度內(nèi)的圖像時，則使用和該參考線相關(guān)的虛擬光心和那個觀看方向向用戶提供左圖像和右圖像。當(dāng)用戶要求沿線1430的箭頭1438的方向并且在線1440和1442之間的圖像時，觀眾使用來自虛擬光心1410的圖像作為左眼圖像，并使用來自虛擬光心1418的圖像作為右眼圖像。當(dāng)用戶要求沿線1432的箭頭1444的方向并且在線1446和1442之間的圖像時，則分別由虛擬光心1412和1404提供左右圖像。當(dāng)用戶要求沿線1434的箭頭1448的方向并且在線1450和1446之間的圖像時，則分別由虛擬光心1414和1406提供左右圖像。當(dāng)用戶要求沿線1436的箭頭1452的方向并且在線1454和1450之間的圖像時，則分別由虛擬光心1416和1408提供左右圖像。當(dāng)用戶要求沿線1430的箭頭1456的方向并且在線1454和1458之間的圖像時，則分別由虛擬光心1418和1410提供左右圖像。當(dāng)用戶要求沿線1432的箭頭1460的方向并且在線1458和1462之間的圖像時，則分別由虛擬光心1404和1412提供左右圖像。當(dāng)用戶要求沿線1434的箭頭1464的方向并且在線1466和1462之間的圖像時，則分別由虛擬光心1406和1414提供左右圖像。當(dāng)用戶要求沿線1634的箭頭1468的方向并且在線1440和1466之間的圖像時，則分別由虛擬光心1408和1416提供左右圖像。
雖然在本例中討論了一種棱錐體結(jié)構(gòu)，但是可以使用不同的平面鏡幾何結(jié)構(gòu)來改變視野的方向，使得鏡頭具有基本上相同位置的光心。例如，可以使用實心的、空心的或局部多面體。此外，在棱錐體結(jié)構(gòu)的情況下，不必存在物理上的底面和頂點，并且底面和頂點可以認(rèn)為是概念上的輔助手段，例如底平面或底端以及頂點或頂端。
圖33說明具有3個虛擬光心的立體全景觀看系統(tǒng)的方塊圖。該方塊圖和圖23的相似之處在于，每組鏡頭具備的功能和圖23的類似。在本例中，鏡頭組1500，1502和1504分別相應(yīng)于圖29的虛擬光心1304，1306，和1308。在本例中，每個鏡頭組包括4個鏡頭。每個鏡頭組的輸出被紅綠藍(lán)校正電路1506接收。紅綠藍(lán)校正電路1506的操作和參照圖23的電路所述的操作類似。紅綠藍(lán)校正電路1506的輸出被存儲在幀存儲單元1508中。代表由鏡頭捕捉的圖像的數(shù)據(jù)使用由控制器1510提供的地址被寫入幀存儲器中?？刂破?510向幀存儲器提供地址，如參照圖23和29所述?？刂破?510可以使用專用的硬件例如ASIC(特殊用途集成電路)、微型機(jī)計算機(jī)或微處理器來實現(xiàn)。數(shù)據(jù)從幀存儲器1508中讀出，在微處理器1514的控制下被送到顯示存儲器1512中。當(dāng)把數(shù)據(jù)寫入顯示存儲器1512中時，微處理器使用圖像變換校正由鏡頭系統(tǒng)產(chǎn)生的失真。這種圖像變換處理和參照圖20-22所述的類似。來自顯示存儲器1512的輸出以和參照圖7-9討論的方式類似的方式由控制器1510尋址。這些輸出可以根據(jù)規(guī)定要觀看的方向的用戶的輸入被提供。顯示存儲器1512的輸出被提供給一個開關(guān)，該開關(guān)在本實施例中作為左多路傳輸器1516和右多路傳輸器1518來實現(xiàn)。每個多路傳輸器被用于選擇來自和一個虛擬光心相關(guān)的鏡頭組的圖像數(shù)據(jù)。例如所述開關(guān)可以使用機(jī)械開關(guān)、具有選擇選通的存儲器的總線、或者用于訪問選擇的存儲器的微型計算機(jī)或微處理器來實現(xiàn)。和特定的虛擬光心相關(guān)的圖像數(shù)據(jù)的選擇根據(jù)通過用戶輸入由用戶選擇的圖像在控制器1510的控制下進(jìn)行。響應(yīng)用戶輸入而提供的實際圖像數(shù)據(jù)按照參照圖10的討論被提供。也可以提供對于每個虛擬光心的全部顯示存儲器輸出供用戶觀看和編輯。然后由多路傳輸器1516和1518提供的左右圖像數(shù)據(jù)被提供給調(diào)制解調(diào)器1520以便通過通信網(wǎng)絡(luò)1522傳遞。如果通信網(wǎng)絡(luò)1522直接接收數(shù)字?jǐn)?shù)據(jù)，則可以取消調(diào)制解調(diào)器1520。來自通信網(wǎng)絡(luò)1522的數(shù)據(jù)被調(diào)制解調(diào)器1524接收，調(diào)制解調(diào)器1524然后把數(shù)據(jù)提供給左右顯示器1526和1528。如果顯示器1526和1528需要模擬數(shù)據(jù)，則可以在調(diào)制解調(diào)器1524和顯示器之間設(shè)置數(shù)模轉(zhuǎn)換器。如果需要，可以設(shè)置用戶輸入裝置1530，例如可以是游戲桿，其通過調(diào)制解調(diào)器1524、通信網(wǎng)絡(luò)1522和調(diào)制解調(diào)器1520向控制器1510提供用戶選擇的數(shù)據(jù)。如果用戶距離觀看系統(tǒng)不遠(yuǎn)，則來自多路傳輸器1516和1518的數(shù)據(jù)可以直接通過到達(dá)左顯示1512和右顯示1534。如果顯示需要模擬數(shù)據(jù)，則可以使用數(shù)模轉(zhuǎn)換器1536和1538分別向左顯示1532和右顯示1534提供數(shù)據(jù)。此外，可以使用用戶輸入裝置1540向控制器1510提供用戶選擇的數(shù)據(jù)。
如果觀看系統(tǒng)使用附加的虛擬光心例如參照圖32所述的系統(tǒng)，則可以對圖33的基本結(jié)構(gòu)增加附加的處理路徑。參見圖34，應(yīng)當(dāng)注意，在鏡頭組1500，1502和1504中的鏡頭數(shù)量可以改變。例如，如果只使用4面棱錐體中的3面進(jìn)行觀看，則在鏡頭組內(nèi)只需要包括3個鏡頭。
應(yīng)當(dāng)注意，控制器1510和微處理器1514可以結(jié)合成為一個微處理器，微型計算機(jī)或者具有足夠的處理速度的計算機(jī)，以便為所討論的功能提供地址。類似地，幀存儲器和顯示存儲器可以結(jié)合成為一個存儲器，該存儲器被這樣編址，使得可以存取和圖33中的每個存儲器相關(guān)的數(shù)據(jù)。
權(quán)利要求
1一種全景觀看設(shè)備，其特征在于多個第一圖像處理裝置，每個具有一個視野；多個第二圖像處理裝置，每個具有一個視野；以及面向不同方向的多個平的反射面，其中至少每兩個反射面改變一個第一圖像處理裝置和一個第二圖像處理裝置的視野，使得至少兩個第一圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的，并且至少兩個第二圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的。
2如權(quán)利要求1所述的全景觀看設(shè)備，其特征在于，所述圖像處理裝置是鏡頭。
3如權(quán)利要求1所述的全景觀看設(shè)備，其特征在于，所述圖像處理裝置是投影器。
4一種全景觀看設(shè)備，其特征在于多個第一圖像處理裝置，每個具有一個視野；多個第二圖像處理裝置，每個具有一個視野；多個第三圖像處理裝置，每個具有一個視野；以及面向不同方向的多個平的反射面，其中至少每兩個反射面改變一個第一圖像處理裝置和一個第二圖像處理裝置以及一個第三圖像處理裝置的視野，使得至少兩個第一圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的，至少兩個第二圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的，并且至少兩個第三圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的。
5如權(quán)利要求4所述的全景觀看設(shè)備，其特征在于，所述圖像處理裝置是鏡頭。
6如權(quán)利要求4所述的全景觀看設(shè)備，其特征在于，所述圖像處理裝置是投影器。
7一種全景觀看設(shè)備，其特征在于多個用于產(chǎn)生第一組圖像信號的第一圖像處理裝置，每個具有一個視野；多個用于產(chǎn)生第二組圖像信號的第二圖像處理裝置，每個具有一個視野；多個用于產(chǎn)生第三組圖像信號的第三圖像處理裝置，每個具有一個視野；面向不同方向的多個平的反射面，其中至少每兩個反射面改變一個第一圖像處理裝置和一個第二圖像處理裝置以及一個第三圖像處理裝置的視野，使得至少兩個第一圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的，至少兩個第二圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的，并且至少兩個第三圖像處理裝置的被改變的視野的至少一部分基本上是鄰接的；控制器，其產(chǎn)生識別多個圖像數(shù)據(jù)組中的圖像數(shù)據(jù)組對的控制信號，其中每個圖像數(shù)據(jù)組表示一組圖像信號；以及用于響應(yīng)所述控制信號選擇圖像數(shù)據(jù)組對的開關(guān)。
8如權(quán)利要求7所述的全景觀看設(shè)備，其特征在于，所述開關(guān)是多路傳輸器。
9如權(quán)利要求7所述的全景觀看設(shè)備，其特征在于，所述開關(guān)是計算機(jī)。
10如權(quán)利要求7所述的全景觀看設(shè)備，其特征在于，所述控制器根據(jù)觀看方向識別圖像數(shù)據(jù)組對。
全文摘要
通過使用多個虛擬光心提供一種立體全景觀看器。多面體反射元件例如棱錐體改變第一組鏡頭中每個鏡頭的視野,從而在棱錐體內(nèi)的第一位置形成一組基本上同位置的虛擬光心。棱錐體還改變第二組鏡頭中每個鏡頭的視野,從而在棱錐體內(nèi)的第二位置形成一組基本上同位置的虛擬光心。當(dāng)一個全景圖像被提供給用戶的左眼,另一個全景圖像提供給用戶的右眼時,來自第一和第二虛擬光心的全景圖像提供立體全景圖像。
文檔編號H04N13/02GK1247994SQ9911807
公開日2000年3月22日 申請日期1999年8月25日 優(yōu)先權(quán)日1998年8月28日
發(fā)明者維什夫吉特·辛格·納爾瓦 申請人:朗迅科技公司