圖像處理系統(tǒng)和方法、攝像系統(tǒng)、圖像生成裝置和方法
【專利摘要】本發(fā)明涉及圖像處理系統(tǒng)和方法、攝像系統(tǒng)、圖像生成裝置和方法，其目的在于提供能夠在對(duì)接多幅輸入圖像生成一幅圖像的圖像處理中，縮短圖像輸出時(shí)的圖像延遲的模態(tài)。本發(fā)明的圖像處理系統(tǒng)(100)包括檢測(cè)多幅輸入圖像之間的對(duì)接位置的檢測(cè)處理部(220)、對(duì)多幅圖像輸入實(shí)行對(duì)接處理且生成輸出圖像的對(duì)接處理部(250)、以及切換模態(tài)的切換部(270)。所述模態(tài)包含第一模態(tài)和第二模態(tài)，第一模態(tài)輸出反映檢測(cè)處理部(220)的檢測(cè)結(jié)果、并經(jīng)過對(duì)接處理部(250)實(shí)行對(duì)接處理而生成的輸出圖像，第二模態(tài)輸出未經(jīng)過檢測(cè)處理部(220)的處理、直接由對(duì)接處理部(250)實(shí)行所述對(duì)接處理而生成的輸出圖像。
【專利說明】
圖像處理系統(tǒng)和方法、攝像系統(tǒng)、圖像生成裝置和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理系統(tǒng)和方法、攝像系統(tǒng)、圖像生成裝置和方法。
【背景技術(shù)】
[0002]目前，例如專利文獻(xiàn)1(JP特開2013-187860號(hào)公報(bào))揭示了一種用魚眼鏡頭或超廣角鏡頭等廣角鏡頭作一次性全方位攝影的全天球攝像系統(tǒng)。該全天球攝像系統(tǒng)將各個(gè)鏡頭的成像投影到傳感器面上得到圖像，通過對(duì)該圖像實(shí)行圖像處理，將各個(gè)圖像連接起來，生成全天球圖象。例如，可以用兩個(gè)具有超過180度視角的廣角鏡頭生成全天球圖像。
[0003]在上述專利文獻(xiàn)I的圖像處理中，根據(jù)規(guī)定的投影模型或者考慮理想模型發(fā)生的變形，對(duì)各透鏡光學(xué)系統(tǒng)拍攝的魚眼圖像實(shí)施變形補(bǔ)償以及投影轉(zhuǎn)換。而后，根據(jù)魚眼圖像中包含的重復(fù)部分，實(shí)行圖像對(duì)接處理，將魚眼圖像對(duì)接起來，形成一幅全天球圖象。在圖像對(duì)接處理中，用圖案匹配等能夠檢測(cè)到魚眼圖像之間的重復(fù)部分中被攝體重復(fù)的對(duì)接位置
[0004]如果能夠高速實(shí)行上述圖像處理，則能夠?qū)θ烨驁D像實(shí)行實(shí)時(shí)監(jiān)視。但是實(shí)際上，由于圖像處理量非常之大，難以在可能的成本范圍內(nèi)實(shí)時(shí)生成圖像。即便能夠高速處理，也會(huì)因高速處理耗電，電池消費(fèi)大，從而發(fā)生耗電量增大引起的發(fā)熱問題。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，本發(fā)明的目的在于提供一種圖像處理系統(tǒng)，其中具備能夠在對(duì)接多幅輸入圖像生成一幅圖像的圖像處理中，縮短圖像輸出時(shí)的圖像延遲的模態(tài)。
[0006]為了達(dá)到上述目的，本發(fā)明提供一種圖像處理系統(tǒng)，其中包括:檢測(cè)處理部，用于檢測(cè)多幅輸入圖像之間的對(duì)接位置;對(duì)接處理部，用于對(duì)所述多幅輸入圖像實(shí)行對(duì)接處理，生成輸出圖像；以及，切換部，用來切換模態(tài)，所述模態(tài)包含第一模態(tài)和第二模態(tài)，該第一模態(tài)輸出反映了所述檢測(cè)處理部的檢測(cè)結(jié)果、并經(jīng)過所述對(duì)接處理部實(shí)行所述對(duì)接處理而生成的所述輸出圖像，所述第二模態(tài)輸出未經(jīng)過所述檢測(cè)處理部的處理、直接由所述對(duì)接處理部實(shí)行所述對(duì)接處理而生成的所述輸出圖像。
[0007]本發(fā)明的效果在于，提供能夠在對(duì)接多幅輸入圖像生成一幅圖像的圖像處理中，縮短圖像輸出時(shí)的圖像延遲的模態(tài)。
【附圖說明】
[0008]圖1是本實(shí)施方式的全天球攝像系統(tǒng)所具有的全天球相機(jī)的截面圖。
[0009]圖2A是本實(shí)施方式的全天球攝像系統(tǒng)所具有的全天球相機(jī)的硬件結(jié)構(gòu)模塊圖。
[0010]圖2B是本實(shí)施方式的全天球攝像系統(tǒng)中的用戶終端裝置的硬件結(jié)構(gòu)示意圖。
[0011]圖3是用來描述本實(shí)施方式的全天球攝像系統(tǒng)的多個(gè)模態(tài)的圖像處理途徑的示意圖。
[0012]圖4是關(guān)于本實(shí)施方式的全天球攝像系統(tǒng)的全天球圖像監(jiān)視功能的主要功能模塊圖。
[0013]圖5是表示本實(shí)施方式的全天球攝像系統(tǒng)中的投影關(guān)系示意圖。
[0014]圖6是本實(shí)施方式采用的全天球圖像格式的圖像數(shù)據(jù)結(jié)構(gòu)示意圖。
[0015]圖7是本實(shí)施方式的位置檢測(cè)用變形補(bǔ)償部參考的轉(zhuǎn)換數(shù)據(jù)示意圖。
[0016]圖8是本實(shí)施方式的位置檢測(cè)處理時(shí)將用魚眼鏡頭拍攝的部分圖像映射到球面坐標(biāo)系上的示意圖。
[0017]圖9是本實(shí)施方式的對(duì)接位置檢測(cè)處理的示意圖。
[0018]圖10是本實(shí)施方式的對(duì)接位置檢測(cè)結(jié)果的數(shù)據(jù)結(jié)構(gòu)示意圖。
[0019]圖11是本實(shí)施方式的圖像合成處理時(shí)將魚眼鏡頭拍攝的部分圖像映射到球面坐標(biāo)系的示意圖。
[0020]圖12是本實(shí)施方式的全天球攝像系統(tǒng)生成的各模態(tài)輸出圖像的示意圖。
[0021]圖13是用來描述利用本實(shí)施方式的全天球攝像系統(tǒng)縮短監(jiān)視圖像的圖像延遲以及節(jié)能的示意圖。
【具體實(shí)施方式】
[0022]以下參考附圖描述本發(fā)明的實(shí)施方式。但是，本發(fā)明并不局限于下述實(shí)施方式。在以下的實(shí)施方式中，用包括具備兩個(gè)魚眼鏡頭的全天球相機(jī)110和具有能夠與全天球相機(jī)110通信的用戶終端裝置150的全天球攝像系統(tǒng)100作為一例圖像處理系統(tǒng)和攝像系統(tǒng)來進(jìn)行描述。雖然在此使用了兩個(gè)魚眼鏡頭，但實(shí)際上也可以使用三個(gè)以上魚眼鏡頭。
[0023]首先參考圖1和圖2描述本實(shí)施方式的全天球攝像系統(tǒng)100的整體結(jié)構(gòu)。圖1是本實(shí)施方式的全天球攝像系統(tǒng)100所具有的全天球相機(jī)110的截面圖。圖1所示的全天球相機(jī)110具有攝像體12、用來保持該攝像體12以及控制器和電池等元件的筐體14、設(shè)于該筐體14上的攝像鍵18。
[0024]圖11所示的攝像體12包括兩個(gè)成像光學(xué)系統(tǒng)20A和20B以及兩個(gè)攝像元件22A和2213。攝像元件22八和2213是(]00(01&找6 Coupled De vice)傳感器或 CMOS (Comp IementaryMetal Oxide Semiconductor)傳感器等。成像光學(xué)系統(tǒng)20例如是六組七片的魚眼鏡頭。在圖1所示的實(shí)施方式中，該魚眼鏡頭的視角大于180° (=360°/n，光學(xué)系數(shù)n = 2)，優(yōu)選具有190°以上的視角。用一個(gè)如此大視角的成像光學(xué)系統(tǒng)20和一個(gè)攝像元件22組成光學(xué)系統(tǒng)作為廣角攝像光學(xué)系統(tǒng)。
[0025]兩個(gè)成像光學(xué)系統(tǒng)20A和20B的光學(xué)元件(透鏡、菱鏡、濾光片以及光圈)相對(duì)于攝像元件22A和22B的位置關(guān)系固定。成像光學(xué)系統(tǒng)20A和20B的光學(xué)元件的光軸分別垂直于對(duì)應(yīng)的攝像元件22的受光區(qū)域的中心部分，而且受光區(qū)域分別為對(duì)應(yīng)的魚眼鏡頭的成像面。
[0026]兩個(gè)成像光學(xué)系統(tǒng)20A和20B規(guī)格相同，互相逆向組合，使得兩條光軸一致。攝像元件22A和22B將受光的光分布轉(zhuǎn)換為圖像信號(hào)，依次把圖像幀輸出到控制器上的圖像處理模塊中。攝像元件22A和22B各自拍攝的圖像經(jīng)過合成處理后，生成立體角度4jt球面度圖像(以下稱為全天球圖像)。全天球圖像是在攝影地點(diǎn)所能夠瞭望的所有方向拍攝的圖像。在本實(shí)施方式中生成全天球圖像，但也可以只是水平面360°拍攝的圖像，即所謂的全景立體圖，或者全天球或水平面360°全景拍攝中的一部分圖像，還可以作為動(dòng)畫保存。
[0027]圖2A是本實(shí)施方式的全天球攝像系統(tǒng)100所具有的全天球相機(jī)110的硬件結(jié)構(gòu)模塊圖。全天球相機(jī) 110包含CPU(Central Processing Unit)112、R0M(Read Only Memory)114、圖像處理模塊116、動(dòng)畫壓縮模塊118、經(jīng)由01^]\1(07肪111；^ Random Memory)120連接的DRAMl 32、以及經(jīng)由外部傳感器接口 124連接的加速度傳感器136。
[0028]CPU112控制全天球相機(jī)110的各個(gè)部分的動(dòng)作和整體動(dòng)作。R0M114用于存放用編碼描述的CPU112能夠解讀的控制程序或各種參數(shù)。圖像處理模塊116與兩個(gè)攝像元件130A和130B(圖1中的攝像元件22A和22B)連接，用來輸入該兩個(gè)攝像元件130A和130B各自拍攝的圖像的圖像信號(hào)。圖像處理模塊116包含ISP(Image Signal Processor)等，對(duì)從攝像元件130輸入的圖像信號(hào)進(jìn)行陰影補(bǔ)償、拜耳(Bayer)插值補(bǔ)償、白平衡補(bǔ)償、伽瑪補(bǔ)償?shù)忍幚?。進(jìn)而，圖像處理模塊116還對(duì)從攝像元件130取得的多幅圖像進(jìn)行合成處理，由此生成上述全天球圖像。
[0029]動(dòng)畫壓縮模塊118是用于MPEG-4AVC/H.264等動(dòng)畫縮放的編解碼模塊。動(dòng)畫壓縮模塊118用于生成經(jīng)過生成的全天球圖像的動(dòng)畫數(shù)據(jù)。DRAM132用于在實(shí)施各種信號(hào)處理和圖像處理時(shí)提供暫時(shí)保存的存儲(chǔ)區(qū)域。加速度傳感器136檢測(cè)三個(gè)軸向的加速度成分，被檢測(cè)到的加速度成分用于檢測(cè)垂直方向并實(shí)施全天球圖像的天頂補(bǔ)償。
[0030]全天球相機(jī)110進(jìn)一步具有外部寄存器接口 122、USB(Universal Serial Bus)接口 126、串行模塊128、影像輸出接口 129。外部寄存器接口 122連接外部寄存器134，控制對(duì)于插入存儲(chǔ)卡插口的存儲(chǔ)卡等的外部寄存器134的讀寫。
[0031]USB接口 126連接USB連接器138，控制與經(jīng)由USB連接器138連接的個(gè)人計(jì)算機(jī)等外部設(shè)備之間的USB通信。串接模塊128與控制個(gè)人計(jì)算機(jī)等外部設(shè)備之間的串行通信，連接無線NIC(Network Interface Card) 140。影像輸出接口 129用于與HDMI (High-Definit1nMultimedia Interface，HDMI為注冊(cè)商標(biāo))等外部顯示器的連接，向外部顯示器等影像輸出拍攝的圖像。
[0032]經(jīng)過電源開關(guān)操作，電源成為接通狀態(tài)后，將上述控制程序上載到主存儲(chǔ)器中。CPUl 12執(zhí)行被讀入主存儲(chǔ)器的程序，控制裝置各部動(dòng)作，同時(shí)在存儲(chǔ)器上暫時(shí)保存控制所需要的數(shù)據(jù)。這樣，便能夠?qū)崿F(xiàn)全天球相機(jī)110的后述各項(xiàng)功能和處理。
[0033]圖2B是本實(shí)施方式的全天球攝像系統(tǒng)100中的用戶終端裝置150的硬件結(jié)構(gòu)示意圖。圖2B所示的用戶終端裝置150包含CPU152、RAM154、HDD(Hard Disk Drive) 156、輸入裝置158、外部寄存器160、顯示器162、無線NIC164、USB連接器166。
[0034]CPU152控制用戶終端裝置150的各個(gè)部分的動(dòng)作和整體動(dòng)作。RAM154向CPU152提供作業(yè)區(qū)域。HDD156用于存放用編碼描述的CPU152能夠解讀的操作系統(tǒng)和本實(shí)施方式的用戶終端裝置150負(fù)責(zé)實(shí)行的處理的應(yīng)用軟件等程序。
[0035]輸入裝置158是鼠標(biāo)、鍵盤、觸摸面板、觸摸屏等輸入裝置，提供用戶接口。外部寄存器160是插入存儲(chǔ)卡插槽等中的可裝卸記錄媒體，用來記錄動(dòng)畫格式的圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)等各種數(shù)據(jù)。無線NIC164用來設(shè)立全天球相機(jī)110等與外設(shè)等之間的無線LAN通信連接。USB連接器166用來設(shè)立全天球相機(jī)110等與外設(shè)等之間的USB連接。此外，在此以無線NIC164和USB連接器166為例，但是并沒有特殊規(guī)格限定，也可以用Bluetooth(注冊(cè)商標(biāo))或無線USB等其他無線通信以及有線LAN(Local Area Network)等有線通信來與外設(shè)連接。
[0036]顯示器162用來實(shí)行用于用戶操作的操作畫面的顯示、攝影前或攝影期間的全天球相機(jī)110拍攝的圖像的顯示器圖像的顯示、保存動(dòng)畫或靜畫的重放以及用于閱覽的顯示。通過顯示器162和輸入裝置158，用戶能夠借助于操作畫面對(duì)全天球相機(jī)110發(fā)出攝影指示或改變各種設(shè)定。
[0037]當(dāng)用戶終端裝置150的電源接通，處于電源接通狀態(tài)后，從ROM或HDD156讀取程序，上載到RAM154XPU152執(zhí)行被讀入RAM154的程序，控制裝置各部動(dòng)作，同時(shí)將控制所需的數(shù)據(jù)暫時(shí)保存到存儲(chǔ)器中。這樣，便實(shí)現(xiàn)用戶終端裝置150的后述各項(xiàng)功能和處理。
[0038]如上所述，本實(shí)施方式的全天球相機(jī)110具有拍攝全天球圖像的靜止畫或動(dòng)畫的功能。但是需要在該全天球圖像的靜止畫或動(dòng)畫的拍攝之前或拍攝期間能夠?qū)崟r(shí)確認(rèn)被攝圖像的狀態(tài)。例如，用戶在設(shè)置全天球相機(jī)110之際可能需要?jiǎng)袢藞D像的亮度或確認(rèn)視角。
[0039]但是，由于用多個(gè)攝像元件130A和130B生成上述全天球圖像，需要實(shí)行用圖案匹配來檢測(cè)被攝體重疊對(duì)接位置以及對(duì)接多幅圖像之類復(fù)雜的圖像處理。雖然在高速實(shí)施上述圖像處理的情況下，則能夠?qū)崿F(xiàn)全天球圖像的實(shí)時(shí)監(jiān)視，但是現(xiàn)實(shí)中，該圖像處理量非常之多，難以在允許的成本范圍內(nèi)實(shí)現(xiàn)實(shí)時(shí)監(jiān)視圖像的構(gòu)成。即便能夠高速圖像處理，也存在圖像處理耗電兩大，電池消費(fèi)過快的問題，進(jìn)而還會(huì)發(fā)生發(fā)熱過大的問題
[0040]對(duì)此，本實(shí)施方式按照用途準(zhǔn)備了多個(gè)模態(tài)的圖像處理路徑。多個(gè)模態(tài)為除了模態(tài)(I)的攝影模態(tài)之外，還提模態(tài)(2)的供視角確認(rèn)模態(tài)。模態(tài)(I)的攝影模態(tài)是指反映對(duì)接位置檢測(cè)處理的檢測(cè)結(jié)果，實(shí)行從多個(gè)攝像元件130A和130B輸入的輸入圖像的對(duì)接處理，生成輸出圖像。而模態(tài)(2)的視角確認(rèn)模態(tài)則具有以下特征，即響應(yīng)多個(gè)模態(tài)中的視角確認(rèn)模態(tài)的指定，繞過上述對(duì)接位置的檢測(cè)處理，直接對(duì)來自多個(gè)攝像元件130A和130B的輸入圖像進(jìn)行對(duì)接處理，生成輸出圖像。也就是說，不檢測(cè)對(duì)接位置，在規(guī)定位置上對(duì)接作為來自攝像元件130A和130B的輸入圖像的第一圖像和第二圖像，生成輸出圖像。優(yōu)選實(shí)施方式進(jìn)一步提供模態(tài)(3)的亮度確認(rèn)模態(tài)，切出多幅輸入圖像中的至少一方，生成輸出圖像。也就是說，不檢測(cè)對(duì)接位置，實(shí)行部分圖像的切出。
[0041]根據(jù)上述構(gòu)成，在需要確認(rèn)視角的用途中，用戶只要選擇視角確認(rèn)模態(tài)，生成輸出圖像時(shí)便能夠回避處理負(fù)擔(dān)大耗電量多的對(duì)接位置檢測(cè)處理，從而縮短視角確認(rèn)時(shí)的圖像延遲，進(jìn)而有助于抑制電力消費(fèi)和發(fā)熱。
[0042]下述實(shí)施方式中，用戶終端裝置150用來顯示監(jiān)視圖像，該監(jiān)視圖像用于確認(rèn)全天球圖像的靜止畫或動(dòng)畫的攝影之前或攝影期間拍攝的圖像。用戶操作用戶終端裝置150上運(yùn)用的遙控控制用應(yīng)用軟件，在用戶終端裝置150上一邊顯示監(jiān)視圖像，一邊發(fā)送攝影指示，對(duì)此，用全天球相機(jī)110實(shí)行靜止畫或動(dòng)畫的拍攝。但是，該實(shí)施方式對(duì)本發(fā)明沒有限制，本發(fā)明也可以在與影像輸出接口 129相連接的外部顯示器上顯示可監(jiān)視圖像，或者，如果全天球相機(jī)110具備自己的顯示器，則也可以在全天球相機(jī)110具備的顯示器上顯示監(jiān)視圖像。還可以通過攝影鍵鈕18接受攝影指示。
[0043]以下參考圖3描述本實(shí)施方式的全天球攝像系統(tǒng)100多個(gè)模態(tài)的圖像處理流程。圖3是用來描述本實(shí)施方式的全天球攝像系統(tǒng)100的多個(gè)模態(tài)的圖像處理途徑的示意圖。
[0044]圖3顯示模態(tài)(I)的攝影模態(tài)、模態(tài)(2)的視角確認(rèn)模態(tài)、模態(tài)(3)的亮度確認(rèn)模態(tài)，計(jì)三種模態(tài)各自的圖像處理路徑。每種模態(tài)的圖像處理200均以多個(gè)攝像元件130A和130B的部分圖像取得處理為開始。在部分圖像區(qū)的處理210中，全天球相機(jī)110控制兩個(gè)攝像元件130A和130B依次拍攝連續(xù)幀。各個(gè)攝像元件130拍攝圖像均為其視野大致收納半個(gè)球的魚眼圖像，構(gòu)成全天球圖像的部分圖像。以下將攝像元件130A和130B各自拍攝的各幀圖像作為部分圖像。
[0045]首先描述模態(tài)(I)的攝影模態(tài)。在攝影模態(tài)中，全天球相機(jī)110實(shí)行部分圖像區(qū)的處理210后，實(shí)行對(duì)接位置檢測(cè)處理220，檢測(cè)取得的兩個(gè)部分圖像之間的對(duì)接位置。在攝影模態(tài)的對(duì)接位置檢測(cè)處理220中，檢測(cè)每幅幀中多個(gè)部分圖像之間存在的重復(fù)區(qū)域中多個(gè)對(duì)應(yīng)點(diǎn)各自的偏離量，生成對(duì)接位置檢測(cè)結(jié)果。
[0046]攝影模態(tài)中對(duì)接位置檢測(cè)處理220之后，實(shí)行傾斜檢測(cè)處理230。在傾斜檢測(cè)處理230中全天球相機(jī)110控制圖2A所示的加速度傳感器136，檢測(cè)全天球相機(jī)110相對(duì)于規(guī)定的基準(zhǔn)方向的傾斜。在此，典型的規(guī)定基準(zhǔn)方向?yàn)殂U直方向，即重力加速度作用方向。在傾斜檢測(cè)處理230中對(duì)每幅幀測(cè)定三軸向加速度傳感器136的各項(xiàng)加速度成分，生成傾斜檢測(cè)結(jié)果O
[0047]根據(jù)上述對(duì)接位置檢測(cè)處理220檢測(cè)到的對(duì)接位置檢測(cè)結(jié)果和傾斜檢測(cè)處理230的傾斜檢測(cè)結(jié)果，構(gòu)成用于合成各幅幀部分圖像的對(duì)接參數(shù)240。
[0048]在攝影模態(tài)中，全天球相機(jī)110繼而根據(jù)得到的對(duì)接參數(shù)240，實(shí)行對(duì)接處理250，將在部分圖像取得處理210取得的兩個(gè)部分圖像對(duì)接起來。在攝影模態(tài)的對(duì)接處理250中，根據(jù)對(duì)接位置檢測(cè)結(jié)果，在對(duì)接位置實(shí)行部分圖像的位置匹配，進(jìn)而根據(jù)傾斜檢測(cè)結(jié)果實(shí)行天頂補(bǔ)償，從而生成全天球圖像。在具有三個(gè)以上的多個(gè)魚眼鏡頭的情況下，合成三個(gè)以上的多個(gè)部分圖像，生成全天球圖像。
[0049]在攝影模態(tài)中，對(duì)每幅幀實(shí)行對(duì)接位置檢測(cè)和傾斜檢測(cè)，并對(duì)每幅幀的對(duì)接參數(shù)240動(dòng)態(tài)更新。之后，每幅幀的對(duì)接處理采用反映了這些檢測(cè)結(jié)果的對(duì)接參數(shù)240。為此在攝影模態(tài)中，即便全天球相機(jī)110發(fā)生傾斜或改變朝向，或者重復(fù)區(qū)域附近的被攝體發(fā)生移動(dòng)，也能夠以經(jīng)過實(shí)施適當(dāng)?shù)奶祉斞a(bǔ)償和對(duì)接補(bǔ)償?shù)臓顟B(tài)來生成輸出圖像。
[0050]對(duì)此，在模態(tài)(2)的視角確認(rèn)模態(tài)中，全天球相機(jī)110在部分圖像取得處理210之后，繞過對(duì)接位置檢測(cè)處理220，直接實(shí)行對(duì)接處理250。換言之，不檢測(cè)對(duì)接位置，而是在規(guī)定位置上對(duì)接攝像元件130A和130B取得的輸入圖像即第一圖像和第二圖像，生成輸出圖像。視角確認(rèn)模塊中的對(duì)接處理250中，用基于既定對(duì)接參數(shù)的對(duì)接位置，實(shí)行多個(gè)部分圖像的位置匹配，合成上述取得的兩個(gè)部分圖像，從而生成全天球圖像。在三個(gè)以上的多個(gè)魚眼鏡頭的情況下，合成三個(gè)以上的多個(gè)部分圖像，生成全天球圖像。
[0051]關(guān)于對(duì)接參數(shù)，至少可以靜態(tài)使用在取得部分圖像之前已經(jīng)存在的參數(shù)，如全天球相機(jī)110出廠之前預(yù)先生成的參數(shù)、或者前一次攝影模態(tài)拍攝時(shí)生成的參數(shù)等。這樣能夠省去每一幅圖像幀的對(duì)接位置檢測(cè)和傾斜檢測(cè)，有助于縮短輸出圖像生成時(shí)的圖像延遲和節(jié)省電力消費(fèi)。由于這些參數(shù)在以往的使用中均獲得成功對(duì)接，因此不會(huì)發(fā)生極端的對(duì)接位置偏離，所以，此時(shí)的畫質(zhì)足以用于視角確認(rèn)用途。
[0052]進(jìn)而在模態(tài)(3)的亮度確認(rèn)模態(tài)中，全天球相機(jī)110在部分圖像取得處理210之后，繞過對(duì)接位置檢測(cè)處理220，直接實(shí)行圖像切出處理260。在圖像切出處理260中，至少切出在部分圖像取得處理210中取得的多幅部分圖像中至少一方，生成輸出圖像。由于圖像切出處理260的處理負(fù)擔(dān)更加小于對(duì)接處理250，因而能夠進(jìn)一步減少電力消費(fèi)。簡(jiǎn)而言之，亮度確認(rèn)模態(tài)不檢測(cè)對(duì)接位置，而是實(shí)行部分圖像的切出。
[0053]上述(I)至(3)各種模態(tài)中，對(duì)接處理250或圖像切出處理260結(jié)束后，全天球相機(jī)110實(shí)行輸出圖像的選擇處理270，用戶終端裝置150根據(jù)全天球相機(jī)110輸出的圖像實(shí)行監(jiān)視顯示處理280。
[0054]在選擇處理270中，根據(jù)多種模態(tài)中的指定模態(tài)，切換圖像處理路徑。在模態(tài)(I)的攝影模態(tài)，全天球相機(jī)110在選擇處理270中選擇經(jīng)過在對(duì)接處理250中實(shí)施的對(duì)接位置補(bǔ)償和天頂補(bǔ)償?shù)娜烨驁D像。而在模態(tài)(2)的視角確認(rèn)模態(tài)，全天球相機(jī)110在選擇處理270中選擇未經(jīng)過對(duì)接處理250的對(duì)接位置補(bǔ)償和天頂補(bǔ)償?shù)娜烨驁D像。進(jìn)而在模態(tài)(3)的亮度確認(rèn)模態(tài)，全天球相機(jī)110在選擇處理270中選擇經(jīng)過圖像切出處理270的切出圖像。
[0055]在監(jiān)視顯示處理280中，用戶終端裝置150上顯示監(jiān)視圖像，該監(jiān)視圖像基于按指定模態(tài)切換的輸出圖像。其中，在模態(tài)(I)的攝影模態(tài)和模態(tài)(2)的視角確認(rèn)模態(tài)的監(jiān)視顯示處理280中，既可以直接顯示全天球圖像，也可以顯示以規(guī)定視角投影顯示全天球圖像而生成的圖像(以規(guī)定視角從全條球圖像中切出的圖像)。在模態(tài)(3)的亮度確認(rèn)模態(tài)的監(jiān)視顯示處理280中，可以直接顯示切出圖像。
[0056]以下參考圖4至圖13，詳述本實(shí)施方式的全天球攝像系統(tǒng)100所具備的全天球圖像監(jiān)視功能。圖4是本實(shí)施方式的全天球攝像系統(tǒng)100的主要功能模塊圖。如圖4所示，本實(shí)施方式的圖像處理模塊300包含位置檢測(cè)用變形補(bǔ)償部302、對(duì)接位置檢測(cè)部304、表修改部306、表生成部308、傾斜檢測(cè)部310、圖像合成用變形補(bǔ)償部312、圖像合成部314、圖像切出部316、模態(tài)切換部318、輸出圖像選擇部320。
[0057]圖像處理模塊300從兩個(gè)攝像元件130A和130B輸入部分圖像，每幀圖像包含經(jīng)過各種圖像信號(hào)處理的兩幅部分圖像。在此，將以攝像元件130A作為圖像源的幀的圖像作為“部分圖像O”，以攝像元件130B作為圖像源的幀的圖像作為“部分圖像I”。圖像處理模塊300中進(jìn)一步提供制造商根據(jù)各自的鏡頭光學(xué)系統(tǒng)的設(shè)計(jì)數(shù)據(jù)等且按照規(guī)定投影模式預(yù)制的位置檢測(cè)用轉(zhuǎn)換表330。
[0058]在攝影模態(tài)中，位置檢測(cè)用變形補(bǔ)償部302、對(duì)接位置檢測(cè)部304、表修改部306、表生成部308以及傾斜檢測(cè)部310動(dòng)作，用來生成對(duì)接參數(shù)240。
[0059]位置檢測(cè)用變形補(bǔ)償部302用位置檢測(cè)用轉(zhuǎn)換表330，對(duì)被輸入的部分圖像O和部分圖像I實(shí)施變形補(bǔ)償，生成位置檢測(cè)用補(bǔ)償圖像(以下稱為補(bǔ)償圖像)0和位置檢測(cè)用補(bǔ)償圖像I。輸入的部分圖像O和部分圖像I是以平面坐標(biāo)系(x，y)表示的圖像數(shù)據(jù)，對(duì)此，經(jīng)過位置檢測(cè)用轉(zhuǎn)換表330變形補(bǔ)償?shù)难a(bǔ)償圖像是以球面坐標(biāo)系(極徑為I并具有兩個(gè)極角O和Φ的極坐標(biāo)系)表示的全天球圖像格式的圖像數(shù)據(jù)。
[0060]圖5是表示本實(shí)施方式的全天球攝像系統(tǒng)100中的投影關(guān)系示意圖。用一個(gè)魚眼鏡頭拍攝的圖像能夠從攝影地點(diǎn)出發(fā)經(jīng)過大約半個(gè)球的方位。魚眼鏡頭如圖5的(A)所示，與相對(duì)于光軸的入射角度Φ對(duì)應(yīng)，生成像高為h的圖像。像高h(yuǎn)和入射角度Φ之間的關(guān)系取決于規(guī)定的投影模式所對(duì)應(yīng)的攝影函數(shù)。本實(shí)施方式采用圖像圈直徑小于圖像對(duì)角線的所謂圓周魚眼鏡頭構(gòu)成，得到的部分圖像如圖5的(B)所示，為攝影范圍約相當(dāng)于半球的整個(gè)投影圖像圈的平面圖像。
[0061]圖6是本實(shí)施方式采用的全天球圖像格式的圖像數(shù)據(jù)結(jié)構(gòu)示意圖。如圖6所示，用以Θ和Φ為坐標(biāo)的像素值排列來表示全天球圖像格式的圖像數(shù)據(jù)，Θ為相對(duì)于規(guī)定軸的角度所對(duì)應(yīng)的垂直角度，Φ是圍繞上述軸轉(zhuǎn)動(dòng)的轉(zhuǎn)動(dòng)角度所對(duì)應(yīng)的水平角度。各個(gè)坐標(biāo)值(Θ，Φ)與表示以攝影地點(diǎn)為中心的全方位的球面上的點(diǎn)相對(duì)應(yīng)，全方位映射到全天球圖像上。
[0062]圖7是本實(shí)施方式的位置檢測(cè)用變形補(bǔ)償部302參考的轉(zhuǎn)換數(shù)據(jù)示意圖。轉(zhuǎn)換表330用來對(duì)平面坐標(biāo)系表述的部分圖像投影到球面坐標(biāo)系表述的圖像進(jìn)行限定。如圖7中的(A)和(B)所示，轉(zhuǎn)換表330中記錄了每個(gè)魚眼鏡頭的所有坐標(biāo)值(θ，φ )的坐標(biāo)關(guān)聯(lián)信息，該坐標(biāo)關(guān)聯(lián)信息中，補(bǔ)償后圖像坐標(biāo)值(θ，Φ )與被映射到該坐標(biāo)值(θ，Φ )的補(bǔ)償前部分圖像坐標(biāo)值(x，y)相關(guān)聯(lián)。在圖7中，一個(gè)像素跨越的角度在該坐標(biāo)值Θ方向和φ方向均為1/10度，對(duì)于各魚眼鏡頭，轉(zhuǎn)換表具有表示3600 X 1800對(duì)應(yīng)關(guān)系的信息。對(duì)接位置檢測(cè)時(shí)使用的位置檢測(cè)用轉(zhuǎn)換表330由制造商等預(yù)先在對(duì)理想鏡頭模式實(shí)行變形補(bǔ)償?shù)幕A(chǔ)上計(jì)算并列表構(gòu)成。
[0063]圖8是本實(shí)施方式的位置檢測(cè)處理時(shí)將用魚眼鏡頭拍攝的部分圖像映射到球面坐標(biāo)系上的示意圖。位置檢測(cè)用變形補(bǔ)償部302的處理結(jié)果如圖8所示，用魚眼鏡頭拍攝的兩幅部分圖像O和I被展開到全天球圖像格式上。魚眼鏡頭O拍攝的部分圖像O映射到全天球中的約上半球，眼鏡頭I拍攝的部分圖像I映射到全天球中的約下半球。用全天球格式表述的補(bǔ)償圖像O和補(bǔ)償圖像I超過魚眼鏡頭的全視角180度，為此，超出了各個(gè)半球。其結(jié)果，重疊補(bǔ)償圖像O和補(bǔ)償圖像I時(shí)圖像之間將會(huì)產(chǎn)生攝影范圍重復(fù)的重復(fù)區(qū)域。
[0064]對(duì)接位置檢測(cè)部304接受經(jīng)過位置檢測(cè)用變形補(bǔ)償部302轉(zhuǎn)換的補(bǔ)償圖像O和1，經(jīng)過圖案匹配處理，檢測(cè)到輸入補(bǔ)償圖像O和補(bǔ)償圖像I之間的對(duì)接位置，生成對(duì)接位置檢測(cè)結(jié)果332。如圖8所示，在本實(shí)施方式的位置檢測(cè)用轉(zhuǎn)換表330中，兩個(gè)透鏡光學(xué)系統(tǒng)各自的光軸被映射到極點(diǎn)，同時(shí)，圖像之間的重復(fù)區(qū)域被映射到球面赤道附近。在球面坐標(biāo)系中，越接近垂直角度Φ為O度或180度的極點(diǎn)，變形越大，對(duì)接位置檢測(cè)精度下降。對(duì)此，通過上述映射，能夠提高對(duì)接位置精度。此外，本實(shí)施方式描述了圖8所示的用兩個(gè)魚眼鏡頭拍攝的兩個(gè)部分圖像在球面坐標(biāo)系上的映射，除此之外，也可以用三個(gè)以上的多個(gè)魚眼鏡頭。
[0065]圖9是本實(shí)施方式的對(duì)接位置檢測(cè)處理的示意圖。在以下的實(shí)施方式中模板用圖像500是位置檢測(cè)用補(bǔ)償圖像I的重復(fù)區(qū)域的部分的圖像，探索用圖像510是位置檢測(cè)用補(bǔ)償圖像O的重復(fù)區(qū)域的部分的圖像。在此，設(shè)定用指定大小W和H、以及指定生成間隔Step生成模板圖像，則得到圖9所示形態(tài)的多個(gè)模板圖像502-1至502-#。
[0066]通過模板匹配，在規(guī)定探索范圍512內(nèi)，探索探索用圖像510上與生成的多個(gè)模板圖像502-1至502-#相對(duì)應(yīng)的對(duì)應(yīng)部分514。而后，分別檢測(cè)相對(duì)于各個(gè)模板圖像502-1至502-#，匹配評(píng)分為最大的位置離開基準(zhǔn)位置的偏離量。
[0067]圖10是本實(shí)施方式的對(duì)接位置檢測(cè)結(jié)果的數(shù)據(jù)結(jié)構(gòu)示意圖。如圖10所示，根據(jù)對(duì)接位置檢測(cè)處理，生成所有坐標(biāo)值轉(zhuǎn)換后的各坐標(biāo)值(θ，Φ )與偏離量(△ Θ，△ φ )相關(guān)聯(lián)的信息。此時(shí)，將經(jīng)過上述對(duì)接位置檢測(cè)求出的模板/模塊的偏離量(Δ θ,, Δ ΦΟ設(shè)定為模板/模塊的中心坐標(biāo)的值，對(duì)各坐標(biāo)值(θ，Φ )所對(duì)應(yīng)的偏離量(△ Θ，△ φ )進(jìn)行插值，求出對(duì)接位置數(shù)據(jù)。
[0068]表修改部306根據(jù)對(duì)接位置檢測(cè)結(jié)果332，修改預(yù)備的位置檢測(cè)用轉(zhuǎn)換表330，并將該轉(zhuǎn)換表330交給表生成部308。如圖10所示，通過上述對(duì)接位置檢測(cè)求出了全天球圖像格式的每個(gè)坐標(biāo)值的偏離量，為此，表修改部306對(duì)部分圖像O變形補(bǔ)償時(shí)使用的檢測(cè)用變形補(bǔ)償表O進(jìn)行修改，將該檢測(cè)用變形補(bǔ)償表O中，修改前與(Θ+ΔΘ，φ + Δ巾)相對(duì)應(yīng)的(1，7)修改為與輸入坐標(biāo)值(θ，Φ )相關(guān)聯(lián)。而對(duì)于部分圖像I的變形補(bǔ)償時(shí)使用的檢測(cè)用變形補(bǔ)償表I，不需要修改對(duì)應(yīng)關(guān)系。
[0069]表生成部308根據(jù)轉(zhuǎn)動(dòng)坐標(biāo)轉(zhuǎn)換，從經(jīng)過上述表修改部306修改的轉(zhuǎn)換數(shù)據(jù)，生成圖像合成用轉(zhuǎn)換表336。此時(shí)，也可以根據(jù)傾斜檢測(cè)部310生成的傾斜檢測(cè)結(jié)果334，反映傾斜補(bǔ)償，生成圖像合成用轉(zhuǎn)換表336。
[0070]這樣，在模態(tài)(I)的攝影模態(tài)中，對(duì)每幀實(shí)行對(duì)接位置檢測(cè)，更新圖像合成用轉(zhuǎn)換表336。位置檢測(cè)用變形補(bǔ)償部302、對(duì)接位置檢測(cè)部304、表修改部306以及表生成部308實(shí)行的處理對(duì)應(yīng)于圖3所示的對(duì)接位置檢測(cè)處理220，傾斜檢測(cè)部310實(shí)行的處理對(duì)應(yīng)于傾斜檢測(cè)處理。生成的圖像合成用轉(zhuǎn)換表336對(duì)應(yīng)于對(duì)接參數(shù)240。
[0071 ]在模態(tài)(2)的視角確認(rèn)模態(tài)中，按照減少電力消費(fèi)的方針，停止上述位置檢測(cè)用變形補(bǔ)償部302、對(duì)接位置檢測(cè)部304、表修改部306、表生成部308以及傾斜檢測(cè)部310的動(dòng)作。
[0072]在模態(tài)(I)的攝影模態(tài)和模態(tài)(2)的視角確認(rèn)模態(tài)中，圖像合成用變形補(bǔ)償部312和圖像合成部314動(dòng)作，用來生成全天球圖像。
[0073]圖像合成用變形補(bǔ)償部312實(shí)行圖像合成處理的前處理，即利用轉(zhuǎn)換表，對(duì)部分圖像O和部分圖像I實(shí)行變形補(bǔ)償，生成圖像合成用補(bǔ)償圖像O和圖像合成用補(bǔ)償圖像I。與位置檢測(cè)用補(bǔ)償圖像相同，上述生成的圖像合成用補(bǔ)償圖像O和I不僅用球面坐標(biāo)系表述，而且通過上述轉(zhuǎn)動(dòng)坐標(biāo)轉(zhuǎn)換，座標(biāo)軸定義與位置檢測(cè)用補(bǔ)償圖像不同。圖像合成部314合成獲得的圖像合成補(bǔ)償用圖像O和圖像合成補(bǔ)償用圖像I，生成全天球圖像格式的合成圖像的幀。
[0074]圖11是本實(shí)施方式的圖像合成處理時(shí)將魚眼鏡頭拍攝的部分圖像映射到球面坐標(biāo)系的示意圖。通過上述轉(zhuǎn)動(dòng)坐標(biāo)轉(zhuǎn)換，圖8所示的以其中一方的透鏡光學(xué)系統(tǒng)光軸為軸的水平角度和垂直角度的坐標(biāo)軸的定義，被轉(zhuǎn)換為如圖11所示的以垂直于光軸的軸為基準(zhǔn)的水平角度和垂直角度的定義。這樣，圖像合成用變形補(bǔ)償部312的處理結(jié)果為，用魚眼鏡頭拍攝的兩個(gè)部分圖像O和I被展開到如圖11所示的全天球圖像格式上。通常，用魚眼鏡頭O拍攝的部分圖像O被映射到全天球中大致左半球，用魚眼鏡頭I拍攝的部分圖像I被映射到全天球中大致右半球。在此用圖11描述了用兩個(gè)魚眼鏡頭拍攝的兩幅部分圖像在球面坐標(biāo)系上的映射，而在三個(gè)以上多個(gè)魚眼鏡頭的情況下，需要合成三個(gè)以上多個(gè)部分圖像來生成全天球圖像。
[0075]圖像合成用變形補(bǔ)償部312根據(jù)指定的模態(tài)參考不同的轉(zhuǎn)換表。在模態(tài)(I)的攝影模態(tài)時(shí)，圖像合成用變形補(bǔ)償部312參考每一幅幀經(jīng)過對(duì)接位置檢測(cè)處理220更新的圖像合成用轉(zhuǎn)換表336。而在模態(tài)(2)得視角確認(rèn)模態(tài)中，所有幀均參考固定轉(zhuǎn)換表338。
[0076]這樣，模態(tài)(I)的攝影模態(tài)和模態(tài)(2)的視角確認(rèn)模態(tài)分別根據(jù)轉(zhuǎn)換表336和338實(shí)行對(duì)接處理。圖像合成用變形補(bǔ)償部312和圖像合成部314實(shí)行的處理與圖3所示的對(duì)接處理250相對(duì)應(yīng)。
[0077]在模態(tài)(3)的亮度確認(rèn)模態(tài)中，從節(jié)能觀點(diǎn)出發(fā)，停止上述位置檢測(cè)用變形補(bǔ)償部302、對(duì)接位置檢測(cè)部304、表修改部306、表生成部308、傾斜檢測(cè)部310、圖像合成用變形補(bǔ)償部312以及圖像合成部314的動(dòng)作，取而代之的是圖像切出部316動(dòng)作。
[0078]圖像切出部316對(duì)輸入的部分圖像實(shí)行圖像切出處理，生成切出圖像。該生成的切出圖像與部分圖像相同也使用平面坐標(biāo)系表述的圖像數(shù)據(jù)。圖像切出部316實(shí)行的處理對(duì)應(yīng)圖3所示的圖像切出處理260。
[0079]模態(tài)切換部318根據(jù)用戶指定的模態(tài)，在輸入圖像選擇部320、對(duì)接位置檢測(cè)處理220、對(duì)接處理250以及圖像切出處理260的動(dòng)作之間進(jìn)行切換。關(guān)于用戶的模態(tài)指定，可以通過例如用戶終端裝置150上動(dòng)作的應(yīng)用軟件上的軟件鍵或全天球相機(jī)110所具備的硬件鍵等實(shí)行。具體為，模態(tài)切換部318具有其判斷作用的判斷部，用來判斷是否檢測(cè)到兩幅部分圖像的對(duì)接位置。如果判斷檢測(cè)到對(duì)接位置，則切換到模態(tài)(I)的攝影模態(tài)，而如果判斷為檢測(cè)到對(duì)接位置，則切換到模態(tài)(2)的視角確認(rèn)模態(tài)或模態(tài)(3)的亮度確認(rèn)模態(tài)。
[0080]輸出圖像選擇部320在模態(tài)(I)的攝影模態(tài)和模態(tài)(2)的確認(rèn)模態(tài)中選擇圖像合成部314輸出的合成圖像作為輸出圖像。而在模態(tài)(3)的亮度確認(rèn)模態(tài)中選擇圖像切出部316輸出的切出圖像為輸出圖像。
[0081]圖12是本實(shí)施方式的全天球攝像系統(tǒng)100生成的各模態(tài)輸出圖像的示意圖。模態(tài)
(I)的攝影模態(tài)選擇的輸出圖像如圖12中的(A)所示，是經(jīng)過對(duì)接位置匹配和天頂補(bǔ)償?shù)膱D像。模態(tài)(2)的視角確認(rèn)模態(tài)選擇的輸出圖像如圖12的(B)所示，雖然以足夠的畫質(zhì)來實(shí)行對(duì)接位置的匹配，但沒有實(shí)施天頂補(bǔ)償。模態(tài)(3)的亮度確認(rèn)模態(tài)選擇的輸出圖像如圖12的(C)所示，為從魚眼圖像切出的矩形圖像。
[0082]圖4所示的圖像處理模塊300可以進(jìn)一步包含監(jiān)視圖像生成部322。上述生成的合成圖像以全天球圖像格式表述，在直接顯示到顯示器等平面顯示設(shè)備上時(shí)，越接近垂直角度O度和180度圖像顯示出變形。如果僅僅是為了視角確認(rèn)，則也可以直接用全天球圖像格式表示，但是最佳實(shí)施方式需要實(shí)行用于將全天球圖像投影到平面顯示設(shè)備上的圖像處理。
[0083]監(jiān)視圖像生成部322在模態(tài)(I)的攝影模態(tài)和模態(tài)(2)的視角確認(rèn)模態(tài)中將全天球圖像格式的合成圖像依次從球面坐標(biāo)系轉(zhuǎn)換到特定方向和特定視角的平面坐標(biāo)系，實(shí)行向用戶指定的特定視野方向的一定視角的畫像投影的處理。據(jù)此，觀眾能夠監(jiān)視到與以規(guī)定的視點(diǎn)或視野觀察時(shí)相當(dāng)?shù)膱D像。監(jiān)視圖像生成部322在模態(tài)(3)的亮度確認(rèn)模態(tài)中，將輸出的切出畫面直接顯示到顯示器上，或者從切出畫面中進(jìn)一步切出一部分用來顯示。
[0084]以上描述了拍攝之前或拍攝期間的監(jiān)視圖像顯示。而上述在模態(tài)(I)的攝影模態(tài)中，生成了在圖像處理路徑中生成的全天球圖像的靜止畫，或者動(dòng)畫壓縮全天球圖像的多幅幀構(gòu)成的圖像列，生成動(dòng)畫，這些靜止畫或動(dòng)畫的圖像數(shù)據(jù)可以保存起來。
[0085]圖13是用來描述利用本實(shí)施方式的全天球攝像系統(tǒng)縮短監(jiān)視圖像的圖像延遲以及節(jié)能的示意圖。圖13在時(shí)間軸上顯示了輸入的圖像幀，同時(shí)還顯示了各模態(tài)中實(shí)行各種處理以及輸入圖像幀所對(duì)應(yīng)的輸出的時(shí)間。各種處理的處理量用長(zhǎng)條長(zhǎng)度作模式性顯示。
[0086]如圖13所示，在實(shí)行對(duì)接位置檢測(cè)處理的模態(tài)(I)的攝影模態(tài)中，通常需要花費(fèi)相當(dāng)于幾個(gè)幀的時(shí)間來實(shí)行對(duì)接位置檢測(cè)處理，并等待相當(dāng)于幾個(gè)幀的時(shí)間對(duì)圖像實(shí)行對(duì)接處理并輸出圖像。通過利用高速圖像處理晶片提高硬件的圖像處理性能雖然能夠縮短延遲，但是會(huì)引起成本上升和增加電力消費(fèi)。
[0087]對(duì)此，在上述模態(tài)(2)的視角確認(rèn)模態(tài)能夠省去通常需要幾個(gè)幀的時(shí)間的對(duì)接位置檢測(cè)處理，因而有利于縮短圖像延遲和節(jié)能。例如，在特定處理晶片上，能夠?qū)z影模態(tài)中相當(dāng)于三個(gè)幀的處理縮短到相當(dāng)于一個(gè)幀，因而輸出時(shí)只發(fā)生一個(gè)幀的延遲。進(jìn)而，在上述模態(tài)(3)的亮度確認(rèn)模態(tài)中，對(duì)接處理被處理負(fù)擔(dān)較小的圖像切出處理取代，因而能夠進(jìn)一步減少電力消費(fèi)。
[0088]如上所述，上述實(shí)施方式提供的圖像處理系統(tǒng)、圖像處理方法以及攝像系統(tǒng)具備能夠在對(duì)接多幅輸入圖像生成一幅圖像的圖像處理中縮短圖像輸出時(shí)的圖像延遲的模態(tài)。
[0089]上述實(shí)施方式用一例具備全天球相機(jī)110和與全天球相機(jī)110通信的用戶終端裝置150的全天球攝像系統(tǒng)100來描述圖像處理系統(tǒng)和攝影系統(tǒng)。
[0090]上述全天球攝像系統(tǒng)100在特定的實(shí)施方式中可以在全天球相機(jī)110的硬件上安裝部分圖像取得處理210、對(duì)接位置檢測(cè)處理220、傾斜檢測(cè)處理230、對(duì)接處理250以及選擇處理270，并在用戶終端裝置150上安裝監(jiān)視顯示處理280。該特定的實(shí)施方式中，全天球相機(jī)110輸出與多個(gè)模態(tài)中指定的模態(tài)相對(duì)應(yīng)的輸出圖像，用戶終端裝置150顯示的監(jiān)視圖像基于與模態(tài)相對(duì)應(yīng)的輸出圖像。
[0091]但是，本發(fā)明的圖像處理系統(tǒng)和攝像系統(tǒng)的構(gòu)成并不受上述構(gòu)成限制。除了上述實(shí)施方式以外，圖像處理系統(tǒng)、圖像處理裝置以及攝像系統(tǒng)也可以構(gòu)成為全天球相機(jī)110實(shí)行上述210至280的所有圖像處理，且僅具備全天球相機(jī)110。進(jìn)而，還可以構(gòu)成為把處理上述部分圖像處理取得處理210以外的其他圖像處理220至280分散安裝到包括用戶終端裝置150在內(nèi)的一個(gè)以上外部個(gè)人計(jì)算機(jī)或服務(wù)器等圖像處理裝置上。例如，在特定的實(shí)施方式中，可以在作為圖像處理裝置的用戶終端裝置150上實(shí)行圖像處理220至280。在這種實(shí)施方式中，全天球相機(jī)110不管是在何種模態(tài)下，均取得并輸出多個(gè)部分圖像，用戶終端裝置150接受全天球相機(jī)110輸出的多個(gè)部分圖像的輸入，生成與多個(gè)模態(tài)中的指定模態(tài)對(duì)應(yīng)的輸出圖像，進(jìn)而顯示監(jiān)視圖像。
[0092]進(jìn)而，在上述實(shí)施方式的傾斜補(bǔ)償中，以鉛直方向?yàn)榛鶞?zhǔn)計(jì)算傾斜角度。對(duì)此，也可以用鉛直方向以外的例如水平方向或其他需要的方向作為基準(zhǔn)方向，根據(jù)全天球相機(jī)110或攝像元件130A和130B等規(guī)定物體相對(duì)于該基準(zhǔn)方向的傾斜來修改圖像的傾斜。另外，上述實(shí)施方式中使用了傾斜檢測(cè)用的加速度傳感器，也可以用加速度傳感器和地面磁場(chǎng)傳感器組合等構(gòu)成的其他傾斜傳感器來檢測(cè)全天球相機(jī)110或固定在全天球相機(jī)110上的攝像元件130A和130B、以及傳感器本身等的傾斜。
[0093]上述各項(xiàng)功能模塊通過執(zhí)行用匯編語言、C、C++、C#、Java(注冊(cè)商標(biāo))等傳統(tǒng)編程語言或面向?qū)ο缶幊陶Z言等敘述的計(jì)算機(jī)可執(zhí)行程序來實(shí)現(xiàn)。該程序可以保存在R0M、EEPROM、EPROM、閃存、軟磁盤、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-Rff、藍(lán)光盤、SD 卡、MO 等裝置可讀取的存儲(chǔ)媒體中，還可以通過電子通信線頒發(fā)。上述功能部中的一部分或全部可安裝在例如現(xiàn)場(chǎng)可編程門陣列(Field-Programmable Gate Array，略寫為FPGA)等可編程設(shè)備(Programmab Ie Device，略寫為PD)中，還可以作為專用集成電路(Appl icat 1nSpecific Integrated Circuit，ASIC)安裝，進(jìn)而，可以用記錄媒體頒發(fā)用于下載到F1D上的比特流數(shù)據(jù)(Bitstrearn Data)、生成電路構(gòu)成數(shù)據(jù)的HDL(Hardware Descript1nLanguage)、VHDL(Very High Speed Integrated Circuits Hardware Descript1nLanguage)、Verilog-HDL等描述的數(shù)據(jù)，用來在F1D實(shí)現(xiàn)上述功能。
[0094]至此描述了本發(fā)明的實(shí)施方式，但是本發(fā)明并不受到上述實(shí)施方式的限制。在本技術(shù)領(lǐng)域的專業(yè)人員能夠想到的范圍內(nèi)，可以對(duì)上述實(shí)施方式進(jìn)行增刪或改變，還可以采用其他實(shí)施方式，但是無論用哪一種實(shí)施方式，只要具有本發(fā)明作用和效果，均屬于本發(fā)明范疇。
【主權(quán)項(xiàng)】
1.一種圖像處理系統(tǒng)，其中包括: 檢測(cè)處理部，用于檢測(cè)多幅輸入圖像之間的對(duì)接位置； 對(duì)接處理部，用于對(duì)所述多幅輸入圖像實(shí)行對(duì)接處理，生成輸出圖像；以及， 切換部，用來切換模態(tài)， 所述模態(tài)包含第一模態(tài)和第二模態(tài)， 所述第一模態(tài)輸出反映了所述檢測(cè)處理部的檢測(cè)結(jié)果、并經(jīng)過所述對(duì)接處理部實(shí)行所述對(duì)接處理而生成的所述輸出圖像， 所述第二模態(tài)輸出未經(jīng)過所述檢測(cè)處理部的處理、直接由所述對(duì)接處理部實(shí)行所述對(duì)接處理而生成的所述輸出圖像。2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其中， 在所述第一模態(tài)中由所述對(duì)接處理部實(shí)行的所述對(duì)接處理中，使用反映了所述檢測(cè)處理部的檢測(cè)結(jié)果的轉(zhuǎn)換數(shù)據(jù)， 在所述第二模態(tài)中由所述對(duì)接處理部實(shí)行的所述對(duì)接處理中，使用規(guī)定的轉(zhuǎn)換數(shù)據(jù)。3.根據(jù)權(quán)利要求1或2所述的圖像處理系統(tǒng)，其中， 進(jìn)一步包括切出處理部，用于切出所述多幅輸入圖像中的至少一方，生成所述輸出圖像， 所述模態(tài)還包含第三模態(tài)，該第三模態(tài)輸出未經(jīng)過所述檢測(cè)處理部和所述對(duì)接處理部的處理，直接由所述切出處理部切出所述至少一幅輸入圖像而生成的輸出圖像。4.根據(jù)權(quán)利要求1至3中任意一項(xiàng)所述的圖像處理系統(tǒng)，其中，在所述第一模態(tài)中，所述檢測(cè)處理部實(shí)行的處理包含檢測(cè)所述多幅輸入圖像之間存在的重復(fù)區(qū)域中多個(gè)對(duì)應(yīng)點(diǎn)各自的位置偏離量的處理。5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的圖像處理系統(tǒng)，其中，在所述第一模態(tài)中，所述檢測(cè)處理部實(shí)行的處理包含檢測(cè)處理和轉(zhuǎn)換數(shù)據(jù)生成處理， 所述檢測(cè)處理是檢測(cè)從所述多幅輸入圖像轉(zhuǎn)換的球面坐標(biāo)系的多幅圖像之間的對(duì)接位置， 所述轉(zhuǎn)換數(shù)據(jù)生成處理根據(jù)傾斜傳感器的傾斜檢測(cè)結(jié)果和在所述球面坐標(biāo)系上檢測(cè)到的對(duì)接位置的檢測(cè)結(jié)果，生成用來從所述多幅輸入圖像生成所述輸出圖像的轉(zhuǎn)換數(shù)據(jù)。6.根據(jù)權(quán)利要求5所述的圖像處理系統(tǒng)，其中，所述對(duì)接處理部的處理還包含轉(zhuǎn)換處理和合成處理， 所述轉(zhuǎn)換處理根據(jù)所述轉(zhuǎn)換數(shù)據(jù)，將所述多幅輸入圖像分別轉(zhuǎn)換為球面坐標(biāo)系的圖像， 所述合成處理合成多幅經(jīng)過所述轉(zhuǎn)換處理，從所述多幅輸入圖像轉(zhuǎn)換為所述球面坐標(biāo)系的多幅圖像，生成所述輸出圖像。7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的圖像處理系統(tǒng)，其中，在顯示裝置上顯示監(jiān)視圖像，該監(jiān)視圖像基于按照指定模態(tài)切換的所述輸出圖像。8.根據(jù)權(quán)利要求1至7中任意一項(xiàng)所述的圖像處理系統(tǒng)，其中，硬件安裝所述檢測(cè)處理部和所述對(duì)接處理部。9.根據(jù)權(quán)利要求1至8中任意一項(xiàng)所述的圖像處理系統(tǒng)，其中， 進(jìn)一步包含圖像取得部，用于取得來自多個(gè)攝像部的部分圖像， 該多個(gè)拍攝部分別具有透鏡光學(xué)系統(tǒng)和攝像元件，朝互不相同的方向拍攝，提供輸入圖像列。10.根據(jù)權(quán)利要9所述的圖像處理系統(tǒng)，其中，所述多個(gè)攝像部分別具有規(guī)定的視角，通過結(jié)合該多個(gè)攝像部的視角達(dá)到牡球面度的立體度，用所述對(duì)接處理部生成的所述輸出圖像為全天球圖像。11.一種用于圖像處理裝置的圖像處理方法，其中包含該圖像處理裝置響應(yīng)被指定為第一模態(tài)時(shí)實(shí)行的步驟以及響應(yīng)被指定為第二模態(tài)時(shí)實(shí)行的以下步驟， 在響應(yīng)被指定為第一模態(tài)時(shí)，所述圖像處理裝置實(shí)行: 檢測(cè)被輸入的多幅輸入圖像之間的對(duì)接位置的檢測(cè)步驟;和， 反映所述檢測(cè)步驟的檢測(cè)結(jié)果，實(shí)行所述多幅輸入圖像的對(duì)接處理，生成第一輸出圖像的步驟； 在響應(yīng)被指定為第二模態(tài)時(shí)，所述圖像處理裝置不實(shí)行所述對(duì)接位置的檢測(cè)處理，直接實(shí)行所述多幅輸入圖像的對(duì)接處理，生成第二輸出圖像的步驟。12.—種攝像系統(tǒng)，其中包含: 多個(gè)攝像部，分別具有透鏡光學(xué)系統(tǒng)和攝像元件，朝互不相同的方向拍攝，取得多幅輸入圖像； 檢測(cè)處理部，用于檢測(cè)取得的所述多幅輸入圖像之間的對(duì)接位置； 對(duì)接處理部，用于對(duì)所述多幅輸入圖像實(shí)行對(duì)接處理，生成輸出圖像；以及， 切換部，用來切換模態(tài)， 所述模態(tài)包含第一模態(tài)和第二模態(tài)， 所述第一模態(tài)輸出反映所述檢測(cè)處理部的檢測(cè)結(jié)果、并經(jīng)過所述對(duì)接處理部實(shí)行所述對(duì)接處理而生成的所述輸出圖像， 所述第二模態(tài)輸出未經(jīng)過所述檢測(cè)處理部的處理、而是由所述對(duì)接處理部直接進(jìn)行所述對(duì)接處理而生成的所述輸出圖像。13.根據(jù)權(quán)利要求12所述的攝像系統(tǒng)，其中包含攝像裝置，該攝像裝置具備所述多個(gè)攝像部、所述檢測(cè)處理部、所述對(duì)接處理部、以及所述切換部。14.根據(jù)權(quán)利要求13所述的攝像系統(tǒng)，其中， 所述攝像裝置輸出與指定的所述模態(tài)相對(duì)應(yīng)的輸出圖像， 所述攝像系統(tǒng)進(jìn)一步具備用戶終端裝置，該用戶終端裝置用來在顯示部上顯示監(jiān)視圖像，該監(jiān)視圖像基于與指定的所述模態(tài)相對(duì)應(yīng)的輸出圖像。15.根據(jù)權(quán)利要求12所述的攝像系統(tǒng)，其中包含: 攝像裝置，具備所述多個(gè)攝像部，輸出該多個(gè)攝像部各自取得的所述多幅輸入圖像；以及， 圖像處理裝置，其中具備所述檢測(cè)處理部、所述對(duì)接處理部、以及所述切換部，用來接受所述攝像裝置輸出的所述多幅輸入圖像的輸入，輸出與被切換到的模態(tài)相對(duì)應(yīng)的輸出圖像。16.—種圖像生成裝置，用于合成多幅圖像，生成一幅圖像，其特征在于，包含: 判斷部，用于判斷是否檢測(cè)到連接第一圖像和第二圖像的對(duì)接位置；以及， 生成部，用于在所述判斷部判斷未檢測(cè)到對(duì)接位置的情況下，在規(guī)定位置上連接所述第一圖像和所述第二圖像來生成圖像。17.根據(jù)權(quán)利要求16的圖像生成裝置，其特征在于，進(jìn)一步具備: 檢測(cè)部，用于在所述判斷部檢測(cè)到對(duì)接位置時(shí)，實(shí)行對(duì)接位置的檢測(cè)； 生成部，用于根據(jù)對(duì)接位置來對(duì)接所述第一圖像和所述第二圖像以生成圖像。18.—種用于合成第一圖像和第二圖像以生成一幅圖像的圖像生成裝置的圖像生成方法，其中包含所述圖像生成裝置實(shí)行的以下步驟: 判斷是否檢測(cè)到第一圖像和第二圖像的對(duì)接位置的步驟；以及， 當(dāng)所述判斷步驟中判斷沒有檢測(cè)到對(duì)接位置時(shí)，在規(guī)定位置上對(duì)接所述第一圖像和所述第二圖像以生成所述圖像的步驟。
【文檔編號(hào)】H04N5/232GK105872354SQ201610036980
【公開日】2016年8月17日
【申請(qǐng)日】2016年1月20日
【發(fā)明人】佐藤哲也
【申請(qǐng)人】株式會(huì)社理光