圖像處理設(shè)備、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及圖像處理設(shè)備，圖像處理方法，和實(shí)現(xiàn)所述圖像處理設(shè)備和圖像處理方法的程序。特別地，本技術(shù)涉及適合于顯示全景圖像數(shù)據(jù)的縮略圖的圖像處理。
[0002]引文列表
[0003]專利文獻(xiàn)
[0004]專利文獻(xiàn)1:JP 2012-99906A
【背景技術(shù)】
[0005]例如，在水平掃描(swe印)照相機(jī)時(shí)，用戶能夠獲得大量的拍攝圖像(幀圖像數(shù)據(jù))，通過(guò)合成獲得的拍攝圖像，可獲得所謂的全景圖像。
[0006]另外，用語(yǔ)“掃描”指的是為了獲得用于生成全景圖像的多條幀圖像數(shù)據(jù)，在拍攝圖像時(shí)，圖像拍攝設(shè)備沿?cái)z像方向轉(zhuǎn)動(dòng)地運(yùn)動(dòng)的操作。例如，如果沿水平方向移動(dòng)攝像方向，那么掃描方向指的是水平方向。
[0007]諸如數(shù)字靜態(tài)照相機(jī)之類的圖像拍攝設(shè)備被配置成即使對(duì)于全景圖像，也和普通的靜止圖像一樣地生成縮略圖圖像，并且列出和顯示例如生成的縮略圖圖像。
[0008]就顯示縮略圖來(lái)說(shuō)，如在專利文獻(xiàn)I中所述，提出了一種顯示3維(3D)圖像的縮略圖的技術(shù)。

【發(fā)明內(nèi)容】

[0009]與普通的靜止圖像相比，全景圖像在水平方向很長(zhǎng)(或者在垂直方向很長(zhǎng))。從而在一些情況下，尤其是當(dāng)列出并顯示多個(gè)縮略圖時(shí)，在保持圖像寬高比(或高寬比，下同)的同時(shí)，簡(jiǎn)單地縮小(經(jīng)過(guò)分辨率變換)的縮略圖圖像會(huì)顯著降低用戶的可見(jiàn)性。不過(guò)，經(jīng)過(guò)分辨率變換的縮略圖圖像確實(shí)表現(xiàn)整個(gè)全景圖像。
[0010]同時(shí)，即使當(dāng)列出并顯示各個(gè)縮略圖圖像時(shí)，在專利文獻(xiàn)I中記載的關(guān)于3D縮略圖圖像的技術(shù)也能夠使縮略圖圖像更易于查看。不過(guò)，3D縮略圖圖像不直接表現(xiàn)整個(gè)全景圖像，而是必須進(jìn)行顯示控制，比如轉(zhuǎn)動(dòng)3D縮略圖圖像，結(jié)果產(chǎn)生較重的處理負(fù)擔(dān)。
[0011]用戶易于認(rèn)識(shí)的縮略圖圖像取決于縮略圖圖像的顯示屏幕或顯示區(qū)域的寬高比和大小，縮略圖圖像的數(shù)目等。
[0012]鑒于這樣的情況，本技術(shù)的目的是更適當(dāng)?shù)叵蛴脩舫尸F(xiàn)全景圖像數(shù)據(jù)的縮略圖圖像。
[0013]首先，按照本技術(shù)的圖像處理設(shè)備包括:第一縮略圖生成部件，所述第一縮略圖生成部件被配置成通過(guò)對(duì)通過(guò)合成多個(gè)拍攝圖像而生成的全景圖像數(shù)據(jù)應(yīng)用分辨率變換，生成第一縮略圖圖像數(shù)據(jù)；和第二縮略圖生成部件，所述第二縮略圖生成部件被配置成通過(guò)對(duì)全景圖像數(shù)據(jù)進(jìn)行寬高比調(diào)整處理，生成第二縮略圖圖像數(shù)據(jù)。
[0014]如果對(duì)于單條全景圖像數(shù)據(jù)，預(yù)先生成了經(jīng)過(guò)分辨率變換的第一縮略圖圖像數(shù)據(jù)，和經(jīng)過(guò)寬高比調(diào)整處理的第二縮略圖圖像數(shù)據(jù)，那么可按照顯示全景圖像數(shù)據(jù)的縮略圖圖像的各種情形，顯示更適當(dāng)?shù)目s略圖圖像。
[0015]第二，在按照本技術(shù)的圖像處理設(shè)備中，可取的是第二縮略圖生成部件根據(jù)處理選擇條件，在各種寬高比調(diào)整處理之中，決定寬高比調(diào)整處理的種類，并生成經(jīng)過(guò)決定的寬高比調(diào)整處理的第二縮略圖圖像數(shù)據(jù)。
[0016]作為寬高比調(diào)整處理，各種處理方法都是可能的，以致通過(guò)利用生成全景圖像數(shù)據(jù)的方法，全景圖像數(shù)據(jù)的視角等作為處理選擇條件，能夠選定適當(dāng)?shù)膶捀弑日{(diào)整處理。
[0017]第三，在按照本技術(shù)的圖像處理設(shè)備中，可取的是第二縮略圖生成部件利用不同種類的寬高比調(diào)整處理，生成多條第二縮略圖圖像數(shù)據(jù)。
[0018]S卩，按照本技術(shù)的圖像處理設(shè)備生成第一縮略圖圖像數(shù)據(jù)，和充當(dāng)多條第二縮略圖圖像數(shù)據(jù)的3條或者更多的縮略圖圖像數(shù)據(jù)。
[0019]第四，在按照本技術(shù)的圖像處理設(shè)備中，可取的是第二縮略圖生成部件利用相同種類的寬高比調(diào)整處理，生成對(duì)于全景圖像數(shù)據(jù)的視點(diǎn)位置不同的多條第二縮略圖圖像數(shù)據(jù)。
[0020]如果生成了具有不同視點(diǎn)位置的多條縮略圖圖像數(shù)據(jù)，那么能夠切換和顯示從不同視點(diǎn)位置，表示原始全景圖像數(shù)據(jù)的縮略圖。
[0021]第五，在按照本技術(shù)的圖像處理設(shè)備中，可取的是第二縮略圖生成部件通過(guò)判定全景圖像數(shù)據(jù)中的對(duì)象，設(shè)定視點(diǎn)位置，并通過(guò)按照視點(diǎn)位置，進(jìn)行寬高比調(diào)整處理，生成第二縮略圖圖像數(shù)據(jù)。
[0022]第二縮略圖生成部件通過(guò)判定對(duì)象，判定全景圖像數(shù)據(jù)中的重要對(duì)象，隨后可按照判定結(jié)果，設(shè)定縮略圖圖像的視點(diǎn)位置。
[0023]第六，在按照本技術(shù)的圖像處理設(shè)備中，可取的是當(dāng)為其生成縮略圖的圖像數(shù)據(jù)是通過(guò)拍攝普通圖像獲得的圖像數(shù)據(jù)時(shí)，第一縮略圖生成部件生成第一縮略圖圖像數(shù)據(jù)，而當(dāng)為其生成縮略圖的圖像數(shù)據(jù)是全景圖像數(shù)據(jù)時(shí)，第一縮略圖生成部件生成第一縮略圖圖像數(shù)據(jù)，第二縮略圖生成部件生成第二縮略圖圖像數(shù)據(jù)。
[0024]這允許適當(dāng)?shù)厣筛鳁l縮略圖圖像數(shù)據(jù)，所述各條縮略圖圖像數(shù)據(jù)中的每一個(gè)都支持普通拍攝圖像和全景拍攝圖像。
[0025]第七，在按照本技術(shù)的圖像處理設(shè)備中，可取的是第二縮略圖生成部件執(zhí)行的寬高比調(diào)整處理是渲染通過(guò)把全景圖像紋理映射到全景圖像數(shù)據(jù)的投影面的三維模型而獲得的圖像的處理，對(duì)全景圖像應(yīng)用極坐標(biāo)變換的處理，和通過(guò)利用全景圖像中的像素的重要性的判定結(jié)果，縮小全景圖像的處理任意之一。
[0026]在處理中，能夠生成具有比經(jīng)過(guò)諸如簡(jiǎn)單地切掉一部分的全景圖像之類寬高比調(diào)整處理更高的有利視覺(jué)效果的縮略圖圖像數(shù)據(jù)。
[0027]第八，在按照本技術(shù)的圖像處理設(shè)備中，可取的是進(jìn)行把第一縮略圖圖像數(shù)據(jù)和第二縮略圖圖像數(shù)據(jù)作為對(duì)應(yīng)于全景圖像數(shù)據(jù)的縮略圖圖像數(shù)據(jù)，記錄在記錄介質(zhì)中的處理。
[0028]這允許在稍后顯示縮略圖圖像時(shí)，使用生成的第一縮略圖圖像數(shù)據(jù)和生成的第二縮略圖圖像數(shù)據(jù)。
[0029]按照本技術(shù)的圖像處理方法包括:通過(guò)對(duì)通過(guò)合成多個(gè)拍攝圖像而生成的全景圖像數(shù)據(jù)應(yīng)用分辨率變換，生成第一縮略圖圖像數(shù)據(jù)的第一縮略圖生成過(guò)程；和通過(guò)對(duì)全景圖像數(shù)據(jù)進(jìn)行寬高比調(diào)整處理，生成第二縮略圖圖像數(shù)據(jù)的第二縮略圖生成過(guò)程。
[0030]按照本技術(shù)的程序使運(yùn)算處理設(shè)備執(zhí)行各個(gè)過(guò)程中的處理。
[0031]這使得能夠?qū)崿F(xiàn)一種對(duì)于單條全景圖像數(shù)據(jù)，生成經(jīng)過(guò)分辨率變換的第一縮略圖圖像數(shù)據(jù)，和經(jīng)過(guò)寬高比調(diào)整處理的第二縮略圖圖像數(shù)據(jù)的設(shè)備。
[0032]按照本技術(shù)，如果對(duì)于單條全景圖像數(shù)據(jù)，生成經(jīng)過(guò)分辨率變換的第一縮略圖圖像數(shù)據(jù)，和經(jīng)過(guò)寬高比調(diào)整處理的第二縮略圖圖像數(shù)據(jù)，那么按照顯示縮略圖的情況，顯示更適當(dāng)?shù)目s略圖圖像的顯示方法是可行的，從而改善用戶的縮略圖可識(shí)別性。
【附圖說(shuō)明】
[0033]圖1是說(shuō)明按照本技術(shù)的實(shí)施例拍攝的全景圖像的說(shuō)明圖。
[0034]圖2是按照實(shí)施例的全景圖像合成的說(shuō)明圖。
[0035]圖3是按照實(shí)施例的全景圖像的說(shuō)明圖。
[0036]圖4是說(shuō)明按照實(shí)施例，對(duì)于全景圖像顯示縮略圖圖像的說(shuō)明圖。
[0037]圖5是按照實(shí)施例的圖像處理設(shè)備的方框圖。
[0038]圖6是按照實(shí)施例的圖像處理設(shè)備進(jìn)行的處理的流程圖。
[0039]圖7是按照實(shí)施例的圖像拍攝設(shè)備的方框圖。
[0040]圖8是按照實(shí)施例的圖像拍攝設(shè)備進(jìn)行的全景圖像生成處理的說(shuō)明圖。
[0041]圖9是按照實(shí)施例的圖像拍攝設(shè)備進(jìn)行的縮略圖圖像生成處理的說(shuō)明圖。
[0042]圖10是按照實(shí)施例的通過(guò)圓柱投影和球面投影，生成縮略圖圖像的視點(diǎn)位置的說(shuō)明圖。
[0043]圖11是按照實(shí)施例的寬高比調(diào)整縮略圖圖像的說(shuō)明圖。
[0044]圖12是按照實(shí)施例的寬高比調(diào)整縮略圖圖像的說(shuō)明圖。
[0045]圖13是按照實(shí)施例的縮略圖生成處理例子的流程圖。
[0046]圖14是按照實(shí)施例的縮略圖生成處理例子的流程圖。
[0047]圖15是按照實(shí)施例的縮略圖生成處理例子的流程圖。
[0048]圖16是按照實(shí)施例判斷的圖像拍攝設(shè)備的姿勢(shì)的說(shuō)明圖。
[0049]圖17是按照實(shí)施例的其中列出和顯示縮略圖圖像的例子的說(shuō)明圖。
[0050]圖18是按照實(shí)施例的其中顯示單個(gè)縮略圖圖像的例子的說(shuō)明圖。
[0051]圖19是按照實(shí)施例判斷的顯示區(qū)域的說(shuō)明圖。
[0052]圖20是按照實(shí)施例的顯示處理例子的流程圖。
[0053]圖21是按照實(shí)施例的顯示處理例子的流程圖。
[0054]圖22是按照實(shí)施例的顯示處理例子的流程圖。
[0055]圖23是按照實(shí)施例的顯示處理例子的流程圖。
[0056]圖24是按照實(shí)施例的計(jì)算機(jī)設(shè)備的方框圖。
【具體實(shí)施方式】
[0057]將按照以下順序，說(shuō)明實(shí)施例。
[0058]作為實(shí)施例，將說(shuō)明圖像處理設(shè)備，內(nèi)置有所述圖像處理設(shè)備的圖像拍攝設(shè)備，起圖像處理設(shè)備作用的計(jì)算機(jī)設(shè)備，以及程序的例子。
[0059]〈1.全景合成和再現(xiàn)的概況>
[0060]<2.第一實(shí)施例(圖像處理設(shè)備)>
[0061]〈3.第二實(shí)施例(圖像拍攝設(shè)備)>
[0062][3-1:圖像拍攝設(shè)備的結(jié)構(gòu)]
[0063][3-2:全景合成處理]
[0064][3-3:全景圖像生成和種類]
[0065][3-4:圖像處理例子]
[0066][3-5:縮略圖顯示區(qū)域]
[0067][3-6:縮略圖顯不處理例子]
[0068]<4.第三實(shí)施例(計(jì)算機(jī)設(shè)備和程序)>
[0069]<5.變形例 >
[0070]〈1.全景合成和再現(xiàn)的概況>
[0071]首先，說(shuō)明全景合成的概況。
[0072]按照下述實(shí)施例的圖像拍攝設(shè)備50和近來(lái)的普通圖像拍攝設(shè)備(數(shù)字靜態(tài)照相機(jī))通過(guò)對(duì)攝影者在繞某個(gè)轉(zhuǎn)動(dòng)軸，轉(zhuǎn)動(dòng)圖像拍攝設(shè)備50時(shí)拍攝的多個(gè)靜止圖像(幀圖像數(shù)據(jù))進(jìn)行合成處理，能夠生成廣角(最大到360° )全景圖像。
[0073]圖1A圖解說(shuō)明拍攝全景圖像的圖像拍攝設(shè)備50的移動(dòng)。由于遠(yuǎn)景(或背景)和近景(或前景)之間的視差使合成圖像的接合處在全景圖像中不自然，因此希望的是利用鏡頭特有的觀察不到視差的點(diǎn)(稱為節(jié)點(diǎn))，作為拍攝圖像時(shí)的旋轉(zhuǎn)中心。圖像拍攝設(shè)備50拍攝全景圖像時(shí)的旋轉(zhuǎn)被稱為“掃描”。
[0074]圖1B是圖解說(shuō)明適當(dāng)?shù)匕淹ㄟ^(guò)圖像拍攝設(shè)備50的掃描而獲得的多個(gè)靜止圖像排成一行的示意圖。
[0075]圖1B從第一個(gè)拍攝圖像起，按時(shí)間順序圖解說(shuō)明各個(gè)拍攝的靜止圖像。S卩，從時(shí)間O到時(shí)間(η-1)拍攝的各個(gè)幀圖像數(shù)據(jù)被稱為幀圖像數(shù)據(jù)FM#0、FM#l-FM#(n-l)。
[0076]如果從η個(gè)靜止圖像生成全景圖像，那么對(duì)如圖1B中圖示的連續(xù)拍攝的一系列η個(gè)幀圖像數(shù)據(jù)FM#0?FM#(n-l)進(jìn)行合成處理。
[0077]把各個(gè)幀圖像數(shù)據(jù)排列成行通常不僅導(dǎo)致掃描方向上的輕微移動(dòng)，而且導(dǎo)致與掃描方向垂直的方向上的輕微移動(dòng)。這是由進(jìn)行掃描操作的攝影者的照相機(jī)抖動(dòng)引起的偏差。
[0078]如圖1B中圖解所示，各個(gè)拍攝的幀圖像數(shù)據(jù)必然會(huì)部分與相鄰的幀圖像數(shù)據(jù)重疊。因而，必須適當(dāng)?shù)卦O(shè)定圖像拍攝設(shè)備50拍攝各個(gè)幀圖像數(shù)據(jù)的時(shí)間間隔，和攝影者的掃描速度的上限。
[0079]按照這種方式排列成行的一組幀圖像數(shù)據(jù)具有大量的重疊部分，以致必須決定各個(gè)幀圖像數(shù)據(jù)的將用于最終的全景圖像的區(qū)域。換句話說(shuō)，這和全景合成處理中的決定圖像的接合處(接縫)相同。
[0080]圖2A和2B圖解說(shuō)明接縫SM的例子。
[0081]接縫包括如圖2A中圖解所示的垂直于掃描方向的直線，和如圖2B中圖解所示的非直線(比如曲線)。
[0082]在圖2A和2B中，接縫SMO表示幀圖像數(shù)據(jù)FM#0和FM#1之間的接合處，接縫SMl表示幀圖像數(shù)據(jù)FM#1和FM#2之間的接合處，…接縫SM(n_2)表示幀圖像數(shù)據(jù)FM# (n_2)和FM#(n-l)之間的接合處。
[0083]另外，如果SMO?SM(n-2)用作合成的相鄰圖像之間的接合處，那么各個(gè)幀圖像數(shù)據(jù)中的陰影圖像區(qū)不用于最終的全景圖像。
[0084]當(dāng)進(jìn)行全景合成時(shí)，在一些情況下，對(duì)接縫周圍的圖像區(qū)進(jìn)行混合處理，以便改善接縫周圍的圖像的不自然。
[0085]—方面，對(duì)為各個(gè)幀圖像數(shù)據(jù)所共有的部分廣泛進(jìn)行混合處理，以接合各個(gè)幀圖像數(shù)據(jù)。另一方面，從公共部分中選擇有助于全景圖像的各個(gè)像素。在這些情況下，不存在明確的接合處，不過(guò)在本說(shuō)明中，這種廣泛接合的部分也被視為接縫。
[0086]決定各個(gè)幀圖像數(shù)據(jù)的接縫，通過(guò)接合邊界區(qū)域，或者對(duì)邊界區(qū)域進(jìn)行混合處理，接合各個(gè)幀圖像數(shù)據(jù)，最后根據(jù)照相機(jī)抖動(dòng)量，裁去與掃描方向垂直的方向的不必要部分，可產(chǎn)生如圖3中圖解所示，把掃描方向作為縱向方向的廣角全景圖像。
[0087]圖3用縱線圖解說(shuō)明接縫，示意地圖解說(shuō)明在接縫SMO?SM (n-2)，接合η個(gè)幀圖像數(shù)據(jù)FM#0?FM# (η-1)，從而生成全景圖像。
[0088]下面說(shuō)明為了獲得這樣的全景圖像，用戶利用圖像拍攝設(shè)備50進(jìn)行的操作的具體例子。
[0089]首先，用戶把圖像拍攝設(shè)備50設(shè)定成全景圖像拍攝模式，此外設(shè)定最大圖像拍攝視角。例如，用戶可選擇120°、180°和360°，作為最大圖像拍攝視角。如果用戶選擇360°，那么能夠拍攝包括用戶周圍的所有景象的所謂全周圖像。
[0090]之后，攝影者按下圖像拍攝設(shè)備50的快門(mén)按鈕，以開(kāi)始拍攝全景圖像，并進(jìn)行掃描操作。如果之后全景圖像拍攝的終止條件被滿足，那么結(jié)束全景圖像拍攝。例如，所述終止條件是:
[0091]*達(dá)到預(yù)先設(shè)定的最大圖像拍攝視角，
[0092]*用戶進(jìn)行的掃描操作被停止，
[0093]*用戶再次按下快門(mén)按鈕，
[0094]*用戶從快門(mén)按鈕抬起他或她的手指(在當(dāng)拍攝全景圖像時(shí)，快門(mén)按鈕保持被按下的規(guī)范中)，和
[0095]*發(fā)生某種錯(cuò)誤。
[0096]在完成圖像拍攝之后，自動(dòng)開(kāi)始全景合成處理。在一定時(shí)間之后，完成全景圖像的合成，全景圖像數(shù)據(jù)被保存在記錄設(shè)備中。
[0097]另外，通過(guò)進(jìn)行諸如分辨率變換之類的縮小處理，從全景圖像數(shù)據(jù)生成縮略圖圖像數(shù)據(jù)，并與全景圖像數(shù)據(jù)關(guān)聯(lián)地保存在記錄設(shè)備中。
[0098]之后能夠按照和普通靜止圖像數(shù)據(jù)相同的方式，顯示全景圖像數(shù)據(jù)，以及一覽地顯不縮略圖圖像。
[0099]圖4Α圖解說(shuō)明其中在圖像拍攝設(shè)備50的顯示面板105a上，正常地顯示全景圖像的例子，圖4B圖解說(shuō)明其中一覽地顯示多個(gè)縮略圖圖像TMl的例子。
[0100]在圖4B的例子中，通過(guò)進(jìn)行諸如分辨率變換之類縮小處理而生成的大量縮略圖圖像TMl被一覽地顯示，不過(guò)，如圖中所示，縮略圖圖像TMl代表排列在屏幕上的各個(gè)縮小的水平(或者垂直)較長(zhǎng)的全景圖像數(shù)據(jù)。因而，全景圖像的可視性被顯著降低。
[0101]按照下述實(shí)施例的圖像處理設(shè)備I和2，圖像拍攝設(shè)備50和計(jì)算機(jī)設(shè)備70從而利用如圖4C中圖解所示，通過(guò)進(jìn)行寬高比調(diào)整處理而生成的縮略圖圖像TM2來(lái)一覽地顯示縮略圖圖像。盡管在下面詳細(xì)說(shuō)明，不過(guò)經(jīng)過(guò)寬高比調(diào)整處理的縮略圖圖像TM2指的是:
[0102]*通過(guò)進(jìn)行繪制圖像的處理而生成的縮略圖圖像，所述圖像是通過(guò)把全景圖像紋理映射到全景圖像數(shù)據(jù)的投