圖像處理裝置、方法及其程序的制作方法
【專利摘要】本發(fā)明提供一種圖像處理裝置、方法及其程序。通過本發(fā)明能夠判定從所拍攝的基準圖像得到的特定形狀候選是否具有在實際空間上對應的形狀。從基準圖像，由直線包圍的形狀作為具有矩形的候選而被檢測。生成將表示具有矩形的候選的對象物以與基準圖像的視角不同的視角拍攝而得到的對象物圖像。從以不同的視角拍攝而得到的參考圖像中檢測到所生成的對象物圖像。若被檢測到，則該矩形的候選所表示的對象物確定為矩形。
【專利說明】
圖像處理裝置、方法及其程序
技術領域
[0001] 本發(fā)明涉及一種圖像處理裝置、方法及其程序。
【背景技術】
[0002] 圖像處理技術中提出有多種技術。例如有如下技術。從多個相機的圖像中提取對 象，并定義在地表面、三維空間上的尺寸，通過比較對象的高度來判斷為相同的技術(專利 文獻1)。除了正規(guī)化的形狀信息以外，將截面積與高度、或截面積與體積、或體積與高度等 物體的尺寸信息中至少兩種信息提供給物體識別神經(jīng)網(wǎng)絡，由此識別物體的技術(專利文 獻2)。從立體相機圖像的對應點中選擇4點，求出包含這些點的三維平面信息，由三維信息 求出傾斜角度，并以成為正面的方式進行校正的技術(專利文獻3)。
[0003] 以往技術文獻 [0004] 專利文獻
[0005] 專利文獻1:日本特開2000-20728號公報
[0006] 專利文獻2:日本特開平7-318331號公報 [0007] 專利文獻3:日本特開2010-198554號公報
[0008] 發(fā)明的概要
[0009] 發(fā)明要解決的技術課題
[0010] 當在圖像上有如長方形、平行四邊形等以直線包圍的形狀時，對于計算該形狀的 縱橫比而言能夠相對簡單地求出。然而，當通過攝像而得到的圖像中包含如長方形、平行四 邊形等以直線包圍的形狀時，只要知道尺寸，就可以知道它們的形狀，但根據(jù)視角，有時無 法判定該形狀所表示的實際空間上的對象物實際上也是長方形或平行四邊形等。這種情況 在專利文獻1至3中也并未考慮到。
[0011] 本發(fā)明的目的在于，即使不知道通過拍攝而得到的圖像中所包含的以直線包圍的 形狀在實際空間上的尺寸，也能夠判定實際上是否具有這種形狀。
[0012] 用于解決技術課題的手段
[0013] 基于本發(fā)明的圖像處理裝置，其特征在于，具備:基準圖像輸入機構(gòu)，輸入通過拍 攝而得到的基準圖像;參考圖像輸入機構(gòu)，輸入以與拍攝基準圖像的視角不同的視角拍攝 而得到的參考圖像;特定形狀候選檢測機構(gòu)，從由基準圖像輸入機構(gòu)輸入的基準圖像，將由 直線包圍的形狀(將三角形、矩形、平行四邊形、五角形、其他多角形等由直線包圍的形狀稱 為特定形狀。）推定為具有特定的形狀(例如矩形)的特定形狀候選來進行檢測;虛擬對象物 信息生成機構(gòu)，生成對虛擬對象物圖像進行特定的虛擬對象物信息，所述虛擬對象物信息 是將通過特定形狀候選檢測機構(gòu)檢測到的特定形狀候選所表示的對象物以與拍攝基準圖 像的視角不同的視角拍攝時得到的(包括坐標、虛擬對象物本身。）；虛擬對象物圖像檢測機 構(gòu)，利用通過虛擬對象物信息生成機構(gòu)生成的虛擬對象物信息，從由參考圖像輸入機構(gòu)輸 入的參考圖像中，檢測虛擬對象物圖像;形狀判定機構(gòu)，根據(jù)通過虛擬對象物圖像檢測機構(gòu) 檢測到虛擬對象物圖像，將通過特定形狀候選檢測機構(gòu)檢測到的特定形狀候選判定為具有 特定的形狀的特定形狀;生成控制機構(gòu)，根據(jù)通過虛擬對象物圖像檢測機構(gòu)未檢測到虛擬 對象物圖像，控制虛擬對象物信息生成機構(gòu)以生成對通過改變虛擬對象物圖像的尺寸或位 置的至少一個而得到的虛擬對象物圖像進行特定的虛擬對象物信息；以及反復控制機構(gòu)， 反復進行虛擬對象物圖像檢測機構(gòu)中的檢測處理、形狀判定機構(gòu)中的判定處理及生成控制 機構(gòu)中的控制處理。
[0014] 本發(fā)明還提供一種圖像處理方法。即，該方法中，基準圖像輸入機構(gòu)輸入通過拍攝 而得到的基準圖像;參考圖像輸入機構(gòu)輸入以與拍攝基準圖像的視角不同的視角拍攝而得 到的參考圖像;特定形狀候選檢測機構(gòu)從由基準圖像輸入機構(gòu)輸入的基準圖像，將由直線 包圍的形狀推定為具有特定的形狀的特定形狀候選來進行檢測;虛擬對象物信息生成機構(gòu) 生成對虛擬對象物圖像進行特定的虛擬對象物信息，所述虛擬對象物信息是將通過特定形 狀候選檢測機構(gòu)檢測到的特定形狀候選所表示的對象物以與拍攝基準圖像的視角不同的 視角拍攝時得到的;虛擬對象物圖像檢測機構(gòu)利用通過虛擬對象物信息生成機構(gòu)生成的虛 擬對象物信息，從由參考圖像輸入機構(gòu)輸入的參考圖像中，檢測虛擬對象物圖像;形狀判定 機構(gòu)根據(jù)通過虛擬對象物圖像檢測機構(gòu)檢測到虛擬對象物圖像，將通過特定形狀候選檢測 機構(gòu)檢測到的特定形狀候選判定為具有特定的形狀的特定形狀;生成控制機構(gòu)根據(jù)通過虛 擬對象物圖像檢測機構(gòu)未檢測到虛擬對象物圖像，控制虛擬對象物信息生成機構(gòu)以生成對 通過改變虛擬對象物圖像的尺寸或位置的至少一個而得到的虛擬對象物圖像進行特定的 虛擬對象物信息；反復控制機構(gòu)反復進行虛擬對象物圖像檢測機構(gòu)中的檢測處理、形狀判 定機構(gòu)中的判定處理及生成控制機構(gòu)中的控制處理。
[0015] 本發(fā)明還提供一種控制圖像處理裝置的計算機的程序。也可以提供儲存這種程序 的記錄介質(zhì)。
[0016] 還可以具備:校正機構(gòu)，將通過形狀判定機構(gòu)判定為具有特定的形狀的特定形狀 校正為從正面拍攝對象物時得到的形狀。
[0017] 虛擬對象物信息生成機構(gòu)例如為當已知對象物的尺寸時，根據(jù)預先設定的一個或 多個尺寸生成虛擬對象物信息的機構(gòu)。
[0018] 還可以具備：角度計算機構(gòu)，計算在實際空間中對象物的輪廓所示出的角度;及特 定形狀確定機構(gòu)，根據(jù)通過角度計算機構(gòu)計算的角度確定通過特定形狀候選檢測機構(gòu)檢測 到的特定形狀候選中作為對象的特定形狀候選。此時，虛擬對象物信息生成機構(gòu)例如為生 成對虛擬對象物圖像進行特定的虛擬對象物信息的機構(gòu)，所述虛擬對象物信息是將通過特 定形狀確定機構(gòu)確定的特定形狀所表示的對象物以與拍攝基準圖像的視角不同的視角拍 攝時得到的。
[0019] 還可以具備:狀態(tài)確定機構(gòu)，在形狀判定機構(gòu)中判定的特定形狀為多個時，確定多 個特定形狀是處于同一平面上、還是處于平行平面上、或處于垂直的平面上。
[0020] 特定的形狀例如為三角形、矩形、梯形或平行四邊形。
[0021] 還可以具備拍攝基準圖像的第1攝像裝置及拍攝參考圖像的第2攝像裝置。基準圖 像輸入機構(gòu)及參考圖像輸入機構(gòu)可以是1個攝像裝置。此時，輸入通過攝像裝置的拍攝而得 到的基準圖像及參考圖像。
[0022]發(fā)明效果
[0023]根據(jù)本發(fā)明，從通過拍攝而得到的基準圖像，由直線包圍的形狀(例如，三角形、矩 形、平行四邊形、梯形等)被推定為具有特定的形狀的特定形狀候選(例如，矩形)而被檢測 至Ij。生成對虛擬對象物圖像進行特定的虛擬對象物信息，所述虛擬對象物信息是將被檢測 到的特定形狀候選所表示的實際空間上的對象物以與拍攝基準圖像的視角不同的視角拍 攝時得到的(可以是坐標、虛擬對象物圖像本身）。利用生成的虛擬對象物信息，從以不同的 視角拍攝而得到的參考圖像中，若檢測到虛擬對象物圖像，則被檢測到的特定形狀候選可 判定為具有特定的形狀的特定形狀。若特定形狀候選為具有特定的形狀的特定形狀，貝 1J虛 擬對象物圖像理應從參考圖像被檢測出，因此從參考圖像檢測到虛擬對象物圖像時，可將 該特定形狀候選判定為具有特定的形狀的特定形狀，即使在實際空間上，也可判定為具有 這種特定形狀。若未檢測到虛擬對象物圖像，則以改變虛擬對象物圖像的尺寸或位置的至 少一個的方式生成對虛擬對象物圖像進行特定的虛擬對象物信息。利用生成的虛擬對象物 信息，從參考圖像中反復進行虛擬對象物圖像的檢測及形狀判定。即使不知道實際空間上 的尺寸，也能夠判定在實際空間上具有特定的形狀的特定形狀。
【附圖說明】
[0024]圖1是圖像處理裝置的電結(jié)構(gòu)的一例。
[0025]圖2是實際空間的一例。
[0026]圖3是基準圖像的一例。
[0027]圖4是參考圖像的一例。
[0028]圖5是表示圖像處理裝置的處理順序的流程圖。
[0029]圖6是表示圖像處理裝置的處理順序的流程圖。
[0030] 圖7示出從基準圖像檢測以直線包圍的形狀的情況。
[0031] 圖8是虛擬對象物圖像的一例。
[0032]圖9示出拍攝對象物的情況。
[0033]圖10是表示圖像處理裝置的處理順序的一部分的流程圖。
[0034]圖11是表示圖像處理裝置的處理順序的流程圖。
[0035]圖12是表示圖像處理裝置的處理順序的流程圖。
[0036]圖13示出拍攝對象物的情況。
[0037]圖14是表示圖像處理裝置的處理順序的流程圖。
【具體實施方式】
[0038] 圖1是表示本發(fā)明的實施例的圖，且表示圖像處理裝置的電結(jié)構(gòu)的框圖。
[0039] 圖像處理裝置是如智能手機一樣自由攜帶的裝置，但也可以設置在屋外。
[0040] 圖像處理裝置的整體的動作由CPU9集中控制。
[0041] 圖像處理裝置包括第1相機(基準圖像輸入機構(gòu)）1及第2相機(參考圖像輸入機構(gòu)） 2。第1相機1是將通過拍攝而得到的基準圖像輸入到圖像處理裝置的相機，第2相機2是將以 與基準圖像不同的視角拍攝而得到的參考圖像輸入到圖像處理裝置的相機。即便第1相機1 及第2相機2的至少一個沒有設置于圖像處理裝置，只要基準圖像及參考圖像被輸入到圖像 處理裝置即可。例如，可以利用一臺相機以不同的視角拍攝兩次，從而得到基準圖像與參考 圖像。圖像處理裝置中也可以不設置相機。
[0042]圖像處理裝置中設置有顯示裝置3。該顯示裝置3的顯示畫面上形成有觸摸面板4。 來自觸摸面板4的指示被輸入到CPU9。并且，圖像處理裝置中設置有用于存儲數(shù)據(jù)的存儲器 5,用于經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡而進行連接的通信裝置6,及存儲卡接口 7。儲存有后述的控制處 理的程序的存儲卡8經(jīng)由存儲卡接口 7被讀取。如此，被讀取的程序被安裝到圖像處理裝置。 但是，即使程序沒有儲存在如存儲器卡8那樣的便攜式記錄介質(zhì)中，也可以將經(jīng)由網(wǎng)絡發(fā)送 的程序在通信裝置6中進行接收，以使接收的程序被安裝到圖像處理裝置。
[0043]圖2是屋外的景色的一例。
[0044] 沿著道路27建造有第1建筑物10及第2建筑物20。實際空間上的第1建筑物10的側(cè) 壁為平行四邊形，正面的壁12及屋頂13為矩形，背面的壁14從背面觀察為矩形。并且，實際 空間上的第2建筑物20的壁21及24為矩形，但房頂?shù)膫?cè)面22為正三角形，房頂?shù)恼?3為矩 形。這種景色是利用視角不同的上述第1相機1及第2相機2拍攝而得到的。
[0045] 圖3是通過利用第1相機1的拍攝而得到的圖像(稱為基準圖像)的一例。
[0046] 基準圖像包含第1建筑物圖像10A、第2建筑物圖像20A及道路圖像27A。第1建筑物 圖像10A、第2建筑物圖像20A及道路圖像27A與圖2所示的第1建筑物10、第2建筑物20及道路 27對應。第1建筑物圖像IOA的側(cè)面的壁圖像11A、正面的壁圖像12A及背面的壁圖像14A分別 與圖2所示的第1建筑物10的側(cè)面的壁11、正面的壁12及背面的壁14對應，第2建筑物圖像 20A的側(cè)面的壁圖像21A、正面的壁圖像24A、房頂?shù)恼鎴D像23A及房頂?shù)膫?cè)面圖像22A分別 與圖2所示的第2建筑物20的側(cè)面的壁21、正面的壁24、房頂?shù)恼?3及房頂?shù)膫?cè)面22對應。
[0047] 圖4是通過利用第2相機2的拍攝而得到的圖像(稱為參考圖像)的一例。
[0048]與基準圖像相同，參考圖像包含第1建筑物圖像10B、第2建筑物圖像20B及道路圖 像27B。第1建筑物圖像10B、第2建筑物圖像20B及道路圖像27B與圖2所示的第1建筑物10、第 2建筑物20及道路27對應。第1建筑物圖像IOB的側(cè)面的壁圖像11B、正面的壁圖像12B及背面 的壁圖像14B分別與圖2所示的第1建筑物10的側(cè)面的壁11、正面的壁12及背面的壁14對應， 第2建筑物圖像20B的側(cè)面的壁圖像21B、正面的壁圖像24B、房頂?shù)恼鎴D像23B及房頂?shù)膫?cè) 面圖像22B分別與圖2所示的第2建筑物20的側(cè)面的壁21、正面的壁24、房頂?shù)恼?3及房頂 的側(cè)面22對應。
[0049] 第1相機1與第2相機2是以視角不同的方式配置于圖像處理裝置1，因此通過第1相 機1的拍攝而得到的基準圖像(參考圖3)與通過第2相機2的拍攝而得到的參考圖像(參考圖 4)的視角有所不同。
[0050] 圖5及圖6是表示圖像處理裝置1的處理順序的流程圖。
[0051] 該處理順序判定表示實際空間上具有矩形(特定的形狀）的特定形狀（如三角形、 矩形、平行四邊形、梯形、正方形、五角形以上的多角形那樣將以直線包圍的形狀稱為特定 形狀。）的對象物的對象物圖像是否包含于基準圖像，具體而言，判定表示平行四邊形的對 象物的對象物圖像是否包含于基準圖像。
[0052] 首先，從通過拍攝而得到的基準圖像20A通過CPU2檢測直線（步驟31)。接著，通過 CPU2檢測被檢測到的直線的交點（步驟32)。另外，將由直線包圍的矩形(特定形狀)作為平 行四邊形候選(具有特定的形狀的特定形狀候選)來檢測(步驟33)。
[0053] 圖7是檢測出的平行四邊形候選(特定形狀候選)的一例。
[0054]從包含于圖3的基準圖像的第1建筑物圖像IOA的側(cè)面的壁11A、正面的壁12A及背 面的壁14A，將平行四邊形候選圖像11C、12C及14C推定為平行四邊形候選來檢測。并且，從 包含于圖3的基準圖像的第2建筑物圖像20A的側(cè)面的壁圖像21A、正面的壁圖像24A及房頂 的正面的圖像23A，將平行四邊形候選圖像24C、21C及23C通過CPU9推定為平行四邊形候選 來進行檢測(將由直線包圍的形狀推定為具有特定的形狀的特定形狀候選來進行檢測。特 定形狀候選檢測機構(gòu)）。
[0055] 若檢測到平行四邊候選圖像11(：、12(：、14(：、21(：、23(：及24(：，則可推定這些平行四邊 形候選圖像11(：、12(：、14(：、21(：、23(：及24(：在實際空間上所表示的平行四邊形的形狀和方向 (步驟34)。關于該推定的詳細內(nèi)容將進行后述。
[0056] 接著，假設平行四邊形候選圖像11(：、12(：、14(：、21(：、23(：及24(：在實際空間上所表示 的對象物的尺寸及至對象物的距離（步驟35)。對象物的尺寸可被認為是成為對象物的物 體，例如按照建筑物、汽車、標志、號牌、書等由一般的尺寸進行假設。關于至對象物的距離 也相同。關于如號牌或書那樣預先有尺寸規(guī)格的物體，優(yōu)選由通過設備保持的尺寸規(guī)格的 信息進行設定。
[0057]另外，通過CPU9生成虛擬對象物信息（步驟36)(虛擬對象物信息生成機構(gòu)）。虛擬 對象物信息是對將被檢測到的平行四邊形候選圖像(特定形狀候選圖像)所表示的對象物 通過第2相機2拍攝時得到的虛擬對象物圖像進行特定的信息。虛擬對象物信息可以是虛擬 對象物圖像本身，也可以是對虛擬對象物圖像的位置、尺寸進行特定的坐標。該實施例中， 作為虛擬對象物信息可利用虛擬對象物圖像。
[0058]圖8是虛擬對象物圖像的一例。
[0059] 虛擬對象物圖像110、120、140、210、230及240是將平行四邊形候選圖像11(：、12(：、 14C、21C、23C及24C假設為拍攝平行四邊形的對象物而得到的圖像的情況下，從第2相機2的 攝影角度，拍攝這些平行四邊形的對象物時得到的圖像。
[0060] 如此生成的虛擬對象物圖像110、120、140、210、230及240是否包含于圖4所示的參 考圖像中的檢測處理通過CPU9進行(步驟37)(虛擬對象物圖像檢測機構(gòu)）。虛擬對象物圖像 110、120、140、210、230及240中，若從參考圖像中檢測到任一虛擬對象物圖像（步驟38中 是），與被檢測到的虛擬對象物圖像對應的平行四邊形候選圖像所表示的對象物通過CPU9 確定為平行四邊形(特定形狀）（步驟39)(形狀判定機構(gòu)）。例如，若從圖2的參考圖像中檢測 到虛擬對象物圖像IlD(第2建筑物10的側(cè)面的壁11為平行四邊形，因此檢測到第2建筑物的 圖像IOB的側(cè)面的壁圖像11B)，與該虛擬對象物圖像IlD對應的實際空間上的對應物(第1建 筑物20的側(cè)壁11A)判斷為平行四邊形。仿射變換確定為平行四邊形的平行四邊形候選圖像 11D，得到從正面拍攝與該平行四邊形候選圖像對應的對象物時得到的經(jīng)校正的形狀的圖 像(步驟40)(校正機構(gòu)）。例如，通過仿射變換而得到從正面拍攝圖2所示的第1建筑物10的 側(cè)壁11時得到的圖像。并且，可以將與確定為平行四邊形的側(cè)壁11對應的側(cè)壁圖像IlA(參 考圖3)以認為是平行四邊形的方式進行顯示（例如，以確定的顏色進行包圍），也可以記錄 坐標、面積、邊長等。
[0061] 從圖4所示的參考圖像中未檢測到虛擬對象物圖像時（步驟38中否），通過CPU9改 變對象物的尺寸與至對象物的距離的假設(步驟41)。由此，使得圖8所示的虛擬對象物圖像 120、140、210、230及240的尺寸、位置改變(生成控制機構(gòu)）。具有多個對象物，且預先知道這 些的尺寸時，生成與各個對象物的尺寸對應的虛擬對象物圖像(信息）。直至超過所設想的 對象物的尺寸及距離(步驟42中否），反復進行從步驟37的處理(虛擬對象物圖像檢測機構(gòu) 中的檢測處理、形狀判定機構(gòu)中的判定處理及生成控制機構(gòu)中的控制處理）（反復控制機 構(gòu)）。在這些反復過程中，從圖4所示的參考圖像中檢測到與虛擬對象物圖像12D、14D、21D、 23D及24D對應的圖像部分，與這些虛擬對象物圖像120、140、210、230及240對應的實際空間 上的對應物12、14、21、23及24也被判斷為平行四邊形。
[0062]超過所設想的對象物的尺寸及距離的平行四邊形候選確定為不是平行四邊形(特 定形狀候選）（步驟42中是，步驟43)。
[0063]圖9是用于說明推定實際空間上的平行四邊形(特定形狀)的處理的圖。
[0064]例如，若通過內(nèi)置于第1相機1的圖像傳感器70拍攝到第1建筑物10的側(cè)壁11，則表 示該壁11的光學圖像通過第1相機1的成像透鏡71(焦點距離f)成像于圖像傳感器70的受光 面上。圖像傳感器70的受光面上形成有側(cè)壁11的圖像11E。
[0065]將圖像傳感器70上所形成的側(cè)壁11的圖像IIE的四角的坐標設為a = (UI，V1 )、β = (112，￥2)、丫=(113，￥3)及5 = (114，￥4)。這些四角的坐標€[、0、丫及3與實際空間上的側(cè)壁11的 四角a、b、c及d對應。若將側(cè)壁11的圖像11E的中心坐標設為(u0，νΟ)，則實際空間上的四角 a、b、c及d的坐標a=(xl，yl，zl)、b=(x2，y2，z2)、c = (x3，y3，z3)及(1=(叉4,74,24)成為如 下。其中，A、B、C及D為系數(shù)(倍率）。
[0066] xl =A(ul-uO) ,yl =A(vl-vO) ,zl = Af
[0067] x2 = B(u2_uO)，y2 = B(v2_vO)，z2 = Bf
[0068] x3 = C(u3_uO)，y3 = C(v3_vO)，z3 = Cf
[0069] x4 = D(u4_uO)，y4 = D(v4_vO)，z4 = Df
[0070] 實際空間上的四角a、b、c及d存在于系數(shù)A、B、C及D為某一常數(shù)的某處，因此實際空 間上的四角a、b、c及d為平行四邊形時，式1成立。
[0071] [數(shù)式 1]
[0072]
* * *. * 式1
[0073] 從式1及上述實際空間上的四角a、b、c及d的坐標的關系求出系數(shù)的關系B/A、C/A 及D/A。由于系數(shù)A并不是唯一的，因此無法確定以四角a、b、c及d規(guī)定的側(cè)壁11的尺寸及至 側(cè)壁11的距離，但可確定該側(cè)壁11的方向。
[0074]圖10是表示變形例的圖，且示出圖像處理裝置的處理順序的一部分。
[0075]若推定出實際空間上的平行四邊形(特定形狀）的形狀及方向（圖5步驟34)，則可 計算實際空間上的對象物的輪廓所示出的角度(圖9步驟61)(角度計算機構(gòu)）。例如，計算出 第1建筑物21的壁的輪廓所示出的角度。判斷計算出的角度是否具有找出的特定形狀的角 度(步驟62)。例如，只找出矩形的特定形狀時，判斷是否具有直角。若不具有這種角度(步驟 62中否），則該平行四邊形候選確定為不是矩形（圖6步驟43)。若具有這種角度（步驟62中 是），則進行圖6步驟35以后的處理，且檢測到矩形(特定形狀確定機構(gòu)）。
[0076]特定形狀為正三角形時，能夠如下求出正三角形的方向。
[0077]圖11及圖12是表示圖像處理裝置的另一處理順序的流程圖，與圖5及圖6所示的處 理順序?qū)?。圖11或圖12中，對與圖5或圖6所示的處理相同的處理標注相同符號并省略說 明。
[0078]圖5及圖6所示的處理是檢測平行四邊形的處理，但圖11及圖12是檢測正三角形的 處理。
[0079] 如上述從基準圖像(參考圖3)進行直線及交點的檢測(步驟31、32)，將得到的三角 形推定為正三角形候選來檢測(步驟33A)。如后述，推定正三角形的形狀與方向（步驟34A)。
[0080] 進行與上述處理同樣的處理，關于正三角形與被確定的正三角形候選，通過由檢 測到的正三角形候選特定的對象物圖像以從正面拍攝的方式進行仿射變換（步驟39A、 40A)。并且，關于其他的正三角形候選確定為不是正三角形(步驟43A)。
[0081] 圖13示出拍攝正三角形的房頂?shù)膫?cè)面22的情況。
[0082]與上述同樣地，若通過內(nèi)置于第1相機1的圖像傳感器70進行拍攝，則表示該房頂 的側(cè)面22的光學圖像通過第1相機1的成像透鏡71成像于圖像傳感器70的受光面上。圖像傳 感器70的受光面上形成有房頂?shù)膫?cè)面22的圖像22E。
[0083]將圖像傳感器70上所形成的側(cè)壁26的圖像26A的3個角的坐標設為α1、β1及γ 1。這 3個角的坐標〇1 = (1111，￥11)、|31 = (1112，￥12)及丫1 = (1113，￥13)與實際空間上的側(cè)壁26的3 個角al、bl及cl對應。將側(cè)壁26的圖像26Α的中心坐標設為(ulO，vlO)，則實際空間上的坐標 al = (xll，yll，zll)、bl = (xl2，yl2，zl2)、cl = (xl3，yl3，zl3)成為如下。其中，Al，B1及Cl 為系數(shù)(倍率)。
[0084] xll=Al(ull-ulO),yll=Al(vll-vlO),zll=AlXf
[0085] xl2 = Bl(ul2-ulO),yl2 = Bl(vl2-vlO),zl2 = BlXf
[0086] xl3 = Cl(ul3-ulO),yl3 = Cl(vl3-vlO),zl3 = ClXf
[0087] 如上所述，實際空間上的3個角al、bl及cl存在于系數(shù)AUBl及Cl為某一常數(shù)的某 處，因此實際空間上的3個角al、bl及cl為正三角形時，式2及式3成立。
[0088] 「教忒 21
[0089]
* *.x :式.?
[0090] 「救
[0091]
* " * 式3
[0092] 從式2及式3以及上述實際空間上的3個角al、bl及cl的坐標的關系求出系數(shù)的關 系B1/A1及C1/A1。系數(shù)Al并不是唯一的，因此無法確定以3個角al、bl及cl規(guī)定的側(cè)壁26的 尺寸及至側(cè)壁26的距離，但可確定該側(cè)壁26的方向。無論圖像26A是否為正三角形都可以確 定側(cè)壁26方向。
[0093]圖14是表示變形例的圖，且表示圖像處理裝置1的處理順序的流程圖。該處理順序 是在圖6等處理結(jié)束后進行的，當確定的平行四邊形、矩形、正三角形等特定形狀存在多個 時，檢測多個特定形狀呈直角、或平行、或同一平面。
[0094] 多個特定形狀中，選擇一個特定形狀(步驟81)，選擇被選擇的一個特定形狀以外 的另一個特定形狀(步驟82)。計算出這兩個特定形狀所表示的在實際空間中的對象物所成 的角(步驟83)。通過檢測實際空間中的對象物的方向可知如上述所成的角。
[0095] 若兩個特定形狀所表示的實際空間中的對象物所成的角為直角(步驟84中是）（狀 態(tài)確定機構(gòu)），將這些兩個對象物作為直角的組進行列表化(步驟85)。
[0096] 若兩個特定形狀所表示的實際空間中的對象物所成的角不是直角(步驟84中否）， 則可確認到是否平行（步驟86)(狀態(tài)確定機構(gòu)）。若為平行（步驟86中是），進一步可確認到 是否處于同一平面(步驟87)(狀態(tài)確定機構(gòu)）。若為同一平面，則作為該兩個特定形狀所表 示的實際空間中的對象物處于同一平面，可將這些兩個對象物作為同一平面的組進行列表 化(步驟88)。若不是同一平面(步驟87中否），則將這些兩個對象部作為平行平面的組進行 列表化(步驟89)。
[0097] 若這樣進行列表化，則該列表顯示于顯示裝置3,且記錄于存儲器5(步驟90)。
[0098] 符號說明
[0099] 1-第1相機(基準圖像輸入機構(gòu)），2_第2相機(參考圖像輸入機構(gòu)），9_CPU(特定形 狀候選檢測機構(gòu)、虛擬對象物信息生成機構(gòu)、虛擬對象物圖像檢測機構(gòu)、形狀判定機構(gòu)、校 正機構(gòu)、控制機構(gòu)、角度計算機構(gòu)、特定形狀確定機構(gòu)、狀態(tài)確定機構(gòu)）。
【主權項】
1. 一種圖像處理裝置，其具備： 基準圖像輸入機構(gòu)，輸入通過拍攝而得到的基準圖像； 參考圖像輸入機構(gòu)，輸入以與拍攝上述基準圖像的視角不同的視角拍攝而得到的參考 圖像； 特定形狀候選檢測機構(gòu)，從由上述基準圖像輸入機構(gòu)輸入的基準圖像，將由直線包圍 的形狀推定為具有特定的形狀的特定形狀候選來進行檢測； 虛擬對象物信息生成機構(gòu)，生成對虛擬對象物圖像進行確定的虛擬對象物信息，所述 虛擬對象物圖像是將通過上述特定形狀候選檢測機構(gòu)檢測到的特定形狀候選所表示的對 象物以與拍攝上述基準圖像的視角不同的視角拍攝時得到的； 虛擬對象物圖像檢測機構(gòu)，利用通過上述虛擬對象物信息生成機構(gòu)生成的虛擬對象物 信息，從由上述參考圖像輸入機構(gòu)輸入的參考圖像中，檢測上述虛擬對象物圖像； 形狀判定機構(gòu)，根據(jù)通過上述虛擬對象物圖像檢測機構(gòu)檢測到上述虛擬對象物圖像這 一情況，將通過上述特定形狀候選檢測機構(gòu)檢測到的特定形狀候選判定為具有上述特定的 形狀的特定形狀； 生成控制機構(gòu)，根據(jù)通過上述虛擬對象物圖像檢測機構(gòu)未檢測到上述虛擬對象物圖像 這一情況，控制上述虛擬對象物信息生成機構(gòu)以生成對通過改變上述虛擬對象物圖像的尺 寸或位置的至少一個而得到的上述虛擬對象物圖像進行確定的虛擬對象物信息；以及 反復控制機構(gòu)，反復進行上述虛擬對象物圖像檢測機構(gòu)中的檢測處理、上述形狀判定 機構(gòu)中的判定處理及上述生成控制機構(gòu)中的控制處理。2. 根據(jù)權利要求1所述的圖像處理裝置，其還具備： 校正機構(gòu)，將通過上述形狀判定機構(gòu)判定為具有上述特定的形狀的特定形狀校正為從 正面拍攝上述對象物時得到的形狀。3. 根據(jù)權利要求1或2所述的圖像處理裝置，其中， 當已知上述對象物的尺寸時，上述虛擬對象物信息生成機構(gòu)根據(jù)預先設定的一個或多 個尺寸生成上述虛擬對象物信息。4. 根據(jù)權利要求1至3中任一項所述的圖像處理裝置，其還具備： 角度計算機構(gòu)，計算在實際空間中上述對象物的輪廓所示出的角度;及 特定形狀確定機構(gòu)，根據(jù)通過上述角度計算機構(gòu)計算的角度確定通過上述特定形狀候 選檢測機構(gòu)檢測到的特定形狀候選中作為對象的特定形狀候選， 上述虛擬對象物信息生成機構(gòu)生成對虛擬對象物圖像進行確定的虛擬對象物信息，所 述虛擬對象物圖像是將通過上述特定形狀確定機構(gòu)確定的特定形狀所表示的對象物以與 拍攝上述基準圖像的視角不同的視角拍攝時得到的。5. 根據(jù)權利要求1至4中任一項所述的圖像處理裝置，其具備： 狀態(tài)確定機構(gòu)，在上述形狀判定機構(gòu)中判定的特定形狀為多個時，確定多個特定形狀 是處于同一平面上、還是處于平行平面上、或處于垂直的平面上。6. 根據(jù)權利要求1至5中任一項所述的圖像處理裝置，其中， 上述特定的形狀為三角形、矩形、梯形或平行四邊形。7. 根據(jù)權利要求1至6中任一項所述的圖像處理裝置，其中， 上述基準圖像輸入機構(gòu)為拍攝上述基準圖像的第1攝像裝置， 上述參考圖像輸入機構(gòu)為拍攝上述參考圖像的第2攝像裝置。8. 根據(jù)權利要求1至6中任一項所述的圖像處理裝置，其中， 上述基準圖像輸入機構(gòu)及上述參考圖像輸入機構(gòu)為1個攝像裝置， 且輸入通過上述攝像裝置的拍攝而得到的上述基準圖像及上述參考圖像。9. 一種圖像處理方法，其中， 基準圖像輸入機構(gòu)輸入通過拍攝而得到的基準圖像， 參考圖像輸入機構(gòu)輸入以與拍攝上述基準圖像的視角不同的視角拍攝而得到的參考 圖像， 特定形狀候選檢測機構(gòu)從由上述基準圖像輸入機構(gòu)輸入的基準圖像，將由直線包圍的 形狀推定為具有特定的形狀的特定形狀候選來進行檢測， 虛擬對象物信息生成機構(gòu)生成對虛擬對象物圖像進行確定的虛擬對象物信息，所述虛 擬對象物圖像是將通過上述特定形狀候選檢測機構(gòu)檢測到的特定形狀候選所表示的對象 物以與拍攝上述基準圖像的視角不同的視角拍攝時得到的， 虛擬對象物圖像檢測機構(gòu)利用通過上述虛擬對象物信息生成機構(gòu)生成的虛擬對象物 信息，從由上述參考圖像輸入機構(gòu)輸入的參考圖像中，檢測上述虛擬對象物圖像， 形狀判定機構(gòu)根據(jù)通過上述虛擬對象物圖像檢測機構(gòu)檢測到上述虛擬對象物圖像這 一情況，將通過上述特定形狀候選檢測機構(gòu)檢測到的特定形狀候選判定為具有上述特定的 形狀的特定形狀， 生成控制機構(gòu)根據(jù)通過上述虛擬對象物圖像檢測機構(gòu)未檢測到上述虛擬對象物圖像 這一情況，控制上述虛擬對象物信息生成機構(gòu)以生成對通過改變上述虛擬對象物圖像的尺 寸或位置的至少一個而得到的上述虛擬對象物圖像進行確定的虛擬對象物信息， 反復控制機構(gòu)反復進行上述虛擬對象物圖像檢測機構(gòu)中的檢測處理、上述形狀判定機 構(gòu)中的判定處理及上述生成控制機構(gòu)中的控制處理。10. -種控制圖像處理裝置的計算機的計算機可讀取的程序，其以如下方式控制圖像 處理裝置的計算機： 輸入通過拍攝而得到的基準圖像， 輸入以與拍攝上述基準圖像的視角不同的視角拍攝而得到的參考圖像， 從已輸入的基準圖像，將由直線包圍的形狀推定為具有特定的形狀的特定形狀候選來 檢測， 生成對虛擬對象物圖像進行特定的虛擬對象物信息，所述虛擬對象物信息是將檢測到 的特定形狀候選所表示的對象物以與拍攝上述基準圖像的視角不同的視角拍攝時得到的， 利用生成的虛擬對象物信息，從已輸入的參考圖像中，檢測上述虛擬對象物圖像， 根據(jù)檢測到上述虛擬對象物圖像，將被檢測到的特定形狀候選判定為具有上述特定的 形狀的特定形狀， 根據(jù)未檢測到上述虛擬對象物圖像，控制上述虛擬對象物信息生成機構(gòu)以生成對通過 改變上述虛擬對象物圖像的尺寸或位置的至少一個而得到的上述虛擬對象物圖像進行特 定的虛擬對象物信息， 反復進行檢測上述虛擬對象物圖像的處理、上述形狀判定的處理及上述生成控制的處 理。
【文檔編號】G06T7/00GK105917380SQ201580004555
【公開日】2016年8月31日
【申請日】2015年2月9日
【發(fā)明人】增田智紀
【申請人】富士膠片株式會社