圖像處理系統(tǒng)和圖像處理方法
【技術領域】
[0001]本發(fā)明涉及合成來自多個攝像機的拍攝圖像的圖像處理系統(tǒng)和圖像處理方法。
【背景技術】
[0002]為了幫助車輛駕駛而使用圖像處理系統(tǒng)，該圖像處理系統(tǒng)通過分別設置于車輛的前方、后方、左右兩側的多個攝像機對車輛的周圍進行拍攝，對這些拍攝圖像實施視點轉換，并通過將各圖像接合(連接)起來，形成車輛周圍的俯瞰圖像進行顯示。此時，相鄰的攝像機拍攝的區(qū)域在其連接處互相重復，但目前，通過按照一定的基準選擇顯示中要使用的拍攝圖像，形成一個俯瞰圖像。但是，該方法中，在連接處往往產生不連續(xù)性，另外，在連接處附近存在步行者或障礙物的情況下，存在成為難以識別的狀況的問題。
[0003]作為該問題的對策，專利文獻I中公開了一種方法，即，在多個圖像重疊的區(qū)域，按照一定的規(guī)則交替配置像素。另外，專利文獻2中公開了一種方法，S卩，判斷在俯視顯示圖像的連接處部分是否存在障礙物，使成為俯瞰圖像的連接處部分的位置變化。另外，在專利文獻3中公開了一種方法，即，在兩個攝像機的視場圖像重疊的區(qū)域存在立體物時，對于該立體物的圖像，設定合成該區(qū)域的由兩個攝像機拍攝的視場圖像的邊界線，以使合成圖像中僅留下一方的攝像機拍攝的圖像。另外，專利文獻4中公開了一種與專利文獻3同樣的設定邊界線的方法、及在由兩個攝像機拍攝的視場圖像重疊的區(qū)域中存在障礙物時，將一方攝像機拍攝的障礙物的圖像的合成加權設為1，將另一方攝像機拍攝的障礙物的圖像的合成加權設為0，各攝像機拍攝的圖像中障礙物以外的部分設為加權0.5，然后將它們合成的方法。
[0004]現(xiàn)有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2002 - 354468號公報
[0007]專利文獻2:日本特開2007 - 41791號公報
[0008]專利文獻3:W02010/119734號公報
[0009]專利文獻4:日本特開2009 - 289185號公報

【發(fā)明內容】

[0010]發(fā)明要解決的課題
[0011]專利文獻I的方法中，由于交替配置有用兩個攝像機拍攝的圖像的像素，所以存在圖像不鮮明或立體物被顯示為雙重像的課題。另外，在專利文獻2的方法中，使連接處部分移動，但存在連接處在拍攝范圍的端部時，新形成的連接處的圖像替換成為不連續(xù)的連接這種課題。在專利文獻3及專利文獻4的設定邊界線的方法中，同樣也存在邊界線部分的圖像的替換變得不連續(xù)這種課題。另外，在專利文獻4的加權的合成方法中，只公開了對于障礙物的圖像部分，用O或I這兩個值選擇一方攝像機的圖像的加權的方法。該方法中，如果障礙物的圖像和背景圖像的分離處理失敗，則會生成非常不自然的合成圖像。因此，需要以非常高的精度分離障礙物的圖像和背景圖像，存在處理量的要求和硬件能力的要求尚，系統(tǒng)昂貴這種課題。
[0012]另外，還考慮使用一般公知的圖像的α信道使兩個圖像透過的α融合方法，但在僅將兩個圖像按各50%進行α融合的情況下，存在對比度降低，亮度或色彩較淡，難以看清這種課題。
[0013]本發(fā)明的目的在于，提供一種通過容易看清立體物(障礙物)地生成更自然的合成圖像，對于使用者來說，便于使用的良好的圖像處理系統(tǒng)及圖像處理方法。
[0014]用于解決課題的技術方案
[0015]本發(fā)明的圖像處理系統(tǒng)合成來自多個攝像機的拍攝圖像而生成俯瞰圖像，其特征在于，包括:圖像檢測部，其從各攝像機的圖像提取圖像特征量；圖像轉換部，其根據(jù)所提取的圖像特征量計算融合率，合成多個攝像機圖像重疊的重疊區(qū)域的俯瞰圖像，該圖像轉換部判定所述重疊區(qū)域中的各圖像的圖像特征量的相關性，根據(jù)相關性的強弱切換融合的方法進行合成。
[0016]所述圖像轉換部在判定為所述重疊區(qū)域中的各圖像的相關性較弱的情況下，判定是否存在所述各圖像的圖像特征量在位置上重疊的部分，根據(jù)重疊的部分的有無而切換融合的方法進行合成。而且，在判定為存在所述各圖像的圖像特征量在位置上重疊的部分的情況下，將所述圖像特征量大的一方的圖像的融合率設定得較大。
[0017]發(fā)明效果
[0018]根據(jù)本發(fā)明，可以提供容易看清立體物(障礙物)、生成更自然的合成圖像的對于使用者來說便于使用的圖像處理系統(tǒng)。
【附圖說明】
[0019]圖1是表示實施例1的圖像處理系統(tǒng)的構成的框圖。
[0020]圖2是用設置于車輛的多個攝像機拍攝同一被攝體的圖像的例子。
[0021]圖3是表示拍攝區(qū)域的區(qū)域劃分和重疊區(qū)域的圖像合成的例子的圖。
[0022]圖4是重疊區(qū)域的圖像合成的動作順序。
[0023]圖5Α是表示圖4的S406的融合率的計算方法的圖。
[0024]圖5Β是表示圖4的S406的融合率的計算方法的圖。
[0025]圖5C是表示圖4的S406的融合率的計算方法的圖。
[0026]圖是表示圖4的S406的融合率的計算方法的圖。
[0027]圖6是表示圖4的S404的融合率的設定方法的圖。
[0028]圖7是表示圖4的S404的融合率的設定方法的另一例子的圖。
[0029]圖8是表示在重疊區(qū)域不存在立體物時的合成圖像的例子的圖。
[0030]圖9是表示在重疊區(qū)域內存在立體物時的合成圖像的例子的圖。
[0031]圖10是表示在重疊區(qū)域外存在立體物時的合成圖像的例子的圖。
[0032]圖11是表示步行者在重疊區(qū)域內移動時的合成圖像的例子的圖。
[0033]圖12是說明使用運動矢量信息計算融合率的方法的圖。
[0034]圖13是表示實施例2的圖像處理系統(tǒng)的構成的框圖。
[0035]圖14是表示利用車輛信息進行圖像合成時的區(qū)域劃分的圖。
[0036]圖15是對在圖14中劃分的各區(qū)域的危險度進行分類的表。
[0037]圖16是表示利用了車輛信息的重疊區(qū)域中的圖像合成的動作順序。
[0038]圖17是反映了危險度的俯瞰圖像顯示例。
[0039]圖18是說明作為實施例3對攝像機圖像分區(qū)域進行亮度調節(jié)的圖。
[0040]圖19是表示匹配亮度直方圖的灰度重心的方法的圖。
[0041]圖20是表示進行被重疊區(qū)域夾著的區(qū)域的亮度調節(jié)的方法的圖。
[0042]圖21是表示在重疊區(qū)域內的周圍部分的合成方法的圖。
[0043]圖22是說明因年齡產生的亮度對比度的感覺差異的圖。
[0044]圖23是說明融合率的變化量限制的圖。
【具體實施方式】
[0045]以下，使用附圖對本發(fā)明的實施方式進行說明。
[0046](實施例1)
[0047]圖1是表示實施例1的圖像處理系統(tǒng)的構成的方框圖。圖像處理系統(tǒng)采用以下構成，即，用搭載于車輛的多個(η個)攝像機101拍攝車輛周圍的圖像，通過圖像處理裝置100將各攝像機的拍攝圖像進行合成，通過監(jiān)視器109顯示車輛的周圍的俯瞰圖像。在圖像處理裝置100中，將來自各攝像機101的拍攝圖像數(shù)據(jù)在分別對應的多個譯碼部102中進行譯碼處理，經由總線103儲存于存儲部107。
[0048]圖像轉換部105進行對儲存于存儲部107的來自各攝像機101的拍攝圖像數(shù)據(jù)的合成處理，生成車輛的周圍的俯瞰圖像。即，對廣角的攝像機圖像，進行鏡頭的失真(畸變)修正處理和透視變換處理，作成每個攝像機的俯瞰圖像，進行這些俯瞰圖像的剪切、合成、α融合處理，生成車輛的周圍整體的俯瞰圖像的處理。圖像檢測部106對拍攝圖像數(shù)據(jù)進行邊緣提取、輪廓提取、高斯處理、噪聲去除處理、閾值處理等，進行畫在道路上的白線或障礙物、步行者等的有無、正在拍攝的面積的大小的檢測處理。編碼部108進行所生成的俯瞰圖像的編碼處理，CPU104控制上述各部的動作。
[0049]從圖像處理裝置100輸出的俯瞰圖像數(shù)據(jù)由監(jiān)視器109顯示。監(jiān)視器109的種類不被限定，可以是 CRT (Cathode Ray Tube)、LCD (Liquid Crystal Display)、LCOS (LiquidCrystal On Silicon)、OLED(Organic light-emitting d1de)、全息照相光學元件或放映機裝置等任意的監(jiān)視器。另外，可以設置于車內，也可以設置于車外，不只是平面型的監(jiān)視器，也可以利用 HUD (Head — Up Display)、HMD (Head Mounted Display)等。
[0050]這樣，在圖像處理裝置100中，利用通過多個攝像機拍攝的圖像，檢測障礙物或步行者，按照檢測結果將各攝像機圖像的俯瞰圖像進行合成，以便容易看清圖像中影像顯示(映照)出的障礙物或步行者，從而生成車輛的全周圍的俯瞰圖像。
[0051]本實施例的圖像處理系統(tǒng)采用了包含圖像處理裝置100和多個攝像機101和監(jiān)視器109的構成，但也可以是攝像機101和監(jiān)視器109中的任一方或雙方作為外部裝置在系統(tǒng)外連接的構成。
[0052]另外，本實施例中，對于車輛的周圍的俯瞰圖像的生成進行了記載，但作為除此以外的用途，也可以適用于將來自多個監(jiān)視攝像機的拍攝圖像進行合成而生成監(jiān)視對象區(qū)域的俯瞰圖像的情況。
[0053]圖2是用設置于車輛的多個攝像機拍攝同一被拍攝體的圖像的例子。在車輛200設置有前方攝像機201、左側攝像機202、后方攝像機203、右側攝像機204，表示步行者205在車輛200的左斜前方步行的狀況。用前方攝像機201拍攝該狀況的圖像為206，用左側攝像機202拍攝的圖像為207。本例中，各攝像機朝向斜下方，在圖像206、207中，影像顯示出步行者205的腿的部分205a、205b。
[0054]由于拍攝角度不同，因此在用前方攝像機201拍攝的圖像206中，拍攝到了在從前方攝像機201伸出的箭頭的方向上伸出的腿205a。在通過一方的左側攝像機202拍攝的圖像中，拍攝到了在從左側攝像機202伸出的箭頭的方向上伸出的腿205b。S卩，拍攝到的是同一被拍攝體即步行者205，但因攝像機的拍攝位置的不同，拍攝到了不同方向的腿205a、205b。這是因被拍攝體即步行者205是立體物而產生的現(xiàn)象。在被拍攝體不是立體物而是畫在道路上的平面狀的圖案的情況下，在圖像206和207中，以相同的圖案被拍攝，如果位置一致，則重疊。即，從不同的方向拍攝同一被拍攝體時，在兩個圖像內檢測到向不同的方向伸出的物體的情況下，可以判定為存在有立體物。本實施例中利用該性質進行融合處理，使得更容易看清多個攝像機圖像的重疊的部分。
[0055]圖3是表示拍攝區(qū)域的區(qū)域劃分和重疊區(qū)域的圖像合成的例子的圖。將車輛200的周圍劃分為八個區(qū)域300?307。用攝像機201拍攝的區(qū)域為300、301、302，用攝像機202拍攝的區(qū)域為300、