本發(fā)明涉及生成表示道路上的狀況的圖像的圖像生成裝置、圖像生成方法和計(jì)算機(jī)程序。

背景技術(shù)：

以往，存在用多個(gè)攝像頭監(jiān)控道路上發(fā)生的事態(tài)并在管制室集中管理道路狀態(tài)的道路監(jiān)控系統(tǒng)。例如，專利文獻(xiàn)1記載的道路監(jiān)控系統(tǒng)，通過對(duì)多個(gè)監(jiān)控?cái)z像頭所拍攝的圖像進(jìn)行處理來(lái)進(jìn)行事故等的異常檢測(cè)，向駕駛員或道路管理者提供信息。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1日本特開2001-273587號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的問題

但是，以往的道路監(jiān)控系統(tǒng)是對(duì)路邊或道路上部等設(shè)置的監(jiān)控?cái)z像頭的圖像進(jìn)行處理的，因此不能對(duì)監(jiān)控?cái)z像頭的死角位置或監(jiān)控?cái)z像頭的監(jiān)控范圍外的異常進(jìn)行檢測(cè)。另外，為了消除監(jiān)控?cái)z像頭的死角，必須設(shè)置更多的監(jiān)控?cái)z像頭，存在監(jiān)控系統(tǒng)規(guī)模大、成本高的問題。

本發(fā)明鑒于上述情況而提出，目的在于提供將存在于遠(yuǎn)景側(cè)的道路上的移動(dòng)體和結(jié)構(gòu)體的圖像放大從而能提供死角少的圖像的圖像生成裝置、圖像生成方法和計(jì)算機(jī)程序。

用于解決問題的手段

本申請(qǐng)的圖像生成裝置，其獲取道路的拍攝圖像，并根據(jù)獲取的所述拍攝圖像生成表示所述道路上的狀況的圖像，其特征在于，包括：區(qū)域提取單元，從獲取的所述拍攝圖像中提取梯形區(qū)域的圖像，該梯形區(qū)域由在所述拍攝圖像的進(jìn)深方向上的消失點(diǎn)匯聚的兩條消失線、和分別與所述兩條消失線交叉的兩條平行直線包圍而成；變換單元，利用將所述區(qū)域提取單元提取出的梯形區(qū)域變形為矩形區(qū)域的幾何變換模型，將所述梯形區(qū)域的圖像變換為所述矩形區(qū)域的圖像；和生成單元，根據(jù)變換后的所述矩形區(qū)域的圖像，生成用于將所述拍攝圖像的遠(yuǎn)景側(cè)存在的所述道路上的移動(dòng)體或結(jié)構(gòu)體放大顯示的圖像。

本申請(qǐng)的圖像生成裝置，其特征在于，所述幾何變換模型由規(guī)定所述梯形區(qū)域的四個(gè)頂點(diǎn)和所述矩形區(qū)域的四個(gè)頂點(diǎn)之間的幾何學(xué)關(guān)系的映射變換表示。

本申請(qǐng)的圖像生成裝置，其特征在于，所述生成單元包含使所述矩形區(qū)域的圖像旋轉(zhuǎn)的單元。

本申請(qǐng)的圖像生成裝置，其特征在于，包括：區(qū)域分割單元，在所述進(jìn)深方向上分割所述區(qū)域提取單元提取出的所述梯形區(qū)域的圖像；和合成單元，將通過對(duì)所述區(qū)域分割單元分割的各區(qū)域的圖像分別進(jìn)行變換而得到。

本申請(qǐng)的圖像生成裝置，其特征在于，獲取對(duì)所述道路的不同范圍拍攝的多個(gè)拍攝圖像，所述圖像生成裝置包括合成單元，將通過對(duì)從各拍攝圖像中提取出的梯形區(qū)域的圖像分別進(jìn)行變換而得到的多個(gè)矩形區(qū)域的圖像合成。

本申請(qǐng)的圖像生成裝置，其特征在于，包括獲取信息的單元，該信息涉及對(duì)所述道路進(jìn)行拍攝的各拍攝裝置的配置，根據(jù)獲取的涉及各拍攝裝置的配置的信息合成所述多個(gè)矩形區(qū)域的圖像。

本申請(qǐng)的圖像生成方法，其獲取道路的拍攝圖像，并根據(jù)獲取的所述拍攝圖像生成表示所述道路上的狀況的圖像，其特征在于，從獲取的所述拍攝圖像中提取梯形區(qū)域的圖像，該梯形區(qū)域由在所述拍攝圖像的進(jìn)深方向上的消失點(diǎn)匯聚的兩條消失線和分別與所述兩條消失線交叉的兩條平行直線包圍而成；利用將所述梯形區(qū)域變形為矩形區(qū)域的幾何變換模型，將所述梯形區(qū)域的圖像變換為所述矩形區(qū)域的圖像；根據(jù)變換后的所述矩形區(qū)域的圖像，生成用于將所述拍攝圖像的遠(yuǎn)景側(cè)存在的所述道路上的移動(dòng)體或結(jié)構(gòu)體放大顯示的圖像。

本申請(qǐng)的計(jì)算機(jī)程序，其使計(jì)算機(jī)根據(jù)輸入的道路的拍攝圖像生成表示所述道路上的狀況的圖像，其特征在于使所述計(jì)算機(jī)執(zhí)行以下步驟：從所述拍攝圖像中提取梯形區(qū)域的圖像，該梯形區(qū)域由在所述拍攝圖像的進(jìn)深方向上的消失點(diǎn)匯聚的兩條消失線和分別與所述兩條消失線交叉的兩條平行直線包圍而成；和

利用將所述梯形區(qū)域變形為矩形區(qū)域的幾何變換模型，將所述梯形區(qū)域的圖像變換為所述矩形區(qū)域的圖像。

發(fā)明的效果

根據(jù)本申請(qǐng)，通過生成用于將拍攝圖像的遠(yuǎn)景側(cè)存在的道路上的移動(dòng)體和結(jié)構(gòu)體放大顯示的圖像，能夠提供視認(rèn)性好的顯示圖像。

附圖說(shuō)明

圖1是表示實(shí)施方式1的道路監(jiān)控系統(tǒng)的結(jié)構(gòu)的框圖。

圖2是表示圖像生成裝置的硬件結(jié)構(gòu)的框圖。

圖3是表示圖像生成裝置的功能性結(jié)構(gòu)的框圖。

圖4是說(shuō)明圖像生成裝置執(zhí)行的處理步驟的流程圖。

圖5是表示拍攝圖像的一例的示意圖。

圖6是說(shuō)明提取步驟的說(shuō)明圖。

圖7是表示提取出的梯形區(qū)域的圖像的示意圖。

圖8是表示變換后的矩形區(qū)域的圖像的示意圖。

圖9是表示對(duì)矩形區(qū)域的圖像實(shí)施了線性變換處理的圖像的一例的示意圖。

圖10是說(shuō)明實(shí)施方式2的圖像生成裝置執(zhí)行的處理內(nèi)容的說(shuō)明圖。

圖11是表示實(shí)施方式3的道路監(jiān)控系統(tǒng)的結(jié)構(gòu)的框圖。

圖12是說(shuō)明實(shí)施方式3的圖像生成裝置執(zhí)行的處理內(nèi)容的說(shuō)明圖。

具體實(shí)施方式

以下，基于表示本發(fā)明實(shí)施方式的附圖對(duì)本發(fā)明進(jìn)行具體說(shuō)明。

實(shí)施方式1

圖1是表示實(shí)施方式1的道路監(jiān)控系統(tǒng)的結(jié)構(gòu)的框圖。本實(shí)施方式的道路監(jiān)控系統(tǒng)包括：從斜上方對(duì)道路進(jìn)行拍攝的拍攝裝置1、基于拍攝裝置1輸出的拍攝圖像而生成表示道路狀況的圖像的圖像生成裝置2、和顯示從圖像生成裝置2輸出的圖像的顯示裝置3。

拍攝裝置1在適當(dāng)?shù)臅r(shí)機(jī)對(duì)道路進(jìn)行拍攝。拍攝裝置1經(jīng)由通信線路連接至圖像生成裝置2，并將拍攝所得的拍攝圖像發(fā)送到圖像生成裝置2。

圖像生成裝置2和顯示裝置3被設(shè)置在，例如，對(duì)道路進(jìn)行監(jiān)控的人(監(jiān)控者)所在的監(jiān)控設(shè)施、對(duì)道路利用者(利用者)示出道路狀況的場(chǎng)所等。圖像生成裝置2根據(jù)拍攝裝置1所獲取的拍攝圖像而生成表示道路狀況的圖像。此時(shí)，圖像生成裝置2從拍攝圖像中提取成為監(jiān)控對(duì)象的梯形區(qū)域的圖像，通過將提取出的梯形區(qū)域的圖像變換為矩形區(qū)域的圖像，生成將遠(yuǎn)景側(cè)放大了的圖像，并根據(jù)變換后的矩形區(qū)域的圖像生成輸出圖像。圖像生成裝置2將生成的輸出圖像向輸出至顯示裝置3。

顯示裝置3通過顯示從圖像生成裝置2輸出的圖像，將涉及道路狀況的信息提供給監(jiān)控者和利用者。

以下，說(shuō)明圖像生成裝置2的內(nèi)部結(jié)構(gòu)。

圖2是表示圖像生成裝置2的硬件結(jié)構(gòu)的框圖。圖像生成裝置2包括控制部21、存儲(chǔ)部22、圖像輸入IF23、圖像輸出IF24等。

控制部21例如包括CPU、ROM、RAM等。在控制部21內(nèi)的ROM中存儲(chǔ)有用于使裝置全體作為本發(fā)明的圖像生成裝置而發(fā)揮作用的計(jì)算機(jī)程序?？刂撇?1具備的CPU將存儲(chǔ)于ROM的計(jì)算機(jī)程序讀出到RAM上執(zhí)行，通過控制上述各硬件的動(dòng)作，使裝置全體作為本發(fā)明的圖像生成裝置而發(fā)揮作用。具體來(lái)說(shuō)，控制部21執(zhí)行從拍攝裝置1獲取的拍攝圖像中提取成為監(jiān)控對(duì)象的梯形區(qū)域的圖像的處理、將提取出的梯形區(qū)域的圖像變換為矩形區(qū)域的圖像的處理、和由變換后的矩形區(qū)域的圖像生成輸出圖像的處理。

存儲(chǔ)部22由EEPROM(Electronically Erasable Programmable Read On ly Memory)等非易失性存儲(chǔ)器、HDD(Hard Disk Drive)這樣的存儲(chǔ)裝置等構(gòu)成。存儲(chǔ)部22隨時(shí)存儲(chǔ)通過圖像輸入IF23獲取的拍攝圖像、控制部21生成的正在處理的圖像或最終的輸出圖像等。

圖像輸入IF23是用于通過有線或無(wú)線連接拍攝裝置1的接口，通過有線通信或無(wú)線通信獲取從拍攝裝置1輸出的拍攝圖像。

圖像輸出IF24是用于將控制部21生成的輸出圖像通過有線通信或無(wú)線通信向外部輸出的接口。輸出目標(biāo)例如是監(jiān)控者和利用者瀏覽的顯示裝置3。另外，也可以構(gòu)成為代替顯示裝置3而向隨時(shí)間變化累積表示道路狀況的圖像的服務(wù)器裝置(未圖示)輸出，也可以構(gòu)成為通過無(wú)線通信向路過拍攝裝置1附近的車輛內(nèi)的裝置(例如車載顯示器)發(fā)送。圖像輸出IF24，通過在從控制部21獲取了要向外部輸出的輸出圖像的情況下，按照通信標(biāo)準(zhǔn)執(zhí)行與外部裝置的通信處理，將輸出圖像發(fā)送至外部裝置。

圖3是表示圖像生成裝置2的功能性結(jié)構(gòu)的框圖。圖像生成裝置2，作為功能性結(jié)構(gòu)包括區(qū)域提取部211、變換處理部212和圖像生成部213。區(qū)域提取部211、變換處理部212和圖像生成部213各自的功能通過控制部21具備的CPU執(zhí)行ROM中存儲(chǔ)的計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)。

區(qū)域提取部211從通過圖像輸入IF23輸入的拍攝圖像中提取作為處理對(duì)象的圖像。更具體來(lái)說(shuō)，區(qū)域提取部211提取梯形區(qū)域的圖像，該梯形區(qū)域由匯聚于拍攝圖像的進(jìn)深方向上的消失點(diǎn)的兩條消失線、以及與該消失線分別在近景側(cè)和遠(yuǎn)景側(cè)交叉的兩條平行直線包圍。區(qū)域提取部211將提取出的梯形區(qū)域的圖像發(fā)送至變換處理部212。

區(qū)域提取部211可在每次輸入作為處理對(duì)象的拍攝圖像時(shí)設(shè)定用于提取梯形區(qū)域的圖像的兩條消失線和平行直線。例如，區(qū)域提取部211檢測(cè)被輸入的拍攝圖像包含的邊緣，搜尋檢測(cè)出的邊緣的延長(zhǎng)線在拍攝圖像的進(jìn)深方向上匯聚的點(diǎn)(消失點(diǎn))，從匯聚于搜尋到的消失點(diǎn)的邊緣中選擇位于道路部分的外側(cè)的兩條邊緣，由此可設(shè)定兩條消失線。

另外，區(qū)域提取部211分別在拍攝圖像的近景側(cè)和遠(yuǎn)景側(cè)設(shè)定與兩條消失線交叉的平行直線。此外，拍攝圖像中的兩條平行直線的位置由區(qū)域提取部211適當(dāng)設(shè)定即可。例如，區(qū)域提取部211在與拍攝圖像的下邊相距Ya像素大小(Ya為拍攝圖像的高度的四分之一左右)的位置配置近景側(cè)的平行直線，在與上邊相距Yb像素大小(Yb為拍攝圖像的高度的四分之一左右)的位置配置遠(yuǎn)景側(cè)的平行直線。

本實(shí)施方式中，區(qū)域提取部211在每次輸入拍攝圖像時(shí)設(shè)定兩條消失線和平行直線，但在拍攝裝置1的位置和姿勢(shì)始終一定的情況下，也可以預(yù)先設(shè)定要提取的梯形區(qū)域，從各拍攝圖像提取預(yù)先設(shè)定的梯形區(qū)域的圖像。另外，本實(shí)施方式中的消失線未必是用透視法繪制的精確的直線，只要是與消失線近似的直線即可。另外，本實(shí)施方式中的平行直線未必需要嚴(yán)格平行，基本上平行即可。

變換處理部212將從區(qū)域提取部211發(fā)送的梯形區(qū)域的圖像變換為矩形區(qū)域的圖像。更具體來(lái)說(shuō)，設(shè)定映射變換矩陣，根據(jù)該映射變換矩陣將梯形區(qū)域的圖像變換為矩形區(qū)域的圖像，該映射變換矩陣用于規(guī)定作為變換源的梯形區(qū)域的四個(gè)頂點(diǎn)和作為變換目標(biāo)的矩形區(qū)域的四個(gè)頂點(diǎn)之間的幾何學(xué)關(guān)系。變換處理部212將變換后的矩形區(qū)域的圖像發(fā)送至圖像生成部213。

圖像生成部213由變換處理部212變換后的矩形區(qū)域的圖像生成輸出圖像。圖像生成部213通過對(duì)從變換處理部212發(fā)送的矩形區(qū)域的圖像實(shí)施旋轉(zhuǎn)處理、放大縮小處理等，生成輸出圖像。圖像生成部213將所生成的輸出圖像發(fā)送至圖像輸出IF24。

以下，說(shuō)明圖像生成裝置2的動(dòng)作。

圖4是說(shuō)明圖像生成裝置2執(zhí)行的處理步驟的流程圖。圖像生成裝置2的控制部21通過圖像輸入IF23從拍攝裝置1獲取拍攝圖像(步驟S11)。圖5是表示拍攝圖像的一例的示意圖。圖5所示的拍攝圖像中，在近景側(cè)包含正在行駛的乘用車的圖像，在遠(yuǎn)景側(cè)包含停著的摩托車的圖像。

接下來(lái)，控制部21從所獲取的拍攝圖像中提取由兩條消失線和平行線包圍的梯形區(qū)域的圖像(步驟S12)。圖6是說(shuō)明提取步驟的說(shuō)明圖?？刂撇?1從拍攝圖像中提取道路的路肩部分、建筑物、窗、門等的邊緣，求出提取出的邊緣的延長(zhǎng)線在拍攝圖像的遠(yuǎn)景側(cè)匯聚的消失點(diǎn)P0的坐標(biāo)。本實(shí)施方式中，示出了消失點(diǎn)P0包含在拍攝圖像中的例子，但消失點(diǎn)P0未必包含在拍攝圖像中。

接下來(lái)，控制部21通過選擇匯聚于消失點(diǎn)P0的邊緣(或邊緣的延長(zhǎng)線)中的、表示道路的路肩的兩條邊緣，來(lái)設(shè)定兩條消失線L1、L2。例如，控制部21在拍攝圖像上從通過消失點(diǎn)P0的垂直線向左右方向分別搜索邊緣、并選擇在左右方向上最先搜索到的邊緣，由此設(shè)定兩條消失線L1、L2。

接下來(lái)，控制部21設(shè)定相當(dāng)于要提取的梯形區(qū)域的下底和上底的兩條平行直線La、Lb。例如，控制部21通過在與拍攝圖像的下邊相距Ya像素大小的位置配置近景側(cè)的平行直線、在與上邊相距Yb像素大小的位置配置遠(yuǎn)景側(cè)的平行直線，來(lái)設(shè)定兩條平行直線La、Lb。

接下來(lái)，控制部21從拍攝圖像中提取由兩條消失線L1、L2和兩條平行直線La、Lb包圍的梯形區(qū)域的圖像。圖7是表示提取出的梯形區(qū)域的圖像的示意圖。

此外，本實(shí)施方式中，通過由拍攝圖像算出消失點(diǎn)P0的坐標(biāo)并求出匯聚于消失點(diǎn)P0的邊緣的延長(zhǎng)線來(lái)設(shè)定兩條消失線L1、L2，但只要是拍攝裝置1以固定的位置和姿勢(shì)對(duì)道路進(jìn)行拍攝，就不需要每次獲取拍攝圖像時(shí)都求取消失點(diǎn)P0和匯聚于消失點(diǎn)P0的邊緣的延長(zhǎng)線。這種情況下，可以預(yù)先設(shè)定與要提取的梯形區(qū)域的各邊對(duì)應(yīng)的消失線L1、L2和平行直線La、Lb?？刂撇?1在獲取拍攝圖像時(shí)根據(jù)預(yù)先設(shè)定的兩條消失線L1、L2和平行直線La、Lb提取梯形區(qū)域的圖像。

接下來(lái)，控制部21將提取出的梯形區(qū)域的圖像變換為矩形區(qū)域的圖像(步驟S13)。例如，設(shè)定將梯形區(qū)域變換為預(yù)先確定的矩形區(qū)域的幾何變換模型，將步驟S12中提取出的梯形區(qū)域的圖像按照所述幾何變換模型進(jìn)行變換，由此獲取矩形區(qū)域的圖像。在此，幾何變換模型由映射變換表示，該映射變換規(guī)定作為變換源的梯形區(qū)域中的四個(gè)頂點(diǎn)和作為變換目標(biāo)的矩形區(qū)域中的四個(gè)頂點(diǎn)的幾何學(xué)關(guān)系。控制部21利用映射變換矩陣將構(gòu)成梯形區(qū)域的圖像的各像素的坐標(biāo)(x，y)變換為構(gòu)成作為變換目標(biāo)的矩形區(qū)域的圖像的各像素的坐標(biāo)(X，Y)，由此生成矩形區(qū)域的圖像。當(dāng)然也可以根據(jù)各像素的坐標(biāo)變換對(duì)變換后的各像素進(jìn)行像素值的插值處理。圖8是表示變換后的矩形區(qū)域的圖像的示意圖。

接下來(lái)，控制部21根據(jù)變換后的矩形區(qū)域的輸出圖像生成輸出圖像(步驟S14)，通過圖像輸出IF24將所生成的輸出圖像輸出至規(guī)定的輸出目標(biāo)?？刂撇?1可以將步驟S13中變換后的矩形區(qū)域的圖像作為輸出圖像輸出，也可以將對(duì)矩形區(qū)域的圖像進(jìn)行了旋轉(zhuǎn)、放大縮小、鏡像變換、斜切變換(s kew transformation)等線性變換處理的圖像作為輸出圖像輸出。

圖9是表示對(duì)矩形區(qū)域的圖像實(shí)施了線性變換處理的圖像的一例的示意圖。圖9A示出了通過將矩形區(qū)域的圖像逆時(shí)針旋轉(zhuǎn)90度而生成的輸出圖像。在原拍攝圖像中，因?yàn)檫h(yuǎn)景側(cè)的摩托車拍得小，所以對(duì)監(jiān)控者和利用者來(lái)說(shuō)識(shí)別摩托車的存在并不容易，有可能看漏。對(duì)此，圖9A所示的輸出圖像中，雖然近景側(cè)的車輛的圖像有所變形，但遠(yuǎn)景側(cè)的圖像被放大，因此能夠容易地識(shí)別遠(yuǎn)景側(cè)的摩托車的存在。

圖9B示出了通過對(duì)矩形區(qū)域的圖像實(shí)施旋轉(zhuǎn)、縱向縮小、和斜切變換而生成的輸出圖像。通過進(jìn)行這樣的線性變換處理，圖像生成裝置2能夠抑制近景側(cè)的圖像的變形，并且將遠(yuǎn)景側(cè)的圖像放大。

如上所述，實(shí)施方式1的圖像生成裝置2通過對(duì)從拍攝圖像中提取出的梯形區(qū)域的圖像實(shí)施映射變換、線性變換這樣的變形處理而生成將遠(yuǎn)景側(cè)放大了的圖像。因此。實(shí)施方式1的道路監(jiān)控系統(tǒng)能夠通過在顯示裝置3顯示圖像生成裝置2生成的輸出圖像，對(duì)監(jiān)控者和利用者提供能夠容易地識(shí)別從近景側(cè)到遠(yuǎn)景側(cè)的監(jiān)控區(qū)域內(nèi)的移動(dòng)體和結(jié)構(gòu)體的存在的圖像。

此外，本實(shí)施方式中，方便起見，分開記載了將梯形區(qū)域的圖像變換為矩形區(qū)域的圖像的映射變換處理和由矩形區(qū)域的圖像生成輸出圖像的線性變換處理，但這些處理也可以作為單一處理執(zhí)行。

另外，本實(shí)施方式中，構(gòu)成為利用設(shè)置在道路上的拍攝裝置1獲取道路的拍攝圖像，也可以構(gòu)成為利用搭載在汽車等車輛上的車載攝像頭獲取道路的拍攝圖像。這種情況下，可以在各車輛中搭載圖像生成裝置2，將圖像生成裝置2生成的輸出圖像顯示在車內(nèi)顯視器上。

實(shí)施方式2

實(shí)施方式2中，說(shuō)明在進(jìn)深方向上分割提取出的梯形區(qū)域的圖像、并將分割后的梯形區(qū)域的圖像分別變換為矩形區(qū)域的圖像后進(jìn)行合成的結(jié)構(gòu)。

此外，實(shí)施方式2的道路監(jiān)控系統(tǒng)的結(jié)構(gòu)、和圖像生成裝置2的結(jié)構(gòu)等與實(shí)施方式1相同，因此省略其說(shuō)明。

圖10是說(shuō)明實(shí)施方式2的圖像生成裝置2執(zhí)行的處理內(nèi)容的說(shuō)明圖。圖像生成裝置2的控制部21通過執(zhí)行上述步驟S11和S12的處理，從拍攝圖像中提取包含監(jiān)控對(duì)象的梯形區(qū)域的圖像。

接下來(lái)，控制部21在進(jìn)深方向上分割提取出的梯形區(qū)域的圖像。適當(dāng)設(shè)定分割數(shù)和分割部位可。圖10所示的例子中，示出了在中間附近將提取出的梯形區(qū)域的圖像分割成兩部分的狀態(tài)。

接下來(lái)，控制部21將分割后的梯形區(qū)域的圖像分別變換為矩形區(qū)域的圖像。與實(shí)施方式1相同，對(duì)各個(gè)梯形區(qū)域設(shè)定變換為矩形區(qū)域的幾何變換模型，將各梯形區(qū)域的圖像按照各自的幾何變換模型進(jìn)行變換，由此能夠變換為矩形區(qū)域的圖像。

接下來(lái)，控制部21將變換各梯形區(qū)域的圖像所得的矩形區(qū)域的圖像合成?？刂撇?1根據(jù)合成后的圖像生成輸出圖像，通過圖像輸出IF24輸出至規(guī)定的輸出目標(biāo)。此時(shí)，可以與實(shí)施方式1同樣地對(duì)合成后的圖像實(shí)施旋轉(zhuǎn)、放大縮小、鏡像變換、斜切變換等線性變換處理，生成輸出圖像。

如上所述，實(shí)施方式2中，將從拍攝圖像中提取出的梯形區(qū)域的圖像在進(jìn)深方向上分割，將其分別變換為矩形區(qū)域的圖像后進(jìn)行合成，由此，對(duì)于近景側(cè)的圖像，能夠抑制隨著映射變換產(chǎn)生的變形，對(duì)于遠(yuǎn)景側(cè)的圖像，能夠?qū)⑵浞糯笾吝m當(dāng)?shù)拇笮?。因此，本?shí)施方式的道路監(jiān)控系統(tǒng)能夠向監(jiān)控者和利用者提供易于識(shí)別道路上的移動(dòng)體和結(jié)構(gòu)體的圖像。

實(shí)施方式3

實(shí)施方式1和實(shí)施方式2中，基于從拍攝裝置1獲取的一個(gè)拍攝圖像而生成輸出圖像，但也可以沿道路設(shè)置多個(gè)拍攝裝置1，根據(jù)從各拍攝裝置獲取的拍攝圖像生成一個(gè)輸出圖像。

實(shí)施方式3中，說(shuō)明由多個(gè)拍攝圖像生成一個(gè)輸出圖像的結(jié)構(gòu)。

圖11是表示實(shí)施方式3的道路監(jiān)控系統(tǒng)的結(jié)構(gòu)的框圖。本實(shí)施方式的道路監(jiān)控系統(tǒng)包括：例如沿著道路設(shè)置并分別從斜上方對(duì)道路進(jìn)行拍攝的拍攝裝置1A、1B、1C；基于拍攝裝置1A、1B、1C輸出的拍攝圖像而生成表示道路狀況的圖像的圖像生成裝置2；顯示從圖像生成裝置2輸出的圖像的顯示裝置3。

拍攝裝置1A、1B、1C在適當(dāng)?shù)臅r(shí)機(jī)對(duì)道路進(jìn)行拍攝。拍攝裝置1A、1B、1C通過通信線路連接至圖像生成裝置2，將拍攝所得的拍攝圖像發(fā)送至圖像生成裝置2。

圖像生成裝置2根據(jù)從拍攝裝置1A、1B、1C獲取的拍攝圖像生成表示道路狀況的圖像。此時(shí)，圖像生成裝置2從各個(gè)拍攝圖像中提取成為監(jiān)控對(duì)象的梯形區(qū)域的圖像，將提取出的梯形區(qū)域的圖像變換為矩形區(qū)域的圖像，由此生成將遠(yuǎn)景側(cè)放大了的圖像，將所生成的矩形區(qū)域的圖像合成，生成輸出圖像。圖像生成裝置2將所生成的輸出圖像輸出至顯示裝置3。

此外，圖像生成裝置2的內(nèi)部結(jié)構(gòu)與實(shí)施方式1相同，故省略其說(shuō)明。

顯示裝置3通過顯示由圖像生成裝置2輸出的圖像來(lái)向監(jiān)控者和利用者提供有關(guān)道路狀況的信息。

圖12是說(shuō)明實(shí)施方式3的圖像生成裝置2執(zhí)行的處理內(nèi)容的說(shuō)明圖。圖像生成裝置2的控制部21通過圖像輸入IF23獲取拍攝裝置1A、1B、1C拍攝的拍攝圖像。控制部21從獲取的各拍攝圖像中提取梯形區(qū)域的圖像，通過對(duì)提取出的梯形區(qū)域的圖像進(jìn)行映射變換，生成矩形區(qū)域的圖像。

此外，控制部21從拍攝圖像中提取的梯形區(qū)域的圖像無(wú)需對(duì)拍攝裝置1A、1B、1C都選擇同一形狀，也可以是根據(jù)拍攝裝置1A、1B、1C的設(shè)置位置和姿勢(shì)提取設(shè)定的形狀的圖像。

另外，控制部21對(duì)拍攝裝置1A、1B、1C分別設(shè)定將梯形區(qū)域的圖像變換為矩形區(qū)域的圖像的幾何變換模型，對(duì)各梯形區(qū)域的圖像按照各自的幾何變換模型進(jìn)行變換，由此變換為矩形區(qū)域的圖像。

接下來(lái)，控制部21將變換后的矩形區(qū)域的圖像合成，生成輸出圖像。此時(shí)，也可以對(duì)各矩形區(qū)域的圖像實(shí)施旋轉(zhuǎn)、放大縮小、鏡像變換、斜切變換等線性變換處理之后，進(jìn)行圖像合成，生成輸出圖像。另外，優(yōu)選控制部21考慮拍攝裝置1A、1B、1C的配置關(guān)系來(lái)合成矩形區(qū)域的圖像。涉及拍攝裝置1A、1B、1C的配置關(guān)系的信息預(yù)先存儲(chǔ)在存儲(chǔ)部22中?？刂撇?1從存儲(chǔ)部22獲取涉及拍攝裝置1A、1B、1C的配置關(guān)系的信息，根據(jù)所獲取的涉及配置關(guān)系的信息合成矩形區(qū)域的圖像。例如，在拍攝裝置1A、1B、1C按此順序配置的情況下，將由拍攝裝置1A、1B、1C生成的矩形區(qū)域的圖像按此順序合成。另外，在拍攝裝置1A、1B、1C分別配置在道路的右側(cè)、左側(cè)、近側(cè)的情況下，在顯示裝置3的顯示畫面的右側(cè)、左側(cè)、下側(cè)配置各矩形區(qū)域的圖像并合成。

如上所述，實(shí)施方式3的圖像生成裝置2分別對(duì)從多個(gè)拍攝裝置1A、1B、1C獲取的各拍攝圖像提取梯形區(qū)域的圖像，對(duì)提取出的圖像進(jìn)行映射變換和線性變換，將變換后的圖像合成并生成輸出圖像。因此，本實(shí)施方式的道路監(jiān)控系統(tǒng)通過在顯示裝置3上顯示圖像生成裝置2生成的輸出圖像，能夠?yàn)楸O(jiān)控者和利用者提供容易識(shí)別移動(dòng)體和結(jié)構(gòu)體的存在的、死角少的圖像。

應(yīng)該認(rèn)為，此次公開的實(shí)施方式中所有內(nèi)容均為例示，并不是限制性的。本發(fā)明的范圍并不是上述含義，而是由權(quán)利要求所示，并包含與權(quán)利要求均等的含義和范圍內(nèi)的各種變更。

附圖標(biāo)記說(shuō)明

1 拍攝裝置

2 圖像生成裝置

21 控制部

22 存儲(chǔ)部

23 圖像輸入IF

24 圖像輸出IF

211 區(qū)域提取部

212 變換處理部

213 圖像生成部