專利名稱：駕駛操作輔助器及記錄媒體的制作方法
技術(shù)領域：
本發(fā)明涉及一種用于輔助器汽車的駕駛操作的駕駛操作輔助器，以及用于存儲使計算機執(zhí)行駕駛操作輔助器的每一個裝置的所有或一些功能的程序。
背景技術(shù)：
一般傳統(tǒng)的駕駛操作輔助器由檢測方向盤的轉(zhuǎn)向角度的轉(zhuǎn)向傳感器來估計對應于汽車的倒車的方向盤轉(zhuǎn)向角度的汽車移動軌跡。當汽車倒車時，顯示由攝像機拍攝到的后面或側(cè)后面視野的圖像，另外，當操作方向盤時，對應于方向盤的轉(zhuǎn)向角度估算到的汽車移動軌跡疊加在后面或側(cè)后面視野的圖像上。根據(jù)這個輔助器，將如下所述執(zhí)行司機的駕駛操作。即，司機在固定汽車方向盤時，將汽車移動到汽車可以適當停車的位置。然后，在該位置處，司機找出能夠?qū)⑵囈苿拥酵＼嚨奈恢茫贿M行任何方向盤的操作，卻確定了由方向盤操作估計的汽車移動軌跡。然后，通過保持轉(zhuǎn)向角度而使汽車倒車到停車位置，理論上完成了停車。
在第1-14700號日本專利公開公告中揭示了上述駕駛操作輔助器的傳統(tǒng)例子。
但是，為了通過使用上述輔助器停車，必須找到能夠使汽車移動到停車位的位置，然后確定方向盤所固定的轉(zhuǎn)向角度。為了掌握這種操作，必須有技能。另外，當要駕駛的汽車的尺寸改變時，感覺改變。由此，在技能中積累的駕駛技巧不太有用。
附帶地，為了停車，除非附近沒有障礙物的情況，否則，從停車操作一開始即保持方向盤的轉(zhuǎn)向角度恒定，非常難以完成停車操作。例如，為了執(zhí)行平排停車，司機首先通過使方向盤轉(zhuǎn)到適當?shù)姆较?，倒車汽車，同時將汽車從停車操作開始的位置放置到停車的位置，然后通過在汽車恰當?shù)氐管嚂r，反向地轉(zhuǎn)動方向盤，將汽車移動到目標位置。即，在進行平排停車作為一個例子的情況下，難以在保持方向盤的轉(zhuǎn)向角度恒定的情況下停車。
另外，對于傳統(tǒng)的輔助器，如果司機稍稍移動汽車的方向盤，則顯示由一微小轉(zhuǎn)向角變化重新估計的汽車移動路線。由此，可能使司機受擾亂。
即，對于傳統(tǒng)的駕駛操作輔助器，在確定通過合成停車位、空間周圍狀態(tài)、以及將汽車引導到該停車位的路線而得到的圖像時，司機無法一眼就直覺地發(fā)現(xiàn)汽車可以容易地移動到停車位的地方。
本發(fā)明的揭示本發(fā)明用于解決傳統(tǒng)的駕駛操作輔助器的上述問題，并且其目的是提供一種駕駛操作輔助器，由這種輔助器，通過顯示當司機執(zhí)行預定的一系列駕駛操作時，汽車的移動以及周圍狀況，司機可以直接確定根據(jù)預定的一系列駕駛操作引起的汽車移動與周圍狀況之間的關系，并且可以減輕司機的負擔。
另外，本發(fā)明的另一個目的是提供一種記錄媒體，用于存儲一程序，該程序用于使計算機執(zhí)行上述每一個駕駛操作輔助器裝置的所有或一些功能。
為了解決上述問題，本發(fā)明提供了一種駕駛操作輔助器，其特征是包含周圍狀況成像裝置，用于由攝像機使汽車周圍狀況成像，并產(chǎn)生周圍狀況的圖像和/或存儲所產(chǎn)生的周圍狀況圖像；合成圖像產(chǎn)生裝置，用于在周圍狀況圖像上疊加一假設移動圖形(這是視頻數(shù)據(jù)，示出在執(zhí)行一系列預定駕駛操作的情況下，汽車的移動)，產(chǎn)生合成圖像；以及顯示裝置，用于顯示合成圖像。
本發(fā)明的第2個發(fā)明(對應于權(quán)利要求26[原文如此，權(quán)利要求33])是記錄媒體，其特征在于存儲一程序，該程序用于使計算機執(zhí)行每一個上述駕駛操作輔助器的裝置的所有或一些功能。
附圖概述圖1是方框圖，示出本發(fā)明的第一實施例的駕駛操作輔助器的配置；圖2示出配備有本發(fā)明的第一實施例的駕駛操作輔助器的程序部分101的攝像機的汽車的頂示圖和正視圖；圖3是示出本發(fā)明的第一實施例的駕駛操作輔助器的虛擬攝像機的觀察區(qū)的正視圖；圖4是示出從本發(fā)明的第一實施例的駕駛操作輔助器的虛擬攝像機看到的周圍狀況的圖像的示圖；圖5(a)和5(b)是示出本發(fā)明的第一實施例的駕駛操作輔助器的假設移動數(shù)據(jù)的示圖；圖6(a)和6(b)是示出本發(fā)明的第一實施例的駕駛操作輔助器的假設移動數(shù)據(jù)的示圖；圖7是示出本發(fā)明的第一實施例的駕駛操作輔助器的合成圖像的示圖；圖8是示出本發(fā)明的第一實施例的駕駛操作輔助器的合成圖像的示圖；圖9是示出執(zhí)行平排停車至左側(cè)時汽車的移動的示圖；圖10(a)到10(c)是示出本發(fā)明的第一實施例的駕駛操作輔助器的合成圖像的示圖；圖11示出存儲在本發(fā)明的第一實施例的駕駛操作輔助器的假設移動圖形存儲裝置108中的假設移動圖形的各種示圖；圖12是示出本發(fā)明的第一實施例的駕駛操作輔助器的合成圖像的修改的示圖；圖13是示出本發(fā)明的第二實施例的駕駛操作輔助器的配置的方框圖；圖14(a)到14(c)是示出本發(fā)明的第二實施例的駕駛操作輔助器的合成圖像的示圖；圖15是示出本發(fā)明的第三實施例的駕駛操作輔助器的配置的方框圖；圖16(a)到16(c)是示出本發(fā)明的第三實施例的駕駛操作輔助器的合成圖像的示圖；圖17是示出本發(fā)明的第四實施例的駕駛操作輔助器的配置的方框圖；圖18是示出本發(fā)明的第五實施例的駕駛操作輔助器的配置的方框圖圖19(a)到19(c)是本發(fā)明的第五實施例的駕駛操作輔助器的合成圖像的示圖；圖20是示出本發(fā)明的第六實施例的駕駛操作輔助器的配置的方框圖；圖21(a)到21(c)是示出本發(fā)明的第六實施例的駕駛操作輔助器的合成圖像的示圖；圖22是本發(fā)明的第六實施例的駕駛操作輔助器的修改的配置的方框圖；圖23是示出本發(fā)明的第七實施例的駕駛操作輔助器的配置的方框圖；圖24是示出存儲在本發(fā)明的第七實施例的駕駛操作輔助器的映象表2302中的映象表的概念圖；
圖25是示出本發(fā)明的第八實施例的駕駛操作輔助器的配置的方框圖；圖26(a)到26(b)是示出本發(fā)明的第八實施例的駕駛操作輔助器的合成圖像的示圖；圖27是示出本發(fā)明的第九實施例的駕駛操作輔助器的配置的方框圖；圖28(a)到28(c)是示出本發(fā)明的第九實施例的駕駛操作輔助器的合成圖像的示圖；圖29是示出本發(fā)明的第十實施例的駕駛操作輔助器的配置的方框圖；圖30(a)和30(b)是示出本發(fā)明的第十實施例的駕駛操作輔助器的合成圖像的示圖；圖31是示出本發(fā)明的第十一實施例的駕駛操作輔助器的配置的方框圖；圖32(a)和32(b)是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖33是示出本發(fā)明的第1十一實施例的駕駛操作輔助器的合成圖像的示圖；圖34是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖35是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖36是用于解釋本發(fā)明的第十一實施例的駕駛操作輔助器的接觸危險估計功能的示圖；圖37是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖38是示出本發(fā)明的第十一實施例的駕駛操作輔助器的接觸危險估計功能的示圖(原文為表達式)；圖39示出本發(fā)明的第十一實施例的駕駛操作輔助器的假設移動數(shù)據(jù)的例子；圖40是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖41是示出本發(fā)明的第十一實施例的駕駛操作輔助器的合成圖像的示圖；圖42是示出本發(fā)明的第十二實施例的駕駛操作輔助器的配置的方框圖；
圖43是示出本發(fā)明的第十二實施例的駕駛操作輔助器的示圖；圖44是示出第十二實施例的駕駛操作輔助器的配置的方框圖；圖45是示出本發(fā)明的第十二實施例的駕駛操作輔助器的合成圖像的示圖；圖46是示出本發(fā)明的第十二實施例的駕駛操作輔助器的合成圖像的示圖；符號說明101成像部分102疊加部分103攝像機參數(shù)表104空間重新配置裝置105空間數(shù)據(jù)緩沖器106視點轉(zhuǎn)換裝置107顯示裝置108假設移動圖形存儲裝置1301、1501開始檢測裝置1302、1703積分裝置1303F、1503、1704空間轉(zhuǎn)換裝置1502圖像跟蹤裝置1701開始輸入裝置1702駕駛控制裝置1801軌跡校正裝置2001CG-圖像合成裝置2201攝像機2301映象裝置2302映射表2501最后位置輸入裝置2502開始位置確定裝置2503空間固定裝置實施本發(fā)明的最佳實施例下面，將參照附圖，描述本發(fā)明的實施例。
(第一實施例)首先，將參照附圖，描述本發(fā)明的第一實施例。
圖1是示出本實施例的駕駛操作輔助器的配置的方框圖。本實施例的駕駛操作輔助器主要用于進入車庫或平排停車等的協(xié)助駕駛操作。
如圖1所示，本實施例的駕駛操作輔助器由以下這些部分構(gòu)成包含N個攝像機(攝像機1到攝像機N)的成像部分101、用于存儲攝像機參數(shù)(這是攝像機的特征)的攝像機參數(shù)表103、用于產(chǎn)生空間數(shù)據(jù)的空間配置裝置104，其空間數(shù)據(jù)使每一個構(gòu)成由攝像機攝出的圖像的象素根據(jù)攝像機參數(shù)與三維空間中的一端相關；用于通過對照空間數(shù)據(jù)，產(chǎn)生從預定的視點觀察的圖像作為周圍狀況的圖像的視點轉(zhuǎn)換裝置106，用于暫時存儲空間數(shù)據(jù)的空間數(shù)據(jù)緩沖器105，用于存儲包含假設移動圖形的假設移動數(shù)據(jù)的假設移動圖形存儲裝置108，用于將假設移動圖形疊加在周圍狀況圖像上，并產(chǎn)生合成圖像的疊加裝置102，以及用于顯示合成圖像的顯示裝置107。
包含成像部分101、攝像機參數(shù)表103、空間重新配置裝置104和視點轉(zhuǎn)換裝置106的裝配對應于本發(fā)明的周圍狀況成像裝置，疊加裝置102對應于本發(fā)明的合成圖像產(chǎn)生裝置。
首先，下面將描述成像部分101的詳細配置，以及一過程，其中根據(jù)由成像部分101攝成圖像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況的圖像。
圖2示出設置有成像部分101的攝像機的汽車的項示圖和正視圖。在這個例子中，將六個攝像機201到206安排在汽車的頂部，N=6。這六個攝像機201到206如此設置，從而每一個攝像機的一部分與另一個攝像機的攝像范圍的一部分疊加，從而水平地不產(chǎn)生死角。
攝像機參數(shù)表103存儲上述每一個攝像機的攝像機參數(shù)(示出諸如設置位置、設置角度、透鏡應變修正值、和攝像機的聚焦距離等攝像機特征的參數(shù))?？臻g重新配置裝置104產(chǎn)生空間數(shù)據(jù)，它根據(jù)攝像機參數(shù)，使構(gòu)成由每一個攝像機攝出的圖像的每一個象素與以汽車為基礎的三維空間中的一點相關?？臻g數(shù)據(jù)緩沖器105暫時存儲上述空間數(shù)據(jù)，并且視點轉(zhuǎn)換裝置106通過對照空間數(shù)據(jù)和由此合成象素，產(chǎn)生從隨意的視點(諸如圖3所示的虛擬攝像機301的視點)看到的圖像，作為周圍狀況的圖像。
圖4示出從圖3所示的虛擬攝像機301的視點看到的周圍狀況的圖像。這個例子示出一種執(zhí)行平排停車的情況，其中在周圍狀況的圖像上顯示兩輛當前正在停車的汽車，作為障礙物401和障礙物402。
然后，將描述一過程，其中疊加裝置102產(chǎn)生本發(fā)明的合成圖像，最后，顯示裝置107顯示合成圖像。
假設移動圖形存儲裝置108存儲假設移動圖形，它是視頻數(shù)據(jù)，示出應用典型的汽車駕駛操作的汽車的移動，還存儲了時序數(shù)據(jù)，它示出汽車移動距離(由于輪胎的旋轉(zhuǎn)引起的移動距離)與方向盤的轉(zhuǎn)向角度(方向盤的旋轉(zhuǎn)角度)之間的關系，作為本發(fā)明的假設移動數(shù)據(jù)。
在存儲的假設移動數(shù)據(jù)中，在圖5中示出執(zhí)行將汽車平行地停到左側(cè)的駕駛操作的假設移動數(shù)據(jù)示出圖5中，而用于執(zhí)行將汽車停到車庫中，置于右側(cè)的駕駛操作的假設移動數(shù)據(jù)示于圖6中。圖5(a)和圖6(a)分別示出假設移動圖形，它是根據(jù)圖5(b)和圖6(b)的時序數(shù)據(jù)對應于駕駛操作的視頻數(shù)據(jù)，并示出操作開始的位置501和601(對應于本發(fā)明的假設移動開始區(qū))、操作終止的位置502和602(對應于本發(fā)明的假設移動終止區(qū))，和輪胎的軌跡503和603(對應于示出本發(fā)明的汽車輪胎軌跡的視頻數(shù)據(jù))。
首先，司機由圖形選擇裝置(這里未說明)選擇一個存儲在假設移動圖形存儲裝置108中的假設移動圖形。疊加裝置102將所選出的假設移動圖形(例如圖5(a))疊加在由視點轉(zhuǎn)換裝置106(例如圖4)產(chǎn)生的周圍狀況的圖像上，以將它們合成，并產(chǎn)生本發(fā)明的合成圖像，而顯示裝置107顯示合成圖像。假設這樣的話，例如，通過將圖5(a)中的操作開始的位置501調(diào)節(jié)到汽車當前的位置，操作終止的位置502成為當從當前位置開始對應于假設移動圖形的駕駛操作時的操作終止時的位置，即停車位置。
圖7示出通過合成圖5所示的假設移動圖形得到的合成圖像，圖8示出通過合成圖6所示的假設移動圖形得到的合成圖像。
即，在圖7(圖8)中，通過將汽車移動到開始的位置701(801)(其中，障礙物401和402(803和804)不妨礙停車位置702(802)、輪胎的軌跡503(603)和開始的位置701(801))，司機可以平排停車至左側(cè)(停入車庫至右側(cè))，并根據(jù)時序數(shù)據(jù)從該位置開始一連串駕駛操作，以便將汽車停在停車位置702(802)。
下面，通過使用執(zhí)行平排停車至左側(cè)作為一個例子，并對照圖9和圖10a到10c，描述將汽車移動到開始的位置701(801)。
圖9是示出當執(zhí)行平排停車至左側(cè)時，汽車的移動。如圖9所示，為了將汽車停在目標停車位置902，汽車的司機必須將位于當前位置901處的汽車移動到目標開始的位置903，其方法是通過在調(diào)節(jié)假設移動圖形的操作終止的位置502時，假設操作開始的位置501，以執(zhí)行平排停車至左側(cè)到達目標停車位置902作為目標開始位置903的目標停車位置902。
圖5(a)中操作終止位置502和操作開始位置501之間的相對位置關系對應于根據(jù)圖5(b)中的時序數(shù)據(jù)執(zhí)行的駕駛操作的情況。對于實際的駕駛操作，可以根據(jù)當前操作的方向盤的精細調(diào)節(jié)進行精細的調(diào)節(jié)。
當不使用本實施例的駕駛操作輔助器時，司機必須將汽車移動到目標開始位置903，其方法是根據(jù)可以從汽車內(nèi)通過直接觀察或鏡子確定的場景，假設障礙物401和402以及目標停車位置902。假設這樣的話，有一個問題，即，司機的用于根據(jù)從汽車內(nèi)通過直接觀察或鏡子確定的場景來確定障礙物401和402以及目標停車位置902需要司機的熟練的操作。另外，甚至當汽車的尺寸，或鏡子的位置變化時，有一個問題，即，司機無法容易地適用于變化。
但是，當使用本實施例的駕駛操作輔助器時，將圖5(a)所示的假設移動圖形疊加到從虛擬攝像機的視點看到的周圍狀況的圖像，就好象從如圖4所示的汽車上面的位置拍攝的圖像，由此，產(chǎn)生圖7所示的合成圖像，并且對司機顯示。
由此，在執(zhí)行將汽車移動到如圖9所示的目標開始位置903的駕駛操作的時間上，對應于當前位置與輪胎的軌跡，通過顯示將汽車的當前位置901的調(diào)節(jié)到如圖5(a)所示的操作開始位置501，如圖10(a)到10(c)所示，當假設當前位置901為操作開始位置501時，顯示作為停車位置1001的操作結(jié)束位置502，作為停車位置1001。當汽車位于停車位置1001和目標停車位置902一致的當前位置901時，完成了移動到目標開始位置903的操作。
即，如果當顯示裝置107上顯示圖10(a)顯示的合成圖像時，從該位置上開始停車操作，則停車位置1001與障礙物402疊加。由此，可以一眼就確定停車操作必須從汽車進一步向前移動的位置(圖10(a)中向前)開始。
另外，如果從在顯示裝置107上顯示的圖10(b)中的合成圖像2的位置開始停車操作時，輪胎的軌跡與障礙物401疊加。由此，司機可以一眼就確定停車操作必須從汽車進一步倒車的位置開始(圖10(a)中的朝下)。
另外，如果從在顯示裝置107上顯示圖10(c)中的合成圖像3的位置開始停車操作，則輪胎的軌跡不與障礙物401或402疊加，并且司機可以一眼就確定停車位置1001是適合于停車的位置。由此，可以確定停車操作可以從該位置開始。
由此，通過虛擬地合成示出了從汽車上面看的汽車、周圍的障礙物、停車終止位置和輪胎的軌跡之間位置上的關系的圖像，并向司機顯示合成圖像顯示給司機，司機可以一眼就直接確定它們之間的關系。結(jié)果，司機一眼就可以確定適合于停車操作開始的位置，容易地將汽車移動到一個地方，并開始停車操作。由此，可以更加安全和精確地將汽車停到希望的位置。
假設移動圖形操作開始和終止位置以及輪胎軌跡對于每一輛汽車是固有的。例如，它們在小的汽車和大的汽車中相差很大。這可以通過將假設移動圖形存儲在圖1所示的每一輛汽車的假設移動圖形存儲裝置108中而設定。由此，即使汽車轉(zhuǎn)換為另外一輛，司機仍然可以執(zhí)行駕駛操作，同時確定對應于汽車的假設移動圖形和周圍障礙物之間的關系。
另外，當更換汽車時，認為按照到汽車上的攝像機的位置和數(shù)量也改變了。但是，這也可以通過圖1中的攝像機參數(shù)表103存儲每一輛汽車的每一個攝像機的攝像機參數(shù)的事實來解決，并且向司機示出的圖像不直接受到影響。由此，即使更換汽車，由此攝像機的位置也改變，仍然可以執(zhí)行駕駛操作，同時，確定對應于顯示在合成圖像(幾乎類似于更換汽車之前顯示的圖像)中的汽車的假設移動圖形和周圍障礙物之間的關系，司機可以整形駕駛操作。
如上所述，根據(jù)該實施例，可在諸如停車等傳統(tǒng)上需要對司機的相當技巧的駕駛操作中，一眼就直接確定駕駛汽車、障礙物和目的位置，執(zhí)行更為安全和精確的駕駛操作，并大大減輕了司機的操作負擔。
另外，當確定對應于汽車的假設移動圖形和周圍障礙物之間的關系時，司機可以執(zhí)行駕駛操作，即使更換汽車而幾乎類似于更換汽車改變之前的狀態(tài)，由此可能大大減輕司機對于更換汽車的負擔。
圖11示出存儲在圖1中的假設移動圖形存儲裝置108中的假設移動圖形的變化。圖案是右和左平排停車假設移動圖形1101和1102以及右和左入車庫假設移動圖形1103和1104。如上所述，司機通過圖案選擇裝置(未示出)選擇這些圖案中任何一個。也可以確定作為合成圖像待顯示的區(qū)，正如由對應于上述四幅假設移動圖形的圖11中假設移動圖形的外框所表示的。即，假設操作開始位置假設為當前汽車位置和包括輪胎軌跡的矩形區(qū)；假設操作終止位置假設為合成圖像區(qū)。
盡管從裝在汽車上的攝像機通常不對汽車成象，但是在這種情況中允許維持汽車的CG數(shù)據(jù)和實際汽車數(shù)據(jù)，通過類似于對數(shù)據(jù)的跟蹤將它們彼此疊加，將這些數(shù)據(jù)顯示在合成圖像中。
對于這個實施例，本發(fā)明的假設移動圖形是作為表明操作開始位置(本發(fā)明的假設運動開始區(qū))、操作終止位置(本發(fā)明的假設運動終止區(qū))和輪胎軌跡(表明本發(fā)明的輪胎軌跡的圖像數(shù)據(jù))的視頻數(shù)據(jù)描述的。然而，其它的圖案也是允許的，例如，可以是包括汽車移動投影而不是或者與輪胎軌跡一起的軌跡(表明本發(fā)明的汽車移動區(qū)的視頻數(shù)據(jù))。簡而言之，當以前將以前將假設預定序列的駕駛操作以前施加于汽車上時，本發(fā)明的假設移動圖形僅需用作表明汽車移動的視頻數(shù)據(jù)。
然而，如上所述，如果直接顯示輪胎軌跡和/或汽車移動區(qū)，那么汽車與障礙物之間沒有接觸余量。因此，正如圖12所示，也允許顯示余量線1201，它是從輪胎軌跡或者汽車移動區(qū)的外緣起以預定值(例如50cm)向外設定的。
此外，對于本實施例，描述了本發(fā)明的周圍狀態(tài)圖像是對由成象部分101成象的視頻數(shù)據(jù)進行合成而實時地獲得的。然而，在經(jīng)常進行相同駕駛操作和周圍狀態(tài)很少起伏的地方，其它的圖案也是允許的，例如，可以將按照已經(jīng)成象的視頻數(shù)據(jù)產(chǎn)生的數(shù)據(jù)存儲在空間數(shù)據(jù)緩沖器105中并使用該數(shù)據(jù)。
(第二實施例)然后，以下參考附圖描述本發(fā)明的第二實施例。
圖13是一方框圖，表明本發(fā)明第二實施例的駕駛操作輔助器的配置。該實施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進入車庫和平排停車。因此，在這個實施例中，假設沒有作說明的元件與第一實施例的情況相同，提供與第一實施例情況相同符號的元件具有與第一實施例情況相同的功能，但另有說明除外。此外，假設通過應用相同的改進第一實施例所描述的每個改進例可以應用于本實施例，但另有說明者除外。
如圖13所示，本實施例的駕駛操作輔助器的配置與第一實施例的駕駛操作輔助器的配置的不同之處在于包括了開始檢測裝置1301、積分裝置1302和空間轉(zhuǎn)換裝置1303。
表明正向運動和向后移動的拍檔信號和表明方向盤轉(zhuǎn)向角度的方向盤轉(zhuǎn)角信號輸入到開始檢測裝置1301，后者判定當拍檔信號表明向后移動狀態(tài)時以及根據(jù)方向盤轉(zhuǎn)角信號的方向盤轉(zhuǎn)向角度達到一定值或更高時開始對應于存儲在假設移動圖形存儲裝置108中的假設移動圖形的駕駛操作(停車操作)，它對應于本發(fā)明的操作開始檢測裝置。
積分裝置1302對方向盤旋轉(zhuǎn)角度和后輪的轉(zhuǎn)動圈數(shù)相積分并計算開始駕駛操作(停車操作)后汽車到達當前時間點的空間運動變化，它對應于本發(fā)明的移動位置計算裝置。
空間轉(zhuǎn)換裝置1303根據(jù)空間運動變化移動假設移動圖形，疊加裝置102和空間轉(zhuǎn)換裝置1303的組件對應于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實施例中，直到按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀態(tài)圖像的過程與第一實施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對應于假設移動圖形的實際駕駛操作，此前的過程與第一實施例所描述的過程相同。
以下將利用向左側(cè)進行平排停車的情況作為一個例子，描述在開始對應于假設移動圖形的實際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
當司機開始對應于向左側(cè)平排停車的駕駛操作時，拍檔信號表明向后移動狀態(tài)以及根據(jù)方向盤轉(zhuǎn)角信號的方向盤轉(zhuǎn)向角度達到某一特定值或更高。因此，開始檢測裝置1301判定開始了對應于向左側(cè)平排停車的駕駛操作(停車操作)，向積分裝置1302傳遞駕駛操作(停車操作)的開始，而此后向積分裝置1302輸入方向盤旋轉(zhuǎn)角度信號和后輪轉(zhuǎn)數(shù)信號。
積分裝置1302在開始駕駛操作后對輸入的方向盤旋轉(zhuǎn)角度信號與后輪轉(zhuǎn)數(shù)信號積分，并計算當前汽車位置1402與停車操作開始位置1401之間的位置關系，如圖14(a)所示。
按照算出的位置關系，空間轉(zhuǎn)換裝置1303移動，對應于向左側(cè)平排停車的假設移動圖形，使得操作開始位置(圖5中501)與圖14(b)所示的停車操作開始位置1401向重合。換句話說，空間轉(zhuǎn)換裝置1303從空間上將假設移動圖形1403固定在開始駕駛操作后開始停車操作時的位置上。
在開始駕駛操作后，疊加裝置102通過把圖案1403和位置1402疊加在周圍狀態(tài)圖像上，將從空間上固定在停車操作開始位置上的假設移動圖形1403與當前汽車位置1402相合成，產(chǎn)生本發(fā)明的合成圖像，如圖14(c)所示。顯示裝置107顯示該合成圖像。由于諸如障礙物401和402的周圍狀態(tài)圖像在空間上是自然固定的，周圍狀態(tài)圖像與假設移動圖形1403之間的位置關系在合成圖像中是固定的。此外，由于合成圖像是從汽車上固定點觀看的，當汽車移動時，在屏幕上僅固定當前汽車位置1402，當周圍狀態(tài)圖像和假設移動圖形1403在圖14(c)中相對移動時對它們進行顯示。
即，根據(jù)這一實施例，從虛擬攝像機的視點觀看的周圍狀態(tài)圖像按照實際汽車的運動而移動，疊加并合成的假設移動圖形1403也按照由積分裝置1302算出的汽車的運動而移動。因此，周圍狀態(tài)圖像和假設移動圖形1403表明一致的運動。由于司機僅沿著每個時間點所顯示的假設移動圖形的輪胎軌跡操作方向盤，可實現(xiàn)更簡單且更安全的汽車操作。
(第三實施例)然后，以下參考附圖描述本發(fā)明的第三實施例。
圖15是一方框圖，表明本發(fā)明第三實施例的駕駛操作輔助器的配置。該實施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進入車庫和平排停車等。因此，在這個實施例中，假設沒有作說明的元件與第一實施例的情況相同，提供與第一實施例情況相同符號的元件具有與第一實施例情況相同的功能，但另有說明者除外。此外，通過應用相同的改進第一實施例所描述的每個改進例可以應用于本實施例，但另有說明除外。
如圖15所示，本實施例的駕駛操作輔助器的配置與第一實施例的駕駛操作輔助器的配置的不同之處在于包括了開始檢測裝置1501、圖像跟蹤裝置1502和空間轉(zhuǎn)換裝置1503。
開始檢測裝置1501具有第二實施例所描述的圖13中的開始檢測裝置1301相同的功能，所不同的是不將方向盤轉(zhuǎn)角信號或后輪轉(zhuǎn)數(shù)信號輸出到任何其它單元。
當開始駕駛操作(停車操作)并相應于本發(fā)明的位置信息存儲裝置時，圖像跟蹤裝置1502基于合成圖像上周圍狀態(tài)圖像的視頻數(shù)據(jù)的全部或一部分(例如障礙物)存儲假設移動圖形的全部或一部分(例如操作終止位置)的位置信息。
空間轉(zhuǎn)換裝置1503根據(jù)位置信息移動假設移動圖形，由疊加裝置102和空間轉(zhuǎn)換裝置1503構(gòu)成的組件相應于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實施例中，本發(fā)明的周圍狀態(tài)圖像是按照由成象部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對應于假設移動圖形的實際駕駛操作，此前的過程與第一實施例所描述的過程相同。
以下將利用向左側(cè)進行平排停車的情況作為一個例子，描述在開始對應于假設移動圖形的實際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
當司機開始對應于向左側(cè)平排停車的駕駛操作時，拍檔信號表明向后移動狀態(tài)以及根據(jù)方向盤轉(zhuǎn)角信號的方向盤轉(zhuǎn)向角度達到某一特定值或更高。因此，開始檢測裝置1301判定開始了對應于向左側(cè)平排停車的駕駛操作(停車操作)，并向圖像跟蹤裝置1502傳遞駕駛操作(停車操作)的開始。
當圖像跟蹤裝置1502接收表明開始了駕駛操作(停車操作)的信息時，通過空間數(shù)據(jù)緩沖器105獲得包括一部分障礙物402的終止位置周圍圖像1603(這是周圍狀態(tài)圖像的一部分視頻數(shù)據(jù))的視頻數(shù)據(jù)和合成圖案(圖16(a))上停車操作終止位置1602，并將該視頻數(shù)據(jù)存儲起來。在開始駕駛操作后，裝置1502在每個時間點上從周圍狀態(tài)圖像(通過空間數(shù)據(jù)緩沖器105獲得)尋找關于障礙物402的部分，將終止位置周圍圖像1603中關于障礙物402的部分調(diào)節(jié)為周圍狀態(tài)圖像中關于障礙物402的部分，由此確定停車操作終止位置1602與該時刻周圍狀態(tài)圖像之間的位置關系。即，圖像跟蹤裝置1502跟蹤每個時刻的停車操作終止位置1602與周圍狀態(tài)圖像之間的位置關系。
根據(jù)該位置關系，空間轉(zhuǎn)換裝置1503移動對應于向左側(cè)平排停車的假設移動圖形，使得操作終止位置(圖5中502)與停車操作終止位置1602相一致。換句話說，在開始駕駛操作后，空間轉(zhuǎn)換裝置1503在空間上將假設移動圖形固定在開始停車操作的位置上。
如圖16(c)所示，在開始駕駛操作后，疊加裝置102將空間上固定于開始停車操作的位置上的假設移動圖形1605和當前汽車位置1604疊加在周圍狀態(tài)圖像上并將它們合成以產(chǎn)生本發(fā)明的合成圖像。顯示裝置107顯示該合成圖像。由于障礙物401和402等的周圍狀態(tài)圖像在空間上是自然固定的，周圍狀態(tài)圖像與假設移動圖形1403之間的位置關系在合成圖像中是固定的。
此外，在圖16(c)中，由于合成圖像是從固定在汽車上的視點觀看的，如果汽車移動，在屏幕上僅固定當前汽車位置，周圍狀態(tài)圖像和假設移動圖形1605隨它們的相對移動而顯示。即，對于本實施例的駕駛操作輔助器，如果一個過程是在與第二實施例駕駛操作輔助器情況相同的條件下進行的，那么，圖16(c)所示的合成圖像變?yōu)榕c圖14(c)所示的合成圖像相同。
根據(jù)本實施例，由于從虛擬攝像機的視點觀看的周圍狀態(tài)圖像按照實際汽車的移動而移動，以及疊加和合成的假設移動圖形1605也按照汽車的移動而移動，因此二者均表明一致的移動。由于司機僅沿著每個時間點所顯示的假設移動圖形的軌跡數(shù)據(jù)操作方向盤，可實現(xiàn)更簡單且更安全的汽車操作。
(第四實施例)然后，以下參考附圖描述本發(fā)明的第四實施例。
圖17是一方框圖，表明本發(fā)明第四實施例的駕駛操作輔助器的配置。該實施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進入車庫和平排停車等。因此，在這個實施例中，假設沒有作說明的元件與第一實施例的情況相同，提供與第一實施例情況相同符號的元件具有與第一實施例情況相同的功能，但另有說明者除外。此外，假設通過應用相同的改進第一實施例所描述的每個改進例可以應用于本實施例，但另有說明者除外。
如圖17所示，本實施例的駕駛操作輔助器的配置與第一實施例的駕駛操作輔助器的配置的不同之處在于包括了開始輸入裝置1701、駕駛控制裝置1702、積分裝置1703和空間轉(zhuǎn)換裝置1704。
開始輸入裝置1701用于讓司機輸入并指定開始對應于假設移動圖形的實際駕駛操作(停車操作)，它對應于本發(fā)明的操作開始檢測裝置。
駕駛控制裝置1702根據(jù)輸入駕駛操作開始指令時對應于假設移動圖形的時序數(shù)據(jù)(例如圖5(b))，通過控制方向盤旋轉(zhuǎn)角度和后輪轉(zhuǎn)數(shù)，自動地控制汽車的操作，它對應于本發(fā)明的操作控制裝置。
積分裝置1703對方向盤旋轉(zhuǎn)角度與后輪轉(zhuǎn)數(shù)積分并計算開始駕駛操作(停車操作)后到當前時間點的汽車的空間運動變化，它對應于本發(fā)明的移動位置計算裝置。即，積分裝置1703具有與第二實施例所描述的圖13中積分裝置1302相同的功能。
空間轉(zhuǎn)換裝置1704根據(jù)空間運動變化移動假設移動圖形，由疊加裝置102和控制轉(zhuǎn)換裝置1704配置的組件對應于本發(fā)明的合成圖像產(chǎn)生裝置。即，空間轉(zhuǎn)換裝置1704具有與第二實施例所描述的圖13中空間轉(zhuǎn)換裝置1303相同的功能。
在本實施例中，本發(fā)明的周圍狀態(tài)圖像是按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中開始對應于假設移動圖形的實際駕駛操作，此前的過程與第一實施例所描述的過程相同。
以下將利用向左側(cè)進行平排停車的情況作為一個例子，描述在開始對應于假設移動圖形的實際駕駛操作后到疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像前的過程。
司機將汽車定位在適合于開始停車操作的位置上，同時觀看開始停車操作前顯示裝置107上所顯示的合成圖像，然后向開始輸入裝置1701輸入一個開始停車操作的指令。開始輸入裝置1701通過假設移動圖形存儲裝置108傳遞駕駛操作開始指令輸入到駕駛控制裝置1702和積分裝置1703。
在接收停車操作開始指令時，駕駛控制裝置1702按照對應于假設移動圖形的時序數(shù)據(jù)(圖5(b))通過產(chǎn)生方向盤旋轉(zhuǎn)角度控制信號和后輪轉(zhuǎn)數(shù)控制信號，以及通過控制方向盤控制系統(tǒng)和后輪控制系統(tǒng)，自動地控制汽車的駕駛。
在接收停車操作開始指令的情況中，積分裝置1703對方向盤旋轉(zhuǎn)角度信號與后輪轉(zhuǎn)數(shù)信號相積分，計算當前汽車位置1402與停車操作開始位置1401之間的位置關系，如圖14(a)所示。
正如圖14(b)所示，空間轉(zhuǎn)換裝置1704移動對應于向左側(cè)平排停車的假設移動圖形1403，使得操作開始位置(圖5中的501)與停車操作開始位置1401按照算出的位置關系彼此相一致。換句話說，在開始駕駛操作后，空間轉(zhuǎn)換裝置1704從空間上將假設移動圖形1403固定于停車操作開始位置。
接下來的過程與第二實施例所描述的過程相同，其中疊加裝置102產(chǎn)生合成圖像，顯示裝置107顯示該合成圖像。當汽車到達預定停車位置時，駕駛控制裝置1702按照時序數(shù)據(jù)而停車，由此完成停車操作。
根據(jù)本實施例，在指定開始駕駛操作后，除了第二實施例所描述的優(yōu)點外，還可以獲得自動進行方向盤操作等的優(yōu)點。由于司機僅需肯定方向盤操作是在每個時間點上按照所顯示假設移動圖形的軌跡數(shù)據(jù)自動地進行的以及監(jiān)視出現(xiàn)新的障礙物，可實現(xiàn)更簡單且更安全的汽車操作。
(第五實施例)
然后，以下參考附圖描述本發(fā)明的第五實施例。
圖18是一方框圖，表明本發(fā)明第五實施例的駕駛操作輔助器的配置。該實施例的駕駛操作輔助器主要也是用于幫助駕駛操作，如進入車庫和平排停車。因此，在這個實施例中，假設沒有作說明的元件與第一實施例的情況相同，提供與第一實施例情況相同符號的元件具有與第一實施例情況相同的功能，但另有說明者除外。此外，假設通過應用相同的改進第一實施例所描述的每個改進例可以應用于本實施例，但另有說明者除外。
如圖18所示，本實施例的駕駛操作輔助器的配置與第一實施例的駕駛操作輔助器的配置的不同之處在于包括了軌跡校正裝置1801。
軌跡校正裝置1801按照由司機輸入的駕駛操作位置和操作終止位置對假設移動圖形和時序數(shù)據(jù)進行校正，它對應于本發(fā)明的圖案校正裝置。
在本實施例中，本發(fā)明的周圍狀態(tài)圖像是按照由圖像部分101成象的視頻數(shù)據(jù)產(chǎn)生的，此前的過程與第一實施例所描述的過程相同。此外，疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像，在此前的過程中存儲在假設移動圖形存儲裝置108中的假設移動圖形通過使該圖案的操作開始位置與當前汽車位置相一致而顯示在合成圖像上，此前的過程與第一實施例所描述的過程相同。
以下將利用向左側(cè)執(zhí)行進入車庫的情況作為一個例子，描述司機通過利用軌跡校正裝置1801校正假設移動圖形和時序數(shù)據(jù)并在假設移動圖形顯示在合成圖像上之后將假設移動圖形和時序數(shù)據(jù)顯示在合成圖像上的過程。
正如圖19(a)所示，假設這樣一種情況，由于汽車移動到當前位置1901的結(jié)果，這里假設移動圖形操作終止位置與目標停車位置1902相一致，以便進行進入車庫操作，通過假設目標停車位置1902為操作終止位置，以致于司機不與障礙物1904或1905相接觸，發(fā)現(xiàn)假設移動圖形的輪胎軌跡1903與障礙物1905相干擾。
當假設移動圖形存儲裝置108存儲了向另一左側(cè)進入車庫操作的假設移動圖形時，可以研究通過由圖案選擇裝置(未示出)選擇存儲在裝置108中的假設移動圖形是否平穩(wěn)地進行進入車庫操作。然而，當裝置108并未存儲假設移動圖形時或者當另一個假設移動圖形也與障礙物相干擾時，司機可校正該假設移動圖形。
首先，司機通過輸入一數(shù)值，指示針或如圖19(b)所示的其它裝置，將表明汽車處于顯示裝置107上所顯示的合成圖像(圖19(a))當前位置1901上的圖案移動到新的操作開始位置1906。
當確定新的操作開始位置1906時，軌跡校正裝置1801獲得汽車從新的操作開始位置1906移動到目標停車位置1902的新的輪胎軌跡1907(參考圖19(c))并產(chǎn)生新的假設移動圖形和對應于新的假設移動圖形的時序數(shù)據(jù)。
疊加裝置102將新的假設移動圖形的操作開始位置調(diào)節(jié)為汽車的當前位置1901并產(chǎn)生合成圖像，如圖19(d)所示，顯示裝置107顯示該合成圖像。
因此，司機通過移動汽車可使車停在目標停車位置1902從而將新的假設移動圖形的操作終止位置1908調(diào)節(jié)為目標停車位置1902，然后按照新的假設。移動圖形開始駕駛操作(停車操作)。
允許對原始假設移動圖形進行更新后將產(chǎn)生的新的假設移動圖形和時序數(shù)據(jù)存儲在假設移動圖形存儲裝置108中或者未對原始假設移動圖形更新的話將新的假設移動圖形和時序數(shù)據(jù)附加地存儲到假設移動圖形存儲裝置108中。此外，允許不把它們作為暫時假設移動圖形和時序數(shù)據(jù)存儲在裝置108中。再有，允許司機每次選擇更新存儲、附加存儲或不存儲。
此外，對于本實施例，描述了更新存儲或附加存儲在假設移動圖形存儲裝置108中的假設移動圖形是按照司機輸入的駕駛開始和終止時汽車的位置自動地獲得的。然而，也允許進行實際駕駛操作，對于方向盤的轉(zhuǎn)向角度、輪的轉(zhuǎn)數(shù)等在該時間上對時序數(shù)據(jù)采樣，以及按照時序數(shù)據(jù)產(chǎn)生并存儲假設移動圖形。
根據(jù)這個實施例，有可能實現(xiàn)比第一實施例的駕駛操作幫手更擴展的駕駛操作幫手。
(第六實施例)然后，將參照附圖描述本發(fā)明的第六實施例。
圖20是方框圖，示出本發(fā)明的第六實施例駕駛操作輔助器的配置。本實施例的駕駛操作輔助器也主要用于輔助將汽車開入車庫、平排停車等等的駕駛操作。由此，在這個實施例中，假設未解釋的元件和第一實施例中的相同，設置有和第一實施例中相同的標號的元件具有第一實施例中情況相同的功能，除非另外進行解釋。另外，除非另外進行說明，通過應用修改，可以將每一個修改的例子應用于本實施例中。
如圖20所示，本實施例的駕駛操作輔助器不同于第一實施例的駕駛操作輔助器的地方在于包含CG圖像合成裝置2001。
CG-圖像合成裝置2001存儲對應于存儲在假設移動圖形存儲裝置108中的假設移動圖形的三維空間數(shù)據(jù)，并產(chǎn)生三維空間(或二維空間)圖像，該圖像調(diào)整到周圍狀況圖像的視點，它對應于本發(fā)明的假設移動圖形存儲裝置的一部分功能和本發(fā)明的合成圖像產(chǎn)生裝置的一部分功能。
假設，視點轉(zhuǎn)換裝置106可以自動地或根據(jù)從司機的輸入改變視點的位置。
另外，如圖21(a)所示，假設移動圖形存儲裝置108存儲多個虛擬極點2001[原文如此；2101]的位置(該位置設置在輪胎的軌跡503上)以及假設移動圖形(操作開始的位置501、操作終止的位置502和輪胎的軌跡503)。CG-圖像合成裝置2001先前根據(jù)假設移動圖形和虛擬極點2001[原文如此；2101]，產(chǎn)生和存儲對應于假設移動圖形的三維空間數(shù)據(jù)(對照圖21(b))。
在這個實施例中，直到根據(jù)由成像部分101攝像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像為止的過程和第一實施例中的一樣。另外，直到在疊加裝置102產(chǎn)生本發(fā)明的合成圖像，以及顯示裝置107顯示合成圖像為止的過程中的對應于假設移動圖形的實際駕駛操作開始為止的過程和第一實施例中所述的相同。
下面，通過將汽車平行停到左邊的情況為例，描述直到開始對應于假設移動圖形的實際駕駛操作之后疊加裝置102產(chǎn)生本發(fā)明的合成圖像以及顯示裝置107顯示該合成圖像的過程。
在開始實際駕駛操作之前，司機將視點轉(zhuǎn)換裝置106使用的周圍狀況圖像的視點改變至用于從有關的汽車上方的一個位置從有關的汽車背后觀察后面的視點。或當視點轉(zhuǎn)換裝置106檢測對應于假設移動圖形的實際駕駛操作開始時，視點自動改變到后一個視點。用于檢測實際駕駛操作開始的專用裝置包含例如和第二實施例中所述的開始檢測裝置130相同的裝置1。
由于視點改變，由視點轉(zhuǎn)換裝置106輸出的周圍狀況的圖像變成如圖21(c)所示的圖像。CG-圖像合成裝置2001根據(jù)操作開始的位置501，通過調(diào)節(jié)汽車的當前位置，產(chǎn)生從和視點轉(zhuǎn)換裝置106使用的相同的視點看的CG圖像。假設這樣的話，CG圖像變成如圖21(d)所示的圖像。
疊加裝置102將CG圖像疊加到周圍狀況圖像上，并合成它們，以產(chǎn)生如圖21(e)所示的本發(fā)明的合成圖像。顯示裝置107顯示該合成圖像。由于合成圖像是從固定在汽車上的一個視點看的圖像，故當汽車在如圖21(e)所示的情況下移動時，整個圖像在相對的移動中顯示出來。
在這種實施例中，由于司機能夠在看到顯示的圖像，并一眼確定虛擬極點或操作終止的位置與實際障礙物之間的關系時確定停車開始的位置，故司機可以執(zhí)行安全而可靠的駕駛操作。
在上述解釋中，CG-圖像合成裝置2001從和視點轉(zhuǎn)換裝置106所使用的相同的視點實時地產(chǎn)生CG圖像。但是，還允許使用預先產(chǎn)生CG圖像的配置(是從每一個假設移動圖形的預定的視點位置看的CG圖像)并存儲這些CG圖像。
另外，在本實施例中，描述了類似于第一實施例的情況，產(chǎn)生從虛擬攝像機看到的周圍狀況圖像。但是，當只要一個從汽車的背后看后面的圖像，不改變?nèi)魏蔚囊朁c時，還允許直接使用由設置到有關的視點位置上的攝像機拍攝的圖像作為周圍狀況圖像。圖22中的方框圖示出這種情況下的駕駛操作輔助器的配置。即，CG-圖像合成裝置2001通過從攝像機參數(shù)表103得到安裝在汽車上的攝像機2201的視點的數(shù)據(jù)而產(chǎn)生CG圖像。
(第七實施例)然后，將對照附圖，描述本發(fā)明的第七實施例。
圖23是方框圖，示出本發(fā)明的第七實施例的駕駛操作輔助器的配置。本實施例的駕駛操作輔助器還主要地用于進入車庫、平排停車之類的輔助駕駛操作。因此，在本實施例中，假設未說明的元件是和第一實施例情況相同的元件，而除非另行說明，和第一實施例的情況有相同的符號的元件具有和第一實施例的情況相同的功能。另外，除非另行說明，假設通過應用相同的修改，每一個為第一實施例描述的修改的例子都可以應用于本實施例。
如圖23所示，本實施例的駕駛操作輔助器的配置與第一實施例的駕駛操作輔助器的配置不同之處在于，包含映象裝置2301和映象表2302。
映象裝置2301快速地執(zhí)行處理，以將從成像部分101的每一個攝像機輸入的圖像轉(zhuǎn)換為從任意視點看到的圖像。
映象表2302存儲映象裝置2301使用的數(shù)據(jù)，以執(zhí)行轉(zhuǎn)換。
圖24是概念圖，示出存儲在映象器2302中的映象表的例子。映象表由單元配置，它們等于由顯示裝置107顯示的屏幕(即由疊加裝置102產(chǎn)生的合成圖像)象素的數(shù)量。即，如此配置映象表，從而顯示屏幕上水平象素的數(shù)量等于表的縱列數(shù)量，顯示屏幕上豎直象素的數(shù)量等于等于表的行的數(shù)量。另外，每一個單元具有攝像機號碼以及由每一個攝像機拍攝的圖像的象素坐標作為數(shù)據(jù)。
例如，圖24中左上角的單元(輸入數(shù)據(jù)(1，10，10)的單元)示出左上角，即，顯示屏幕上的(0，0)部分，并且映象裝置2301根據(jù)存儲在該單元中的數(shù)據(jù)內(nèi)容(1，10，10)，在顯示屏幕(0，0)″上顯示由第一號攝像機拍攝的圖像的象素(10，10)的數(shù)據(jù)。通過使用這種表，不必執(zhí)行計算以決定用來替換顯示器的屏幕上每一個要替換的象素的象素數(shù)據(jù)是否要替換被替換的象素數(shù)據(jù)。由此，可以達到加速處理。
當視點轉(zhuǎn)換裝置106通過改變多個視點而使用它們時，必須將如圖24所示的表存儲在每一個視點的映象表2302中。
(第八實施例)然后，將參考


本發(fā)明的第八實施例。
圖25是方框圖，示出第八實施例的駕駛操作輔助器的配置。本實施例的駕駛操作輔助器，還主要用于把車開入車庫、平排停車及等等。因此，在本實施例中，假設未另行說明的元件是同第一實施例的情況相同的元件與第一實施例的情況具有相同符號的元件具有第一實施例的情況的元件相同的功能除非另行說明。此外，除非另行說明，假設可以把對于第一實施例所說明的每個修改例子應用于本實施例，只要將相同的修改施加于本實施例。
如圖25所示，本實施例的駕駛操作輔助器的配置和第一實施例的駕駛操作輔助器的配置不同之處在于，包括最終位置輸入裝置2501、開始位置確定裝置2502和空間固定裝置2503。
最終位置輸入裝置2501通過指示針輸入駕駛操作的目標終止位置。還允許通過輸入數(shù)字值或通過其它裝置輸入目標終止位置。
根據(jù)相應于所考慮的駕駛操作的假設移動圖形，開始位置確定裝置2502得到相應于通過最終位置輸入裝置2501輸入的目標終止位置的駕駛操作的開始位置。
空間固定裝置2503使目標終止位置和操作終止位置一致，此后，在空間上固定相應于駕駛操作的假設移動圖形，這具有圖13(在圖25中，沒有說明后輪旋轉(zhuǎn)信號輸入和方向盤轉(zhuǎn)向角信號輸入)中的積分裝置1302和空間轉(zhuǎn)換置1303的功能。
此外，允許裝置2503具有圖15中的圖像跟蹤裝置1502和空間轉(zhuǎn)換裝置1503的功能。然而，假使這樣的話，必須與圖15中的圖像跟蹤裝置1502的情況相似地接收來自空間緩沖器105〔原文如此；空間數(shù)據(jù)緩沖器105〕的空間數(shù)據(jù)輸入。由疊加裝置102和空間固定裝置2503配置的元件相應于本發(fā)明的合成圖像產(chǎn)生裝置。
在本實施例中，有一個過程和為第一實施例所說明的過程是相同，這個過程是直到根據(jù)通過圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像的過程。此外，一直到102生成本發(fā)明的合成圖像，和107顯示這個合成圖像為止的過程中，使其操作開始位置和汽車當前位置一致地在合成圖像上顯示108中存儲的假設移動圖像為止的過程與第一實施例中說明的過程相同。
將在下面通過用向左邊完成把車開入車庫的例子來說明一個過程，所述過程是通過使用最終位置輸入裝置2501和在合成圖像上顯示假設移動圖形之后，在合成圖像上顯示假設移動圖形(包括相應于目標終止位置的駕駛操作的開始位置)直到司機輸入駕駛操作的目標終止位置的過程。
如圖26(a)所示，假設一種情況，在該情況中，作為司機在顯示裝置107上顯示本發(fā)明的合成圖像，以在障礙物401和402之間停一輛車而不碰到障礙物的結(jié)果，停車位置1001與障礙物402疊加，其中所述停車位置是假設移動圖形(它使用車的當前位置901作為操作開始位置)1403的操作終止位置。
司機通過使用顯示在顯示裝置107的屏幕上的指示針2601，將停車位置1001移動到目標位置2602。假使這樣的話，如圖26(b)所示，假設移動圖形1403與停車位置1001一起移動。因此，把假設移動圖形1403的操作開始位置顯示為用于開始停車操作的開始位置2603。
如圖26(c)所示，即使在完成上述移動操作之后，汽車的當前位置901仍顯示在顯示裝置107的屏幕上。司機只要觀察屏幕而將汽車移動到開始位置2603。假使這樣的話，因為空間固定裝置2503把假設移動圖形1403固定在一個空間，假設移動圖形1403和障礙物401和402之間的相對位置關系不改變。
根據(jù)本實施例，因為除了第一實施例所述的優(yōu)點之外，還可以有效地得到駕駛操作開始位置，所以有可能減少操作開始所需要的時間。
此外，允許對本實施例的駕駛操作輔助器增加開始位置引導裝置，所述裝置當確定開始位置2603時，計算與當前位置901的相對位置關系，得到引導汽車從當前位置901到開始位置2603所必需的方向盤旋轉(zhuǎn)角的時序數(shù)據(jù)和后輪轉(zhuǎn)數(shù)，根據(jù)時序數(shù)據(jù)產(chǎn)生方向盤旋轉(zhuǎn)角控制信號和后輪轉(zhuǎn)數(shù)控制信號，控制方向盤系統(tǒng)和后輪駕駛系統(tǒng)，從而自動地控制汽車的駕駛，并自動地引導汽車從當前位置901到開始位置2603。從而，因為不通過司機的操作而將汽車引導到開始位置，實現(xiàn)了更簡單和更安全的汽車操作。
(第九實施例)然后，下面將參考

本發(fā)明的第九實施例。
圖27是方框圖，示出本發(fā)明的第九實施例的駕駛操作輔助器的配置。本實施例的駕駛操作輔助器與第二實施例的駕駛操作輔助器的不同之處僅在于將開始檢測裝置1301和積分裝置1302的輸出輸入到視點轉(zhuǎn)換裝置106，并且視點轉(zhuǎn)換裝置106根據(jù)輸出改變虛擬攝像機的視點。
因此，在本實施例中，假設未另行說明的元件同第二實施例的情況的元件相同，以及除非另行說明，與第二實施例的情況具有相同符號的元件具有和第二實施例的情況的元件相同的功能。此外，除非另行說明，假設可以把對于第二實施例所說明的每個修改例子應用于本實施例，只要將相同的修改施加于本實施例。
在本實施例中，所述過程是直到根據(jù)圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像的過程與第一實施例所說明的過程相同。此外，在直到疊加裝置102產(chǎn)生本發(fā)明的合成圖像和顯示裝置107顯示合成圖像時的過程中，開始相應于假設移動圖形的實際操作的過程和第一實施例所說明的過程相同。
將在下面通過用向左邊完成平排停車情況的例子來說明直到在開始相應于假設移動圖形的實際駕駛操作之后，疊加裝置102產(chǎn)生本發(fā)明的合成圖像和顯示裝置107顯示合成圖像時的過程。
如參考圖10的第一實施例所述，在開始實際駕駛操作之前，將虛擬攝像機視點位置固定在一個剛好高于汽車的位置上，如圖28(a)所示，使當前汽車位置901和使用位置901作為操作開始位置的假設移動圖形1403固定在屏幕上，當根據(jù)汽車的移動在屏幕上相對地移動時，顯示諸如障礙物401、402等等的周圍狀況圖像。
如圖28(b)所示，當前汽車位置來到相應于目標停車位置902的位置時，司機開始相應于向左邊平排停車的駕駛操作。當開始駕駛操作時，一個排擋信號指示向后移動狀態(tài)，并且根據(jù)方向盤轉(zhuǎn)向角信號的前輪操縱角到達某值或更大的值。因此，開始檢測裝置1301判斷開始了相應于向左邊平排停車的駕駛操作(停車操作)，并將開始駕駛操作(停車操作)傳遞給積分裝置1302和視點轉(zhuǎn)換裝置106。
在開始駕駛操作之后，積分裝置1302對輸入方向盤旋轉(zhuǎn)角信號和后輪轉(zhuǎn)數(shù)信號進行積分，以計算當前汽車位置1402和停車操作開始位置1401之間的位置關系，如圖14(a)所示。
根據(jù)所計算的位置關系，空間轉(zhuǎn)換裝置1303移動相應于向左邊平排停車的假設移動圖形1403，以致如圖14(b)所示，圖形1403的操作開始位置(在圖5中的501)與停車操作開始位置1401相一致。換言之，在開始駕駛操作之后，空間轉(zhuǎn)換裝置1303在空間上將假設移動圖形1403固定到停車操作開始處的位置上。
當視點轉(zhuǎn)換裝置106接收到開始駕駛操作(停車操作)時，它即將虛擬攝像機的視點位置固定到一個空間(地)。即，在開始駕駛操作之后，將周圍狀況圖像(障礙物401、402等等)固定在屏幕上。
開始駕駛操作后，疊加裝置102在周圍狀況圖像上疊加空間上固定到停車操作開始的位置上的假設移動圖形1403和當前汽車位置1402，并將它們合成以產(chǎn)生如圖28(c)所示的本發(fā)明的合成圖像。因為通將虛擬攝像機在停車操作開始處在停車操作開始處的視點位置空間上固定到周圍狀態(tài)而得到合成圖像的視點的視點。所以，通過由積分裝置1302計算的相反于視點地計算位置關系，疊加裝置102產(chǎn)生合成圖像。即，在該合成圖像(圖28(c))中，當根據(jù)汽車的實際移動在屏幕上相對地移動時，將周圍狀況圖像(障礙物401、402等等)和假設移動圖形1403固定在屏幕上并顯示當前汽車位置1402。
根據(jù)本實施例，因為使在開始停車操作之后的視點固定在一個空間，所以司機一看就可以確認一看就可以確認汽車相對于停車空間的周圍狀況的移動狀態(tài)。
當駕駛操作開始后根據(jù)假設移動圖形假設的移動包括較寬的范圍或是較復雜并且產(chǎn)生大于圖像部分101的攝像機的視野的范圍時，還允許通過使用存儲在空間數(shù)據(jù)緩沖器105中的數(shù)據(jù)來顯示范圍。
(第十實施例)然后，下面將參考

本發(fā)明的第十實施例。
圖29是方框圖，示出本發(fā)明的第十實施例的駕駛操作輔助器的配置。本實施例的駕駛操作輔助器和第一實施例的駕駛操作輔助器僅不同于假設了兩種情況，其中如圖30(b)所示，作為存儲在假設移動圖形存儲裝置108中的缺省駕駛圖形，當將方向盤順時針轉(zhuǎn)到最大角度時使汽車向后退和反時針時使輪胎旋轉(zhuǎn)，如圖30(a)所示，同時通過疊加裝置102合成兩個限定區(qū)軌跡604，替代由兩種情況的假設移動造成的輪胎軌跡603，并在顯示裝置107上顯示合成的結(jié)果。
因此，在本實施例中，假設未另行說明的元件是同第一實施例的情況相同的元件，除非另行說明，與第一實施例的情況具有相同符號的元件具有第一實施例的情況的元件相同的功能。此外，除非另行說明，假設只要將相同的修改施加于本實施例可以把對于第一實施例所說明的每個修改例子應用于本實施例。
根據(jù)本實施例，如圖30(b)所示，假設兩種最簡單的情況，其中當方向盤轉(zhuǎn)到最大順時針和反時針角度時汽車后退，作為假設移動存儲圖形108(原文如此；假設移動圖形存儲裝置)的缺省值。因此，當汽車可以根據(jù)假設移動存儲圖形108〔原文如此；假設移動圖形存儲裝置〕的缺省值停車時，可以獲得有利之處，即變得不需要改變和選擇多個假設移動存儲圖形和可以減輕司機的操作負擔。
此外，通過由疊架手段102同時合成限定區(qū)軌跡(由于上述兩種情況的假設移動而產(chǎn)生的限定區(qū)軌跡)604和通過在顯示裝置107上顯示合成結(jié)果，不必改變和選擇左和右兩個假設移動存儲圖形，結(jié)果可以得到這種減輕司機操作負擔的效果。
此外，如圖30(a)所示，疊加裝置102合成替代輪胎軌跡603的限定區(qū)軌跡60，它是該軌跡在整個汽車可以通過的空間中，并將合成結(jié)果顯示在顯示裝置107上，從而可以獲得一個有利之處，即司機能容易地和更正確地確認離輪胎之外的突出的一部分汽車(諸如汽車的右前部分)在向左后方轉(zhuǎn)向而停車時是否會接觸到障礙物。
(第十一實施例)然后，下面將參考

本發(fā)明的第十一實施例。
圖31是方框圖，示出本發(fā)明的第十一施例的駕駛操作輔助器的配置。本實施例的駕駛操作輔助器主要應用于使車進入車庫和平排停車。因此，在本實施例中，假設未另行說明的元件是同第一和第五實施例的情況相同的元件，并且除非另行說明，與第一和第五實施例的情況具有相同符號的元件具有第一和第五實施例的情況的元件相同的功能。此外，除非另行說明，假設只要將相同的修改施加于本實施例可以把對于第一和第五實施例所說明的每個修改例子應用于本實施例。
本實施例的駕駛操作輔助器的配置和第一和第五實施例的駕駛操作輔助器的不同之處在于包括圖31所示的障礙物輸入裝置3101和假設圖形校正裝置3102，以及假設移動圖形存儲裝置108包括用于當汽車如圖32(a)所示地移動時，改變汽車向后和向前移動的移動圖形。
假使這樣的話，將相應于輪胎旋轉(zhuǎn)的方向盤角度存儲在圖31中的假設移動圖形存儲裝置108中，作為用于如圖32(b)所示的假設移動圖形的時序數(shù)據(jù)。如圖32(b)所示，0到0.8的輪胎旋轉(zhuǎn)表示汽車在從倒車改變?yōu)橄蚯耙苿犹幍牡管?。假使這樣的話，汽車的位置出現(xiàn)在如圖32(a)所示的向后和向前移動改變位置3201處。然后，汽車向前移動到0.8到0.6的輪胎角。當汽車到達如圖32(a)所示的向前和向后移動改變位置3202處時，諸如在0.6到1.4的輪胎角，使向前移動再次改變?yōu)榈管嚒?br> 因此，通過包括用于在移動期間改變向后和向前移動的移動圖形，有可能控制汽車的位置和方向，即使如圖32(a)所示對于障礙物只有較小的空間余量。
在本實施例中，所述過程是直到根據(jù)通過圖像部分101成像的視頻數(shù)據(jù)產(chǎn)生本發(fā)明的周圍狀況圖像為止的過程和第一實施例所說明的過程相同。在到疊加手段102產(chǎn)生合成圖像，和顯示手段107顯示合成圖像為止的過程中，通過將圖形的開始位置調(diào)節(jié)到汽車的當前位置，在本發(fā)明的合成圖像上顯示存儲在假設移動圖像存儲手段108中的假設移動圖形的過程和第一實施例所示的一致。
將在下面通過用向右邊完成把車開入車庫的例子來說明一個過程，即在將假設移動圖形顯示在合成圖像上和將校正假設移動圖形和時序數(shù)據(jù)顯示在合成圖像上之后，直到司機使用軌跡校正裝置1801和障礙物輸入裝置3101，校正假設移動圖形和時序數(shù)據(jù)的過程。
如圖33所示，假設一種情況，在該情況中，為了使用目標停車位置1902作為操作終止位置來完成使汽車進入車庫的操作，司機將汽車移動到當前位置1901，在該位置處，假設移動圖形的操作終止位置與目標停車位置1902相一致，以致汽車不碰到障礙物(a3204、b3205或c3206)，從而發(fā)現(xiàn)假設移動圖形的限定區(qū)604可以和障礙物a、b或c接觸。
當假設移動圖形存儲裝置108存儲用于另一個向右邊的使車進入車庫的操作時，允許通過圖形選擇裝置(未示出)選擇假設移動圖形，并研究是否能順利地進行停車操作。然而，當裝置108不存儲假設移動圖形或另一個假設移動圖形也和障礙物等相接時，司機校正假設移動圖形。
首先，司機假設一個圖形，該圖形表示汽車出現(xiàn)在示于圖31中的顯示裝置107上的合成圖像(圖33)的當前位置3200處，作為停車操作開始位置1901，假設在圖像中的一個區(qū)，在該區(qū)出現(xiàn)障礙物a、b或c，通過使用在圖31中的障礙物輸入裝置3101作為障礙物指定矩形如圖34所示的a3207，或通過使用障礙物指定圓b3208，作為障礙物指定區(qū)3201(參考圖36)，并通過設置和輸入障礙物指定矩形或障礙物指定區(qū)。此外，當必須校正目標停車位置時，司機通過數(shù)字值輸入、指示針或其它裝置完成移動輸入。
當輸入障礙物區(qū)時，軌跡校正裝置1801在包括如圖35所示的障礙物指定區(qū)3210的具有60cm的圓形區(qū)中設置一個接觸危險區(qū)3209。此外，對該區(qū)提供示于圖36的接觸危險估算函數(shù)H3210。通過合成三個二次函數(shù)來配置該函數(shù)，當離障礙物指定區(qū)3210接近10cm或小于10cm時，這些二次函數(shù)快速地增加，當離開10cm或更多時，緩慢地減小，對于60cm或更大則變成0。
此外，如圖37所示，將估算點3211(xi、yi)(i=1-6)設置到示于圖37的圍繞某區(qū)的6個點，并計算示于圖32(b)的表中的有關N項(輪胎旋轉(zhuǎn)tm和輪胎角km)(m=1-N)的軌跡估算點3212(xi、yi)n(n=1-N)。
如圖38中的表達式所示，從在軌跡估算點3212的位置處的總接觸危險估算函數(shù)H3210得到軌跡接觸危險估算函數(shù)H”3213。
如圖37所示，軌跡接觸危險估算函數(shù)H”3213成為在圖32(b)的表中的N項(輪胎旋轉(zhuǎn)tm和輪胎角km)的函數(shù)。因此，通過偏微分方法對圖(輪胎旋轉(zhuǎn)tm和輪胎角km)連續(xù)地校正，有可能得到使軌跡接觸危險估算函數(shù)H”3212最小的值(輪胎旋轉(zhuǎn)tm和輪胎角km)。
從而，如圖39所示，有可能從最先示于圖32(b)中的(輪胎旋轉(zhuǎn)tm和輪胎角km)將假設移動圖形校正到使軌跡接觸危險估算函數(shù)H”3212值最小的(輪胎旋轉(zhuǎn)tm和輪胎角km)。
當在障礙物指定區(qū)3210中即使發(fā)現(xiàn)10cm或更小的一個點，從使軌跡接觸危險估算函數(shù)H”3212值最小的(輪胎旋轉(zhuǎn)tm和輪胎角km)中的軌跡估算點3212(xi、yi)n的有關每個點的接觸危險估算函數(shù)H，向司機發(fā)出一個警告C已滿”(C areful”)。當在障礙物指定區(qū)3210中即使發(fā)現(xiàn)0cm或更小的一個點，向司機發(fā)出一個警告不可能停車”。
因為校正假設移動圖形是用于使軌跡接觸危險估算函數(shù)H”3212最小的移動圖形，所以假設移動圖形產(chǎn)生離圖40中所示的障礙物具有較大余量的軌跡，從而可以更安全地停車。
如圖41所示，通過將校正假設移動圖形3214的操作開始位置調(diào)節(jié)到當前汽車位置3200，疊加裝置102產(chǎn)生合成圖像，并且顯示裝置107顯示合成圖像。
因此，當司機根據(jù)新的校正假設移動圖形3214開始汽車的駕駛操作(停車操作)時，根據(jù)對障礙物具有較大余量的移動圖形，司機可以將車停在目標停車位置1902處。
通過更新原始假設移動圖形或在108中另外存儲新的假設移動圖形，允許將所產(chǎn)生的新的假設移動圖形和時序數(shù)據(jù)存儲在假設移動圖形存儲裝置108中而不改變原始假設移動圖形。此外，允許臨時性地使用它們而不存儲它們。此外，允許司機每次選擇重新開始的存儲、另外的存儲或不存儲。
此外，通過假設說明上述本實施例，假設可以根據(jù)司機輸入的移動的開始或終止處的汽車的位置，自動地得到待重新存儲或另外存儲在假設移動圖形存儲裝置108中的假設移動圖形。然而，還允許完成實際的駕駛操作，從而對然后的方向盤的操縱角和輪的轉(zhuǎn)數(shù)的時序數(shù)據(jù)取樣，產(chǎn)生根據(jù)時序數(shù)據(jù)的假設移動圖形，并存儲所述圖形。
(第十二實施例)下面將參考圖42到46說明本發(fā)明的第十二實施例。
在第十一實施例中，假設根據(jù)司機輸入的障礙物區(qū)來校正圖32(a)所示的假設移動圖形。然而，還允許校正兩個假設移動圖形或更多，并選擇較佳的一個。圖42不同于圖31，其中使用移動圖形選擇軌跡校正裝置3301來替代軌跡校正裝置3101。
首先，說明第十二實施例的操作。如圖43所示，通過假設當前汽車位置作為停車操作開始位置，在顯示單元所顯示的圖像上，司機指定和輸入目標停車位置1902。根據(jù)目標停車位置1902對出自多個存儲在假設移動圖形存儲裝置108中的多個假設移動圖形的停車操作開始位置的粗略的位置關系，如圖44所示，移動圖形選擇軌跡校正裝置3301錄取兩個用于向右后方停車的假設移動圖形。
此外，如圖45和46所示，當司機在顯示單元上顯示的圖像上輸入障礙物區(qū)時，與第十一實施例情況相似地校正分別使軌跡接觸危險估算函數(shù)H”3213最小的兩個假設移動圖形。假使這樣的話，通過兩個最小的軌跡接觸危險估算函數(shù)H”3213的相互比較，有可能選擇較安全的假設移動圖形。此外，當兩個軌跡接觸危險估算函數(shù)H”3213具有相同值時，通過先前提升允許較簡單駕駛操作的函數(shù)H”3213的優(yōu)先級，選擇較簡單的假設移動圖形。
因此，當離障礙物的空間余量較小時，如圖45所示，自動地選擇具有向后移動(cutback)的更安全的移動圖形。然而，當離障礙物的空間余量較大時，如圖446〔原文如此；圖46)所示，自動地選擇沒有向后移動(cutback)的更簡單的移動圖形。
根據(jù)上述配置，司機可以僅通過輸入目標停車位置和障礙物區(qū)自動地選擇最佳假設移動圖形，從而通過較安全和較簡單的駕駛操作實現(xiàn)最佳停車。
根據(jù)本實施例，有可能實現(xiàn)比第一實施例的駕駛操作輔助器更可擴展的駕駛操作輔助器。
通過假設說明上述第一到第十二實施例，假設通過使用多個裝在車上的攝像機，本發(fā)明的周圍狀況圖像裝置主要產(chǎn)生從虛擬攝像機的視點觀察的圖像。然而，還允許使用一個裝置到有屋頂停車場的天花板上的攝像機。簡言之，有可能使用任何類型的裝置作為本發(fā)明的周圍狀況圖像裝置，只要通過用攝像機成像汽車的周圍狀況和/或存儲所產(chǎn)生的周圍狀況圖像使該裝置產(chǎn)生周圍狀況圖像。
此外，通過假設說明上述第一到第十二實施例，假設分別對各實施例的駕駛操作輔助器提供本發(fā)明的假設移動圖形存儲裝置。然而，還允許使用任何類型的裝置作為本發(fā)明的假設移動圖形存儲裝置，只要每次都能將假設移動圖形輸入的各裝置。簡言之，允許使用任何類型的駕駛操作輔助器作為本發(fā)明的駕駛操作輔助器，只要駕駛操作輔助器包括周圍狀況圖像裝置，用于以攝像機成像汽車的周圍狀況，從而產(chǎn)生周圍狀況圖像和/或存儲周圍狀況圖像；合成圖像產(chǎn)生裝置，在完成汽車的預定駕駛操作序列的情況下，用于在周圍狀況圖像上疊加表示汽車移動的視頻數(shù)據(jù)的假設移動圖形，并產(chǎn)生合成圖像；以及顯示裝置，用于顯示合成圖像。從而，因為至少一個周圍狀況圖像和一個假設移動圖形彼此疊加并顯示在合成屏幕上，司機只要一看就可以確認周圍狀況圖像和假設移動圖形之間的關系。
工業(yè)應用性從上述說明可以明了，本發(fā)明提供駕駛操作輔助器，根據(jù)通過顯示汽車移動的預定的駕駛操作序列和周圍狀況，當司機完成和周圍狀況一起的預定的駕駛操作序列時，司機可以通過所述駕駛操作輔助器直接地確認汽車移動之間的關系，因而減輕了司機的負擔。
即，通過使用本發(fā)明的駕駛操作輔助器，看一眼顯示圖像，司機就可以確認一個位置，用于開始諸如使車進入車庫或平排停車之類的駕駛操作；一個地方，用于最后停放汽車；以及一個位置關系，諸如與其它汽車之類的障礙物的位置關系。因此，預期減輕了司機的操作負擔和提高了安全性。此外，通過引入自動駕駛技術(shù)，有可能自動地完成每個操作，包括當觀察移動軌跡數(shù)據(jù)時，僅由司機將汽車移動到停車操作開始位置而使汽車進入車庫。
此外，本發(fā)明提供用于存儲程序的記錄媒體，所述程序使計算機執(zhí)行本發(fā)明的駕駛操作輔助器的各個裝置的所有的或某些功能。
權(quán)利要求
1．一種駕駛操作輔助器，其特征在于包含周圍狀況成像裝置，用于使用攝像機對汽車的周圍狀況成像，并產(chǎn)生周圍狀況圖像和/或存儲產(chǎn)生的周圍狀況圖像；合成圖像產(chǎn)生裝置，用于通過在所述周圍狀況圖像上疊加一假設移動圖形而產(chǎn)生合成圖像，所述假設移動圖形是在對汽車執(zhí)行一系列預定的駕駛操作情況下示出汽車的移動的視頻數(shù)據(jù)；和顯示裝置，用于顯示所述合成圖像。
2．如權(quán)利要求1所述的駕駛操作輔助器，其特征在于周圍狀況成像裝置具有一個或多個攝像機，以及攝像機參數(shù)表，用于存儲攝像機參數(shù)，所述攝像機參數(shù)是所述攝像機或所述每一個攝像機的特性，并從所述攝像機或所述每一個攝像機輸出的所述攝像機參數(shù)，產(chǎn)生周圍狀況圖像。
3．如權(quán)利要求2所述的駕駛操作輔助器，其特征在于周圍狀況成像裝置具有空間重新配置裝置，用于根據(jù)攝像機參數(shù)，使構(gòu)成由攝像機或每一個攝像機輸出的圖像的每一個象素與三維空間中的一點相關，而產(chǎn)生空間數(shù)據(jù)；視點轉(zhuǎn)換裝置，用于對照空間數(shù)據(jù)，產(chǎn)生從預定的視點觀察看見的圖像作為周圍狀況圖像，而合成圖像產(chǎn)生裝置通過對照所述空間數(shù)據(jù)產(chǎn)生合成圖像。
4．如權(quán)利要求3所述的駕駛操作輔助器，其特征在于包含一空間數(shù)據(jù)緩沖器，用于暫時存儲空間數(shù)據(jù)。
5．如權(quán)利要求3或4所述的駕駛操作輔助器，其特征在于預定的視點是固定到三維空間或汽車的點，并且視點轉(zhuǎn)換裝置自動地或通過司機的輸入改變預定的視點。
6．如權(quán)利要求1到5任一條所述的駕駛操作輔助器，其特征在于假設移動圖形包含視頻數(shù)據(jù)，所述視頻數(shù)據(jù)示出假設移動開始區(qū)和假設移動終止區(qū)之間的關系，所述假設移動開始區(qū)是執(zhí)行上述預定的一系列駕駛操作時汽車的移動開始時汽車所在區(qū)，所述假設移動終止區(qū)是移動終止時汽車所在的位置。
7．如權(quán)利要求6所述的駕駛操作輔助器，其特征在于假設移動圖形包含示出汽車輪胎的軌跡的視頻數(shù)據(jù)和/或示出汽車的移動區(qū)的視頻數(shù)據(jù)。
8．如權(quán)利要求6或7所述的駕駛操作輔助器，其特征在于假設移動圖形包含示出設置在汽車移動區(qū)的外部邊緣上的虛擬極的視頻數(shù)據(jù)。
9．如權(quán)利要求6到8的任一條所述的駕駛操作輔助器，其特征在于合成圖像產(chǎn)生裝置將用作示出汽車所在區(qū)的視頻數(shù)據(jù)的當前位置數(shù)據(jù)疊加在周圍狀況圖像上，以產(chǎn)生合成圖像。
10．如權(quán)利要求9所述的駕駛操作輔助器，其特征在于合成圖像產(chǎn)生裝置將假設移動開始區(qū)疊加在和當前數(shù)據(jù)位置相同的位置上。
11．如權(quán)利要求6到10的任一條所述的駕駛操作輔助器，其特征在于當開始對應于上述預定的一系列駕駛操作的實際駕駛操作時，此后合成圖像產(chǎn)生裝置在開始所述實際駕駛操作時，固定假設移動圖形和周圍狀況圖像之間的位置關系，并產(chǎn)生合成圖像。
12．如權(quán)利要求11所述的駕駛操作輔助器，其特征在于包含位置信息存儲裝置，它根據(jù)當開始實際駕駛操作時合成圖像上的周圍狀況圖像的所有或一部分視頻數(shù)據(jù)來存儲假設移動圖形的所有或一部分視頻數(shù)據(jù)，合成圖像產(chǎn)生裝置根據(jù)位置信息固定位置關系。
13．如權(quán)利要求11所述的駕駛操作輔助器，其特征在于包含移動位置計算裝置，它從開始實際駕駛操作起，根據(jù)實際駕駛操作相關的信號計算汽車的移動位置，并且合成圖像產(chǎn)生裝置根據(jù)所述移動位置固定位置關系。
14．如權(quán)利要求6到13的任一條所述的駕駛操作輔助器，其特征在于包含最后位置輸入裝置，用于輸入最后的位置，所述最后的位置是汽車移動終止時的位置，和開始位置確定裝置，用于得到開始的位置，所述開始的位置是根據(jù)假設移動圖形對應于輸入的最后的位置，在移動開始時的位置；和合成圖像產(chǎn)生裝置，它將輸入的最后的位置和對應于所述輸入的最后的位置的開始的位置疊加在周圍狀況圖像上，以產(chǎn)生合成圖像。
15．如權(quán)利要求14所述的駕駛操作輔助器，其特征在于包含開始位置引導裝置，它通過自動地控制汽車的駕駛，將汽車引導到開始的位置。
16．如權(quán)利要求1到15任一條所述的駕駛操作輔助器，其特征在于包含假設移動圖形存儲裝置，它保留與上述預定的一系列駕駛操作相關的數(shù)據(jù)，并保持至少包含假設移動圖形的假設移動數(shù)據(jù)。
17．如權(quán)利要求16所述的駕駛操作輔助器，其特征在于假設移動圖形存儲裝置擁有多個假設移動圖形，并且包含圖形選擇裝置，它通過來自司機的輸入或預定的駕駛操作，自動地選擇假設移動圖形。
18．如權(quán)利要求16或17所述的駕駛操作輔助器，其特征在于包含圖形校正裝置，它能夠更新和校正假設移動圖形存儲裝置中擁有的假設移動圖形的內(nèi)容。
19．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)從司機輸入的校正的移動的開始和終止時汽車的位置，更新和校正假設移動圖形和/或假設移動數(shù)據(jù)。
20．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)實際駕駛操作更新和校正假設移動圖形和/或假設移動數(shù)據(jù)。
21．如權(quán)利要求16到20的任一條所述的駕駛操作輔助器，其特征在于假設移動數(shù)據(jù)包含示出移動距離和汽車的方向盤的轉(zhuǎn)向角度之間的關系的時序數(shù)據(jù)。
22．如權(quán)利要求21所述的駕駛操作輔助器，其特征在于包含駕駛控制裝置，它在開始對應于上述預定的一系列駕駛操作的實際駕駛操作時，根據(jù)時序數(shù)據(jù)，自動地控制汽車的駕駛。
23．如權(quán)利要求11到13任一條所述的駕駛操作輔助器，其特征在于包含操作開始檢測裝置，它通過從司機的輸入或預定的駕駛操作，自動檢測對應于上述預定的一系列駕駛操作的實際駕駛操作的開始。
24．如權(quán)利要求5到23任一條所述的駕駛操作輔助器，其特征在于當視點轉(zhuǎn)換裝置改變預定的視點時，視點轉(zhuǎn)換裝置在對應于預定的一系列駕駛操作的實際駕駛操作開始之前，將預定的視點固定到汽車，并在對應于預定的一系列駕駛操作的實際駕駛操作開始之后，將預定的視點改變?yōu)楣潭ǖ饺S空間中的一點。
25．如權(quán)利要求24所述的駕駛操作輔助器，其特征在于固定到三維空間的點是當實際駕駛操作開始時，由假設移動圖形顯示的汽車的移動終止時的位置上方的點。
26．如權(quán)利要求1到5所述的駕駛操作輔助器，其特征在于假設移動圖形包含示出當執(zhí)行預定的一系列駕駛操作時，汽車經(jīng)過的空間上的限定區(qū)的視頻數(shù)據(jù)。
27．如權(quán)利要求6所述的駕駛操作輔助器，其特征在于假設移動圖形包含示出當汽車的輪胎順時針或反時針轉(zhuǎn)向角度最大時的軌跡示出的視頻數(shù)據(jù)和/或示出汽車的移動區(qū)的視頻數(shù)據(jù)。
28．如權(quán)利要求16所述的駕駛操作輔助器，其特征在于假設移動圖形存儲裝置擁有假設移動圖形，并設置有合成圖像產(chǎn)生裝置，用于通過同時將兩個或更多的假設移動圖形疊加在周圍狀況圖像時產(chǎn)生合成圖像，以及顯示裝置，用于顯示合成圖像。
29．如權(quán)利要求1到5的任一條所述的駕駛操作輔助器，其特征在于假設移動圖形在預定的一系列駕駛操作中分別包含從倒車到向前移動以及從向前移動到倒車的變化。
30．如權(quán)利要求1到5的任一條所述的駕駛操作輔助器，其特征在于包含障礙物輸入裝置，它能夠?qū)D像中的障礙物區(qū)的位置輸入到顯示裝置中，用于顯示來自司機的圖像。
31．如權(quán)利要求17所述的駕駛操作輔助器，其特征在于圖形選擇裝置根據(jù)司機輸入的障礙物區(qū)位置，選擇一個假設移動圖形；并且包含障礙物輸入裝置，它能夠?qū)D像中障礙物區(qū)的位置輸入到顯示裝置中，顯示來自司機的合成圖像。
32．如權(quán)利要求18所述的駕駛操作輔助器，其特征在于圖形校正裝置根據(jù)從司機輸入的障礙區(qū)的位置，更新和校正假設移動圖形和/或假設移動數(shù)據(jù)，并且包含障礙物輸入裝置，它能夠?qū)D像中的障礙物的位置輸入到顯示裝置，從司機顯示合成圖像。
33．一種記錄媒體，其特征在于存儲使計算機執(zhí)行如權(quán)利要求1到32任一條所述的每一個裝置的所有或一些功能的程序。
全文摘要
本發(fā)明提供了一種駕駛操作輔助器,其特征在于包含:周圍狀況成像裝置,用于通過攝像機對汽車的周圍狀況成像,并產(chǎn)生周圍狀況圖像;合成圖像產(chǎn)生裝置,用于通過在周圍狀況圖像上疊加假設移動圖形產(chǎn)生合成圖像,所述假設移動圖形是視頻數(shù)據(jù),示出在執(zhí)行預定的一系列汽車的駕駛操作情況下汽車的移動;和顯示裝置,用于顯示合成圖像;以及周圍狀況成像裝置具有一個或更多攝像機;以及攝像機參數(shù)表,用于存儲攝像機參數(shù),該參數(shù)是攝像機或每一個攝像機的特性,并且根據(jù)來自攝像機或每一個攝像機輸出的攝像機參數(shù)產(chǎn)生周圍狀況圖像。
文檔編號G06T17/05GK1287532SQ99801786
公開日2001年3月14日 申請日期1999年10月6日 優(yōu)先權(quán)日1998年10月8日
發(fā)明者岡本修作, 石井浩史, 中川雅通, 登一生, 森村淳 申請人:松下電器產(chǎn)業(yè)株式會社