專利名稱：信號(hào)處理裝置、方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信號(hào)處理裝置、方法及程序，尤其涉及考慮從其獲取數(shù)據(jù)的現(xiàn)實(shí)世界的信號(hào)處理裝置、方法和程序。

背景技術(shù)：
利用傳感器檢測(cè)現(xiàn)實(shí)世界(真實(shí)世界)中的現(xiàn)象并處理從傳感器輸出的采樣數(shù)據(jù)的技術(shù)得到了廣泛使用。例如，這樣的圖像處理技術(shù)得到了廣泛的使用，其中利用成像傳感器成像現(xiàn)實(shí)世界并處理作為圖像數(shù)據(jù)的采樣數(shù)據(jù)。
另外，日本未審查專利申請(qǐng)公開(kāi)號(hào)2001-250119中公開(kāi)了通過(guò)利用傳感器檢測(cè)第一信號(hào)獲得比第一維的維數(shù)低的第二維，所述第一信號(hào)是具有第一維的現(xiàn)實(shí)世界信號(hào)；獲得第二信號(hào)，該第二信號(hào)包括相對(duì)于第一信號(hào)的畸變；以及，基于第二信號(hào)進(jìn)行信號(hào)處理，從而產(chǎn)生比第二信號(hào)具有減輕的畸變的第三信號(hào)。
然而，用于從第二信號(hào)估計(jì)第一信號(hào)的信號(hào)處理還沒(méi)有考慮這樣的事實(shí)，即通過(guò)作為具有第一維的現(xiàn)實(shí)世界的信號(hào)的第一信號(hào)產(chǎn)生的、比第一維的維數(shù)低的第二維的、其中丟失了現(xiàn)實(shí)世界信號(hào)的部分連續(xù)性的第二信號(hào)具有對(duì)應(yīng)于已經(jīng)丟失的現(xiàn)實(shí)世界信號(hào)的穩(wěn)定性的數(shù)據(jù)連續(xù)性。


發(fā)明內(nèi)容
本發(fā)明考慮上述情況而獲得，本發(fā)明的一個(gè)目的是考慮從其獲得數(shù)據(jù)的現(xiàn)實(shí)世界，從獲得相對(duì)于現(xiàn)實(shí)世界的現(xiàn)象更準(zhǔn)確和更精確的處理結(jié)果。
根據(jù)本發(fā)明的信號(hào)處理裝置包括數(shù)據(jù)連續(xù)性檢測(cè)裝置，用于檢測(cè)第二信號(hào)的數(shù)據(jù)連續(xù)性，所述第二信號(hào)具有維數(shù)低于第一維的第二維，所述第一維為第一信號(hào)所具有，所述第一信號(hào)為現(xiàn)實(shí)世界信號(hào)，并被投影從而丟失了所述現(xiàn)實(shí)世界信號(hào)的部分連續(xù)性，所述將要檢測(cè)的連續(xù)性對(duì)應(yīng)于已經(jīng)丟失的所述現(xiàn)實(shí)世界信號(hào)的連續(xù)性；以及現(xiàn)實(shí)世界估計(jì)裝置，用于基于由所述數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性，通過(guò)估計(jì)已經(jīng)丟失的所述現(xiàn)實(shí)世界信號(hào)的連續(xù)性而估計(jì)所述第一信號(hào)。
數(shù)據(jù)連續(xù)性檢測(cè)裝置可檢測(cè)由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，從所述多個(gè)像素丟失了所述現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，并且所述多個(gè)像素為所述第二信號(hào)，其通過(guò)將作為所述第一信號(hào)的現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)單元上而獲得；其中所述現(xiàn)實(shí)世界估計(jì)裝置基于由所述數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性，產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)。
所述現(xiàn)實(shí)世界估計(jì)裝置基于由所述數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性，通過(guò)假設(shè)在對(duì)應(yīng)于所述圖像數(shù)據(jù)的時(shí)間空間方向中的至少一維方向上的位置的所述像素的像素值為通過(guò)在所述至少一維方向上的積分效應(yīng)獲取的像素值而模擬所述圖像數(shù)據(jù)產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)。
現(xiàn)實(shí)世界估計(jì)裝置通過(guò)假設(shè)對(duì)應(yīng)于所述圖像數(shù)據(jù)的時(shí)間空間方向中的一維方向上的位置的所述像素的像素值為通過(guò)在所述一維方向上的積分效應(yīng)獲取的像素值而模擬所述圖像數(shù)據(jù)產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)，所述一維方向?qū)?yīng)于由所述數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性。
所述現(xiàn)實(shí)世界估計(jì)裝置通過(guò)假設(shè)對(duì)應(yīng)于沿所述至少一維方向離參考點(diǎn)預(yù)定距離的每個(gè)像素的像素值為通過(guò)在所述至少一維方向上的積分效應(yīng)獲取的像素值而模擬所述圖像數(shù)據(jù)而產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)，所述至少一維方向?qū)?yīng)于由所述連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性。
所述信號(hào)處理裝置還可包括像素值產(chǎn)生裝置，用于通過(guò)以希望的增量在所述至少一維方向上積分由所述現(xiàn)實(shí)世界估計(jì)裝置產(chǎn)生的所述第二函數(shù)，而產(chǎn)生對(duì)應(yīng)于希望大小的像素的像素值。
像素值產(chǎn)生裝置通過(guò)以對(duì)應(yīng)于所述每個(gè)像素的增量在所述至少一維方向上積分所述第二函數(shù)而產(chǎn)生像素值；其中，所述信號(hào)處理裝置還包括輸出裝置，用于檢測(cè)由所述像素值產(chǎn)生裝置產(chǎn)生的像素值和構(gòu)成所述圖像數(shù)據(jù)的多個(gè)像素的像素值之間的差值，并根據(jù)所述差值選擇性地輸出所述第二函數(shù)。
所述現(xiàn)實(shí)世界估計(jì)裝置通過(guò)假設(shè)對(duì)應(yīng)于所述圖像數(shù)據(jù)的時(shí)間空間方向中的至少二維方向上的位置的所述像素的像素值為通過(guò)在所述至少二維方向上的積分效應(yīng)獲取的像素值，而通過(guò)利用多項(xiàng)式模擬所述圖像數(shù)據(jù)而產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)，所述至少二維方向?qū)?yīng)于由所述數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性。
所述現(xiàn)實(shí)世界估計(jì)裝置通過(guò)假設(shè)對(duì)應(yīng)于沿所述至少二維方向離參考點(diǎn)預(yù)定距離的像素的像素值為通過(guò)在所述至少二維方向上的積分效應(yīng)獲取的像素值，利用多項(xiàng)式模擬所述圖像數(shù)據(jù)而產(chǎn)生模擬表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)，所述至少二維方向?qū)?yīng)于由所述連續(xù)性檢測(cè)裝置檢測(cè)的所述數(shù)據(jù)連續(xù)性的。
所述信號(hào)處理裝置還可包括像素值產(chǎn)生裝置，用于通過(guò)以希望的增量在所述至少二維方向上積分由所述現(xiàn)實(shí)世界估計(jì)裝置產(chǎn)生的所述第二函數(shù)，而產(chǎn)生對(duì)應(yīng)于希望大小的像素的像素值。
根據(jù)本發(fā)明的信號(hào)處理方法，包括數(shù)據(jù)連續(xù)性檢測(cè)步驟，用于檢測(cè)第二像素的數(shù)據(jù)連續(xù)性，所述第二像素具有低于第一維的第二維，所述第一維為第一信號(hào)所具有，所述第一信號(hào)為現(xiàn)實(shí)世界信號(hào)，并被投影從而丟失了所述現(xiàn)實(shí)世界信號(hào)的部分連續(xù)性，所述將要檢測(cè)的連續(xù)性對(duì)應(yīng)于已經(jīng)丟失的所述現(xiàn)實(shí)世界信號(hào)的連續(xù)性；以及現(xiàn)實(shí)世界估計(jì)步驟，用于基于由所述數(shù)據(jù)連續(xù)性檢測(cè)步驟檢測(cè)的所述數(shù)據(jù)連續(xù)性，通過(guò)估計(jì)已經(jīng)丟失的所述現(xiàn)實(shí)世界的連續(xù)性而估計(jì)所述第一信號(hào)。
根據(jù)本發(fā)明的程序使計(jì)算機(jī)執(zhí)行如下步驟，所述步驟包括數(shù)據(jù)連續(xù)性檢測(cè)步驟，用于檢測(cè)第二信號(hào)的數(shù)據(jù)連續(xù)性，所述第二信號(hào)具有低于第一維的第二維，所述第一維為第一信號(hào)所具有，所述第一信號(hào)為現(xiàn)實(shí)世界信號(hào)，并被投影從而丟失了所述現(xiàn)實(shí)世界信號(hào)的部分連續(xù)性，所述將要檢測(cè)的連續(xù)性對(duì)應(yīng)于已經(jīng)丟失的所述現(xiàn)實(shí)世界信號(hào)的連續(xù)性；以及現(xiàn)實(shí)世界估計(jì)步驟，用于基于由所述數(shù)據(jù)連續(xù)性檢測(cè)步驟檢測(cè)的所述數(shù)據(jù)連續(xù)性，通過(guò)估計(jì)已經(jīng)丟失的所述現(xiàn)實(shí)世界信號(hào)的連續(xù)性而估計(jì)所述第一信號(hào)。



圖1示出了本發(fā)明的原理； 圖2是示出信號(hào)處理裝置的結(jié)構(gòu)實(shí)例的方框圖； 圖3是示出信號(hào)處理裝置的方框圖； 圖4示出了常規(guī)圖像處理裝置的處理原理； 圖5示出了本發(fā)明圖像處理裝置的處理原理； 圖6詳細(xì)示出了本發(fā)明原理； 圖7詳細(xì)示出了本發(fā)明原理； 圖8示出了圖像傳感器上的像素布置的實(shí)例； 圖9示出了作為CCD的檢測(cè)裝置的操作； 圖10示出了被投影到對(duì)應(yīng)于像素D到F的檢測(cè)元件上的光與像素值之間的關(guān)系； 圖11示出了經(jīng)過(guò)時(shí)間、被投影到對(duì)應(yīng)于一個(gè)像素的檢測(cè)元件上的光以及像素值之間的關(guān)系； 圖12示出了現(xiàn)實(shí)世界中線形對(duì)象的圖像實(shí)例； 圖13示出了通過(guò)實(shí)際圖像拍攝獲得的圖像數(shù)據(jù)的像素值的實(shí)例； 圖14是圖像數(shù)據(jù)的示意圖； 圖15示出了具有不同于背景顏色的單色的線形的現(xiàn)實(shí)世界1的圖像的實(shí)例； 圖16示出了通過(guò)實(shí)際圖像拍攝獲得的圖像數(shù)據(jù)的像素值的實(shí)例； 圖17是圖像數(shù)據(jù)的示意圖； 圖18示出了本發(fā)明原理； 圖19示出了本發(fā)明原理； 圖20示出了產(chǎn)生高分辨率數(shù)據(jù)的實(shí)例； 圖21示出了通過(guò)模型進(jìn)行的模擬； 圖22示出了具有M塊數(shù)據(jù)的模型的估計(jì)； 圖23示出了現(xiàn)實(shí)世界信號(hào)和數(shù)據(jù)之間的關(guān)系； 圖24示出了在產(chǎn)生表達(dá)時(shí)的關(guān)注數(shù)據(jù)的實(shí)例； 圖25示出了用于現(xiàn)實(shí)世界中的兩個(gè)對(duì)象的信號(hào)、以及在產(chǎn)生表達(dá)時(shí)屬于混合區(qū)域的值； 圖26示出了由公式(18)、公式(19)以及公式(20)表示的連續(xù)性； 圖27示出了從數(shù)據(jù)選取的M塊數(shù)據(jù)的實(shí)例； 圖28示出了其中獲得作為數(shù)據(jù)的像素值的區(qū)域； 圖29示出了在空間-時(shí)間方向中對(duì)像素位置的模擬； 圖30示出了在數(shù)據(jù)中的時(shí)間方向和二維空間方向上對(duì)現(xiàn)實(shí)世界的信號(hào)的積分； 圖31示出了在產(chǎn)生具有空間方向中更高分辨率的高分辨率數(shù)據(jù)時(shí)的積分區(qū)域； 圖32示出了在產(chǎn)生具有時(shí)間方向中更高分辨率的高分辨率數(shù)據(jù)時(shí)的積分區(qū)域； 圖33示出了在除去由于移動(dòng)引起的模糊而產(chǎn)生高分辨率數(shù)據(jù)時(shí)的積分區(qū)域； 圖34示出了在產(chǎn)生具有空間方向中更高分辨率的高分辨率數(shù)據(jù)時(shí)的積分區(qū)域； 圖35示出了輸入圖像的原始圖像； 圖36示出了輸入圖像的實(shí)例； 圖37示出了通過(guò)應(yīng)用常規(guī)類型分類適應(yīng)處理獲得的圖像； 圖38示出了對(duì)具有細(xì)線的區(qū)域的檢測(cè)結(jié)果； 圖39示出了從信號(hào)處理裝置輸出的輸出圖像的實(shí)例； 圖40是示出利用信號(hào)處理裝置的信號(hào)處理的流程圖； 圖41是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖； 圖42示出了在背景前具有細(xì)線的現(xiàn)實(shí)世界中的圖像； 圖43示出了利用平面對(duì)背景的模擬； 圖44示出了其上投影有細(xì)線圖像的圖像數(shù)據(jù)的截面形狀； 圖45示出了其上投影有細(xì)線圖像的圖像數(shù)據(jù)的截面形狀； 圖46示出了其上投影有細(xì)線圖像的圖像數(shù)據(jù)的截面形狀； 圖47示出了檢測(cè)峰值和檢測(cè)單調(diào)增/減區(qū)域的處理； 圖48示出了檢測(cè)這樣的細(xì)線區(qū)域的處理，其中峰值的像素值超過(guò)閾值，而其相鄰像素的像素值等于或小于閾值； 圖49示出了在由圖48中的點(diǎn)線AA’表示的方向上排列的像素的像素值； 圖50示出了檢測(cè)單調(diào)增/減區(qū)域中的連續(xù)性的處理； 圖51示出了其中通過(guò)在平面上的模擬選取連續(xù)性分量的圖像的實(shí)例； 圖52示出了對(duì)單調(diào)減小的區(qū)域的檢測(cè)結(jié)果； 圖53示出了其中被檢測(cè)出連續(xù)性的區(qū)域； 圖54示出了其中檢測(cè)出連續(xù)性的區(qū)域上的像素值； 圖55示出了用于檢測(cè)其中被投影了細(xì)線圖像的區(qū)域的另一處理實(shí)例； 圖56是示出連續(xù)性檢測(cè)處理的流程圖； 圖57示出了用于在時(shí)間方向上檢測(cè)數(shù)據(jù)連續(xù)性的處理； 圖58是示出非連續(xù)性分量選取單元的結(jié)構(gòu)的方框圖； 圖59示出了排除的次數(shù)； 圖60示出了輸入圖像的實(shí)例； 圖61示出這樣的圖像，其中取作為沒(méi)有排除的平面模擬的結(jié)果獲得的標(biāo)準(zhǔn)誤差為像素值； 圖62示出了這樣的圖像，其中取作為具有排除的平面模擬的結(jié)果獲得的標(biāo)準(zhǔn)誤差為像素值； 圖63示出了其中取排除次數(shù)為像素值的圖像； 圖64示出了其中取平面的空間方向X上的梯度為像素值的圖像； 圖65示出了其中取平面的空間方向Y上的梯度為像素值的圖像； 圖66示出了由平面模擬值形成的圖像； 圖67示出了由平面模擬值與像素值之差形成的圖像； 圖68是示出用于選取非連續(xù)性分量的處理的流程圖； 圖69是示出用于選取連續(xù)性分量的處理的流程圖； 圖70是示出用于選取連續(xù)性分量的其它處理的流程圖； 圖71是示出用于選取連續(xù)性分量的再一處理的流程圖； 圖72是示出連續(xù)性分量選取單元的另一結(jié)構(gòu)的方框圖； 圖73示出了具有數(shù)據(jù)連續(xù)性的輸入圖像上的活度； 圖74示出了用于檢測(cè)活度的塊； 圖75示出了數(shù)據(jù)連續(xù)性相對(duì)于活度的角度； 圖76是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的詳細(xì)結(jié)構(gòu)的方框圖； 圖77示出了一組像素； 圖78示出了像素組的位置與數(shù)據(jù)連續(xù)性角度的關(guān)系； 圖79是示出用于檢測(cè)數(shù)據(jù)連續(xù)性的處理的流程圖； 圖80示出了在檢測(cè)在時(shí)間方向和空間方向上的數(shù)據(jù)連續(xù)性的角度時(shí)選取的一組像素； 圖81是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的另一詳細(xì)結(jié)構(gòu)的方框圖； 圖82示出了由對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素構(gòu)成的一組像素； 圖83示出了設(shè)置直線的角度范圍； 圖84示出了設(shè)置直線的角度范圍、像素組數(shù)、以及每個(gè)像素組的像素個(gè)數(shù)； 圖85示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖86示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖87示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖88示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖89示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖90示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖91示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖92示出了像素組數(shù)和每個(gè)像素組的像素個(gè)數(shù)； 圖93是示出用于檢測(cè)數(shù)據(jù)連續(xù)性的處理的流程圖； 圖94是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的另一詳細(xì)結(jié)構(gòu)的方框圖； 圖95是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的再一詳細(xì)結(jié)構(gòu)的方框圖； 圖96示出了塊的實(shí)例； 圖97示出了用于計(jì)算關(guān)注塊和參考?jí)K之間的像素值之差的絕對(duì)值的處理； 圖98示出了關(guān)注像素附近的像素的位置與具有角度θ的直線之間在空間方向X上的距離； 圖99示出了平移量γ和角度θ之間的關(guān)系； 圖100示出了相對(duì)于平移量γ，關(guān)注像素附近的像素的位置與經(jīng)過(guò)關(guān)注像素并具有角度θ的直線之間在空間方向X上的距離； 圖101示出了這樣的參考?jí)K，其中相對(duì)于經(jīng)過(guò)關(guān)注像素并具有角度θ的直線在空間方向X軸上的距離最?。? 圖102示出了用于平分將要檢測(cè)的數(shù)據(jù)連續(xù)性的角度的范圍的處理； 圖103是示出用于檢測(cè)數(shù)據(jù)連續(xù)性的處理的流程圖； 圖104示出了在檢測(cè)空間方向和時(shí)間方向中的數(shù)據(jù)連續(xù)性的角度時(shí)選取的塊； 圖105是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖，所述單元執(zhí)行基于輸入圖像的分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性的處理； 圖106是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖，所述單元執(zhí)行基于輸入圖像的分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性的處理； 圖107是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的另一結(jié)構(gòu)的方框圖； 圖108示出了輸入圖像中以參考軸為參考的數(shù)據(jù)連續(xù)性的角度； 圖109示出了輸入圖像中以參考軸為參考的數(shù)據(jù)連續(xù)性的角度； 圖110示出了輸入圖像中以參考軸為參考的數(shù)據(jù)連續(xù)性的角度； 圖111示出了像素值相對(duì)于空間方向中的像素的位置的變化與輸入圖像中的回歸線之間的關(guān)系； 圖112示出了回歸線A與表示空間方向X的軸之間的角度，所述軸例如為參考軸； 圖113示出了區(qū)域的實(shí)例； 圖114是示出用于利用具有圖107所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)數(shù)據(jù)連續(xù)性的處理的流程圖； 圖115是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的另一結(jié)構(gòu)的方框圖； 圖116示出了像素值相對(duì)于空間方向中的像素的位置的變化與輸入圖像中的回歸線之間的關(guān)系； 圖117示出了標(biāo)準(zhǔn)偏差和具有數(shù)據(jù)連續(xù)性的區(qū)域間的關(guān)系； 圖118示出了區(qū)域的實(shí)例； 圖119是示出用于利用具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)數(shù)據(jù)連續(xù)性的處理的流程圖； 圖120是示出用于利用具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)數(shù)據(jù)連續(xù)性的其它處理的流程圖； 圖121是示出采用本發(fā)明的用于檢測(cè)細(xì)線或二值邊緣的角度作為數(shù)據(jù)連續(xù)性信息的數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖； 圖122示出了對(duì)數(shù)據(jù)連續(xù)性信息的檢測(cè)方法； 圖123示出了對(duì)數(shù)據(jù)連續(xù)性信息的檢測(cè)方法； 圖124示出了數(shù)據(jù)連續(xù)性檢測(cè)單元的另一詳細(xì)結(jié)構(gòu)； 圖125示出了水平/垂直確定處理； 圖126示出了水平/垂直確定處理； 圖127A示出了現(xiàn)實(shí)世界中的細(xì)線與由傳感器成像的細(xì)線之間的關(guān)系； 圖127B示出了現(xiàn)實(shí)世界中的細(xì)線與由傳感器成像的細(xì)線之間的關(guān)系； 圖127C示出了現(xiàn)實(shí)世界中的細(xì)線與由傳感器成像的細(xì)線之間的關(guān)系； 圖128A示出了現(xiàn)實(shí)世界中的細(xì)線與背景之間的關(guān)系； 圖128B示出了現(xiàn)實(shí)世界中的細(xì)線與背景之間的關(guān)系； 圖129A示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系； 圖129B示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系； 圖130A示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系的實(shí)例； 圖130B示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系的實(shí)例； 圖131A示出了現(xiàn)實(shí)世界的圖像中的細(xì)線與背景之間的關(guān)系； 圖131B示出了現(xiàn)實(shí)世界的圖像中的細(xì)線與背景之間的關(guān)系； 圖132A示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系； 圖132B示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系； 圖133A示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系的實(shí)例； 圖133B示出了由傳感器成像的圖像中的細(xì)線與背景之間的關(guān)系的實(shí)例； 圖134示出了獲得細(xì)線角度的模型； 圖135示出了獲得細(xì)線角度的模型； 圖136A示出了對(duì)應(yīng)于關(guān)注像素的動(dòng)態(tài)范圍塊中的像素的最大值和最小值； 圖136B示出了對(duì)應(yīng)于關(guān)注像素的動(dòng)態(tài)范圍塊中的像素的最大值和最小值； 圖137A示出了如何獲得細(xì)線角度； 圖137B示出了如何獲得細(xì)線角度； 圖137C示出了如何獲得細(xì)線角度； 圖138示出了如何獲得細(xì)線角度； 圖139示出了選取塊和動(dòng)態(tài)范圍塊； 圖140示出了最小二乘法求解； 圖141示出了最小二乘法求解； 圖142A示出了二值邊緣； 圖142B示出了二值邊緣； 圖142C示出了二值邊緣； 圖143A示出了由傳感器成像的圖像的二值邊緣； 圖143B示出了由傳感器成像的圖像的二值邊緣； 圖144A示出了由傳感器成像的圖像的二值邊緣的實(shí)例； 圖144B示出了由傳感器成像的圖像的二值邊緣的實(shí)例； 圖145A示出了由傳感器成像的圖像的二值邊緣； 圖145B示出了由傳感器成像的圖像的二值邊緣； 圖146示出了用于獲得二值邊緣的角度的模型； 圖147A示出了用于獲得二值邊緣的角度的方法； 圖147B示出了用于獲得二值邊緣的角度的方法； 圖147C示出了用于獲得二值邊緣的角度的方法； 圖148示出了用于獲得二值邊緣的角度的方法； 圖149是示出用于檢測(cè)細(xì)線或二值邊緣沿?cái)?shù)據(jù)連續(xù)性的角度的處理的流程圖； 圖150是示出數(shù)據(jù)選取處理的流程圖； 圖151是示出對(duì)正規(guī)方程的相加處理的流程圖； 圖152A是比較通過(guò)應(yīng)用本發(fā)明獲得的細(xì)線的梯度與利用相關(guān)值獲得的細(xì)線的角度的圖； 圖152B是比較通過(guò)應(yīng)用本發(fā)明獲得的細(xì)線的梯度與利用相關(guān)值獲得的細(xì)線角度的圖； 圖153A是比較通過(guò)應(yīng)用本發(fā)明獲得二值邊緣的梯度與利用相關(guān)值獲得的細(xì)線角度的圖； 圖153B是比較通過(guò)應(yīng)用本發(fā)明獲得的二值邊緣的梯度與利用相關(guān)值獲得的細(xì)線角度的圖； 圖154是示出用于應(yīng)用本發(fā)明檢測(cè)混合比值作為數(shù)據(jù)連續(xù)性信息的數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖； 圖155A示出了如何獲得混合比值； 圖155B示出了如何獲得混合比值； 圖155C示出了如何獲得混合比值； 圖156是示出檢測(cè)沿?cái)?shù)據(jù)連續(xù)性的混合比值的處理的流程圖； 圖157是示出對(duì)正規(guī)方程的相加處理的流程圖； 圖158A示出了細(xì)線的混合比值分布的實(shí)例； 圖158B示出了細(xì)線的混合比值分布的實(shí)例； 圖159A示出了二值邊緣的混合比值分布的實(shí)例； 圖159B示出了二值邊緣的混合比值分布的實(shí)例； 圖160示出了對(duì)混合比值的線性模擬； 圖161A示出了用于獲得對(duì)象的移動(dòng)作為數(shù)據(jù)連續(xù)性信息的方法； 圖161B示出了用于獲得對(duì)象的移動(dòng)作為數(shù)據(jù)連續(xù)性信息的方法； 圖162A示出了用于獲得對(duì)象的移動(dòng)作為數(shù)據(jù)連續(xù)性信息的方法； 圖162B示出了用于獲得對(duì)象的移動(dòng)作為數(shù)據(jù)連續(xù)性信息的方法； 圖163A示出了用于獲得根據(jù)對(duì)象的移動(dòng)的混合比值作為數(shù)據(jù)連續(xù)性信息的方法； 圖163B示出了用于獲得根據(jù)對(duì)象的移動(dòng)的混合比值作為數(shù)據(jù)連續(xù)性信息的方法； 圖163C示出了用于獲得根據(jù)對(duì)象的移動(dòng)的混合比值作為數(shù)據(jù)連續(xù)性信息的方法； 圖164示出在獲得根據(jù)對(duì)象的移動(dòng)的混合比值作為數(shù)據(jù)連續(xù)性信息時(shí)對(duì)混合比值的線性模擬； 圖165是示出了用于應(yīng)用本發(fā)明檢測(cè)處理區(qū)域作為數(shù)據(jù)連續(xù)性信息的數(shù)據(jù)連續(xù)性檢測(cè)單元的結(jié)構(gòu)的方框圖； 圖166是示出利用圖165所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的流程圖； 圖167示出了利用圖165所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的積分范圍； 圖168示出了利用圖165所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的積分范圍； 圖169是示出了用于檢測(cè)本發(fā)明所應(yīng)用到的處理區(qū)域作為數(shù)據(jù)連續(xù)性信息的數(shù)據(jù)連續(xù)性檢測(cè)單元的另一結(jié)構(gòu)的方框圖； 圖170是示出利用圖169所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的流程圖； 圖171示出了利用圖169所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的積分范圍； 圖172示出了利用圖169所示的數(shù)據(jù)連續(xù)性檢測(cè)單元檢測(cè)連續(xù)性的處理的積分范圍； 圖173是示出現(xiàn)實(shí)世界估計(jì)單元102的結(jié)構(gòu)的方框圖； 圖174示出了用于檢測(cè)現(xiàn)實(shí)世界信號(hào)中的細(xì)線寬度的處理； 圖175示出了用于檢測(cè)現(xiàn)實(shí)世界信號(hào)中的細(xì)線寬度的處理； 圖176示出了用于估計(jì)現(xiàn)實(shí)世界信號(hào)中的細(xì)線信號(hào)水平的處理； 圖177是示出估計(jì)現(xiàn)實(shí)世界的處理的流程圖； 圖178是示出現(xiàn)實(shí)世界估計(jì)單元的另一結(jié)構(gòu)的方框圖； 圖179是示出邊界檢測(cè)單元的結(jié)構(gòu)的方框圖； 圖180示出了計(jì)算分配比值的處理； 圖181示出了計(jì)算分配比值的處理； 圖182示出了計(jì)算分配比值的處理； 圖183示出了計(jì)算表示單調(diào)增/減區(qū)域的邊界的回歸線的處理； 圖184示出了計(jì)算表示單調(diào)增/減區(qū)域的邊界的回歸線的處理； 圖185是示出估計(jì)現(xiàn)實(shí)世界的處理的流程圖； 圖186是示出邊界檢測(cè)處理的流程圖； 圖187是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)的方框圖，所述單元估計(jì)空間方向中的導(dǎo)數(shù)值作為現(xiàn)實(shí)世界估計(jì)信息； 圖188是示出利用圖187所示的現(xiàn)實(shí)世界估計(jì)單元的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖189示出了參考像素； 圖190示出了獲得空間方向中的導(dǎo)數(shù)值的位置； 圖191示出了空間方向中的導(dǎo)數(shù)值與平移量之間的關(guān)系； 圖192是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)的方框圖，所述單元估計(jì)空間方向中的梯度作為現(xiàn)實(shí)世界估計(jì)信息； 圖193是示出利用圖192所示的現(xiàn)實(shí)世界估計(jì)單元的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖194示出了獲得空間方向中的梯度的處理； 圖195示出了獲得空間方向中的梯度的處理； 圖196是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)的流程圖，所述單元用于估計(jì)幀方向中的導(dǎo)數(shù)值作為現(xiàn)實(shí)世界估計(jì)信息； 圖197是示出利用圖196所示的現(xiàn)實(shí)世界估計(jì)單元的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖198示出了參考像素； 圖199示出了獲得幀方向中的導(dǎo)數(shù)值的位置； 圖200示出了幀方向中的導(dǎo)數(shù)值與平移量之間的關(guān)系； 圖201是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)的方框圖，所述單元估計(jì)幀方向中的梯度作為現(xiàn)實(shí)世界估計(jì)信息； 圖202是示出利用圖201所示的現(xiàn)實(shí)世界估計(jì)單元的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖203示出了獲得幀方向中的梯度的處理； 圖204示出了獲得幀方向中的梯度的處理； 圖205示出了函數(shù)模擬的原理，其為圖3所示的現(xiàn)實(shí)世界估計(jì)單元的實(shí)施例的實(shí)例； 圖206示出了在傳感器為CCD的情況下的積分效應(yīng)； 圖207示出了如圖206所示的傳感器的積分效應(yīng)的具體實(shí)例； 圖208示出了如圖206所示的傳感器的積分效應(yīng)的具體實(shí)例； 圖209示出了圖207所示的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域； 圖210作為圖205所示的實(shí)例的對(duì)比，示出了圖3所示的現(xiàn)實(shí)世界估計(jì)單元的實(shí)施例的實(shí)例的原理； 圖211示出了圖207所示的包括細(xì)線的數(shù)據(jù)區(qū)域； 圖212示出了其中將圖211所示的包括細(xì)線的數(shù)據(jù)區(qū)域中包含的每個(gè)像素值畫成曲線圖的圖； 圖213示出了其中將模擬圖212所示的包括細(xì)線的數(shù)據(jù)區(qū)域中包含的像素值的模擬函數(shù)畫成曲線圖的圖； 圖214示出了圖207示出的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域所具有的空間方向中的連續(xù)性； 圖215示出了其中將圖211所示的包括細(xì)線的數(shù)據(jù)區(qū)域中包含的每個(gè)像素值畫成曲線圖的圖； 圖216示出了其中將圖215所示的每個(gè)輸入像素值平移預(yù)定平移量的狀態(tài)； 圖217示出了其中考慮空間方向連續(xù)性，將模擬圖212所示的包括細(xì)線的數(shù)據(jù)區(qū)域中包含的像素值的模擬函數(shù)畫成曲線圖的圖； 圖218示出了空間混合區(qū)域； 圖219示出了模擬空間混合區(qū)域中的現(xiàn)實(shí)世界信號(hào)的模擬函數(shù)； 圖220示出了其中同時(shí)考慮傳感器積分特性和空間方向連續(xù)性，將模擬對(duì)應(yīng)于圖212所示的包括細(xì)線的數(shù)據(jù)區(qū)域的現(xiàn)實(shí)世界信號(hào)的模擬函數(shù)畫成曲線圖的圖； 圖221是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元使用具有圖205所示的原理的函數(shù)模擬技術(shù)中的基本多項(xiàng)式模擬； 圖222是示出具有圖221所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元執(zhí)行的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖223示出了分塊范圍； 圖224示出了具有空間方向中的連續(xù)性的現(xiàn)實(shí)世界信號(hào)； 圖225示出了在傳感器為CCD的情況下的積分效應(yīng)； 圖226示出了截面方向中的距離； 圖227是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元使用具有圖205所示的原理的函數(shù)模擬技術(shù)中的二次多項(xiàng)式模擬； 圖228是示出具有圖227所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元所執(zhí)行的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖229示出了分塊范圍； 圖230示出時(shí)間空間方向中的連續(xù)性方向； 圖231示出了在傳感器為CCD的情況下的積分效應(yīng)； 圖232示出了具有空間方向中的連續(xù)性的現(xiàn)實(shí)世界信號(hào)； 圖233示出了具有空間時(shí)間方向中的連續(xù)性的現(xiàn)實(shí)世界信號(hào)； 圖234是示出現(xiàn)實(shí)世界估計(jì)單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元使用具有圖205所示的原理的函數(shù)模擬技術(shù)中的三次多項(xiàng)式模擬； 圖235是示出具有圖234所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元所執(zhí)行的現(xiàn)實(shí)世界估計(jì)處理的流程圖； 圖236示出了再積分的原理，再積分為圖3所示的圖像產(chǎn)生單元的實(shí)施例的實(shí)例； 圖237示出了輸入像素和用于模擬對(duì)應(yīng)于輸入像素的現(xiàn)實(shí)世界信號(hào)的模擬函數(shù)的實(shí)例； 圖238示出了從圖237所示的模擬函數(shù)，在圖237所示的所述一個(gè)輸入像素中產(chǎn)生4個(gè)高分辨率像素的實(shí)例； 圖239是示出圖像產(chǎn)生單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元利用具有圖236所示的原理的再積分技術(shù)的一維再積分； 圖240是示出具有圖239所示的結(jié)構(gòu)的圖像產(chǎn)生單元所執(zhí)行的圖像產(chǎn)生處理的流程圖； 圖241示出了輸入圖像的原始圖像的實(shí)例； 圖242示出了對(duì)應(yīng)于圖241所示的圖像的圖像數(shù)據(jù)的實(shí)例； 圖243示出了輸入圖像的實(shí)例； 圖244示出了對(duì)應(yīng)于圖243所示的圖像的圖像數(shù)據(jù)的實(shí)例； 圖245示出了對(duì)輸入圖像進(jìn)行常規(guī)類型分類適應(yīng)處理獲得的圖像的實(shí)例； 圖246示出了對(duì)應(yīng)于圖245所示的圖像的圖像數(shù)據(jù)的實(shí)例； 圖247示出了對(duì)輸入圖像進(jìn)行根據(jù)本發(fā)明的一維再積分技術(shù)處理獲得的圖像的實(shí)例； 圖248示出了對(duì)應(yīng)于圖247所示的圖像的圖像數(shù)據(jù)的實(shí)例； 圖249示出了具有空間方向連續(xù)性的現(xiàn)實(shí)世界信號(hào)； 圖250是示出圖像產(chǎn)生單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元使用具有圖236所示的原理的再積分技術(shù)的二維再積分技術(shù)； 圖251示出了截面方向中的距離； 圖252是示出具有圖250所示的結(jié)構(gòu)的圖像產(chǎn)生單元所執(zhí)行的圖像產(chǎn)生處理的流程圖； 圖253示出了輸入像素的實(shí)例； 圖254示出了利用二維再積分技術(shù)，在圖253所示的一個(gè)輸入像素中產(chǎn)生4個(gè)高分辨率像素的實(shí)例； 圖255示出了空間時(shí)間方向中的連續(xù)性方向； 圖256是示出圖像產(chǎn)生單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元使用具有圖236所示的原理的再積分技術(shù)的三維再積分技術(shù)； 圖257是示出具有圖256所示的結(jié)構(gòu)的圖像產(chǎn)生單元所執(zhí)行的圖像產(chǎn)生處理的流程圖； 圖258是示出應(yīng)用本發(fā)明的圖像產(chǎn)生單元的另一結(jié)構(gòu)的方框圖； 圖259是示出利用圖258所示的圖像產(chǎn)生單元的圖像產(chǎn)生處理的流程圖； 圖260示出了從輸入像素產(chǎn)生四倍密度像素的處理； 圖261示出了表示像素值的模擬函數(shù)與平移量之間的關(guān)系； 圖262是示出應(yīng)用本發(fā)明的圖像產(chǎn)生單元的另一結(jié)構(gòu)的方框圖； 圖263是示出利用圖262所示的圖像產(chǎn)生單元的圖像產(chǎn)生處理的流程圖； 圖264示出了從輸入像素產(chǎn)生四倍密度像素的處理； 圖265示出了表示像素值的模擬函數(shù)與平移量之間的關(guān)系； 圖266是示出利用類型分類適應(yīng)處理校正技術(shù)中的一維再積分技術(shù)的圖像產(chǎn)生單元的結(jié)構(gòu)實(shí)例的方框圖，所述單元是圖3所示的圖像產(chǎn)生單元的實(shí)施例的實(shí)例； 圖267是示出圖266所示的圖像產(chǎn)生單元的類型分類適應(yīng)處理單元的結(jié)構(gòu)實(shí)例的方框圖； 圖268是示出圖266所示的類型分類適應(yīng)處理單元、以及用于通過(guò)學(xué)習(xí)確定類型分類適應(yīng)處理校正單元使用的系數(shù)的學(xué)習(xí)裝置的結(jié)構(gòu)實(shí)例的方框圖； 圖269是示出圖268所示的類型分類適應(yīng)處理單元的學(xué)習(xí)單元的詳細(xì)結(jié)構(gòu)實(shí)例的方框圖； 圖270示出了圖267所示的類型分類適應(yīng)處理單元的處理結(jié)果的實(shí)例； 圖271示出了圖270所示的預(yù)測(cè)圖像與HD圖像之間的差值圖像； 圖272示出了圖270中的HD圖像的特定像素值、SD圖像的特定像素值、對(duì)應(yīng)于圖271所示的區(qū)域中包含的X方向上的6個(gè)連續(xù)HD像素中自左4個(gè)HD像素的實(shí)際波形(現(xiàn)實(shí)世界信號(hào))。
圖273示出了圖270中的預(yù)測(cè)圖像與HD圖像之間的差值圖像； 圖274示出了圖270中的HD圖像的特定像素值、SD圖像的特定像素值、對(duì)應(yīng)于圖273所示的區(qū)域中包含的X方向上的6個(gè)連續(xù)HD像素中自左4個(gè)HD像素的實(shí)際波形(現(xiàn)實(shí)世界信號(hào))。
圖275示出了基于圖272到圖274所示的內(nèi)容獲得的結(jié)論； 圖276是示出圖266所示的圖像產(chǎn)生單元的類型分類適應(yīng)處理校正單元的結(jié)構(gòu)實(shí)例的方框圖； 圖277是示出類型分類適應(yīng)處理校正單元的學(xué)習(xí)單元的詳細(xì)結(jié)構(gòu)實(shí)例的方框圖； 圖278示出了像素內(nèi)梯度； 圖279示出了圖270所示的SD圖像、以及以SD圖像的每個(gè)像素的像素內(nèi)梯度作為其像素值的特征圖像； 圖280示出了像素內(nèi)梯度計(jì)算方法； 圖281示出了像素內(nèi)梯度計(jì)算方法； 圖282是示出具有266所示結(jié)構(gòu)的圖像產(chǎn)生單元所執(zhí)行的圖像產(chǎn)生處理的流程圖； 圖283是詳細(xì)示出圖282所示的圖像產(chǎn)生處理中的輸入圖像類型分類適應(yīng)處理的流程圖； 圖284是詳細(xì)示出圖282所示的圖像產(chǎn)生處理中的類型分類適應(yīng)處理的校正處理的流程圖； 圖285示出了類型分塊陣列的實(shí)例； 圖286示出了類型分類實(shí)例； 圖287示出了預(yù)測(cè)分塊陣列實(shí)例； 圖288是示出圖268所示的學(xué)習(xí)裝置的學(xué)習(xí)處理的流程圖； 圖289是示出圖288所示的學(xué)習(xí)處理中的類型分類適應(yīng)處理的具體學(xué)習(xí)處理的流程圖； 圖290是示出圖288所示的學(xué)習(xí)處理中的類型分類適應(yīng)處理的具體學(xué)習(xí)處理的流程圖； 圖291，示出了圖270所示的預(yù)測(cè)圖像，以及其中將校正圖像加到預(yù)測(cè)圖像上的圖像(通過(guò)如圖266所示的圖像產(chǎn)生單元產(chǎn)生的圖像)； 圖292是示出利用混合技術(shù)的信號(hào)處理裝置的第一結(jié)構(gòu)實(shí)例的方框圖，其為圖1所示的信號(hào)處理裝置的實(shí)施例的另一實(shí)例； 圖293是示出圖292所示的信號(hào)處理裝置的用于執(zhí)行類型分類適應(yīng)處理的圖像產(chǎn)生單元的結(jié)構(gòu)實(shí)例的方框圖； 圖294是示出相對(duì)于圖293所示的圖像產(chǎn)生單元的學(xué)習(xí)裝置的結(jié)構(gòu)實(shí)例的方框圖； 圖295是示出由具有圖292所示的結(jié)構(gòu)的信號(hào)處理裝置執(zhí)行的信號(hào)處理的流程圖； 圖296是示出圖295所示的信號(hào)處理的類型分類適應(yīng)處理的具體處理執(zhí)行的流程圖； 圖297是示出圖294所示的學(xué)習(xí)裝置的學(xué)習(xí)處理的流程圖； 圖298是示出利用混合技術(shù)的信號(hào)處理裝置的第二結(jié)構(gòu)實(shí)例的方框圖，其為圖1所示的信號(hào)處理裝置的實(shí)施例的另一實(shí)例； 圖299是示出具有圖296所示的結(jié)構(gòu)的信號(hào)處理裝置所執(zhí)行的信號(hào)處理的流程圖； 圖300是示出利用混合技術(shù)的信號(hào)處理裝置的第三結(jié)構(gòu)實(shí)例的方框圖，其為圖1所示的信號(hào)處理裝置的實(shí)施例的另一實(shí)例； 圖301是示出具有圖298所示的結(jié)構(gòu)的信號(hào)處理裝置所執(zhí)行的信號(hào)處理的流程圖； 圖302是示出利用混合技術(shù)的信號(hào)處理裝置的第四結(jié)構(gòu)實(shí)例的方框圖，其為圖1所示的信號(hào)處理裝置的實(shí)施例的另一實(shí)例； 圖303是示出具有圖300所示的結(jié)構(gòu)的信號(hào)處理裝置所執(zhí)行的信號(hào)處理的流程圖； 圖304是示出利用混合技術(shù)的信號(hào)處理裝置的第五結(jié)構(gòu)實(shí)例的方框圖，其為圖1所示的信號(hào)處理裝置的實(shí)施例的另一實(shí)例； 圖305是示出具有圖302所示的結(jié)構(gòu)的信號(hào)處理裝置所執(zhí)行的信號(hào)處理的流程圖； 圖306是示出數(shù)據(jù)連續(xù)性檢測(cè)單元的另一實(shí)施例的結(jié)構(gòu)的方框圖； 圖307是示出利用圖306所示的數(shù)據(jù)連續(xù)性檢測(cè)單元的數(shù)據(jù)連續(xù)性檢測(cè)處理的流程圖。

具體實(shí)施例方式 圖1示出了本發(fā)明原理。如圖所示，由傳感器2獲取在現(xiàn)實(shí)世界1中具有例如空間、時(shí)間、質(zhì)量等的事件(現(xiàn)象)，并將其形成數(shù)據(jù)?，F(xiàn)實(shí)世界1中的事件指光(圖像)、聲音、壓強(qiáng)、溫度、質(zhì)量、濕度、亮度/暗度或動(dòng)作等?，F(xiàn)實(shí)世界1中的事件被分布在空間-時(shí)間方向上。例如，現(xiàn)實(shí)世界1的圖像是現(xiàn)實(shí)世界1的光強(qiáng)在空間-時(shí)間方向上的分布。
注意傳感器2，由傳感器2在現(xiàn)實(shí)世界1中的具有空間、時(shí)間和質(zhì)量的維度的事件中，將在現(xiàn)實(shí)世界1中可以由傳感器2獲取的事件轉(zhuǎn)換成數(shù)據(jù)3?？梢哉f(shuō)由傳感器2獲取表示現(xiàn)實(shí)世界1中的事件的信息。
也就是說(shuō)，傳感器2將表示現(xiàn)實(shí)世界1中的事件的信息轉(zhuǎn)換成數(shù)據(jù)3?？梢哉f(shuō)成，由傳感器2獲取作為表示具有例如空間、時(shí)間和質(zhì)量的維度的現(xiàn)實(shí)世界1中的事件(現(xiàn)象)的信息的信號(hào)，并將其形成為數(shù)據(jù)。
下面，將現(xiàn)實(shí)世界1中的例如光(圖像)、聲音、壓強(qiáng)、溫度、質(zhì)量、濕度、亮度/暗度或氣味等的事件的分布稱為現(xiàn)實(shí)世界1的信號(hào)，所述信號(hào)是表示事件的信息。另外，作為表示現(xiàn)實(shí)世界1的事件的信息的信號(hào)還可以簡(jiǎn)單地稱為現(xiàn)實(shí)世界1的信號(hào)。在本說(shuō)明書中，將信號(hào)理解為包括現(xiàn)象和事件，并且還包括這樣的事物，其沒(méi)有傳輸方面的目的。
從傳感器2輸出的數(shù)據(jù)3(檢測(cè)到的信號(hào))是通過(guò)將表示現(xiàn)實(shí)世界1的事件的信息投影到維度比現(xiàn)實(shí)世界1低的空間-時(shí)間上而獲得的信息。例如，作為移動(dòng)圖像的圖像數(shù)據(jù)的數(shù)據(jù)3，是通過(guò)將現(xiàn)實(shí)世界1的三維空間方向和時(shí)間方向上的圖像投影到二維空間方向和時(shí)間方向的時(shí)空上而獲得的信息。另外，在數(shù)據(jù)3是例如數(shù)字?jǐn)?shù)據(jù)的情況中，根據(jù)采樣增量對(duì)數(shù)據(jù)3進(jìn)行舍入。在數(shù)據(jù)3是模擬數(shù)據(jù)的情況中，或者根據(jù)動(dòng)態(tài)范圍壓縮數(shù)據(jù)3的信息，或者通過(guò)限幅器等刪除信息的一部分。
從而，通過(guò)將示為表示具有預(yù)定維數(shù)的現(xiàn)實(shí)世界1中的事件的信息的信號(hào)投影到數(shù)據(jù)3上(檢測(cè)的信號(hào))，減少了表示現(xiàn)實(shí)世界1中的事件的信息的一部分。也就是說(shuō)，從傳感器2輸出的數(shù)據(jù)3減少了表示現(xiàn)實(shí)世界1中的事件的信息的一部分。
然而，即使由于投影減少了表示現(xiàn)實(shí)世界1中的事件的信息的一部分，數(shù)據(jù)3也包括用于估計(jì)作為表示現(xiàn)實(shí)世界1中的事件(現(xiàn)象)的信息的信號(hào)的有用信息。
對(duì)于本發(fā)明，將在數(shù)據(jù)3中包括的具有連續(xù)性的信息用作作為現(xiàn)實(shí)世界1的信息的用于估計(jì)信號(hào)的有用信息。連續(xù)性是新定義的概念。
關(guān)注現(xiàn)實(shí)世界1，現(xiàn)實(shí)世界1中的事件包括在預(yù)定維度方向上不變的特征。例如，現(xiàn)實(shí)世界1中的對(duì)象(有形對(duì)象)或者具有在空間方向或時(shí)間方向上連續(xù)的形狀、圖形或顏色，或者具有重復(fù)模式的形狀、圖形或顏色。
因此，表示現(xiàn)實(shí)世界1中的事件的信息包括在預(yù)定維度方向上不變的特征。
對(duì)于更具體的實(shí)例，例如線、細(xì)繩或粗繩的線形對(duì)象具有在長(zhǎng)度方向上即空間方向上的不變的特征，也就是，在長(zhǎng)度方向中的任意位置上的橫截面形狀是相同的。在長(zhǎng)度方向上的任意位置上的橫截面形狀相同的在空間方向中的不變的特征來(lái)自于線形對(duì)象為長(zhǎng)形的特征。
因此，線性對(duì)象的圖像具有在長(zhǎng)度方向即空間方向上不變的特征，即在長(zhǎng)度方向中的任意位置上的橫截面形狀是相同的。
另外，在空間方向上展開(kāi)的作為有形對(duì)象的單個(gè)對(duì)象，可以說(shuō)具有這樣的不變的特征，其無(wú)論在其什么部分的空間方向上的顏色相同。
同樣，在空間方向上展開(kāi)的作為有形對(duì)象的單個(gè)對(duì)象的圖像可以說(shuō)具有這樣的不變的特征，其無(wú)論在其什么部分的空間方向上的顏色相同。
這樣，現(xiàn)實(shí)世界1(真實(shí)世界)中事件具有在預(yù)定維度方向上不變的特征，因此現(xiàn)實(shí)世界1的信號(hào)具有在預(yù)定維度方向上不變的特征。
在本說(shuō)明書中，該在預(yù)定維度方向上不變的特征被稱為連續(xù)性?，F(xiàn)實(shí)世界(真實(shí)世界)1的信號(hào)的連續(xù)性表示在預(yù)定維度方向上不變的特征，所述維度方向被表示現(xiàn)實(shí)世界(真實(shí)世界)1的事件的信號(hào)所具有。
在現(xiàn)實(shí)世界1(真實(shí)世界)中存在無(wú)數(shù)這樣的連續(xù)性。
下面，關(guān)注數(shù)據(jù)3，通過(guò)作為表示由傳感器2投影的具有預(yù)定維的現(xiàn)實(shí)世界1的事件的信息的信號(hào)而獲得數(shù)據(jù)3，其包括對(duì)應(yīng)于在真是世界中的信號(hào)的連續(xù)性的連續(xù)性。可以說(shuō)，數(shù)據(jù)3包括其中現(xiàn)實(shí)世界信號(hào)的連續(xù)性被投影的連續(xù)性。
然而，如上所述，在從傳感器2輸出的數(shù)據(jù)3中，已經(jīng)丟失了現(xiàn)實(shí)世界1的部分信息，因此丟失了在現(xiàn)實(shí)世界1(真實(shí)世界)的信號(hào)中包含的部分連續(xù)性。
換句話說(shuō)，數(shù)據(jù)3包括現(xiàn)實(shí)世界1(真實(shí)世界)的信號(hào)連續(xù)性中的部分連續(xù)性作為數(shù)據(jù)連續(xù)性。數(shù)據(jù)連續(xù)性表示數(shù)據(jù)3具有的在預(yù)定維度方向上不變的特征。
對(duì)于本發(fā)明，將數(shù)據(jù)3具有的數(shù)據(jù)連續(xù)性用作用于估計(jì)作為表示現(xiàn)實(shí)世界1的事件的信息的信號(hào)的重要數(shù)據(jù)。
例如，對(duì)于本發(fā)明，利用數(shù)據(jù)連續(xù)性，通過(guò)對(duì)數(shù)據(jù)3的信號(hào)處理，產(chǎn)生已經(jīng)丟失的表示現(xiàn)實(shí)世界1中的事件的信息。
現(xiàn)在，在本發(fā)明中，利用長(zhǎng)度(空間)、時(shí)間和質(zhì)量在空間方向上或時(shí)間方向上的連續(xù)性，所述長(zhǎng)度、時(shí)間和質(zhì)量是用為表示現(xiàn)實(shí)世界1中的時(shí)間的信息的信號(hào)的維度。
再參考圖1，傳感器2的形式包括例如數(shù)字靜物照相機(jī)、視頻攝影機(jī)等，其拍攝現(xiàn)實(shí)世界1的圖像，并將作為獲取數(shù)據(jù)3的圖像數(shù)據(jù)輸出到信號(hào)處理裝置4。傳感器2還可以是溫度記錄裝置、利用光致彈性的壓力傳感器等。
信號(hào)處理裝置4由例如個(gè)人計(jì)算機(jī)等構(gòu)成。
信號(hào)處理裝置4被例如如圖2所示構(gòu)成。CPU(中央處理單元)21執(zhí)行存儲(chǔ)在ROM(只讀存儲(chǔ)器)22或存儲(chǔ)器單元28中的各種處理順序程序(processing following program)。RAM(隨機(jī)存取存儲(chǔ)器)23在適當(dāng)?shù)臅r(shí)候存儲(chǔ)將要由CPU21執(zhí)行的程序、數(shù)據(jù)等。CUP21、ROM22和RAM23通過(guò)總線24互相連接。
在CPU21上還通過(guò)總線24連接輸入/輸出接口25。輸入/輸出接口25連接由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入裝置26、以及由顯示器、揚(yáng)聲器等構(gòu)成的輸出單元27。CPU21對(duì)應(yīng)于從輸入單元26輸入的命令執(zhí)行各種處理。然后，CPU21輸出獲得的圖像和音頻等作為處理輸出單元27的結(jié)果。
連接輸入/輸出接口25的存儲(chǔ)單元28由例如硬盤構(gòu)成，并存儲(chǔ)由CPU21執(zhí)行的程序和各種數(shù)據(jù)。通信單元29通過(guò)互聯(lián)網(wǎng)和其它網(wǎng)絡(luò)與外部裝置通信。在該實(shí)例的情況下，通信單元29用作獲取單元，用于采集從傳感器2輸出的數(shù)據(jù)3。
另外，可以進(jìn)行這樣的設(shè)置，其中通過(guò)通信單元29獲得程序，并將其存儲(chǔ)在存儲(chǔ)單元28中。
連接輸入/輸出接口25的驅(qū)動(dòng)器30驅(qū)動(dòng)磁盤51、光盤52、磁光盤53、或安裝在其中的半導(dǎo)體存儲(chǔ)器54等，并獲得記錄在其中的程序和數(shù)據(jù)。當(dāng)需要時(shí)，將獲得的程序和數(shù)據(jù)傳輸?shù)酱鎯?chǔ)單元28并存儲(chǔ)。
圖3是示出信號(hào)處理裝置4的方框圖。
注意，信號(hào)處理裝置4的功能是由硬件實(shí)現(xiàn)或還由軟件實(shí)現(xiàn)，是不想關(guān)的。也就是說(shuō)，在本說(shuō)明書中的方框圖可以用為硬件方框圖或用為軟件功能方框圖。
在如圖3所示的信號(hào)處理裝置4中，輸入作為數(shù)據(jù)3的實(shí)例的圖像數(shù)據(jù)，并且從輸入圖像數(shù)據(jù)(輸入圖像)檢測(cè)數(shù)據(jù)的連續(xù)性。然后，從檢測(cè)到的數(shù)據(jù)連續(xù)性估計(jì)由傳感器2獲取的現(xiàn)實(shí)世界1的信號(hào)。然后，根據(jù)現(xiàn)實(shí)世界1的估計(jì)信號(hào)，生成圖像，并輸出生成的圖像(輸出圖像)。也就是說(shuō)，圖3示出了作為圖像處理裝置的信號(hào)處理裝置4的結(jié)構(gòu)。
將輸入信號(hào)處理裝置4的輸入圖像(作為數(shù)據(jù)3的實(shí)例的圖像數(shù)據(jù))提供給數(shù)據(jù)連續(xù)性檢測(cè)單元101和現(xiàn)實(shí)世界估計(jì)單元102。
數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)來(lái)自輸入圖像的數(shù)據(jù)的連續(xù)性，并將表示檢測(cè)的連續(xù)性的數(shù)據(jù)連續(xù)性信息提供給現(xiàn)實(shí)世界估計(jì)單元102和圖像生成單元103。數(shù)據(jù)連續(xù)性信息包括例如具有數(shù)據(jù)連續(xù)性的像素區(qū)域的位置、具有數(shù)據(jù)連續(xù)性的像素的區(qū)域的方向(時(shí)間方向和空間方向的角度或梯度)、或具有數(shù)據(jù)連續(xù)性的像素的區(qū)域的長(zhǎng)度、或輸入圖像中的類似信息。下面將描述數(shù)據(jù)連續(xù)性檢測(cè)單元101的詳細(xì)結(jié)構(gòu)。
現(xiàn)實(shí)世界估計(jì)單元102根據(jù)輸入圖像和從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息，估計(jì)現(xiàn)實(shí)世界1的信號(hào)。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元102在獲取輸入圖像時(shí)估計(jì)作為現(xiàn)實(shí)世界投射到傳感器2上的信號(hào)的圖像?，F(xiàn)實(shí)世界估計(jì)單元102將表示對(duì)現(xiàn)實(shí)世界1的信號(hào)的估計(jì)的結(jié)果的現(xiàn)實(shí)世界估計(jì)信息提供給圖像生成單元103。下面將描述現(xiàn)實(shí)世界估計(jì)單元102的詳細(xì)結(jié)構(gòu)。
圖像生成單元103根據(jù)從現(xiàn)實(shí)世界估計(jì)單元102提供的、表示現(xiàn)實(shí)世界1的估計(jì)信號(hào)的現(xiàn)實(shí)世界估計(jì)信息生成進(jìn)一步近似現(xiàn)實(shí)世界1的信號(hào)的信號(hào)，并輸出生成的信號(hào)。或者，圖像生成單元103根據(jù)從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息、和從現(xiàn)實(shí)世界估計(jì)單元102提供的表示現(xiàn)實(shí)世界1的估計(jì)信號(hào)的現(xiàn)實(shí)世界估計(jì)信息生成進(jìn)一步近似現(xiàn)實(shí)世界1的信號(hào)的信號(hào)，并輸出生成的信號(hào)。
也就是說(shuō)，圖像生成單元103根據(jù)現(xiàn)實(shí)世界估計(jì)信息生成進(jìn)一步近似現(xiàn)實(shí)世界1的圖像的圖像，并輸出生成的圖像作為輸出圖像?；蛘?，圖像生成單元103根據(jù)數(shù)據(jù)連續(xù)性信息和現(xiàn)實(shí)世界估計(jì)信息生成進(jìn)一步近似現(xiàn)實(shí)世界1的圖像的圖像，并輸出生成的圖像作為輸出圖像。
例如，圖像生成單元103通過(guò)根據(jù)現(xiàn)實(shí)世界估計(jì)信息集成在空間方向或時(shí)間方向的希望范圍內(nèi)的現(xiàn)實(shí)世界1的估計(jì)圖像，生成比輸入圖像在空間方向或時(shí)間放上上具有更高的分辨率的圖像，并輸出生成的圖像作為輸出圖像。例如，圖像生成單元103通過(guò)外推/內(nèi)插生成圖像，并輸出生成的圖像作為輸出圖像。
下面將描述圖像生成單元103的詳細(xì)結(jié)構(gòu)。
接著將參考圖4至7描述本發(fā)明的原理。
圖4描述了利用常規(guī)信號(hào)處理裝置121進(jìn)行處理的原理圖。常規(guī)信號(hào)處理裝置121采用數(shù)據(jù)3作為處理參考，并以數(shù)據(jù)3作為處理對(duì)象執(zhí)行例如增加分辨率等的處理。在常規(guī)信號(hào)處理裝置121中，從未考慮過(guò)現(xiàn)實(shí)世界1，并且數(shù)據(jù)3是最終的參考，從而不能獲得超過(guò)在數(shù)據(jù)3中包含的信息的信息作為輸出。
另外，在常規(guī)信號(hào)處理裝置121中，沒(méi)有考慮由于傳感器2的任何數(shù)據(jù)3中的畸變(作為現(xiàn)實(shí)世界1的信息的信號(hào)、以及數(shù)據(jù)3之間的差異)，從而常規(guī)信號(hào)處理裝置121輸出仍包含畸變的信號(hào)。另外，根據(jù)由信號(hào)處理裝置121進(jìn)行的處理，還進(jìn)一步放大數(shù)據(jù)3中存在的由于傳感器2的畸變，并輸出包含放大的畸變的數(shù)據(jù)。
從而，在常規(guī)的信號(hào)處理中，從未考慮過(guò)從其獲得數(shù)據(jù)3的現(xiàn)實(shí)世界1(的信號(hào))。換句話說(shuō)，在常規(guī)的信號(hào)處理中，認(rèn)為現(xiàn)實(shí)世界1被包括在數(shù)據(jù)3包含的信息幀中，從而由數(shù)據(jù)3中包含的信息和畸變決定了信號(hào)處理的極限。本申請(qǐng)人已經(jīng)單獨(dú)地提出了考慮現(xiàn)實(shí)世界1的信號(hào)處理，但是這沒(méi)有考慮下文描述的連續(xù)性。
相比于此，在根據(jù)本發(fā)明的信號(hào)處理中，明確地考慮現(xiàn)實(shí)世界1(的信號(hào))而進(jìn)行處理。
圖5示出了在根據(jù)本發(fā)明的信號(hào)處理裝置4中的處理的原理圖。
其中與常規(guī)設(shè)置相同的是，由傳感器2獲得作為表示現(xiàn)實(shí)世界1中的事件的信息的信號(hào)，并且傳感器2輸出數(shù)據(jù)3，在數(shù)據(jù)3中被投影有作為現(xiàn)實(shí)世界1的信息的信號(hào)。
然而，在本發(fā)明中，由傳感器2獲得的作為表示現(xiàn)實(shí)世界1的事件的信息的信號(hào)被明確地考慮。也就是說(shuō)，在已知數(shù)據(jù)3包含由于傳感器2的畸變(作為現(xiàn)實(shí)世界1的信息的信號(hào)、以及數(shù)據(jù)之間的差異)的事實(shí)下進(jìn)行信號(hào)處理。
從而，在根據(jù)本發(fā)明的信號(hào)處理中，處理結(jié)果不會(huì)由于包含在數(shù)據(jù)3中的信息和畸變而受到約束，并且，例如，對(duì)于現(xiàn)實(shí)世界1中的事件，可以獲得更精確、并且比常規(guī)方法具有更高精度的處理結(jié)果。也就是說(shuō)，在本發(fā)明中，對(duì)于輸入到傳感器2中的、作為表示現(xiàn)實(shí)世界1的事件的信息的信號(hào)，可以獲得更精確、并且具有更高精度的處理結(jié)果。
圖6和圖7更詳細(xì)地描述了本發(fā)明的原理。
如圖6所示，例如為圖像的現(xiàn)實(shí)世界的信號(hào)，是通過(guò)由透鏡、光學(xué)LPF(低通濾鏡)等構(gòu)成的光學(xué)系統(tǒng)141，在作為傳感器2的實(shí)例的CCD(電荷耦合裝置)的感光面上的圖像。作為傳感器2的實(shí)例的CCD具有積分特性，從而在從CCD輸出的數(shù)據(jù)3中生成與現(xiàn)實(shí)世界1的圖像差異。下面將詳細(xì)描述傳感器2的積分特性。
在根據(jù)本發(fā)明的信號(hào)處理中，明確地考慮由CCD獲得的現(xiàn)實(shí)世界1的圖像和由CCD的數(shù)據(jù)取得并輸出的數(shù)據(jù)3之間的關(guān)系。也就是說(shuō)，明確地考慮數(shù)據(jù)3與作為由傳感器2獲得的現(xiàn)實(shí)世界的信息的信號(hào)之間的關(guān)系。
更具體的是，如圖7所示，信號(hào)處理裝置4使用模型161模擬(描述)現(xiàn)實(shí)世界。模型161由例如N個(gè)變量表示。更精確的是，模型161模擬(描述)現(xiàn)實(shí)世界1的信號(hào)。
為了預(yù)測(cè)模型161，信號(hào)處理裝置4從數(shù)據(jù)3提取M頁(yè)數(shù)據(jù)162。當(dāng)從數(shù)據(jù)3提取M塊數(shù)據(jù)162時(shí)，信號(hào)處理裝置4使用包含在數(shù)據(jù)3中的數(shù)據(jù)的連續(xù)性。換句話說(shuō)，信號(hào)處理裝置4根據(jù)包含在數(shù)據(jù)3中的數(shù)據(jù)的連續(xù)性，提取用于預(yù)測(cè)模型161的數(shù)據(jù)162。隨后，由數(shù)據(jù)的連續(xù)性約束模型161。
也就是說(shuō)，模型161模擬(信息(信號(hào))表示)具有連續(xù)性(在預(yù)定維度方向上的不變特征)的現(xiàn)實(shí)世界中的事件，所述連續(xù)性產(chǎn)生了數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性。
現(xiàn)在，在數(shù)據(jù)162的數(shù)M為N或更大的情況中，所述數(shù)是模型變量的數(shù)目，可以從M塊數(shù)據(jù)162預(yù)測(cè)由N個(gè)變量表示的模型161。
這樣，信號(hào)處理裝置4通過(guò)預(yù)測(cè)模擬(描述)現(xiàn)實(shí)世界1(的信號(hào))的模型161，可以考慮作為現(xiàn)實(shí)世界1的信息的信號(hào)。
接著，將描述傳感器2的積分效應(yīng)。
作為用于拍攝圖像的傳感器2的圖像傳感器，例如CCD或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)在成像現(xiàn)實(shí)世界時(shí)將作為現(xiàn)實(shí)世界的信息的信號(hào)投影到二維數(shù)據(jù)上。圖像傳感器的像素每個(gè)都具有預(yù)定面積稱為光敏面(光敏區(qū)域)。對(duì)每個(gè)像素積分在空間方向和時(shí)間方向上的到達(dá)具有預(yù)定面積的光敏面上的入射光，并將所述入射光轉(zhuǎn)換成每個(gè)像素的單個(gè)像素值。
下面將參考圖8至圖11描述對(duì)圖像的空間-時(shí)間積分。
圖像傳感器對(duì)現(xiàn)實(shí)世界中的主體(客體)成像，并將獲得的圖像數(shù)據(jù)輸出為多個(gè)單幀累加成像的結(jié)果。也就是說(shuō)，圖像傳感器獲取現(xiàn)實(shí)世界1的信號(hào)，所述信號(hào)為從現(xiàn)實(shí)世界1的主體反射的光，并輸出數(shù)據(jù)3。
例如，圖像傳感器輸出30幀/秒的圖像數(shù)據(jù)。在這種情況下，可以使圖像傳感器的曝光時(shí)間為1/30秒。曝光時(shí)間是圖像傳感器開(kāi)始將入射光轉(zhuǎn)換成電荷到結(jié)束將入射光轉(zhuǎn)換成電荷的時(shí)間。下文中，還將曝光時(shí)間稱為快門時(shí)間。
圖8描述了在圖像傳感器上的像素陣列的實(shí)例。在圖8中，A至I表示各個(gè)像素。像素被設(shè)置在對(duì)應(yīng)于由圖像數(shù)據(jù)顯示的圖像的平面中。在圖像傳感器上對(duì)應(yīng)于單個(gè)像素設(shè)置單個(gè)檢測(cè)元件。當(dāng)圖像傳感器拍攝現(xiàn)實(shí)世界1的圖像時(shí)，一個(gè)檢測(cè)元件對(duì)應(yīng)于構(gòu)成圖像數(shù)據(jù)的一個(gè)像素輸出一個(gè)像素值。例如，在檢測(cè)元件的空間方向X(X坐標(biāo))中的位置對(duì)應(yīng)于由圖像數(shù)據(jù)顯示的圖像上的水平位置，以及在檢測(cè)元件的空間方向Y(Y坐標(biāo))中的位置對(duì)應(yīng)于由圖像數(shù)據(jù)顯示的圖像上的垂直位置。
現(xiàn)實(shí)世界1中的光強(qiáng)分布在三維空間方向和時(shí)間方向中展開(kāi)，但是圖像傳感器在二維空間方向和時(shí)間方向中獲取現(xiàn)實(shí)世界1的光，并生成顯示在二維空間方向和時(shí)間方向中的光強(qiáng)分布的數(shù)據(jù)3。
如圖9所示，例如是CCD的檢測(cè)裝置，在對(duì)應(yīng)于快門時(shí)間的期間將投射到光敏面(光敏區(qū)域)(檢測(cè)區(qū)域)上的光轉(zhuǎn)換成電荷，并積累轉(zhuǎn)換的電荷。所述光是現(xiàn)實(shí)世界1的信息(信號(hào))，其強(qiáng)度由三維空間位置和時(shí)刻決定?？梢杂珊瘮?shù)F(x，y，z，t)表示現(xiàn)實(shí)世界1的光強(qiáng)分布，其中在三維空間中的位置x、y、z，以及時(shí)刻t為變量。
在檢測(cè)裝置CCD中積累的電荷量近似正比于投射到具有二維空間范圍的整個(gè)光敏面上的光強(qiáng)分布、以及光被投射到其上的時(shí)間量。檢測(cè)裝置將從投射到整個(gè)光敏面上的光轉(zhuǎn)換的電荷加到在對(duì)應(yīng)于快門時(shí)間的期間已經(jīng)積累的電荷上。也就是說(shuō)，檢測(cè)裝置積分投射到具有二維空間范圍的整個(gè)光敏面上的光，并累加對(duì)應(yīng)于在對(duì)應(yīng)快門時(shí)間期間積分的光的變化量。還可以認(rèn)為檢測(cè)裝置具有對(duì)空間(光敏面)和時(shí)間(快門時(shí)間)的積分效應(yīng)。
通過(guò)未示出的電路將在檢測(cè)裝置中積累的電荷轉(zhuǎn)換成電壓值，再將電壓值轉(zhuǎn)換成例如數(shù)字?jǐn)?shù)據(jù)的像素值，并輸出為數(shù)據(jù)3。因此，從圖像傳感器輸出的各個(gè)像素值具有投影到一維空間的值，所述值是積分現(xiàn)實(shí)世界1的信息(信號(hào))的部分的結(jié)果，所述現(xiàn)實(shí)世界具有關(guān)于快門時(shí)間的時(shí)間方向、和檢測(cè)裝置的光敏面的空間方向的時(shí)空范圍。
也就是說(shuō)，一個(gè)像素的象素值被表示為積分F(x，y，t)。F(x，y，t)是表示再檢測(cè)裝置的光敏面上的光強(qiáng)分布的函數(shù)。例如，像素值P由公式(1)表示。
公式(1) 在公式(1)中，x1表示在檢測(cè)裝置的光敏面的左側(cè)范圍上的空間坐標(biāo)(X坐標(biāo))。x2表示在檢測(cè)裝置的光敏面的右側(cè)范圍上的空間坐標(biāo)(X坐標(biāo))。在公式(1)中，y1表示在檢測(cè)裝置的光敏面的上側(cè)范圍上的空間坐標(biāo)(Y坐標(biāo))。y2表示在檢測(cè)裝置的光敏面的下側(cè)范圍上的空間坐標(biāo)(Y坐標(biāo))。另外，t1表示開(kāi)始將入射光轉(zhuǎn)換成電荷的時(shí)刻。t2表示結(jié)束將入射光轉(zhuǎn)換成電荷的時(shí)刻。
注意實(shí)際上，從圖像傳感器輸出的圖像數(shù)據(jù)獲得的像素值對(duì)于整個(gè)幀被校正。
圖像數(shù)據(jù)的每個(gè)像素值是投射到圖像傳感器的每個(gè)檢測(cè)元件的光敏面上的光的積分值，并且，對(duì)于被投射到圖像傳感器上的光，比檢測(cè)元件的光面面更微小的現(xiàn)實(shí)世界1的光的波形被隱藏在成為積分值的像素值中。
下面，在本說(shuō)明書中，將用預(yù)定維表示的作為參考的信號(hào)波形簡(jiǎn)單稱為波形。
從而，在空間方向和時(shí)間方向中將現(xiàn)實(shí)世界1的圖像積分為像素的累加，從而在圖像數(shù)據(jù)中減少了現(xiàn)實(shí)世界1的圖像的連續(xù)性的一部分，從而在圖像數(shù)據(jù)中只剩下現(xiàn)實(shí)世界1的圖像連續(xù)性的另一部分?；蛘?，可能有這樣的情況，其中在圖像數(shù)據(jù)中包括從現(xiàn)實(shí)世界1的圖像的連續(xù)性改變的連續(xù)性。
對(duì)于由具有積分效應(yīng)的圖像傳感器拍攝的圖像，將進(jìn)一步描述在空間方向上的積分效應(yīng)。
圖10描述了到達(dá)對(duì)應(yīng)于像素D至像素F的檢測(cè)元件的入射光與像素值之間的關(guān)系。圖10中的F(x)是表示現(xiàn)實(shí)世界1的光強(qiáng)分布的函數(shù)的實(shí)例，其中在空間(在檢測(cè)裝置上)X空間方向中的坐標(biāo)x為變量。換句話說(shuō)，F(xiàn)(x)是表示現(xiàn)實(shí)世界1的光強(qiáng)分布的函數(shù)的實(shí)例，其中空間坐標(biāo)Y和時(shí)間方向不變。在圖10中，L表示檢測(cè)裝置的光敏面的空間方向X中對(duì)應(yīng)于像素D至像素F的長(zhǎng)度。
將單個(gè)像素的像素值表示為積分F(x)。例如，像素E的像素值P由公式(2)表示。
公式(2) 在公式(2)中，x1表示對(duì)應(yīng)于像素E的在檢測(cè)裝置的光敏面的左側(cè)范圍上的空間方向X中的空間坐標(biāo)。x2表示對(duì)應(yīng)于像素E的在檢測(cè)裝置的光敏面的右側(cè)范圍上的空間方向X中的空間坐標(biāo)。
同樣，對(duì)于由具有積分效應(yīng)的圖像傳感器拍攝的圖像，將進(jìn)一步描述在時(shí)間方向上的積分效應(yīng)。
圖11描述了經(jīng)過(guò)的時(shí)間與到達(dá)對(duì)應(yīng)于單個(gè)像素的檢測(cè)元件的入射光之間的關(guān)系，并且圖11中的像素值F(t)是表示現(xiàn)實(shí)世界1的光強(qiáng)分布的函數(shù)，其中時(shí)刻t為變量。換句話說(shuō)，F(xiàn)(t)是表示現(xiàn)實(shí)世界1的光強(qiáng)分布的實(shí)例，其中空間方向Y和空間方向X不變。Ts表示快門時(shí)間。
幀#n-1是在時(shí)間上比幀#n靠前的幀，而幀#n+1是在時(shí)間上在幀#n后的幀。也就是說(shuō)，以幀#n-1、幀#n和幀#n+1的順序顯示#n-1、幀#n和幀#n+1。
注意，在圖11所示的實(shí)例中，快門時(shí)間ts和幀間隔是相同的。
將單個(gè)像素的像素值表示為積分F(x)。例如，將例如幀n的像素的像素值由公式(3)表示。
公式(3) 在公式(3)中，t1表示開(kāi)始將入射光轉(zhuǎn)換成電荷的時(shí)刻。t2表示結(jié)束將入射光轉(zhuǎn)換成電荷的時(shí)刻。
下文中，將由傳感器2在空間方向的積分效應(yīng)簡(jiǎn)單稱為空間積分效應(yīng)，并將傳感器2在時(shí)間方向的積分效應(yīng)簡(jiǎn)單稱為時(shí)間積分效應(yīng)。另外，將空間積分效應(yīng)或時(shí)間積分效應(yīng)簡(jiǎn)單稱為積分效應(yīng)。
下面，將描述由具有積分效應(yīng)的圖像傳感器獲取的數(shù)據(jù)3中包括的數(shù)據(jù)連續(xù)性的實(shí)例。
圖12示出了現(xiàn)實(shí)世界1的線形對(duì)象(例如細(xì)線)，即光強(qiáng)分布的實(shí)例。在圖12中，附圖上側(cè)的位置表示光強(qiáng)(水平)，圖中上左側(cè)的位置表示在空間方向X中的位置，所述空間方向X是圖像的空間方向的一個(gè)方向，而圖中右側(cè)的位置表示在空間方向Y中的位置，所述空間方向Y是圖像的空間方向的另一個(gè)方向。
現(xiàn)實(shí)世界1的線形對(duì)象的圖像包括預(yù)定連續(xù)性。也就是說(shuō)，圖12中所示的圖像具有長(zhǎng)度方向中的任意位置上的橫截面的形狀連續(xù)性(當(dāng)在垂直于長(zhǎng)度方向的方向上的位置變化時(shí)的變化水平)。
圖13示出了通過(guò)對(duì)應(yīng)于圖12的圖像的實(shí)際圖像拍攝獲得的圖像數(shù)據(jù)的像素值的實(shí)例。
圖14是圖13所示的圖像數(shù)據(jù)的模型圖。
圖14所示的模型圖是利用圖像傳感器對(duì)線形對(duì)象的圖像成像而獲得的圖像數(shù)據(jù)的模型圖，所述線形對(duì)象的直徑比每個(gè)像素的光敏面的長(zhǎng)度L短，并在偏離圖像傳感器的像素陣列(像素的垂直或水平陣列)的方向上延伸。當(dāng)獲取圖14的圖像數(shù)據(jù)時(shí)被投射到圖像傳感器中的圖像是如圖12所示的現(xiàn)實(shí)世界1的線形對(duì)象的圖像。
在圖14中，圖中的上側(cè)位置表示像素值，圖中上右側(cè)的位置表示在空間方向X中的位置，空間方向X是圖像的空間方向中的一個(gè)方向，以及圖中右側(cè)位置表示在空間方向Y中的位置，空間方向Y是圖像的空間方向的另一個(gè)方向。圖14中表示像素值的方向?qū)?yīng)圖12中的水平的方向，圖14中空間方向X和空間方向Y與圖12中的所示方向相同。
在利用圖像傳感器拍攝直徑比每個(gè)像素的光敏面的長(zhǎng)度L窄的線形對(duì)象的圖像時(shí)，將線形對(duì)象在作為圖像拍攝結(jié)果的圖像數(shù)據(jù)中表示為多個(gè)弧形(半圓)，其具有預(yù)定長(zhǎng)度，并在例如模型表示中以對(duì)角偏離的方式排列。所述弧形基本具有近似相同的形狀。將一個(gè)弧形垂直地形成在一行像素上，或水平地形成在一行像素上。例如，將如圖14所示的一個(gè)弧形垂直地形成在一行像素上。
從而，通過(guò)由例如圖像傳感器拍攝并獲得圖像數(shù)據(jù)，丟失了這樣的連續(xù)性，其中現(xiàn)實(shí)世界1的線形對(duì)象圖像的連續(xù)性為，在長(zhǎng)度方向的任何位置上在空間方向Y上的橫截面相同。也可以說(shuō)，現(xiàn)實(shí)世界1的線形對(duì)象的圖像所具有的連續(xù)性已經(jīng)變?yōu)檫@樣的連續(xù)性，即垂直地或水平地在一行像素上形成的形狀相同的弧形以預(yù)定間隔排列。
圖15示出了對(duì)象在現(xiàn)實(shí)世界1中的圖像，即光強(qiáng)分布的實(shí)例，所述對(duì)象具有直邊緣并與背景有單色差。在圖15中，圖中上側(cè)位置表示光強(qiáng)(水平)，圖中上右側(cè)的位置表示空間方向X中的位置，空間方向X是圖像空間方向的一個(gè)方向，以及圖中右側(cè)位置表示在空間方向Y中的位置，空間方向Y是圖像空間方向的另一個(gè)方向。
具有直邊緣并且與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像包括預(yù)定連續(xù)性。也就是說(shuō)，圖15所示的圖像的連續(xù)性為，在長(zhǎng)度方向上的任意位置上的橫截面(對(duì)于在垂直于長(zhǎng)度方向的方向上的位置的變化，水平的變化)相同。
圖16示出了由現(xiàn)實(shí)圖像拍攝獲得的圖像數(shù)據(jù)的像素值的實(shí)例，其對(duì)應(yīng)于如圖15所示的圖像。如圖16所示，圖像數(shù)據(jù)為階形，因?yàn)閳D像數(shù)據(jù)由具有像素增量的像素值構(gòu)成。
圖17是示出如圖16所示的圖像數(shù)據(jù)的模型圖。
圖17所示的模型圖是用圖像傳感器拍攝現(xiàn)實(shí)世界1的對(duì)象的圖像而獲得的圖像數(shù)據(jù)的模型圖，所述對(duì)象具有直邊緣并與背景具有單色差，所述模型圖以偏離圖像傳感器的像素的陣列的方向延伸(像素的垂直或水平陣列)。在獲取如圖17所示的圖像數(shù)據(jù)時(shí)被投射到圖像傳感器中的圖像是現(xiàn)實(shí)世界1的對(duì)象的圖像，所述對(duì)象如圖15所示具有直邊緣并與背景有單色差。
在圖17中，圖中上側(cè)位置表示像素值，圖中上右側(cè)的位置表示空間方向X中的位置，空間方向X是圖像空間方向的一個(gè)方向，以及圖中右側(cè)位置表示在空間方向Y中的位置，空間方向Y是圖像空間方向的另一個(gè)方向。圖17中表示像素值的方向?qū)?yīng)于圖15中的水平方向，并且圖17中的空間方向X和空間方向Y與圖15中相同。
在用圖像傳感器拍攝現(xiàn)實(shí)世界1的對(duì)象的圖像的情況中，所述對(duì)象具有直邊緣并與背景有單色差，在作為圖像拍攝的結(jié)果獲得的圖像數(shù)據(jù)中將直邊緣表示為多個(gè)爪形，其具有預(yù)定長(zhǎng)度，并在例如模型表示中以對(duì)角偏離的方式排列。所述爪形具有近似相同的形狀。將一個(gè)像素垂直地在一行像素上形成，或水平地在一行像素上形成。例如，將如圖17所示的一個(gè)爪形垂直地在一行像素上形成。
從而，具有直邊緣并與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像的連續(xù)性在用圖像傳感器成像而獲得的圖像數(shù)據(jù)中丟失，所示連續(xù)性例如為在邊緣的長(zhǎng)度方向中的任意位置上的橫截面形狀相同。也可以說(shuō)，具有直邊緣并與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像所具有的連續(xù)性已經(jīng)變?yōu)檫@樣的連續(xù)性，即垂直地或水平地在一行像素上形成的形狀相同的爪形以預(yù)定間隔排列。
數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)例如作為輸入圖像的數(shù)據(jù)3的該數(shù)據(jù)連續(xù)性。例如，數(shù)據(jù)檢測(cè)單元101通過(guò)檢測(cè)在預(yù)定維度方向上具有不變特征的區(qū)域而檢測(cè)數(shù)據(jù)連續(xù)性。例如，數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)這樣的區(qū)域，其中相同的弧形以不變的間隔排列，如圖14所示。另外，數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)這樣的區(qū)域，其中相同的爪形以不變的間隔排列，如圖17所示。
另外，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)檢測(cè)空間方向中的角度(梯度)而檢測(cè)數(shù)據(jù)的連續(xù)性，所述角度表示相同形狀的陣列。
另外，例如，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)檢測(cè)空間方向和時(shí)間方向中的角度(移動(dòng))而檢測(cè)數(shù)據(jù)的連續(xù)性，所述角度表示相同形狀在空間方向和時(shí)間方向中的陣列。
另外，例如，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)檢測(cè)在預(yù)定維度方向上具有不變特征的區(qū)域的長(zhǎng)度而檢測(cè)數(shù)據(jù)的連續(xù)性。
下文中，將數(shù)據(jù)3中傳感器2投影現(xiàn)實(shí)世界1的對(duì)象的圖像的部分還稱為二值邊緣，所述對(duì)象具有直邊緣并與背景有單色差。
接著，將更詳細(xì)地描述本發(fā)明原理。
如圖18所示，在常規(guī)信號(hào)處理中，從數(shù)據(jù)3產(chǎn)生例如希望的高分辨率數(shù)據(jù)181。
相反，在根據(jù)本發(fā)明的信號(hào)處理中，從數(shù)據(jù)3估計(jì)現(xiàn)實(shí)世界1，并根據(jù)估計(jì)的結(jié)果產(chǎn)生高分辨率數(shù)據(jù)181。也就是說(shuō)，如圖19所示，從數(shù)據(jù)3估計(jì)現(xiàn)實(shí)世界1，并根據(jù)考慮數(shù)據(jù)3估計(jì)的現(xiàn)實(shí)世界1產(chǎn)生高分辨率數(shù)據(jù)181。
為了從現(xiàn)實(shí)世界1產(chǎn)生高分辨率數(shù)據(jù)181，需要考慮現(xiàn)實(shí)世界1和數(shù)據(jù)3之間的關(guān)系。例如，考慮為CCD的傳感器2如何將現(xiàn)實(shí)世界1投影到數(shù)據(jù)3上。
傳感器2 CCD如上所述具有積分特性。也就是說(shuō)，可以通過(guò)用傳感器2的檢測(cè)裝置(如CCD)的檢測(cè)區(qū)域(如光敏面)積分現(xiàn)實(shí)世界1的信號(hào)而計(jì)算數(shù)據(jù)3的一個(gè)單元(如像素值)。
將此應(yīng)用到高分辨率數(shù)據(jù)181，可以通過(guò)施加處理而獲得高分辨率數(shù)據(jù)181，其中虛擬高分辨率傳感器將從現(xiàn)實(shí)世界1到數(shù)據(jù)3的信號(hào)投影到估計(jì)的現(xiàn)實(shí)世界1上。
換句話說(shuō)，如圖20所示，如果可以從數(shù)據(jù)3估計(jì)現(xiàn)實(shí)世界1的信號(hào)，通過(guò)對(duì)虛擬高分辨率傳感器的檢測(cè)元件的每個(gè)檢測(cè)區(qū)域積分現(xiàn)實(shí)世界1的信號(hào)(在時(shí)空方向)，可以獲得包含在高分辨率數(shù)據(jù)191中的一個(gè)值。
例如，在這樣的情況中，其中現(xiàn)實(shí)世界1的信號(hào)中的變化比傳感器2的檢測(cè)元件的檢測(cè)區(qū)域的尺寸小，則數(shù)據(jù)3不能表達(dá)現(xiàn)實(shí)世界1中的信號(hào)的小變化。因此，通過(guò)用比現(xiàn)實(shí)世界1的信號(hào)中的變化小的每個(gè)區(qū)域(在時(shí)間-空間方向)積分從數(shù)據(jù)3估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，可以獲得表示現(xiàn)實(shí)世界1的信號(hào)變化的高分辨率數(shù)據(jù)181。
也就是說(shuō)，用相關(guān)于虛擬高分辨率傳感器的每個(gè)檢測(cè)元件的每個(gè)區(qū)域積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，使得可以獲得高分辨率數(shù)據(jù)18。
在本發(fā)明中，圖像生成單元103通過(guò)在虛擬高分辨率傳感器的檢測(cè)元件的時(shí)間-空間區(qū)域積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，而生成高分辨率數(shù)據(jù)181。
接著，在本發(fā)明中，為了從數(shù)據(jù)3估計(jì)現(xiàn)實(shí)世界1，使用數(shù)據(jù)3與現(xiàn)實(shí)世界1之間的關(guān)系、連續(xù)性以及數(shù)據(jù)3中的空間混合。
這里，混合表示數(shù)據(jù)3中的值，其中混合現(xiàn)實(shí)世界1中的兩個(gè)對(duì)象的信號(hào)而獲得信號(hào)值。
空間混合表示由于傳感器2的空間積分效應(yīng)，兩個(gè)對(duì)象的信號(hào)在空間方向上的混合。
現(xiàn)實(shí)世界1自身由無(wú)數(shù)的事件構(gòu)成，因此，為了用數(shù)學(xué)表達(dá)表示現(xiàn)實(shí)世界1自身，例如，需要無(wú)數(shù)個(gè)變量。從數(shù)據(jù)3不可能預(yù)測(cè)現(xiàn)實(shí)世界1的所有事件。
同樣，不可能從數(shù)據(jù)3預(yù)測(cè)現(xiàn)實(shí)世界1的所有信號(hào)。
因此，如圖21所示，在本實(shí)施例中，對(duì)于現(xiàn)實(shí)世界1的信號(hào)，具有連續(xù)性并且可以由函數(shù)函數(shù)f(x，y，z，t)表達(dá)的部分得到關(guān)注，并且用由N個(gè)變量表示的模型161模擬現(xiàn)實(shí)世界1的信號(hào)的可以由函數(shù)f(x，y，z，t)表示并具有連續(xù)性的部分。如圖22所示，從數(shù)據(jù)3中的M塊數(shù)據(jù)162預(yù)測(cè)模型161。
為了可以從M塊數(shù)據(jù)162預(yù)測(cè)模型161，首先，需要根據(jù)連續(xù)性用N變量表示模型161，第二，利用N個(gè)變量產(chǎn)生表達(dá)式，所述表達(dá)式根據(jù)傳感器2的積分特性表示由N個(gè)變量表示的模型161和M塊數(shù)據(jù)162之間的關(guān)系。因?yàn)槟Ｐ?61是根據(jù)連續(xù)性由N個(gè)變量表示，可以說(shuō)，利用N個(gè)變量的表示由N個(gè)變量表示的模型161和M塊數(shù)據(jù)162之間的關(guān)系的表達(dá)式，描述了現(xiàn)實(shí)世界1的信號(hào)的具有連續(xù)性的部分與數(shù)據(jù)3的具有數(shù)據(jù)連續(xù)性的部分之間的關(guān)系。
換句話說(shuō)，具有連續(xù)性的現(xiàn)實(shí)世界1的信號(hào)的部分產(chǎn)生了數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性，所述部分通過(guò)由N個(gè)變量表示的模型161模擬。
數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)3中具有由現(xiàn)實(shí)世界1的信號(hào)中具有連續(xù)性的部分產(chǎn)生的數(shù)據(jù)連續(xù)性的部分、以及其中產(chǎn)生數(shù)據(jù)連續(xù)性的部分的特征。
例如，如圖23所示，在現(xiàn)實(shí)世界1的對(duì)象的圖像中，其中具有直邊緣并與背景有單色差，在圖23中由A表示的關(guān)注位置上的邊緣具有梯度。圖23中的箭頭B表示邊緣的梯度。預(yù)定邊緣梯度可以被表示為與左邊軸或與到參考位置的方向所成的角度。例如，可以將預(yù)定邊緣梯度表示為空間方向X坐標(biāo)軸與邊緣之間的角度。例如，可以將預(yù)定邊緣梯度表示為由空間方向X的長(zhǎng)度和空間方向Y的長(zhǎng)度表示的方向。
當(dāng)在傳感器2中獲得具有直邊緣并與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像并輸出數(shù)據(jù)3時(shí)，在對(duì)應(yīng)于現(xiàn)實(shí)世界1的圖像中的邊緣的關(guān)注位置(A)的位置上，在數(shù)據(jù)3中排列對(duì)應(yīng)于所述邊緣的爪形，所述關(guān)注位置在圖23中由“A”表示，并且，在對(duì)應(yīng)于現(xiàn)實(shí)世界1的圖像的邊緣梯度的方向上，在圖23中由“B”表示的梯度的方向上，排列對(duì)應(yīng)于邊緣的爪形。
由N個(gè)變量表示的模型161模擬在數(shù)據(jù)3中產(chǎn)生數(shù)據(jù)連續(xù)性的現(xiàn)實(shí)世界1的信號(hào)中的部分。
在利用N個(gè)變量列出表達(dá)式時(shí)，所述表達(dá)式表示由N個(gè)變量表示的模型161與M塊數(shù)據(jù)162之間的關(guān)系，使用數(shù)據(jù)3中被產(chǎn)生有數(shù)據(jù)連續(xù)性的部分。
在該情況下，在如圖24所示的數(shù)據(jù)3中，關(guān)注被產(chǎn)生有數(shù)據(jù)連續(xù)性并屬于混合區(qū)域的值，用積分現(xiàn)實(shí)世界1的信號(hào)、等于由傳感器2的檢測(cè)元件輸出的值列出表達(dá)式。例如，可以關(guān)于被產(chǎn)生有數(shù)據(jù)連續(xù)性的數(shù)據(jù)3中的多個(gè)值列出多個(gè)表達(dá)式。
在圖24中，A表示關(guān)注邊緣的位置，A’表示對(duì)應(yīng)于現(xiàn)實(shí)世界1的圖像中的關(guān)注邊緣的位置(A)的像素(位置)。
現(xiàn)在，混合區(qū)域表示數(shù)據(jù)3中的這樣的數(shù)據(jù)區(qū)域，其中混合現(xiàn)實(shí)世界1的兩個(gè)對(duì)象的信號(hào)并將其變?yōu)橐粋€(gè)值。例如，這樣的像素值屬于混合區(qū)域，其中在數(shù)據(jù)3中的現(xiàn)實(shí)世界1的對(duì)象的圖像中積分具有直邊緣的對(duì)象的圖像和背景的圖像，所述對(duì)象具有直邊緣并與背景有單色差。
圖25示出了現(xiàn)實(shí)世界1中的兩個(gè)對(duì)象的信號(hào)以及在列出表達(dá)式的情況下屬于混合區(qū)域的值。
圖25的左邊示出了對(duì)應(yīng)于現(xiàn)實(shí)世界1的兩個(gè)對(duì)象的現(xiàn)實(shí)世界1的信號(hào)，所述現(xiàn)實(shí)世界具有在空間方向X和空間方向Y中的預(yù)定范圍，所述信號(hào)在傳感器2的單個(gè)檢測(cè)元件的檢測(cè)區(qū)域獲取。圖25的右邊示出了數(shù)據(jù)3中的單個(gè)像素的像素值P，其中已經(jīng)由傳感器2的單個(gè)檢測(cè)元件投影圖25的左邊示出的現(xiàn)實(shí)世界1的信號(hào)。也就是說(shuō)，在數(shù)據(jù)3中示出了單個(gè)像素的像素值P，其中由傳感器2的單個(gè)檢測(cè)元件獲取的對(duì)應(yīng)于現(xiàn)實(shí)世界1的兩個(gè)對(duì)象的現(xiàn)實(shí)世界1的信號(hào)已經(jīng)被投影，所述現(xiàn)實(shí)世界1在空間方向X和空間方向Y上具有預(yù)定范圍。
圖25中的L表示現(xiàn)實(shí)世界1的信號(hào)水平，其在圖25中被示為白色，對(duì)應(yīng)于現(xiàn)實(shí)世界1中的一個(gè)對(duì)象。圖25中的R表示現(xiàn)實(shí)世界1的信號(hào)水平，其在圖25中被示為陰影，對(duì)應(yīng)于現(xiàn)實(shí)世界1中的另一個(gè)對(duì)象。
這里，混合比值α是對(duì)應(yīng)于被投射到傳感器2的一個(gè)檢測(cè)元件的檢測(cè)區(qū)域中的兩個(gè)對(duì)象的信號(hào)(面積)比值，所述傳感器2在空間方向X和空間方向Y上具有預(yù)定范圍。例如，混合比值α表示被投射到到傳感器2的一個(gè)檢測(cè)元件的檢測(cè)區(qū)域中的水平L信號(hào)的面積與傳感器2的一個(gè)檢測(cè)元件的檢測(cè)區(qū)域的面積的比值，所述傳感器2在空間方向X和空間方向Y上具有預(yù)定范圍。
在該情況下，水平L、水平R和像素值P之間的關(guān)系可以表達(dá)為公式(4)。
α×L+(1-α)×R＝P公式(4) 注意，可能存在這樣的情況，其中可以取水平R作為數(shù)據(jù)3中位于關(guān)注像素右側(cè)的像素的像素值，從而可能存在這樣的情況，其中可以取水平L作為數(shù)據(jù)3中位于關(guān)注像素左側(cè)的像素的像素值。
另外，對(duì)于混合值α和混合區(qū)域，可以以與空間方向相同的方式考慮時(shí)間方向。例如，在其中作為圖像拍攝對(duì)象的現(xiàn)實(shí)世界1中的對(duì)象正移向傳感器2的情況中，被投射到傳感器2的單個(gè)檢測(cè)元件的檢測(cè)區(qū)域中的兩個(gè)對(duì)象的信號(hào)的比值在時(shí)間方向上變化。關(guān)于其的比值在時(shí)間方向上變化、已經(jīng)被投射到傳感器2的單個(gè)檢測(cè)元件的檢測(cè)區(qū)域中的兩個(gè)對(duì)象的信號(hào)通過(guò)傳感器2的檢測(cè)元件被投影到數(shù)據(jù)3的單個(gè)值上。
由于傳感器2的時(shí)間積分效應(yīng)，兩個(gè)對(duì)象的信號(hào)在時(shí)間方向上的混合被稱為時(shí)間混合。
數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)3中這樣的像素區(qū)域，其中已經(jīng)被投影有例如現(xiàn)實(shí)世界1中的兩個(gè)對(duì)象的現(xiàn)實(shí)世界1的信號(hào)。數(shù)據(jù)連續(xù)性檢測(cè)單元101對(duì)應(yīng)于例如現(xiàn)實(shí)世界1中的圖像邊緣的梯度檢測(cè)數(shù)據(jù)3中的梯度。
現(xiàn)實(shí)世界估計(jì)單元102通過(guò)如下估計(jì)現(xiàn)實(shí)世界的信號(hào)，其中，基于例如具有由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的預(yù)定混合比值α、和區(qū)域梯度的像素區(qū)域，列出利用N個(gè)變量的表達(dá)式，所述表達(dá)式表示由N個(gè)變量表示的模型161與M塊數(shù)據(jù)162之間的關(guān)系；并求解所列出的表達(dá)式。
下面將描述對(duì)現(xiàn)實(shí)世界1的具體估計(jì)。
在由函數(shù)F(x，y，z，t)表示的現(xiàn)實(shí)世界的信號(hào)中，考慮用由在空間方向X中的位置x、在空間方向Y中的位置y以及時(shí)刻t確定的模擬函數(shù)f(x，y，t)來(lái)模擬在空間方向Z中的橫截面上(傳感器2的位置)由函數(shù)F(x，y，t)表示的現(xiàn)實(shí)世界的信號(hào)。
現(xiàn)在，傳感器2的檢測(cè)區(qū)域具有在空間方向X和空間方向Y中的范圍。換句話說(shuō)，模擬函數(shù)f(x，y，t)是模擬由傳感器2獲取的具有在空間方向和時(shí)間方向中的范圍的現(xiàn)實(shí)世界1的信號(hào)的函數(shù)。
可以說(shuō)，現(xiàn)實(shí)世界1的信號(hào)的投影獲得數(shù)據(jù)3的值P(x，y，t)。數(shù)據(jù)3的值P(x，y，t)是例如圖像傳感器傳感器2輸出的像素值。
現(xiàn)在，在可以公式化通過(guò)傳感器2的投影的情況中，可以將通過(guò)投影模擬函數(shù)f(x，y，t)所獲得的值表示為投影函數(shù)S(x，y，t) 獲得投影函數(shù)S(x，y，t)具有下面的問(wèn)題。
首先，通常，表示現(xiàn)實(shí)世界1的信號(hào)的函數(shù)F(x，y，z，t)可以是具有無(wú)限階數(shù)的函數(shù)。
第二，即使可以將現(xiàn)實(shí)世界的信號(hào)描述為函數(shù)，通常不能確定借助傳感器2的投影的投影函數(shù)S(x，y，t)。也就是說(shuō)，傳感器2的投影的動(dòng)作，換句話說(shuō)，傳感器2的輸入信號(hào)與輸出信號(hào)之間的關(guān)系是未知的，所以不能確定投影函數(shù)S(x，y，t) 對(duì)于第一個(gè)問(wèn)題，考慮用可描述函數(shù)(即具有有限階數(shù)的函數(shù))fi(x，y，t)與變量wi的乘積的和表達(dá)模擬現(xiàn)實(shí)世界1的信號(hào)的函數(shù)f(x，y，t) 另外，對(duì)于第二個(gè)問(wèn)題，傳感器2的公式化投影允許從對(duì)函數(shù)fi(x，y，t)的描述來(lái)描述Si(x，y，t)。
也就是說(shuō)，用函數(shù)fi(x，y，t)與變量wi的乘積的和表達(dá)模擬現(xiàn)實(shí)世界1的信號(hào)的函數(shù)f(x，y，t)，則可以獲得公式(5)。
公式(5) 例如，如公式(6)所示，通過(guò)公式化傳感器2的投影，從公式(5)可以公式化如公式(7)所示的數(shù)據(jù)3與現(xiàn)實(shí)世界的信號(hào)之間的關(guān)系。
Si(x，y，t)＝∫∫∫fi(x，y，t)dx dy dt公式(6) 公式(7) 在公式(7)中，j表示數(shù)據(jù)的指數(shù)。
在M個(gè)數(shù)據(jù)組(j＝1至M)與N個(gè)變量wi(I＝1至N)共存于公式(7)中的情況下，滿足公式(8)，則可以從數(shù)據(jù)3獲得現(xiàn)實(shí)世界的模型161。
N≤M公式(8) N是表示模擬現(xiàn)實(shí)世界1的模型161的變量的個(gè)數(shù)。M是包括在數(shù)據(jù)3中的數(shù)據(jù)塊162的個(gè)數(shù)。
用公式(5)表示模擬現(xiàn)實(shí)世界1的函數(shù)f(x，y，t)允許可以獨(dú)立地處理變量部分wi。這里，I便是變量數(shù)。另外，可以獨(dú)立地處理由fi表示的函數(shù)的形式，并且對(duì)于fi可以使用希望的函數(shù)。
因此，變量wi的個(gè)數(shù)N可以不依賴于函數(shù)fi而確定，并且可以從變量wi的個(gè)數(shù)N與數(shù)據(jù)M的塊數(shù)之間的關(guān)系獲得變量wi。
也就是說(shuō)，利用下面三條允許從數(shù)據(jù)3估計(jì)現(xiàn)實(shí)世界1。
首先，N個(gè)變量是確定的。也就是說(shuō)，公式(5)是確定的。這使得可以利用連續(xù)性描述現(xiàn)實(shí)世界1。例如，可以用模型161描述現(xiàn)實(shí)世界1的信號(hào)，其中用多項(xiàng)式表達(dá)橫截面，并且相同的橫截面形狀持續(xù)在不變的方向上。
第二，例如將通過(guò)傳感器2的投影公式化為表達(dá)公式(7)。例如，這被公式化以使得對(duì)現(xiàn)實(shí)世界2的信號(hào)的積分的結(jié)果為數(shù)據(jù)3。
第三，選取M塊數(shù)據(jù)162滿足公式(8)。例如，從已經(jīng)用數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的具有數(shù)據(jù)連續(xù)性的區(qū)域選取數(shù)據(jù)162。例如，選舉這樣區(qū)域的數(shù)據(jù)162，其中作為連續(xù)性的實(shí)例持續(xù)有不變的橫截面。
這樣，用公式(5)描述了數(shù)據(jù)3與現(xiàn)實(shí)世界1之間的關(guān)系，選取M塊數(shù)據(jù)162，從而滿足公式(8)，從而可以估計(jì)現(xiàn)實(shí)世界1。
尤其是，在N＝M的情況中，變量數(shù)N和表達(dá)式數(shù)M相等，從而可以通過(guò)公式化模擬方程而獲得變量wi。
另外，在N＜M的情況中，可以使用各種解決方法。例如，可以通過(guò)最小二乘法獲得變量wi。
現(xiàn)在，將詳細(xì)描述利用最小二乘法的解決方法。
首先，根據(jù)公式(7)可以示出用于從現(xiàn)實(shí)世界1預(yù)測(cè)數(shù)據(jù)3的公式(9)。
公式(9) 在公式(9)中，P’j(xj，yj，tj)是預(yù)測(cè)值。
公式(10)表示預(yù)測(cè)值P’與觀察之P的方差E的和。
公式(10) 獲得這樣的變量wi，使得方差和E最小。因此，對(duì)公式(10)的每個(gè)變量wk的微分值為0。也就是說(shuō)，公式(11)成立。
公式(11) 公式(11)推出公式(12)。
公式(12) 當(dāng)公式(12)對(duì)K＝1至N成立時(shí)，獲得通過(guò)最小二乘的解。公式(13)示出了其正態(tài)方程。

公式(13) 注意，在公式(13)中，將Si(xj，yj，tj)描述為Si(j)。

公式(14) 公式(15) 公式(16) 從公式(14)至公式(16)，可以將公式(13)表達(dá)為SMATWMAT＝PMAT。
在公式(13)中，Si表示現(xiàn)實(shí)世界1的投影。在公式(13)中，Pj表示數(shù)據(jù)3。在公式(13)中，wi表示描述和獲得現(xiàn)實(shí)世界1的信號(hào)的特征的變量。
因此，通過(guò)將數(shù)據(jù)3輸入公式(13)并獲得矩陣解的WMAT，使得可以估計(jì)現(xiàn)實(shí)世界1。也就是說(shuō)，可以用計(jì)算公式(17)估計(jì)現(xiàn)實(shí)世界1。
WMAT＝SMAT-1PMAT公式(17) 注意，在SMAT不是正則的情況下，可以使用SMAT的轉(zhuǎn)置矩陣來(lái)獲得WMAT。
現(xiàn)實(shí)世界估計(jì)單元102通過(guò)例如將數(shù)據(jù)3輸入公式(13)并獲得矩陣解的WMAT等，估計(jì)現(xiàn)實(shí)世界1。
現(xiàn)在，將描述更詳細(xì)的實(shí)例。例如，將用多項(xiàng)式描述現(xiàn)實(shí)世界1的信號(hào)的橫截面形狀，即對(duì)于位置變化的水平變化。假設(shè)現(xiàn)實(shí)世界1的信號(hào)的橫截面形狀不變，并且現(xiàn)實(shí)世界1的信號(hào)的橫截面以恒定的速度移動(dòng)。從傳感器2將現(xiàn)實(shí)世界1的信號(hào)到數(shù)據(jù)3的投影通過(guò)在現(xiàn)實(shí)世界1的信號(hào)的時(shí)間-空間方向的三維積分而被公式化。
現(xiàn)實(shí)世界1的信號(hào)的橫截面以恒定速度移動(dòng)的假設(shè)推出公式(18)和公式(19)。
公式(18) 公式(19) 這里，vx和vy都是不變的。
利用公式(18)和公式(19)，可以將現(xiàn)實(shí)世界1的信號(hào)的橫截面形狀表示為公式(20)。
f(x′y′)＝f(x+vxt，y+vyt)公式(20) 通過(guò)在現(xiàn)實(shí)世界1的信號(hào)的時(shí)間-空間方向的三維積分公式化從傳感器2將現(xiàn)實(shí)世界1的信號(hào)到數(shù)據(jù)3的投影，推出公式(21)。
公式(21) 在公式(21)中，S(x，y，t)表示在如下區(qū)域上的積分值，所述區(qū)域?yàn)?，在空間方向X上從位置xs到位置xe，在空間方向Y上從位置ys到位置ye，以及在時(shí)間方向t上從時(shí)刻ts到時(shí)刻te，即所述區(qū)域被表示為空間-時(shí)間立方體。
利用確定公式(21)的希望的函數(shù)f(x’，y’)求解公式(13)，使得可以估計(jì)現(xiàn)實(shí)世界1的信號(hào)。
下面，將利用在公式(22)中表示的函數(shù)作為函數(shù)f(x’，y’)的實(shí)例。
f(x′，y′)＝w1x′+w2y′+w3 ＝w1(x+vxt)+w2(y+vxt)+w3 公式(22) 也就是說(shuō)，將現(xiàn)實(shí)世界1的信號(hào)估計(jì)為包括在公式(18)、公式(19)以及公式(22)中表示的連續(xù)性。這表示，具有恒定形狀的橫截面在空間-時(shí)間方向中移動(dòng)，如圖26所示。
將公式(22)代入公式(21)推出公式(23)。
公式(23) 其中 體積＝(xe-xs)(ye-ys)(te-ts) S0(x，y，t)＝體積/2×(xe+xs+vx(te+ts)) S1(x，y，t)＝體積/2×(ye+ys+vy(te+ts)) S2(x，y，t)＝1 成立 圖27示出了從數(shù)據(jù)3中選取的M塊數(shù)據(jù)162的實(shí)例。例如，可以說(shuō)將27個(gè)像素值提取作為數(shù)據(jù)162，并且選取的像素值為Pj(x，y，t)。在該情況下，j為0至26。
在圖27的實(shí)例中，在這樣的情況下，其中對(duì)應(yīng)于在t＝n的時(shí)刻上的關(guān)注位置的像素的像素值為P13(x，y，t)，并且具有數(shù)據(jù)連續(xù)的像素的像素值的陣列方向(例如這樣的方向，其中排列有由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的形狀相同的爪形)是連接P4(x，y，t)、P13(x，y，t)和P22(x，y，t)的方向，則選取在t＝n的時(shí)刻上的像素值P9(x，y，t)至P17(x，y，t)、在t為先于n的時(shí)刻n-1的時(shí)刻上的像素值P0(x，y，t)至P8(x，y，t)，以及在t為n時(shí)刻后的n+1時(shí)刻上的像素值P18(x，y，t)至P26(x，y，t)。
現(xiàn)在，關(guān)于其已經(jīng)獲得了從為傳感器2的圖像傳感器輸出的數(shù)據(jù)3的數(shù)據(jù)，具有時(shí)間方向和二維空間方向的范圍，如圖28所示?，F(xiàn)在，如圖29所示，可以將對(duì)應(yīng)于像素值的立方體的重心(關(guān)于其的像素值已經(jīng)被獲得的區(qū)域)用作在空間-時(shí)間方向中的像素位置。
通過(guò)從27個(gè)像素值P0(x，y，t)至P26(x，y，t)和公式(23)產(chǎn)生公式(13)，并獲得W，使得可以估計(jì)現(xiàn)實(shí)世界1。
這樣，現(xiàn)實(shí)世界估計(jì)單元102從27個(gè)像素值P0(x，y，t)至P26(x，y，t)和公式(23)產(chǎn)生公式(13)，并獲得W，從而估計(jì)現(xiàn)實(shí)世界1的信號(hào)。
注意，對(duì)于函數(shù)f(x，y，t)可以使用Gaussian函數(shù)、∑函數(shù)等。
下面將參考圖30至圖34描述這樣的處理的實(shí)例，所述處理從估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，產(chǎn)生比數(shù)據(jù)3的分辨率更高的高分辨率數(shù)據(jù)181。
如圖30所示，數(shù)據(jù)3具有這樣的值，其中將現(xiàn)實(shí)世界1的信號(hào)在時(shí)間方向和二維空間方向上積分。例如，從為傳感器2的圖像傳感器輸出的像素值數(shù)據(jù)3具有這樣的值，其中以在作為時(shí)間方向上的檢測(cè)時(shí)間的快門時(shí)間、以及以在空間方向中的檢測(cè)元件的光敏區(qū)域積分成為被投射到檢測(cè)裝置中的光的現(xiàn)實(shí)世界1的信號(hào)。
相反，如圖31所示，通過(guò)在時(shí)間方向上以與輸出數(shù)據(jù)3的傳感器2的檢測(cè)時(shí)間相同的時(shí)間、以及在空間方向上以比輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的光敏區(qū)域小的區(qū)域，積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，而產(chǎn)生在空間方向上分辨率更高的高分辨率數(shù)據(jù)181。
注意，當(dāng)產(chǎn)生在空間方向上具有更高分辨率的高分辨率數(shù)據(jù)181時(shí)，可以將在其上積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)的區(qū)域設(shè)置為完全脫離輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的光敏區(qū)域。例如，高分辨率數(shù)據(jù)181可以具有這樣的分辨率，其為數(shù)據(jù)3的分辨率在空間方向上放大整數(shù)倍，當(dāng)然，還可以具有這樣的分辨率，其為數(shù)據(jù)3的分辨率在空間方向上放大例如5/3倍的比值。
另外，如圖32所示，通過(guò)在空間方向上以與輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的光敏區(qū)域相同的區(qū)域、以及在時(shí)間方向上以比輸出數(shù)據(jù)3的傳感器2的檢測(cè)時(shí)間短的時(shí)間，積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，而產(chǎn)生在時(shí)間方向上分辨率更高的高分辨率數(shù)據(jù)181。
注意，當(dāng)產(chǎn)生在時(shí)間方向上具有更高分辨率的高分辨率數(shù)據(jù)181時(shí)，可以將在其上積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)的時(shí)間設(shè)置為完全脫離輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的快門時(shí)間。例如，高分辨率數(shù)據(jù)181可以具有這樣的分辨率，其為數(shù)據(jù)3的分辨率在時(shí)間方向上放大整數(shù)倍，當(dāng)然，還可以具有這樣的分辨率，其為數(shù)據(jù)3的分辨率在時(shí)間方向上放大例如7/4倍的比值。
如圖33所示，通過(guò)只在空間方向而不在時(shí)間方向積分現(xiàn)實(shí)世界1的信號(hào)，產(chǎn)生了具有去除移動(dòng)斑點(diǎn)的高分辨率數(shù)據(jù)181。
另外，如圖34所示，通過(guò)在空間方向上以比輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的光敏區(qū)域小的區(qū)域，以及在時(shí)間方向上以比輸出數(shù)據(jù)3的傳感器2的檢測(cè)時(shí)間短的時(shí)間，積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，而產(chǎn)生在時(shí)間方向和空間方向上分辨率更高的高分辨率數(shù)據(jù)181。
在該情況下，可以將在其上積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)的區(qū)域和時(shí)間設(shè)置為完全不相關(guān)于輸出數(shù)據(jù)3的傳感器2的檢測(cè)元件的光敏區(qū)域和快門時(shí)間。
從而，例如，圖像生成單元103通過(guò)在希望的空間-時(shí)間區(qū)域積分估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，而產(chǎn)生在時(shí)間方向和空間方向上分辨率更高的數(shù)據(jù)。
因此，通過(guò)估計(jì)現(xiàn)實(shí)世界1的信號(hào)，可以產(chǎn)生關(guān)于現(xiàn)實(shí)世界1的信號(hào)更精確、并在時(shí)間方向或空間方向具有更高分辨率的數(shù)據(jù)。
下面將參考圖35至39描述利用根據(jù)本發(fā)明的信號(hào)處理裝置4的輸入圖像和處理結(jié)果的實(shí)例。
圖35示出了輸入圖像的原始圖像。圖36示出了輸入圖像的實(shí)例。如圖36所示的輸入圖像通過(guò)取像素的像素值的平均值作為單個(gè)像素的像素值而產(chǎn)生的圖像，所述像素屬于由如圖35所示的圖像的2×2個(gè)像素構(gòu)成的塊。也就是說(shuō)，輸入圖像是通過(guò)模仿傳感器的積分特性對(duì)圖35中的圖像施加空間方向積分而獲得的圖像。
圖35中的原始圖像包含從垂直方向順時(shí)針傾斜約5度的細(xì)線的圖像。同樣，圖36中的輸入圖像包含從垂直方向順時(shí)針傾斜約5度的細(xì)線的圖像。
圖37示出了通過(guò)對(duì)圖36的輸入圖像施加常規(guī)分類適應(yīng)處理而獲得的圖像。這里，分類處理由分類處理和適應(yīng)處理構(gòu)成，其中由分類調(diào)節(jié)處理根據(jù)數(shù)據(jù)的種類分類數(shù)據(jù)，并對(duì)每一類的數(shù)據(jù)進(jìn)行適應(yīng)處理。在適應(yīng)處理中，通過(guò)利用預(yù)定拍系數(shù)進(jìn)行映射，將例如低圖像質(zhì)量或標(biāo)準(zhǔn)圖像質(zhì)量圖像轉(zhuǎn)換成高圖像質(zhì)量圖像。
可以理解，在圖37所示的圖像中，細(xì)線的圖像與圖35中的原始圖像的細(xì)線不同。
圖38示出了由數(shù)據(jù)連續(xù)性檢測(cè)單元101從圖36中的實(shí)例所示的輸入圖像檢測(cè)細(xì)線區(qū)域的結(jié)果。在圖38中，白色區(qū)域表示細(xì)線區(qū)域，即其中排列由如圖14所示的弧形的區(qū)域。
圖39示出了從根據(jù)本發(fā)明的信號(hào)處理裝置4輸出的輸出圖像的實(shí)例，其以圖36所示的圖像為輸入圖像。如圖39所示，根據(jù)本發(fā)明的信號(hào)處理裝置4獲得了更接近圖35中的原始圖像的細(xì)線圖像的圖像。
圖40是描述利用根據(jù)本發(fā)明的信號(hào)處理裝置4處理信號(hào)的流程圖。
在步驟S101中，數(shù)據(jù)連續(xù)性檢測(cè)單元101執(zhí)行檢測(cè)連續(xù)性的處理。數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)包含在成為數(shù)據(jù)3的輸入圖像中的數(shù)據(jù)連續(xù)性，并將表示檢測(cè)的數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性信息提供給現(xiàn)實(shí)世界估計(jì)單元102和圖像生成單元103。
數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)對(duì)應(yīng)于現(xiàn)實(shí)世界的信號(hào)的連續(xù)性的數(shù)據(jù)的連續(xù)性。在步驟S101的處理中，由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性或者是包含在數(shù)據(jù)3中的現(xiàn)實(shí)世界1的圖像的連續(xù)性的一部分，或者是從現(xiàn)實(shí)世界1的信號(hào)的連續(xù)性變化的連續(xù)性。
數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)在預(yù)定維度方向上檢測(cè)具有恒定特征的區(qū)域，而檢測(cè)數(shù)據(jù)連續(xù)性。另外，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)檢測(cè)表示相同形狀的陣列的空間方向中的角度(梯度)而檢測(cè)數(shù)據(jù)連續(xù)性。
在后文中將描述在步驟S101中的連續(xù)性檢測(cè)處理的細(xì)節(jié)。
注意，可以將數(shù)據(jù)連續(xù)性信息用作表示數(shù)據(jù)3的特征的特征。
在步驟S102中，現(xiàn)實(shí)世界估計(jì)單元102執(zhí)行估計(jì)現(xiàn)實(shí)世界的處理。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元102根據(jù)輸入圖像和從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息，根據(jù)現(xiàn)實(shí)世界的信號(hào)。在例如步驟S102的處理中，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)預(yù)測(cè)模擬(描述)現(xiàn)實(shí)世界1的模型161，估計(jì)現(xiàn)實(shí)世界1的信號(hào)?，F(xiàn)實(shí)世界估計(jì)單元102將表示現(xiàn)實(shí)世界1的估計(jì)信號(hào)的現(xiàn)實(shí)世界估計(jì)信息提供給圖像生成單元103。
例如，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)預(yù)測(cè)線形對(duì)象的寬度估計(jì)現(xiàn)實(shí)世界1。另外，例如，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)預(yù)測(cè)表示線形對(duì)象的顏色的水平估計(jì)現(xiàn)實(shí)世界1的信號(hào)。
在后文中將描述在步驟S102中估計(jì)現(xiàn)實(shí)世界的處理細(xì)節(jié)。
注意，可以將現(xiàn)實(shí)世界估計(jì)信息用作表示數(shù)據(jù)3的特征的特征。
在步驟S103中，圖像生成單元103執(zhí)行圖像生成處理，并且所述處理結(jié)束。也就是說(shuō)，圖像生成單元103根據(jù)現(xiàn)實(shí)世界估計(jì)信息生成圖像，并輸出生成的圖像。或者，圖像生成單元103根據(jù)數(shù)據(jù)連續(xù)性信息和現(xiàn)實(shí)世界估計(jì)信息生成圖像，并輸出生成的圖像。
例如，在步驟S103的處理中，圖像生成單元103根據(jù)現(xiàn)實(shí)世界估計(jì)信息，積分模擬在空間方向中生成的現(xiàn)實(shí)世界的光信號(hào)的函數(shù)，從而生成比輸入圖像在空間方向上具有更高分辨率的圖像，并輸出生成的圖像。例如，圖像生成單元103根據(jù)現(xiàn)實(shí)世界估計(jì)信息，積分模擬在時(shí)間-空間方向中生成的現(xiàn)實(shí)世界的光信號(hào)的函數(shù)，從而生成比輸入圖像在時(shí)間方向和空間方向上具有更高分辨率的圖像，并輸出生成的圖像。在后文中將描述在步驟S103中的圖像生成處理中的細(xì)節(jié)。
從而，根據(jù)本發(fā)明的信號(hào)處理裝置4從數(shù)據(jù)3檢測(cè)數(shù)據(jù)連續(xù)性，并從檢測(cè)的數(shù)據(jù)連續(xù)性估計(jì)現(xiàn)實(shí)世界1。信號(hào)處理裝置4然后根據(jù)估計(jì)的現(xiàn)實(shí)世界1產(chǎn)生更近似地模擬現(xiàn)實(shí)世界1的信號(hào)。
如上所述，在執(zhí)行估計(jì)現(xiàn)實(shí)世界的信號(hào)的處理的情況中，可以獲得精確度和高精度處理結(jié)果。
另外，在投影具有第一維度的作為現(xiàn)實(shí)世界的信號(hào)的第一信號(hào)的情況中，檢測(cè)出對(duì)應(yīng)于現(xiàn)實(shí)世界的信號(hào)的丟失連續(xù)性的第二維度的第二信號(hào)的數(shù)據(jù)連續(xù)性，所述第二維度的維數(shù)比第一維數(shù)少，從其角已丟失了現(xiàn)實(shí)世界的信號(hào)連續(xù)性的一部分，并且通過(guò)根據(jù)檢測(cè)的數(shù)據(jù)連續(xù)性估計(jì)丟失的現(xiàn)實(shí)世界的信號(hào)連續(xù)性而估計(jì)第一信號(hào)，對(duì)于現(xiàn)實(shí)世界中的事件可以獲得精確和高精度的處理結(jié)果。
接著，將描述數(shù)據(jù)連續(xù)性檢測(cè)單元101的結(jié)構(gòu)細(xì)節(jié)。
圖41是示出數(shù)據(jù)連續(xù)性檢測(cè)單元101的結(jié)構(gòu)的方框圖。
一旦拍攝其為細(xì)線的對(duì)象的圖像，其結(jié)構(gòu)如圖41所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)包含在數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性，該連續(xù)性從其中為對(duì)象所具有的橫截面形狀相同的連續(xù)性產(chǎn)生。也就是說(shuō)，其結(jié)構(gòu)如圖41所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)包含在數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性，該連續(xù)性從其中在長(zhǎng)度方向上的任意位置，相對(duì)于垂直于長(zhǎng)度方向的方向中的位置變化，光的水平的變化相同的連續(xù)性產(chǎn)生，后一連續(xù)性為其為細(xì)線的現(xiàn)實(shí)世界1的圖像所具有。
尤其是，其結(jié)構(gòu)如圖41所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)通過(guò)用具有空間積分效應(yīng)的傳感器2拍攝細(xì)線的圖像而獲得的在數(shù)據(jù)3中的這樣的區(qū)域，在所述區(qū)域中，以對(duì)角偏離相鄰的方式排列具有預(yù)定長(zhǎng)度的多個(gè)弧形(半圓形)。
數(shù)據(jù)連續(xù)性檢測(cè)單元101選取除以下部分的圖像數(shù)據(jù)部分，所述沒(méi)有被選取的部分為，其中具有數(shù)據(jù)連續(xù)性的細(xì)線的圖像已經(jīng)被從其為數(shù)據(jù)3的輸入圖像投影(下文中，其中具有數(shù)據(jù)連續(xù)性的細(xì)線的圖像已經(jīng)被投影的圖像數(shù)據(jù)的部分也被稱為連續(xù)性分量，并且將其它部分稱為非連續(xù)性分量)，從選取的非連續(xù)性分量和輸入圖像檢測(cè)其中現(xiàn)實(shí)世界1的細(xì)線的圖像已經(jīng)被投影的像素，并檢測(cè)由其中現(xiàn)實(shí)世界1的細(xì)線的圖像已經(jīng)被投影的像素構(gòu)成的輸入圖像的區(qū)域。
非連續(xù)性分量選取單元201從輸入圖像選取非連續(xù)性分量，并將表示選取的非連續(xù)性分量的非連續(xù)性分量信息與輸入圖像一起提供給峰值檢測(cè)單元202和單調(diào)增加/減少檢測(cè)單元203。
例如，如圖42所示，將其中在具有近似恒定的光水平的背景上存在細(xì)線的現(xiàn)實(shí)世界1的圖像投影到數(shù)據(jù)3中的情況中，非連續(xù)性分量選取單元201通過(guò)模擬在其為數(shù)據(jù)3的輸入圖像中的背景，而在平面中選取其為背景的非連續(xù)性分量，如圖43所示。在圖43中，實(shí)線表示數(shù)據(jù)3的像素值，虛線示出了由模擬背景的平面表示的近似值。在圖43中，A表示其中細(xì)線的圖像已經(jīng)被投影的像素的像素值，PL表示模擬背景的平面。
這樣，在具有數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù)的部分上的多個(gè)像素的像素值對(duì)于非連續(xù)性分量是不連續(xù)的。
非連續(xù)性分量選取單元201檢測(cè)其為數(shù)據(jù)3的圖像數(shù)據(jù)的多個(gè)像素的像素值的非連續(xù)部分，在所述非連續(xù)部分中，其為現(xiàn)實(shí)世界1的光信號(hào)的圖像已經(jīng)被投影，并且現(xiàn)實(shí)世界1的圖像的連續(xù)性的部分已經(jīng)被丟失。
下文將描述用非連續(xù)性分量選取單元201選取非連續(xù)性分量的處理的細(xì)節(jié)。
峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203根據(jù)從非連續(xù)性分量選取單元201提供的非連續(xù)性分量信息，從輸入圖像中除去非連續(xù)性分量。例如，峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203通過(guò)將只投影了背景圖像的輸入圖像的像素的像素值設(shè)為0，而從輸入圖像中除去非連續(xù)性分量。另外，例如，峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203通過(guò)從輸入圖像的每個(gè)像素的像素值減去由平面PL模擬的值，而從輸入圖像中除去非連續(xù)性分量。
由于可以從輸入圖像中除去背景，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204可以只處理投影了細(xì)線的圖像數(shù)據(jù)的部分，從而進(jìn)一步簡(jiǎn)化了峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204的處理。
注意，非連續(xù)性分量選取單元201可以將其中已經(jīng)從輸入圖像除去非連續(xù)性分量的圖像數(shù)據(jù)提供給峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203。
在下述的處理的實(shí)例中，對(duì)象為其中已經(jīng)從輸入圖像除去非連續(xù)性分量的圖像數(shù)據(jù)，即只由包含連續(xù)性分量的像素構(gòu)成的圖像數(shù)據(jù)。
現(xiàn)在，將描述其上被投影了細(xì)線圖像的圖像數(shù)據(jù)，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204將檢測(cè)所述圖像數(shù)據(jù)。
在沒(méi)有光學(xué)LPF的情況中，可以認(rèn)為其上投影了如圖42所示的細(xì)線圖像的圖像數(shù)據(jù)在空間方向Y中的截面形狀(對(duì)于在空間方向中的位置的變化，像素值的變化)為如圖44所示的梯形，或如圖45所示的三角形。然而，普通的圖像傳感器具有獲得通過(guò)光學(xué)LPF的圖像的光學(xué)LPF，并將獲得的圖像投影到數(shù)據(jù)3上，因此，實(shí)際中，在空間方向Y中具有細(xì)線的圖像數(shù)據(jù)的截面形狀為類似高斯分布的形狀，如圖46所示。
峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)由其上已經(jīng)投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，其中相同的截面形狀(對(duì)于在空間方向中的位置的變化，像素值的變化)以恒定間隔垂直排列在屏幕中，并且，所述單元還通過(guò)檢測(cè)對(duì)應(yīng)于現(xiàn)實(shí)世界1的細(xì)線的長(zhǎng)度方向的區(qū)域連接，檢測(cè)由其上投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，所述區(qū)域具有數(shù)據(jù)連續(xù)性。也就是說(shuō)，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)其中在輸入圖像中的單個(gè)垂直行像素上形成的弧形(半圓形)的區(qū)域，并確定檢測(cè)的區(qū)域在水平方向上是否相鄰，從而檢測(cè)形成弧形的連接區(qū)域，所述區(qū)域?qū)?yīng)于作為現(xiàn)實(shí)世界1的信號(hào)的細(xì)線圖像的長(zhǎng)度方向。
另外，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)由其上投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，其中相同的截面形狀以恒定間隔水平排列在屏幕中，并且，所述單元還通過(guò)檢測(cè)對(duì)應(yīng)于現(xiàn)實(shí)世界1的細(xì)線的長(zhǎng)度方向的檢測(cè)區(qū)域的連接，檢測(cè)由其上投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，所述區(qū)域具有數(shù)據(jù)連續(xù)性。也就是說(shuō)，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)其中在輸入圖像中的單個(gè)水平行像素上形成的弧形的區(qū)域，并確定檢測(cè)的區(qū)域在垂直方向上是否相鄰，從而檢測(cè)形成弧形的連接區(qū)域，所述區(qū)域?qū)?yīng)于作為現(xiàn)實(shí)世界1的信號(hào)的細(xì)線圖像的長(zhǎng)度方向。
首先，將描述用于檢測(cè)其上投影了細(xì)線圖像的像素的區(qū)域的處理，在所述區(qū)域中，相同的弧形以恒定的間隔垂直排列在屏幕中。
峰值檢測(cè)單元202檢測(cè)像素值比周圍像素大的像素，即峰值，并將表示峰值位置的峰值信息提供給單調(diào)增/減檢測(cè)單元203。在對(duì)象為在屏幕中排列成單個(gè)垂直行的像素的情況中，峰值檢測(cè)單元202比較像素位置在屏幕上方的像素值與像素位置在屏幕下方的像素值，并檢測(cè)具有最大像素值的像素作為峰值。峰值檢測(cè)單元202從單個(gè)圖像例如從單幀圖像檢測(cè)一個(gè)或多個(gè)峰值。
單個(gè)屏幕包括幀或場(chǎng)。這在下面的描述中也成立。
例如，峰值檢測(cè)單元202從還沒(méi)有被取為關(guān)注像素的一幀圖像的像素中選擇關(guān)注像素，比較關(guān)注像素的像素值與在關(guān)注像素上方的像素的像素值，比較關(guān)注像素的像素值與在關(guān)注像素下方的像素的像素值，檢測(cè)像素值大于其上方像素的像素值并大于其下方像素的像素值的關(guān)注像素，并取該檢測(cè)到的關(guān)注像素作為峰值。峰值檢測(cè)單元將表示檢測(cè)到的峰值的峰值信息提供給單調(diào)增/減檢測(cè)單元203。
存在峰值檢測(cè)單元202未檢測(cè)到峰值的情況。例如，在圖像的所有像素的像素值相同的情況中，或像素值在一個(gè)或兩個(gè)方向減少的情況中，檢測(cè)不到峰值。在這些情況中，在圖像數(shù)據(jù)上沒(méi)有投影細(xì)線圖像。
單調(diào)增/減檢測(cè)單元203根據(jù)從峰值檢測(cè)單元202提供的表示峰值位置的峰值信息檢測(cè)關(guān)于由峰值檢測(cè)單元202檢測(cè)的峰值的備選區(qū)域，所述區(qū)域由其上投影了細(xì)線圖像的像素構(gòu)成，其中所述像素垂直排列成單行，并且，所示單元203將表示檢測(cè)的區(qū)域的區(qū)域信息與峰值信息一起提供給連續(xù)性檢測(cè)單元204。
尤其是，單調(diào)增/減檢測(cè)單元203檢測(cè)由具有從峰值像素值單調(diào)減小的像素值的像素構(gòu)成的區(qū)域，作為由其上投影了細(xì)線圖像的像素構(gòu)成的備選區(qū)域。單調(diào)減小表示，在長(zhǎng)度方向上離峰值較遠(yuǎn)的像素的像素值比離峰值較近的像素的像素值小。
另外，單調(diào)增/減檢測(cè)單元203檢測(cè)由具有從峰值像素值單調(diào)增大的像素值的像素構(gòu)成的區(qū)域，作為由其上投影了細(xì)線圖像的像素構(gòu)成的備選區(qū)域。單調(diào)增大表示，在長(zhǎng)度方向上離峰值較遠(yuǎn)的像素的像素值比離峰值較近的像素的像素值大。
下面，對(duì)像素值單調(diào)增大的像素的區(qū)域的處理與對(duì)像素值單調(diào)減小的像素的區(qū)域的處理相同，因此省略對(duì)其的描述。另外，在關(guān)于如下的處理的描述中，其中檢測(cè)由其上投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，其中相同的弧形以恒定間隔水平排列在屏幕中，關(guān)于像素值單調(diào)增大的像素的區(qū)域的處理與關(guān)于像素值單調(diào)減小的像素的區(qū)域的處理相同，從而省略對(duì)其的描述。
例如，單調(diào)增/減檢測(cè)單元203檢測(cè)經(jīng)過(guò)峰值的垂直行中的每個(gè)像素的像素值、到上方像素的像素值的差、以及到下方像素的像素值的差。單調(diào)增/減檢測(cè)單元203然后通過(guò)檢測(cè)其中差的符號(hào)改變的像素，而檢測(cè)其中像素值單調(diào)減小的區(qū)域。
另外，單調(diào)增/減檢測(cè)單元203從其中像素值單調(diào)減小的區(qū)域利用峰值的像素值的符號(hào)作為參考，檢測(cè)由具有與峰值像素值的正負(fù)相同的像素值的像素構(gòu)成的區(qū)域作為由其上投影了細(xì)線圖像的像素構(gòu)成的備選區(qū)域。
例如，單調(diào)增/減檢測(cè)單元203比較每個(gè)像素的像素值的符號(hào)與上方像素的像素值的符號(hào)以及下方像素的像素值的符號(hào)，并檢測(cè)像素值的符號(hào)改變的像素，從而檢測(cè)像素值符號(hào)相同的像素區(qū)域作為其中像素值單調(diào)減小的區(qū)域中的峰值。
從而，單調(diào)增/減檢測(cè)單元203檢測(cè)由在垂直方向排列的像素形成的區(qū)域，其中像素值關(guān)于峰值單調(diào)減小，并以相同符號(hào)的像素值作為峰值。
圖47描述了峰值檢測(cè)和單調(diào)增/減區(qū)域檢測(cè)的處理，用于從相對(duì)于在空間方向Y中的位置的像素值，檢測(cè)其中投影了細(xì)線圖像的像素的區(qū)域。
在圖47到圖49中，P表示峰值。在其結(jié)構(gòu)在圖41中示出的數(shù)據(jù)連續(xù)性檢測(cè)單元101的說(shuō)明中，P表示峰值。
峰值檢測(cè)單元202比較在空間方向Y上的像素的像素值與相鄰于其的像素的像素值，并通過(guò)檢測(cè)在空間方向Y上像素值大于其相鄰兩個(gè)像素的像素值的像素，而檢測(cè)峰值P。
由峰值P和在空間方向Y上的在峰值P兩側(cè)的像素構(gòu)成的區(qū)域是單調(diào)減小的區(qū)域，其中在空間方向Y中的兩側(cè)像素的像素值相對(duì)于峰值P的像素值單調(diào)減小。在圖47中，由A標(biāo)出的箭頭和由B標(biāo)出的箭頭表示在峰值P的兩側(cè)的單調(diào)減小區(qū)域。
單調(diào)增/減檢測(cè)單元203獲得每個(gè)像素的像素值與在空間方向Y上相鄰的像素的像素值的差，并檢測(cè)其中差的符號(hào)改變的像素。單調(diào)增/減檢測(cè)單元203取在其上差的符號(hào)改變的檢測(cè)像素與(在峰值P側(cè))緊鄰其的像素之間的邊界作為由其中投影了細(xì)線圖像的像素構(gòu)成的細(xì)線區(qū)域的邊界。
在圖47中，由C表示細(xì)線區(qū)域的邊界，其為其上的差的符號(hào)改變的像素與(在峰值P側(cè))緊鄰其的像素之間的邊界。
另外，單調(diào)增/減檢測(cè)單元203比較每個(gè)像素的像素值與在空間方向Y上與其相鄰的像素的像素值，并檢測(cè)其中像素值的符號(hào)在單調(diào)減小區(qū)域改變的像素。單調(diào)增/減檢測(cè)單元203取在其上像素值的符號(hào)改變的檢測(cè)像素與(在峰值P側(cè))緊鄰其的像素之間的邊界作為細(xì)線區(qū)域的邊界。
在圖47中，由P表示細(xì)線區(qū)域的邊界，其為其上的像素值的符號(hào)改變的像素與(在峰值P側(cè))緊鄰其的像素之間的邊界。
如圖47所示，由其中投影了細(xì)線圖像的像素構(gòu)成的細(xì)線區(qū)域F為在細(xì)線區(qū)域邊界C和細(xì)線區(qū)域邊界D之間的區(qū)域。
單調(diào)增/減檢測(cè)單元203從由這種單調(diào)增/減區(qū)域構(gòu)成的細(xì)線區(qū)域F獲得長(zhǎng)于預(yù)定閾值的細(xì)線區(qū)域F，即具有比預(yù)定閾值更多的像素個(gè)數(shù)的細(xì)線區(qū)域F。例如，在閾值為3的情況下，單調(diào)增/減檢測(cè)單元203檢測(cè)出包括4個(gè)或更多像素的細(xì)線區(qū)域F。
另外，單調(diào)增/減檢測(cè)單元203從檢測(cè)的細(xì)線區(qū)域F將峰值P的像素值、峰值P的右側(cè)的像素的像素值、以及峰值P的左側(cè)的像素的像素值中的每個(gè)與閾值比較，檢測(cè)具有峰值P的細(xì)線像素區(qū)域F，其中峰值P的像素值超過(guò)閾值，以及其中峰值P右側(cè)的像素的像素值為閾值或更小、以及其中峰值P左側(cè)的像素的像素值為閾值或更小，并取檢測(cè)的細(xì)線區(qū)域F作為由包含細(xì)線圖像的分量的像素構(gòu)成的備選區(qū)域。
換句話說(shuō)，確定出，這樣的具有峰值P的細(xì)線區(qū)域F不包括細(xì)線圖像的分量，其中峰值P的像素值為閾值或更小，或其中峰值P右側(cè)的像素的像素值超過(guò)閾值，或其中峰值P左側(cè)的像素的像素值超過(guò)閾值，并將該區(qū)域從由包括細(xì)線圖像的分量的像素構(gòu)成的備選區(qū)域中除去。
也就是說(shuō)，如圖48所示，單調(diào)增/減檢測(cè)單元203比較峰值P的像素值與閾值，并比較在空間方向X(由虛線AA’表示的方向)中相鄰于峰值P的像素的像素值與閾值，從而檢測(cè)峰值P所屬的細(xì)線區(qū)域F，其中峰值P的像素值超過(guò)閾值，以及其中在空間方向X上相鄰于其的像素的像素值等于或小于閾值。
圖49示出了在由圖48中的AA’表示的空間方向X中排列的像素的像素值。這樣的峰值P所屬的細(xì)線區(qū)域F包括細(xì)線分量，在所述細(xì)線區(qū)域中，峰值P的像素值超過(guò)閾值Ths，以及其中在空間方向X上相鄰于其的像素的像素值等于或小于閾值Ths。
注意，可以這樣設(shè)置，其中單調(diào)增/減檢測(cè)單元203取背景像素值為參考，比較峰值P的像素值和背景的像素值之差與閾值，并且還比較在空間方向上相鄰于峰值P的像素的像素值和背景的像素值之差與閾值，從而檢測(cè)峰值P所屬的細(xì)線區(qū)域F，其中峰值P的像素值和背景的像素值之差超過(guò)閾值，以及其中在空間方向X上相鄰的像素的像素值和背景的像素值之差等于或小于閾值。
單調(diào)增/減檢測(cè)單元203將表示如下區(qū)域的單調(diào)增/減區(qū)域信息輸出給連續(xù)性檢測(cè)單元204，所述區(qū)域由這樣的像素構(gòu)成，所述像素的像素值以峰值P作為參考單調(diào)減小，并且像素值的符號(hào)與峰值P的符號(hào)相同，其中峰值P超過(guò)閾值，并且其中峰值P右側(cè)的像素的像素值等于或低于閾值，以及峰值P左側(cè)的像素的像素值等于或低于閾值。
在檢測(cè)這樣的像素的區(qū)域的情況下，所述像素在屏幕的垂直方向中排列成單行，在所述屏幕上已經(jīng)投影了細(xì)線的圖像，屬于由單調(diào)增/減區(qū)域信息表示的區(qū)域的像素被排列在垂直方向上，并包括其上投影了細(xì)線圖像的像素。也就是說(shuō)，由單調(diào)增/減區(qū)域信息表示的區(qū)域包括由在屏幕的垂直方向上排列成單行的像素形成的區(qū)域，在所述屏幕中已經(jīng)投影了細(xì)線的圖像。
這樣，頂點(diǎn)檢測(cè)單元202和單調(diào)增/減檢測(cè)等于203檢測(cè)由其上投影了細(xì)線的圖像的像素構(gòu)成的連續(xù)性區(qū)域，利用這樣的性質(zhì)，對(duì)于其中被投影了細(xì)線的圖像的像素，其像素值在空間方向Y上的變化近似于高斯分布。
在由在垂直方向上排列的像素構(gòu)成的區(qū)域中，其由從單調(diào)增/減檢測(cè)單元203提供的單調(diào)增/減區(qū)域信息表示，連續(xù)性檢測(cè)單元204檢測(cè)包括在水平方向上相鄰的像素的區(qū)域，即具有類似像素值變化并在垂直方向上重復(fù)的區(qū)域作為連續(xù)區(qū)域，并輸出峰值信息和表示檢測(cè)的連續(xù)區(qū)域的數(shù)據(jù)連續(xù)性信息。數(shù)據(jù)連續(xù)性信息包括單調(diào)增/減區(qū)域信息、表示區(qū)域的連接的信息等。
對(duì)于已經(jīng)被投影細(xì)線的像素，弧形以相鄰的方式以不變的間隔對(duì)準(zhǔn)，從而檢測(cè)的連續(xù)區(qū)域包括其中已經(jīng)被投影細(xì)線的像素。
檢測(cè)的連續(xù)區(qū)域包括這樣的像素，其中弧形相鄰地以恒定間隔對(duì)準(zhǔn)，所述像素已經(jīng)被投影細(xì)線，從而將檢測(cè)的連續(xù)區(qū)域作為連續(xù)性區(qū)域，并且連續(xù)性檢測(cè)單元204輸出表示檢測(cè)的連續(xù)區(qū)域的數(shù)據(jù)連續(xù)性信息。
也就是說(shuō)，連續(xù)性檢測(cè)單元204使用通過(guò)成像細(xì)線而獲得的數(shù)據(jù)3中的連續(xù)性，其中弧形相鄰地以恒定間隔對(duì)準(zhǔn)，所述連續(xù)性由于現(xiàn)實(shí)世界1中的細(xì)線的圖像的連續(xù)性而被產(chǎn)生，所述連續(xù)性的實(shí)質(zhì)為在長(zhǎng)度方向上的連續(xù)，從而進(jìn)一步縮小利用峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203檢測(cè)的備選區(qū)域。
圖50描述了檢測(cè)單調(diào)增/減區(qū)域的連續(xù)性的處理。
如圖50所示，在由在屏幕的垂直方向上對(duì)準(zhǔn)為單行的像素形成的細(xì)線區(qū)域F包括在水平方向中相鄰的像素的情況下，連續(xù)性檢測(cè)單元204確定在兩個(gè)單調(diào)增/減區(qū)域之間存在連續(xù)性，并且在不包括在水平方向中相鄰的像素的情況下，確定在兩個(gè)細(xì)線區(qū)域F之間不存在連續(xù)性。例如，在包括在水平方向中相鄰于細(xì)線區(qū)域F0的像素的像素的情況下，確定由在屏幕的垂直方向中對(duì)準(zhǔn)為單行的像素構(gòu)成的細(xì)線區(qū)域F-1與由在屏幕的垂直方向上對(duì)準(zhǔn)為單行的像素構(gòu)成的細(xì)線區(qū)域F0是連續(xù)的。在包括在水平方向中相鄰于細(xì)線區(qū)域F1的像素的像素的情況下，確定由在屏幕的垂直方向中對(duì)準(zhǔn)為單行的像素構(gòu)成的細(xì)線區(qū)域F0與由在屏幕的垂直方向上對(duì)準(zhǔn)為單行的像素構(gòu)成的細(xì)線區(qū)域F1是連續(xù)的。
這樣，通過(guò)峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)由在屏幕的垂直方向上對(duì)準(zhǔn)為單行的像素構(gòu)成的區(qū)域，在所述屏幕上已經(jīng)被投影細(xì)線圖像。
如上所述，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204檢測(cè)由在屏幕的垂直方向上對(duì)準(zhǔn)為單行的像素構(gòu)成的區(qū)域，在所述屏幕上已經(jīng)被投影細(xì)線圖像，并且還檢測(cè)在屏幕的水平方向上對(duì)準(zhǔn)為單行的像素構(gòu)成的區(qū)域，在所述屏幕上已經(jīng)被投影細(xì)線圖像。
注意，處理順序并不約束本發(fā)明，并且當(dāng)然可以并行執(zhí)行。
也就是說(shuō)，峰值檢測(cè)單元202對(duì)于在屏幕中的水平方向上對(duì)準(zhǔn)為單行的像素檢測(cè)作為峰值的像素，其具有比在屏幕上位于左側(cè)和右側(cè)的像素的像素值更大的像素值，并且，所示單元202將表示檢測(cè)的峰值的位置的峰值信息提供給單調(diào)增/減檢測(cè)單元203。峰值檢測(cè)單元202從例如一幀圖像的一個(gè)圖像中檢測(cè)一個(gè)或多個(gè)峰值。
例如，峰值檢測(cè)單元202從還沒(méi)有被取為關(guān)注像素的一幀圖像的像素中選擇關(guān)注像素，比較關(guān)注像素的像素值與在關(guān)注像素左側(cè)的像素的像素值，比較關(guān)注像素的像素值與在關(guān)注像素右側(cè)的像素的像素值，檢測(cè)像素值大于其左側(cè)像素的像素值并大于其右側(cè)像素的像素值的關(guān)注像素，并取該檢測(cè)到的關(guān)注像素作為峰值。峰值檢測(cè)單元202將表示檢測(cè)到的峰值的峰值信息提供給單調(diào)增/減檢測(cè)單元203。
存在峰值檢測(cè)單元202未檢測(cè)到峰值的情況。
單調(diào)增/減檢測(cè)單元203檢測(cè)相對(duì)于由峰值檢測(cè)單元202檢測(cè)的峰值的備選區(qū)域，所述區(qū)域由在水平方向中對(duì)準(zhǔn)為單行的像素構(gòu)成，并且其中已經(jīng)被投影細(xì)線圖像，以及，所述單元203將表示檢測(cè)區(qū)域的單調(diào)增/減區(qū)域信息與峰值信息一起提供給連續(xù)性檢測(cè)單元204。
尤其是，單調(diào)增/減檢測(cè)單元203檢測(cè)由具有以峰值像素值為參考單調(diào)減小的像素值的像素構(gòu)成的區(qū)域，作為由其上投影了細(xì)線圖像的像素構(gòu)成的備選區(qū)域。
例如，對(duì)于相對(duì)峰值的在水平方向的單行中的每個(gè)像素，單調(diào)增/減檢測(cè)單元203獲得每個(gè)像素的像素值、與左側(cè)像素的像素值之差、以及與右側(cè)像素的像素值之差。單調(diào)增/減檢測(cè)單元203然后通過(guò)檢測(cè)其中差的符號(hào)改變的像素，而檢測(cè)其中像素值單調(diào)減小的區(qū)域。
另外，單調(diào)增/減檢測(cè)單元以峰值的像素值的符號(hào)為參考，檢測(cè)由具有與峰值像素值的符號(hào)相同的像素值的像素構(gòu)成的區(qū)域作為由其中已經(jīng)被投影細(xì)線圖像的像素構(gòu)成的備選區(qū)域。
例如，單調(diào)增/減檢測(cè)單元203比較每個(gè)像素的像素值的符號(hào)與左側(cè)的像素的像素值的符號(hào)或右側(cè)的像素的像素值的符號(hào)，并檢測(cè)像素值的符號(hào)改變的像素，從而從像素值單調(diào)減小的區(qū)域檢測(cè)出由具有與峰值符號(hào)相同的像素值的像素構(gòu)成的區(qū)域。
這樣，單調(diào)增/減檢測(cè)單元203檢測(cè)在水平方向上對(duì)準(zhǔn)、并具有與峰值的符號(hào)相同的像素值的像素構(gòu)成的區(qū)域，其中所述像素值相對(duì)于峰值單調(diào)減小。
從由這種單調(diào)增/減區(qū)域構(gòu)成的細(xì)線區(qū)域，單調(diào)增/減檢測(cè)單元203獲得比預(yù)先設(shè)置的閾值長(zhǎng)的細(xì)線區(qū)域，即比閾值具有更多像素個(gè)數(shù)的細(xì)線區(qū)域。
另外，從如此檢測(cè)的細(xì)線區(qū)域，單調(diào)增/減檢測(cè)單元203比較峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值中的每一個(gè)與閾值，檢測(cè)這樣的包括峰值的細(xì)線區(qū)域，其中峰值的像素值超過(guò)閾值，峰值上方的像素的像素值在閾值范圍內(nèi)、以及峰值下方的像素的像素值在閾值范圍內(nèi)，并取檢測(cè)的細(xì)線區(qū)域作為由包含細(xì)線圖像的分量的像素構(gòu)成的備選區(qū)域。
換句話說(shuō)，確定出，這樣的具有峰值的細(xì)線區(qū)域不包括細(xì)線圖像的分量，其中峰值的像素值在閾值范圍內(nèi)，或峰值上方的像素的像素值超過(guò)閾值，或峰值下方的像素的像素值超過(guò)閾值，并將該區(qū)域從由包括細(xì)線圖像的分量的像素構(gòu)成的備選區(qū)域中除去。
注意，可以將單調(diào)增/減檢測(cè)單元203設(shè)置為取背景像素值為參考，比較像素的像素值和背景的像素值之差與閾值，并且還比較背景的像素值和在垂直方向上相鄰于峰值的像素的像素值之差與閾值，從而取這樣的檢測(cè)的細(xì)線區(qū)域作為由包括細(xì)線圖像分量的像素構(gòu)成的備選區(qū)域，其中峰值的像素值和背景的像素值之差超過(guò)閾值，以及背景的像素值和在垂直方向上相鄰的像素的像素值之差在閾值范圍內(nèi)。
單調(diào)增/減檢測(cè)單元203將表示如下區(qū)域的單調(diào)增/減區(qū)域信息提供給連續(xù)性檢測(cè)單元204，所述區(qū)域由這樣的像素構(gòu)成，所述像素的像素值的符號(hào)與峰值的符號(hào)相同，并以峰值P作為參考單調(diào)減小，其中峰值超過(guò)閾值，并且峰值右側(cè)的像素的像素值在閾值范圍內(nèi)，以及峰值左側(cè)的像素的像素值在閾值范圍內(nèi)。
在檢測(cè)由這樣的像素構(gòu)成的區(qū)域的情況下，所述像素在屏幕的水平方向中對(duì)準(zhǔn)為單行，在所述屏幕上已經(jīng)投影了細(xì)線的圖像，屬于由單調(diào)增/減區(qū)域信息表示的區(qū)域的像素包括被對(duì)準(zhǔn)在水平方向上的像素，其上投影了細(xì)線圖像的像素。也就是說(shuō)，由單調(diào)增/減區(qū)域信息表示的區(qū)域包括由在屏幕的水平方向上對(duì)準(zhǔn)成單行的像素形成的區(qū)域，在所述屏幕中已經(jīng)投影了細(xì)線的圖像。
在由在水平方向上對(duì)準(zhǔn)的像素構(gòu)成的區(qū)域中，其由從單調(diào)增/減檢測(cè)單元203提供的單調(diào)增/減區(qū)域信息表示，連續(xù)性檢測(cè)單元204檢測(cè)包括在垂直方向上相鄰的像素的區(qū)域，即具有類似像素值變化并在水平方向上重復(fù)的區(qū)域作為連續(xù)區(qū)域，并輸出表示峰值信息和檢測(cè)的連續(xù)區(qū)域的數(shù)據(jù)連續(xù)性信息。數(shù)據(jù)連續(xù)性信息包括表示區(qū)域的連接的信息等。
對(duì)于已經(jīng)被投影細(xì)線的像素，弧形以相鄰的方式以不變的間隔對(duì)準(zhǔn)，從而檢測(cè)的連續(xù)區(qū)域包括其中已經(jīng)被投影細(xì)線的像素。
檢測(cè)的連續(xù)區(qū)域包括這樣的像素，其中弧形以恒定間隔排列，所述像素已經(jīng)被投影細(xì)線，從而將檢測(cè)的連續(xù)區(qū)域作為連續(xù)性區(qū)域，并且連續(xù)性檢測(cè)單元204輸出表示檢測(cè)的連續(xù)區(qū)域的數(shù)據(jù)連續(xù)性信息。
也就是說(shuō)，連續(xù)性檢測(cè)單元204使用通過(guò)成像細(xì)線而獲得的數(shù)據(jù)3中的連續(xù)性，其中弧形相鄰地以恒定間隔排列，所述連續(xù)性從現(xiàn)實(shí)世界1中的細(xì)線的圖像的連續(xù)性而產(chǎn)生，所述連續(xù)性為在長(zhǎng)度方向上的連續(xù)，從而進(jìn)一步縮小利用峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203檢測(cè)的備選區(qū)域。
圖51示出了其中通過(guò)平面模擬選取連續(xù)性分量的圖像的實(shí)例。
圖52示出了檢測(cè)圖51中的圖像的峰值、并檢測(cè)單調(diào)減小區(qū)域的結(jié)果。在圖52中，白色表示的部分為檢測(cè)的區(qū)域。
圖53示出了其中通過(guò)檢測(cè)圖52中的圖像的相鄰區(qū)域的連續(xù)性而檢測(cè)連續(xù)性的區(qū)域。在圖53中，示出為白色的部分是已經(jīng)被確定連續(xù)性的區(qū)域?？梢岳斫?，對(duì)連續(xù)性的檢測(cè)還識(shí)別了所述區(qū)域。
圖54示出了如圖53所示的區(qū)域的像素值，即已經(jīng)被檢測(cè)連續(xù)性的區(qū)域的像素值。
從而，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以檢測(cè)在作為輸入圖像的數(shù)據(jù)3中包含的連續(xù)性。也就是說(shuō)，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以檢測(cè)包括在數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性，所述數(shù)據(jù)連續(xù)性由現(xiàn)實(shí)世界1的圖像產(chǎn)生，所述圖像為被投影到數(shù)據(jù)3上的細(xì)線。數(shù)據(jù)連續(xù)性檢測(cè)單元101從數(shù)據(jù)3檢測(cè)由這樣的像素構(gòu)成的區(qū)域，在所述像素中被投影有為細(xì)線的現(xiàn)實(shí)世界的圖像。
圖55示出了利用數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)具有連續(xù)性的區(qū)域的其它處理的實(shí)例，其中被投影有細(xì)線圖像。如圖55所示，數(shù)據(jù)連續(xù)性檢測(cè)單元101每個(gè)像素與相鄰像素的像素值差的絕對(duì)值。對(duì)應(yīng)像素放置計(jì)算出的差的絕對(duì)值。例如，在例如如圖55所示的情況中，其中存在具有各個(gè)像素值P0、P1和P2的對(duì)準(zhǔn)的像素，數(shù)據(jù)連續(xù)性檢測(cè)單元101計(jì)算差d0＝P0-P1和差d1＝P1-P2。另外，數(shù)據(jù)連續(xù)性檢測(cè)單元101計(jì)算差d0和差d1的絕對(duì)值。
在包含在像素值P0、P1和P2中的非連續(xù)性分量相同的情況下，只將對(duì)應(yīng)于細(xì)線分量的值設(shè)置為差d0和差d1。
因此，對(duì)于對(duì)應(yīng)于像素放置的差的絕對(duì)值，在相鄰差值相同的情況下，數(shù)據(jù)連續(xù)性檢測(cè)單元101確定，對(duì)應(yīng)于兩個(gè)差的絕對(duì)值的像素(在兩個(gè)差的絕對(duì)值之間的像素)包含細(xì)線分量。另外，對(duì)于根據(jù)像素放置的差的絕對(duì)值，在相鄰差值相同但是差的絕對(duì)值小于預(yù)定閾值的情況下，數(shù)據(jù)連續(xù)性檢測(cè)單元確定，對(duì)應(yīng)于兩個(gè)差的絕對(duì)值的像素(在兩個(gè)差的絕對(duì)值之間的像素)不包含細(xì)線的分量。
數(shù)據(jù)連續(xù)性檢測(cè)單元101還可以利用例如這樣的簡(jiǎn)單方法檢測(cè)細(xì)線。
圖56是描述連續(xù)性檢測(cè)處理的流程圖。
在步驟S201，非連續(xù)性分量選取單元201從輸入圖像選取非連續(xù)性分量，所述分量是除了已經(jīng)被投影細(xì)線的部分的部分。非連續(xù)性分量選取單元201將表示選取的非連續(xù)性分量的非連續(xù)性分量信息與輸入圖像一起提供給峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203。下面將描述用于選取非連續(xù)性分量的處理的細(xì)節(jié)。
在步驟S202，峰值檢測(cè)單元202根據(jù)從非連續(xù)性分量選取單元201提供的非連續(xù)性分量信息，從輸入圖像除去非連續(xù)性分量，從而只留下輸入圖像中的包括連續(xù)性分量的像素。另外，在步驟S202，峰值檢測(cè)單元202檢測(cè)峰值。
也就是說(shuō)，在以屏幕的垂直方向作為參考而實(shí)施處理的情況中，對(duì)于包含連續(xù)性分量的像素，峰值檢測(cè)單元202比較每個(gè)像素的像素值與上方和下方的像素的像素值，并確定像素值比上方像素的像素值和下方像素的像素值都大的像素，從而檢測(cè)峰值。另外，在步驟S202中，在以屏幕的水平方向?yàn)閰⒖级鴮?shí)施處理的情況中，對(duì)于包含連續(xù)性分量的像素，峰值檢測(cè)單元202比較每個(gè)像素的像素值與右側(cè)和左側(cè)的像素的像素值，并確定像素值比右側(cè)像素的像素值和左側(cè)像素的像素值都大的像素，從而檢測(cè)峰值。
峰值檢測(cè)單元202將表示檢測(cè)的峰值的峰值信息提供給單調(diào)增/減檢測(cè)單元203。
在步驟S203，單調(diào)增/減檢測(cè)單元203根據(jù)從非連續(xù)性分量選取單元201提供的非連續(xù)性分量信息，從輸入圖像除去非連續(xù)性分量，從而只留下輸入圖像中的包括連續(xù)性分量的像素。另外，在步驟S203，單調(diào)增/減檢測(cè)單元203根據(jù)從峰值檢測(cè)單元202提供的表示峰值位置的峰值信息，通過(guò)檢測(cè)相對(duì)于峰值的單調(diào)增/減，檢測(cè)由具有數(shù)據(jù)連續(xù)性的像素構(gòu)成的區(qū)域。
在以屏幕的垂直方向作為參考而實(shí)施處理的情況中，單調(diào)增/減檢測(cè)單元203根據(jù)峰值的像素值和相對(duì)于峰值垂直對(duì)準(zhǔn)的一行像素的像素值，檢測(cè)由垂直對(duì)準(zhǔn)的一行像素構(gòu)成的單調(diào)增/減，在所述像素中已經(jīng)被投影單個(gè)信息圖像，從而檢測(cè)由具有數(shù)據(jù)連續(xù)性的像素構(gòu)成的區(qū)域。也就是說(shuō)，在步驟S203中，在以屏幕的垂直方向作為參考而實(shí)施處理的情況中，單調(diào)增/減檢測(cè)單元203相關(guān)于峰值和相對(duì)于峰值垂直對(duì)準(zhǔn)的一行像素，獲得每個(gè)像素的像素值與上方和下方的像素的像素值之差，從而檢測(cè)差的符號(hào)改變的像素。另外，相關(guān)于峰值和相對(duì)于峰值垂直對(duì)準(zhǔn)的一行像素，單調(diào)增/減檢測(cè)單元203比較每個(gè)像素的像素值的符號(hào)與上方或下方的像素的像素值的符號(hào)，從而檢測(cè)像素值的符號(hào)改變的像素。另外，單調(diào)增/減檢測(cè)單元203比較峰值的像素值、峰值右側(cè)和左側(cè)的像素的像素值與閾值，并檢測(cè)由其中峰值的像素值超過(guò)閾值、并且其中峰值右側(cè)和左側(cè)的像素的像素值在閾值范圍之內(nèi)的像素構(gòu)成的區(qū)域。
單調(diào)增/減檢測(cè)單元203取通過(guò)這樣檢測(cè)的區(qū)域作為單調(diào)增/減區(qū)域，并將表示單調(diào)增/減區(qū)域的單調(diào)增/減區(qū)域信息提供給連續(xù)性檢測(cè)單元204。
在以屏幕的水平方向作為參考而實(shí)施處理的情況中，單調(diào)增/減檢測(cè)單元203根據(jù)峰值的像素值和相對(duì)于峰值水平對(duì)準(zhǔn)的一行像素的像素值，檢測(cè)由水平對(duì)準(zhǔn)的一行像素構(gòu)成的單調(diào)增/減，在所述像素中已經(jīng)被投影單個(gè)信息圖像，從而檢測(cè)由具有數(shù)據(jù)連續(xù)性的像素構(gòu)成的區(qū)域。也就是說(shuō)，在步驟S203中，在以屏幕的水平方向作為參考而實(shí)施處理的情況中，單調(diào)增/減檢測(cè)單元203相關(guān)于峰值和相對(duì)于峰值水平對(duì)準(zhǔn)的一行像素，獲得每個(gè)像素的像素值與右側(cè)和左側(cè)的像素的像素值之差，從而檢測(cè)差的符號(hào)改變的像素。另外，相關(guān)于峰值和相對(duì)于峰值水平對(duì)準(zhǔn)的一行像素，單調(diào)增/減檢測(cè)單元203比較每個(gè)像素的像素值的符號(hào)與右側(cè)或左側(cè)的像素的像素值的符號(hào)，從而檢測(cè)像素值的符號(hào)改變的像素。另外，單調(diào)增/減檢測(cè)單元203比較峰值的像素值、峰值上側(cè)和下側(cè)的像素的像素值與閾值，并檢測(cè)由其中峰值的像素值超過(guò)閾值、并且其中峰值上側(cè)和下側(cè)的像素的像素值在閾值范圍之內(nèi)的像素構(gòu)成的區(qū)域。
單調(diào)增/減檢測(cè)單元203取通過(guò)這樣檢測(cè)的區(qū)域作為單調(diào)增/減區(qū)域，并將表示單調(diào)增/減區(qū)域的單調(diào)增/減區(qū)域信息提供給連續(xù)性檢測(cè)單元204。
在步驟S204，單調(diào)增/減檢測(cè)單元203確定對(duì)所有像素的處理是否結(jié)束。例如，非連續(xù)性分量選取單元201檢測(cè)單屏(例如幀、場(chǎng)等)輸入圖像的所有像素，并確定是否已經(jīng)檢測(cè)單調(diào)增/減區(qū)域。
當(dāng)在步驟S204中確定對(duì)所有像素的處理沒(méi)有結(jié)束的情況下，即，還存在沒(méi)有經(jīng)過(guò)峰值檢測(cè)和單調(diào)增/減區(qū)域檢測(cè)的處理的像素，則流程返回步驟S202，將還沒(méi)有經(jīng)過(guò)峰值檢測(cè)和單調(diào)增/減區(qū)域檢測(cè)的處理的像素選作為處理的對(duì)象，并且重復(fù)峰值檢測(cè)和單調(diào)增/減區(qū)域檢測(cè)的處理。
當(dāng)在步驟S204中確定對(duì)所有像素的處理已經(jīng)結(jié)束的情況下，在已經(jīng)對(duì)所有像素檢測(cè)峰值和單調(diào)增/減區(qū)域的情況下，則流程進(jìn)到步驟S205，其中，連續(xù)性檢測(cè)單元204根據(jù)單調(diào)增/減區(qū)域信息，檢測(cè)檢測(cè)出的區(qū)域的連續(xù)性。例如，在由在屏幕的垂直方向上對(duì)準(zhǔn)的一行像素構(gòu)成、由單調(diào)增/減區(qū)域信息表示的單調(diào)增/減區(qū)域在水平方向上包括相鄰像素的情況下，則連續(xù)性檢測(cè)單元204確定，在兩個(gè)單調(diào)增/減區(qū)域之間存在連續(xù)性，而在不包括在水平方向上的相鄰像素的情況下，確定在兩個(gè)單調(diào)增/減區(qū)域之間不存在連續(xù)性。例如，在由在屏幕的水平方向上對(duì)準(zhǔn)的一行像素構(gòu)成、由單調(diào)增/減區(qū)域信息表示的單調(diào)增/減區(qū)域在垂直方向上包括相鄰像素的情況下，則連續(xù)性檢測(cè)單元204確定，在兩個(gè)單調(diào)增/減區(qū)域之間存在連續(xù)性，而在不包括在垂直方向上的相鄰像素的情況下，確定在兩個(gè)單調(diào)增/減區(qū)域之間不存在連續(xù)性。
連續(xù)性檢測(cè)單元204取檢測(cè)的連續(xù)性區(qū)域作為具有數(shù)據(jù)連續(xù)性的連續(xù)性區(qū)域，并輸出表示峰值位置和連續(xù)性區(qū)域的數(shù)據(jù)連續(xù)性信息。數(shù)據(jù)連續(xù)性信息包含表示區(qū)域的連接的信息。從連續(xù)性檢測(cè)單元204輸出的數(shù)據(jù)連續(xù)性信息表示作為連續(xù)性區(qū)域的細(xì)線區(qū)域，其由其中已經(jīng)被投影現(xiàn)實(shí)世界1的細(xì)線圖像的像素構(gòu)成。
在步驟S206中，連續(xù)性方向檢測(cè)單元205確定對(duì)所有像素的處理是否已經(jīng)結(jié)束。也就是說(shuō)，連續(xù)性方向檢測(cè)單元205確定是否已經(jīng)對(duì)特定幀的輸入圖像的所有像素檢測(cè)區(qū)域連續(xù)性。
當(dāng)在步驟S206中確定對(duì)所有像素的處理還沒(méi)有結(jié)束的情況下，即，還存在沒(méi)有被取作為區(qū)域連續(xù)性檢測(cè)的對(duì)象的像素，則流程返回步驟S205，選取還沒(méi)有經(jīng)過(guò)的像素，并重復(fù)檢測(cè)區(qū)域連續(xù)性的處理。
當(dāng)在步驟S206中確定對(duì)所有像素的處理已經(jīng)結(jié)束的情況下，即，所有像素已經(jīng)被取作為區(qū)域連續(xù)性檢測(cè)的對(duì)象，則流程結(jié)束。
從而，檢測(cè)了在作為輸入圖像的數(shù)據(jù)3中的連續(xù)性。也就是說(shuō)，檢測(cè)了在數(shù)據(jù)3中包含的這樣數(shù)據(jù)連續(xù)性，所述連續(xù)性由現(xiàn)實(shí)世界1的圖像產(chǎn)生，所述圖像是已經(jīng)被投影到數(shù)據(jù)3上的細(xì)線，并且，從數(shù)據(jù)3中檢測(cè)出具有數(shù)據(jù)連續(xù)性的區(qū)域，所述區(qū)域由這樣的像素構(gòu)成，在所述像素上已經(jīng)投影了作為細(xì)線的現(xiàn)實(shí)世界1的圖像。
現(xiàn)在，在圖41中示出的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以根據(jù)具有從數(shù)據(jù)3的幀中檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域，檢測(cè)時(shí)間維度的數(shù)據(jù)連續(xù)性。
例如，如圖57所示，連續(xù)性檢測(cè)單元204通過(guò)連接在幀#n中的具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域、在幀#n-1中具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域、以及在幀#n+1中具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域的邊緣，而檢測(cè)時(shí)間維度的數(shù)據(jù)連續(xù)性。
幀#n-1是在時(shí)間方向在幀#n之前的幀，而幀#n+1是在時(shí)間方向在幀#n之后的幀。也就是說(shuō)，以幀#n-1、幀#n以及#n+1的順序顯示幀#n-1、幀#n以及#n+1。
尤其是，在圖57中，G表示通過(guò)連接在幀#n中的具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域、在幀#n-1中具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域、以及在幀#n+1中具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域的一個(gè)邊緣而獲得的移動(dòng)矢量，而G’表示通過(guò)具有檢測(cè)的數(shù)據(jù)連續(xù)性的區(qū)域的另一個(gè)邊緣所獲得的移動(dòng)矢量。移動(dòng)矢量G和移動(dòng)矢量G’是在時(shí)間方向上的數(shù)據(jù)連續(xù)性的實(shí)例。
另外，具有如圖41所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以輸出表示具有數(shù)據(jù)連續(xù)性的區(qū)域的長(zhǎng)度的信息作為數(shù)據(jù)連續(xù)性信息。
圖58是示出非連續(xù)性分量選取單元201的方框圖，其進(jìn)行對(duì)非連續(xù)性分量的平面模擬，并選取非連續(xù)性分量，所示非連續(xù)性分量是圖像數(shù)據(jù)中不具有數(shù)據(jù)連續(xù)性的部分。
具有如圖58所示的結(jié)構(gòu)的非連續(xù)性分量選取單元201從輸入圖像選取由預(yù)定數(shù)的像素構(gòu)成的塊，進(jìn)行對(duì)所述塊的平面模擬，使得在所述塊與平面值之間的誤差小于預(yù)定閾值，從而選取非連續(xù)性分量。
將輸入圖像提供給塊選取單元221，并將其不變的輸出。
塊選取單元221從輸入圖像選取由預(yù)定數(shù)的像素構(gòu)成的塊。例如，塊選取單元221選取由7×7個(gè)像素構(gòu)成的塊，并將其提供給平面模擬單元222。例如，塊選取單元221以光柵掃描的順序移動(dòng)用作將被選取的塊的中心的像素，從而從輸入圖像順序選取塊。
平面模擬單元222在預(yù)定平面上模擬在所述塊中包括的像素的像素值。例如，平面模擬單元222在由公式(24)表達(dá)的平面上模擬在所述塊中包括的像素的像素值。
Z＝ax+by+c公式(24) 在公式(24)中，x表示在屏幕一個(gè)方向中的像素的位置(空間方向X)，而y表示在屏幕另一個(gè)方向中的像素的位置(空間方向Y)。z表示由平面表示的應(yīng)用值。a表示平面的空間方向X的梯度、而b表示平面的空間方向Y的梯度。在表達(dá)式(24)中，c表示平面的偏移(截距)。
例如，平面模擬單元222通過(guò)回歸處理獲得梯度a、梯度b和截距c，從而在由公式(24)表達(dá)的平面上模擬包含在塊中的像素的像素值。平面模擬單元222通過(guò)包括舍選的回歸處理獲得梯度a、梯度b和截距c，從而在由公式(24)表達(dá)的平面上模擬包含在塊中的像素的像素值。
例如，平面模擬單元222獲得由表達(dá)式(24)表達(dá)的平面，其中利用最小二乘法，而使得所述塊的像素的像素值的誤差最小，從而在所述平面上模擬包含在塊中的像素的像素值。
注意，盡管平面模擬單元222已被描述為在由公式(24)表達(dá)的平面上模擬塊，但是其不限于由公式(24)表達(dá)的平面，而是，可以在由具有更高自由度的函數(shù)表示的平面上模擬所述塊，例如n階多項(xiàng)式(其中n為任意整數(shù))。
重復(fù)確定單元223計(jì)算模擬值與對(duì)應(yīng)的塊的像素的像素值之間的誤差，所述模擬值由在其上模擬塊的像素值的平面表示。公式(25)是示出模擬值與對(duì)應(yīng)的塊的像素的像素值z(mì)i之差的誤差ei的表達(dá)式，其中所述模擬值由在其上模擬塊的像素值的平面表示。
公式(25) 在公式(25)中，z-帽(在z上的^符號(hào)將被描述為z-帽在本說(shuō)明書的下文中將使用相同的描述)表示由在其上模擬塊的像素值的平面表示的模擬值，a-帽表示在其上模擬塊的像素值的平面的空間方向X的梯度，b帽表示在其上模擬塊的像素值的平面的空間方向Y的梯度，以及c帽表示在其上模擬塊的像素值的平面的偏移(截距)。
重復(fù)確定單元223排除這樣的像素，所述像素的模擬值與對(duì)應(yīng)的塊的像素的像素值的誤差ei如公式(25)所示。從而，其中已經(jīng)被投影細(xì)線的像素，即具有連續(xù)性的像素被排除。重復(fù)確定單元223將表示排除像素的排除信息提供給平面模擬單元222。
另外，重復(fù)確定單元223計(jì)算標(biāo)準(zhǔn)誤差，并這樣的情況下，其中標(biāo)準(zhǔn)誤差等于或大于預(yù)先設(shè)置以確定模擬的結(jié)束的閾值，并且塊的像素的一半或更多的像素沒(méi)有被排除，則重復(fù)確定單元223使平面模擬單元222重復(fù)在包含在塊中的像素上的平面模擬處理，所述所述塊已經(jīng)被除去排除的像素。
具有連續(xù)性的像素被排除，從而，在平面上模擬已經(jīng)除去排除像素的像素表示，平面模擬非連續(xù)性分量。
在標(biāo)準(zhǔn)誤差低于用于確定模擬結(jié)束的閾值的情況下，或者塊的像素的一半或更多的像素已被排除，則重復(fù)確定單元223結(jié)束平面模擬 在由5×5個(gè)像素構(gòu)成的塊中，可以利用例如公式(26)計(jì)算標(biāo)準(zhǔn)誤差es。
公式(26) 這里，n是像素個(gè)數(shù)。
注意，重復(fù)確定單元223不限于標(biāo)準(zhǔn)誤差，并可以被設(shè)置為計(jì)算包含在塊中的所有像素的方差和，并進(jìn)行下面的處理。
現(xiàn)在，當(dāng)對(duì)塊的平面模擬移動(dòng)在光柵掃描方向中的一個(gè)像素時(shí)，如圖59所示，具有連續(xù)性、在圖中由黑圓點(diǎn)表示的像素，即包含細(xì)線分量的像素，將被多次排除。
一旦完成平面模擬，重復(fù)確定單元223將表示用于模擬塊的像素值的平面的信息(公式24的平面的梯度和截距)輸出為非連續(xù)性信息。
注意，可以進(jìn)行這樣的設(shè)置，其中重復(fù)確定單元223比較排除每個(gè)像素的次數(shù)與預(yù)設(shè)的閾值，并取被排除了等于或大于閾值的多次的像素作為包含連續(xù)性分量的像素，并將表示包含連續(xù)性分量的像素的信息輸出為連續(xù)性分量信息。在該情況下，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元205在包含由連續(xù)性分量信息表示的連續(xù)性分量的像素上實(shí)施其各自的處理。
下面將參考圖60至圖67描述非連續(xù)性分量選取處理的結(jié)果的實(shí)例。
圖60示出了由原始圖像中的2×2個(gè)像素的像素值的平均值產(chǎn)生的輸入圖像的實(shí)例，所述原始圖像包含已經(jīng)被生成為像素值的細(xì)線。
圖61示出了從圖60所示的圖像獲得的圖像，其中將作為無(wú)排除的平面模擬的結(jié)果獲得標(biāo)準(zhǔn)誤差取為像素值。在圖61所示的實(shí)例中，對(duì)由相關(guān)于單個(gè)關(guān)注像素的5×5個(gè)像素值構(gòu)成的塊進(jìn)行平面模擬。在圖61中，白色像素是具有更大像素值的像素，即具有更大標(biāo)準(zhǔn)誤差的像素，而黑色像素是具有較小像素值的像素，即具有較小標(biāo)準(zhǔn)誤差的像素。
從圖61可以確定，在將作為無(wú)排除的平面模擬的結(jié)果獲得標(biāo)準(zhǔn)誤差取為像素值的情況中，在非連續(xù)性部分的邊界處的大面積上獲得較大的值。
在圖62至圖67的實(shí)例中，對(duì)由相關(guān)于單個(gè)關(guān)注像素的7×7個(gè)像素值構(gòu)成的塊進(jìn)行平面模擬。在對(duì)7×7個(gè)像素構(gòu)成的塊進(jìn)行平面模擬的情況中，一個(gè)像素被重復(fù)包括在塊49中，表示，包含連續(xù)性分量的像素被排除49次。
圖62中，將通過(guò)具有圖60中的圖像排除的平面模擬獲得的標(biāo)準(zhǔn)誤差取為像素值。
在圖62中，白色像素是具有更大像素值的像素，即具有更大標(biāo)準(zhǔn)誤差的像素，而黑色像素是具有較小像素值的像素，即具有較小標(biāo)準(zhǔn)誤差的像素?？梢岳斫?，標(biāo)準(zhǔn)誤差在進(jìn)行排除的情況中比在不進(jìn)行排除的情況中總體較小。
圖63中，將在具有圖60中的圖像排除的平面模擬中的排除次數(shù)取為像素值。在圖63中，白色像素是具有更大像素值的像素，即被排除更多次數(shù)的像素，而黑色像素是具有較小像素值的像素，即被排除較少次數(shù)的像素。
從圖63可以理解，其中被投影細(xì)線圖像的像素被排除更多的次數(shù)。利用其中取排除次數(shù)作為像素值的圖像，可以生成用于掩蓋輸入圖像的非連續(xù)性部分的圖像。
在圖64中示出的圖像中，取用于模擬塊的像素值的平面的空間方向X的梯度作為像素值。在圖65中示出的圖像中，取用于模擬塊的像素值的平面的空間方向Y的梯度作為像素值。
圖66是由用于模擬塊的像素值的平面表達(dá)的模擬值構(gòu)成的圖像?？梢岳斫?，在圖像66中，細(xì)線已經(jīng)消失。
圖67是由圖60中的圖像與圖66中的被表達(dá)為平面的模擬值構(gòu)成的圖像的差構(gòu)成的圖像，其中圖60通過(guò)取原始圖像中的2×2個(gè)像素的塊的平均值作為像素值而產(chǎn)生。圖67所示的圖像的像素值已經(jīng)將非連續(xù)性分量除去，從而只剩下其上被投影細(xì)線圖像的值。從圖67可以理解，在由原始圖像的像素值與由進(jìn)行模擬的平面表示的模擬值之差構(gòu)成的圖像中，較好地選取了原始圖像的連續(xù)性分量。
可以將以下值用作輸入圖像的特征排除次數(shù)、用于模擬塊的像素的像素值的平面的空間方向X的梯度、用于模擬塊的像素的像素值的平面的空間方向Y的梯度、由用于模擬塊的像素的像素值的平面表達(dá)的模擬值、以及誤差ei。
圖68是描述利用具有圖58所示的結(jié)構(gòu)的非連續(xù)性分量選取單元201選取非連續(xù)性分量的處理的流程圖。
在步驟S221中，塊選取單元221從輸入圖像選取由預(yù)定數(shù)的像素構(gòu)成的塊，并將其提供給平面模擬單元222。例如，塊選取單元221選擇還沒(méi)有被選取的輸入圖像的像素的一個(gè)像素，并選取以選擇塊為中心的由7×7個(gè)像素構(gòu)成的塊。例如，塊選取單元221可以以光柵掃描的順序選擇像素。
在步驟S222中，平面模擬單元222在平面上模擬所選取的塊。例如，平面模擬單元222通過(guò)回歸處理在平面上模擬選取塊的像素的像素值。例如，平面模擬單元222通過(guò)回歸處理在平面上模擬除排除的像素以外的選取塊的像素的像素值。在步驟S223中，重復(fù)確定單元223執(zhí)行重復(fù)確定。例如，通過(guò)從塊的像素的像素值和平面模擬值計(jì)算標(biāo)準(zhǔn)誤差，并計(jì)算排除像素的個(gè)數(shù)。
在步驟S224，重復(fù)確定單元223確定標(biāo)準(zhǔn)誤差是否等于或大于閾值，并且在確定標(biāo)準(zhǔn)誤差等于或大于閾值的情況下，流程進(jìn)到步驟S225。
注意，可以這樣設(shè)置，其中重復(fù)確定單元223在步驟S224中確定是否已排除塊中一半或更多的像素，以及標(biāo)準(zhǔn)誤差是否等于或大于閾值，并在確定塊的一半或更多的像素已經(jīng)被排除、并且標(biāo)準(zhǔn)誤差等于或大于閾值的情況下，流程進(jìn)到步驟S225。
在步驟S225，重復(fù)確定單元223計(jì)算塊的每個(gè)像素的像素值與模擬的平面模擬值之間的誤差，排除具有最大誤差的像素，并通知平面模擬單元222。該過(guò)程返回到步驟S222，并且對(duì)除被排除的像素以外的塊的像素重復(fù)平面模擬處理和重復(fù)確定處理。
在步驟S225，在這樣的情況下，其中在步驟S221的處理中選取這樣的塊，所述塊被移動(dòng)在柵格掃描方向中的一個(gè)像素，包括細(xì)線分量的像素(圖中由黑色圓點(diǎn)表示)被排除多次，如圖59所示。
在其中在步驟S224中確定標(biāo)準(zhǔn)誤差不等于或大于閾值的情況下，所述塊已經(jīng)在平面上被模擬，從而流程進(jìn)到步驟S226。
注意，可以這樣設(shè)置，其中重復(fù)確定單元223在步驟S224中確定是否已排除塊中一半或更多的像素，以及標(biāo)準(zhǔn)誤差是否等于或大于閾值，并在確定塊的一半或更多的像素已經(jīng)被排除、并且標(biāo)準(zhǔn)誤差等于或大于閾值的情況下，流程進(jìn)到步驟S225。
在步驟S226，重復(fù)確定單元223輸出用于模擬塊的像素的像素值的平面的梯度和截距作為非連續(xù)性分量信息。
在步驟S227，塊選取單元221確定對(duì)一屏輸入圖像的所有像素的處理是否已經(jīng)結(jié)束，并在確定仍然存在未被取作為處理對(duì)象的像素的情況下，流程返回到步驟S221，從仍未經(jīng)過(guò)處理的像素選取塊，并重復(fù)上述處理。
在步驟S227中確定對(duì)一屏輸入圖像的所有像素的處理已經(jīng)結(jié)束的情況下，該處理結(jié)束。
從而，具有圖58所示結(jié)構(gòu)的非連續(xù)性分量選取單元201可以從輸入圖像選取非連續(xù)性分量。非連續(xù)性分量選取單元201從輸入圖像選取非連續(xù)性分量，從而峰值檢測(cè)單元202和單調(diào)增/減檢測(cè)單元203可以獲得輸入圖像與由非連續(xù)性分量選取單元201選取的非連續(xù)性分量之差，從而執(zhí)行關(guān)于包含連續(xù)性分量的差的處理。
注意，可以使用在平面模擬處理中計(jì)算的如下值作為特征在進(jìn)行排除的情況下的標(biāo)準(zhǔn)誤差、在不進(jìn)行排除的情況下的標(biāo)準(zhǔn)誤差、排除像素的次數(shù)、平面的空間方向X的梯度(在公式(24)中的a-帽)、平面的空間方向Y的梯度(在公式(24)中的b-帽)、平面平移的水平(在公式(24)中的c-帽)、以及在輸入圖像的像素值與由平面表示的模擬值之差。
圖69是描述用于用具有圖58所示的結(jié)構(gòu)的非連續(xù)性分量選取單元201選取連續(xù)性分量的處理的流程圖，該處理代替了用于對(duì)應(yīng)于步驟S201選取非連續(xù)性分量的處理。步驟S241至步驟S245的處理與步驟S221至步驟S225的處理相同，從而省略對(duì)其的描述。
在步驟S246中，重復(fù)確定單元223輸出由平面表示的模擬值與輸入圖像的像素值之差作為輸入圖像的連續(xù)性分量。也就是說(shuō)，重復(fù)確定單元223輸出平面模擬值與實(shí)際像素值之差。
注意，可以將重復(fù)確定單元223設(shè)置為關(guān)于其由平面表示的模擬值與輸入圖像的像素值之差等于或大于預(yù)定閾值的像素的像素值，輸出由平面表示的模擬值與輸入圖像的像素值之差，作為輸入圖像的連續(xù)性分量。
步驟S247的處理與步驟S227的處理相同，因此省略對(duì)其的描述。
平面模擬非連續(xù)性分量，因此，非連續(xù)性分量選取單元201通過(guò)從在輸入圖像的每個(gè)像素的像素值中減去由用于模擬像素值的平面表示的模擬值，可以從輸入圖像中除去非連續(xù)性分量。在這種情況下，峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204可以只處理輸入圖像的連續(xù)性分量，即已經(jīng)被投影細(xì)線圖像的值，從而利用峰值檢測(cè)單元202至連續(xù)性檢測(cè)單元204的處理變得更加容易。
圖70是描述用于利用具有如圖58所示的結(jié)構(gòu)的非連續(xù)性分量選取單元201選取連續(xù)性分量的另一處理的流程圖，所述處理取代了對(duì)應(yīng)于步驟S201的用于選取非連續(xù)性分量的處理。步驟S261至步驟S265的處理與步驟S221至步驟S225的處理相同，因此省略對(duì)其的描述。
在步驟S266中，重復(fù)確定單元223存儲(chǔ)對(duì)每個(gè)像素的排除次數(shù)，該流程返回到步驟S262，并且重復(fù)所述處理。
在步驟S264，在確定標(biāo)準(zhǔn)誤差不等于或大于閾值的情況下，所述塊已經(jīng)在平面上模擬，從而流程進(jìn)到步驟S267，重復(fù)確定單元223確定對(duì)一屏輸入圖像的所有像素的處理是否已經(jīng)結(jié)束，并且在確定仍存在沒(méi)有被取作為處理對(duì)象的像素的情況下，流程回到標(biāo)準(zhǔn)S261，關(guān)于仍未經(jīng)過(guò)處理的像素，選取塊，并重復(fù)上述處理。
在步驟S627中確定對(duì)一屏輸入圖像的所有像素的處理已經(jīng)結(jié)束的情況下，則流程進(jìn)到步驟S268，重復(fù)確定單元223選擇未被選擇的像素，并確定對(duì)選擇像素的排除次數(shù)是否等于或大于閾值。例如，重復(fù)確定單元223在步驟S268中確定對(duì)選擇圖像的排除次數(shù)是否等于或大于預(yù)先存儲(chǔ)的閾值。
在步驟S268中確定對(duì)選擇的像素的排除次數(shù)等于或大于閾值的情況下，則選擇的像素包含連續(xù)性分量，從而流程進(jìn)到步驟S269，在該步驟中，重復(fù)確定單元223輸出選擇像素的像素值(輸入圖像中的像素值)作為輸入圖像的連續(xù)性分量，并且流程進(jìn)到步驟S270。
在步驟S268中確定對(duì)選擇圖像的排除次數(shù)不等于或大于閾值的情況下，則選擇圖像不包含連續(xù)性分量，從而跳過(guò)在步驟S269中的處理，并且過(guò)程進(jìn)到步驟S270。也就是說(shuō)，不輸出這樣的像素的像素值，關(guān)于所述像素，已經(jīng)確定排除次數(shù)不等于或大于閾值。
注意，可以這樣設(shè)置，其中重復(fù)確定單元223輸出關(guān)于已經(jīng)被確定對(duì)其的排除次數(shù)不等于或大于閾值的像素的設(shè)為0的像素值。
在步驟S270中，重復(fù)確定單元223確定對(duì)一屏輸入圖像的所有像素的處理是否已經(jīng)結(jié)束，以確定排除次數(shù)是否等于或大于閾值，并在確定所述處理對(duì)于所有像素還沒(méi)有結(jié)束的情況下，這表示仍然存在沒(méi)有被取作為處理對(duì)象的像素，從而流程返回步驟S268，選擇仍未經(jīng)過(guò)處理的像素，并重復(fù)上述處理。
在步驟S270中確定對(duì)于一屏輸入圖像的所有像素的處理已經(jīng)結(jié)束的情況下，則處理結(jié)束。
從而，對(duì)于輸入圖像的像素，非連續(xù)性分量選取單元201可以輸入包含連續(xù)性分量的像素的像素值作為連續(xù)性分量信息。也就是說(shuō)，對(duì)于輸入圖像的像素，非連續(xù)性分量選取單元201可以輸出包含細(xì)線圖像的分量的像素的像素值。
圖71是描述用于利用具有如圖58所示的結(jié)構(gòu)的非連續(xù)性分量選取單元201選取連續(xù)性分量的另一處理的流程圖，所述處理取代了對(duì)應(yīng)于步驟S201的用于選取非連續(xù)性分量的處理。步驟S281至步驟S288的處理與步驟S261至步驟S268的處理相同，因此省略對(duì)其的描述。
在步驟S289中，重復(fù)確定單元223輸出由平面表示的模擬值與選擇像素的像素值之差作為輸入圖像的連續(xù)性分量。也就是說(shuō)，重復(fù)確定單元223輸出已經(jīng)從輸入圖像中除去非連續(xù)性分量的圖像作為連續(xù)性細(xì)線。
步驟S290的處理與步驟S270的處理相同，因此省去對(duì)其的描述。
從而，非連續(xù)性分量選取單元201可以輸出其中已經(jīng)從輸入圖像除去非連續(xù)性分量的圖像作為連續(xù)性信息。
如上所述，在已經(jīng)投影現(xiàn)實(shí)世界光信號(hào)的情況下，檢測(cè)出其中現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性已經(jīng)被丟失的第一圖像數(shù)據(jù)的多個(gè)像素的像素值的非連續(xù)性部分，從檢測(cè)的非連續(xù)性部分檢測(cè)數(shù)據(jù)連續(xù)性，通過(guò)根據(jù)檢測(cè)的數(shù)據(jù)連續(xù)性估計(jì)現(xiàn)實(shí)世界光信號(hào)的連續(xù)性，產(chǎn)生了用于模擬光信號(hào)的模型(函數(shù))，并根據(jù)產(chǎn)生的函數(shù)生成第二圖像數(shù)據(jù)，可以獲得對(duì)于現(xiàn)實(shí)世界中的事件更精確并具有更高精度的處理結(jié)果。
圖72是示出數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)的方框圖。
在具有圖72所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101中，檢測(cè)關(guān)注像素的像素值，所述關(guān)注像素是在輸入圖像的空間方向中的關(guān)注像素，即在輸入圖像的空間方向中的活度，對(duì)于根據(jù)關(guān)注像素的每個(gè)角度和根據(jù)檢測(cè)活度的參考軸，選取在垂直方向或在水平方向中的一行中的預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素，檢測(cè)選取的像素組的相關(guān)性，并根據(jù)相關(guān)性檢測(cè)在輸入圖像中基于參考軸的數(shù)據(jù)連續(xù)性的角度。
數(shù)據(jù)連續(xù)性的角度表示由參考軸和預(yù)定維度方向所成的角度，在所示預(yù)定維度方向上，恒定特征在數(shù)據(jù)3中重復(fù)出現(xiàn)。恒定特征重復(fù)出現(xiàn)表示這樣的情況，其中，例如對(duì)于在數(shù)據(jù)3中的位置變化的值的變化、即界面形狀相同等。
參考軸可以是例如表示空間方向X(屏幕的水平方向)的軸、表示空間方向Y(屏幕的垂直方向)的軸等。
將輸入圖像提供給活度檢測(cè)單元401和數(shù)據(jù)檢測(cè)單元402。
活度檢測(cè)單元401檢測(cè)像素值對(duì)于輸入圖像的空間方向的變化，即在空間方向中的活度，并將表示檢測(cè)結(jié)果的活度信息提供給數(shù)據(jù)檢測(cè)單元402和連續(xù)性方向推導(dǎo)單元404。
例如，活度檢測(cè)單元401像素值對(duì)于屏幕水平方向的變化和像素值對(duì)于平面垂直方向的變化，并比較檢測(cè)的像素值在水平方向的變化與像素值在垂直方向的變化，從而檢測(cè)像素值在水平方向中的變化是否大于像素值在垂直方向中的變化，或像素值在垂直方向中的變化是否大于像素值在水平方向中的變化。
活度檢測(cè)單元401將活度信息提供給數(shù)據(jù)選擇單元402和連續(xù)性方向推導(dǎo)單元404，所述活度信息是表示測(cè)像素值在水平方向中的變化大于像素值在垂直方向中的變化，或像素值在垂直方向中的變化大于像素值在水平方向中的變化的檢測(cè)結(jié)果。
在其中像素值在水平方向中的變化大于像素值在垂直方向中的變化的情況中，例如如圖73所示，在垂直方向的一行中形成弧形(半圓形)或爪形，并在垂直方向上重復(fù)多次形成弧形或爪形。也就是說(shuō)，在這樣的情況下，其中像素值在水平方向上的變化大于像素值在垂直方向上的變化，其中參考軸為表示空間方向X的軸，在輸入圖像中，數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度是45度到90度之間的任意值。
在其中像素值在垂直方向中的變化大于像素值在水平方向中的變化的情況中，例如在水平方向的一行中形成弧形(半圓形)或爪形，并在水平方向上重復(fù)多次形成弧形或爪形。也就是說(shuō)，在這樣的情況下，其中像素值在垂直方向上的變化大于像素值在水平方向上的變化，其中參考軸為表示空間方向X的軸，在輸入圖像中，數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度是0度到45度之間的任意值。
例如，活度檢測(cè)單元401從輸入圖像選取由以關(guān)注像素為中心的3×3的9個(gè)像素構(gòu)成的塊，如圖74所示?；疃葯z測(cè)單元401計(jì)算垂直相鄰的像素的像素值之差的和、以及水平相鄰的像素的像素值之差的和。水平相鄰的像素的像素值之差hdiff的和可以通過(guò)公式(27)獲得。
hdiff＝∑(Pi+1，j-Pi，j)公式(27) 同樣，垂直相鄰的像素的像素值之差Vdiff的和可以通過(guò)公式(28)獲得。
vdiff＝∑(Pi，j+1 -Pi，j)公式(28) 在公式(27)和公式(28)中，P表示像素值，i表示像素在水平方向中的位置，以及j表示像素在垂直方向中的位置。
可以這樣設(shè)置，其中活度檢測(cè)單元401比較計(jì)算的水平相鄰的像素的像素值之差hdiff的和與垂直相鄰的像素的像素值之差Vdiff的和，從而確定在輸入圖像中數(shù)據(jù)連續(xù)性與參考軸所成的角度范圍。也就是說(shuō)，在該情況下，活度檢測(cè)單元401確定由像素值對(duì)于在空間方向中的位置的變化表示的形狀是否在水平方向上重復(fù)形成、或在垂直方向上重復(fù)形成。
例如，在一行水平行上形成的弧形在水平方向上的像素值的變化大于在垂直方向上的像素值的變化，在一行水平行上形成的弧形在垂直方向上的像素值的變化大于在水平方向上的像素值的變化，從而可以認(rèn)為，數(shù)據(jù)連續(xù)性的方向，即恒定特征在預(yù)定維度方向上的變化小于數(shù)據(jù)連續(xù)性在正交的方向上的變化，所述恒定特征是作為數(shù)據(jù)3的輸入圖像所具有的特征。換句話說(shuō)，在垂直于數(shù)據(jù)連續(xù)性方向的方向(下文中也稱為非連續(xù)性方向)上的差大于在數(shù)據(jù)連續(xù)性方向上的差。
例如，如圖75所示，活度檢測(cè)單元401比較計(jì)算的水平相鄰的像素的像素值之差hdiff的和與垂直相鄰的像素的像素值之差Vdiff的和，并在水平相鄰的像素的像素值之差hdiff的和較大的情況下，確定數(shù)據(jù)連續(xù)性與參考軸的角度是從45度到135度之間的任意值，而在垂直相鄰的像素的像素值之差Vdiff的和較大的情況下，確定數(shù)據(jù)連續(xù)性與參考軸的角度是從0度到45度之間的任意值、或135度到180度之間的任意值。
例如，活度檢測(cè)單元401將表示確定結(jié)果的活度信息提供給數(shù)據(jù)檢測(cè)單元402和連續(xù)性方向推導(dǎo)單元404。
注意，活度檢測(cè)單元401可以檢測(cè)選取任意尺寸的塊的活度，所述塊例如由5×5的25個(gè)像素構(gòu)成的塊、由7×7的49個(gè)像素構(gòu)成的塊等。
數(shù)據(jù)檢測(cè)單元402隨后從輸入圖像的像素中選擇關(guān)注像素，并根據(jù)來(lái)自活度檢測(cè)單元401的活度信息，對(duì)于基于關(guān)注像素和參考軸的每個(gè)角度，選取由垂直方向上的一行預(yù)定個(gè)數(shù)的像素或水平方向上的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素。
例如，在其中活度信息指示在水平方向上的像素值的變化大于在垂直方向上的像素值的變化的情況下，這表示，數(shù)據(jù)連續(xù)性的角度是從45度到135之間的任意值，從而數(shù)據(jù)選擇單元402對(duì)于根據(jù)關(guān)注像素和參考軸的在45度到135度范圍中的每個(gè)預(yù)定角度，選取由在垂直方向的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素。
在活度信息指示在垂直方向上的像素值的變化大于在水平方向上的像素值的變化的情況下，這表示，數(shù)據(jù)連續(xù)性的角度是從0度到45中、或從135度到180度中的任意值，從而數(shù)據(jù)選擇單元402對(duì)于根據(jù)關(guān)注像素和參考軸的從0度到45中、或從135度到180度中的任意值中的每個(gè)預(yù)定角度，選取由在水平方向的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素。
另外，例如，在活度信息指示數(shù)據(jù)連續(xù)性的角度是從45度到135度中的任意值的情況下，數(shù)據(jù)選擇單元402對(duì)于根據(jù)關(guān)注像素和參考軸的在45度到135度范圍中的每個(gè)預(yù)定角度，選取由在垂直方向的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素。
在活度信息指示數(shù)據(jù)連續(xù)性的角度是從0度到45中、或從135度到180度中的任意值的情況下，數(shù)據(jù)選擇單元402對(duì)于根據(jù)關(guān)注像素和參考軸的在從0度到45中、或從135度到180度范圍中的每個(gè)預(yù)定角度，選取由在水平方向的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素。
數(shù)據(jù)選擇單元402將由選取的像素構(gòu)成的多組提供到誤差估計(jì)單元403。
誤差估計(jì)單元403檢測(cè)相對(duì)于多組選取像素的每個(gè)角度的像素組的相關(guān)性。
例如，對(duì)于對(duì)應(yīng)于一個(gè)角度的、由在垂直方向中的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素，誤差估計(jì)單元403檢測(cè)在像素組的相應(yīng)位置上的像素的像素值的相關(guān)性。對(duì)于對(duì)應(yīng)于一個(gè)角度的、由在水平方向中的一行預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素，誤差估計(jì)單元403檢測(cè)在像素組的相應(yīng)位置上的像素的像素值的相關(guān)性。
誤差估計(jì)單元403將表示檢測(cè)的相關(guān)性的相關(guān)性信息提供到連續(xù)性方向推導(dǎo)單元404。誤差估計(jì)單元403計(jì)算從數(shù)據(jù)檢測(cè)單元402提供的包括關(guān)注像素的一組像素的像素值的和作為表示相關(guān)性的值，還計(jì)算在其它組的相應(yīng)位置上的像素的像素值之差的絕對(duì)值，并將差的絕對(duì)值的和提供給連續(xù)性方向推導(dǎo)單元404作為相關(guān)性信息。
根據(jù)從誤差估計(jì)單元403提供的相關(guān)性信息，連續(xù)性方向推導(dǎo)單元404檢測(cè)輸入圖像中數(shù)據(jù)連續(xù)性與參考軸的角度，并輸出表示角度的數(shù)據(jù)連續(xù)性信息，其中所述數(shù)據(jù)連續(xù)性對(duì)應(yīng)于現(xiàn)實(shí)世界1的光信號(hào)的丟失連續(xù)性。例如，根據(jù)從誤差估計(jì)單元403提供的相關(guān)性信息，連續(xù)性方向推導(dǎo)單元404檢測(cè)對(duì)應(yīng)于具有最大相關(guān)性的像素組的角度作為數(shù)據(jù)連續(xù)性的角度，并輸出表示對(duì)應(yīng)于檢測(cè)出的具有最大相關(guān)性的像素組的角度的數(shù)據(jù)連續(xù)性信息。
下面將描述對(duì)在0度到90度范圍(所謂的第一象限)中的數(shù)據(jù)連續(xù)性角度。
圖76是示出圖72中的數(shù)據(jù)連續(xù)性檢測(cè)單元101的更具體的結(jié)構(gòu)的方框圖。
數(shù)據(jù)選擇單元402包括像素選擇單元411-1到像素選擇單元411-L。誤差估計(jì)單元403包括估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L。連續(xù)性方向推導(dǎo)單元404包括最小誤差角度選擇單元413。
首先，描述在由活度信息表示的數(shù)據(jù)連續(xù)性角度是從45度到135度中的任意值的情況下，像素選擇單元411-1到像素選擇單元411-L的處理。
像素選擇單元411-1到像素選擇單元411-L設(shè)置經(jīng)過(guò)關(guān)注像素的具有彼此不同的預(yù)定角度的直線，其中以表示空間方向X的軸線為參考軸線。像素選擇單元411-1到像素選擇單元411-L在包括關(guān)注像素的垂直行像素中的像素中選擇在關(guān)注像素上方的預(yù)定個(gè)數(shù)的像素、在關(guān)注像素下方的預(yù)定個(gè)數(shù)的像素以及關(guān)注像素作為一組。
例如，如圖77所示，像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素中的像素中選擇以關(guān)注像素為中心的9個(gè)像素作為一組像素。
在圖77中，一個(gè)格形方塊(一個(gè)方格)表示一個(gè)像素。在圖77中，中心所示的圓形表示關(guān)注象素。
像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素左側(cè)的垂直行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。在圖77中，在關(guān)注像素左下方的圓形表示選出的像素的實(shí)例。像素選擇單元411-1到像素選擇單元411-L然后從包括關(guān)注像素的垂直行像素的左側(cè)的垂直行像素中的像素中選擇在選擇像素上方的預(yù)定個(gè)數(shù)的像素、在選擇像素下方的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
例如，如圖77所示，像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素左側(cè)的垂直行像素中的像素中選擇在最接近直線的位置上的像素為中心的9個(gè)像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素次左側(cè)的垂直行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。在圖77中，最左的圓形表示選出的像素的實(shí)例。像素選擇單元411-1到像素選擇單元411-L然后從包括關(guān)注像素的垂直行像素的第二左的垂直行像素中的像素中選擇在所選像素上方的預(yù)定個(gè)數(shù)的像素、在所選像素下方的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
例如，如圖77所示，像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素次左側(cè)的垂直行像素的像素中選擇以最接近直線的位置上的像素為中心的9個(gè)像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素右側(cè)的垂直行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。在圖77中，在關(guān)注像素右上方的圓形表示選出的像素的實(shí)例。像素選擇單元411-1到像素選擇單元411-L然后從包括關(guān)注像素的垂直行像素的右側(cè)的垂直行像素中的像素中選擇在選擇像素上方的預(yù)定個(gè)數(shù)的像素、在選擇像素下方的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
例如，如圖77所示，像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素右側(cè)的垂直行像素中的像素中選擇在最接近直線的位置上的像素為中心的9個(gè)像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素次右側(cè)的垂直行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。在圖77中，最右的圓形表示選出的像素的實(shí)例。像素選擇單元411-1到像素選擇單元411-L然后從包括關(guān)注像素的垂直行像素的第二右的垂直行像素中的像素中選擇在選擇像素上方的預(yù)定個(gè)數(shù)的像素、在選擇像素下方的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
例如，如圖77所示，像素選擇單元411-1到像素選擇單元411-L從包括關(guān)注像素的垂直行像素次右側(cè)的垂直行像素中的像素中選擇在最接近直線的位置上的像素為中心的9個(gè)像素作為一組像素。
從而，像素選擇單元411-1到像素選擇單元411-L每一個(gè)選擇五組像素。
像素選擇單元411-1到像素選擇單元411-L選擇(設(shè)置為)互不相同角度的(直線)的像素組。例如，像素選擇單元411-1選擇45度的像素組，像素選擇單元411-2選擇選擇47.5度的像素組，以及像素選擇單元411-3選擇50度的像素組。像素選擇單元411-1到像素選擇單元411-L選擇從52.5度到135度的每隔2.5度的角度的像素組。
注意，像素組的個(gè)數(shù)是可選的，例如為3或7，并且并不限制本發(fā)明。另外，被選擇為一組的像素個(gè)數(shù)是可選的數(shù)目，例如為5或13，并且并不限制本發(fā)明。
注意，可以將像素選擇單元411-1到像素選擇單元411-L設(shè)置為從在垂直方向上的預(yù)定范圍內(nèi)的像素選擇像素組。例如，像素選擇單元411-1到像素選擇單元411-L可以從在垂直方向上的121個(gè)像素(在關(guān)注像素上方的60個(gè)像素和下方的60個(gè)像素)中選擇像素組。在該情況下，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以檢測(cè)出達(dá)到88.09度的數(shù)據(jù)連續(xù)性與由空間方向X表示的軸線所成的角度。
像素選擇單元411-1將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-1，而像素選擇單元411-2將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-2。同樣，像素選擇單元411-3到像素選擇單元411-L中的每個(gè)將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-3到估計(jì)誤差計(jì)算單元412-L中的每個(gè)。
估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L檢測(cè)從像素選擇單元411-1到像素選擇單元411-L中的每個(gè)提供的在多組位置上的像素的像素值的相關(guān)性。例如，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L計(jì)算包括關(guān)注像素的組的像素的像素值與從像素選 擇單元411-1到像素選擇單元411-L中的一個(gè)提供的另一組的相應(yīng)位置的像素的像素值之差的絕對(duì)值的和作為表示相關(guān)性的值。
尤其是，根據(jù)包括關(guān)注像素的組的像素的像素值與從像素選擇單元411-1到像素選擇單元411-L中的一個(gè)提供的由關(guān)注像素左側(cè)的垂直行像素構(gòu)成的組的像素的像素值，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L計(jì)算最頂端像素的像素值之差，然后計(jì)算次頂端像素的像素值之差，等，以便按照從頂端像素開(kāi)始的順序計(jì)算像素值之差的絕對(duì)值，并再計(jì)算算出的差的絕對(duì)值的和。根據(jù)包括關(guān)注像素的組的像素的像素值與從像素選擇單元411-1到像素選擇單元411-L中的一個(gè)提供的由關(guān)注像素次左側(cè)的垂直行像素構(gòu)成的組的像素的像素值，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L按照從頂端像素開(kāi)始的順序計(jì)算像素值之差的絕對(duì)值，并再計(jì)算算出的差的絕對(duì)值的和。
然后，根據(jù)包括關(guān)注像素的組的像素的像素值與從像素選擇單元411-1到像素選擇單元411-L中的一個(gè)提供的由關(guān)注像素右側(cè)的垂直行像素構(gòu)成的組的像素的像素值，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L計(jì)算最頂端像素的像素值之差，然后計(jì)算次頂端像素的像素值之差，等，以便按照從頂端像素開(kāi)始的順序計(jì)算像素值之差的絕對(duì)值，并再計(jì)算算出的差的絕對(duì)值的和。根據(jù)包括關(guān)注像素的組的像素的像素值與從像素選擇單元411-1到像素選擇單元411-L中的一個(gè)提供的由關(guān)注像素次右側(cè)的垂直行像素構(gòu)成的組的像素的像素值，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L按照從頂端像素開(kāi)始的順序計(jì)算像素值之差的絕對(duì)值，并再計(jì)算算出的差的絕對(duì)值的和。
估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L將全部這樣算出的全部像素值之差的絕對(duì)值相加，從而計(jì)算像素值之差的絕對(duì)值的總和。
估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L將表示檢測(cè)的相關(guān)性的信息提供給最小誤差角度選擇單元413。例如，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L將計(jì)算的像素值之差的絕對(duì)值總和提供給最小誤差角度選擇單元413。
注意，估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L并不限于像素值之差的絕對(duì)值總和，還可以計(jì)算其它值作為相關(guān)值，如像素值的平方差的和、或根據(jù)像素值的相關(guān)性系數(shù)等。
最小誤差角度選擇單元413根據(jù)由估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L檢測(cè)的互不相同角度的相關(guān)性，檢測(cè)輸入圖像中數(shù)據(jù)連續(xù)性與參考軸的角度，所述連續(xù)性角度對(duì)應(yīng)于作為丟棄的現(xiàn)實(shí)世界1的光信號(hào)的圖像連續(xù)性。也就是說(shuō)，根據(jù)由估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L檢測(cè)的互不相同角度的相關(guān)性，最小誤差角度選擇單元413選擇最大相關(guān)性，并取在其上檢測(cè)出選擇的相關(guān)性的角度作為數(shù)據(jù)連續(xù)性與參考軸的角度，從而在輸入圖像中檢測(cè)出數(shù)據(jù)連續(xù)性與參考軸所成的角度。
例如，在從估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L提供的像素值之差的絕對(duì)值的總和中，最小誤差角度選擇單元413選擇最小總和。對(duì)于計(jì)算出其的選擇的總和的像素值，最小誤差角度選擇單元413參考(make reference to)屬于在關(guān)注像素再次左的一行垂直行像素中的、并位于離直線最近的位置上的像素、和屬于在關(guān)注像素再次右的一行垂直行像素中的、并位于離直線最近的位置上的像素。
如圖77所示，最小誤差角度選擇單元413獲得參考像素的位置在垂直方向上距離關(guān)注像素的位置的距離S。如圖78所示，最小誤差角度選擇單元413根據(jù)公式(29)計(jì)算數(shù)據(jù)連續(xù)性與表示空間方向X的軸線所成的角度θ，所述軸線是作為圖像數(shù)據(jù)的輸入圖像中的參考軸線，所述連續(xù)性對(duì)應(yīng)于丟棄的現(xiàn)實(shí)世界1的光信號(hào)連續(xù)性。
θ＝tan-1(s/2)公式(29) 下面，將描述在由活度信息表示的數(shù)據(jù)連續(xù)性角度是從0度到45度和135度到180度中的任意值的情況下，像素選擇單元411-1到像素選擇單元411-L的處理。
像素選擇單元411-1到像素選擇單元411-L設(shè)置經(jīng)過(guò)關(guān)注像素的具有預(yù)定角度的直線，其中以表示空間方向X的軸線為參考軸線，并且，在包括關(guān)注像素的水平行像素中的像素中選擇在關(guān)注像素左側(cè)的預(yù)定個(gè)數(shù)的像素、在關(guān)注像素右側(cè)的預(yù)定個(gè)數(shù)的像素以及關(guān)注像素作為一組。
像素選擇單元411-1到像素選擇單元411-L在包括關(guān)注像素的水平行像素上方的水平行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。像素選擇單元411-1到像素選擇單元411-L然后在包括關(guān)注像素的水平行像素上方的水平行像素中的像素中選擇在選擇像素左側(cè)的預(yù)定個(gè)數(shù)的像素、在選擇像素右側(cè)的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L在包括關(guān)注像素的水平行像素上方兩行的水平行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。像素選擇單元411-1到像素選擇單元411-L然后在包括關(guān)注像素的水平行像素的上方兩行的垂直行像素中的像素中選擇在選擇像素左側(cè)的預(yù)定個(gè)數(shù)的像素、在選擇像素右側(cè)的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L在包括關(guān)注像素的水平行像素下方的水平行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。像素選擇單元411-1到像素選擇單元411-L然后在包括關(guān)注像素的水平行像素的下方的水平行像素中的像素中選擇在選擇像素左側(cè)的預(yù)定個(gè)數(shù)的像素、在選擇像素右側(cè)的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
像素選擇單元411-1到像素選擇單元411-L在包括關(guān)注像素的水平行像素下方二行的水平行像素中的像素中選擇位于最接近各自設(shè)置的直線的位置上的像素。像素選擇單元411-1到像素選擇單元411-L然后在包括關(guān)注像素的水平行像素的下方二行的垂直行像素中的像素中選擇在選擇像素左側(cè)的預(yù)定個(gè)數(shù)的像素、在選擇像素右側(cè)的預(yù)定個(gè)數(shù)的像素以及選擇的像素作為一組像素。
從而，像素選擇單元411-1到像素選擇單元411-L每一個(gè)選擇五組像素。
像素選擇單元411-1到像素選擇單元411-L選擇互不相同角度的像素組。例如，像素選擇單元411-1選擇0度的像素組，像素選擇單元411-2選擇2.5度的像素組，以及像素選擇單元411-3選擇5度的像素組。像素選擇單元411-1到像素選擇單元411-L選擇從7.5度到45度和從135度到180度的每隔2.5度的角度的像素組。
像素選擇單元411-1將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-1，而像素選擇單元411-2將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-2。同樣，像素選擇單元411-3到像素選擇單元411-L中的每個(gè)將選擇的像素組提供給估計(jì)誤差計(jì)算單元412-3到估計(jì)誤差計(jì)算單元412-L中的每個(gè)。
估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L檢測(cè)從像素選擇單元411-1到像素選擇單元411-L中的每個(gè)提供的在多組中各位置上的像素的像素值的相關(guān)性。估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L將表示檢測(cè)的相關(guān)性的信息提供給最小誤差角度選擇單元413。
最小誤差角度選擇單元413根據(jù)由估計(jì)誤差計(jì)算單元412-1到估計(jì)誤差計(jì)算單元412-L檢測(cè)的相關(guān)性，檢測(cè)輸入圖像中數(shù)據(jù)連續(xù)性與參考軸的角度，所述連續(xù)性對(duì)應(yīng)于作為丟棄的現(xiàn)實(shí)世界1的光信號(hào)的圖像連續(xù)性。
接著，下面將參考圖79的流程圖描述對(duì)應(yīng)于步驟S101中的處理的、利用具有如圖72所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101進(jìn)行的數(shù)據(jù)連續(xù)性檢測(cè)處理。
在步驟S401中，活度檢測(cè)單元401和數(shù)據(jù)選擇單元402選擇關(guān)注像素，所述像素是輸入圖像中的關(guān)注像素?；疃葯z測(cè)單元401和數(shù)據(jù)選擇單元402選擇同一個(gè)關(guān)注像素。例如，活度檢測(cè)單元401和數(shù)據(jù)選擇單元402以柵格掃描的順序從輸入圖像中選擇關(guān)注像素。
在步驟S402中，活度檢測(cè)單元401檢測(cè)關(guān)注像素的活度。例如，活度檢測(cè)單元401根據(jù)在以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊的垂直方向上對(duì)準(zhǔn)的像素的像素值之差、以及在水平方向上對(duì)準(zhǔn)的像素的像素值之差而檢測(cè)活度。
活度檢測(cè)單元401檢測(cè)關(guān)注像素在空間方向中的活度，并將表示檢測(cè)結(jié)果的活度信息提供給數(shù)據(jù)選擇單元402和連續(xù)性方向推導(dǎo)單元404。
在步驟S403中，數(shù)據(jù)選擇單元402從包括關(guān)注像素的一行像素中選擇預(yù)定個(gè)數(shù)的以關(guān)注像素為中心的像素作為像素組。例如，數(shù)據(jù)選擇單元402擇預(yù)在關(guān)注像素的上方或左側(cè)的預(yù)定個(gè)數(shù)的像素、以及在關(guān)注像素下方或右側(cè)的預(yù)定個(gè)數(shù)的像素、以及關(guān)注像素，作為像素組，其中所述預(yù)定個(gè)數(shù)的像素屬于包括關(guān)注像素的垂直或水平像素行。
在步驟S404中，數(shù)據(jù)選擇單元402根據(jù)由在步驟S402中的處理檢測(cè)的活度，每次從對(duì)于在預(yù)定范圍中的每個(gè)角度的預(yù)定個(gè)數(shù)的像素行中選擇預(yù)定個(gè)數(shù)的像素作為像素組。例如，數(shù)據(jù)選擇單元402設(shè)置具有在預(yù)定范圍內(nèi)的角度的、經(jīng)過(guò)關(guān)注像素的直線，以表示空間方向X的軸線作為參考軸線，選擇在水平方向或垂直方向上距離關(guān)注像素一行或兩行、并且離直線最近的像素，并且選擇在選擇的像素上方或左側(cè)的預(yù)定個(gè)數(shù)的像素、在選擇的像素的下方或右側(cè)的預(yù)定個(gè)數(shù)的像素、以及最接近直線的選擇的像素作為像素組。數(shù)據(jù)選擇單元402選擇每個(gè)角度的像素組。
數(shù)據(jù)選擇單元402將選擇的像素組提供給誤差估計(jì)單元403。
在步驟S405，誤差估計(jì)單元403計(jì)算以關(guān)注像素為中心的像素組與每個(gè)角度的被選像素組之間的相關(guān)性。例如，誤差估計(jì)單元403對(duì)于每個(gè)角度計(jì)算包括關(guān)注像素的像素組的像素值與在其它組中的相應(yīng)位置的像素的像素值之差的絕對(duì)值的和。
根據(jù)每個(gè)角度的選定像素組之間的相關(guān)性，可以檢測(cè)數(shù)據(jù)連續(xù)性的角度。
誤差估計(jì)單元403將表示算出的相關(guān)性的信息提供給連續(xù)性方向推導(dǎo)單元404。
在步驟S406中，根據(jù)在步驟S405中的處理計(jì)算的相關(guān)性，從具有最強(qiáng)相關(guān)性的像素組的位置，連續(xù)性方向推導(dǎo)單元404基于作為圖像數(shù)據(jù)的輸入圖像中的參考軸檢測(cè)數(shù)據(jù)連續(xù)性角度，所述連續(xù)性角度對(duì)應(yīng)于現(xiàn)實(shí)世界1的光信號(hào)連續(xù)性。例如，連續(xù)性方向推導(dǎo)單元404選擇像素值之差的絕對(duì)值的總和中的最小總和，并從被計(jì)算出選擇的總和的像素組的位置檢測(cè)數(shù)據(jù)連續(xù)性角度θ。
連續(xù)性方向推導(dǎo)單元404輸出表示被檢測(cè)出的數(shù)據(jù)連續(xù)性的角度的數(shù)據(jù)連續(xù)性信息。
在步驟S407中，數(shù)據(jù)選擇單元402確定對(duì)所有像素的處理是否已經(jīng)結(jié)束，并在確定對(duì)所有像素的處理仍未結(jié)束時(shí)，流程回到步驟S401，從仍未被取為關(guān)注像素的像素中選擇關(guān)注像素，并重復(fù)上述處理。
在步驟S407中確定已經(jīng)結(jié)束對(duì)所有像素的處理的情況下，該處理結(jié)束。
從而，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以基于圖像數(shù)據(jù)中的參考軸檢測(cè)數(shù)據(jù)連續(xù)性角度，所述數(shù)據(jù)連續(xù)性角度對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)連續(xù)性。
注意，可以這樣設(shè)置，其中，具有圖72中的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)關(guān)注像素在輸入圖像的空間方向中的活度，所述關(guān)注像素是關(guān)注幀中的關(guān)注像素；根據(jù)檢測(cè)的活度，對(duì)于基于關(guān)注像素和空間方向參考軸的每個(gè)角度和移動(dòng)矢量，從關(guān)注幀和從在時(shí)間方向上在關(guān)注幀之前或之后的每個(gè)幀中選取由在垂直方向上一行或水平方向上一行中的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)像素組；檢測(cè)選取的像素組的相關(guān)性；以及根據(jù)該相關(guān)性，檢測(cè)在輸入圖像的時(shí)間方向和空間方向中的數(shù)據(jù)連續(xù)性的角度。
例如，如圖80所示，根據(jù)檢測(cè)的活度，對(duì)于基于關(guān)注像素和空間方向參考軸的每個(gè)角度和移動(dòng)矢量，數(shù)據(jù)選擇單元402從作為關(guān)注幀的幀#n、幀#n-1以及幀#n+1中選取由在垂直方向上一行或水平方向上一行中的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)像素組。
幀#n-1在時(shí)間方向上在幀#n之前，而幀#n+1在時(shí)間方向上在幀#n之后。也就是說(shuō)，以幀#n-1、#n和#n+1的順序顯示幀#n-1、#n和#n+1。
誤差估計(jì)單元403對(duì)于選取的多組像素檢測(cè)每個(gè)單獨(dú)角度和單獨(dú)移動(dòng)矢量的像素組的相關(guān)性。連續(xù)性方向推導(dǎo)單元404根據(jù)像素組的相關(guān)性檢測(cè)輸入圖像中的時(shí)間方向和空間方向中的數(shù)據(jù)連續(xù)性角度，所述數(shù)據(jù)連續(xù)性角度對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)連續(xù)性，并輸出表示角度的數(shù)據(jù)連續(xù)性信息。
圖81是更詳細(xì)地示出圖72中所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)的方框圖。其中用相同的標(biāo)號(hào)表示與圖76中相同的部分，并省略對(duì)其的描述。
數(shù)據(jù)選擇單元402包括像素選擇單元421-1至像素選擇單元421-L。誤差估計(jì)單元403包括估計(jì)誤差計(jì)算單元422-1至估計(jì)誤差計(jì)算單元422-L。
利用圖81中所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101，選取對(duì)應(yīng)于角度范圍的數(shù)量的組，其中像素組由對(duì)應(yīng)于角度范圍的數(shù)量的像素構(gòu)成，檢測(cè)選取的像素組的相關(guān)性，并根據(jù)檢測(cè)的相關(guān)性檢測(cè)在輸入圖像中基于參考軸的數(shù)據(jù)連續(xù)性角度。
首先，描述在由活度信息表示的數(shù)據(jù)連續(xù)性角度是從45度到135度中的任意值的情況下，像素選擇單元421-1到像素選擇單元421-L的處理。
如圖82左邊所示，利用圖76所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101，選取無(wú)關(guān)于設(shè)置直線角度的預(yù)定個(gè)像素的像素組，而如圖82右邊所示，利用如圖81所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101，選取對(duì)應(yīng)于設(shè)置直線的角度范圍的多個(gè)像素的像素組。另外，利用如圖81所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101，選取對(duì)應(yīng)于設(shè)置直線的角度范圍的多個(gè)像素組。
像素選擇單元421-1到像素選擇單元421-L設(shè)置在45度到135度的范圍中、經(jīng)過(guò)關(guān)注像素并具有彼此不同的預(yù)定角度的直線，其中以表示空間方向X的軸線為參考軸線。
像素選擇單元421-1到像素選擇單元421-L在屬于包括關(guān)注像素的一垂直行像素的像素中選擇在關(guān)注像素上方的對(duì)應(yīng)于為每個(gè)設(shè)置的每個(gè)直線的角度范圍的個(gè)數(shù)的像素、在關(guān)注像素下方的多個(gè)像素以及關(guān)注像素作為一組。
像素選擇單元421-1到像素選擇單元421-L從包括關(guān)注像素的一垂直行像素左側(cè)和右側(cè)的、在水平方向上以關(guān)注像素為參考距離關(guān)注像素為預(yù)定距離的垂直行像素中選擇位于最接近為每個(gè)角度的設(shè)置直線的像素，并從對(duì)于選擇像素的一行垂直行像素中，選擇在選擇像素上方的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、在選擇像素下方的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素以及選擇的像素作為一組像素。
也就是說(shuō)，像素選擇單元421-1到像素選擇單元421-L選擇對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素作為像素組。像素選擇單元421-1到像素選擇單元421-L選擇對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素組。
例如，當(dāng)用傳感器2成像細(xì)線的圖像的情況下，所述細(xì)線與空間方向X成約45度的角度，并在檢測(cè)元件的檢測(cè)區(qū)域具有近似相同寬度的寬度，將細(xì)線的圖像投影到數(shù)據(jù)3上，使得在空間方向Y的一行上對(duì)準(zhǔn)的三個(gè)像素上形成弧形作為細(xì)線圖像。相反，當(dāng)用傳感器2成像細(xì)線的圖像的情況下，所述細(xì)線與空間方向X近似垂直，并在檢測(cè)元件的檢測(cè)區(qū)域具有近似相同的寬度，將細(xì)線的圖像投影到數(shù)據(jù)3上，使得在空間方向Y的一行上對(duì)準(zhǔn)的多個(gè)像素上形成弧形作為細(xì)線圖像。
對(duì)于像素組中包括的相同個(gè)數(shù)的像素，在細(xì)線與空間方向X成約45度角度的情況下，像素組中的其上被投影細(xì)線圖像的像素的個(gè)數(shù)更小了，這表示分辨率下降。另一方面，在細(xì)線與空間方向近似垂直的情況下，在其上投影細(xì)線圖像的部分像素上進(jìn)行的處理可能導(dǎo)致精度的降低。
因此，為了使其上被投影細(xì)線圖像的像素的個(gè)數(shù)近似相等，像素選擇單元421-1到像素選擇單元421-L選擇像素和像素組，使得在設(shè)置直線與空間方向X成接近45度角度的情況下減少在每個(gè)像素組中包括的像素個(gè)數(shù)、并增加像素組的組數(shù)，而在設(shè)置直線與空間方向X接近垂直的情況下增加每個(gè)像素組中的像素的個(gè)數(shù)，并減少像素組的組數(shù)。
例如，如圖83和84所示，在設(shè)置直線的角度在大于等于45度并小于63.4度的情況下(該范圍由圖83和84中的A表示)，則像素選擇單元421-1到像素選擇單元421-L從關(guān)注像素的一垂直行中選擇以關(guān)注像素為中心的五個(gè)像素作為像素組，并且還從這樣的像素中選擇五個(gè)像素作為像素組，所述像素屬于在關(guān)注像素的水平方向上五個(gè)像素范圍內(nèi)的左側(cè)和右側(cè)的行上。
也就是說(shuō)，在設(shè)置直線的角度在大于等于45度但小于63.4度的情況下，像素選擇單元421-1到像素選擇單元421-L從輸入圖像選擇每個(gè)由5個(gè)像素構(gòu)成的11個(gè)像素組。在該情況下，被選作為最接近設(shè)置直線的像素的像素是在垂直方向上離關(guān)注像素為5個(gè)像素到9個(gè)像素的位置上。
在圖84中，行數(shù)表示在關(guān)注像素左側(cè)或右側(cè)的像素行數(shù)，從其上選擇像素作為像素組。在圖84中，一行中的像素?cái)?shù)表示從關(guān)注像素的垂直行、或在關(guān)注像素的左側(cè)或右側(cè)的行中選作為像素組的像素個(gè)數(shù)。在圖84中，像素的選擇范圍表示將被選擇的像素在垂直方向中的位置，所述像素的位置最接近關(guān)注像素的設(shè)置直線。
如圖85所示，例如，在設(shè)置直線的角度為45度的情況下，像素選擇單元421-1在關(guān)注像素的一垂直行中選擇5個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上五個(gè)像素范圍內(nèi)的像素的一行的像素中選取五個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-1從輸入圖像選擇11個(gè)每個(gè)由5個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素中的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有五個(gè)像素。
注意，在圖85到圖92中，由虛線表示的方形(由虛線分開(kāi)的單個(gè)方格)表示單個(gè)像素，由實(shí)線表示的方形表示像素組。在圖85到圖92中，關(guān)注像素在空間方向X上的坐標(biāo)為0，并且關(guān)注像素在空間方向Y上的坐標(biāo)為0。
另外，在圖85到圖92中，陰影方形表示關(guān)注像素或最接近設(shè)置直線的像素。在圖85到圖92中，由深色線表示的方形表示選擇的以關(guān)注像素為中心的像素組。
如圖86所示，例如，在設(shè)置直線的角度為60.9度的情況下，像素選擇單元421-2在關(guān)注像素的一垂直行中選擇5個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上五個(gè)像素范圍內(nèi)的像素的行中選取五個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-2從輸入圖像選擇11個(gè)每個(gè)由5個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有九個(gè)像素。
例如，如圖83和84所示，在設(shè)置直線的角度為大于等于63.4度但小于71.6度(在圖83和84中由B表示該范圍)的情況下，像素選擇單元421-1到像素選擇單元421-L在關(guān)注像素的一垂直行中選擇7個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上4個(gè)像素范圍內(nèi)的像素的一行中選取7個(gè)像素作為像素組。
也就是說(shuō)，在設(shè)置直線的角度為大于等于63.4度但小于71.6度的情況下，像素選擇單元421-1到像素選擇單元421-L從輸入圖像選擇9個(gè)每個(gè)由7個(gè)像素構(gòu)成的像素組。在該情況下，被選為最接近設(shè)置直線的像素的像素在垂直方向上離關(guān)注像素為8到11個(gè)像素。
如圖87所示，例如，在設(shè)置直線的角度為63.4度的情況下，像素選擇單元421-3在關(guān)注像素的一垂直行中選擇7個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上4個(gè)像素范圍內(nèi)的像素的行中選取7個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-3從輸入圖像選擇9個(gè)每個(gè)由7個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有8個(gè)像素。
如圖88所示，例如，在設(shè)置直線的角度為70.0度的情況下，像素選擇單元421-4在關(guān)注像素的一垂直行中選擇7個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上4個(gè)像素范圍內(nèi)的像素的行中選取7個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-4從輸入圖像選擇9個(gè)每個(gè)由7個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有11個(gè)像素。
例如，如圖83和84所示，在設(shè)置直線的角度為大于等于71.6度但小于76度(在圖83和84中由C表示該范圍)的情況下，像素選擇單元421-1到像素選擇單元421-L在關(guān)注像素的一垂直行中選擇9個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上3個(gè)像素范圍內(nèi)的像素的行中選取9個(gè)像素作為像素組。
也就是說(shuō)，在設(shè)置直線的角度為大于等于71.6度但小于76度的情況下，像素選擇單元421-1到像素選擇單元421-L從輸入圖像選擇7個(gè)每個(gè)由9個(gè)像素構(gòu)成的像素組。在該情況下，被選為最接近設(shè)置直線的像素的像素在垂直方向上離關(guān)注像素為9到11個(gè)像素。
如圖89所示，例如，在設(shè)置直線的角度為71.6度的情況下，像素選擇單元421-5在關(guān)注像素的一垂直行中選擇9個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上3個(gè)像素范圍內(nèi)的像素的行中選取9個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-5從輸入圖像選擇7個(gè)每個(gè)由9個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有9個(gè)像素。
如圖90所示，例如，在設(shè)置直線的角度為74.7度的情況下，像素選擇單元421-6在關(guān)注像素的一垂直行中選擇9個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上3個(gè)像素范圍內(nèi)的像素的行中選取9個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-6從輸入圖像選擇7個(gè)每個(gè)由9個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有11個(gè)像素。
例如，如圖83和84所示，在設(shè)置直線的角度為大于等于76度但小于87.7度(在圖83和84中由D表示該范圍)的情況下，像素選擇單元421-1到像素選擇單元421-L在關(guān)注像素的一垂直行中選擇11個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上2個(gè)像素范圍內(nèi)的像素的行中選取9個(gè)像素作為像素組。也就是說(shuō)，在設(shè)置直線的角度為大于等于76度但小于87.7度的情況下，像素選擇單元421-1到像素選擇單元421-L從輸入圖像選擇5個(gè)每個(gè)由11個(gè)像素構(gòu)成的像素組。在該情況下，被選為最接近設(shè)置直線的像素的像素在垂直方向上離關(guān)注像素為8到50個(gè)像素。
如圖91所示，例如，在設(shè)置直線的角度為76度的情況下，像素選擇單元421-7在關(guān)注像素的一垂直行中選擇11個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上2個(gè)像素范圍內(nèi)的像素的行中選取11個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-7從輸入圖像選擇5個(gè)每個(gè)由11個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有8個(gè)像素。
如圖92所示，例如，在設(shè)置直線的角度為87.7度的情況下，像素選擇單元421-8在關(guān)注像素的一垂直行中選擇11個(gè)以關(guān)注像素為中心的像素作為像素組，并且另外從在關(guān)注像素的左側(cè)和右側(cè)的水平方向上2個(gè)像素范圍內(nèi)的像素的行中選取11個(gè)像素作為像素組。也就是說(shuō)，像素選擇單元421-8從輸入圖像選擇5個(gè)每個(gè)由11個(gè)像素構(gòu)成的像素組。在該情況下，在被選為最接近設(shè)置直線的像素中，離關(guān)注像素最遠(yuǎn)的像素在垂直方向上離關(guān)注像素有50個(gè)像素。
從而，像素選擇單元421-1到像素選擇單元421-L每個(gè)選擇對(duì)應(yīng)于角度范圍的預(yù)定個(gè)數(shù)的像素組，所示像素組由對(duì)應(yīng)于角度范圍的預(yù)定個(gè)數(shù)的像素構(gòu)成。
像素選擇單元421-1將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-1，并且像素選擇單元421-2將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-2。同樣，像素選擇單元421-3到像素選擇單元421-L將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-3到估計(jì)誤差計(jì)算單元422-L。
估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L檢測(cè)從像素選擇單元421-1到像素選擇單元421-L中的每個(gè)提供的多組中在相應(yīng)位置上的像素的像素值的相關(guān)性。例如，估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L計(jì)算從像素選擇單元421-1到像素選擇單元421-L中的每個(gè)提供包括關(guān)注像素的像素組的像素的像素值與在其它多組中的相應(yīng)位置上的像素的像素值之差的絕對(duì)值的和，并用算出的和除以包括關(guān)注像素的像素組以外的像素組中包括的像素的個(gè)數(shù)。用算出的和除以包括關(guān)注像素的像素組以外的像素組中包括的像素的個(gè)數(shù)是為了歸一化表示相關(guān)性的值，因?yàn)楸贿x的像素個(gè)數(shù)根據(jù)設(shè)置的直線的角度而不同。
估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L將表示相關(guān)性的檢測(cè)信息提供給最小誤差角度選擇單元413。例如，估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L將像素值之差的歸一化的和提供給最小誤差角度選擇單元413。
接著，將描述在由活度信息表示的數(shù)據(jù)連續(xù)性的角度是在0度到45度和135度到180度中的任意值的情況下，像素選擇單元421-1到像素選擇單元421-L的處理。
像素選擇單元421-1到像素選擇單元421-L設(shè)置在0到45度或135度到180度的范圍中、經(jīng)過(guò)關(guān)注像素并具有彼此不同的預(yù)定角度的直線，其中以表示空間方向X的軸線為參考軸線。
像素選擇單元421-1到像素選擇單元421-L，在包括關(guān)注像素的一水平行像素中選擇在關(guān)注像素左側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、在關(guān)注像素右側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、以及選擇像素作為一組。
像素選擇單元421-1到像素選擇單元421-L在距離包括關(guān)注像素的水平行像素上方和下方的、在垂直方向上以像素為參考并離該像素為預(yù)定距離的水平行像素中選擇位于最接近每個(gè)角度的設(shè)置直線的像素，并從選擇像素的一行水平行像素中，選擇在選擇像素左側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、在選擇像素右側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素以及選擇的像素作為一組像素。
也就是說(shuō)，像素選擇單元421-1到像素選擇單元421-L選擇對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素作為像素組。像素選擇單元421-1到像素選擇單元421-L選擇對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素組。
像素選擇單元421-1將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-1，并且像素選擇單元421-2將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-2。同樣，像素選擇單元421-3到像素選擇單元421-L的每一個(gè)將選擇的像素組提供給估計(jì)誤差計(jì)算單元422-3到估計(jì)誤差計(jì)算單元422-L的每個(gè)。
估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L檢測(cè)從像素選擇單元421-1到像素選擇單元421-L中的每個(gè)提供的多組中在相應(yīng)位置上的像素的像素值的相關(guān)性。
估計(jì)誤差計(jì)算單元422-1到估計(jì)誤差計(jì)算單元422-L將表示相關(guān)性的檢測(cè)信息提供給最小誤差角度選擇單元413。
接著，將參考圖93中的流程圖描述利用具有圖81所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101進(jìn)行的對(duì)應(yīng)于在步驟S101中的數(shù)據(jù)連續(xù)性檢測(cè)的處理。
步驟S421和步驟S422的處理與步驟S401和步驟S402的處理相同，因此省略對(duì)其的描述。
在步驟S423中，對(duì)于對(duì)應(yīng)于在步驟S422中的處理中檢測(cè)的活度的范圍中的每個(gè)角度，數(shù)據(jù)檢測(cè)單元402從包括關(guān)注像素的像素行中選擇以關(guān)注像素為中心的、對(duì)應(yīng)于角度范圍的預(yù)定多個(gè)像素作為像素組。例如，數(shù)據(jù)選擇單元402從屬于像素的垂直行或水平行的像素中選擇由設(shè)置直線的角度范圍確定的個(gè)數(shù)、在關(guān)注像素的上方或左側(cè)、在關(guān)注像素的下方或右側(cè)的像素以及關(guān)注像素作為像素組。
在步驟S424，對(duì)于根據(jù)在步驟S422的處理中檢測(cè)的活度的范圍中的每個(gè)預(yù)定角度，數(shù)據(jù)檢測(cè)單元402從對(duì)應(yīng)于角度范圍的預(yù)定個(gè)數(shù)的像素行中選擇對(duì)應(yīng)于角度范圍的預(yù)定個(gè)數(shù)的像素作為像素組。例如，數(shù)據(jù)選擇單元402設(shè)置具有預(yù)定范圍角度的、經(jīng)過(guò)關(guān)注像素的直線，其中以表示空間方向X的軸線為參考軸線，選擇最接近直線、同時(shí)在水平方向或垂直方向上距離關(guān)注像素為根據(jù)設(shè)置直線的角度范圍的預(yù)定范圍的像素，并選擇在選擇像素的上方或左側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、在像素的下方或右側(cè)的對(duì)應(yīng)于設(shè)置直線的角度范圍的個(gè)數(shù)的像素、以及最接近選擇直線的像素作為像素組。數(shù)據(jù)檢測(cè)單元402選擇每個(gè)角度的像素組。
數(shù)據(jù)選擇單元402將選擇的像素提供給誤差估計(jì)單元403。
在步驟S425中，誤差估計(jì)單元403計(jì)算以關(guān)注像素為中心的像素組與為每個(gè)角度選擇的像素組之間的相關(guān)性。例如，誤差估計(jì)單元403計(jì)算包括關(guān)注像素的像素組的像素的像素值與在其它組的相應(yīng)位置的像素的像素值之差的絕對(duì)值的和，并用像素值之差的絕對(duì)值的和除以所述其它組的像素的個(gè)數(shù)，從而計(jì)算相關(guān)性。
可以這樣設(shè)置，其中根據(jù)為每個(gè)角度選擇的像素組之間的互相關(guān)性檢測(cè)數(shù)據(jù)連續(xù)性的角度。
誤差估計(jì)單元403將表示計(jì)算的相關(guān)性的信息提供給連續(xù)性方向推導(dǎo)單元404。
步驟S426和步驟S427與步驟S406和步驟S407的處理相同，因此省略對(duì)其的描述。
從而，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以更精密并準(zhǔn)確地檢測(cè)基于圖像數(shù)據(jù)中的參考軸線的數(shù)據(jù)連續(xù)性角度，其對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性。利用具有圖81所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，在數(shù)據(jù)連續(xù)性角度為約45度的情況下，可以尤其估計(jì)其上被投影了細(xì)線圖像的更多像素的相關(guān)性，從而可以更精確地檢測(cè)數(shù)據(jù)連續(xù)性的角度。
注意，可以這樣設(shè)置，同樣利用具有圖81所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，其中對(duì)于特定關(guān)注像素檢測(cè)輸入圖像的空間方向中的活度，所述關(guān)注像素是關(guān)注幀中的關(guān)注像素，并從根據(jù)空間角度范圍確定的一定個(gè)數(shù)的在一垂直行或一水平行上的像素組，選取對(duì)應(yīng)于空間角度范圍的個(gè)數(shù)的像素，根據(jù)檢測(cè)的活度，對(duì)于基于關(guān)注像素和在空間方向中的參考軸線的每個(gè)角度和移動(dòng)矢量，從關(guān)注幀和在時(shí)間方向上在關(guān)注幀之前和之后的幀中檢測(cè)選取像素組的相關(guān)性，并根據(jù)相關(guān)性檢測(cè)在輸入圖像中的時(shí)間方向和空間方向上的數(shù)據(jù)連續(xù)性角度。
圖94是示出數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)的方框圖。
利用具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，對(duì)于作為關(guān)注像素的像素，選取由以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及每個(gè)由圍繞關(guān)注像素的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊，檢測(cè)以預(yù)定像素為中心的塊與周圍塊的相關(guān)性，并且根據(jù)相關(guān)性，檢測(cè)輸入圖像中基于參考軸的數(shù)據(jù)連續(xù)性角度。
數(shù)據(jù)檢測(cè)單元441隨后從輸入圖像的像素中選擇關(guān)注像素，選取由以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及由關(guān)注像素周圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊，并將選取的塊提供給誤差估計(jì)單元442。
例如，數(shù)據(jù)選擇單元441對(duì)于基于關(guān)注像素和參考軸的每個(gè)預(yù)定角度范圍，選取由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的塊，以及由在關(guān)注像素周圍的5×5個(gè)像素構(gòu)成的兩個(gè)塊。
誤差估計(jì)單元442檢測(cè)從數(shù)據(jù)選擇單元441提供的以關(guān)注像素為中心的塊與在關(guān)注像素周圍的塊的相關(guān)性，并將表示檢測(cè)的相關(guān)性的相關(guān)性信息提供給連續(xù)性方向推導(dǎo)單元443。
例如，誤差估計(jì)單元442檢測(cè)相對(duì)于每個(gè)角度的由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的塊的像素值與對(duì)應(yīng)于一個(gè)角度范圍的由5×5個(gè)像素構(gòu)成的兩個(gè)塊的像素值的相關(guān)性。
根據(jù)從誤差估計(jì)單元442提供的相關(guān)性信息，從具有最大相關(guān)性的在關(guān)注像素周圍的塊的位置，連續(xù)性方向推導(dǎo)單元443檢測(cè)輸入圖像中基于參考軸的數(shù)據(jù)連續(xù)性的角度，所述連續(xù)性的角度對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性，并輸出表示角度的數(shù)據(jù)連續(xù)性信息。例如，連續(xù)性方向推導(dǎo)單元443根據(jù)從誤差根據(jù)單元442提供的相關(guān)性信息，檢測(cè)與由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的塊具有最大相關(guān)性的、由關(guān)注像素周圍的5×5個(gè)像素構(gòu)成的兩個(gè)塊的角度范圍，作為連續(xù)性數(shù)據(jù)的角度，并輸出表示檢測(cè)的角度的數(shù)據(jù)連續(xù)性信息。
圖95為示出圖94所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101的更詳細(xì)結(jié)構(gòu)的方框圖。
數(shù)據(jù)選擇單元441包括像素選擇單元461-1到像素選擇單元461-L。誤差估計(jì)單元442包括估計(jì)誤差計(jì)算單元462-1到估計(jì)誤差計(jì)算單元462-L。連續(xù)性方向推導(dǎo)單元443包括最小誤差角度選擇單元463。
例如，數(shù)據(jù)選擇單元441包括像素選擇單元461-1到像素選擇單元461-8。誤差估計(jì)單元442包括估計(jì)誤差計(jì)算單元462-1到估計(jì)誤差計(jì)算單元462-8。
每個(gè)像素選擇單元461-1到像素選擇單元461-8選取由以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及由根據(jù)基于關(guān)注像素和參考軸的預(yù)定角度范圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的兩個(gè)塊。
圖96描述了由像素選擇單元461-1到像素選擇單元461-L選取的5×5個(gè)像素塊的實(shí)例。圖96的中心位置表示關(guān)注像素的位置。
注意，5×5像素塊只是一個(gè)實(shí)例，但是在塊中包括的像素的個(gè)數(shù)并不限制本發(fā)明。
例如，像素選擇單元461-1選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于0度到18.4度和161.6度到180度，選取以從關(guān)注像素向右平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由A表示)、選取以從關(guān)注像素向左平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由A’表示)。像素選擇單元461-1將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-1。
像素選擇單元461-2選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于18.4度到33.7度的角度范圍，選取以從關(guān)注像素向右平移10個(gè)像素、向上平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由B表示)、選取以從關(guān)注像素向左平移10個(gè)像素、向下平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由B’表示)。像素選擇單元461-2將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-2。
像素選擇單元461-3選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于33.7度到56.3度的角度范圍，選取以從關(guān)注像素向右平移5個(gè)像素、向上平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由C表示)、選取以從關(guān)注像素向左平移5個(gè)像素、向下平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由C’表示)。像素選擇單元461-3將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-3。
像素選擇單元461-4選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于56.3度到71.6度的角度范圍，選取以從關(guān)注像素向右平移5個(gè)像素、向上平移10個(gè)像素的像素為中心的5×5像素塊(圖96中由D表示)、選取以從關(guān)注像素向左平移5個(gè)像素、向下平移10個(gè)像素的像素為中心的5×5像素塊(圖96中由D’表示)。像素選擇單元461-4將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-4。
像素選擇單元461-5選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于71.6度到108.4度的角度范圍，選取以從關(guān)注像素向上平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由E表示)、選取以從關(guān)注像素向下平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由E’表示)。像素選擇單元461-5將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-5。
像素選擇單元461-6選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于108.4度到123.7度的角度范圍，選取以從關(guān)注像素向左平移5個(gè)像素、向上平移10個(gè)像素的像素為中心的5×5像素塊(圖96中由F表示)、選取以從關(guān)注像素向右平移5個(gè)像素、向下平移10個(gè)像素的像素為中心的5×5像素塊(圖96中由F’表示)。像素選擇單元461-6將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-6。
像素選擇單元461-7選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于123.7度到146.3度的角度范圍，選取以從關(guān)注像素向左平移5個(gè)像素、向上平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由G表示)、選取以從關(guān)注像素向右平移5個(gè)像素、向下平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由G’表示)。像素選擇單元461-7將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-7。
像素選擇單元461-8選取以關(guān)注像素為中心的5×5像素塊，并對(duì)應(yīng)于146.3度到161.6度的角度范圍，選取以從關(guān)注像素向左平移10個(gè)像素、向上平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由H表示)、選取以從關(guān)注像素向右平移10個(gè)像素、向下平移5個(gè)像素的像素為中心的5×5像素塊(圖96中由H’表示)。像素選擇單元461-8將選取的三個(gè)5×5像素塊提供給估計(jì)誤差計(jì)算單元462-8。
下文中，將由以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊稱為關(guān)注塊。
下文中，將由對(duì)應(yīng)于基于關(guān)注像素和參考軸的預(yù)定角度范圍的預(yù)定個(gè)數(shù)的像素稱為參考?jí)K。
這樣，例如，像素選擇單元461-1到像素選擇單元461-8從以關(guān)注像素為中心的25×25個(gè)像素的范圍中選取關(guān)注塊和參考?jí)K。
估計(jì)誤差計(jì)算單元462-1到估計(jì)誤差計(jì)算單元462-L檢測(cè)關(guān)注塊與從像素選擇單元461-1到像素選擇單元461-L提供的兩個(gè)參考?jí)K之間的相關(guān)性，并將表示檢測(cè)的相關(guān)性的相關(guān)性信息提供給最小誤差角度選擇單元463。
例如，估計(jì)誤差計(jì)算單元462-1對(duì)于由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的關(guān)注塊、以及對(duì)應(yīng)于0度到18.4度和161.6到180.8度獲取的、以從關(guān)注像素向右平移5個(gè)像素的像素為中心的5×5像素參考?jí)K，計(jì)算關(guān)注塊中的像素的像素值與參考?jí)K中的像素的像素值之差的絕對(duì)值。
在該情況下，如圖97所示，為了在計(jì)算像素值之差的絕對(duì)值中使用關(guān)注像素的像素值，以關(guān)注塊的中心像素與參考?jí)K的中心像素重疊的位置作為參考，估計(jì)誤差計(jì)算單元462-1計(jì)算在這樣的情況下重疊的位置上的像素像素值之差的絕對(duì)值，在所述情況中，將關(guān)注塊的位置對(duì)于參考?jí)K向左平移兩個(gè)像素或向右平移兩個(gè)像素的任一個(gè)，并向上平移兩個(gè)像素或向下平移兩個(gè)像素的任一個(gè)。這表示在關(guān)注塊和參考?jí)K的25種位置中的相應(yīng)位置上的像素的像素值之差的絕對(duì)值。換句話說(shuō)，在計(jì)算像素值之差的絕對(duì)值的情況中，由相對(duì)移動(dòng)的關(guān)注塊和參考?jí)K構(gòu)成的范圍為9×9個(gè)像素。
在圖97中，方塊表示像素，A表示參考?jí)K，B表示關(guān)注塊。在圖97中，深色線表示關(guān)注像素。也就是說(shuō)，圖97示出了將關(guān)注塊對(duì)于參考?jí)K向右平移兩個(gè)像素并向上平移一個(gè)像素的情況。
另外，估計(jì)誤差計(jì)算單元462-1對(duì)于由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的關(guān)注塊、以及對(duì)應(yīng)于0度到18.4度和161.6到180.8度選取的、以從關(guān)注像素向左平移5個(gè)像素的像素為中心的5×5像素參考?jí)K，計(jì)算關(guān)注塊中的像素的像素值與參考?jí)K中的像素的像素值之差的絕對(duì)值。
估計(jì)誤差計(jì)算單元462-1然后獲得已經(jīng)計(jì)算的差的絕對(duì)值之和，并將差的絕對(duì)值之和提供給最小誤差角度選擇單元463作為表示相關(guān)性的相關(guān)性信息。
估計(jì)誤差計(jì)算單元462-2對(duì)于由5×5個(gè)像素構(gòu)成的關(guān)注塊、以及對(duì)應(yīng)于18.4度到33.7以選取的兩個(gè)5×5像素參考?jí)K，計(jì)算像素值之差的絕對(duì)值，并還計(jì)算已經(jīng)算出的差的絕對(duì)值的和。估計(jì)誤差計(jì)算單元462-2將算出的差的絕對(duì)值之和提供給最小誤差角度選擇對(duì)于463作為表示相關(guān)性的相關(guān)性信息。
同樣，估計(jì)誤差計(jì)算單元462-3到估計(jì)誤差計(jì)算單元462-8對(duì)于5×5個(gè)像素構(gòu)成的關(guān)注塊、以及對(duì)應(yīng)于預(yù)定角度范圍選取的兩個(gè)5×5像素參考?jí)K，計(jì)算像素值之差的絕對(duì)值，并還計(jì)算已經(jīng)算出的差的絕對(duì)值的和。估計(jì)誤差計(jì)算單元462-3到估計(jì)誤差計(jì)算單元462-8每個(gè)將差的絕對(duì)值之和提供給最小誤差角度選擇單元463作為表示相關(guān)性的相關(guān)性信息。
最小誤差角度選擇單元463檢測(cè)對(duì)應(yīng)于在這樣的參考?jí)K位置上的兩個(gè)參考?jí)K的角度作為數(shù)據(jù)連續(xù)性角度，在所示位置上，從估計(jì)誤差計(jì)算單元462-1到估計(jì)誤差計(jì)算單元462-8提供的作為相關(guān)性信息的像素值之差的絕對(duì)值的和中獲得為表示最強(qiáng)相關(guān)性的最小值，并且，所述單元463輸出表示檢測(cè)的角度的數(shù)據(jù)連續(xù)性信息。
現(xiàn)在將描述參考?jí)K的位置和數(shù)據(jù)連續(xù)性的角度范圍之間的關(guān)系。
在用n階一維多項(xiàng)式近似用于模擬現(xiàn)實(shí)世界信號(hào)的模擬函數(shù)f(x)的情況中，可以將模擬函數(shù)f(x)表達(dá)為公式(30)。
公式(30) 在由模擬函數(shù)f(x)模擬的現(xiàn)實(shí)世界1的信號(hào)的波形具有與空間方向Y的特定梯度(角度)時(shí)，由通過(guò)將公式(30)中的x取為x+γy而獲得的公式(31)表達(dá)用于模擬現(xiàn)實(shí)世界1的信號(hào)的模擬函數(shù)f(x，y)。
公式(31) γ表示在空間方向X中的位置變化與在空間方向Y中的位置變化的比值。下文中，將γ稱為平移量。
圖98示出了，在關(guān)注像素的位置與角度θ為0度的直線之間在空間方向X上的距離為0，即直線經(jīng)過(guò)關(guān)注像素的情況下，從關(guān)注像素的周圍像素的位置到在空間方向X中具有角度θ的直線的距離。這里，像素的位置是像素的中心。另外，在所述位置在直線左側(cè)的情況下，位置與直線之間的距離由負(fù)值表示，在所述位置在直線右側(cè)的情況下，位置與直線之間的距離由正值表示。
例如，在關(guān)注像素右側(cè)的相鄰像素的位置，即其中在空間方向X上的坐標(biāo)x增1，與具有角度θ的直線在空間方向X上的距離為1，以及，在關(guān)注像素左側(cè)的相鄰像素的位置，即其中在空間方向X上的坐標(biāo)x減1，與具有角度θ的直線在空間方向X上的距離為-1。在關(guān)注像素上方的相鄰像素的位置，即其中在空間方向Y上的坐標(biāo)y增1，與具有角度θ的直線在空間方向X上的距離為-γ，以及，在關(guān)注像素下方的相鄰像素的位置，即其中在空間方向Y上的坐標(biāo)y減1，與具有角度θ的直線在空間方向X上的距離為γ。
在角度θ大于45度但小于90度的情況下，平移量γ大于0但小于1，平移量γ和角度θ之間存在關(guān)系式γ＝1/tanθ。圖99示出了平移量γ和角度θ之間的關(guān)系。
現(xiàn)在，注意關(guān)注像素附近的像素的位置與經(jīng)過(guò)關(guān)注像素并具有角度θ的直線之間在空間方向X上的距離相對(duì)于平移量γ的變化的變化。
圖100示出了關(guān)注像素附近的像素的位置與經(jīng)過(guò)關(guān)注像素并具有角度θ的直線之間在空間方向X上的距離相對(duì)于平移量γ的圖。在圖100中，朝向右上方的單點(diǎn)虛線表示在其底部與關(guān)注像素相鄰的像素的位置與直線在空間方向X上的距離相對(duì)于平移量γ。朝向左下方的單點(diǎn)虛線表示在其上部與關(guān)注像素相鄰的像素的位置與直線在空間方向X上相對(duì)于平移量γ的距離。
在圖100中，朝向右上方的兩點(diǎn)虛線表示在關(guān)注像素的向下兩個(gè)像素、向左一個(gè)像素的像素的位置與直線在空間方向X上相對(duì)于平移量γ的距離。朝向左下方的兩點(diǎn)虛線表示在關(guān)注像素向上兩個(gè)像素、向右一個(gè)像素的像素的位置與直線在空間方向X上相對(duì)于平移量γ的距離。
在圖100中，朝向右上方的三點(diǎn)虛線表示在關(guān)注像素的向下一個(gè)像素、向左一個(gè)像素的像素的位置與直線在空間方向X上相對(duì)于平移量γ的距離。朝向左下方的兩點(diǎn)虛線表示在關(guān)注像素向上一個(gè)像素、向右一個(gè)像素的像素的位置與直線在空間方向X上相對(duì)于平移量γ的距離。
從圖100中可以找出對(duì)于平移量γ的具有最小距離的像素。
也就是說(shuō)，在平移量γ為0到1/3的情況下，從在上部相鄰于關(guān)注像素的像素和在下部相鄰于關(guān)注像素的像素到直線的距離是最小的。也就是說(shuō)，在角度θ是71.6度到90度的情況下，從在上部相鄰于關(guān)注像素的像素和在下部相鄰于關(guān)注像素的像素到直線的距離是最小的。
在平移量γ為1/3到2/3的情況下，從在關(guān)注像素上方兩個(gè)像素、右側(cè)一個(gè)像素的像素和在關(guān)注像素下方兩個(gè)像素、左側(cè)一個(gè)像素的像素到直線的距離是最小的。也就是說(shuō)，在角度θ是56.3度到71.6度的情況下，從在關(guān)注像素上方兩個(gè)像素、右側(cè)一個(gè)像素的像素和在關(guān)注像素下方兩個(gè)像素、左側(cè)一個(gè)像素的像素到直線的距離是最小的。
在平移量γ為2/3到1的情況下，從在關(guān)注像素上方一個(gè)像素、右側(cè)一個(gè)像素的像素和在關(guān)注像素下方一個(gè)像素、左側(cè)一個(gè)像素的像素到直線的距離是最小的。也就是說(shuō)，在角度θ是45度到56.3度的情況下，從在關(guān)注像素上方一個(gè)像素、右側(cè)一個(gè)像素的像素和在關(guān)注像素下方一個(gè)像素、左側(cè)一個(gè)像素的像素到直線的距離是最小的。
角度θ范圍在0度到45度的直線與像素之間的關(guān)系也可以同樣考慮。
可以用關(guān)注塊和參考?jí)K代替圖98中的像素，以考慮參考?jí)K和直線在空間方向X上的距離。
圖101示出了這樣的參考?jí)K，其與經(jīng)過(guò)關(guān)注像素并具有角度θ的直線相對(duì)于空間方向X的軸線的距離最小。
圖101中的A到H和A’到H’表示圖96中的參考?jí)KA到H和A’到H’。
也就是說(shuō)，在具有在0度到18.4度和161.6到180.8度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KA和A’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KA和A’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KA和A’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在0度到18.4度和161.6到180.0度的范圍內(nèi)。
在具有在18.4度到33.7度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KB和B’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KB和B’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KB和B’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在18.4度到33.7度的范圍內(nèi)。
在具有在33.7度到56.3度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到 H’之間的在空間方向X上的距離中，直線與參考?jí)KC和C’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KC和C’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KC和C’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在33.7度到56.3度的范圍內(nèi)。
在具有在56.3度到71.6度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KD和D’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KD和D’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KD和D’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在56.3度到71.6度的范圍內(nèi)。
在具有在71.6度到108.4度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KE和E’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KE和E’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KE和E’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在71.6度到108.4度的范圍內(nèi)。
在具有在108.4度到123.7度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KF和F’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KF和F’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KF和F’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在108.4度到123.7度的范圍內(nèi)。
在具有在123.7度到146.3度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KG和G’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KG和G’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KG和G’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在123.7度到146.3度的范圍內(nèi)。
在具有在146.3度到161.6度之間的任一角度θ、并經(jīng)過(guò)關(guān)注像素以空間方向X軸作為參考的直線與每個(gè)參考?jí)KA到H和A’到H’之間的在空間方向X上的距離中，直線與參考?jí)KH和H’之間的距離是最小的。因此，反之，在關(guān)注塊與參考?jí)KH和H’之間的相關(guān)性最大的情況下，這意味著，在連接關(guān)注塊和參考?jí)KH和H’的方向上重復(fù)出現(xiàn)相同的特定特征，因此可以認(rèn)為，數(shù)據(jù)連續(xù)性的角度在146.3度到161.6度的范圍內(nèi)。
這樣，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以根據(jù)關(guān)注塊與參考?jí)K之間的相關(guān)性檢測(cè)數(shù)據(jù)連續(xù)性的角度。
注意，利用具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，可以這樣設(shè)置，其中將數(shù)據(jù)連續(xù)性的角度范圍輸出為數(shù)據(jù)連續(xù)性信息，或這樣設(shè)置，其中將表示數(shù)據(jù)連續(xù)性的角度范圍的代表值輸出為數(shù)據(jù)連續(xù)性信息。例如，可以將數(shù)據(jù)連續(xù)性的角度范圍的中間值用作代表值。
另外，利用具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，通過(guò)使用關(guān)注塊與參考?jí)K之間的最大相關(guān)性，允許減半要檢測(cè)的數(shù)據(jù)連續(xù)性的角度范圍，即，要檢測(cè)的數(shù)據(jù)連續(xù)性的角度分辨率被兩倍了。
例如，當(dāng)關(guān)注塊與參考?jí)KE和E’之間的相關(guān)性最大，最小誤差角度選擇單元463比較參考?jí)KD和D’與關(guān)注塊的相關(guān)性與參考?jí)KF和F’與關(guān)注塊的相關(guān)性，如圖102所示。在參考?jí)KD和D’與關(guān)注塊之間的相關(guān)性比參考?jí)KF和F’與關(guān)注塊的相關(guān)性大的情況下，則最小誤差角度選擇單元463將71.6度到90度的范圍設(shè)置為數(shù)據(jù)連續(xù)性的角度?；蛘?，在該情況下，最小誤差角度選擇單元463可以將81度設(shè)置為數(shù)據(jù)連續(xù)性角度的代表值。
在參考?jí)KF和F’與關(guān)注塊之間的相關(guān)性比參考?jí)KD和D’與關(guān)注塊的相關(guān)性大的情況下，則最小誤差角度選擇單元463將90度到108.4度的范圍設(shè)置為數(shù)據(jù)連續(xù)性的角度。或者，在該情況下，最小誤差角度選擇單元463可以將99度設(shè)置為數(shù)據(jù)連續(xù)性角度的代表值。
最小誤差角度選擇單元463利用相同的處理對(duì)于其它角度同樣可以減半將要檢測(cè)的數(shù)據(jù)連續(xù)性角度的范圍。
參考圖102所述的技術(shù)還稱為簡(jiǎn)化16方向檢測(cè)。
從而，具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101利用簡(jiǎn)單的處理，可以在更窄的范圍中檢測(cè)數(shù)據(jù)連續(xù)性的角度。
接著，將參考圖103中所示的流程圖，描述對(duì)應(yīng)于在步驟S101中的處理利用具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)連續(xù)性的處理。
在步驟S441中，數(shù)據(jù)選擇單元441從輸入圖像選擇關(guān)注像素。例如，數(shù)據(jù)選擇單元441以柵格掃描的順序從輸入圖像中選擇關(guān)注像素。
在步驟S442中，數(shù)據(jù)選擇單元441選擇由以關(guān)注像素為中心的預(yù)定個(gè)數(shù)的像素構(gòu)成的關(guān)注塊。例如，數(shù)據(jù)選擇單元441選擇由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的關(guān)注塊。
在步驟S443中，數(shù)據(jù)選擇單元441選擇由在關(guān)注像素周圍的預(yù)定位置的預(yù)定個(gè)數(shù)的像素構(gòu)成的參考?jí)K。數(shù)據(jù)選擇單元441對(duì)于每個(gè)基于關(guān)注像素和參考軸的預(yù)定角度范圍，選擇由以基于關(guān)注塊的尺寸的預(yù)定位置為中心的5×5個(gè)像素構(gòu)成的參考?jí)K。
數(shù)據(jù)選擇單元441將關(guān)注塊和參考?jí)K提供給誤差估計(jì)單元442。
在步驟S444，誤差估計(jì)單元442對(duì)于每個(gè)基于關(guān)注像素和參考軸的預(yù)定角度范圍，計(jì)算關(guān)注塊和對(duì)應(yīng)于角度范圍的參考?jí)K之間的相關(guān)性。誤差估計(jì)單元442將表示計(jì)算的相關(guān)性的相關(guān)性信息提供給連續(xù)性方向推導(dǎo)單元443。
在步驟S445中，連續(xù)性方向推導(dǎo)單元443從具有與關(guān)注塊的最大相關(guān)性的參考?jí)K的位置，檢測(cè)輸入圖像中基于參考軸的數(shù)據(jù)連續(xù)性的角度，其對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)的圖像連續(xù)性。
連續(xù)性方向推導(dǎo)單元443將表示檢測(cè)的數(shù)據(jù)連續(xù)性角度的數(shù)據(jù)連續(xù)性信息輸出。
在步驟S446，數(shù)據(jù)選擇單元441確定對(duì)所有像素的處理是否已經(jīng)結(jié)束，在確定對(duì)所有像素的處理仍未結(jié)束的情況下，該流程返回步驟S441，從仍未被選的像素中選擇關(guān)注的像素作為關(guān)注像素，并重復(fù)上述處理。
在步驟S446中，在確定對(duì)所有像素的處理已經(jīng)結(jié)束的情況下，該處理結(jié)束。
從而，具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101利用更容易的處理，可以檢測(cè)圖像數(shù)據(jù)中基于參考軸的數(shù)據(jù)連續(xù)性角度，其對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性。另外，具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以利用輸入圖像中較窄范圍的像素的像素值檢測(cè)數(shù)據(jù)連續(xù)性的角度，從而，即使在輸入圖像中存在噪音等情況下，仍可以更精確地檢測(cè)數(shù)據(jù)連續(xù)性的角度。
注意，對(duì)于具有圖94所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，可以這樣設(shè)置，其中，對(duì)于關(guān)注幀中的關(guān)注像素，除了選取以關(guān)注像素為中心、并由關(guān)注幀中的預(yù)定個(gè)數(shù)的像素構(gòu)成的塊，還可以選取每個(gè)由以關(guān)注像素周圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊、從在時(shí)間方向上在關(guān)注幀之前或之后的幀中，以對(duì)應(yīng)于關(guān)注像素的位置上的像素為中心、并由預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及每個(gè)由以對(duì)應(yīng)于關(guān)注像素的位置上的像素周圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊，并檢測(cè)以關(guān)注像素為中心的塊與在空間方向和時(shí)間方向上在其周圍的塊的相關(guān)性，從而基于相關(guān)性，在時(shí)間方向和空間方向上檢測(cè)輸入圖像的數(shù)據(jù)連續(xù)性的角度。
例如，如圖104所示，數(shù)據(jù)選擇單元441依次從作為關(guān)注幀的幀#n中選擇關(guān)注像素、并從幀#n中選取以關(guān)注像素為中心、并由預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及每個(gè)由以關(guān)注像素周圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊。另外，數(shù)據(jù)選擇單元441從#n-1和幀#n+1中選取以對(duì)應(yīng)于關(guān)注像素的位置的位置上的像素為中心、并由預(yù)定個(gè)數(shù)的像素構(gòu)成的塊、以及每個(gè)由對(duì)應(yīng)于關(guān)注像素的位置上的像素周圍的預(yù)定個(gè)數(shù)的像素構(gòu)成的多個(gè)塊。數(shù)據(jù)選擇單元441將選取的塊提供給誤差估計(jì)單元442。
誤差估計(jì)單元442檢測(cè)從數(shù)據(jù)選擇單元441提供的以關(guān)注像素為中心的塊與在時(shí)間方向和空間方向上其周圍的塊的相關(guān)性，并將表示檢測(cè)的相關(guān)性的相關(guān)性信息提供給連續(xù)性方向推導(dǎo)單元443。根據(jù)從誤差估計(jì)單元442提供的相關(guān)性信息，連續(xù)性方向推導(dǎo)單元443從具有最大相關(guān)性的塊在空間方向或時(shí)間方向上的位置，檢測(cè)輸入圖像的數(shù)據(jù)連續(xù)性在空間方向或時(shí)間方向上的角度，其對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)連續(xù)性，并輸出表示角度的數(shù)據(jù)連續(xù)性信息。
另外，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以根據(jù)輸入圖像的分量信號(hào)進(jìn)行數(shù)據(jù)連續(xù)性檢測(cè)處理。
圖105示出數(shù)據(jù)連續(xù)性檢測(cè)單元101根據(jù)輸入圖像的分量信號(hào)進(jìn)行數(shù)據(jù)連續(xù)性檢測(cè)處理的結(jié)構(gòu)的方框圖。
每個(gè)數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3具有與上述或下文描述的數(shù)據(jù)連續(xù)性檢測(cè)單元101相同的結(jié)構(gòu)，并且在輸入圖像的每個(gè)分量信號(hào)上執(zhí)行上述或下述的處理。
數(shù)據(jù)連續(xù)性檢測(cè)單元481-1基于輸入圖像的第一分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從第一分量信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。例如，數(shù)據(jù)連續(xù)性檢測(cè)單元481-1基于輸入圖像的亮信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從亮信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。
數(shù)據(jù)連續(xù)性檢測(cè)單元481-2基于輸入圖像的第二分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從第二分量信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。例如，數(shù)據(jù)連續(xù)性檢測(cè)單元481-2基于作為輸入圖像的顏色差異信號(hào)的I信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從I信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。
數(shù)據(jù)連續(xù)性檢測(cè)單元481-3基于輸入圖像的第三分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從第三分量信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。例如，數(shù)據(jù)連續(xù)性檢測(cè)單元481-1基于作為輸入圖像的顏色差異信號(hào)的Q信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性，并將表示從Q信號(hào)檢測(cè)的數(shù)據(jù)的連續(xù)性的信息提供給確定單元482。
確定單元482基于從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的表示數(shù)據(jù)連續(xù)性的信息，檢測(cè)輸入圖像的最終數(shù)據(jù)連續(xù)性，并輸出表示檢測(cè)的數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性信息。
例如，確定單元482在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中的取最大數(shù)據(jù)連續(xù)性取作為最終數(shù)據(jù)連續(xù)性?；蛘撸_定單元482在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中的最小數(shù)據(jù)連續(xù)性取作為最終數(shù)據(jù)連續(xù)性。
另外，例如，確定單元482在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中的平均數(shù)據(jù)連續(xù)性取作為最終數(shù)據(jù)連續(xù)性。確定單元482可以被設(shè)置為在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中的中點(diǎn)(中間值)取作為最終數(shù)據(jù)連續(xù)性。
另外，例如，基于外部輸入的信號(hào)，確定單元482在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中取由外部輸入信號(hào)指定的數(shù)據(jù)連續(xù)性作為最終數(shù)據(jù)連續(xù)性。確定單元482可以被設(shè)置為在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的從每個(gè)分量信號(hào)檢測(cè)的數(shù)據(jù)連續(xù)性中取預(yù)定數(shù)據(jù)連續(xù)性作為最終數(shù)據(jù)連續(xù)性。
而且，確定單元482可以被設(shè)置為基于在從數(shù)據(jù)連續(xù)性檢測(cè)單元481-1到481-3提供的檢測(cè)分量信號(hào)的數(shù)據(jù)連續(xù)性的處理中獲得的誤差確定最終數(shù)據(jù)連續(xù)性。下面將描述可以在檢測(cè)數(shù)據(jù)連續(xù)性的處理中獲得的誤差。
圖106示出了用于基于輸入圖像的分量信號(hào)檢測(cè)數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)。
分量處理單元491根據(jù)輸入圖像的分量信號(hào)產(chǎn)生一個(gè)信號(hào)，并將其提供給數(shù)據(jù)連續(xù)性檢測(cè)單元492。例如，分量處理單元491累加在屏幕的相同位置上的像素的輸入圖像的每個(gè)分量信號(hào)的值，從而產(chǎn)生由分量信號(hào)的和構(gòu)成的信號(hào)。
例如，分量處理單元491對(duì)于在屏幕上的相同位置上的像素，對(duì)輸入圖像的每個(gè)分量信號(hào)的像素值取平均，從而產(chǎn)生由分量信號(hào)的像素值的平均值構(gòu)成的信號(hào)。
數(shù)據(jù)連續(xù)性檢測(cè)單元492基于從分量處理單元491提供的信號(hào)輸入，檢測(cè)輸入圖像中的數(shù)據(jù)連續(xù)性，并輸出表示檢測(cè)的數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性信息。
數(shù)據(jù)連續(xù)性檢測(cè)單元492具有與上述或下文所述的數(shù)據(jù)連續(xù)性檢測(cè)單元101相同的結(jié)構(gòu)，并在從分量處理單元491提供的信號(hào)上執(zhí)行上述或下文描述的處理。
從而，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)基于分量信號(hào)檢測(cè)輸入圖像的數(shù)據(jù)連續(xù)性而可以檢測(cè)數(shù)據(jù)連續(xù)性，從而即使在輸入圖像中存在噪音等情況下，仍可以更精確地檢測(cè)數(shù)據(jù)連續(xù)性。例如，數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)基于分量信號(hào)檢測(cè)輸入圖像的數(shù)據(jù)連續(xù)性，可以更精確地檢測(cè)數(shù)據(jù)連續(xù)性角度(梯度)、混合比例、以及具有數(shù)據(jù)連續(xù)性的區(qū)域。
注意，分量信號(hào)不限于亮信號(hào)和顏色差異信號(hào)，而可以是其它格式的其它分量信號(hào)，例如RGB信號(hào)、YUV信號(hào)等。
如上所述，在其中投影現(xiàn)實(shí)世界的亮信號(hào)的設(shè)置中，檢測(cè)數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度，所述連續(xù)性對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的連續(xù)性，其具有現(xiàn)實(shí)世界的光信號(hào)的部分丟失的連續(xù)性的圖像數(shù)據(jù)中被丟失的部分，并通過(guò)基于檢測(cè)的角度估計(jì)現(xiàn)實(shí)世界光信號(hào)的已經(jīng)丟失的連續(xù)性估計(jì)光信號(hào)，從而可以獲得更精確的處理結(jié)果。
另外，在這樣的設(shè)置中，其中在圖像數(shù)據(jù)中選取多組由每個(gè)角度的預(yù)定個(gè)數(shù)的像素構(gòu)成的像素組，所述角度基于關(guān)注像素和參考軸，所述圖像數(shù)據(jù)通過(guò)將現(xiàn)實(shí)世界的光信號(hào)投影到多個(gè)檢測(cè)元件上獲得，在所述圖像中已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，檢測(cè)選取的每個(gè)角度的多組中對(duì)應(yīng)位置上的像素的像素值的相關(guān)性，基于檢測(cè)的相關(guān)性，檢測(cè)對(duì)應(yīng)于現(xiàn)實(shí)世界光信號(hào)的已經(jīng)丟失的連續(xù)性的圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性基于參考軸的角度，以及基于檢測(cè)的圖像數(shù)據(jù)中基于參考軸的數(shù)據(jù)連續(xù)性的角度，通過(guò)估計(jì)現(xiàn)實(shí)世界光信號(hào)的已丟失的連續(xù)性而估計(jì)光信號(hào)，從而可以獲得對(duì)現(xiàn)實(shí)世界事件的更精確的處理結(jié)果。
圖107是示出數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)的方框圖。
利用如圖107所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101，投影現(xiàn)實(shí)世界的光信號(hào)，選擇對(duì)應(yīng)于關(guān)注像素的區(qū)域，關(guān)注像素是圖像數(shù)據(jù)中的關(guān)注的像素，圖像數(shù)據(jù)中已丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，以及基于相關(guān)性值設(shè)置像素的分?jǐn)?shù)，其中關(guān)注像素的像素值與屬于被選區(qū)域的像素的像素值的相關(guān)性值等于或大于閾值，從而檢測(cè)屬于該區(qū)域的像素的分?jǐn)?shù)，并基于檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，從而檢測(cè)對(duì)應(yīng)于現(xiàn)實(shí)世界光信號(hào)的丟失的連續(xù)性的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性。
幀存儲(chǔ)器501將輸入圖像存儲(chǔ)在增加的幀中，并將構(gòu)成存儲(chǔ)的幀的像素的像素值提供給像素獲取單元502。幀存儲(chǔ)器501通過(guò)將輸入圖像的當(dāng)前幀存儲(chǔ)在一頁(yè)中，將存儲(chǔ)在另一頁(yè)中的在當(dāng)前幀前一幀(過(guò)去)的幀的像素的像素值提供給像素獲取單元502，并在輸入圖像的幀的切換時(shí)間點(diǎn)上切換頁(yè)，可以將作為移動(dòng)圖像的輸入圖像的幀的像素的像素值提供給像素獲取單元502。
像素獲取單元502基于從幀存儲(chǔ)器501提供的像素的像素值選擇作為關(guān)注的像素的關(guān)注像素，并選擇由對(duì)應(yīng)于所述關(guān)注像素的預(yù)定個(gè)數(shù)的像素構(gòu)成的區(qū)域。例如，像素獲取單元502選擇由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的區(qū)域。
像素獲取單元502選擇的區(qū)域的尺寸不限制本發(fā)明。
像素獲取單元502獲取選擇區(qū)域的像素的像素值，并將選擇區(qū)域的像素的像素值提供給分?jǐn)?shù)檢測(cè)單元503。
基于從像素獲取單元502提供的選擇區(qū)域的像素的像素值，分?jǐn)?shù)檢測(cè)單元503通過(guò)基于相關(guān)性設(shè)置像素的分?jǐn)?shù)，檢測(cè)屬于所述區(qū)域的像素的分?jǐn)?shù)，其中關(guān)注像素的像素值與屬于選擇區(qū)域的像素的像素值的相關(guān)性值等于或大于閾值。下面將描述在分?jǐn)?shù)檢測(cè)單元503中基于相關(guān)性設(shè)置分?jǐn)?shù)的處理的細(xì)節(jié)。
分?jǐn)?shù)檢測(cè)單元503將檢測(cè)的分?jǐn)?shù)提供給回歸線計(jì)算單元504。
回歸線計(jì)算單元504基于從分?jǐn)?shù)檢測(cè)單元503提供的分?jǐn)?shù)計(jì)算回歸線。例如，回歸線計(jì)算單元504基于從分?jǐn)?shù)檢測(cè)單元503提供的分?jǐn)?shù)計(jì)算回歸線。另外，回歸線計(jì)算單元504基于從分?jǐn)?shù)檢測(cè)單元503提供的分?jǐn)?shù)計(jì)算作為預(yù)定曲線的回歸線?；貧w線計(jì)算單元504將表示計(jì)算的回歸線和計(jì)算結(jié)果的計(jì)算結(jié)果參數(shù)提供給角度計(jì)算單元505。計(jì)算參數(shù)表示的計(jì)算結(jié)果包括下文描述的變分和共變分。
角度計(jì)算單元505基于由從回歸線計(jì)算單元504提供的計(jì)算結(jié)果參數(shù)表示的回歸線，檢測(cè)作為圖像數(shù)據(jù)的輸入圖像的數(shù)據(jù)的連續(xù)性，其對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的已經(jīng)丟失的連續(xù)性。例如，基于由從回歸線計(jì)算單元504提供的計(jì)算結(jié)果參數(shù)表示的回歸線，角度計(jì)算單元505檢測(cè)輸入圖像的數(shù)據(jù)連續(xù)性基于參考軸的角度，其對(duì)應(yīng)于現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性。角度計(jì)算單元505輸出表示輸入圖像中的數(shù)據(jù)連續(xù)性基于參考軸的角度的數(shù)據(jù)連續(xù)性信息。
下面將參考圖108到圖110描述輸入圖像中的數(shù)據(jù)連續(xù)性基于參考軸的角度。
在圖108中，每個(gè)圓形表示單個(gè)像素，雙圓形表示關(guān)注像素。圓形的顏色示意性地表示了像素的像素值，其中較亮色表示更大的像素值。例如，黑色表示30的像素值，而白色表示120的像素值。
在人觀察由圖108所示的像素構(gòu)成的圖像的情況下，看圖像的人可以識(shí)別出直線在對(duì)角右上的方向上延伸。
一旦輸入有圖8所示的像素構(gòu)成的輸入圖像，具有圖107所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)出直線在對(duì)角右上的方向上延伸。
圖109示出了具有數(shù)值的圖108所示的像素的像素值。每個(gè)圓形表示一個(gè)像素，圓形中的數(shù)值表示像素值。
例如，關(guān)注像素的像素值為120，在關(guān)注像素上方的像素的像素值為100，以及在關(guān)注像素下方的像素的像素值為100。另外，在關(guān)注像素左側(cè)的像素的像素值為80，在關(guān)注像素的右側(cè)的像素的像素值為80。同樣，在關(guān)注像素左下的像素的像素值為100，以及在關(guān)注像素右上的像素的像素值為100。在關(guān)注像素左上的像素的像素值為30，以及在關(guān)注像素右下的像素的像素值為30。
具有圖107所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101對(duì)圖109所示的輸入圖像畫出回歸線A，如圖110所示。
圖111示出了輸入圖像中的像素值的變化與像素在空間方向中的位置的關(guān)系以及回歸線A。在具有數(shù)據(jù)連續(xù)性的區(qū)域中的像素的像素值以例如峰形變化，如圖111所示。
具有圖107所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)最小二乘法畫出回歸線A，其中利用具有數(shù)據(jù)連續(xù)性的區(qū)域中的像素的像素值進(jìn)行加權(quán)。由數(shù)據(jù)連續(xù)性檢測(cè)單元101獲得的回歸線A表示在關(guān)注像素附近的數(shù)據(jù)連續(xù)性。
如圖112所示，通過(guò)獲得回歸線A與表示例如作為參考軸的空間方向X的軸線之間的角度θ，而檢測(cè)輸入圖像中的數(shù)據(jù)連續(xù)性基于參考軸的角度。
接著，將描述利用具有圖107所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101計(jì)算回歸線的具體方法。
例如，根據(jù)從像素獲取單元502提供的由以關(guān)注像素為中心、在空間方向X上的9個(gè)像素和在空間方向Y上的5個(gè)像素共45個(gè)像素構(gòu)成的區(qū)域中的像素的像素值，分?jǐn)?shù)檢測(cè)單元503檢測(cè)對(duì)應(yīng)于屬于該區(qū)域的像素的坐標(biāo)的分?jǐn)?shù)。
例如，分?jǐn)?shù)檢測(cè)單元503通過(guò)利用計(jì)算公式(32)計(jì)算分?jǐn)?shù)，檢測(cè)屬于該區(qū)域的坐標(biāo)(xi，yj)的分?jǐn)?shù)Li，j。
公式(32) 在公式(32)中，P0，0表示關(guān)注像素的像素值，Pi，j表示在坐標(biāo)(xi，yj)上的像素的像素值。Th表示閾值。
i表示在該區(qū)域中的空間方向X上的像素的序數(shù)，其中1≤i≤k。j表示在該區(qū)域中的空間方向Y上的像素的序數(shù)，其中1≤j≤l。
k表示在該區(qū)域中的空間方向X上的像素的個(gè)數(shù)，以及l(fā)表示在該區(qū)域中的空間方向Y上的像素的個(gè)數(shù)。例如，在由空間方向X上9個(gè)像素、在空間方向Y上5個(gè)像素的總共45個(gè)像素構(gòu)成的區(qū)域的情況下，K為9，而l為5。
圖113示出了由像素獲取單元502獲取的區(qū)域的實(shí)例。在圖113中，打點(diǎn)的方形每個(gè)表示一個(gè)像素。
例如，如圖113所示，在由以關(guān)注像素為中心、在空間方向X上9個(gè)像素、在空間方向Y上5個(gè)像素的區(qū)域中，其中關(guān)注像素的坐標(biāo)(x，y)為(0，0)的情況下，則在該區(qū)域左上的像素的坐標(biāo)(x，y)為(-4，2)，該區(qū)域右上的像素的坐標(biāo)(x，y)為(4，2)，該區(qū)域左下的像素的坐標(biāo)(x，y)為(-4，-2)以及該區(qū)域右下的像素的坐標(biāo)(x，y)為(4，-2)。
該區(qū)域左側(cè)的像素在空間方向X上的序數(shù)i為1，而該區(qū)域右側(cè)的像素在空間方向X上的序數(shù)i為9。該區(qū)域下側(cè)的像素在空間方向Y上的序數(shù)j為1，而該區(qū)域上側(cè)的像素在空間方向Y上的序數(shù)i為5。
也就是說(shuō)，以關(guān)注像素的坐標(biāo)(x5，y3)為(0，0)，在區(qū)域的左上的像素的坐標(biāo)(x1，y5)為(-4，2)，該區(qū)域右上的像素的坐標(biāo)(x9，y5)為(4，2)，該區(qū)域左下的像素的坐標(biāo)(x1，y1)為(-4，-2)以及該區(qū)域右下的像素的坐標(biāo)(x9，y1)為(4，-2)。
分?jǐn)?shù)檢測(cè)單元503利用公式(32)計(jì)算關(guān)注像素的像素值與屬于該區(qū)域的像素的像素值之差的絕對(duì)值作為相關(guān)值，從而這不限于輸入圖像中已經(jīng)被投影現(xiàn)實(shí)世界1的細(xì)線圖像的具有數(shù)據(jù)連續(xù)性的區(qū)域，而是，可以檢測(cè)表示在具有雙值邊緣數(shù)據(jù)連續(xù)性的輸入圖像的區(qū)域中的像素值的空間變化特征的分?jǐn)?shù)，其中已經(jīng)投影具有直邊緣、并且與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像。
注意，分?jǐn)?shù)檢測(cè)單元503不限于像素的像素值之差的絕對(duì)值，而可以被設(shè)置為檢測(cè)基于其它相關(guān)性值的分?jǐn)?shù)，例如相關(guān)性系數(shù)等。
另外，在公式(32)中應(yīng)用指數(shù)函數(shù)是為了放大對(duì)于像素值之差的分?jǐn)?shù)差，并可以設(shè)置為其中應(yīng)用其它函數(shù)。
閾值Th可以是可選值。例如，閾值Th可以是30。
這樣，分?jǐn)?shù)檢測(cè)單元503基于相關(guān)性值，利用屬于選擇區(qū)域的像素的像素值設(shè)置具有相關(guān)性的像素的分?jǐn)?shù)，從而檢測(cè)屬于該區(qū)域的像素的分?jǐn)?shù)。
另外，分?jǐn)?shù)檢測(cè)單元503進(jìn)行公式(33)的計(jì)算，從而計(jì)算分?jǐn)?shù)，從而檢測(cè)屬于所述區(qū)域的坐標(biāo)(xi，yj)的分?jǐn)?shù)Li，j。
公式(33) 當(dāng)坐標(biāo)(xi，yj)的分?jǐn)?shù)為L(zhǎng)i，j(1≤i≤k，1≤j≤l)時(shí)，空間方向Y上的坐標(biāo)xi的分?jǐn)?shù)Li，j的和qi由公式(34)表達(dá)，而空間方向X上的坐標(biāo)yj的分?jǐn)?shù)Li，j的和hj由公式(35)表達(dá)。
公式(34) 公式(35) 分?jǐn)?shù)的和u由公式(36)表達(dá)。
公式(36) 在圖113所示的實(shí)例中，關(guān)注像素的坐標(biāo)的分?jǐn)?shù)L5，3為3，在關(guān)注像素上方的像素的坐標(biāo)的分?jǐn)?shù)L5，4為1，在關(guān)注像素的右上的像素的坐標(biāo)的分?jǐn)?shù)L6，4為4，在關(guān)注像素上方兩個(gè)像素、右側(cè)一個(gè)像素的像素的坐標(biāo)L6，5為2，在關(guān)注像素的上方兩個(gè)像素、右側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L7，5為3。另外，在關(guān)注像素的下方的像素的坐標(biāo)的分?jǐn)?shù)L5，2為2，在關(guān)注像素左側(cè)像素的坐標(biāo)的分?jǐn)?shù)L4，3為1，在關(guān)注像素的左下像素的坐標(biāo)的分?jǐn)?shù)L4，2為3，在關(guān)注像素的下方一個(gè)像素、左側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L3，2為2，以及，在關(guān)注像素的下方兩個(gè)像素、左側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L3，1為4。在如圖113所示的區(qū)域中的所有其它像素的分?jǐn)?shù)為0，并且省略對(duì)圖113中分?jǐn)?shù)為0的像素的描述。
在如圖113所示的區(qū)域中，由于其中i為1的所有分?jǐn)?shù)L為0，空間方向Y上的分?jǐn)?shù)的和q1為0，以及由于其中i為2的所有分?jǐn)?shù)L為0，q2為0。由于L3，2為2和L3，1為4，因此q3為6。同樣，q4為4、q5為6、q6為6、q7為3、q8為0、以及q9為0。
在如圖113所示的區(qū)域中，由于L3，1為4，空間方向X上的分?jǐn)?shù)的和h1為4。以及由于L3，2為2、L4，2為3、以及L5，2為2，因此h2為7。同樣，h3為4，h4為5、以及h5為5。
在如圖113所示的區(qū)域中，分?jǐn)?shù)的和u為25。
在空間方向Y上的分?jǐn)?shù)Li，j的和qi與坐標(biāo)xi相乘的結(jié)果的和Tx由公式(37)示出。
公式(37) 在空間方向X上的分?jǐn)?shù)Li，j的和hj與坐標(biāo)yj相乘的結(jié)果的和Ty由公式(38)示出。
公式(38) 例如，在如圖113所示的區(qū)域中，q1為0，x1為-4，所以q1x1為0，而q2為0，x2為-3，所以q2x2為0。同樣，q3為6，x3為-2，所以q3x3為-12；q4為4，x4為-1，所以q4x4為-4；q5為6，x5為0，所以q5x5為0；q6為6，x6為1，所以q6x6為6；q7為3，x7為2，所以q7x7為6；q8為0，x8為3，所以q8x8為0；以及q9為0，x9為4，所以q9x9為0。因此，作為q1x1到q9x9的和的Tx為-4。
例如，在如圖113所示的區(qū)域中，h1為4，y1為-2，所以h1y1為-8，而h2為7，y2為-1，所以h2y2為-7。同樣，h3為4，y3為0，所以h3y3為0；h4為5，y4為1，所以h4y4為5；以及，h5為5，y5為2，所以h5y5為10。因此，作為h1y1到h5y5的和的Ty為0。
另外，Qi被如下定義。
公式(39) x的變分Sx由公式(40)表達(dá)。
公式(40) y的變分Sy由公式(41)表達(dá)。
公式(41) 共變分Sxy由公式(42)表達(dá)。
公式(42) 考慮獲得在公式(43)中所示的基本回歸線。
y＝ax+b公式(43) 通過(guò)最小二乘法可以如下獲得的梯度a和截距b。
公式(44) 公式(45) 然而，應(yīng)該注意，用于獲得校正回歸線的條件是，分?jǐn)?shù)Li，j相對(duì)于回歸線的分布為高斯分布。為了實(shí)現(xiàn)該另一方法，需要分?jǐn)?shù)檢測(cè)單元503將該區(qū)域的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j，使得分?jǐn)?shù)Li，j具有高斯分布。
回歸線計(jì)算單元504進(jìn)行公式(44)和公式(45)的計(jì)算以獲得回歸線。
角度計(jì)算單元505進(jìn)行公式(46)的計(jì)算以將回歸線的梯度a轉(zhuǎn)換為與作為參考軸的空間方向X上的軸線的角度θ。
θ＝tan-1(a)公式(46) 現(xiàn)在，在回歸線計(jì)算單元504計(jì)算為預(yù)定曲線的回歸線的情況中，角度計(jì)算單元505在關(guān)注像素的位置上獲得回歸線對(duì)于參考軸的角度θ。
這里，在檢測(cè)每個(gè)像素的數(shù)據(jù)連續(xù)性中不需要截距b。因此考慮獲得如公式(47)所示的基本回歸線。
y＝ax公式(47) 在該情況下，回歸線計(jì)算單元504可以通過(guò)最小二乘法獲得如公式(48)的梯度a。
公式(48) 下面將參考如圖114所示的流程描述對(duì)應(yīng)于步驟S101中的處理的、利用具有如圖107所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)連續(xù)性的處理。
在步驟S501中，像素獲取單元502從仍未被選作為關(guān)注像素的像素中選擇關(guān)注像素。例如，像素獲取單元502以柵格掃描順序選擇關(guān)注像素。在步驟S502中，像素獲取單元502獲取在以關(guān)注像素為中心的區(qū)域中包括的像素的像素值，并將獲取的像素的像素值提供給分?jǐn)?shù)檢測(cè)單元503。例如，像素獲取單元502選擇以關(guān)注像素為中心的9×5個(gè)像素構(gòu)成區(qū)域，并獲取在該區(qū)域中包括的像素的像素值。
在步驟S503，分?jǐn)?shù)檢測(cè)單元503將包括在所述區(qū)域中的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)，從而檢測(cè)分?jǐn)?shù)。例如，分?jǐn)?shù)檢測(cè)單元503通過(guò)如公式(32)所示的計(jì)算將像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j。在該情況下，分?jǐn)?shù)檢測(cè)單元503將該區(qū)域的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j，使得分?jǐn)?shù)Li，j具有高斯分布。分?jǐn)?shù)檢測(cè)單元503將轉(zhuǎn)換的分?jǐn)?shù)提供給回歸線計(jì)算單元504。
在步驟S504中，回歸線計(jì)算單元504基于從分?jǐn)?shù)檢測(cè)單元503提供的分?jǐn)?shù)獲得回歸線。例如，回歸線計(jì)算單元504基于從分?jǐn)?shù)檢測(cè)單元503提供的分?jǐn)?shù)獲得回歸線。尤其是，回歸線計(jì)算單元504通過(guò)執(zhí)行如公式(44)和公式(45)中所示的計(jì)算獲得回歸線?；貧w線計(jì)算單元504將表示作為計(jì)算結(jié)果的回歸線的計(jì)算結(jié)果參數(shù)提供給角度計(jì)算單元505。
在步驟S505中，角度計(jì)算單元505計(jì)算回歸線對(duì)于參考軸的角度，從而檢測(cè)圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，其對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的已經(jīng)丟失的連續(xù)性。例如，角度計(jì)算單元505通過(guò)公式(46)的計(jì)算，將回歸線的梯度a轉(zhuǎn)換為對(duì)于作為參考軸的空間方向X的角度θ。
注意，可以這樣設(shè)置，其中角度計(jì)算單元505輸出表示梯度a的數(shù)據(jù)連續(xù)性信息。
在步驟S506中，像素獲取單元503確定對(duì)所有像素的處理是否已經(jīng)結(jié)束，在確定對(duì)所有像素的處理仍未結(jié)束時(shí)，流程返回S501，從仍未被選作為關(guān)注像素的像素中選擇關(guān)注像素，并重復(fù)上述處理。
在確定在步驟S506中對(duì)所有像素的處理已經(jīng)結(jié)束的情況下，該處理結(jié)束。
這樣，具有如圖107所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以檢測(cè)圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性基于參考軸的角度，其對(duì)應(yīng)于現(xiàn)實(shí)世界1的光信號(hào)的丟失的連續(xù)性。
尤其是，具有圖107所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101基于在較窄區(qū)域中的像素的像素值，可以獲得比像素更小的角度。
如上所述，在其中投影現(xiàn)實(shí)世界的光信號(hào)的情況下，選擇對(duì)應(yīng)于關(guān)注像素的區(qū)域，所述關(guān)注像素是在圖像數(shù)據(jù)中關(guān)注的像素，圖像數(shù)據(jù)中已丟失現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，以及設(shè)置像素的基于相關(guān)性值的分?jǐn)?shù)，其中關(guān)注像素的像素值與屬于選擇區(qū)域的像素的像素值的相關(guān)性值等于或大于閾值，從而檢測(cè)屬于該區(qū)域的像素的分?jǐn)?shù)，并且基于檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，從而檢測(cè)圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，其對(duì)應(yīng)于現(xiàn)實(shí)世界光信號(hào)的已丟失的連續(xù)性，隨后通過(guò)基于圖像數(shù)據(jù)的檢測(cè)數(shù)據(jù)估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)，從而可以獲得對(duì)現(xiàn)實(shí)世界中的事件的更精確的處理結(jié)果。
注意，利用具有圖107所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，可以這樣設(shè)置，其中將在包括關(guān)注像素的關(guān)注幀的預(yù)定區(qū)域中的、在時(shí)間方向上在關(guān)注幀之前或之后的幀中的像素的像素值轉(zhuǎn)換成分?jǐn)?shù)，并基于分?jǐn)?shù)獲得回歸平面，從而可以同時(shí)檢測(cè)數(shù)據(jù)連續(xù)性在空間方向中的角度和時(shí)間方向的數(shù)據(jù)連續(xù)性的角度。
圖115是示出數(shù)據(jù)連續(xù)性檢測(cè)單元101的另一結(jié)構(gòu)的方框圖。
利用具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101，投影現(xiàn)實(shí)世界的光信號(hào)，選擇對(duì)應(yīng)于關(guān)注像素的區(qū)域，所述關(guān)注像素是圖像數(shù)據(jù)中的關(guān)注的像素，所述圖像數(shù)據(jù)已丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，并基于相關(guān)性值設(shè)置像素的分?jǐn)?shù)，其中關(guān)注像素的像素值與屬于選擇區(qū)域的像素的像素值的相關(guān)性值等于或大于閾值，從而檢測(cè)屬于該區(qū)域的像素的分?jǐn)?shù)，并且基于檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，從而檢測(cè)圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，其對(duì)應(yīng)于現(xiàn)實(shí)世界光信號(hào)的已丟失的連續(xù)性。
幀存儲(chǔ)器601將輸入圖像存儲(chǔ)在增加的幀中，并將構(gòu)成存儲(chǔ)的幀的像素的像素值提供給像素獲取單元602。幀存儲(chǔ)器601通過(guò)將輸入圖像的當(dāng)前幀存儲(chǔ)在一頁(yè)中，將存儲(chǔ)在另一頁(yè)中的在當(dāng)前幀前一幀(過(guò)去)的幀的像素的像素值提供給像素獲取單元602，并在輸入圖像的幀的切換時(shí)間點(diǎn)上切換頁(yè)，可以將為移動(dòng)圖像的輸入圖像的幀的像素的像素值提供給像素獲取單元602。
像素獲取單元602基于從幀存儲(chǔ)器601提供的像素的像素值選擇作為關(guān)注的像素的關(guān)注像素，并選擇由對(duì)應(yīng)于選擇的關(guān)注像素的預(yù)定個(gè)數(shù)的像素構(gòu)成的區(qū)域。例如，像素獲取單元602選擇由以關(guān)注像素為中心的5×5個(gè)像素構(gòu)成的區(qū)域。
像素獲取單元602選擇的區(qū)域的尺寸不限制本發(fā)明。
像素獲取單元602獲取選擇區(qū)域的像素的像素值，并將選擇區(qū)域的像素的像素值提供給分?jǐn)?shù)檢測(cè)單元603。
基于從像素獲取單元602提供的選擇區(qū)域的像素的像素值，分?jǐn)?shù)檢測(cè)單元603通過(guò)基于相關(guān)性設(shè)置像素的分?jǐn)?shù)，檢測(cè)屬于所述區(qū)域的像素的分?jǐn)?shù)，其中關(guān)注像素的像素值與屬于選擇區(qū)域的像素的像素值的相關(guān)性值等于或大于閾值。下面將描述在分?jǐn)?shù)檢測(cè)單元603中基于相關(guān)性設(shè)置分?jǐn)?shù)的處理的細(xì)節(jié)。
分?jǐn)?shù)檢測(cè)單元603將檢測(cè)的分?jǐn)?shù)提供給回歸線計(jì)算單元604。
回歸線計(jì)算單元604基于從分?jǐn)?shù)檢測(cè)單元603提供的分?jǐn)?shù)計(jì)算回歸線。例如，回歸線計(jì)算單元604基于從分?jǐn)?shù)檢測(cè)單元603提供的分?jǐn)?shù)計(jì)算回歸線。另外，回歸線計(jì)算單元604基于從分?jǐn)?shù)檢測(cè)單元603提供的分?jǐn)?shù)計(jì)算為預(yù)定曲線的回歸線。回歸線計(jì)算單元604將表示計(jì)算的回歸線和計(jì)算結(jié)果的計(jì)算結(jié)果參數(shù)提供給區(qū)域計(jì)算單元605。計(jì)算參數(shù)表示的計(jì)算結(jié)果包括下文描述的變分和共變分。
區(qū)域計(jì)算單元605基于由從回歸線計(jì)算單元604提供的計(jì)算結(jié)果參數(shù)表示的回歸線，檢測(cè)具有作為圖像數(shù)據(jù)的輸入圖像的數(shù)據(jù)的連續(xù)性的區(qū)域，其對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的已經(jīng)丟失的連續(xù)性。
圖116示出了輸入圖像中的像素值的變化與像素在空間方向中的像素位置的關(guān)系以及回歸線A。在具有數(shù)據(jù)連續(xù)性的區(qū)域中的像素的像素值以例如峰形變化，如圖116所示。
具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101通過(guò)最小二乘法畫出回歸線A，其中利用具有數(shù)據(jù)連續(xù)性的區(qū)域中的像素的像素值進(jìn)行計(jì)量。由數(shù)據(jù)連續(xù)性檢測(cè)單元101獲得的回歸線A表示在關(guān)注像素附近的數(shù)據(jù)連續(xù)性。
畫出回歸線表示采用高斯函數(shù)的近似。如圖117所示，具有圖115所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元通過(guò)獲得例如標(biāo)準(zhǔn)偏差，可以給出數(shù)據(jù)3中的區(qū)域的一般寬度，在數(shù)據(jù)3中已投影細(xì)線的圖像。另外，具有圖115所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元基于相關(guān)性系數(shù)，可以給出數(shù)據(jù)3中的區(qū)域的一般寬度，在數(shù)據(jù)3中已投影細(xì)線的圖像。
接著，將描述利用具有圖115所示的結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101計(jì)算回歸線的具體方法。
根據(jù)從像素獲取單元602提供的由以關(guān)注像素為中心、在空間方向X上的9個(gè)像素和在空間方向Y上的5個(gè)像素共45個(gè)像素構(gòu)成的區(qū)域中的像素的像素值，分?jǐn)?shù)檢測(cè)單元603檢測(cè)對(duì)應(yīng)于屬于該區(qū)域的像素的坐標(biāo)的分?jǐn)?shù)。
例如，分?jǐn)?shù)檢測(cè)單元603通過(guò)利用計(jì)算公式(49)計(jì)算分?jǐn)?shù)，檢測(cè)屬于該區(qū)域的坐標(biāo)(xi，yj)的分?jǐn)?shù)Li，j。
公式(49) 在公式(49)中，P0，0表示關(guān)注像素的像素值，Pi，j表示在坐標(biāo)(xi，yj)上的像素的像素值。Th表示閾值。
i表示在該區(qū)域中的空間方向X上的像素的序數(shù)，其中1≤i≤k。j表示在該區(qū)域中的空間方向Y上的像素的序數(shù)，其中1≤j≤l。
k表示在該區(qū)域中的空間方向X上的像素的個(gè)數(shù)，以及l(fā)表示在該區(qū)域中的空間方向Y上的像素的個(gè)數(shù)。例如，在由空間方向X上9個(gè)像素、在空間方向Y上5個(gè)像素的總共45個(gè)像素構(gòu)成的區(qū)域的情況下，K為9，而l為5。
圖118示出了由像素獲取單元602獲取的區(qū)域的實(shí)例。在圖118中，打點(diǎn)的方形每個(gè)表示一個(gè)像素。
例如，如圖118所示，在由以關(guān)注像素為中心、在空間方向X上9個(gè)像素、在空間方向Y上5個(gè)像素的區(qū)域中，其中關(guān)注像素的坐標(biāo)(x，y)為(0，0)的情況下，則在該區(qū)域左上的像素的坐標(biāo)(x，y)為(-4，2)，該區(qū)域右上的像素的坐標(biāo)(x，y)為(4，2)，該區(qū)域左下的像素的坐標(biāo)(x，y)為(-4，-2)以及該區(qū)域右下的像素的坐標(biāo)(x，y)為(4，-2)。
該區(qū)域左側(cè)的像素在空間方向X上的序數(shù)i為1，而該區(qū)域右側(cè)的像素在空間方向X上的序數(shù)i為9。該區(qū)域下側(cè)的像素在空間方向Y上的序數(shù)j為1，而該區(qū)域上側(cè)的像素在空間方向Y上的序數(shù)i為5。
也就是說(shuō)，以關(guān)注像素的坐標(biāo)(x5，y3)為(0，0)，在區(qū)域的左上的像素的坐標(biāo)(x1，y5)為(-4，2)，該區(qū)域右上的像素的坐標(biāo)(x9，y5)為(4，2)，該區(qū)域左下的像素的坐標(biāo)(x1，y1)為(-4，-2)以及該區(qū)域右下的像素的坐標(biāo)(x9，y1)為(4，-2)。
分?jǐn)?shù)檢測(cè)單元603利用公式(49)計(jì)算關(guān)注像素的像素值與屬于該區(qū)域的像素的像素值之差的絕對(duì)值作為相關(guān)值，從而這不限于輸入圖像中已經(jīng)被投影現(xiàn)實(shí)世界1的細(xì)線圖像的具有數(shù)據(jù)連續(xù)性的區(qū)域，而是，可以檢測(cè)表示在具有雙值邊緣數(shù)據(jù)連續(xù)性的輸入圖像的區(qū)域中的像素值的空間變化特征的分?jǐn)?shù)，其中已經(jīng)投影具有直邊緣、并且與背景有單色差的現(xiàn)實(shí)世界1的對(duì)象的圖像。
注意，分?jǐn)?shù)檢測(cè)單元603不限于像素的像素值之差的絕對(duì)值，而可以被設(shè)置為檢測(cè)基于其它相關(guān)性值的分?jǐn)?shù)，例如相關(guān)性系數(shù)等。
另外，在公式(49)中應(yīng)用指數(shù)函數(shù)是為了放大對(duì)于像素值之差的分?jǐn)?shù)差，并可以設(shè)置為其中應(yīng)用其它函數(shù)。
閾值Th可以是可選值。例如，閾值Th可以是30。
這樣，分?jǐn)?shù)檢測(cè)單元603基于相關(guān)性值，利用屬于選擇區(qū)域的像素的像素值設(shè)置具有等于或大于閾值的相關(guān)性的像素的分?jǐn)?shù)，從而檢測(cè)屬于該區(qū)域的像素的分?jǐn)?shù)。
另外，分?jǐn)?shù)檢測(cè)單元603進(jìn)行公式(50)的計(jì)算，從而計(jì)算分?jǐn)?shù)，從而檢測(cè)屬于所述區(qū)域的坐標(biāo)(xi，yj)的分?jǐn)?shù)Li，j。
公式(50) 當(dāng)坐標(biāo)(xi，yj)的分?jǐn)?shù)為L(zhǎng)i，j(1≤i≤k，1≤j≤l)時(shí)，空間方向Y上的坐標(biāo)xi的分?jǐn)?shù)Li，j的和qi由公式(51)表達(dá)，而空間方向X上的坐標(biāo)yj的分?jǐn)?shù)Li，j的和hj由公式(52)表達(dá)。
公式(51) 公式(52) 分?jǐn)?shù)的和u由公式(53)表達(dá)。
公式(53) 在圖118所示的實(shí)例中，關(guān)注像素的坐標(biāo)的分?jǐn)?shù)L5，3為3，在關(guān)注像素上方的像素的坐標(biāo)的分?jǐn)?shù)L5，4為1，在關(guān)注像素的右上的像素的坐標(biāo)的分?jǐn)?shù)L6，4為4，在關(guān)注像素上方兩個(gè)像素、右側(cè)一個(gè)像素的像素的坐標(biāo)L6，5為2，在關(guān)注像素的上方兩個(gè)像素、右側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L7，5為3。另外，在關(guān)注像素的下方的像素的坐標(biāo)的分?jǐn)?shù)L5，2為2，在關(guān)注像素左側(cè)像素的坐標(biāo)的分?jǐn)?shù)L4，3為1，在關(guān)注像素的左下像素的坐標(biāo)的分?jǐn)?shù)L4，2為3，在關(guān)注像素的下方一個(gè)像素、左側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L3，2為2，以及，在關(guān)注像素的下方兩個(gè)像素、左側(cè)兩個(gè)像素的像素的坐標(biāo)的分?jǐn)?shù)L3，1為4。在如圖118所示的區(qū)域中的所有其它像素的分?jǐn)?shù)為0，并且省略對(duì)圖118中分?jǐn)?shù)為0的像素的描述。
在如圖118所示的區(qū)域中，由于其中i為1的所有分?jǐn)?shù)L為0，空間方向Y上的分?jǐn)?shù)的和q1為0，以及由于其中i為2的所有分?jǐn)?shù)L為0，q2為0。由于L3，2為2和L3，1為4，因此q3為6。同樣，q4為4、q5為6、q6為6、q7為3、q8為0、以及q9為0。
在如圖118所示的區(qū)域中，由于L3，1為4，空間方向X上的分?jǐn)?shù)的和h1為4。以及由于L3，2為2、L4，2為3、以及L5，2為2，因此h2為7。同樣，h3為4，h4為5、以及h5為5。
在如圖118所示的區(qū)域中，分?jǐn)?shù)的和u為25。
在空間方向Y上的分?jǐn)?shù)Li，j的和qi與坐標(biāo)xi相乘的結(jié)果的和Tx由公式(54)示出。
公式(54) 在空間方向X上的分?jǐn)?shù)Li，j的和hj與坐標(biāo)yj相乘的結(jié)果的和Ty由公式(55)示出。
公式(55) 例如，在如圖118所示的區(qū)域中，q1為0，x1為-4，所以q1x1為0，而q2為0，x2為-3，所以q2x2為0。同樣，q3為6，x3為-2，所以q3x3為-12；q4為4，x4為-1，所以q4x4為-4；q5為6，x5為0，所以q5x5為0；q6為6，x6為1，所以q6x6為6；q7為3，x7為2，所以q7x7為6；q8為0，x8為3，所以q8x8為0；以及q9為0，x9為4，所以q9x9為0。因此，作為q1x1到q9x9的和的Tx為-4。
例如，在如圖118所示的區(qū)域中，h1為4，y1為-2，所以h1y1為-8，而h2為7，y2為-1，所以h2y2為-7。同樣，h3為4，y3為0，所以h3y3為0；h4為5，y4為1，所以h4y4為5；以及，h5為5，y5為2，所以h5y5為10。因此，作為h1y1到h5y5的和的Ty為0。
另外，Qi被如下定義。
公式(56) x的變分Sx由公式(57)表達(dá)。
公式(57) y的變分Sy由公式(58)表達(dá)。
公式(58) 共變分Sxy由公式(59)表達(dá)。
公式(59) 考慮獲得在公式(60)中所示的基本回歸線。
y＝ax+b公式(60) 通過(guò)最小二乘法可以如下獲得的梯度a和截距b。
公式(61) 公式(62) 然而，應(yīng)該注意，用于獲得校正回歸線的條件是，分?jǐn)?shù)Li，j相對(duì)于回歸線的分布為高斯分布。為了實(shí)現(xiàn)該另一方法，需要分?jǐn)?shù)檢測(cè)單元603將該區(qū)域的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j，使得分?jǐn)?shù)Li，j具有高斯分布。
回歸線計(jì)算單元604進(jìn)行公式(61)和公式(62)的計(jì)算以獲得回歸線。
另外，在檢測(cè)每個(gè)像素的數(shù)據(jù)連續(xù)性中不需要截距b。因此考慮獲得如公式(63)所示的基本回歸線。
y＝ax公式(63) 在該情況下，回歸線計(jì)算單元604可以通過(guò)最小二乘法獲得如公式(64)的梯度。
公式(64) 利用用于確定具有數(shù)據(jù)連續(xù)性的區(qū)域的第一技術(shù)，使用在公式(60)中示出的對(duì)回歸線的估計(jì)誤差。
利用公式(65)中的計(jì)算獲得y的變分Sy·x。
公式(65) 利用變分通過(guò)公式(66)中的計(jì)算，獲得估計(jì)誤差的分散。
Vy·x＝Sy·x/(u-2) ＝(Sy-aSxy)/(u-2) 公式(66) 因此，下面的表達(dá)式獲得了標(biāo)準(zhǔn)偏差。
公式(67) 然而，在處理其中已經(jīng)投影細(xì)線圖像的區(qū)域的情況中，標(biāo)準(zhǔn)偏差的量等于細(xì)線的寬度，因此不能分類地確定大標(biāo)準(zhǔn)偏差表示區(qū)域不是具有數(shù)據(jù)連續(xù)性的區(qū)域。然而，例如，可以使用表示利用標(biāo)準(zhǔn)偏差檢測(cè)的區(qū)域的信息，以檢測(cè)其中很可能發(fā)生級(jí)別分類調(diào)節(jié)處理失敗的區(qū)域，因?yàn)樵谄渲屑?xì)線較窄的具有數(shù)據(jù)連續(xù)性的區(qū)域的部分中，發(fā)生級(jí)別分類調(diào)節(jié)處理的失敗。
區(qū)域計(jì)算單元605通過(guò)公式(67)中的計(jì)算計(jì)算標(biāo)準(zhǔn)偏差，并例如基于標(biāo)準(zhǔn)偏差，計(jì)算具有數(shù)據(jù)連續(xù)性的輸入圖像的部分。區(qū)域計(jì)算單元605以預(yù)定系數(shù)乘以標(biāo)準(zhǔn)偏差以獲得距離，并取在離回歸線為獲得距離內(nèi)的區(qū)域作為具有數(shù)據(jù)連續(xù)性的區(qū)域。例如，區(qū)域計(jì)算單元605計(jì)算離回歸線在標(biāo)準(zhǔn)偏差距離內(nèi)的區(qū)域作為具有數(shù)據(jù)連續(xù)性的區(qū)域，所述區(qū)域以回歸線為其中心。
利用第二技術(shù)，使用分?jǐn)?shù)相關(guān)性檢測(cè)具有數(shù)據(jù)連續(xù)性的區(qū)域。
通過(guò)公式(68)示出的計(jì)算可以獲得相關(guān)性系數(shù)rxy，其基于x的變分Sx、y的變分Sy、以及共變分Sxy。
公式(68) 相關(guān)性包括正相關(guān)性和負(fù)相關(guān)性，從而區(qū)域計(jì)算單元604獲得相關(guān)性系數(shù)rxy的絕對(duì)值，并確定相關(guān)性系數(shù)rxy的絕對(duì)值越接近1，則相關(guān)性越大。尤其是，區(qū)域計(jì)算單元605比較閾值與相關(guān)性系數(shù)rxy的絕對(duì)值，并檢測(cè)其中相關(guān)性系數(shù)rxy等于或大于閾值的區(qū)域作為具有數(shù)據(jù)連續(xù)性的區(qū)域。
下面將參考如圖119所示的流程圖描述對(duì)應(yīng)于步驟S101中的處理的、利用具有如圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)連續(xù)性的處理。
在步驟S601中，像素獲取單元602從仍未被選作為關(guān)注像素的像素中選擇關(guān)注像素。例如，像素獲取單元602以柵格掃描順序選擇關(guān)注像素。在步驟S602中，像素獲取單元602獲取在以關(guān)注像素為中心的區(qū)域中包括的像素的像素值，并將獲取的像素的像素值提供給分?jǐn)?shù)檢測(cè)單元603。例如，像素獲取單元602選擇以關(guān)注像素為中心的9×5個(gè)像素構(gòu)成區(qū)域，并獲取在該區(qū)域中包括的像素的像素值。
在步驟S603，分?jǐn)?shù)檢測(cè)單元603將包括在所述區(qū)域中的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)，從而檢測(cè)分?jǐn)?shù)。例如，分?jǐn)?shù)檢測(cè)單元603通過(guò)如公式(49)所示的計(jì)算將像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j。在該情況下，分?jǐn)?shù)檢測(cè)單元603將該區(qū)域的像素的像素值轉(zhuǎn)換為分?jǐn)?shù)Li，j，使得分?jǐn)?shù)Li，j具有高斯分布。分?jǐn)?shù)檢測(cè)單元603將轉(zhuǎn)換的分?jǐn)?shù)提供給回歸線計(jì)算單元604。
在步驟S604中，回歸線計(jì)算單元604基于從分?jǐn)?shù)檢測(cè)單元603提供的分?jǐn)?shù)獲得回歸線。例如，回歸線計(jì)算單元604基于從分?jǐn)?shù)檢測(cè)單元603提供的分?jǐn)?shù)獲得回歸線。尤其是，回歸線計(jì)算單元604通過(guò)執(zhí)行如公式(61)和公式(62)中所示的計(jì)算獲得回歸線?；貧w線計(jì)算單元604將表示作為計(jì)算結(jié)果的回歸線的計(jì)算結(jié)果參數(shù)提供給區(qū)域計(jì)算單元605。
在步驟S605中，區(qū)域計(jì)算單元605計(jì)算關(guān)于回歸線的標(biāo)準(zhǔn)偏差。例如，可以這樣設(shè)置，其中區(qū)域計(jì)算單元605通過(guò)公式(67)中的計(jì)算，計(jì)算關(guān)于回歸線的標(biāo)準(zhǔn)偏差。
在步驟S606中，區(qū)域計(jì)算單元605從標(biāo)準(zhǔn)偏差確定具有數(shù)據(jù)連續(xù)性的輸入圖像的區(qū)域。例如，區(qū)域計(jì)算單元605用預(yù)定系數(shù)乘標(biāo)準(zhǔn)偏差以獲得距離，并確定離回歸線在獲得的距離內(nèi)的區(qū)域作為具有數(shù)據(jù)連續(xù)性的區(qū)域。
區(qū)域計(jì)算單元605輸出表示具有數(shù)據(jù)連續(xù)性的區(qū)域的數(shù)據(jù)連續(xù)性信息。
在步驟S607中，像素獲取單元603確定對(duì)所有像素的處理是否已經(jīng)結(jié)束，在確定對(duì)所有像素的處理仍未結(jié)束時(shí)，流程返回S601，從仍未被選作為關(guān)注像素的像素中選擇關(guān)注像素，并重復(fù)上述處理。
在確定在步驟S607中對(duì)所有像素的處理已經(jīng)結(jié)束的情況下，該處理結(jié)束。
下面將參考圖120所示的流程圖描述利用具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)數(shù)據(jù)連續(xù)性的對(duì)應(yīng)于步驟S101中的處理的其它處理。步驟S621到步驟S624的處理與步驟S601到步驟S604的處理相同，從而省略對(duì)其的描述。
在步驟S625中，區(qū)域計(jì)算單元605計(jì)算關(guān)于回歸線的相關(guān)系數(shù)。例如，區(qū)域計(jì)算單元605通過(guò)公式(68)的計(jì)算，計(jì)算關(guān)于回歸線的相關(guān)系數(shù)。
在步驟S626中，區(qū)域計(jì)算單元605從相關(guān)性系數(shù)確定具有數(shù)據(jù)連續(xù)性的輸入圖像的區(qū)域。例如，區(qū)域計(jì)算單元605比較相關(guān)性系數(shù)的絕對(duì)值與預(yù)先存儲(chǔ)的閾值，并確定其中相關(guān)性系數(shù)的絕對(duì)值等于或大于閾值的區(qū)域作為具有數(shù)據(jù)連續(xù)性的區(qū)域。
區(qū)域計(jì)算單元605輸出表示具有數(shù)據(jù)連續(xù)性的區(qū)域的數(shù)據(jù)連續(xù)性信息。
步驟S627的處理與步驟S607的處理相同，從而省略對(duì)其的描述。
從而，具有圖115所示結(jié)構(gòu)的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以檢測(cè)具有數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù)中的區(qū)域，所述數(shù)據(jù)連續(xù)性對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性。
如上所述，在其中投影了現(xiàn)實(shí)世界的光信號(hào)的情況中，選擇對(duì)應(yīng)于關(guān)注像素的區(qū)域，所述關(guān)注像素是圖像數(shù)據(jù)中的關(guān)注的像素，所述圖像數(shù)據(jù)已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，以及基于相關(guān)性值設(shè)置像素的分?jǐn)?shù)，其中所述關(guān)注像素的像素值與屬于選擇區(qū)域的像素的像素值的相關(guān)值等于或大于閾值，從而檢測(cè)屬于所述區(qū)域的像素的分?jǐn)?shù)，并基于檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，從而檢測(cè)具有圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性的區(qū)域，所述數(shù)據(jù)連續(xù)性對(duì)應(yīng)于已經(jīng)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性，以及隨后通過(guò)基于檢測(cè)的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性估計(jì)丟失的現(xiàn)實(shí)世界的光信號(hào)的連續(xù)性，而估計(jì)光信號(hào)，從而可以獲得對(duì)現(xiàn)實(shí)世界中的事件的更精確的處理結(jié)果。
圖121示出了另一種形式的數(shù)據(jù)連續(xù)性檢測(cè)單元101的結(jié)構(gòu)。
圖121所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101包括數(shù)據(jù)選擇單元701、數(shù)據(jù)補(bǔ)充單元702、以及連續(xù)性方向推導(dǎo)單元703。
數(shù)據(jù)選擇單元701取輸入圖像的每個(gè)像素作為關(guān)注像素，選擇對(duì)應(yīng)于每個(gè)關(guān)注像素的像素的像素值數(shù)據(jù)，以及將其輸出到數(shù)據(jù)補(bǔ)充單元702。
數(shù)據(jù)補(bǔ)充單元702基于從數(shù)據(jù)選擇單元701輸入的數(shù)據(jù)進(jìn)行最小二乘法補(bǔ)充計(jì)算，并將補(bǔ)充計(jì)算結(jié)果輸出給連續(xù)性方向推導(dǎo)單元703。由數(shù)據(jù)補(bǔ)充單元702進(jìn)行的補(bǔ)充計(jì)算是關(guān)于在后述最小二乘法計(jì)算中使用的求和項(xiàng)的計(jì)算，可以認(rèn)為其計(jì)算結(jié)果是圖像數(shù)據(jù)的用于檢測(cè)角度連續(xù)性的特征。
連續(xù)性方向推導(dǎo)單元703從由數(shù)據(jù)補(bǔ)充單元702輸入的補(bǔ)充計(jì)算結(jié)果計(jì)算連續(xù)性方向，即數(shù)據(jù)連續(xù)性具有的相對(duì)于參考軸的角度(例如細(xì)線或二值邊緣的梯度或方向)，并將其輸出作為數(shù)據(jù)連續(xù)性信息。
接著，將參考圖122概括描述數(shù)據(jù)連續(xù)性檢測(cè)單元101在檢測(cè)連續(xù)性(方向或角度)中的操作。圖122和圖123中對(duì)應(yīng)于圖6和圖7中的部分以相同的符號(hào)表示，并在下文適當(dāng)?shù)厥÷詫?duì)其的描述。
如圖122所示，通過(guò)光學(xué)系統(tǒng)141(例如由透鏡、LPF(低通濾光器)等組成)將現(xiàn)實(shí)世界1的信號(hào)(例如圖像)成像到傳感器2(例如CCD(電荷耦合裝置))或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)的感光面上。傳感器2由例如CCD或CMOS的具有積分特性的器件構(gòu)成。由于這樣的結(jié)構(gòu)，從由傳感器2輸出的數(shù)據(jù)3獲得的圖像與現(xiàn)實(shí)世界1的圖像不同(與現(xiàn)實(shí)世界1的圖像的差異發(fā)生)。
因此，如圖123所示，數(shù)據(jù)連續(xù)性檢測(cè)單元101使用模型705通過(guò)模擬表達(dá)并從模擬表達(dá)中提取數(shù)據(jù)連續(xù)性，而以模擬方式描述現(xiàn)實(shí)世界1。模型705由例如N個(gè)變量表達(dá)。更精確的說(shuō)，模型705模擬(描述)現(xiàn)實(shí)世界1的信號(hào)。
為了預(yù)計(jì)模型705，數(shù)據(jù)連續(xù)性檢測(cè)單元101從數(shù)據(jù)3中選取M塊數(shù)據(jù)706。隨后，由數(shù)據(jù)的連續(xù)性約束模型705。
也就是說(shuō)，模型705模擬現(xiàn)實(shí)世界1的事件(表示事件的信息(信號(hào)))的連續(xù)性，所述現(xiàn)實(shí)世界1具有的連續(xù)性(在預(yù)定維度方向上的不變特征)，在由傳感器2獲得數(shù)據(jù)3時(shí)產(chǎn)生數(shù)據(jù)3中的數(shù)據(jù)連續(xù)性。
現(xiàn)在，在數(shù)據(jù)706的個(gè)數(shù)M為N或更大時(shí)，所述N是模型705的變量個(gè)數(shù)N，可以從M塊數(shù)據(jù)706預(yù)計(jì)由N個(gè)變量表示的模型705。
另外，通過(guò)預(yù)計(jì)模擬(描述)現(xiàn)實(shí)世界1(的信號(hào))的模型705，數(shù)據(jù)連續(xù)性檢測(cè)單元101得出包含在信號(hào)中的數(shù)據(jù)連續(xù)性，所述信號(hào)是作為例如細(xì)線或二值邊緣方向(梯度、或在取預(yù)定方向?yàn)檩S的情況下與該軸的角度)的現(xiàn)實(shí)世界的信息，并將其輸出作為數(shù)據(jù)連續(xù)性信息。
接著，將參考圖124描述數(shù)據(jù)連續(xù)性檢測(cè)單元101，其輸出來(lái)自輸入圖像的細(xì)線的方向(角度)作為數(shù)據(jù)連續(xù)性信息。
數(shù)據(jù)選擇單元701由水平/垂直確定單元711、以及數(shù)據(jù)獲取單元712構(gòu)成。水平/垂直確定單元711從關(guān)注像素與周圍像素的像素值之差確定關(guān)于輸入圖像中的細(xì)線的水平方向的角度是接近水平方向還是接近垂直方向，并將確定結(jié)果輸出給數(shù)據(jù)獲取單元712和數(shù)據(jù)補(bǔ)充單元702。
更具體的說(shuō)，例如，在該技術(shù)中，還可以使用其它技術(shù)。例如，可以使用簡(jiǎn)化的16方向檢測(cè)。如圖125所示，在關(guān)注像素與周圍像素之差(像素之間的像素值之差)中，水平/垂直確定單元711獲得在水平方向上的像素之差的和(活度)(hdiff)與在垂直方向上的像素之差的和(活度)(vdiff)之間的差，并確定是關(guān)注像素和與其在垂直方向上的相鄰像素之間的差之和更大、還是關(guān)注像素和與其在水平方向上的相鄰像素之間的差之和更大。現(xiàn)在，在圖125中，每個(gè)柵格表示一個(gè)像素，并且在圖形中心的像素是關(guān)注像素。另外，圖中由虛線箭頭表示的像素之差是在水平方向上的像素之差，并且其和由hdiff表示。同樣，圖中由實(shí)線箭頭表示的像素之差是在垂直方向上的像素之差，并且其和由vdiff表示。
基于已經(jīng)獲得的在水平方向上的像素的像素值的差之和hdiff和在垂直方向上的像素的像素值的差之和vdiff，在(hidff-vdiff)為正的情況下，這表示在水平方向上的像素的像素值的變化(活度)大于在垂直方向上的，從而在如圖126所示的由θ(0度≤θ≤180度)表示與水平方向的角度的情況中，水平/垂直確定單元711確定像素屬于45度≤θ≤135度的細(xì)線，即接近垂直方向的角度，相反，在(hidff-vdiff)為負(fù)的情況下，這表示在垂直方向上的像素的像素值的變化(活度)更大，從而水平/垂直確定單元711確定像素屬于0度≤θ≤45度或者135度≤θ≤180度的細(xì)線，即接近水平方向的角度(在細(xì)線延伸的方向(角度)上的每個(gè)像素是表示細(xì)線的像素，因此在這些像素之間的變化(活度)應(yīng)該更小)。
另外，水平/垂直確定單元711具有計(jì)數(shù)器(未示出)用于識(shí)別輸入圖像的各個(gè)像素，并且可以任何適當(dāng)或需要的時(shí)間使用。
另外，盡管相關(guān)于圖125中的實(shí)例進(jìn)行了描述，其中在以關(guān)注像素為中心的3×3個(gè)像素范圍中比較在垂直方向和水平方向上的像素之間的像素值之差的和，以確定細(xì)線是接近垂直方向還是接近水平方向，但是利用更多個(gè)數(shù)的像素可以以相同的技術(shù)確定細(xì)線的方向，例如，可以基于以關(guān)注像素為中心的5×5個(gè)像素、7×7個(gè)像素等，即更多個(gè)像素來(lái)進(jìn)行確定。
基于從水平/垂直確定單元711輸入的關(guān)于細(xì)線方向的確定結(jié)果，數(shù)據(jù)獲取單元712讀取(獲取)在由多個(gè)排列在對(duì)應(yīng)于關(guān)注像素的水平方向上的像素構(gòu)成的塊的增量上、或在由多個(gè)排列在對(duì)應(yīng)于關(guān)注像素的垂直方向上的像素構(gòu)成的塊的增量的像素值，并且隨同讀出獲取的每個(gè)關(guān)注像素的多個(gè)對(duì)應(yīng)像素的在對(duì)應(yīng)于從水平/垂直確定單元711提供的確定結(jié)果的方向上的相鄰像素之差，將在預(yù)定個(gè)數(shù)像素的塊中包含的像素的像素值的最大和最小值數(shù)據(jù)輸出給數(shù)據(jù)補(bǔ)充單元702。下文中，將由數(shù)據(jù)獲取單元712獲得的對(duì)應(yīng)于關(guān)注像素獲得的多個(gè)像素構(gòu)成的塊稱為獲取塊(由多個(gè)像素組成，每個(gè)像素由柵格表示)，如圖139所示，其在下文中被作為實(shí)例描述，用黑色方形表示的像素為在關(guān)注像素，獲取的塊是上方和下方的三個(gè)像素和左側(cè)和右側(cè)的一個(gè)像素，共15個(gè)像素。
數(shù)據(jù)補(bǔ)充單元702的差異補(bǔ)充單元721檢測(cè)從數(shù)據(jù)選擇單元701輸入的差數(shù)據(jù)，基于從數(shù)據(jù)選擇單元701的水平/垂直確定單元711輸入的水平方向或垂直方向的確定結(jié)果，執(zhí)行在下文的最小二乘法方案中需要的補(bǔ)充處理，并將補(bǔ)充結(jié)果輸出給連續(xù)性方向推導(dǎo)單元703。尤其是，在多個(gè)像素中，將在由水平/垂直確定單元711確定的方向上的相鄰像素i與像素(i+1)的像素值之差的數(shù)據(jù)取為yi，并且在對(duì)應(yīng)于關(guān)注像素獲取的塊由n個(gè)像素構(gòu)成的情況下，差補(bǔ)充單元721計(jì)算每個(gè)水平方向或垂直方向上的(y1)2+(y2)2+(y3)2+...的補(bǔ)充，并將其輸出給連續(xù)性方向推導(dǎo)單元703。
一旦獲得為在從數(shù)據(jù)選擇單元701輸入的對(duì)應(yīng)于關(guān)注像素的獲取塊中包括的每個(gè)像素設(shè)置的塊中包括的像素的像素值的最大值和最小值(下文中稱為動(dòng)態(tài)范圍塊(對(duì)于在下述圖139中示出的獲取的塊中的像素，在像素pix12的上方和下方3個(gè)像素共7個(gè)像素的動(dòng)態(tài)范圍塊被示出為由黑實(shí)線圍繞的動(dòng)態(tài)范圍塊B1))，最大最小值獲取單元722從其差計(jì)算(檢測(cè))動(dòng)態(tài)范圍Dri(在對(duì)應(yīng)于獲取塊中第i個(gè)像素的動(dòng)態(tài)范圍塊中包括的像素的像素值的最大值和最小值之差)，并將其輸出到差值補(bǔ)充單元723。
差值補(bǔ)充單元723檢測(cè)從最大最小值獲取單元722輸入的動(dòng)態(tài)范圍Dri和從數(shù)據(jù)選擇單元701輸入的差值數(shù)據(jù)，基于動(dòng)態(tài)范圍Dri和已經(jīng)檢測(cè)的差值數(shù)據(jù)對(duì)從數(shù)據(jù)選擇單元701的水平/垂直確定單元711輸入的每個(gè)水平方向或垂直方向補(bǔ)充通過(guò)將動(dòng)態(tài)范圍Dri乘以差值數(shù)據(jù)yi而獲得的值，并將計(jì)算結(jié)果輸出給連續(xù)性方向推導(dǎo)單元703。也就是說(shuō)，差值補(bǔ)充單元723輸出的計(jì)算結(jié)果在每個(gè)水平方向或垂直方向上為y1×Dr1+y2×Dr2+y3×Dr3+... 連續(xù)性方向推導(dǎo)單元703的連續(xù)性方向計(jì)算單元731基于從數(shù)據(jù)補(bǔ)充單元702輸入的在每個(gè)水平方向或垂直方向上的補(bǔ)充計(jì)算結(jié)果計(jì)算細(xì)線的角度(方向)，并將計(jì)算的角度輸出作為連續(xù)性信息。
現(xiàn)在，將描述計(jì)算細(xì)線的方向(細(xì)線的梯度或角度)的方法。
放大如圖127A所示的輸入圖像中由白線圍繞的部分示出了，細(xì)線(白線在圖中右上方向上對(duì)角地延伸)實(shí)際如圖127B所示。也就是說(shuō)，在現(xiàn)實(shí)世界中，圖像如圖127C所示，細(xì)線水平(圖127C中的更亮的陰影部分)和背景水平兩個(gè)水平形成了邊界，而沒(méi)有其它的水平。相反，由傳感器2拍攝的圖像，即在像素增量上成像的圖像，是其中如圖127B所示的圖像，存在在細(xì)線方向上的塊的重復(fù)陣列，所述塊由在垂直方向上排列的多個(gè)像素構(gòu)成，其中由于積分效應(yīng)使得背景水平和細(xì)線水平在空間上混合，使得其比值(混合比值)根據(jù)特定圖形而變化。注意，在圖127B中，每個(gè)方形柵格表示CCD的一個(gè)像素，可以認(rèn)為其每邊的長(zhǎng)度為d_CCD。另外，被格形填充的柵格部分是像素值的最小值，等于背景水平，在其它陰影填充部分中，陰影密度越低，則具有的像素值更大(因此，沒(méi)有陰影的白色柵格具有最大像素值)。
在如圖128A所示細(xì)線存在于現(xiàn)實(shí)世界的背景上的情況下，可以將現(xiàn)實(shí)世界的圖像顯示為如圖128B所示，其中將水平作為水平軸，并將對(duì)應(yīng)于水平的部分的圖像的面積作為垂直軸，示出了對(duì)應(yīng)于圖像中的背景的面積與對(duì)應(yīng)于細(xì)線的部分的面積之間的在圖像中的占用的面積的關(guān)系。
同樣，如圖129A所示，由傳感器2拍攝的圖像是這樣的圖像，其中存在在細(xì)線存在的方向上塊的重復(fù)陣列，所述塊由具有混合的背景水平和細(xì)線水平的像素構(gòu)成，所述像素在垂直方向上排列在背景水平的像素中，使得其混合比值根據(jù)特定圖形而變化，并且從而，如圖129B所示，通過(guò)空間混合背景和細(xì)線獲得由這樣的像素構(gòu)成的混合空間區(qū)域，所述像素的水平在背景水平(背景區(qū)域)和細(xì)線水平之間。現(xiàn)在，雖然圖129B中的垂直軸為像素個(gè)數(shù)，但是每個(gè)像素的面積是(d_CDD)2，從而可以說(shuō)圖129B中的像素值水平與像素個(gè)數(shù)之間的關(guān)系與像素值水平與面積分布之間的關(guān)系相同。
關(guān)于圖130A中(31像素×31像素的圖像)示出的實(shí)際圖像中的由白線圍繞的部分獲得了相同的結(jié)果，如圖130B所示。在圖130B中，圖130A中的背景部分(在圖130A中表現(xiàn)為黑色的部分)具有多個(gè)低像素值水平的像素的分布(像素值為約20)，這些很少變化的部分構(gòu)成了圖像的背景區(qū)域。相反，圖130B中像素值水平不低的部分，即像素值水平分布為約40到約160的像素是屬于構(gòu)成細(xì)線圖像的空間混合區(qū)域的像素，并且，當(dāng)每個(gè)像素值的像素個(gè)數(shù)不多時(shí)，其被分布在寬的像素值范圍上。
現(xiàn)在，例如沿圖131A中所示的箭頭方向(Y座標(biāo)方向)觀察現(xiàn)實(shí)世界圖像中的背景和細(xì)線中的每個(gè)的水平，其如圖131B所示地變化。也就是說(shuō)，從箭頭開(kāi)始到細(xì)線的背景區(qū)域具有較低的背景水平，細(xì)線區(qū)域具有高水平的細(xì)線水平，并且通過(guò)細(xì)線區(qū)域返回到背景區(qū)域使得返回到低水平的背景水平。因此，這形成了脈沖形的波形，其中只有細(xì)線區(qū)域?yàn)楦咚健?br> 相反，在由傳感器2拍攝的圖像中，圖132B中示出了對(duì)應(yīng)于圖131A中的箭頭的圖132A中X＝X1空間方向上的像素(在圖132A中由黑點(diǎn)表示的像素)的像素值與這些像素的空間方向Y之間的關(guān)系。注意，在圖132A中，沿右上延伸的兩條白線之間表示現(xiàn)實(shí)世界圖像的圖像中的細(xì)線。
也就是說(shuō)，如圖132B所示，對(duì)應(yīng)于圖132A中的中心像素的像素具有最大的像素值，從而像素的像素值當(dāng)空間方向Y的位置從圖的底部移向中心像素時(shí)增大，然后當(dāng)通過(guò)中心位置后逐漸減小。從而，如圖132B所示形成峰形波形。另外，對(duì)應(yīng)于圖132A中X＝X0和X2的空間方向的像素的像素值的變化也具有相同的形狀，只是峰值位置根據(jù)細(xì)線的梯度在空間方向Y上移動(dòng)了。
即使在例如如圖133A所示的由傳感器2實(shí)際拍攝的圖像的情況下，仍可以獲得同樣的結(jié)果，如圖133B所示。也就是說(shuō)，圖133B示出了在圖133A中的圖像中由白線圍出的范圍中的細(xì)線附近的像素值在每個(gè)預(yù)定空間方向X(圖中，X＝561、562、563)對(duì)應(yīng)于空間方向Y的像素值變化。這樣，由實(shí)際傳感器2拍攝的圖像也就有波形，其中X＝561時(shí)，峰值在Y＝730；X＝562時(shí)，峰值在Y＝705；以及X＝563時(shí)，峰值在Y＝685。
從而，表示現(xiàn)實(shí)世界圖像的細(xì)線附近的水平變化的波形為脈沖波形，而表示由傳感器2拍攝的圖像中的像素值變化的波形為峰形波形。
也就是說(shuō)，換句話說(shuō)，現(xiàn)實(shí)世界圖像的水平為如圖131B所示的波形，但是由于經(jīng)過(guò)由傳感器2的拍攝在成像的圖像的變化中發(fā)生了畸變，并且，因此可以說(shuō)，這變成了與現(xiàn)實(shí)世界圖像不同的波形(其中丟失了現(xiàn)實(shí)世界的信息)，如圖132B所示。
因此，設(shè)置用于從由傳感器2獲得的圖像數(shù)據(jù)近似描述現(xiàn)實(shí)世界的模型(相當(dāng)于圖123中的模型705)，以從由傳感器2拍攝的圖像獲得現(xiàn)實(shí)世界圖像的連續(xù)性信息。例如，在細(xì)線的情況中，如圖134所示，設(shè)置現(xiàn)實(shí)世界圖像。也就是說(shuō)，這樣設(shè)置參數(shù)，將在圖像左邊的具有背景部分的水平設(shè)置為B1，將在圖像右邊的背景部分水平設(shè)置為B2，將細(xì)線部分的水平設(shè)置為L(zhǎng)，將細(xì)線的混合比值設(shè)置為α，將細(xì)線的寬度設(shè)置為W，以及將細(xì)線與水平方向的角度設(shè)置為θ，將其形成為模型，建立近似表達(dá)現(xiàn)實(shí)世界的函數(shù)，通過(guò)獲得參數(shù)而獲得近似表達(dá)現(xiàn)實(shí)世界的模擬函數(shù)，并從模擬函數(shù)獲得細(xì)線的角度(與參考軸的梯度或角度)。
此時(shí)，可以將背景區(qū)域的左邊和右邊模擬為相同，從而被統(tǒng)一為B(＝B1＝B2)，如圖135所示。另外，細(xì)線的寬度為一個(gè)或更多個(gè)像素。當(dāng)利用傳感器2拍攝這樣設(shè)置的現(xiàn)實(shí)世界時(shí)，將拍攝的圖像成像為如圖136A所示。注意，在圖136A中，向右上方延伸的兩個(gè)白線之間的空間表示現(xiàn)實(shí)世界圖像中的細(xì)線。
也就是說(shuō)，在現(xiàn)實(shí)世界的細(xì)線位置上的像素的水平最接近細(xì)線的水平，因此當(dāng)在垂直方向(空間方向Y)上遠(yuǎn)離細(xì)線時(shí)像素值減小，并且在不接觸細(xì)線區(qū)域的位置上的像素，即背景區(qū)域像素具有背景值的像素值。這里，位于細(xì)線區(qū)域和背景區(qū)域之間的像素的像素值具有這樣的像素值，其中背景水平的像素值B與細(xì)線水平L的像素值L以混合比值α混合。
在通過(guò)這樣取成像的圖像中的每個(gè)像素作為關(guān)注像素的情況中，數(shù)據(jù)獲取單元712選取對(duì)應(yīng)于關(guān)注像素的獲取塊的像素，選取構(gòu)成選取的獲取塊的每個(gè)像素的動(dòng)態(tài)范圍塊，以及從構(gòu)成動(dòng)態(tài)范圍塊的像素選取具有最大像素值的像素和具有最小像素值的像素。也就是說(shuō)，如圖136A所示，在選取對(duì)應(yīng)于獲取塊中的預(yù)定像素(在圖中一個(gè)柵格中用黑實(shí)線描述的方格的像素pix4)的動(dòng)態(tài)范圍塊(例如圖中由黑實(shí)線圍繞的7個(gè)像素pix1到7)中的像素的情況中，如圖136A所示，對(duì)應(yīng)于每個(gè)像素的現(xiàn)實(shí)世界的圖像如圖136B所示。
也就是說(shuō)，如圖136B所示，在像素pix1中，左邊占約1/8的面積的部分是背景區(qū)域，而右邊占約7/8的面積的部分是細(xì)線區(qū)域。在像素pix2中，基本上整個(gè)區(qū)域是細(xì)線區(qū)域。在像素pix3中，左邊占約7/8的面積的部分是細(xì)線區(qū)域，而右邊占約1/8的面積的部分是背景區(qū)域。在像素pix4中，左邊占約2/3的面積的部分是細(xì)線區(qū)域，而右邊占約1/3的面積的部分是背景區(qū)域。在像素pix5中，左邊占約1/3的面積的部分是細(xì)線區(qū)域，而右邊占約2/3的面積的部分是背景部分。在像素pix6中，左邊占1/8的面積的部分是細(xì)線區(qū)域，而右邊占約7/8的面積的部分是背景區(qū)域。另外，在像素pix7中，整個(gè)區(qū)域是背景區(qū)域。
因此，圖136A和圖136B中所示的動(dòng)態(tài)范圍塊中的像素pix1到pix7的像素值是這樣的像素值，其中背景水平和細(xì)線水平以對(duì)應(yīng)于細(xì)線區(qū)域和背景區(qū)域的比例的混合比值混合。
也就是說(shuō)，像素pix1的背景水平前景水平的混合比值為約1∶7，像素pix2的背景水平前景水平的混合比值為約0∶1，像素pix3的背景水平前景水平的混合比值為約1∶7，像素pix4的背景水平前景水平的混合比值為約1∶2，像素pix5的背景水平前景水平的混合比值為約2∶1，像素pix6的背景水平前景水平的混合比值為約7∶1，以及像素pix7的背景水平前景水平的混合比值為約1∶0。
因此，在選取的動(dòng)態(tài)范圍塊中的像素pix1到pix7的像素值中，像素pix2的最大，其后是像素pix1和pix3，然后以像素pix4、5、6和7的像素值次序。因此，在如圖136B所示的情況中，最大值是像素pix2的像素值，以及最小值是像素pix7的像素值。
另外，如圖137A所示，可以說(shuō)細(xì)線的方向是其中的像素連續(xù)具有最大像素值的方向，因此，其中排列具有最大值的像素的方向是細(xì)線的方向。
現(xiàn)在，表示細(xì)線方向的梯度Gf1是相對(duì)于空間方向X上的單位長(zhǎng)度的在空間方向Y上的變化比(距離變化)，從而，在例如圖137A中的圖示情況下，圖中相對(duì)于空間方向X上的一個(gè)像素的距離的空間方向Y上的距離為梯度Gf1。
空間方向X0到X2上的空間方向Y上的像素值的變化使得每個(gè)空間方向X的峰形波形以預(yù)定間隔重復(fù)，如圖137B所示。如上所述，細(xì)線的方向在由傳感器2拍攝的圖像中是其中連續(xù)具有最大值的像素的方向，從而其上為空間方向X上的最大值的空間方向Y上的間隔S為細(xì)線的梯度Gf1。也就是說(shuō)，如圖137C所示，垂直方向上相對(duì)于水平方向上一個(gè)像素距離的變化量為Gf1。因此，當(dāng)以對(duì)應(yīng)于其梯度的水平方向作為參考軸，并將細(xì)線與其的角度表達(dá)為θ，如圖137C所示，則可以將細(xì)線的梯度Gf1(對(duì)應(yīng)于以水平方向作為參考軸的角度)表達(dá)為在下面公式(69)中示出的關(guān)系。
θ＝Tan-1(Gf1)(＝Tan-1(S))公式(69) 另外，在建立例如如圖135所示的模型的情況中，還假設(shè)空間方向Y上的像素的像素值之間的關(guān)系使得如圖137B所示的峰形波形由理想三角形形成(等腰三角波形，其中引導(dǎo)邊沿或延伸邊沿線性變化)，并且如圖138所示，其中在預(yù)定關(guān)注像素的空間方向X上、在空間方向Y上存在的像素的像素值的最大值為Max＝L(這里，像素值對(duì)應(yīng)于現(xiàn)實(shí)世界的細(xì)線的水平)，以及最小值為Min＝B(這里，像素值對(duì)應(yīng)于現(xiàn)實(shí)世界的背景的水平)，如下面公式(70)所示的關(guān)系成立。
L-B＝Gf1×d_y公式(70) 這里，d_y表示空間方向Y上的像素之間的像素值之差。
也就是說(shuō)，空間方向中的Gf1越大，細(xì)線越接近垂直，從而峰形波形為具有更大的底的等腰三角形的波形，相反，梯度S越小，波形的等腰三角形的底越小。因此，梯度Gf1越大，空間方向Y上的像素之間的像素值之差d_y越小，而梯度S越小，空間方向Y上的像素之間的像素值之差d_y越大。
因此，通過(guò)獲得使上述公式(70)成立的梯度Gf1，使得可以獲得細(xì)線相對(duì)于參考軸的角度θ。公式(70)是以Gf1為變量的單變量函數(shù)，因此這可以通過(guò)利用一組關(guān)注像素附近(垂直方向上)的像素之間的像素值之差d_y、以及最大值和最小值之差(L-B)獲得，然而，如上所述，這使用了這樣的近似表達(dá)，所述表達(dá)假設(shè)空間方向Y上的像素值的變化采用理想三角形，從而對(duì)對(duì)應(yīng)于關(guān)注像素的選取塊的每個(gè)像素選取動(dòng)態(tài)范圍塊，并還從其最大值和最小值獲得動(dòng)態(tài)范圍Dr，以及通過(guò)最小二乘法，利用空間方向Y上的像素之間的像素值之差d_y，對(duì)選取塊中的每個(gè)像素，統(tǒng)計(jì)地獲得動(dòng)態(tài)范圍Dr。
現(xiàn)在，在開(kāi)始描述通過(guò)最小二乘法的統(tǒng)計(jì)處理之前，首先詳細(xì)描述選取塊和動(dòng)態(tài)范圍塊。
例如如圖139所示，選取的塊可以是在空間方向Y上在關(guān)注像素(圖中其中用黑實(shí)線畫出的方形的柵格的像素)上方和下方的三個(gè)像素、以及在空間方向X上在右側(cè)和左側(cè)的一個(gè)像素，共15個(gè)像素，或類似的等。另外，在該情況中，對(duì)于選取塊中的每個(gè)像素之間的像素值之差d_y，例如將對(duì)應(yīng)于像素pix11的差表達(dá)為d_y11，在空間方向X＝X0的情況下，獲得在像素pix11和pix12、pix12和pix13、pix13和pix14、pix15和pix16、以及pix16和pix17之間的像素值之差d_y11到d_y16。這里，對(duì)于空間方向X＝X1和X2等以同樣的方法獲得像素之間的像素值之差。從而，存在18個(gè)像素之間的像素值之差d_y。
另外，關(guān)于選取塊的像素，基于水平/垂直確定單元711的確定結(jié)果為這樣的情況確定例如關(guān)于pix11，動(dòng)態(tài)范圍塊的像素在垂直方向上，從而如圖139所示，取像素pix11以及其垂直方向(空間方向Y)上的上方和下方各3個(gè)像素，從而動(dòng)態(tài)范圍塊B1的范圍為7個(gè)像素，獲得在該動(dòng)態(tài)范圍塊B1中的像素的像素值的最大值和最小值，并還將從最大值和最小值獲得的動(dòng)態(tài)范圍取為動(dòng)態(tài)范圍Dr11。同樣，從圖139中以相同方式示出的動(dòng)態(tài)范圍塊B2的7個(gè)像素獲得關(guān)于選取塊的像素pix12的動(dòng)態(tài)范圍Dr12。從而基于對(duì)選取塊中的18個(gè)像素差d_yi和相應(yīng)的動(dòng)態(tài)范圍Dri的組合，利用最小二乘法統(tǒng)計(jì)地獲得梯度Gf1。
接著，將描述單變量最小二乘法方案。假設(shè)這里水平/垂直確定單元711的確定結(jié)果是垂直方向。
單變量最小二乘法方案是用于獲得例如由預(yù)測(cè)值Dri_c構(gòu)成的直線的梯度Gf1，所述直線到圖140中全部由黑點(diǎn)表示的實(shí)際測(cè)量值的距離最小。從而，從基于在上述公式(70)中表示的關(guān)系的下述技術(shù)獲得梯度S。
也就是說(shuō)，以最大值和最小值之差作為動(dòng)態(tài)范圍Dr，可以將上述公式(70)描述為下面的公式(71)。
Dr＝Gf1×a_y公式(71) 從而，通過(guò)將選取塊中的每個(gè)像素之間的差d_yi代入上述公式(71)可以獲得動(dòng)態(tài)范圍Dri_c。因此，下面的公式(72)的關(guān)系滿足每個(gè)像素。
Dri_c＝Gf1×d_yi公式(72) 這里，差d_yi是每個(gè)像素i在空間方向Y上的像素之間的像素值之差(例如，與像素i上方或下方相鄰的像素的像素值之差)，以及Dri_c是當(dāng)公式(70)關(guān)于像素i成立時(shí)獲得的動(dòng)態(tài)范圍。
如上所述，這里使用的最小二乘法是用于獲得梯度Gf1的方法，其中選取塊的像素i的動(dòng)態(tài)范圍Dri_c與作為利用參考圖136A和圖136B所述的方法獲得的像素i的實(shí)際測(cè)量值的動(dòng)態(tài)范圍Dri_r的差方和Q對(duì)于圖像中的所有像素最小。因此，通過(guò)下面的公式(73)可以獲得差方和Q。
公式(73) 公式(73)中示出的差方和Q是二次函數(shù)，其采用關(guān)于變量Gf1(梯度Gf1)的如圖141所示的下凸曲線，因此其上梯度Gf1最小的Gf1min是最小二乘法的解。
對(duì)公式(73)中的差方和Q的取對(duì)變量Gf1的微分，獲得dQ/dGf1，如公式(74)所示。
公式(74) 對(duì)于公式(74)，采用圖141中所示的差方和Q的最小值的Gf1min是0，從而通過(guò)擴(kuò)展其中公式(74)為0的公式獲得具有下面公式(75)的梯度Gf1。
公式(75) 上述公式(75)就是所謂的單變量(梯度Gf1)的正規(guī)方程。
從而，通過(guò)將獲得的梯度Gf1代入上述公式(69)，獲得對(duì)應(yīng)于細(xì)線的梯度Gf1的以水平方向?yàn)閰⒖驾S的細(xì)線角度θ。
現(xiàn)在，在上述描述中，已經(jīng)描述了這樣的情況，其中關(guān)注像素在細(xì)線上，細(xì)線在以水平方向?yàn)閰⒖驾S的45度≤θ＜135度的角度范圍內(nèi)，但是在這樣的情況中，其中關(guān)注像素在細(xì)線上，細(xì)線接近水平方向，在以水平方向?yàn)閰⒖驾S的0度≤θ＜45度或135≤θ＜108度的角度范圍內(nèi)，與像素i在水平方向上的相鄰像素之間的像素值之差為d_xi，并以同樣的方法，在從多個(gè)像素獲得對(duì)應(yīng)于像素i的最大像素值或最小像素值時(shí)，從相對(duì)于像素i的水平方向上的多個(gè)像素中選擇將要選取的動(dòng)態(tài)范圍塊的像素。在該情況的處理中，只是簡(jiǎn)單地替換上述中水平方向和垂直方向之間的關(guān)系，因此省略對(duì)其的描述。
另外，類似地處理可以用于獲得對(duì)應(yīng)于二值邊緣的梯度的角度。
也就是說(shuō)，放大輸入圖像中例如圖142A中由白線包圍的部分，示出了圖像的邊緣部分(圖中在黑色橫幅上以白色書寫的叉形符號(hào)的下部)(下文中，由兩個(gè)值水平構(gòu)成的圖像的邊緣部分還稱為二值邊緣)實(shí)際如圖142B所示。也就是說(shuō)，在現(xiàn)實(shí)世界，圖像具有由兩種水平第一水平(橫幅的場(chǎng)水平)和第二水平(符號(hào)水平(圖142C中具有低濃度的陰影部分))形成的邊界，而不存在其它水平。相反，在由傳感器2拍攝的圖像中，即以像素增量拍攝到的圖像，其中排列第一水平像素的部分和其中排列第二水平的像素的部分在一個(gè)區(qū)域上相鄰，在所述區(qū)域中，在這樣的方向上存在重復(fù)的陣列，在所述方向上，邊緣表現(xiàn)為由像素構(gòu)成的塊，所述像素是在空間上混合第一水平和第二水平所得，并排列在垂直方向上，從而其比值(混合比值)根據(jù)特定圖形變化。
也就是說(shuō)，如圖143A所示，關(guān)于空間方向X＝X0、X1以及X2，空間方向Y上的像素值的各變化如圖143B所示，像素值是從圖的底部到接近二值邊緣(圖143A中朝向右上的直線)邊界為預(yù)定最小像素值，但是像素值在二值邊緣邊界附近逐漸增大，并在圖中穿過(guò)邊緣的點(diǎn)PE上，像素值到達(dá)預(yù)定最大值。尤其是，空間方向X＝X0的變化使得像素值在經(jīng)過(guò)具有像素值的最小值的點(diǎn)Ps后像素值逐漸增大，并到達(dá)像素值為最大值的點(diǎn)P0，如圖143B所示。相比于此，在空間方向X＝X1上的像素的像素值變化表現(xiàn)為在空間方向上偏移的波形，并在圖中通過(guò)點(diǎn)P1增大到像素值的最大值，其中像素值從像素值的最小值逐漸增大的位置在空間方向Y的正向上具有方向偏移，如圖143B所示。另外，在空間方向X＝X2上空間方向Y中的像素值的變化經(jīng)過(guò)圖中的P2點(diǎn)而減小，其在空間方向Y的正方向上繼續(xù)平移，并從像素值的最大值變到最小值。
在實(shí)際圖像中用白線包圍的部分上還可以觀察類似的趨勢(shì)。也就 是說(shuō)，在圖144A中的實(shí)際圖像(31像素×31像素圖像)中由白線包圍的部分中，背景部分(圖144A中顯示為黑色的部分)分布由如圖144B所示的具有低像素值的多個(gè)像素(像素值為約90)，這些具有較少變化的部分形成圖像的背景區(qū)域。相反，圖144B中像素值不低的部分，即像素值分布在約100到200的像素是屬于符號(hào)區(qū)域和背景區(qū)域之間的空間混合區(qū)域的像素的分布，當(dāng)每個(gè)像素值的像素個(gè)數(shù)較少時(shí)，該分布覆蓋寬范圍的像素值。另外，具有高像素值的符號(hào)區(qū)域中的多個(gè)像素(圖144A中顯示為白色的部分)分布在示為220的像素值附近。
因此，圖145B示出了在圖145A所示的圖像邊緣，對(duì)于預(yù)定空間方向X，在空間方向Y上的像素值的變化。
也就是說(shuō)，圖145B示出了關(guān)于圖145A的圖像中由白線圍繞的范圍的邊緣附近的像素值，對(duì)于每個(gè)預(yù)定空間方向X(圖中，X＝658、659、660)，像素值對(duì)應(yīng)于空間方向Y的變化?？梢钥吹剑谟蓪?shí)際的傳感器2等拍攝的圖像中，當(dāng)X＝658，像素值在Y＝374附近開(kāi)始增大(圖中由黑色圓形表示的分布)，并到達(dá)在X＝382附近的最大值。另外，當(dāng)X＝659，像素值在Y＝378附近開(kāi)始增大，其在空間方向Y的正向上被平移(圖中由黑色三角形表示的分布)，并到達(dá)在X＝386附近的最大值。另外，當(dāng)X＝660時(shí)，像素值在Y＝382附近開(kāi)始增大，其在空間方向Y的正向上被進(jìn)一步平移(圖中由黑色方形表示的分布)，并到達(dá)在X＝390附近的最大值。
因此，為了從由傳感器2拍攝的圖像中獲得現(xiàn)實(shí)世界的圖像的連續(xù)性信息，建立模型以從由傳感器2獲取的圖像數(shù)據(jù)近似描述現(xiàn)實(shí)世界。例如，在二值邊緣的情況中，如圖146所示設(shè)置現(xiàn)實(shí)世界圖像。也就是說(shuō)，這樣設(shè)置參數(shù)，將在圖像左邊的符號(hào)部分水平設(shè)置為V1，將在圖像右邊的符號(hào)部分水平設(shè)置為V2，將在二值邊緣附近的像素的混合比值設(shè)置為α，以及將邊緣與水平方向的角度設(shè)置為θ，將其形成為模型，建立近似表達(dá)現(xiàn)實(shí)世界的函數(shù)，通過(guò)獲得參數(shù)而獲得近似表達(dá)現(xiàn)實(shí)世界的函數(shù)，并從模擬函數(shù)獲得邊緣的方向(與參考軸的梯度或角度)。
這里，表示邊緣方向的梯度是相對(duì)于空間方向X上的單位距離的在空間方向Y上的變化比(距離變化)，從而，在例如圖147A中的圖示情況下，圖中相對(duì)于空間方向X上的一個(gè)像素距離的空間方向Y上的距離為梯度。
空間方向X0到X2每一個(gè)上的空間方向Y上的像素值的變化使得每個(gè)空間方向X的相同波形以預(yù)定間隔重復(fù)，如圖147B所示。如上所述，邊緣的方向在由傳感器2拍攝的圖像中是其中在空間上連續(xù)發(fā)生類似的像素值變化(在該情況下，在預(yù)定空間方向Y上的像素值變化從最小值變化到最大值)的方向，從而對(duì)于每個(gè)空間方向X，在像素值在空間方向Y上開(kāi)始變化的位置、或空間方向Y上變化結(jié)束的位置上的間隔S為邊緣的梯度Gfe。也就是說(shuō)，如圖147C所示，垂直方向上相對(duì)于水平方向上一個(gè)像素距離的變化量為梯度Gfe。
這里，該關(guān)系與關(guān)于上述參考圖137A到C描述的細(xì)線的梯度Gf1的關(guān)系相同。因此，關(guān)系表述式相同。也就是說(shuō)，在二值邊緣情況下的關(guān)系式如圖148所示，以背景區(qū)域的像素值為V1，以符號(hào)區(qū)域的像素值為V2，每個(gè)作為最小值和最大值。另外，以靠近邊緣的像素的混合比值為α，以邊緣梯度為Gfe，成立的關(guān)系式與上述公式(69)到(71)相同(其中用Gfe代替Gf1)。
因此，圖124所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以利用相同的處理檢測(cè)對(duì)應(yīng)于細(xì)線的梯度的角度，以及對(duì)應(yīng)于邊緣的梯度的角度作為數(shù)據(jù)連續(xù)性信息。因此，下面，梯度將同指細(xì)線的梯度和二值邊緣的梯度，并稱為梯度Gf。另外，在上述公式(73)到(75)中的梯度Gf1可以是Gfe，因此，可以由Gf替換。
接著，將參考圖149中的流程圖描述檢測(cè)數(shù)據(jù)連續(xù)性的處理。
在步驟S701，水平/垂直確定單元711起動(dòng)計(jì)數(shù)器T，其識(shí)別輸入圖像的每個(gè)像素。
在步驟S702，水平/垂直確定單元711進(jìn)行處理以選取在下面步驟中需要的數(shù)據(jù)。
這里，將參考圖150的流程圖描述用于選取數(shù)據(jù)的處理。
在步驟S711中，如參考圖125描述的，對(duì)于每個(gè)關(guān)注像素T，數(shù)據(jù)選擇單元701的水平/垂直確定單元711計(jì)算關(guān)于在水平、垂直和對(duì)角方向上相鄰的9個(gè)像素的在水平方向上的像素的像素值的像素值之差的和(活度)(hdiff)與在垂直方向上的像素之差的和(活度)(vdiff)，并獲得其差(hidff-vdiff)；在(hidff-vdiff)≥0并且關(guān)注像素T取水平方向?yàn)閰⒖驾S的情況下，確定像素接近靠近垂直方向的細(xì)線或二值邊緣，其中與參考軸的角度θ為45度≤θ＜135度，并將表示使用的選取塊對(duì)應(yīng)于垂直方向的確定結(jié)果輸出給數(shù)據(jù)獲取單元712和數(shù)據(jù)補(bǔ)充單元702。
另一方面，在(hidff-vdiff)＜0并且關(guān)注像素取水平方向?yàn)閰⒖驾S的情況下，水平/垂直確定單元711確定像素接近靠近水平方向的細(xì)線或邊緣，其中細(xì)線或二值邊緣與參考軸的角度θ為0度≤θ＜45度或135度≤θ＜180度，并將表示使用的選取塊對(duì)應(yīng)于水平方向的確定結(jié)果輸出給數(shù)據(jù)獲取單元712和數(shù)據(jù)補(bǔ)充單元702。
也就是說(shuō)，細(xì)線或二值邊緣的梯度更接近垂直方向表示，例如如圖131A所示，圖中箭頭交叉的細(xì)線部分更大，因此設(shè)置在垂直方向上具有增加個(gè)數(shù)的像素的選取塊(設(shè)置垂直長(zhǎng)的選取塊)。同樣，在細(xì)線的梯度更靠近水平方向的情況下，設(shè)置在水平方向上具有增加個(gè)數(shù)的像素的選取塊(設(shè)置水平長(zhǎng)的選取塊)。這樣，不需要增加不必的計(jì)算量而可以計(jì)算精確最大值和最小值。
在步驟S712中，數(shù)據(jù)獲取單元712選取對(duì)應(yīng)于從水平/垂直確定單元711輸入的表示關(guān)注像素的水平方向或垂直方向的確定結(jié)果的選取塊的像素。也就是說(shuō)，例如如圖139所示，選取以關(guān)注像素為中心的(水平方向上的3個(gè)像素)×(垂直方向上的7個(gè)像素)共21個(gè)像素作為選取塊并存儲(chǔ)。
在步驟S713，數(shù)據(jù)獲取單元712選取對(duì)應(yīng)于如下方向的動(dòng)態(tài)范圍塊的像素并將其存儲(chǔ)，所述方向?qū)?yīng)于對(duì)選取塊中的每個(gè)像素的水平/垂直確定單元711的確定結(jié)果。也就是說(shuō)，如上文參考圖139描述的，在該情況下，對(duì)于例如選取塊的像素pix11，水平/垂直確定單元711的確定結(jié)果表示垂直方向，從而數(shù)據(jù)獲取單元712選取在垂直方向上的動(dòng)態(tài)范圍塊B1，并以同樣的方法選取像素pix12的動(dòng)態(tài)范圍塊B2。并同樣地選取其它選取塊的動(dòng)態(tài)范圍塊。
也就是說(shuō)，利用該數(shù)據(jù)選取處理(選擇將要處理的區(qū)域)，將用于計(jì)算關(guān)于特定關(guān)注像素T的正規(guī)方程所需的像素信息存儲(chǔ)在數(shù)據(jù)獲取單元712中。
這里，返回到圖149中的流程。
在步驟S703，數(shù)據(jù)補(bǔ)充單元702進(jìn)行處理以補(bǔ)充正規(guī)方程(公式(74))中每項(xiàng)所需的值。
這里，將參考圖151的流程圖描述對(duì)正規(guī)方程的補(bǔ)充處理。
在步驟S721中，差值補(bǔ)充單元721根據(jù)數(shù)據(jù)選擇單元701的水平/垂直確定單元711的確定結(jié)果，獲得(檢測(cè))存儲(chǔ)在數(shù)據(jù)獲取單元712中的選取塊的像素之間的像素值之差，并將其升高到第二階(平方)并補(bǔ)充。也就是說(shuō)，在水平/垂直確定單元711的確定結(jié)果是垂直方向的情況下，差值補(bǔ)充單元721獲得垂直方向中的選取塊的每個(gè)像素的相鄰像素的像素值之差，并將其平方和補(bǔ)充。同樣，在水平/垂直確定單元711的確定結(jié)果是水平方向的情況下，差值補(bǔ)充單元721獲得水平方向中的選取塊的每個(gè)像素的相鄰像素的像素值之差，并將其平方和補(bǔ)充。從而，差值補(bǔ)充單元721產(chǎn)生各項(xiàng)的差方和作為上述公式(75)中的分母，并將其存儲(chǔ)。
在步驟S722中，最大最小值獲取單元722獲得存儲(chǔ)在數(shù)據(jù)獲取單元712中的動(dòng)態(tài)范圍塊中包括的像素的像素值的最大值和最小值，并在步驟S723中，從最大值和最小值獲得(檢測(cè))動(dòng)態(tài)范圍，并將其輸出給差值補(bǔ)充單元723。也就是說(shuō)，在如圖136B所示的由像素pix1到pix7構(gòu)成的7像素動(dòng)態(tài)范圍塊的情況下，檢測(cè)出pix2的像素值為最大值，檢測(cè)出pix7的像素值為最小值，以及獲得其差作為動(dòng)態(tài)范圍。
在步驟S724中，差值補(bǔ)充單元723從存儲(chǔ)在數(shù)據(jù)獲取單元712中的選取塊的像素，獲得在對(duì)應(yīng)于數(shù)據(jù)選擇單元701的水平/垂直確定單元711的確定結(jié)果的方向上的相鄰像素之間像素值之差，并補(bǔ)充由從最大最小值獲取單元722輸入的動(dòng)態(tài)范圍相乘的值。也就是說(shuō)，差值補(bǔ)充單元721產(chǎn)生各項(xiàng)和作為上述公式(75)中的分子，并將其存儲(chǔ)。
這里，返回到對(duì)圖149中的流程圖的描述。
在步驟S704中，差值補(bǔ)充單元721確定像素之間的像素值之差(在對(duì)應(yīng)于水平/垂直確定單元711的確定結(jié)果的方向上的相鄰像素之間的像素值之差)是否被補(bǔ)充給選取塊的所有像素，在確定例如像素之間的像素值之差沒(méi)有被補(bǔ)充給選取塊的所有像素時(shí)，流程返回步驟S702，并重復(fù)后面的處理。也就是說(shuō)，重復(fù)步驟S702到步驟S704的處理直到確定像素之間的像素值之差已經(jīng)被補(bǔ)充給選取塊的所有像素。
當(dāng)在步驟S704中確定像素之間的像素值之差已經(jīng)被補(bǔ)充給選取塊的所有像素的情況下，在步驟S705，差值補(bǔ)充單元721和723將存儲(chǔ)在其中的補(bǔ)充結(jié)果輸出給連續(xù)性方向推導(dǎo)單元703。
在步驟S706，連續(xù)性方向計(jì)算單元731利用最小二乘法求解上述公式(75)中給出的正規(guī)方程，所述求基于從數(shù)據(jù)補(bǔ)充單元702的差值補(bǔ)充單元721輸入的獲取塊中的像素的、在對(duì)應(yīng)于水平/垂直確定單元711的確定結(jié)果的方向上的相鄰像素之間的像素值的差方和；從差值補(bǔ)充單元723輸入的獲取塊中像素的、在對(duì)應(yīng)于水平/垂直確定單元711的確定結(jié)果的方向上的相鄰像素之間的像素值之差；以及對(duì)應(yīng)于獲得的塊的像素的動(dòng)態(tài)范圍的乘積的和，從而統(tǒng)計(jì)地計(jì)算并輸出表示連續(xù)性方向的角度(表示細(xì)線或二值邊緣的梯度的角度)，作為關(guān)注像素的數(shù)據(jù)連續(xù)性信息。
在步驟S707中，數(shù)據(jù)獲取單元712確定是否已經(jīng)對(duì)所有輸入圖像的像素進(jìn)行處理，在確定仍未對(duì)輸入圖像的所有像素處理的情況下，即仍沒(méi)有輸出輸入圖像的所有像素的細(xì)線或二值邊緣的角度信息的情況下，在步驟S708中對(duì)計(jì)數(shù)器T加1，并且過(guò)程返回步驟S702。也就是說(shuō)，重復(fù)步驟S702到步驟S708的處理，直到變化要處理的輸入圖像的像素，并對(duì)輸入圖像的所有像素進(jìn)行處理?？梢愿鶕?jù)例如柵格掃描等由計(jì)數(shù)器T改變像素，或根據(jù)其它規(guī)則順序改變。
當(dāng)在步驟S707中確定已經(jīng)對(duì)輸入圖像的所有像素進(jìn)行處理的情況下，在步驟S709，數(shù)據(jù)獲取單元712確定是否存在下一個(gè)輸入圖像，在確定存在下一個(gè)輸入圖像的情況下，處理返回步驟S701，并重復(fù)下面的處理。
當(dāng)在步驟S709中確定不存在下一個(gè)輸入圖像時(shí)，處理結(jié)束。
根據(jù)上述處理，檢測(cè)出細(xì)線或二值邊緣的角度作為連續(xù)性信息并輸出。
通過(guò)該統(tǒng)計(jì)處理獲得的細(xì)線或二值邊緣的角度近似地匹配利用相關(guān)性獲得的細(xì)線或二值邊緣的角度。也就是說(shuō)，對(duì)于如圖152A所示的圖像中由白線圍繞的范圍的圖像，如圖152B所示，對(duì)于細(xì)線的在水平方向上的預(yù)定坐標(biāo)的在空間方向Y上的梯度的變化表示通過(guò)利用相關(guān)性的方法獲得的細(xì)線梯度的角度(圖中的黑色圓形)與通過(guò)利用圖124中的數(shù)據(jù)連續(xù)性檢測(cè)單元101進(jìn)行統(tǒng)計(jì)處理獲得的細(xì)線角度(圖中的黑色三角形)在細(xì)線附近的空間方向Y的坐標(biāo)上近似符合。注意，在圖152B中，在圖中黑線之間的空間方向Y＝680到730是在細(xì)線上的坐標(biāo)。
同樣，對(duì)于如圖153A所示的圖像中由白線圍繞的范圍的圖像，如圖153B所示，對(duì)于二值邊緣的在水平方向上的預(yù)定坐標(biāo)的在空間方向Y上的梯度的變化表示通過(guò)利用相關(guān)性的方法獲得的二值邊緣的梯度的角度(圖中的黑色圓形)與通過(guò)利用圖124中的數(shù)據(jù)連續(xù)性檢測(cè)單元101進(jìn)行統(tǒng)計(jì)處理獲得的二值邊緣的角度(圖中的黑色三角形)在細(xì)線附近的空間方向Y的坐標(biāo)上近似符合。注意，在圖153B中，空間方向Y＝(約)376到(約)388是在細(xì)線上的坐標(biāo)。
因此，如圖124所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101利用用于獲得細(xì)線或二值邊緣的角度的每個(gè)像素附近的信息，不同于利用與由預(yù)定像素構(gòu)成的塊的相關(guān)性的方法，可以統(tǒng)計(jì)地獲得表示細(xì)線或二值邊緣的梯度的角度(以水平方向作為參考軸的角度)作為數(shù)據(jù)連續(xù)性，并且因此，不存在如在利用相關(guān)性的方法中的根據(jù)預(yù)定角度的切換，從而，可以利用相同的處理獲得所有細(xì)線或二值邊緣的梯度的角度，從而可以簡(jiǎn)化處理。
另外，盡管描述了數(shù)據(jù)連續(xù)性檢測(cè)單元101的實(shí)例，所述單元輸出細(xì)線或二值邊緣與預(yù)定參考軸的角度作為連續(xù)性信息，但是可以考慮，根據(jù)后面的處理，以改善處理效率地方式輸出角度。在該情況下，數(shù)據(jù)連續(xù)性檢測(cè)單元101的連續(xù)性方向推導(dǎo)單元703和連續(xù)性方向計(jì)算單元731可以不變地輸出通過(guò)最小二乘法獲得的細(xì)線或二值邊緣的梯度Gf作為連續(xù)性信息。
另外，盡管描述了獲得對(duì)選取塊中的每個(gè)像素計(jì)算的公式(75)中的動(dòng)態(tài)范圍Dri_r，但是設(shè)置充分大的動(dòng)態(tài)范圍塊，即設(shè)置較多關(guān)注像素及較多的周圍像素的動(dòng)態(tài)范圍，將在動(dòng)態(tài)范圍的全部次數(shù)中選擇圖像中的像素的像素值的最大值和最小值。因此，可以這樣設(shè)置，其中對(duì)動(dòng)態(tài)范圍Dri_r進(jìn)行計(jì)算，其中以獲得的為固定值的動(dòng)態(tài)范圍Dri_r作為選取塊或圖像數(shù)據(jù)中的像素的從最大值到最小值的動(dòng)態(tài)范圍，而不計(jì)算選取塊的每個(gè)像素。
也就是說(shuō)，可以如下面的公式(76)進(jìn)行設(shè)置，通過(guò)只補(bǔ)充像素之間的像素值之差以獲得細(xì)線的角度(梯度Gf)。通過(guò)這樣固定動(dòng)態(tài)范圍可以簡(jiǎn)化計(jì)算處理，并以更快的速度進(jìn)行處理。
公式(76) 接著，將參考圖154描述數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)像素的混合比值作為數(shù)據(jù)連續(xù)性信息。
注意，在如圖154所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101中，對(duì)應(yīng)于圖124中所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101的部分的部分以相同的標(biāo)號(hào)表示，并省略對(duì)其的描述。
在如圖154所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101中，與圖124所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101不同之處在于，提供數(shù)據(jù)補(bǔ)充單元751和混合比值推導(dǎo)單元761代替數(shù)據(jù)補(bǔ)充單元702和連續(xù)性方向推導(dǎo)單元703。
數(shù)據(jù)補(bǔ)充單元751的最大最小值獲取單元752執(zhí)行與圖124中最大最小值獲取單元722相同的處理，并獲得動(dòng)態(tài)范圍塊中像素的像素值的最大值和最小值，獲得最大值和最小值的差(動(dòng)態(tài)范圍)，以及將其輸出給補(bǔ)充單元753和755，并將最大值輸出給差值計(jì)算單元754。
補(bǔ)充單元753平方由最大最小值獲取單元獲得的值，對(duì)選取塊的所有像素進(jìn)行補(bǔ)充，獲得其和，以及將其輸出給混合比值推導(dǎo)單元761。
差值計(jì)算單元754獲得數(shù)據(jù)獲取單元712獲取的塊中的每個(gè)像素之間的差和對(duì)應(yīng)于動(dòng)態(tài)范圍塊的最大值，并將其輸出給補(bǔ)充單元755。
補(bǔ)充單元755將從最大最小值獲取單元752輸入的獲取塊的每個(gè)像素的最大值和最小值之差(動(dòng)態(tài)范圍)與從差值計(jì)算單元754輸入的獲取塊中的每個(gè)像素的像素值與對(duì)應(yīng)的動(dòng)態(tài)范圍塊的最大值的差相乘，獲得其和，并將其輸出給混合比值推導(dǎo)單元761。
混合比值推導(dǎo)單元761的混合比值計(jì)算單元762基于從數(shù)據(jù)補(bǔ)充單元的補(bǔ)充單元753和755輸入的值，通過(guò)最小二乘法統(tǒng)計(jì)地獲得關(guān)注像素的混合比值，并將其輸出作為數(shù)據(jù)連續(xù)性信息。
接著，將描述混合比值推導(dǎo)方法。
如圖155A所示，在圖像上存在細(xì)線的情況下，由傳感器2拍攝的圖像如圖155B所示。在該圖像中，關(guān)注圖155B中在空間方向X＝X1上由黑色實(shí)線圍繞的像素。注意，圖155B中在白線之間的區(qū)域表示對(duì)應(yīng)于現(xiàn)實(shí)世界細(xì)線區(qū)域的位置。該像素的像素值M應(yīng)該是對(duì)應(yīng)于背景區(qū)域的水平的像素值B和對(duì)應(yīng)于細(xì)線區(qū)域的水平的像素值L之間的中間色，更具體的是，該像素值Ps應(yīng)該是根據(jù)背景區(qū)域和細(xì)線區(qū)域之間的面積比值的每個(gè)水平的混合水平。因此，像素值Ps可以由下面的公式(77)表達(dá)。
Ps＝α×B+(1-α)×L公式(77) 這里，α是混合比值，尤其是，表示背景區(qū)域在關(guān)注像素中所占的面積比值。因此，可以說(shuō)(1-α)表示細(xì)線區(qū)域所占的面積比值。這里，可以認(rèn)為背景區(qū)域的像素是在背景中存在的對(duì)象的分量，從而可以稱為背景對(duì)象分量。另外，可以認(rèn)為細(xì)線區(qū)域的像素是在相對(duì)于背景對(duì)象的前景中存在的對(duì)象的分量，從而可以稱為前景對(duì)象分量。
從而，可以通過(guò)擴(kuò)展公式(77)由下面的公式(78)表達(dá)混合比值α。
α＝(Ps-L)/(B-L)公式(78) 另外，在這該情況下，假設(shè)像素值位于橫跨第一像素值(像素值B)區(qū)域和第二像素值(像素值L)區(qū)域的位置上，因此，可以用像素值的最大值Max替換像素值L，并進(jìn)而可以用像素值的最小值替換像素值B。因此，可以將混合比值α表達(dá)為下面的公式(79)。
α＝(Ps-Max)/(Min-Max)公式(79) 作為上述的結(jié)果，可以從關(guān)于關(guān)注像素的動(dòng)態(tài)范圍塊的動(dòng)態(tài)范圍(等于(Min-Max))、以及關(guān)注像素與動(dòng)態(tài)范圍塊中的像素的最大值之差獲得混合比值α，但是，為了進(jìn)一步改善精度，這里將通過(guò)最小二乘法統(tǒng)計(jì)地獲得混合比值α。
也就是說(shuō)，擴(kuò)展上述公式(79)得到下面的公式(80)。
(Ps-Max)＝α×(Min-Max)公式(80) 在上述公式(71)的情況下，該公式(80)是單變量最小二乘方程。也就是說(shuō)，在公式(71)中，通過(guò)最小二乘法獲得梯度Gf，但是這里，獲得混合比值α。因此，通過(guò)求解如公式(81)所示的正規(guī)方程可以統(tǒng)計(jì)地獲得混合比值α。
公式(81) 這里，i用于標(biāo)識(shí)選取塊的像素。因此，在公式(81)中，選取塊中的像素個(gè)數(shù)為n。
接著，將參考圖156中的流程圖描述利用混合比值作為數(shù)據(jù)連續(xù)性的用于檢測(cè)數(shù)據(jù)連續(xù)性的處理。
在步驟S731中，水平/垂直確定單元711對(duì)計(jì)數(shù)器U進(jìn)行初始化，其識(shí)別輸入圖像的像素。
在步驟S732中，水平/垂直確定單元711進(jìn)行處理，以選取下面步驟所需的數(shù)據(jù)。注意，步驟S732的處理與參考圖150中的流程圖所述的處理相同，因此省略對(duì)其的描述。
在步驟S733中，數(shù)據(jù)補(bǔ)充單元751進(jìn)行處理，以補(bǔ)充用于計(jì)算正規(guī)方程(這里指公式(81))的每項(xiàng)所需的值。
這里，將參考圖157中的流程圖描述用于補(bǔ)充正規(guī)方程的處理。
在步驟S751中，最大最小值獲取單元752獲取存儲(chǔ)在數(shù)據(jù)獲取單元712中的動(dòng)態(tài)范圍塊中包含的像素的像素值的最大值和最小值，并將其中的最小值輸出給差值計(jì)算單元754。
在步驟S752，最大最小值獲取單元752從最大值和最小值之差獲取動(dòng)態(tài)范圍，并將其輸出給差值補(bǔ)充單元753和755。
在步驟S753，補(bǔ)充單元753對(duì)從最大最小值獲取單元752輸入的動(dòng)態(tài)范圍(Max-Min)求平方并進(jìn)行補(bǔ)充。也就是說(shuō)，補(bǔ)充單元753通過(guò)補(bǔ)充產(chǎn)生等于上述公式(81)中分母的值。
在步驟S754，差值計(jì)算單元754獲得從最大最小值獲取單元752輸入的動(dòng)態(tài)范圍塊的最大值與在選取塊中當(dāng)前正被處理的像素的像素值之差，并將其輸出給補(bǔ)充單元755。
在步驟S755中，補(bǔ)充單元755將從最大最小值獲取單元752輸入的動(dòng)態(tài)范圍乘以從差值計(jì)算單元754輸入的正被處理的像素的像素值與動(dòng)態(tài)范圍塊的像素的最大值之差，并補(bǔ)充。也就是說(shuō)，補(bǔ)充單元755產(chǎn)生等于上述公式(81)的分子項(xiàng)的值。
如上所述，數(shù)據(jù)補(bǔ)充單元751通過(guò)補(bǔ)充計(jì)算上述公式(81)的各項(xiàng)。
這里，返回到對(duì)圖156中的流程圖的描述。
在步驟S734中，差值補(bǔ)充單元721確定是否已結(jié)束對(duì)選取塊的所有像素的補(bǔ)充，在確定例如對(duì)選取塊的所有像素的補(bǔ)充仍未結(jié)束的情況下，該過(guò)程返回步驟S732，并重復(fù)隨后的處理。也就是說(shuō)，重復(fù)步驟S732到步驟S734的處理直到確定對(duì)選取塊的所有像素的補(bǔ)充已經(jīng)結(jié)束。
在步驟S734中，在確定對(duì)選取塊的所有像素的補(bǔ)充已經(jīng)結(jié)束的情況下，在步驟S735，補(bǔ)充單元753和755將存儲(chǔ)在其中的補(bǔ)充結(jié)果輸出給混合比值推導(dǎo)單元761。
在步驟S736，混合比值推導(dǎo)單元761的混合比值計(jì)算單元762通過(guò)最小二乘法統(tǒng)計(jì)地計(jì)算并輸出關(guān)注像素的混合比值作為數(shù)據(jù)連續(xù)性信息，其中通過(guò)基于動(dòng)態(tài)范圍的平方和、以及從數(shù)據(jù)補(bǔ)充單元751的補(bǔ)充單元753和755輸入的選取塊的像素的像素值與動(dòng)態(tài)塊的最大值之差乘以動(dòng)態(tài)范圍的和，求解公式(81)所示的正規(guī)方程。
在步驟S737，數(shù)據(jù)獲取單元712確定對(duì)輸入圖像中的所有像素的處理是否已經(jīng)進(jìn)行，在確定例如仍未進(jìn)行對(duì)輸入圖像中的所有像素的處理的情況下，即在確定仍未輸出輸入圖像的所有像素的混合比值的情況下，在步驟S738中，計(jì)數(shù)器加1，并且過(guò)程返回步驟S732。
也就是說(shuō)，重復(fù)步驟S732到步驟S738的處理，直到改變輸入圖像中將要處理的像素，并對(duì)輸入圖像的所有像素計(jì)算混合值?？梢岳绺鶕?jù)柵格掃描等由計(jì)數(shù)器V改變像素，或根據(jù)其它規(guī)則順序改變。
當(dāng)在步驟S737中確定已經(jīng)對(duì)輸入圖像的所有像素進(jìn)行處理時(shí)，在步驟S739中，數(shù)據(jù)獲取單元712確定是否存在下一個(gè)輸入圖像，在確定存在下一個(gè)輸入圖像的情況下，該過(guò)程返回步驟S731，并重復(fù)后面的處理。
當(dāng)在步驟S739中確定沒(méi)有下一個(gè)輸入圖像的情況下，處理結(jié)束。
由于上述處理，檢測(cè)出像素的混合比值作為連續(xù)性信息，并輸出。
圖158B示出了例如根據(jù)上述技術(shù)，關(guān)于圖158A所示圖像中的白線內(nèi)的細(xì)線圖像，在預(yù)定空間方向X(＝561、562、563)上的混合比值的變化。如圖158B所示，在水平方向上連續(xù)的混合比值在空間方向Y上的變化分別是，在空間方向X＝563的情況下，混合比值在空間方向Y＝660附近開(kāi)始上升，峰值為Y＝685附近，并下降到達(dá)Y＝710。另外，在空間方向X＝562的情況下，混合比值在空間方向Y＝680附近開(kāi)始上升，峰值為Y＝705附近，并下降到達(dá)Y＝735。另外，在空間方向X＝561的情況下，混合比值在空間方向Y＝705附近開(kāi)始上升，峰值為Y＝725附近，并下降到達(dá)Y＝755。
從而，如圖158B所示，在連續(xù)空間方向X上的每個(gè)混合比值的變化與根據(jù)混合比值變化的像素值的變化相同(如圖133B中示出的像素值的變化)，并且循環(huán)連續(xù)，因此可以理解，在細(xì)線附近的像素的混合比值被精確表示。
另外，同樣，圖159B示出了關(guān)于圖159A所示圖像中的白線內(nèi)的二值邊緣圖像，在預(yù)定空間方向X(＝658、659、660)上的混合比值的變化。如圖159B所示，在水平方向上連續(xù)的混合比值在空間方向Y上的變化分別是，在空間方向X＝660的情況下，混合比值在空間方向Y＝750附近開(kāi)始上升，峰值為Y＝765附近。另外，在空間方向X＝659的情況下，混合比值在空間方向Y＝760附近開(kāi)始上升，峰值為Y＝775附近。另外，在空間方向X＝658的情況下，混合比值在空間方向Y＝770附近開(kāi)始上升，峰值為Y＝785附近。
從而，如圖159B所示，二值邊緣的每個(gè)混合比值的變化與根據(jù)混合比值變化的像素值的變化近似相同(如圖145B中示出的像素值的變化)，并且循環(huán)連續(xù)，因此可以理解，在二值邊緣附近的像素值的混合比值被精確表示。
根據(jù)上述，通過(guò)最小二乘法可以統(tǒng)計(jì)地獲得每個(gè)像素的混合比值作為數(shù)據(jù)連續(xù)性信息。另外，可以基于該混合比值直接產(chǎn)生每個(gè)像素的像素值。
另外，如果設(shè)混合比值的變化具有連續(xù)性，并且，混合比值的變化是線性的，則如下面的公式(82)表示的關(guān)系成立。
α＝m×y+n公式(82) 這里，m表示當(dāng)混合比值α相對(duì)于空間方向Y變化時(shí)的梯度，另外，當(dāng)混合比值α線性變化時(shí)，n相當(dāng)于截距。
也就是說(shuō)，如圖160所示，表示混合比值的直線是表示等于背景區(qū)域水平的像素值B與等于細(xì)線水平的像素L之間的邊界的直線，在該情況下，當(dāng)相對(duì)空間方向Y前進(jìn)單位距離時(shí)，混合比值的變化量為梯度m。
因此，將公式(82)代入公式(77)獲得下面的公式(83)。
M＝(m×y+n)×B+(1-(m×y+n))×L公式(83) 另外，擴(kuò)展公式(83)獲得下面的公式(84) M-L＝(y×B-y×L)×m+(B-L)×n公式(84) 在公式(84)中，第一項(xiàng)m表示混合比值在空間方向中的梯度，第二項(xiàng)表示混合比值的截距。因此，可以這樣設(shè)置，其中利用兩個(gè)變量的最小二乘法產(chǎn)生正規(guī)方程以獲得公式(84)中的m和n。
然而，混合比值α的梯度m是上述細(xì)線或二值邊緣的梯度(上述梯度Gf)自身，因此可以這樣設(shè)置，其中首先使用上述方法獲得細(xì)線或二值邊緣的梯度Gf，然后使用該梯度并將其代入公式(84)，從而形成關(guān)于截距項(xiàng)的單變量函數(shù)，并利用單變量最小二乘法獲得與上述技術(shù)相同的結(jié)果。
盡管描述了用于檢測(cè)細(xì)線或二值邊緣在空間方向上的角度(梯度)或混合比值作為數(shù)據(jù)連續(xù)性信息的數(shù)據(jù)連續(xù)性檢測(cè)單元101的上述例子，但是可以這樣設(shè)置，其中通過(guò)用例如時(shí)間方向(幀方向)T軸代替空間方向軸(空間方向X和Y)中的一個(gè)，獲得對(duì)應(yīng)于空間方向中的角度的物理量。也就是說(shuō)，對(duì)應(yīng)于通過(guò)用時(shí)間方向(幀方向)T軸代替空間方向軸(空間方向X和Y)中的一個(gè)而獲得的角度的物理量是對(duì)象的移動(dòng)矢量(移動(dòng)矢量方向)。
尤其是，如圖161A所示，當(dāng)對(duì)象相關(guān)于空間方向Y在時(shí)間上在圖中向上移動(dòng)時(shí)，對(duì)象的移動(dòng)軌跡在相當(dāng)于圖中細(xì)線的部分示出(相比于圖131A)。因此，在時(shí)間方向T上的細(xì)線的梯度表示圖161A中對(duì)象的移動(dòng)方向(表示對(duì)象的移動(dòng)的角度)(相當(dāng)于移動(dòng)矢量的方向)。因此，在現(xiàn)實(shí)世界中，在由圖161A中的箭頭表示的預(yù)定時(shí)刻的幀中，如圖161B所示獲得脈沖形波形，其中將成為對(duì)象軌跡的部分是對(duì)象的水平(顏色)，以及其它部分是背景水平。
這樣，利用傳感器2成像具有移動(dòng)的對(duì)象的情況下，如圖162A所示，從時(shí)刻T1到T3的幀的每個(gè)像素的像素值分布都采用在空間方向Y上的峰形分布，如圖162B所示?？梢哉J(rèn)為該關(guān)系與參考圖132A和圖132B所述的在空間方向X和Y上的關(guān)系相同。因此，在對(duì)象在幀方向T上具有移動(dòng)時(shí)，可以以與利用上述細(xì)線的梯度或二值邊緣的角度(梯度)信息相同的方法，獲得對(duì)象的移動(dòng)矢量的方向作為數(shù)據(jù)連續(xù)性信息。注意，在圖162B中，幀方向T(時(shí)間方向T)中的每個(gè)柵格是構(gòu)成一幀的圖像的快門時(shí)間。
另外，同樣，如圖163A所示，對(duì)于每個(gè)幀方向T，存在對(duì)象在空間方向Y上的移動(dòng)的情況下，如圖163B所示，可以獲得對(duì)應(yīng)于對(duì)象在對(duì)應(yīng)預(yù)定時(shí)刻的幀上相對(duì)于空間方向Y的移動(dòng)的每個(gè)像素值。此時(shí)，圖163B中由黑實(shí)線包圍的像素的像素值是其中背景水平和對(duì)象水平在幀方向上以混合比值β混合的像素值，其對(duì)應(yīng)于例如如圖163C所示的對(duì)象的移動(dòng)。
該關(guān)系與參考圖155A、圖155B以及圖155C所述的關(guān)系相同。
另外，如圖164所示，由在幀方向(時(shí)間方向)上的混合比值β可以線性近似對(duì)象的水平O和背景的水平B。該關(guān)系與參考圖160所述的在空間方向上的混合比值的線性近似關(guān)系相同。
因此，利用與在空間方向中的混合比值α的情況下相同的技術(shù)可以獲得在時(shí)間(幀)方向上的混合比值β作為數(shù)據(jù)連續(xù)性信息。
另外，可以這樣設(shè)置，其中選擇幀方向或一維空間方向，獲得數(shù)據(jù)連續(xù)性角度或移動(dòng)矢量方向，以及同樣地選擇性地獲得混合比值α和β。
根據(jù)上述，投影現(xiàn)實(shí)世界的光信號(hào)，選擇對(duì)應(yīng)于圖像數(shù)據(jù)中的關(guān)注像素的區(qū)域，所述圖像中已丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，檢測(cè)選擇的區(qū)域中的用于檢測(cè)對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性的圖像數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度的特征，基于檢測(cè)的特征統(tǒng)計(jì)地檢測(cè)角度，以及基于檢測(cè)的圖像數(shù)據(jù)的連續(xù)性相對(duì)于參考軸的角度通過(guò)估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)，從而可獲得連續(xù)性的角度(移動(dòng)矢量的方向)或(時(shí)間-空間)混合比值。
接著，將參考圖165描述數(shù)據(jù)連續(xù)性信息檢測(cè)單元101，其將其中利用數(shù)據(jù)連續(xù)性信息進(jìn)行處理的區(qū)域中的信息輸出作為數(shù)據(jù)連續(xù)性信息。
角度檢測(cè)單元801檢測(cè)輸入圖像中具有連續(xù)性區(qū)域的空間方向角度，所述區(qū)域即構(gòu)成圖像中具有連續(xù)性的細(xì)線和二值邊緣的部分，并將檢測(cè)到的角度輸出給現(xiàn)實(shí)世界估計(jì)單元802。注意，該角度檢測(cè)單元801與圖3中數(shù)據(jù)連續(xù)性檢測(cè)單元101相同。
現(xiàn)實(shí)世界估計(jì)單元802基于從角度角度檢測(cè)單元801輸入的表示數(shù)據(jù)連續(xù)性方向的角度和輸入圖像的信息估計(jì)現(xiàn)實(shí)世界。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元802從輸入圖像和輸入圖像的每個(gè)像素獲得近似地描述現(xiàn)實(shí)世界光信號(hào)的光強(qiáng)分布的模擬函數(shù)的系數(shù)，并將獲得的作為對(duì)現(xiàn)實(shí)世界的估計(jì)結(jié)果的系數(shù)輸出給誤差計(jì)算單元803。注意，該現(xiàn)實(shí)世界估計(jì)單元802與圖3所示的現(xiàn)實(shí)世界估計(jì)單元102相同。
誤差計(jì)算單元803基于從現(xiàn)實(shí)世界估計(jì)單元802輸入的系數(shù)公式化表示近似描述的現(xiàn)實(shí)世界光強(qiáng)分布的模擬函數(shù)，并且還基于模擬函數(shù)積分對(duì)應(yīng)于每個(gè)像素位置的光強(qiáng)，從而根據(jù)從模擬函數(shù)估計(jì)的光強(qiáng)分布產(chǎn)生每個(gè)像素的像素值，并將其輸出給比較單元804，以與實(shí)際輸入的像素值的差作為誤差。
比較單元804比較每個(gè)像素的從誤差計(jì)算單元803輸入的誤差與預(yù)先設(shè)置的閾值，從而分辨其中存在將被利用連續(xù)性信息處理的像素的處理區(qū)域和非處理區(qū)域，并輸出分辨其中將要利用連續(xù)性信息進(jìn)行處理的處理區(qū)域和非處理區(qū)域的區(qū)域信息作為連續(xù)性信息。
接著，將參考圖166中的流程圖描述利用圖165中的數(shù)據(jù)連續(xù)性檢測(cè)單元101的連續(xù)性檢測(cè)處理。
角度檢測(cè)單元801獲取在步驟S801中輸入的圖像，并在S802中檢測(cè)表示連續(xù)性方向的角度。尤其是，角度檢測(cè)單元801檢測(cè)當(dāng)取水平方向?yàn)閰⒖驾S時(shí)的細(xì)線、或表示具有例如二值邊緣的連續(xù)性方向的角度，并將其輸出給現(xiàn)實(shí)世界估計(jì)單元802。
在步驟S803，現(xiàn)實(shí)世界估計(jì)單元802基于從角度檢測(cè)單元801輸入的角度信息和輸入圖像信息，獲得由多項(xiàng)式構(gòu)成的模擬函數(shù)f(x)的系數(shù)，所述函數(shù)近似地描述了表達(dá)現(xiàn)實(shí)世界的函數(shù)F(x)，并將其輸出給誤差計(jì)算單元803。也就是說(shuō)，表達(dá)現(xiàn)實(shí)世界的模擬函數(shù)f(x)示出為如下面的公式(85)的初始多項(xiàng)式。
公式(85) 這里，wi是多項(xiàng)式的系數(shù)，現(xiàn)實(shí)世界估計(jì)單元802獲得該系數(shù)wi并將其輸出給誤差計(jì)算單元803。另外，基于從角度檢測(cè)單元801輸入的角度可以獲得來(lái)自連續(xù)性方向的梯度(Gf＝tan-1θ，Gf梯度，θ角度)，從而，通過(guò)代入該梯度Gf的約束條件可以用獲得如下面的公式(86)所示的二元多項(xiàng)式描述上述公式(85)。
公式(86) 也就是說(shuō)，上述公式(86)描述了通過(guò)用平移量α(＝-dy/Gfdy為在空間方向Y上的變化量)表示由于利用公式(85)描述的初始模擬函數(shù)f(x)平行于空間方向Y上移動(dòng)發(fā)生的平移的寬度而獲得的二元函數(shù)f(x，y)。
因此，現(xiàn)實(shí)世界估計(jì)單元802利用輸入圖像和在連續(xù)性方向上的角度信息解出上述公式(86)的每個(gè)系數(shù)wi，并將獲得的系數(shù)wi輸出給誤差計(jì)算單元803。
這里，返回描述圖166中的流程圖。
在步驟S804，誤差計(jì)算單元803基于現(xiàn)實(shí)世界估計(jì)單元802輸入的系數(shù)，進(jìn)行對(duì)每個(gè)像素的再積分。尤其是，誤差計(jì)算單元803基于從現(xiàn)實(shí)世界估計(jì)單元802輸入的系數(shù)如下面的公式(87)所示將上述公式(86)對(duì)每個(gè)像素積分。
公式(87) 這里，Ss表示在圖167中示出的空間方向上的積分結(jié)果。另外，如圖167所示，其積分范圍是，在空間方向X上為xm到xm+B，在空間方向Y上為ym到y(tǒng)m+A。另外，在圖167中，認(rèn)為每個(gè)柵格(方格)表示一個(gè)像素，并且空間方向X和空間方向Y上的柵格都為1。
因此，如圖168所示，誤差計(jì)算單元803對(duì)每個(gè)像素進(jìn)行如下面的公式(88)所示的積分算術(shù)運(yùn)算，其中在模擬函數(shù)f(x，y)中所示的曲線表面的空間方向X上的積分范圍是xm到xm+1，以及在空間方向Y上的范圍是ym到y(tǒng)m+1(A＝B＝1)，并計(jì)算通過(guò)空間積分近似表達(dá)現(xiàn)實(shí)世界的模擬函數(shù)獲得的每個(gè)像素的像素值Ps。
公式(88) 換句話說(shuō)，根據(jù)該處理，誤差計(jì)算單元803用作所謂的一種像素產(chǎn)生單元，并從模擬函數(shù)產(chǎn)生像素值。
在步驟S805中，誤差計(jì)算單元803計(jì)算利用如上述公式(88)所示的積分獲得的像素值與輸入圖像的像素值之差，并將其作為誤差輸出給比較單元804。換句話說(shuō)，誤差計(jì)算單元803獲得對(duì)應(yīng)于如圖167和168所示的積分范圍(在空間方向X上為xm到xm+1，在空間方向Y上為ym到y(tǒng)m+1)的像素的像素值與利用在對(duì)應(yīng)于像素的范圍上的積分結(jié)果獲得的像素值之差作為誤差，并將其輸出給比較單元804。
在步驟S806中，比較單元804確定利用從誤差計(jì)算單元803輸入的積分獲得的像素值與輸入圖像的像素值之間的誤差的絕對(duì)值是否等于預(yù)定的閾值或更小。
在步驟S806中，在確定所述誤差是預(yù)定的閾值或更小的情況下，由于利用積分獲得的像素值是接近輸入圖像的像素的像素值的值，比較單元804將用于計(jì)算像素的像素值的模擬函數(shù)組看作利用現(xiàn)實(shí)世界中的光信號(hào)的光強(qiáng)分布充分近似的函數(shù)，并在步驟S807中將正被處理的像素的區(qū)域看作其中基于連續(xù)性信息利用模擬函數(shù)進(jìn)行處理的處理區(qū)域。更具體的是，比較單元804將現(xiàn)在處理過(guò)的像素存儲(chǔ)在未示出的存儲(chǔ)器中作為在隨后處理區(qū)域中的像素。
另一方面，當(dāng)在步驟S806中確定誤差不是閾值或更小的情況下，由于通過(guò)積分獲得的像素值是遠(yuǎn)離實(shí)際像素值的值，比較單元804將用于計(jì)算像素的像素值的模擬函數(shù)組看作利用現(xiàn)實(shí)世界中的光信號(hào)的光強(qiáng)分布不充分近似的函數(shù)，并在步驟S808中將正被處理的像素的區(qū)域看作其中在隨后的階段不進(jìn)行基于連續(xù)性信息利用模擬函數(shù)的處理的非處理區(qū)域。更具體的是，比較單元804將現(xiàn)在處理過(guò)的像素的區(qū)域存儲(chǔ)在未示出的存儲(chǔ)器中作為隨后的非處理區(qū)域。
在步驟S809中，比較單元804確定是否已經(jīng)進(jìn)行對(duì)所有像素的處理，在確定仍未對(duì)所有的像素進(jìn)行處理的情況下，處理返回步驟S802，其中重復(fù)進(jìn)行后面的處理。換句話說(shuō)，重復(fù)進(jìn)行步驟S802到S809中的處理，直到確定進(jìn)行了其中比較利用積分獲得的像素值與輸入的像素值的處理，并確定該像素是否已經(jīng)對(duì)所有像素確定該像素是處理區(qū)域。
在步驟S809中，在確定已經(jīng)對(duì)所有像素完成其中進(jìn)行對(duì)利用再積分獲得的像素值與輸入像素值的比較的確定處理、并且確定像素是否是處理區(qū)域后，在步驟S810中，比較單元804輸出區(qū)域信息，其中關(guān)于存儲(chǔ)在未示出的存儲(chǔ)器中的輸入圖像，識(shí)別處理區(qū)域和非處理區(qū)域作為連續(xù)性信息，在處理區(qū)域中，在后面的處理中基于在空間方向上的連續(xù)性信息進(jìn)行處理，而在非處理區(qū)域中，不進(jìn)行基于在空間方向上的連續(xù)性信息的處理。
根據(jù)上述處理，基于通過(guò)利用基于連續(xù)性信息計(jì)算的模擬函數(shù)f(x)在對(duì)應(yīng)于每個(gè)像素的區(qū)域上的積分結(jié)果獲得的像素值與實(shí)際輸入圖像的像素值之間的誤差，對(duì)每個(gè)區(qū)域(每個(gè)像素)進(jìn)行對(duì)模擬函數(shù)的表達(dá)的可靠性的評(píng)估，從而，將具有最小誤差的區(qū)域認(rèn)為是處理區(qū)域，即只有其中的像素的通過(guò)基于模擬函數(shù)的積分獲得的像素值是可靠存在的區(qū)域，而將除此以外的其它區(qū)域認(rèn)為是非處理區(qū)域，從而，只有可靠區(qū)域可以基于空間方向中的連續(xù)性信息得到處理，并且可以進(jìn)行需要的單獨(dú)處理，從而可以改善處理速度，并且所述處理可以對(duì)可靠的區(qū)域單獨(dú)進(jìn)行，從而防止圖像質(zhì)量由于該處理而惡化。
接著，將參考圖169描述數(shù)據(jù)連續(xù)性信息檢測(cè)單元101的另一實(shí)施例，其輸出其中存在將要利用數(shù)據(jù)連續(xù)性信息處理的像素的區(qū)域信息作為數(shù)據(jù)連續(xù)性信息。
移動(dòng)檢測(cè)單元821檢測(cè)輸入圖像的具有連續(xù)性的區(qū)域，即在圖像的幀方向上具有連續(xù)性的移動(dòng)(移動(dòng)矢量Vf的方向)，并將檢測(cè)的移動(dòng)輸出給現(xiàn)實(shí)世界估計(jì)單元822。注意，該移動(dòng)檢測(cè)單元821與圖3中數(shù)據(jù)連續(xù)性檢測(cè)單元101相同。
現(xiàn)實(shí)世界估計(jì)單元822基于從移動(dòng)檢測(cè)單元821輸入的數(shù)據(jù)連續(xù)性和輸入圖像信息的移動(dòng)估計(jì)現(xiàn)實(shí)世界。具體為，現(xiàn)實(shí)世界估計(jì)單元822獲得模擬函數(shù)的系數(shù)，所述函數(shù)基于輸入的移動(dòng)和輸入圖像的每個(gè)像素在幀方向(時(shí)間方向)上近似描述現(xiàn)實(shí)世界中光信號(hào)的光強(qiáng)分布，并將獲得的系數(shù)作為在現(xiàn)實(shí)世界中的估計(jì)結(jié)果輸出給誤差計(jì)算單元823。注意，該現(xiàn)實(shí)世界估計(jì)單元822與圖3中的現(xiàn)實(shí)世界估計(jì)單元102相同。
誤差計(jì)算單元823形成表示現(xiàn)實(shí)世界在幀方向上的光強(qiáng)分布的模擬函數(shù)，其中基于從現(xiàn)實(shí)世界估計(jì)單元822輸入的系數(shù)近似描述了所述現(xiàn)實(shí)世界，并且，從該模擬函數(shù)對(duì)每幀積分相當(dāng)于每個(gè)像素位置的光強(qiáng)，從通過(guò)模擬函數(shù)估計(jì)的光強(qiáng)分布產(chǎn)生每個(gè)像素的像素值，并將與實(shí)際輸入的像素值之差輸出給比較單元824作為誤差。
比較單元824通過(guò)比較從誤差計(jì)算單元823輸入的關(guān)于每個(gè)像素的誤差與預(yù)定閾值，識(shí)別處理區(qū)域和非處理區(qū)域，在所述處理區(qū)域中存在將要利用連續(xù)性信息處理的像素，并將其中識(shí)別處理區(qū)域和非處理區(qū)域的區(qū)域信息輸出作為連續(xù)性信息，其中在處理區(qū)域中利用連續(xù)性信息進(jìn)行處理。
接著，將參考圖170中的流程圖描述利用圖169的數(shù)據(jù)連續(xù)性檢測(cè)單元101進(jìn)行的連續(xù)性檢測(cè)處理。
移動(dòng)檢測(cè)單元801在步驟S801中獲取輸入圖像，并在步驟S822中檢測(cè)表示連續(xù)性的移動(dòng)。更具體的是，移動(dòng)檢測(cè)單元801檢測(cè)例如物質(zhì)在輸入圖像中的移動(dòng)(移動(dòng)方向矢量Vf)，并將其輸出給現(xiàn)實(shí)世界估計(jì)單元822。
在步驟S823中，現(xiàn)實(shí)世界估計(jì)單元822獲得由多項(xiàng)式構(gòu)成的函數(shù)f(t)的系數(shù)，所述函數(shù)基于從移動(dòng)檢測(cè)單元821輸入的移動(dòng)信息和輸入圖像的信息近似地描述了表示現(xiàn)實(shí)世界的在幀方向上的函數(shù)F(t)，并將其輸出給誤差計(jì)算單元823。也就是說(shuō)，表達(dá)現(xiàn)實(shí)世界的函數(shù)f(t)示出為如下述公式(89)的初始多項(xiàng)式。
公式(89) 這里，wi是多項(xiàng)式的系數(shù)，現(xiàn)實(shí)世界估計(jì)單元822獲得該系數(shù)wi并將其輸出給誤差計(jì)算單元823。另外，基于從移動(dòng)檢測(cè)單元821輸入的移動(dòng)可以獲得作為連續(xù)性的移動(dòng)(Vf＝tan-1θv，Vf移動(dòng)矢量在幀方向上的梯度，θv移動(dòng)矢量在幀方向上的角度)，從而，通過(guò)代入該梯度的約束條件可以用如下面的公式(90)所示的二元多項(xiàng)式描述上述公式(89)。
公式(90) 也就是說(shuō)，上述公式(90)描述了通過(guò)用平移量αt(＝-dy/Vfdy為在空間方向Y上的變化量)表示由于利用公式(89)描述的初始模擬函數(shù)f(t)平行于空間方向Y上移動(dòng)發(fā)生的平移的寬度而獲得的二元函數(shù)f(t，y)。
因此，現(xiàn)實(shí)世界估計(jì)單元822利用輸入圖像和連續(xù)性移動(dòng)信息解出上述公式(90)的每個(gè)系數(shù)wi，并將獲得的系數(shù)wi輸出給誤差計(jì)算單元823。
這里，返回描述圖170中的流程圖。
在步驟S824，誤差計(jì)算單元823基于現(xiàn)實(shí)世界估計(jì)單元822輸入的系數(shù)，在幀方向上進(jìn)行對(duì)每個(gè)像素的積分。也就是說(shuō)，誤差計(jì)算單元823基于從現(xiàn)實(shí)世界估計(jì)單元822輸入的系數(shù)如下面的公式(91)所示將上述公式(90)對(duì)每個(gè)像素積分。
公式(91) 這里，St表示在圖171中示出的在幀方向上的積分結(jié)果。如圖171所示，其積分范圍是，在幀方向T上為Tm到Tm+B，在空間方向Y上為ym到y(tǒng)m+A。另外，在圖171中，認(rèn)為每個(gè)柵格(方格)表示一個(gè)像素，并且?guī)较騎和空間方向Y上的柵格都為1。這里“關(guān)于幀方向T為‘”是指對(duì)于一幀的數(shù)值的快門時(shí)間為1。
因此，如圖172所示，誤差計(jì)算單元823對(duì)每個(gè)像素進(jìn)行如公式(92)所示的積分算術(shù)運(yùn)算，其中在模擬函數(shù)f(t，y)中所示的曲線表面的幀方向T上的積分范圍是Tm到Tm+1，以及在空間方向Y上的范圍是ym到y(tǒng)m+1(A＝B＝1)，并計(jì)算從近似表達(dá)現(xiàn)實(shí)世界的模擬函數(shù)獲得的每個(gè)像素的像素值Pt。
公式(92) 也就是說(shuō)，根據(jù)該處理，誤差計(jì)算單元823用作所謂的一種像素值產(chǎn)生單元，并從模擬函數(shù)產(chǎn)生像素值。
在步驟S825中，誤差計(jì)算單元823計(jì)算利用如上述公式(92)所示的積分獲得的像素值與輸入圖像的像素值之差，并將其作為誤差輸出給比較單元824。也就是說(shuō)，誤差計(jì)算單元823獲得對(duì)應(yīng)于如圖171和172所示的積分范圍(在幀方向T上為Tm到Tm+1，在空間方向Y上為ym到y(tǒng)m+1)的像素的像素值與利用在對(duì)應(yīng)于該像素的范圍上的積分結(jié)果獲得的像素值之差作為誤差，并將其輸出給比較單元824。
在步驟S826中，比較單元824確定利用從誤差計(jì)算單元823輸入的積分獲得的像素值與輸入圖像的像素值之間的誤差的絕對(duì)值是否等于預(yù)定的閾值或更小。
在步驟S826中，在確定所述誤差是預(yù)定閾值或更小的情況下，由于利用積分獲得像素值是接近輸入圖像的像素的像素值的值，比較單元824將用于計(jì)算像素的像素值的模擬函數(shù)組看作利用現(xiàn)實(shí)世界中的光信號(hào)的光強(qiáng)分布充分近似的函數(shù)，并在步驟S827中將正被處理的像素的區(qū)域看作處理區(qū)域。更具體的是，比較單元824將現(xiàn)在處理過(guò)的像素存儲(chǔ)在未示出的存儲(chǔ)器中作為在后續(xù)處理區(qū)域中的像素。
另一方面，當(dāng)在步驟S826中確定誤差不是閾值或更小的情況下，由于通過(guò)積分獲得的像素值是遠(yuǎn)離實(shí)際像素值的值，比較單元824將用于計(jì)算像素的像素值的模擬函數(shù)看作利用現(xiàn)實(shí)世界中的光信號(hào)的光強(qiáng)分布不充分近似的函數(shù)，并在步驟S828中將正被處理的像素的區(qū)域看作其中在隨后的階段不進(jìn)行基于連續(xù)性信息利用模擬函數(shù)的處理的非處理區(qū)域。更具體的是，比較單元824將現(xiàn)在處理過(guò)的像素的區(qū)域存儲(chǔ)在未示出的存儲(chǔ)器中作為后續(xù)的非處理區(qū)域。
在步驟S829中，比較單元824確定是否已經(jīng)進(jìn)行對(duì)所有像素的處理，在確定仍未對(duì)所有的像素進(jìn)行處理的情況下，處理返回步驟S822，其中重復(fù)進(jìn)行后面的處理。換句話說(shuō)，重復(fù)進(jìn)行步驟S822到S829中的處理，直到已經(jīng)對(duì)所有像素完成了確定處理，其中比較利用積分獲得的像素值與輸入的像素值的處理，并確定該像素是否是處理區(qū)域。
在步驟S829中，在確定已經(jīng)對(duì)所有像素完成其中對(duì)利用再積分獲得的像素值與輸入像素值進(jìn)行比較、并且確定像素是否是處理區(qū)域的確定處理后，在步驟S830中，比較單元824輸出區(qū)域信息，其中關(guān)于存儲(chǔ)在未示出的存儲(chǔ)器中的輸入圖像，識(shí)別處理區(qū)域和非處理區(qū)域作為連續(xù)性信息，在處理區(qū)域中，在后面的處理中基于在幀方向上的連續(xù)性信息進(jìn)行處理，而在非處理區(qū)域中，不進(jìn)行基于在幀方向上的連續(xù)性信息的處理。
根據(jù)上述處理，基于通過(guò)利用基于連續(xù)性信息計(jì)算的模擬函數(shù)f(t)在對(duì)應(yīng)于每個(gè)像素的區(qū)域上的積分結(jié)果獲得的像素值與實(shí)際輸入圖像的像素值之間的誤差，對(duì)每個(gè)區(qū)域(每個(gè)像素)進(jìn)行對(duì)模擬函數(shù)的表達(dá)的可靠性的評(píng)估，從而，將具有最小誤差的區(qū)域認(rèn)為是處理區(qū)域，即只有其中的像素的通過(guò)基于模擬函數(shù)的積分獲得的像素值是可靠存在的區(qū)域，而將除此以外的其它區(qū)域認(rèn)為是非處理區(qū)域，從而，只有可靠區(qū)域可以基于幀方向中的連續(xù)性信息得到處理，并且可以進(jìn)行必要的單獨(dú)處理，從而可以提高處理速度，并且所述處理可以對(duì)可靠的區(qū)域單獨(dú)進(jìn)行，從而防止圖像質(zhì)量由于該處理而惡化。
可以這樣設(shè)置，其中結(jié)合圖165和圖169中的數(shù)據(jù)連續(xù)性信息檢測(cè)單元101的結(jié)構(gòu)，選擇任意一維空間方向和時(shí)間方向，以及選擇性地輸出區(qū)域信息。
根據(jù)上述結(jié)構(gòu)，通過(guò)每個(gè)具有空間-時(shí)間積分效應(yīng)的傳感器的多個(gè)檢測(cè)元件投影現(xiàn)實(shí)世界中的光信號(hào)，檢測(cè)由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，所述像素具有由檢測(cè)元件投影的像素值，其中丟失了現(xiàn)實(shí)世界的光信號(hào)的部分連續(xù)性，在對(duì)應(yīng)于檢測(cè)的連續(xù)性的每個(gè)像素的像素值的條件下模擬對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的函數(shù)，并且圖像數(shù)據(jù)的對(duì)應(yīng)于在空間和時(shí)間方向的一個(gè)一維方向中的至少一個(gè)位置是利用至少在該一維方向上的積分效應(yīng)獲取的像素值，因此，檢測(cè)通過(guò)估計(jì)對(duì)應(yīng)于現(xiàn)實(shí)世界的光信號(hào)的函數(shù)、并至少在對(duì)應(yīng)于初始方向上的每個(gè)像素的增量上對(duì)所估計(jì)的函數(shù)而進(jìn)行積分獲得的像素值與每個(gè)像素的像素值的差值，并根據(jù)該差值選擇性地輸出所述函數(shù)，從而，可以將這樣的單獨(dú)區(qū)域認(rèn)為是處理區(qū)域，其中具有通過(guò)基于模擬函數(shù)的積分獲得的像素值的像素可靠地存在，并且，將除此以外的其它區(qū)域認(rèn)為是非處理區(qū)域，可以基于幀方向中的連續(xù)性信息單獨(dú)地處理可靠區(qū)域，從而可以單獨(dú)進(jìn)行必要的處理，從而可以提高處理速度，另外，由于可以單獨(dú)地對(duì)可靠區(qū)域進(jìn)行處理，防止圖像質(zhì)量由于該處理而惡化。
接著，將描述對(duì)現(xiàn)實(shí)世界1的信號(hào)的估計(jì)。
圖173是示出現(xiàn)實(shí)世界估計(jì)單元102的結(jié)構(gòu)的方框圖。
利用具有圖173所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102，基于輸入圖像和從連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息，檢測(cè)作為現(xiàn)實(shí)世界1中的信號(hào)的細(xì)線的寬度，并估計(jì)細(xì)線的水平(現(xiàn)實(shí)世界1的信號(hào)的光強(qiáng))。
線寬檢測(cè)單元2101基于從連續(xù)性檢測(cè)單元101提供的、表示用作由像素構(gòu)成的細(xì)線區(qū)域、其上投影有細(xì)線圖像的連續(xù)性區(qū)域的數(shù)據(jù)連續(xù)性信息檢測(cè)細(xì)線的寬度。線寬檢測(cè)單元2101將表示檢測(cè)的細(xì)線的寬度的細(xì)線寬度信息與數(shù)據(jù)連續(xù)性信息一起提供給信號(hào)水平估計(jì)單元2102。
信號(hào)水平估計(jì)單元2102基于輸入圖像、從線寬檢測(cè)單元2101提供的表示細(xì)線寬度的細(xì)線寬度信息以及數(shù)據(jù)連續(xù)性信息估計(jì)細(xì)線圖像的水平，所述圖像用作現(xiàn)實(shí)世界1中的信號(hào)，即光強(qiáng)水平，并輸出表示細(xì)線寬度和細(xì)線圖像水平的現(xiàn)實(shí)世界估計(jì)信息。
圖174和圖175描述了檢測(cè)現(xiàn)實(shí)世界1的信號(hào)中的細(xì)線的寬度的處理。
在圖174和圖175中，用粗線圍繞的區(qū)域(由4個(gè)方形構(gòu)成的區(qū)域)表示一個(gè)像素，用虛線圍繞的區(qū)域表示其上投影有細(xì)線圖像的由像素構(gòu)成的細(xì)線區(qū)域，以及圓形表示細(xì)線區(qū)域的重心。在圖174和圖175中，陰影線表示投影到傳感器2上的細(xì)線圖像。換句話說(shuō)，可以認(rèn)為陰影線表示其中將現(xiàn)實(shí)世界1的細(xì)線圖像投影到傳感器2上的區(qū)域。
在圖174和圖175中，S表示將要從細(xì)線區(qū)域的重心位置計(jì)算出的梯度，D是細(xì)線區(qū)域的重復(fù)。這里，細(xì)線區(qū)域彼此相鄰，從而梯度S是像素增量中的重心之間的距離。另外，細(xì)線區(qū)域的重復(fù)D表示在兩個(gè)細(xì)線區(qū)域中彼此相鄰的像素個(gè)數(shù)。
在圖174和圖175中，W表示細(xì)線的寬度。
在圖174中，梯度為2，重復(fù)D為2。
在圖175中，梯度為3，重復(fù)D為1。
細(xì)線區(qū)域彼此相鄰，并在細(xì)線區(qū)域彼此相鄰方向上的其重心之間的距離為一個(gè)像素，從而WD＝1S成立，可以通過(guò)重復(fù)D/梯度S獲得細(xì)線寬度W。
例如，如圖174所示，當(dāng)梯度S為2，重復(fù)D為2，2/2為1，因此細(xì)線寬度W為1。另外，例如，如圖175所示，當(dāng)梯度S為3，重復(fù)D為1，則細(xì)線寬度為1/3。
線寬檢測(cè)單元2101從而基于從細(xì)線區(qū)域的重心位置計(jì)算的梯度和細(xì)線區(qū)域的重復(fù)檢測(cè)細(xì)線的寬度。
圖176是描述了用于估計(jì)現(xiàn)實(shí)世界1中的信號(hào)的細(xì)線信號(hào)的水平的處理的圖示。
在圖176中，用粗線圍繞的區(qū)域(由4個(gè)方形構(gòu)成的區(qū)域)表示一個(gè)像素，用虛線圍繞的區(qū)域表示由其上投影有細(xì)線圖像的像素構(gòu)成的細(xì)線區(qū)域。在圖176中，E表示在細(xì)線區(qū)域中的像素增量上的細(xì)線區(qū)域的長(zhǎng)度，D表示細(xì)線區(qū)域的重復(fù)(相鄰于另一個(gè)細(xì)線區(qū)域的像素個(gè)數(shù))。
當(dāng)處理增量(細(xì)線區(qū)域)內(nèi)的水平不變時(shí)，對(duì)細(xì)線信號(hào)的水平進(jìn)行近似，并當(dāng)水平等于對(duì)應(yīng)于相鄰像素的像素值的水平時(shí)，對(duì)除細(xì)線以外的圖像的水平進(jìn)行近似，其中細(xì)線被投影為像素的像素值。
將細(xì)線信號(hào)的水平表示為C，可以認(rèn)為，對(duì)于被投影在細(xì)線區(qū)域上的信號(hào)(圖像)，圖中投影細(xì)線信號(hào)的部分的左側(cè)部分的水平為A，圖中投影細(xì)線信號(hào)的部分的右側(cè)部分的水平為B。
這里，公式(93)成立。
細(xì)線區(qū)域的像素值之和＝(E-D)/2×A+(E-D)/2×B+D×C 公式(93) 細(xì)線寬度是不變的，細(xì)線區(qū)域的寬度為一個(gè)像素，從而在細(xì)線區(qū)域中的細(xì)線的面積(其中投影信號(hào)的部分)等于細(xì)線區(qū)域的重復(fù)D。細(xì)線區(qū)域的寬度是一個(gè)像素，從而在細(xì)線區(qū)域中的像素增量上的細(xì)線區(qū)域面積等于細(xì)線區(qū)域的長(zhǎng)度E。
對(duì)于細(xì)線區(qū)域，細(xì)線左側(cè)的面積為(E-D)/2。對(duì)于細(xì)線區(qū)域，細(xì)線右側(cè)的面積為(E-D)/2。
公式(93)右邊的第一項(xiàng)是其中投影這樣的信號(hào)的像素值的部分，所述信號(hào)具有與在被投影到相鄰于左側(cè)的像素上的信號(hào)相同的水平，并可以被表示成公式(94)。
A＝∑αi×Ai＝∑1/(E-D)×(i+0.5)×Ai 公式(94) 在公式(94)中，Ai表示相鄰于左側(cè)的像素的像素值。
在公式(94)中，αi表示面積比例，在所述面積中具有與被投影到相鄰于左側(cè)的像素上的信號(hào)相同的水平的信號(hào)被投影到細(xì)線區(qū)域的像素上。換句話說(shuō)，αi表示與相鄰于左側(cè)的像素的像素值相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例。
i表示相鄰于細(xì)線區(qū)域的左側(cè)的像素的位置。
例如，在圖176中，與相鄰于細(xì)線區(qū)域左側(cè)的像素的像素值A(chǔ)0相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為α0。在圖176中，與相鄰于細(xì)線區(qū)域左側(cè)的像素的像素值A(chǔ)1相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為α1。在圖176中，與相鄰于細(xì)線區(qū)域左側(cè)的像素的像素值A(chǔ)2相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為α2。
公式(93)右邊第二項(xiàng)表示其中投影這樣的信號(hào)的像素值的部分，所述信號(hào)具有與在被投影到相鄰于右側(cè)的像素上的信號(hào)相同的水平，并可以被表示成公式(95)。
B＝∑βj×Bj＝∑1/(E-D)×(j+0.5)×Bj 公式(95) 在公式(95)中，Bj表示相鄰于右側(cè)的像素的像素值。
在公式(95)中，βj表示面積比例，在所述面積中具有與被投影到相鄰于右側(cè)的像素上的信號(hào)相同的水平的信號(hào)被投影到細(xì)線區(qū)域的像素上。換句話說(shuō)，βj表示與相鄰于右側(cè)的像素的像素值相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例。
j表示相鄰于細(xì)線區(qū)域的右側(cè)的像素的位置。
例如，在圖176中，與相鄰于細(xì)線區(qū)域右側(cè)的像素的像素值B0相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為β0。在圖176中，與相鄰于細(xì)線區(qū)域右側(cè)的像素的像素值B1相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為β1。在圖176中，與相鄰于細(xì)線區(qū)域右側(cè)的像素的像素值B2相同、被包括在細(xì)線區(qū)域的像素的像素值中的像素值的比例為β2。
從而，信號(hào)水平估計(jì)單元2102通過(guò)基于公式(94)和公式(95)計(jì)算除具有被包括在細(xì)線區(qū)域中的像素值的細(xì)線以外的圖像的像素值、并基于公式(93)從細(xì)線區(qū)域中的像素值除去除細(xì)線以外的圖像的像素值，獲得只包括細(xì)線的圖像的被包括在細(xì)線區(qū)域中的像素值。隨后，信號(hào)水平估計(jì)單元2102基于只包括細(xì)線的圖像的像素值和細(xì)線的面積獲得細(xì)線信號(hào)的水平。更具體的是，信號(hào)水平估計(jì)單元2102通過(guò)將包括具有被包括在細(xì)線區(qū)域中的像素值的細(xì)線的圖像的像素值除以在細(xì)線區(qū)域中的細(xì)線的面積，即細(xì)線區(qū)域的重復(fù)D，而計(jì)算細(xì)線信號(hào)的水平。
信號(hào)水平估計(jì)單元2102輸出表示現(xiàn)實(shí)世界1的信號(hào)中的細(xì)線寬度和細(xì)線信號(hào)水平的現(xiàn)實(shí)世界估計(jì)信息。
利用本發(fā)明的技術(shù)，在幾何形狀上描述了細(xì)線的波形，而不是像素，從而可以采用任意分辨率。
接著，將參考圖177中的流程圖描述對(duì)應(yīng)于在步驟S102中的處理的現(xiàn)實(shí)世界估計(jì)處理。
在步驟S2101，線寬檢測(cè)單元2101基于數(shù)據(jù)連續(xù)性信息檢測(cè)細(xì)線的寬度。例如，線寬檢測(cè)單元2101通過(guò)將細(xì)線區(qū)域的重復(fù)除以由細(xì)線區(qū)域中的重心位置計(jì)算出的梯度而估計(jì)現(xiàn)實(shí)世界1的信號(hào)中的細(xì)線的寬度。
在步驟S2102，信號(hào)水平估計(jì)單元2102基于細(xì)線寬度和相鄰于細(xì)線區(qū)域的像素的像素值估計(jì)細(xì)線的信號(hào)水平，并輸出表示估計(jì)的細(xì)線的寬度和信號(hào)水平的現(xiàn)實(shí)世界估計(jì)信息，處理結(jié)束。例如，信號(hào)水平估計(jì)單元2102通過(guò)計(jì)算其上被投影除被包括在細(xì)線區(qū)域中的細(xì)線以外的圖像的像素值、并除去其上被投影除來(lái)自細(xì)線區(qū)域的細(xì)線以外的圖像的像素值而獲得其上投影只包括細(xì)線的圖像的像素值，并通過(guò)基于獲得的其上只投影包括細(xì)線的圖像的像素值、和細(xì)線的面積計(jì)算細(xì)線的信號(hào)水平而估計(jì)現(xiàn)實(shí)世界1的信號(hào)中的細(xì)線的水平。
從而，現(xiàn)實(shí)世界估計(jì)單元102可以估計(jì)現(xiàn)實(shí)世界1的信號(hào)的細(xì)線的寬度和水平。
如上所述，投影現(xiàn)實(shí)世界的光信號(hào)，檢測(cè)其中丟失了現(xiàn)實(shí)世界的光信號(hào)的部分連續(xù)性的關(guān)于第一圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，基于表示對(duì)應(yīng)于數(shù)據(jù)連續(xù)性的現(xiàn)實(shí)世界中的光信號(hào)的波形的模型從第一圖像數(shù)據(jù)的連續(xù)性估計(jì)現(xiàn)實(shí)世界的光信號(hào)的波形，以及在將估計(jì)的光信號(hào)轉(zhuǎn)換成第二圖像數(shù)據(jù)的情況下，對(duì)于現(xiàn)實(shí)世界中的光信號(hào)可以獲得更精確的更高精度處理結(jié)果。
圖178是示出現(xiàn)實(shí)世界估計(jì)單元102的另一結(jié)構(gòu)的方框圖。
利用具有圖178所示的結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102，再次基于輸入圖像和從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息檢測(cè)區(qū)域，同樣，基于檢測(cè)的區(qū)域檢測(cè)用作現(xiàn)實(shí)世界1中的信號(hào)的圖像的細(xì)線的寬度，以及估計(jì)現(xiàn)實(shí)世界1中的信號(hào)的光強(qiáng)(水平)。例如，利用具有圖178所示的結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102，再次檢測(cè)由其上投影有細(xì)線圖像的像素構(gòu)成的連續(xù)性區(qū)域，同樣，基于檢測(cè)的區(qū)域檢測(cè)用作現(xiàn)實(shí)世界1中的信號(hào)的圖像的細(xì)線的寬度，以及估計(jì)現(xiàn)實(shí)世界1中的信號(hào)的光強(qiáng)。
從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供、被輸入具有圖178所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102的數(shù)據(jù)連續(xù)性信息包括非連續(xù)性分量信息，其表示用作數(shù)據(jù)3的輸入圖像中的除其上投影有細(xì)線圖像的連續(xù)性分量之外的非連續(xù)性分量；單調(diào)增/減區(qū)域信息，其表示連續(xù)性區(qū)域的單調(diào)增/減區(qū)域；表示連續(xù)性區(qū)域的信息等。例如，在數(shù)據(jù)連續(xù)性信息中包括的非連續(xù)性分量信息由模擬例如輸入圖像中的背景的非連續(xù)性分量的平面梯度和截距構(gòu)成。
將輸入現(xiàn)實(shí)世界估計(jì)單元102的數(shù)據(jù)連續(xù)性信息提供給邊界檢測(cè)單元2121。將輸入到現(xiàn)實(shí)世界估計(jì)單元102的輸入圖像提供給邊界檢測(cè)單元2121和信號(hào)水平估計(jì)單元2102。
邊界檢測(cè)單元2121從數(shù)據(jù)連續(xù)性信息中包括的非連續(xù)性分量信息和輸入圖像產(chǎn)生只由其上投影有細(xì)線圖像的連續(xù)性分量構(gòu)成的圖像，計(jì)算表示其中投影有用作現(xiàn)實(shí)世界1的信號(hào)的細(xì)線圖像的比例的分配比值，以及同樣通過(guò)從計(jì)算的分配比值計(jì)算表示細(xì)線區(qū)域的邊界的回歸線而檢測(cè)用作連續(xù)性區(qū)域的細(xì)線區(qū)域。
圖179是示出邊界檢測(cè)單元2121的結(jié)構(gòu)的方框圖。
分配比值計(jì)算單元2131從數(shù)據(jù)連續(xù)性信息、包括在數(shù)據(jù)連續(xù)性信息中的非連續(xù)性分量信息以及輸入圖像產(chǎn)生只由連續(xù)性分量構(gòu)成的圖像，在所述連續(xù)性分量上投影有細(xì)線圖像。更具體的是，分配比值計(jì)算單元2131基于包括在數(shù)據(jù)連續(xù)性信息中的單調(diào)增/減區(qū)域信息從輸入圖像檢測(cè)連續(xù)性區(qū)域的相鄰單調(diào)增/減區(qū)域，并通過(guò)從屬于檢測(cè)的單調(diào)增/減區(qū)域的像素的像素值中減去將在由包括在連續(xù)性分量信息中的梯度和截距表示的平面處模擬的模擬值，產(chǎn)生只由連續(xù)性分量構(gòu)成的圖像，在所述連續(xù)性分量上投影有細(xì)線圖像。
注意，分配比值計(jì)算單元2131通過(guò)從輸入圖像中的像素的像素值中減去將在由包括在連續(xù)性分量信息中的梯度和截距表示的平面模擬的模擬值，產(chǎn)生只由連續(xù)性分量構(gòu)成的圖像，在所述連續(xù)性分量上投影有細(xì)線圖像。
分配比值計(jì)算單元2131基于只由連續(xù)性分量構(gòu)成的圖像，計(jì)算表示其中將用作現(xiàn)實(shí)世界1的信號(hào)的細(xì)線圖像分配到屬于連續(xù)性區(qū)域中的相鄰單調(diào)增/減區(qū)域的兩個(gè)像素上的比例的分配比值。分配比值計(jì)算單元2131將計(jì)算的分配比值提供給回歸線計(jì)算單元2132。
將參考圖180到圖182描述在分配比值計(jì)算單元2131中的分配比值計(jì)算處理。
圖180中左邊兩列的數(shù)值表示通過(guò)從輸入圖像中的像素的像素值中減去將在由包括在連續(xù)性分量信息中的梯度和截距表示的平面處模擬的模擬值而計(jì)算出的圖像的垂直排列成兩列的像素的像素值。圖180中用左邊方形圍繞的兩個(gè)區(qū)域表示單調(diào)增/減區(qū)域2141-1和單調(diào)增/減區(qū)域2141-2，其為兩個(gè)相鄰的單調(diào)增/減區(qū)域。換句話說(shuō)，在單調(diào)增/減區(qū)域2141-1和單調(diào)增/減區(qū)域2141-2中所示的數(shù)值表示屬于由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的、用作連續(xù)性區(qū)域的單調(diào)增/減區(qū)域的像素的像素值。
圖180中右邊一列的數(shù)值表示通過(guò)相加圖180中左側(cè)兩列的像素的像素值中的水平排列的像素的像素值而獲得的值。換句話說(shuō)，圖180中右邊一列的數(shù)值表示通過(guò)相加關(guān)于由垂直排列的一列像素構(gòu)成的兩個(gè)單調(diào)增/減區(qū)域的水平相鄰的像素的其上投影有細(xì)線圖像的像素值而獲得的值。
例如，當(dāng)屬于單調(diào)增/減區(qū)域2141-1和單調(diào)增/減區(qū)域2141-2中的任何一個(gè)，其分別由垂直排列的一列像素構(gòu)成，并且水平相鄰的像素的像素值為2和58時(shí)，相加的值是60。當(dāng)屬于單調(diào)增/減區(qū)域2141-1和單調(diào)增/減區(qū)域2141-2中的任何一個(gè)，其分別由垂直排列的一列像素構(gòu)成，并且水平相鄰的像素的像素值為1和65時(shí)，相加的值是66。
可以理解，圖180中右側(cè)列中的數(shù)值，即通過(guò)相加關(guān)于由垂直排列的一列像素構(gòu)成的兩個(gè)單調(diào)增/減區(qū)域的水平方向上相鄰的像素的其上投影有細(xì)線圖像的像素值而獲得的值通常是常數(shù)。
類似，通過(guò)相加關(guān)于由水平排列的一列像素構(gòu)成的兩個(gè)單調(diào)增/減區(qū)域的垂直方向上相鄰的像素的其上投影有細(xì)線圖像的像素值而獲得的值通常是常數(shù)。
分配比值計(jì)算單元2131通過(guò)利用相加關(guān)于兩個(gè)單調(diào)增/減區(qū)域的相鄰像素的其上投影有細(xì)線圖像的像素值而獲得的值通常是常數(shù)的特征來(lái)計(jì)算細(xì)線圖像如何被分配到一列中的像素的像素值上。
分配比值計(jì)算單元2131通過(guò)將屬于由垂直排列的一列像素構(gòu)成的兩個(gè)相鄰單調(diào)增/減區(qū)域的每個(gè)像素的像素值除以通過(guò)相加每個(gè)水平相鄰的、其上投影有細(xì)線圖像的像素值而獲得的值，而計(jì)算關(guān)于屬于兩個(gè)相鄰的單調(diào)增/減區(qū)域的每個(gè)像素的分配比值。然而，再計(jì)算結(jié)果，即計(jì)算的分配比值超過(guò)100的情況下，將分配比值設(shè)為100。
例如，如圖181所示，當(dāng)屬于由垂直排列的一列像素構(gòu)成的兩個(gè)相鄰單調(diào)增/減區(qū)域的水平相鄰的像素的像素值分別為2和58時(shí)，相加的值是60，因此，計(jì)算出對(duì)于對(duì)應(yīng)的像素的分配比值分別是3.5和96.5。當(dāng)屬于由垂直排列的一列像素構(gòu)成的兩個(gè)相鄰單調(diào)增/減區(qū)域的水平相鄰的像素的像素值分別為1和65時(shí)，相加的值是66，因此，計(jì)算出對(duì)于對(duì)應(yīng)的像素的分配比值分別是1.5和98.5。
在該情況中，在三個(gè)單調(diào)增/減區(qū)域相鄰的情況下，考慮哪一列是第一個(gè)被計(jì)算的，在通過(guò)相加水平相鄰的每個(gè)像素的其上投影有細(xì)線圖像的像素值而獲得的兩個(gè)值中，基于更接近峰值P的像素值的值計(jì)算分配比值，如圖182所示。
例如，當(dāng)峰值P的像素值為81，而屬于單調(diào)增/減區(qū)域的關(guān)注像素的像素值為79，在相鄰于左側(cè)的像素的像素值為3、并且相鄰于右側(cè)的像素的像素值為-1的情況下，通過(guò)相加相鄰于左側(cè)的像素值獲得的值是82，通過(guò)相加相鄰于右側(cè)的像素的像素值獲得的值是78，因此，選擇更接近峰值P的像素值81的82，從而基于相鄰于左側(cè)的像素計(jì)算分配比值。類似，當(dāng)峰值P的像素值為81，而屬于單調(diào)增/減區(qū)域的關(guān)注像素的像素值為75，在相鄰于左側(cè)的像素的像素值為0、并且相鄰于右側(cè)的像素的像素值為3的情況下，通過(guò)相加相鄰于左側(cè)的像素值獲得的值是75，通過(guò)相加相鄰于右側(cè)的像素的像素值獲得的值是78，因此，選擇更接近峰值P的像素值81的78，從而基于相鄰于右側(cè)的像素計(jì)算分配比值。
從而，分配比值計(jì)算單元2131計(jì)算關(guān)于由垂直排列的一列像素構(gòu)成的單調(diào)增/減區(qū)域的分配比值。
利用相同的處理，分配比值計(jì)算單元2131計(jì)算關(guān)于由水平排列的一列像素構(gòu)成的單調(diào)增/減區(qū)域的分配比值。
回歸線計(jì)算單元2132假設(shè)單調(diào)增/減區(qū)域的邊界是直線，并通過(guò)基于由分配比值計(jì)算單元2131計(jì)算的分配比值計(jì)算表示單調(diào)增/減區(qū)域的邊界的回歸線，而再次檢測(cè)連續(xù)性區(qū)域內(nèi)的單調(diào)增/減區(qū)域。
下面將參考圖183和圖184描述在回歸線計(jì)算單元2132中計(jì)算表示單調(diào)增/減區(qū)域的邊界的回歸線的處理。
在圖183中，白色圓形表示位于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的上部邊界的像素?；貧w線計(jì)算單元2132利用回歸處理計(jì)算關(guān)于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的上部邊界的回歸線。例如，回歸線計(jì)算單元2132計(jì)算出直線A，其中與位于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的上部邊界的像素的距離的平方和變?yōu)樽钚≈怠?br> 另外，在圖183中，黑色圓形表示位于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的下部邊界的像素?；貧w線計(jì)算單元2132利用回歸處理計(jì)算關(guān)于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的下部邊界的回歸線。例如，回歸線計(jì)算單元2132計(jì)算出直線B，其中與位于單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的下部邊界的像素的距離的平方和變?yōu)樽钚≈怠?br> 回歸線計(jì)算單元2132通過(guò)基于計(jì)算的回歸線確定單調(diào)增/減區(qū)域的邊界而檢測(cè)連續(xù)性區(qū)域內(nèi)的單調(diào)增/減區(qū)域。
如圖184所示，回歸線計(jì)算單元2132基于計(jì)算的直線A確定單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的上部邊界。例如，回歸線計(jì)算單元2132從最接近計(jì)算出的直線A的像素確定關(guān)于每個(gè)單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的上側(cè)邊界。例如，回歸線計(jì)算單元2132這樣確定上側(cè)邊界，使得最接近計(jì)算出的回歸線A的像素被包括在關(guān)于每個(gè)單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的每個(gè)區(qū)域中。
如圖184所示，回歸線計(jì)算單元2132基于計(jì)算出的直線B確定單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的下部邊界。例如，回歸線計(jì)算單元2132從最接近計(jì)算出的直線B的像素確定關(guān)于每個(gè)單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的下側(cè)邊界。例如，回歸線計(jì)算單元2132這樣確定下側(cè)邊界，使得最接近計(jì)算出的回歸線B的像素被包括在關(guān)于每個(gè)單調(diào)增/減區(qū)域2141-1到單調(diào)增/減區(qū)域2141-5的每個(gè)區(qū)域中。
從而，回歸線計(jì)算單元2132同樣基于用于再現(xiàn)由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的連續(xù)性區(qū)域的邊界的回歸線檢測(cè)其中像素值從峰值單調(diào)增或減的區(qū)域。換句話說(shuō)，回歸線計(jì)算單元2132同樣通過(guò)基于計(jì)算出的回歸線確定單調(diào)增/減區(qū)域的邊界檢測(cè)用作連續(xù)性區(qū)域內(nèi)的單調(diào)增/減區(qū)域的區(qū)域，并將表示檢測(cè)的區(qū)域的區(qū)域信息提供給線寬檢測(cè)單元2101。
如上所述，邊界檢測(cè)單元2121計(jì)算表示其中用作現(xiàn)實(shí)世界1的信號(hào)的細(xì)線圖像投影到像素上的比例的分配比值，并同樣通過(guò)從計(jì)算的分配比值計(jì)算表示單調(diào)增加區(qū)域的邊界的回歸線而檢測(cè)連續(xù)性區(qū)域內(nèi)的單調(diào)增/減區(qū)域。從而可以檢測(cè)更精確的單調(diào)增/減區(qū)域。
圖178中所示的線寬檢測(cè)單元2101以與圖173所示情況相同的處理，基于從邊界檢測(cè)單元2121提供的表示檢測(cè)的區(qū)域的區(qū)域信息而檢測(cè)細(xì)線的寬度。線寬檢測(cè)單元2101將表示檢測(cè)的細(xì)線的寬度的細(xì)線寬度信息與數(shù)據(jù)連續(xù)性信息一起提供給信號(hào)水平估計(jì)單元2102。
圖178中所示的信號(hào)水平估計(jì)單元2102的處理與圖173所示的情況的處理相同，從而省略對(duì)其的描述。
圖185是描述利用具有圖178所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102的對(duì)應(yīng)于步驟S102中的處理的現(xiàn)實(shí)世界估計(jì)處理的流程圖。
在步驟S2121，邊界檢測(cè)單元2121執(zhí)行邊界檢測(cè)處理，用于同樣基于屬于由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的連續(xù)性區(qū)域的像素的像素值來(lái)檢測(cè)區(qū)域。下面將描述邊界檢測(cè)處理的細(xì)節(jié)。
在步驟S2122和步驟S2123中的處理與在步驟S2101和步驟S2102中的處理相同，因此省略對(duì)其的描述。
圖186是用于描述對(duì)應(yīng)于步驟S2121中的處理的邊界檢測(cè)處理的流程圖。
在步驟S2131中，分配比值計(jì)算單元基于表示單調(diào)增/減區(qū)域的數(shù)據(jù)連續(xù)性信息和輸入圖像計(jì)算表示其中投影了細(xì)線圖像的比例的分配比值。例如，分配比值計(jì)算單元2131基于包括在數(shù)據(jù)連續(xù)性信息中的單調(diào)增/減區(qū)域信息從輸入圖像檢測(cè)連續(xù)性區(qū)域中的相鄰單調(diào)增/減區(qū)域，并通過(guò)從屬于檢測(cè)的單調(diào)增/減區(qū)域的像素的像素值中減去將在由包括在連續(xù)性分量信息中的梯度和截距表示的平面處模擬的模擬值，產(chǎn)生只由連續(xù)性分量構(gòu)成的圖像，在所述連續(xù)性分量上投影有細(xì)線圖像。隨后，分配比值計(jì)算單元2131通過(guò)關(guān)于屬于兩個(gè)相鄰單調(diào)增/減區(qū)域的每個(gè)像素將屬于由一列像素構(gòu)成的兩個(gè)單調(diào)增/減區(qū)域的像素的像素值除以相鄰像素的像素值的和，而計(jì)算分配比值。
分配比值計(jì)算單元2131將計(jì)算的分配比值提供給回歸線計(jì)算單元2132。
在步驟S2132，回歸線計(jì)算單元2132同樣通過(guò)基于表示其中投影了信息圖像的比例的分配比值計(jì)算表示單調(diào)增/減區(qū)域的邊界的回歸線，而檢測(cè)連續(xù)性區(qū)域內(nèi)的區(qū)域。例如，回歸線計(jì)算單元2132假設(shè)單調(diào)增/減區(qū)域的邊界是直線，并通過(guò)計(jì)算表示單調(diào)增/減區(qū)域的一端邊界的回歸線，并計(jì)算表示單調(diào)增/減區(qū)域的另一端邊界的回歸線，而再次檢測(cè)連續(xù)性區(qū)域內(nèi)的單調(diào)增/減區(qū)域。
回歸線計(jì)算單元2132將表示在連續(xù)性區(qū)域中再次檢測(cè)的區(qū)域的區(qū)域信息提供給線寬檢測(cè)單元2101，該處理結(jié)束。
從而，具有圖178所示結(jié)構(gòu)的現(xiàn)實(shí)世界估計(jì)單元102再次檢測(cè)由其上投影了細(xì)線圖像的像素構(gòu)成的區(qū)域，基于再次檢測(cè)的區(qū)域檢測(cè)用作現(xiàn)實(shí)世界1的信號(hào)的圖像中的細(xì)線的寬度，以及估計(jì)現(xiàn)實(shí)世界1中的信號(hào)的光強(qiáng)(水平)分布。從而，可以更精確地檢測(cè)細(xì)線的寬度，并關(guān)于現(xiàn)實(shí)世界1的信號(hào)更精確地估計(jì)光強(qiáng)。
如上所述，在投影了現(xiàn)實(shí)世界的光信號(hào)的情況下，檢測(cè)第一圖像數(shù)據(jù)中多個(gè)像素的像素值的非連續(xù)性部分，在所述第一圖像數(shù)據(jù)中丟失現(xiàn)實(shí)世界的光信號(hào)的部分連續(xù)性，從檢測(cè)的非連續(xù)性部分檢測(cè)具有數(shù)據(jù)連續(xù)性的連續(xù)性區(qū)域，從檢測(cè)的連續(xù)性部分檢測(cè)具有數(shù)據(jù)連續(xù)性的連續(xù)性區(qū)域，基于屬于檢測(cè)的連續(xù)性區(qū)域的像素的像素值再次檢測(cè)區(qū)域，以及基于檢測(cè)的區(qū)域估計(jì)現(xiàn)實(shí)世界，對(duì)于現(xiàn)實(shí)世界中的事件可以獲得更精確和更高精度的處理結(jié)果。
接著，將參考圖187描述關(guān)于現(xiàn)實(shí)世界估計(jì)單元102，其輸出具有連續(xù)性的區(qū)域中的每個(gè)像素在空間方向上的模擬函數(shù)的導(dǎo)數(shù)值作為現(xiàn)實(shí)世界估計(jì)信息。
參考像素選取單元2201基于從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸入的數(shù)據(jù)連續(xù)性信息(作為連續(xù)性的角度或區(qū)域信息)確定輸入圖像中的每個(gè)像素是否是處理區(qū)域，在是處理區(qū)域的情況下，選取用于獲得模擬函數(shù)所需的參考像素信息，所述模擬函數(shù)用于模擬輸入圖像的像素的像素值(計(jì)算所需的關(guān)注像素周圍多個(gè)像素的像素值和位置)，并將其輸出給模擬函數(shù)估計(jì)單元2202。
模擬函數(shù)估計(jì)單元2202利用最小二乘法，基于從參考像素選取單元2201輸入的參考像素信息估計(jì)用于近似描述關(guān)注像素周圍的像素的像素值的模擬函數(shù)，并將估計(jì)的模擬函數(shù)輸出給微分處理單元2203。
微分處理單元2203基于從模擬函數(shù)估計(jì)單元2202輸入的模擬函數(shù)，從根據(jù)數(shù)據(jù)連續(xù)性信息(例如細(xì)線或二值邊緣的相對(duì)于預(yù)定軸的角度梯度)的角度獲得將要從關(guān)注像素產(chǎn)生的像素位置的平移量，計(jì)算在該位置上的所述模擬函數(shù)根據(jù)平移量的微分(用于對(duì)應(yīng)于沿一維方向的連續(xù)性的直線的距離模擬每個(gè)像素的像素值的函數(shù)的導(dǎo)數(shù)值)，另外，相加關(guān)于關(guān)注像素的像素值和位置的信息和梯度作為其連續(xù)性，以及將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。
接著，將參考圖188中的流程圖描述利用圖187中的現(xiàn)實(shí)世界估計(jì)單元102的現(xiàn)實(shí)世界估計(jì)處理。
在步驟S2201中，參考像素選取單元2201從數(shù)據(jù)連續(xù)性檢測(cè)單元101以及輸入圖像獲取角度和區(qū)域信息作為數(shù)據(jù)連續(xù)性信息。
在步驟S2202，參考像素選取單元2201從輸入圖像的未處理的像素中設(shè)置關(guān)注像素。
在步驟S2203中，參考像素選取單元2201基于數(shù)據(jù)連續(xù)性信息的區(qū)域信息，確定關(guān)注像素是否被包括在處理區(qū)域中，在關(guān)注像素不是處理區(qū)域中的一個(gè)像素的情況下，處理進(jìn)到步驟S2210，通過(guò)模擬函數(shù)估計(jì)單元2202通知微分處理單元2203關(guān)注像素是非處理區(qū)域，微分處理單元2203響應(yīng)其將相應(yīng)關(guān)注像素的導(dǎo)數(shù)值設(shè)為0，另外對(duì)其相加關(guān)注像素的像素值，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息，并且處理進(jìn)到步驟S2211。另外，在確定關(guān)注像素位于處理區(qū)域的情況下，則處理進(jìn)到步驟S2204。
在步驟S2204，參考像素選取單元2201基于包括在數(shù)據(jù)連續(xù)性信息中的角度信息確定具有數(shù)據(jù)連續(xù)性的方向的角度更接近水平方向還是更接近垂直方向。也就是說(shuō)，在具有數(shù)據(jù)連續(xù)性的角度θ為45°＞θ≥0°，或180°＞θ≥135°的情況下，參考像素選取單元2201確定關(guān)注像素的連續(xù)性方向接近水平方向，在具有數(shù)據(jù)連續(xù)性的角度θ為135°＞θ≥45°的情況下，確定關(guān)注像素的連續(xù)性方向接近垂直方向。
在步驟S2205，參考像素選取單元2201選取分別對(duì)應(yīng)于從輸入圖像確定的方向的參考像素的位置信息和像素值，并將其輸出給模擬函數(shù)估計(jì)單元2202。也就是說(shuō)，參考像素變成將用于計(jì)算后面描述的模擬函數(shù)的數(shù)據(jù)，因此優(yōu)選根據(jù)其梯度選取。因此，對(duì)應(yīng)于水平方向和垂直方向的任何確定方向，選取在長(zhǎng)范圍上在其方向上的參考像素。更具體的是，例如，如圖189所示，在梯度Gf接近垂直方向的情況下，確定方向?yàn)榇怪狈较?。在該情況中，例如如圖189所示，當(dāng)取中心的像素(0，0)為關(guān)注像素時(shí)，參考像素選取單元2101選取(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每個(gè)像素值。注意在圖189中，可以說(shuō)每個(gè)像素在水平方向和垂直方向上的長(zhǎng)度為1。
換句話說(shuō)，參考像素選取單元2201選取垂直方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為15個(gè)像素，其為以關(guān)注像素為中心的分別在垂直方向(上/下)的兩個(gè)像素和分別在水平方向(左/右)的1個(gè)像素。
相反，在確定方向?yàn)樗椒较虻那闆r下，參考像素選取單元2201選取水平方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為15個(gè)像素，其為以關(guān)注像素為中心的分別在垂直方向(上/下)的1個(gè)像素和分別在水平方向(左/右)的2個(gè)像素，并將其輸出給模擬函數(shù)估計(jì)單元2202。顯然，參考像素的個(gè)數(shù)并不限于上述的15個(gè)像素，而是可以采用任何像素個(gè)數(shù)。
在步驟S2206中，模擬函數(shù)估計(jì)單元2202利用最小二乘法基于從參考像素選取單元2201輸入的參考像素的信息估計(jì)模擬函數(shù)f(x)，并將其輸出給微分處理單元2203。
也就是說(shuō)，模擬函數(shù)f(x)是如下述公式(96)所示的多項(xiàng)式。
f(x)＝w1xn+w2xn-1+…+wn+1 公式(96) 從而，如果獲得公式(96)中的多項(xiàng)式的每個(gè)系數(shù)W1到Wn+1，則可以獲得用于模擬每個(gè)參考像素的像素值(參考像素值)的模擬函數(shù)f(x)。然而，需要超過(guò)系數(shù)個(gè)數(shù)的像素值，因此，例如，在如圖189所示的情況下，參考像素的個(gè)數(shù)為共15個(gè)，因此在多項(xiàng)式中可以獲得的系數(shù)的個(gè)數(shù)限于15。在該情況下，可以說(shuō)多項(xiàng)式達(dá)到14維，并通過(guò)獲得系數(shù)W1到W15而估計(jì)模擬函數(shù)。注意，在該情況下，通過(guò)建立由15維多項(xiàng)式構(gòu)成的模擬函數(shù)f(x)可以采用聯(lián)立方程。
因此，當(dāng)采用如圖189所示的15個(gè)參考像素值時(shí)，模擬函數(shù)估計(jì)單元2202通過(guò)利用最小二乘法求解下面的公式(97)而估計(jì)模擬函數(shù)f(x)。
p(-1，-2)＝f(-1-Cx(-2 )) p(-1，-1)＝f(-1-Cx(-1)) p(-1，0)＝f(-1)(＝f(-1-Cx (0))) p(-1，1)＝f(-1-Cx(1)) p(-1，2)＝f -1-Cx(2)) p(0，-2)＝f(0-Cx(-2)) p(0，-1)＝f(0-Cx(-1)) p(0，0)＝f(0)(＝f(0-Cx(0))) p(0，1)＝f(0-Cx(1)) p(0，2)＝f(0-Cx(2)) p(1，-2)＝f(1-Cx(-2)) p(1，-1)＝f(l-Cx(-1)) p(1，0)＝f(1)(＝f(1-Cx(0))) p(1，1)＝f(1-Cx(1)) p(1，2)＝f(1-Cx(2))公式(97) 注意，參考像素的個(gè)數(shù)可以根據(jù)多項(xiàng)式的階數(shù)而改變。
這里，Cx(ty)表示平移量，當(dāng)用Gf表示作為連續(xù)性的梯度時(shí)，則定義Cx(ty)＝ty/Gf。該平移量Cx(ty)表示在空間方向Y＝0的位置上的模擬函數(shù)f(x)沿梯度Gf連續(xù)(具有連續(xù)性)的條件下，在空間方向Y＝ty的位置上平移相對(duì)于空間方向X的寬度。因此，例如，在將模擬函數(shù)限定為在空間方向Y＝0的位置上的f(x)時(shí)，該模擬函數(shù)f(x)必須相對(duì)于空間方向X沿梯度Gf在空間方向Y＝ty上平移Cx(ty)，從而將函數(shù)定義為f(x-Cx(ty))＜＝f(x-ty/Gf)。
在步驟S2207中，微分處理單元2203基于從模擬函數(shù)估計(jì)單元2202輸入的模擬函數(shù)f(x)獲得在將要產(chǎn)生的像素位置上的平移量。
也就是說(shuō)，在產(chǎn)生像素為分別在水平方向和垂直方向上有兩倍的密度(共四倍密度)的情況下，微分處理單元2203首先獲得在中心位置的平移量Pin(Xin，Yin)以將關(guān)注像素分成兩個(gè)像素Pa和Pb，其變成如圖190所示的在垂直方向上的二倍密度，從而獲得關(guān)注像素在中心位置Pin(Xin，Yin)的導(dǎo)數(shù)值。該平移量變成Cx(0)，因此實(shí)際變?yōu)?。注意，在圖190中，其整體重心位置為(Xin，Yin)的像素Pin為方形，整體重心位置分別為(Xin，Yin+0.25)和(Xin，Yin-0.25)的像素Pa和Pb在圖中水平方向上為矩形。
在步驟S2208中微分處理單元2203微分模擬函數(shù)f(x)以獲得模擬函數(shù)的初始微分函數(shù)f(x)’，獲得對(duì)應(yīng)于獲得的平移量的位置上的導(dǎo)數(shù)值，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。也就是說(shuō)，在該情況下，微分處理單元2203獲得導(dǎo)數(shù)值f(Xin)’，并將其位置(在該情況下為關(guān)注像素(Xin，Yin))、其像素值以及在連續(xù)性方向上的梯度信息加到其上，并將其輸出。
在步驟S2209中，微分處理單元2203確定是否已經(jīng)獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值。例如，在該情況下，獲得的導(dǎo)數(shù)值只是用于二倍密度所需的導(dǎo)數(shù)值(只獲得在空間方向Y上變成二倍密度的導(dǎo)數(shù)值)，從而確定沒(méi)有獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值，并且處理返回步驟S2207。
在步驟S2207中，微分處理單元2203再次基于從模擬函數(shù)估計(jì)單元2202輸入的模擬函數(shù)f(x)獲得在將要產(chǎn)生的像素的位置上的平移量。也就是說(shuō)，在該情況下，微分處理單元2203獲得用于進(jìn)一步將分開(kāi)的像素Pa和Pb分別分成兩個(gè)像素所需的導(dǎo)數(shù)值。在圖190中分別以黑色圓形表示Pa和Pb的位置，從而微分處理單元2203獲得對(duì)應(yīng)于每個(gè)位置的平移量。像素Pa和Pb的平移量分別是Cx(0.25)和Cx(-0.25)。
在步驟S2208中，微分處理單元2203對(duì)模擬函數(shù)f(x)進(jìn)行初始微分，獲得在對(duì)應(yīng)于平移量的位置上的導(dǎo)數(shù)值。所述平移量對(duì)應(yīng)于每個(gè)像素Pa和Pb，并將其輸出給圖像產(chǎn)生單元103，作為現(xiàn)實(shí)世界估計(jì)信息。
也就是說(shuō)，在采用如圖189所示的參考像素的情況下，如圖191所示，微分處理單元2203獲得關(guān)于獲得的模擬函數(shù)f(x)的微分函數(shù)f(x)’，獲得在位置(Xin-Cx(0.25))和(Xin-Cx(-0.25))上的導(dǎo)數(shù)值，其分別是對(duì)空間方向X平移平移量Cx(0.25)和Cx(-0.25)的f(Xin-Cx(0.25))’和f(Xin-Cx(-0.25))’的位置，將對(duì)應(yīng)于其導(dǎo)數(shù)值的位置信息與其相加，并將其輸出作為現(xiàn)實(shí)世界估計(jì)信息。注意，在第一處理中輸出像素值的信息，因此沒(méi)有將其加到該處理中。
在步驟S2209中，微分處理單元2203再次確定是否獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值。例如，在該情況下，已經(jīng)獲得將變成四倍密度的導(dǎo)數(shù)值，從而確定已經(jīng)獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值，并且處理進(jìn)到步驟S2211。
在步驟S2211中，參考像素選取單元2201確定是否已經(jīng)處理所有像素，在確定仍未處理所有像素的情況下，該處理返回步驟S2202。另外，在步驟S2211中，在確定已經(jīng)處理所有的像素的情況下，該處理結(jié)束。
如上所述，在產(chǎn)生像素以在關(guān)于輸入圖像的水平方向和垂直方向上變成四倍密度的情況下，通過(guò)利用在將要分開(kāi)的像素的中心位置的模擬函數(shù)的導(dǎo)數(shù)值的外推/內(nèi)插來(lái)分割像素，從而為了產(chǎn)生四倍密度像素，需要共3個(gè)導(dǎo)數(shù)值的信息。
也就是說(shuō)，如圖190所示，用于產(chǎn)生四個(gè)像素P01、P02、P03和P04所需的導(dǎo)數(shù)值在最后被一個(gè)像素所需(在圖190中，像素P01、P02、P03和P04為方形，其重心位置為圖中四個(gè)交叉符號(hào)的位置，并且像素Pin的每邊的長(zhǎng)度為1，因此像素P01、P02、P03和 P04的每邊長(zhǎng)度約為0.5)，因此，為了產(chǎn)生四倍密度像素，首先產(chǎn)生在水平方向或在垂直方向上的二倍密度像素(在該情況下，為垂直方向)(在步驟S2207和S2208中的上述第一處理)，并且，另外將分割的兩個(gè)像素在垂直于初始分割方向的方向上分割(在該情況了為水平方向)(在步驟S2207和S2208中的上述第二處理)。
注意，在上述實(shí)例中，已經(jīng)描述了在計(jì)算四倍密度像素的時(shí)間上的導(dǎo)數(shù)值作為實(shí)例。但是，在計(jì)算密度大于四倍密度的像素的情況下，可以通過(guò)重復(fù)進(jìn)行步驟S2207到S2209中的處理獲得用于計(jì)算像素值所需的更多的導(dǎo)數(shù)值。另外，在上述實(shí)例中，已經(jīng)描述了用于獲得二倍密度像素值的實(shí)例，但是，模擬函數(shù)f(x)是連續(xù)函數(shù)，從而即使對(duì)于密度不是復(fù)數(shù)密度的像素值，仍可以獲得需要的導(dǎo)數(shù)值。
根據(jù)上述設(shè)置，可以獲得用于模擬關(guān)注像素附近的像素的像素值的模擬函數(shù)，并且可以將在對(duì)應(yīng)于空間方向中的像素位置的位置上的導(dǎo)數(shù)值輸出作為現(xiàn)實(shí)世界估計(jì)信息。
利用如圖187所述的現(xiàn)實(shí)世界估計(jì)單元102，已經(jīng)將用于產(chǎn)生圖像的導(dǎo)數(shù)值輸出作為現(xiàn)實(shí)世界估計(jì)信息，但是導(dǎo)數(shù)值是與在需要的位置上的模擬函數(shù)f(x)的梯度相同的值。
現(xiàn)在，將參考圖192描述現(xiàn)實(shí)世界估計(jì)單元102，其中只直接獲得用于產(chǎn)生像素所需的模擬函數(shù)f(x)的梯度，而不獲得模擬函數(shù)f(x)，并將其輸出作為現(xiàn)實(shí)世界估計(jì)信息。
參考像素選取單元2211基于從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸入的數(shù)據(jù)連續(xù)性信息(作為連續(xù)性的角度，或區(qū)域信息)，確定輸入圖像的每個(gè)像素的是否是處理區(qū)域，在確定為是處理區(qū)域的情況下，選取用于獲得輸入圖像的梯度所需的參考像素信息(用于計(jì)算所需的包括關(guān)注像素的在垂直方向上排列的周邊多個(gè)像素，或包括關(guān)注像素的在水平方向上排列的周邊多個(gè)像素、以及每個(gè)像素值的信息)，并將其輸出給梯度估計(jì)單元2212。
梯度估計(jì)單元2212基于從參考像素選取單元2211輸入的參考像素信息產(chǎn)生用于產(chǎn)生像素所需的像素位置的梯度信息，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。具體是，梯度估計(jì)單元2212獲得模擬函數(shù)f(x)在關(guān)注像素的位置上的梯度，所述函數(shù)利用像素之間的像素值的差值信息近似表達(dá)現(xiàn)實(shí)世界，并將其與關(guān)注像素的位置信息和像素值、以及連續(xù)性方向上的梯度信息一起輸出作為現(xiàn)實(shí)世界估計(jì)信息。
下面，將參考圖193中的流程圖描述利用圖192中的現(xiàn)實(shí)世界估計(jì)單元102的現(xiàn)實(shí)世界估計(jì)處理。
在步驟S2221中，參考像素選取單元2211從數(shù)據(jù)連續(xù)性檢測(cè)單元101與輸入圖像一起獲取角度和區(qū)域信息作為數(shù)據(jù)連續(xù)性信息。
在步驟S2222中，參考像素選取單元2211從輸入圖像的未處理的像素中設(shè)置關(guān)注像素。
在步驟S2223中，參考像素選取單元2211基于數(shù)據(jù)連續(xù)性信息中的區(qū)域信息確定關(guān)注像素是否在處理區(qū)域中，在確定關(guān)注像素不在處理區(qū)域中的情況下，該處理進(jìn)到步驟S2228中，其中，通知梯度估計(jì)單元2212關(guān)注像素位于非處理區(qū)域中，梯度估計(jì)單元2212響應(yīng)其將對(duì)應(yīng)于關(guān)注像素的梯度設(shè)為0，并將關(guān)注像素的像素值加到其中，并將其作為現(xiàn)實(shí)世界估計(jì)信息輸出給圖像產(chǎn)生單元103，并且，該處理進(jìn)到步驟S2229。另外，在確定關(guān)注像素位于處理區(qū)域中的情況下，該處理進(jìn)到步驟S2224。
在步驟S2224中，參考像素選取單元2211基于包括在數(shù)據(jù)連續(xù)性信息中的角度信息確定具有數(shù)據(jù)連續(xù)性的方向的角度是接近水平方向還是接近垂直方向。也就是說(shuō)，在具有數(shù)據(jù)連續(xù)性的角度θ為45°＞θ≥0°，或180°＞θ≥135°的情況下，參考像素選取單元2211確定關(guān)注像素的連續(xù)性方向接近水平方向，在具有數(shù)據(jù)連續(xù)性的角度θ為135°＞θ≥45°的情況下，確定關(guān)注像素的連續(xù)性方向接近垂直方向。
在步驟S2225，參考像素選取單元2211選取分別對(duì)應(yīng)于從輸入圖像確定的方向的參考像素的位置信息和像素值，并將其輸出給梯度估計(jì)單元2212。也就是說(shuō)，參考像素變成將用于計(jì)算后面描述的梯度的數(shù)據(jù)，因此優(yōu)選根據(jù)表示連續(xù)性方向的梯度選取。因此，對(duì)應(yīng)于水平方向和垂直方向的任何確定方向，選取在長(zhǎng)范圍上在其方向上的參考像素。更具體的是，例如，如圖194所示，在確定了梯度接近垂直方向的情況下，當(dāng)取圖194的中心的像素(0，0)為關(guān)注像素，參考像素選取單元2111選取(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每個(gè)像素值。注意在圖194中，可以說(shuō)每個(gè)像素在水平方向和垂直方向上的長(zhǎng)度為1。
換句話說(shuō)，參考像素選取單元2211選取垂直方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為5個(gè)像素，其為以關(guān)注像素為中心的在垂直方向(上/下)的兩個(gè)像素。
相反，在確定方向?yàn)樗椒较虻那闆r下，參考像素選取單元2211選取水平方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為5個(gè)像素，其為以關(guān)注像素為中心的在水平方向(左/右)的2個(gè)像素，并將其輸出給模擬函數(shù)估計(jì)單元2202。顯然，參考像素的個(gè)數(shù)并不限于上述的5個(gè)像素，而是可以采用任何像素個(gè)數(shù)。
在步驟S2226中，梯度估計(jì)單元2212基于從參考像素選取單元2211輸入的參考像素的信息、和在連續(xù)性方向中的梯度Gf，計(jì)算每個(gè)像素值的平移量。也就是說(shuō)，在取對(duì)應(yīng)于空間方向Y＝0的模擬函數(shù)f(x)為基準(zhǔn)的情況下，對(duì)應(yīng)于空間方向Y＝-2、-1、1和2的模擬函數(shù)沿作為連續(xù)性的梯度Gf連續(xù)，如圖194所示，從而將每個(gè)模擬函數(shù)描述為f(x-Cx(2))、f(x-Cx(1))、f(x-Cx(-1))以及f(x-Cx(-2))，并且，將其表示為對(duì)于每個(gè)空間方向Y＝-2、-1，1，2在空間方向X上平移每個(gè)平移量的函數(shù)。
因此，梯度估計(jì)單元2212獲得其平移量Cx(-2)到Cx(2)。例如，在如圖194所示選取參考像素的情況下，關(guān)于其平移量，圖中的參考像素(0，2)變成Cx(2)＝2/Gf，參考像素(0，1)變成Cx(1)＝1/Gf，參考像素(0，0)變成Cx(0)＝0，參考像素(0，-1)變成Cx(-1)＝-1/Gf，以及參考像素(0，-2)變成Cx(-2)＝-2/Gf。
在步驟S2227中，梯度估計(jì)單元2212計(jì)算(估計(jì))在關(guān)注像素的位置上的模擬函數(shù)f(x)的梯度。例如，如圖194所示，在關(guān)于關(guān)注像素的連續(xù)性方向?yàn)榻咏怪狈较虻慕嵌鹊那闆r下，在水平方向上相鄰的像素之間的像素值表現(xiàn)出更大的差，但是，在垂直方向的像素之間的變化較小并相似，因此，梯度估計(jì)單元2212通過(guò)獲取在垂直方向上的像素之間的變化，用垂直方向上的像素之間的差代替在水平方向上的差，并獲得在關(guān)注像素的位置上的模擬函數(shù)f(x)的梯度作為根據(jù)平移量在空間方向X上的變化。
也就是說(shuō)，如果假設(shè)存在近似描述現(xiàn)實(shí)世界的模擬函數(shù)f(x)，則上述平移量和各個(gè)參考像素的像素值之間的關(guān)系如圖195所示。這里圖194中各個(gè)像素的像素值被從上部開(kāi)始表示為P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。從而，關(guān)于像素值P和關(guān)注像素(0，0)附近的平移量Cx，獲得5對(duì)關(guān)系(P，Cx)＝((P(0，2)，-Cx(2)、(P(0，1)，-Cx(1))、(P(0，-1)，-Cx(-1)、(P(0，-2)，-Cx(-2))以及(P(0，0)，0)。
這里，對(duì)于像素值P，平移量Cx，以及梯度Kx(在模擬函數(shù)f(x)上的梯度)，如下述公式(98)關(guān)系成立。
P＝Kx × Cx 公式(98) 上述公式(98)是關(guān)于變量Kx的單變量函數(shù)，從而梯度估計(jì)單元2212利用一個(gè)變量的最小二乘法獲得梯度Kx(梯度)。
也就是說(shuō)，梯度估計(jì)單元2212通過(guò)求解如下述公式(99)所示的正規(guī)方程獲得關(guān)注像素的梯度，將關(guān)注像素的像素值、以及連續(xù)性方向上的梯度信息加到其上，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。
公式(99) 這里，i表示用于識(shí)別上述參考像素的每對(duì)像素值p和平移量C的數(shù)1到m。另外，m表示包括關(guān)注像素的參考像素個(gè)數(shù)。
在步驟S2229中，參考像素選取單元2211確定是否已經(jīng)處理所有像素，在確定仍未處理所有像素的情況下，該處理返回步驟S2222。另外，在確定已經(jīng)在步驟S2229中處理所有像素的情況下，該處理結(jié)束。
注意，通過(guò)上述處理將要輸出作為現(xiàn)實(shí)世界估計(jì)信息的梯度在計(jì)算將要通過(guò)外推/內(nèi)插最后獲得的希望像素值時(shí)采用。另外，對(duì)于上述實(shí)例，已經(jīng)描述了在計(jì)算二倍密度像素時(shí)的梯度作為實(shí)例，但是，在計(jì)算密度大于二倍密度的情況下，可以獲得用于計(jì)算像素值所需的更多位置的梯度。
例如，如圖190所示，當(dāng)產(chǎn)生在空間方向上共具有四倍密度的像素的情況下，其中在水平方向?yàn)槎睹芏?，在垂直方向上也為二倍密度，可以如上所述獲得對(duì)應(yīng)于圖190中各個(gè)位置Pin、Pa和Pb的模擬函數(shù)f(x)的梯度Kx。
另外，在上述實(shí)例中，已經(jīng)描述了用于獲得二倍密度的實(shí)例，但是，模擬函數(shù)f(x)是連續(xù)函數(shù)，從而，即使像素的像素值位于不是復(fù)數(shù)密度的位置上，仍可以獲得需要的梯度。
根據(jù)上述設(shè)置，可以通過(guò)利用關(guān)注像素附近的像素值，產(chǎn)生和輸出模擬函數(shù)上的梯度，用于產(chǎn)生空間方向上的像素作為現(xiàn)實(shí)世界估計(jì)信息，而不獲得近似表示現(xiàn)實(shí)世界的模擬函數(shù)。
接著，將參考圖196描述現(xiàn)實(shí)世界估計(jì)單元102，其對(duì)于具有連續(xù)性的區(qū)域中的每個(gè)像素，輸出在一個(gè)幀方向(時(shí)間方向)的模擬函數(shù)上的導(dǎo)數(shù)值作為現(xiàn)實(shí)世界估計(jì)信息。
參考像素選取單元2231基于從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸入的數(shù)據(jù)連續(xù)性信息(作為連續(xù)性的移動(dòng)(移動(dòng)矢量)，以及區(qū)域信息)確定輸入圖像中的每個(gè)像素是否在處理區(qū)域中，并且在每個(gè)像素位于處理區(qū)域的情況下，選取用于獲得模擬輸入圖像中的像素的像素值的模擬函數(shù)所需的參考像素信息(用于計(jì)算所需的關(guān)注像素周圍的多個(gè)像素位置及其像素值)，并將其輸出給模擬函數(shù)估計(jì)單元2202。
模擬函數(shù)估計(jì)單元2232利用最小二乘法，基于從參考像素選取單元2231輸入的在幀方向中的參考像素信息估計(jì)模擬函數(shù)，其近似描述了關(guān)注像素周圍每個(gè)像素的像素值，并將估計(jì)的函數(shù)輸出給微分處理單元2233。
微分處理單元2233基于從模擬函數(shù)估計(jì)單元2232輸入的幀方向中的模擬函數(shù)，獲得根據(jù)數(shù)據(jù)連續(xù)性信息的移動(dòng)將要從關(guān)注像素產(chǎn)生的像素位置在幀方向上的平移量，根據(jù)其平移量計(jì)算在幀方向上的模擬函數(shù)上的位置的導(dǎo)數(shù)值(對(duì)應(yīng)于沿初始方向距離對(duì)應(yīng)于連續(xù)性的直線的距離模擬每個(gè)像素的像素值的模擬函數(shù)的導(dǎo)數(shù)值)，還將關(guān)注像素的位置和像素值以及關(guān)于作為連續(xù)性的移動(dòng)的信息加到其上，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。
接著，將參考圖197中的流程圖，描述利用圖196中的現(xiàn)實(shí)世界估計(jì)單元102的現(xiàn)實(shí)世界估計(jì)處理。
在步驟S2241中，參考像素選取單元2231從數(shù)據(jù)連續(xù)性檢測(cè)單元101和輸入圖像一起獲取作為數(shù)據(jù)連續(xù)性信息的移動(dòng)和區(qū)域信息。
在步驟S2242中，參考像素選取單元2231從輸入圖像中的未處理像素中設(shè)置關(guān)注像素。
在步驟S2243中，參考像素選取單元2231基于數(shù)據(jù)連續(xù)性信息中的區(qū)域信息確定關(guān)注像素是否在處理區(qū)域中，在確定關(guān)注像素不在處理區(qū)域中的情況下，該處理進(jìn)到步驟S2250中，通過(guò)模擬函數(shù)估計(jì)單元2232通知差值處理單元2233關(guān)注像素位于非處理區(qū)域中，差值處理單元2233響應(yīng)其將對(duì)應(yīng)于關(guān)注像素的導(dǎo)數(shù)值設(shè)為0，并將關(guān)注像素的像素值加到其中，并將其作為現(xiàn)實(shí)世界估計(jì)信息輸出給圖像產(chǎn)生單元103，并且，該處理進(jìn)到步驟S2251。另外，在確定關(guān)注像素位于處理區(qū)域中的情況下，該處理進(jìn)到步驟S2244。
在步驟S2244中，參考像素選取單元2231基于包括在數(shù)據(jù)連續(xù)信息中的移動(dòng)信息，確定具有數(shù)據(jù)連續(xù)性的方向的移動(dòng)是接近空間方向還是接近幀方向。也就是說(shuō)，如圖198所示，如果取表示空間和時(shí)間方向在由作為參考軸的幀方向T和空間方向Y構(gòu)成的表面內(nèi)的角度為θv，在具有數(shù)據(jù)連續(xù)性的角度θv為45°＞θv≥0°，或180°＞θv≥135°的情況下，參考像素選取單元2201確定關(guān)注像素的連續(xù)性移動(dòng)接近幀方向(時(shí)間方向)，在具有數(shù)據(jù)連續(xù)性的角度θv為135°＞θv≥45°的情況下，確定關(guān)注像素的連續(xù)性方向接近空間方向。
在步驟S2245中，參考像素選取單元2201對(duì)應(yīng)于從輸入圖像分別確定的方向選取參考像素的像素值和位置信息，并將其輸出給模擬函數(shù)估計(jì)單元2232。也就是說(shuō)，參考像素變成將要用于計(jì)算下面描述的模擬函數(shù)的數(shù)據(jù)，因此優(yōu)選根據(jù)其角度選取。從而對(duì)應(yīng)于幀方向和空間方向的任意確定方向，選取在其方向上較長(zhǎng)范圍中的參考像素。具體是，例如如圖198所示，在移動(dòng)方向Vf接近空間方向的情況下確定方向?yàn)榭臻g方向。在該情況下，如圖198所示，當(dāng)取圖198的中心的像素(t，y)＝(0，0)為關(guān)注像素時(shí)，參考像素選取單元2131選取選取(t，y)＝(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每個(gè)像素值。注意在圖198中，可以說(shuō)每個(gè)像素在幀方向和空間方向上的長(zhǎng)度為1。
換句話說(shuō)，參考像素選取單元2231選取相對(duì)于幀方向在空間方向上較長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為15個(gè)像素，其為以關(guān)注像素為中心的分別在空間方向(圖中上/下)的兩個(gè)像素×分別在幀方向(圖中左/右)的1個(gè)幀。
相反，在確定方向?yàn)閹较虻那闆r下，參考像素選取單元2231選取幀方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為15個(gè)像素，其為以關(guān)注像素為中心的分別在空間方向(圖中上/下)的1個(gè)像素和分別在幀方向(圖中左/右)的2個(gè)幀，并將其輸出給模擬函數(shù)估計(jì)單元2232。顯然，參考像素的個(gè)數(shù)并不限于上述的15個(gè)像素，而是可以采用任何像素個(gè)數(shù)。
在步驟S2246中，模擬函數(shù)估計(jì)單元2232利用最小二乘法基于從參考像素選取單元2231輸入的參考像素的信息估計(jì)模擬函數(shù)f(t)，并將其輸出給微分處理單元2233。
也就是說(shuō)，模擬函數(shù)f(t)是如下述公式(100)所示的多項(xiàng)式。
f(t)＝W1tn+W2tn-1+…+Wn-1 公式(100) 從而，如果獲得公式(100)中的多項(xiàng)式的每個(gè)系數(shù)W1到Wn+1，則可以獲得用于模擬每個(gè)參考像素的像素值的在幀方向中的模擬函數(shù)f(t)。然而，需要超過(guò)系數(shù)個(gè)數(shù)的參考像素值，因此，例如，在如圖198所示的情況下，參考像素的個(gè)數(shù)為共15個(gè)，因此在多項(xiàng)式中可以獲得的系數(shù)的個(gè)數(shù)限于15。在該情況下，可以說(shuō)多項(xiàng)式達(dá)到14維，并通過(guò)獲得系數(shù)W1到W15而估計(jì)模擬函數(shù)。注意，在該情況下，通過(guò)建立由15維多項(xiàng)式構(gòu)成的模擬函數(shù)f(x)可以采用聯(lián)立方程。
因此，當(dāng)采用如圖198所示的15個(gè)參考像素值時(shí)，模擬函數(shù)估計(jì)單元2232通過(guò)利用最小二乘法求解下面的公式(101)而估計(jì)模擬函數(shù)f(t)。
p(-1，-2)＝f(-1-Ct(-2)) p(-1，-1)＝f(-1-Ct(-1)) p(-1，0)＝f(-1)(＝f(-1-Ct(0))) p(-1，1)＝f(-1-Ct(1)) p(-1，2)＝f(-1-Ct(2)) p(0，-2)＝f(0-Ct(-2)) p(0，-1)＝f(0-Ct(-1)) p(0，0)＝f(0)(＝f(0-Ct(0))) p(0，1)＝f (0-Ct(1)) p(0，2)＝f(0-Ct(2)) p(1，-2)＝f(1-Ct(-2)) p(1，-1)＝f(1-Ct(-1)) p(1，0)＝f(1)(＝f(1-Ct(0))) p(1，1)＝f (1-Ct(1)) p(1，2)＝f(1-Ct(2)) 公式(101) 注意，參考像素的個(gè)數(shù)可以根據(jù)多項(xiàng)式的階數(shù)而改變。
這里，Ct(ty)表示平移量，其與上述Cx(ty)相同，當(dāng)用Vf表示作為連續(xù)性的梯度時(shí)，則定義Ct(ty)＝ty/Vf。該平移量Ct(ty)表示，在限定在空間方向Y＝0的位置上的模擬函數(shù)f(t)沿梯度Vf連續(xù)(具有連續(xù)性)的條件下，在空間方向Y＝ty的位置上平移相對(duì)于幀方向T的寬度。因此，例如，在將模擬函數(shù)限定為在空間方向Y＝0的位置上的f(t)時(shí)，該模擬函數(shù)f(t)必須相對(duì)于幀方向T在空間方向Y＝ty上平移Ct(ty)，從而將函數(shù)定義為f(t-Ct(ty))＜＝f(t-ty/Vf)。
在步驟S2247中，微分處理單元2233基于從模擬函數(shù)估計(jì)單元2232輸入的模擬函數(shù)f(t)獲得在將要產(chǎn)生的像素位置上的平移量。
也就是說(shuō)，在產(chǎn)生像素為分別在幀方向和空間方向上有兩倍的密度(共四倍密度)的情況下，微分處理單元2233首先獲得例如在中心位置的下述平移量Pin(Tin，Yin)，其被分成兩個(gè)下述像素Pat和Pbt，變成如圖199所示的在空間方向上的二倍密度，從而獲得關(guān)注像素在中心位置Pin(Tin，Tin)的導(dǎo)數(shù)值。該平移量變成Ct(0)，因此實(shí)際變?yōu)?。注意，在圖199中，其整體重心位置為(Tin，Yin)的像素Pin為方形，整體重心位置分別為(Tin，Yin+0.25)和(Tin，Yin-0.25)的像素Pat和Pbt在圖中水平方向上分別為矩形。
在步驟S2248中，微分處理單元2233微分模擬函數(shù)f(t)，以獲得模擬函數(shù)的初始微分函數(shù)f(t)’，獲得對(duì)應(yīng)于獲得的平移量的位置上的導(dǎo)數(shù)值，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。也就是說(shuō)，在該情況下，微分處理單元2233獲得導(dǎo)數(shù)值f(Tin)’，并將其位置(在該情況下為關(guān)注像素(Tin，Yin))、其像素值以及在連續(xù)性方向上的移動(dòng)信息加到其上，并將其輸出。
在步驟S2249中，微分處理單元2233確定是否已經(jīng)獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值。例如，在該情況下，獲得的導(dǎo)數(shù)值只是用于空間方向中的二倍密度所需的導(dǎo)數(shù)值(未獲得在幀方向上變成二倍密度的導(dǎo)數(shù)值)，從而確定沒(méi)有獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值，并且處理返回步驟S2247。
在步驟S2247中，微分處理單元2203再次基于從模擬函數(shù)估計(jì)單元2202輸入的模擬函數(shù)f(t)獲得在將要產(chǎn)生的像素的位置上的平移量。也就是說(shuō)，在該情況下，微分處理單元2203獲得用于進(jìn)一步將分開(kāi)的像素Pat和Pbt分別分成兩個(gè)像素所需的導(dǎo)數(shù)值。在圖199中分別以黑色圓形表示Pat和Pbt的位置，從而微分處理單元2233獲得對(duì)應(yīng)于每個(gè)位置的平移量。像素Pat和Pbt的平移量分別是Ct(0.25)和Ct(-0.25)。
在步驟S2248中，微分處理單元2233對(duì)模擬函數(shù)f(t)進(jìn)行微分，獲得在對(duì)應(yīng)于平移量的位置上的導(dǎo)數(shù)值。所述平移量對(duì)應(yīng)于每個(gè)像素Pat和Pbt，并將其輸出給圖像產(chǎn)生單元103，作為現(xiàn)實(shí)世界估計(jì)信息。
也就是說(shuō)，在采用如圖198所示的參考像素的情況下，如圖200所示，微分處理單元2233獲得關(guān)于獲得的模擬函數(shù)f(t)的微分函數(shù)f(t)’，獲得在位置(Tin-Ct(0.25))和(Tin-Ct(-0.25))上的導(dǎo)數(shù)值，其分別是對(duì)時(shí)間方向T平移平移量Ct(0.25)和Ct(-0.25)的f(Tin-Ct(0.25))’和f(Tin-Ct(-0.25))’的位置，將對(duì)應(yīng)于其導(dǎo)數(shù)值的位置信息與其相加，并將其輸出作為現(xiàn)實(shí)世界估計(jì)信息。注意，在第一處理中輸出像素值的信息，因此沒(méi)有將其加到該處理中。
在步驟S2249中，微分處理單元2233再次確定是否獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值。例如，在該情況下，已經(jīng)獲得將變成在空間方向Y上和在幀方向T上的二倍密度(共四倍密度)的導(dǎo)數(shù)值，從而確定已經(jīng)獲得用于產(chǎn)生希望密度的像素所需的導(dǎo)數(shù)值，并且處理進(jìn)到步驟S2251。
在步驟S2251中，參考像素選取單元2231確定是否已經(jīng)處理所有像素，在確定仍未處理所有像素的情況下，該處理返回步驟S2242。另外，在步驟S2251中，在確定已經(jīng)處理所有的像素的情況下，該處理結(jié)束。
如上所述，在產(chǎn)生像素以在關(guān)于輸入圖像的幀方向(時(shí)間方向)和空間方向上變成四倍密度的情況下，通過(guò)利用在將要分開(kāi)的像素的中心位置的模擬函數(shù)的導(dǎo)數(shù)值的外推/內(nèi)插來(lái)分割像素，從而為了產(chǎn)生四倍密度像素，需要共3個(gè)導(dǎo)數(shù)值的信息。
也就是說(shuō)，如圖199所示，用于產(chǎn)生四個(gè)像素P01t、P02t、P03t和P04t所需的導(dǎo)數(shù)值在最后被一個(gè)像素所需(在圖199中，像素P01t、P02t、P03t和P04t為方形，其重心位置為圖中四個(gè)交叉符號(hào)的位置，并且像素Pin的每邊的長(zhǎng)度為1，因此像素P01t、P02t、P03t和P04t的每邊長(zhǎng)度約為0.5)，因此，為了產(chǎn)生四倍密度像素，首先產(chǎn)生在幀方向或在空間方向上的二倍密度像素(在步驟S2247和S2248中的上述第一處理)，并且，另外將分割的兩個(gè)像素在垂直于初始分割方向的方向上分割(在該情況下為幀方向)(在步驟S2247和S2248中的上述第二處理)。
注意，在上述實(shí)例中，已經(jīng)描述了在計(jì)算四倍密度像素的時(shí)間上的導(dǎo)數(shù)值作為實(shí)例。但是，在計(jì)算密度大于四倍密度的像素的情況下，可以通過(guò)重復(fù)進(jìn)行步驟S2247到S2249中的處理獲得用于計(jì)算像素值所需的更多的導(dǎo)數(shù)值。另外，在上述實(shí)例中，已經(jīng)描述了用于獲得二倍密度像素值的實(shí)例，但是，模擬函數(shù)f(t)是連續(xù)函數(shù)，從而即使對(duì)于密度不是復(fù)數(shù)密度的像素值，仍可以獲得需要的導(dǎo)數(shù)值。
根據(jù)上述設(shè)置，利用關(guān)注像素附近的像素的像素值可以獲得用于近似表達(dá)每個(gè)像素的像素值的模擬函數(shù)，并且可以將用于產(chǎn)生像素所需的位置上的導(dǎo)數(shù)值輸出作為現(xiàn)實(shí)世界估計(jì)信息。
利用如圖196所述的現(xiàn)實(shí)世界估計(jì)單元102，已經(jīng)將用于產(chǎn)生圖像的導(dǎo)數(shù)值輸出作為現(xiàn)實(shí)世界估計(jì)信息，但是導(dǎo)數(shù)值是與在需要的位置上的模擬函數(shù)f(t)的梯度相同的值。
現(xiàn)在，將參考圖201描述現(xiàn)實(shí)世界估計(jì)單元102，其中只直接獲得用于產(chǎn)生像素所需的模擬函數(shù)在幀方向上的梯度，而不獲得模擬函數(shù)，并將其輸出作為現(xiàn)實(shí)世界估計(jì)信息。
參考像素選取單元2251基于從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸入的數(shù)據(jù)連續(xù)性信息(作為連續(xù)性的移動(dòng)，或區(qū)域信息)，確定輸入圖像的每個(gè)像素的是否是處理區(qū)域，在為處理區(qū)域的情況下，選取用于獲得輸入圖像的梯度所需的參考像素信息(用于計(jì)算所需的包括關(guān)注像素的在空間方向上排列的周邊多個(gè)像素，或包括關(guān)注像素的在幀方向上排列的周邊多個(gè)像素、以及每個(gè)像素值的信息)，并將其輸出給梯度估計(jì)單元2252。
梯度估計(jì)單元2252基于從參考像素選取單元2251輸入的參考像素信息產(chǎn)生用于產(chǎn)生像素所需的像素位置的梯度信息，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。具體是，梯度估計(jì)單元2252獲得模擬函數(shù)在關(guān)注像素的位置上在幀方向上的梯度，所述函數(shù)利用像素之間的像素值的差值信息近似表達(dá)每個(gè)參考像素的像素值，并將其與關(guān)注像素的位置信息和像素值、以及連續(xù)性方向上的移動(dòng)信息一起輸出作為現(xiàn)實(shí)世界估計(jì)信息。
下面，將參考圖202中的流程圖描述利用圖201中的現(xiàn)實(shí)世界估計(jì)單元102的現(xiàn)實(shí)世界估計(jì)處理。
在步驟S2261中，參考像素選取單元2251從數(shù)據(jù)連續(xù)性檢測(cè)單元101與輸入圖像一起獲取移動(dòng)和區(qū)域信息作為數(shù)據(jù)連續(xù)性信息。
在步驟S2262中，參考像素選取單元2251從輸入圖像的未處理的像素中設(shè)置關(guān)注像素。
在步驟S2263中，參考像素選取單元2251基于數(shù)據(jù)連續(xù)性信息中的區(qū)域信息確定關(guān)注像素是否在處理區(qū)域中，在確定關(guān)注像素不在處理區(qū)域中的情況下，該處理進(jìn)到步驟S2268中，其中，通知梯度估計(jì)單元2252關(guān)注像素位于非處理區(qū)域中，梯度估計(jì)單元2252響應(yīng)其將對(duì)應(yīng)于關(guān)注像素的梯度設(shè)為0，并將關(guān)注像素的像素值加到其中，并將其作為現(xiàn)實(shí)世界估計(jì)信息輸出給圖像產(chǎn)生單元103，并且，該處理進(jìn)到步驟S2269。另外，在確定關(guān)注像素位于處理區(qū)域中的情況下，該處理進(jìn)到步驟S2264。
在步驟S2264中，參考像素選取單元2211基于包括在數(shù)據(jù)連續(xù)信息中的移動(dòng)信息確定作為數(shù)據(jù)連續(xù)性的移動(dòng)是接近幀方向還是接近空間方向的移動(dòng)。也就是說(shuō)，如果取表示空間和時(shí)間方向在由作為參考軸的幀方向T和空間方向Y構(gòu)成的表面內(nèi)的角度為θv，在具有數(shù)據(jù)連續(xù)性的移動(dòng)θv為45°＞θv≥0°，或180°＞θv≥135°的情況下，參考像素選取單元2251確定關(guān)注像素的作為連續(xù)性的移動(dòng)接近幀方向，在具有數(shù)據(jù)連續(xù)性的角度θv為135°＞θv≥45°的情況下，確定關(guān)注像素的連續(xù)性移動(dòng)接近空間方向。
在步驟S2265，參考像素選取單元2251選取分別對(duì)應(yīng)于從輸入圖像確定的方向的參考像素的位置信息和像素值，并將其輸出給梯度估計(jì)單元2252。也就是說(shuō)，參考像素變成將用于計(jì)算后面描述的梯度的數(shù)據(jù)，因此優(yōu)選根據(jù)作為連續(xù)性的移動(dòng)選取。因此，對(duì)應(yīng)于幀方向和空間方向的任何確定方向，選取在長(zhǎng)范圍上在其方向上的參考像素。更具體的是，例如，如圖203所示，在確定移動(dòng)接近空間方向的情況下，當(dāng)取圖203的中心的像素(t，y)＝(0，0)為關(guān)注像素時(shí)，參考像素選取單元2151選取(t，y)＝(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每個(gè)像素值。注意在圖203中，可以說(shuō)每個(gè)像素在幀方向和空間方向上的長(zhǎng)度為1。
換句話說(shuō)，參考像素選取單元2251選取空間方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為5個(gè)像素，其為以關(guān)注像素為中心的在空間方向(圖中上/下)的兩個(gè)像素。
相反，在確定方向?yàn)閹较虻那闆r下，參考像素選取單元2251選取水平方向上長(zhǎng)范圍中的像素作為參考像素，使得參考像素共為5個(gè)像素，其為以關(guān)注像素為中心的在幀方向(左/右)的2個(gè)像素，并將其輸出給模擬函數(shù)估計(jì)單元2252。顯然，參考像素的個(gè)數(shù)并不限于上述的5個(gè)像素，而是可以采用任何像素個(gè)數(shù)。
在步驟S2266中，梯度估計(jì)單元2252基于從參考像素選取單元2251輸入的參考像素的信息、和在連續(xù)性方向中的移動(dòng)Vf，計(jì)算每個(gè)像素值的平移量。也就是說(shuō)，在取對(duì)應(yīng)于空間方向Y＝0的模擬函數(shù)f(t)為基準(zhǔn)的情況下，對(duì)應(yīng)于空間方向Y＝-2、-1、1和2的模擬函數(shù)沿作為連續(xù)性的移動(dòng)Vf連續(xù)，如圖203所示，從而將每個(gè)模擬函數(shù)描述為f(t-Ct(2))、f(t-Ct(1))、f(t-Ct(-1))以及f(t-Ct(-2))，并且，將其表示為對(duì)于每個(gè)空間方向Y＝-2、-1，1，2在幀方向T上平移每個(gè)平移量的函數(shù)。
因此，梯度估計(jì)單元2252獲得其平移量Ct(-2)到Ct(2)。例如，在如圖203所示選取參考像素的情況下，關(guān)于其平移量，圖中的參考像素(0，2)變成Ct(2)＝2/Vf，參考像素(0，1)變成Ct(1)＝1/Vf，參考像素(0，0)變成Ct(0)＝0，參考像素(0，-1)變成Ct(-1)＝-1/Vf，以及參考像素(0，-2)變成Ct(-2)＝-2/Vf。梯度估計(jì)單元2252獲得這些平移量Ct(-2)到Ct(2)。
在步驟S2267中，梯度估計(jì)單元2252計(jì)算(估計(jì))在關(guān)注像素的幀方向上的梯度。例如，如圖203所示，在關(guān)于關(guān)注像素的連續(xù)性方向?yàn)榻咏臻g方向的角度的情況下，在幀方向上相鄰的像素之間的像素值表現(xiàn)更大的差，但是，在空間方向的像素之間的變化較小并相似，因此，梯度估計(jì)單元2252通過(guò)獲取在空間方向上的像素之間的變化，用幀方向上的像素之間的差代替在空間方向上的像素之間的差，并獲得在關(guān)注像素處的梯度作為根據(jù)平移量在幀方向T上的變化。
也就是說(shuō)，如果假設(shè)存在近似描述現(xiàn)實(shí)世界的模擬函數(shù)f(t)，則上述平移量和各個(gè)參考像素的像素值之間的關(guān)系如圖204所示。這里，圖204中的各個(gè)像素的像素值被從上部開(kāi)始表示為P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。從而，關(guān)于像素值P和關(guān)注像素(0，0)附近的平移量Ct，獲得5對(duì)關(guān)系(P，Ct)＝((P(0，2)，-Ct(2)、(P(0，1)，-Ct(1))、(P(0，-1)，-Ct(-1))、(P(0，-2)，-Ct(-2))以及(P(0，0)，0)。
這里，對(duì)于像素值P，平移量Ct，以及梯度Kt(在模擬函數(shù)f(t)上的梯度)，如下述公式(102)關(guān)系成立。
p＝Kt×Ct公式(102) 上述公式(102)是關(guān)于變量Kt的單變量函數(shù)，從而梯度估計(jì)單元2212利用一個(gè)變量的最小二乘法獲得變量Kt(梯度)。
也就是說(shuō)，梯度估計(jì)單元2252通過(guò)求解如下述公式(103)所示的正規(guī)方程獲得關(guān)注像素的梯度，將關(guān)注像素的像素值、以及連續(xù)性方向上的梯度信息加到其上，并將其輸出給圖像產(chǎn)生單元103作為現(xiàn)實(shí)世界估計(jì)信息。
公式(103) 這里，i表示用于識(shí)別上述參考像素的每對(duì)像素值P和平移量Ct的數(shù)1到m。另外，m表示包括關(guān)注像素的參考像素個(gè)數(shù)。
在步驟S2269中，參考像素選取單元2251確定是否已經(jīng)處理所有像素，在確定仍未處理所有像素的情況下，該處理返回步驟S2262。另外，在確定已經(jīng)在步驟S2269中處理所有像素的情況下，該處理結(jié)束。
注意，通過(guò)上述處理將要輸出作為現(xiàn)實(shí)世界估計(jì)信息的幀方向上的梯度在計(jì)算將要通過(guò)外推/內(nèi)插最后獲得的希望像素值時(shí)采用。另外，對(duì)于上述實(shí)例，已經(jīng)描述了在計(jì)算二倍密度像素時(shí)的梯度作為實(shí)例，但是，在計(jì)算密度大于二倍密度的情況下，可以獲得用于計(jì)算像素值所需的更多位置的梯度。
例如，如圖190所示，當(dāng)產(chǎn)生在時(shí)間和空間方向上共具有四倍密度的像素的情況下，其中在水平方向產(chǎn)生二倍密度并在幀方向上也產(chǎn)生二倍密度，可以如上所述獲得對(duì)應(yīng)于圖190中各個(gè)位置Pin、Pat和Pbt的模擬函數(shù)f(t)的梯度Kt。
另外，在上述實(shí)例中，已經(jīng)描述了用于獲得二倍密度像素值的實(shí)例，但是，模擬函數(shù)f(t)是連續(xù)函數(shù)，從而，即使像素的像素值位于不是復(fù)數(shù)密度的位置上，仍可以獲得需要的梯度。
顯然，對(duì)于用于獲得模擬函數(shù)相對(duì)于幀方向或空間方向的梯度或?qū)?shù)值的處理順序沒(méi)有限制。另外，在上述實(shí)例中，在空間方向，已經(jīng)描述了利用空間方向Y和幀方向T之間的關(guān)系，但是可以采用空間方向X和幀方向T之間的關(guān)系來(lái)代替該關(guān)系。另外，可以從時(shí)間和空間方向的二維關(guān)系選擇性地獲得梯度(任一維度方向)或?qū)?shù)值。
根據(jù)上述設(shè)置，可以通過(guò)利用關(guān)注像素附近的像素值，在用于產(chǎn)生像素所需的位置處的幀方向(時(shí)間方向)上產(chǎn)生和輸出模擬函數(shù)上的梯度作為現(xiàn)實(shí)世界估計(jì)信息，而不獲得近似表示現(xiàn)實(shí)世界的在幀方向上的模擬函數(shù)。
接著，將參考圖205到235描述現(xiàn)實(shí)世界估計(jì)單元102(圖3)的另一實(shí)施例。
圖205描述了該實(shí)施例的特征。
如圖205所示，利用預(yù)定函數(shù)F表示作為被投影在傳感器2上的圖像的現(xiàn)實(shí)世界1中的信號(hào)(光強(qiáng)分布)。注意，下文中，在對(duì)該實(shí)施例的描述中，用作現(xiàn)實(shí)世界1中的圖像的信號(hào)尤其指光信號(hào)，以及函數(shù)F尤其指光信號(hào)函數(shù)F。
在該實(shí)施例中，在由光信號(hào)函數(shù)F表示的現(xiàn)實(shí)世界1中的光信號(hào)具有預(yù)定連續(xù)性的情況下，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用來(lái)自傳感器2的輸入圖像(包括對(duì)應(yīng)于連續(xù)性的數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù))、和來(lái)自于數(shù)據(jù)連續(xù)性檢測(cè)單元101的數(shù)據(jù)連續(xù)性信息(對(duì)應(yīng)于輸入圖像數(shù)據(jù)的連續(xù)性的數(shù)據(jù)連續(xù)性信息)的預(yù)定函數(shù)f模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)F。注意，下文在對(duì)該實(shí)施例的描述中，函數(shù)f尤其指模擬函數(shù)f。
換句話說(shuō)，在該實(shí)施例中，現(xiàn)實(shí)世界估計(jì)單元102對(duì)利用模型161(圖7)由光信號(hào)函數(shù)F表示的圖像(現(xiàn)實(shí)世界1中的光信號(hào))進(jìn)行模擬(描述)，所述模型由模擬函數(shù)f表示。因此，下文中，該實(shí)施例稱為函數(shù)模擬方法。
現(xiàn)在，在進(jìn)入對(duì)函數(shù)模擬方法的具體描述之前，將描述關(guān)于其中本申請(qǐng)人已經(jīng)發(fā)明的背景的函數(shù)模擬方法。
圖206描述了其中將傳感器看作CCD的積分效應(yīng)。
如圖206所示，將多個(gè)檢測(cè)元件2-1設(shè)置在傳感器2的平面上。
在圖206的實(shí)例中，取平行于檢測(cè)元件2-1的預(yù)定邊的方向作為X方向，其為空間方向中的一個(gè)方向，并取垂直于X的方向的方向?yàn)閅方向，其為空間方向中的另一個(gè)方向。另外，取垂直于X-Y平面的方向作為用作時(shí)間方向的方向t。
另外，在圖206的實(shí)例中，用方形表示傳感器2的每個(gè)檢測(cè)元件2-1的空間形狀，其一邊的長(zhǎng)度為1。傳感器2的快門時(shí)間(曝光時(shí)間)被表示為1。
另外，在圖206的實(shí)例中，取傳感器2的一個(gè)檢測(cè)元件2-1的中心作為空間方向(X方向和Y方向)中的原點(diǎn)(在X方向上位置x＝0，以及在Y方向上位置y＝0)，并且，取曝光時(shí)間的中間時(shí)刻為時(shí)間方向(t方向)上的原點(diǎn)(在t方向上的位置t＝0)。
在該情況下，中心在空間方向中的原點(diǎn)(x＝0，y-0)的檢測(cè)元件2-1對(duì)光信號(hào)函數(shù)F(x，y，t)進(jìn)行積分，其范圍為在x方向上從-0.5到0.5，在Y方向上從-0.5到0.5，以及在t方向上從-0.5到0.5，并將其積分值輸出作為像素值P。
也就是說(shuō)，從其中心在空間方向上的原點(diǎn)的檢測(cè)元件2-1輸出的像素值P由下面公式(104)表示。
公式(104) 通過(guò)以同樣的方法取其中心為空間方向中的原點(diǎn)，另一個(gè)檢測(cè)元件2-1也輸出了如公式104所示的像素值P。
圖207描述了傳感器2的積分效應(yīng)的具體實(shí)例 在圖207中，X方向和Y方向表示傳感器2的X方向和Y方向(圖206)。
現(xiàn)實(shí)世界1的光信號(hào)的部分2301(下文中，該部分指區(qū)域)表示具有預(yù)定連續(xù)性的區(qū)域的實(shí)例。
注意，區(qū)域2301是連續(xù)性光信號(hào)(連續(xù)性區(qū)域)的部分。另一方面，在圖207中，區(qū)域2301被示出為在實(shí)際中分成的20個(gè)小區(qū)域(方形區(qū)域)。這是為了示出，區(qū)域2301的尺寸等于其中排列在x方向上的傳感器2的四個(gè)檢測(cè)元件(像素)，以及在y方向上的傳感器2的五個(gè)檢測(cè)元件(像素)的尺寸。也就是說(shuō)，區(qū)域2301中的每20個(gè)小區(qū)域(虛擬區(qū)域)等于一個(gè)像素。
另外，區(qū)域2301中的白色部分表示對(duì)應(yīng)于細(xì)線的光信號(hào)。因此，區(qū)域2301在其中細(xì)線連續(xù)的方向上具有連續(xù)性。下文中，區(qū)域2301指包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301。
在該情況下，當(dāng)包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301(現(xiàn)實(shí)世界1中的光信號(hào)的部分)被傳感器2檢測(cè)時(shí)，通過(guò)積分效應(yīng)從傳感器2輸出輸入圖像(像素值)的區(qū)域2302(下文中，其指包括細(xì)線的數(shù)據(jù)區(qū)域2302)。
注意，包括細(xì)線的數(shù)據(jù)區(qū)域2302的每個(gè)像素由圖中的圖像表示，但是在實(shí)際中為表示預(yù)定值的數(shù)據(jù)。也就是說(shuō)，通過(guò)傳感器2的積分效應(yīng)，包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301被變?yōu)?變形為)包括細(xì)線的數(shù)據(jù)區(qū)域2302，其被分成每個(gè)具有預(yù)定像素值的20個(gè)像素(在X方向上的四個(gè)像素和在Y方向上的五個(gè)像素，共20個(gè)像素)。
圖208描述了傳感器2的積分效應(yīng)的另一具體實(shí)例(不同于圖207的實(shí)例)。
在圖208中，X方向和Y方向表示傳感器2的X方向和Y方向(圖206)。
現(xiàn)實(shí)世界1中的光信號(hào)的部分(區(qū)域)2303表示具有預(yù)定連續(xù)性的區(qū)域的另一實(shí)例(不同于圖207中包括細(xì)線的實(shí)際區(qū)域2301的實(shí)例)。
注意，區(qū)域2303與包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301具有相同的尺寸。也就是說(shuō)，與現(xiàn)實(shí)中的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301相同，區(qū)域2303也是現(xiàn)實(shí)世界1中連續(xù)光信號(hào)的一部分(連續(xù)區(qū)域)，但是被示出為分成等于圖208中的傳感器2的一個(gè)像素的20個(gè)小區(qū)域(方形區(qū)域)。
另外，區(qū)域2303包括具有預(yù)定第一光強(qiáng)(值)的第一部分邊緣，以及具有預(yù)定第二光強(qiáng)(值)的第二部分邊緣。因此，區(qū)域2303具有在其中邊緣連續(xù)的方向上的連續(xù)性。下文中，區(qū)域2303指包括二值邊緣的現(xiàn)實(shí)世界區(qū)域2303。
在該情況中，當(dāng)由傳感器2檢測(cè)包括二值邊緣的現(xiàn)實(shí)世界區(qū)域2303時(shí)(現(xiàn)實(shí)世界1中的光信號(hào)的部分)，通過(guò)積分效應(yīng)從傳感器2輸出輸入圖像(像素值)的區(qū)域2304(下文中，指包括二值邊緣的數(shù)據(jù)區(qū)域2304)。
注意，將包括二值邊緣的數(shù)據(jù)區(qū)域2304的每個(gè)像素值與包括細(xì)線的數(shù)據(jù)區(qū)域2302一樣顯示為圖中的圖像，但是，實(shí)際上為表示預(yù)定值的數(shù)據(jù)。也就是說(shuō)，通過(guò)傳感器2的積分效應(yīng)，將包括二值邊緣的現(xiàn)實(shí)世界區(qū)域2303變?yōu)?變形為)包括二值邊緣的數(shù)據(jù)區(qū)域2304，其被分成每個(gè)具有預(yù)定像素值的20個(gè)像素(在X方向的四個(gè)像素和在Y方向上的五個(gè)像素共20個(gè)像素)。
常規(guī)圖像處理裝置具有從傳感器2輸出的關(guān)注圖像數(shù)據(jù)，例如，包括細(xì)線的數(shù)據(jù)區(qū)域2302，包括二值邊緣的數(shù)據(jù)區(qū)域2304等作為原點(diǎn)(基準(zhǔn))，并且，對(duì)圖像數(shù)據(jù)進(jìn)行隨后的圖像處理。也就是說(shuō)，不考慮通過(guò)積分效應(yīng)將從傳感器2輸出的圖像數(shù)據(jù)變?yōu)?變形為)不同于現(xiàn)實(shí)世界1中的光信號(hào)的數(shù)據(jù)，常規(guī)圖像處理裝置在假設(shè)不同于現(xiàn)實(shí)世界1中的光信號(hào)的數(shù)據(jù)是正確的情況下進(jìn)行圖像處理。
從而，常規(guī)圖像處理裝置具有這樣的問(wèn)題，其中基于現(xiàn)實(shí)世界的細(xì)節(jié)發(fā)生扭曲的波形(圖像數(shù)據(jù))，在從傳感器2輸出圖像數(shù)據(jù)的階段，很難從該波形恢復(fù)原始細(xì)節(jié)。
因此，利用函數(shù)模擬方法，為了解決該問(wèn)題，如上所述(如圖205所示)，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用基于圖像數(shù)據(jù)(輸入圖像)的模擬函數(shù)f模擬光信號(hào)函數(shù)F(現(xiàn)實(shí)世界1中的光信號(hào))而估計(jì)光信號(hào)函數(shù)F，所述圖像數(shù)據(jù)例如是從傳感器2中輸出的包括細(xì)線的數(shù)據(jù)區(qū)域2302和包括二值邊緣數(shù)據(jù)區(qū)域2304。
從而，在現(xiàn)實(shí)世界估計(jì)單元102的下一個(gè)級(jí)(在該情況中為圖3中的圖像產(chǎn)生單元103)，可以通過(guò)取其中考慮了積分效應(yīng)的圖像數(shù)據(jù)，即可以由模擬函數(shù)f表示的圖像數(shù)據(jù)作為原點(diǎn)來(lái)進(jìn)行處理。
下文中，將參考附圖單獨(dú)描述該函數(shù)模擬方法的三種具體方法(第一到第三函數(shù)模擬方法)。
首先，將參考圖209到圖223描述第一函數(shù)模擬方法。
圖209示出了再次描述的圖207所示的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301。
在圖209中，X方向和Y方向表示傳感器2的X方向和Y方向(圖206)。
第一函數(shù)模擬方法是用于模擬一維波形的方法(下文中，該波形指X截面波形F(x))，其中，在x方向上(圖中箭頭2311的方向)投影對(duì)應(yīng)于如圖209所示的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301的光信號(hào)函數(shù)F(x，y，t)，其中，模擬函數(shù)f(x)用作n維(n為任意整數(shù))多項(xiàng)式。因此，下文中，第一函數(shù)模擬方法尤其指一維多項(xiàng)式模擬方法。
注意，在一維多項(xiàng)式模擬方法中，將要模擬的X截面波形F(x)不限于對(duì)應(yīng)于圖209中包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301的波形。也就是說(shuō)，如下文所述，在一維多項(xiàng)式模擬方法中，只要X截面波形F(x)對(duì)應(yīng)于具有連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào)，則可以模擬任何波形。
另外，光信號(hào)函數(shù)F(x，y，t)的投影方向不限于X方向，或者還可以采用Y方向或t方向。也就是說(shuō)，在一維多項(xiàng)式模擬方法中，可以利用預(yù)定模擬函數(shù)f(y)對(duì)一個(gè)將光信號(hào)函數(shù)F(x，y，t)投影到Y(jié)方向上的函數(shù)F(y)進(jìn)行模擬，或可以利用預(yù)定模擬函數(shù)f(t)對(duì)一個(gè)將光信號(hào)函數(shù)F(x，y，t)投影到t方向上的函數(shù)F(t)進(jìn)行模擬。
尤其是，一維多項(xiàng)式模擬方法是以模擬函數(shù)f(x)用作n維多項(xiàng)式用于例如對(duì)X截面波形F(x)進(jìn)行模擬的方法，所述多項(xiàng)式如下面公式(105)所示。
公式(105) 也就是說(shuō)，在一維多項(xiàng)式模擬方法中，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)計(jì)算公式(105)中的系數(shù)(特征)xi的wi，而估計(jì)X截面波形F(x)。
該特征wi計(jì)算方法不限于特定方法，例如，可以采用下面的第一到第三方法。
也就是說(shuō)，第一方法是目前采用的方法。
另一方面，第二方法是由本申請(qǐng)人新發(fā)明的方法，其相對(duì)于第一方法考慮了在空間方向上的連續(xù)性。
然而，如上所述，在第一和第二方法中，沒(méi)有考慮傳感器2的積分效應(yīng)，因此，通過(guò)對(duì)上述公式(105)代入通過(guò)第一方法或第二方法計(jì)算得到的特征wi獲得的模擬函數(shù)f(x)是關(guān)于輸入圖像的模擬函數(shù)，但是嚴(yán)格的說(shuō)，不能指X截面波形F(x)的模擬函數(shù)。
因此，本申請(qǐng)人發(fā)明了第三方法，其相對(duì)于第二方法還考慮了傳感器2的積分效應(yīng)而計(jì)算特征wi。通過(guò)對(duì)上述公式(105)代入利用該第三方法計(jì)算的特征wi而獲得的模擬函數(shù)f(x)可以被稱為X截面波形F(x)的模擬函數(shù)，其中考慮了傳感器2的積分效應(yīng)。
從而，嚴(yán)格地說(shuō)，第一方法和第二方法不能被稱為一維多項(xiàng)式模擬方法，只有第三方法可以被稱作一維多項(xiàng)式模擬方法。
換句話說(shuō)，如圖210所示，第二方法是根據(jù)本發(fā)明的現(xiàn)實(shí)世界估計(jì)單元102的實(shí)施例，其不同于一維多項(xiàng)式模擬方法。也就是說(shuō)，圖210描述了對(duì)應(yīng)于第二方法的實(shí)施例的原理。
如圖210所示，在對(duì)應(yīng)于第二方法的實(shí)施例中，在用光信號(hào)函數(shù)F表示的現(xiàn)實(shí)世界1的光信號(hào)具有預(yù)定連續(xù)性的情況下，現(xiàn)實(shí)世界估計(jì)單元102沒(méi)有利用來(lái)自傳感器2的輸入圖像(包括對(duì)應(yīng)于連續(xù)性的數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù))、和從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸入的數(shù)據(jù)連續(xù)性信息(對(duì)應(yīng)于輸入圖像數(shù)據(jù)的連續(xù)性的連續(xù)性信息)對(duì)X截面波形F(x)進(jìn)行模擬，而是利用預(yù)定模擬函數(shù)f2(x)對(duì)來(lái)自傳感器2的輸入圖像進(jìn)行模擬。
從而，很難說(shuō)第二方法是與第三方法具有相同水平的方法，其中沒(méi)有考慮傳感器2的積分效應(yīng)，而只對(duì)輸入圖像進(jìn)行模擬。然而，第二方法是優(yōu)于常規(guī)第一方法的方法，其中，第二方法考慮了空間方向上的連續(xù)性。
下文中，將以第一方法，第二方法，以及第三方法的次序單獨(dú)描述這三種方法的內(nèi)容。
注意，在下文中，由第一方法、第二方法和第三方法產(chǎn)生的各個(gè)模擬函數(shù)f(x)彼此區(qū)別的情況下，它們尤其指模擬函數(shù)f1(x)，模擬函數(shù)f2(x)，以及模擬函數(shù)f3(x)。
首先，將描述第一方法的內(nèi)容。
在第一方法中，在這樣的條件下，其中在上述公式(105)中所示的模擬函數(shù)f1(x)在圖211中的包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301中成立，定義了下面的預(yù)測(cè)公式(106)。
p(x．y)＝f1(×)+e 公式(106) 在公式(106)中，x表示從關(guān)注像素相對(duì)于X方向的像素位置。y表示從關(guān)注像素相對(duì)于Y方向的像素位置。e表示誤差余量。尤其是，例如，如圖211所示，可以說(shuō)，在包括細(xì)線的數(shù)據(jù)區(qū)域2302(包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301的數(shù)據(jù)(圖209)由傳感器2檢測(cè)，并被輸出)中，關(guān)注像素是圖中X方向上從左側(cè)開(kāi)始的第二個(gè)像素，也是Y方向上自底部開(kāi)始的第三個(gè)像素。另外，可以說(shuō)，關(guān)注像素的中心為原點(diǎn)(0，0)，并且建立其軸分別為平行于傳感器2(圖206)的X方向和Y方向的x軸和y軸的坐標(biāo)系(下文中，指關(guān)注像素坐標(biāo)系)。在該情況中，關(guān)注像素坐標(biāo)系的坐標(biāo)值(x，y)表示相對(duì)像素位置。
另外，在公式(106)中，P(x，y)表示在相對(duì)像素位置(x，y)上的像素值。尤其是，在該情況下，包括細(xì)線的數(shù)據(jù)區(qū)域2302中的P(x，y)如圖212所示。
圖212以曲線圖的方式表示該像素值P(x，y)。
在圖212中，曲線圖的各垂直軸表示像素值，以及水平軸表示在X方向上距離關(guān)注像素的相對(duì)位置x。另外，圖中分別為 自上的第一曲線圖中的虛線表示輸入像素值P(x，-2)，自上的第二曲線圖中的三點(diǎn)連線表示輸入像素值P(x，-1)，自上的第三曲線圖中的實(shí)線表示輸入像素值P(x，0)，自上的第四曲線圖中的單點(diǎn)連線表示輸入像素值P(x，1)，自上的第六曲線圖中的兩點(diǎn)連線表示輸入像素值P(x，2)。
當(dāng)對(duì)上述公式(106)分別代入如圖212所示的20個(gè)輸入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2) (然而，x是-1到2的任意整數(shù)值)時(shí)，產(chǎn)生下面公式(107)所示的二十個(gè)方程，注意每個(gè)ek(k為1到20的任意整數(shù))表示誤差余量。
P(-1．-2)＝f1(-1)+e1 P(0，-2)＝f1(0)+e2 P(1，-2)＝f1(1)+e3 P(2，-2)＝f1(2)+e4 P(-1，-1)＝f1(-1)+e5 P(0，-1)＝f1(0)+e6 P(1，-1)＝f1(1)+e7 P(2，-1)＝f1(2)+e8 P(-1．0)＝f1(-1)+e9 P(0．0)＝f1(0)+e10 P(1，0)＝f1(1)+e11 P(2．0)＝f1(2)+e12 P(-1，1)＝f1(-1)+e13 P(0．1)＝f1(0)+e14 P(1，1)＝f1(1)+e15 P(2，1)＝f1(2)+e16 P(-1，2)＝f1(-1)+e17 P(0．2)＝f1(0)+e18 P(1，2)＝f1(1)+e19 P(2，2)＝f1(2)+e20公式(107) 公式(107)由二十個(gè)方程構(gòu)成，從而例如在模擬函數(shù)f1(x)的特征wi數(shù)小于20的情況下，即在模擬函數(shù)f1(x)是具有小于19的維數(shù)的多項(xiàng)式的情況下，可以利用最小二乘法計(jì)算特征wi。注意，下面將描述最小二乘法的具體求解。
例如，如果說(shuō)模擬函數(shù)f1(x)的維數(shù)為5，利用公式(107)由最小二乘法計(jì)算的模擬函數(shù)f1(x)(通過(guò)計(jì)算特征wi產(chǎn)生的模擬函數(shù)f1(x))變成如圖213所示的曲線。
注意，在圖213中，垂直軸表示像素值，水平軸表示距離關(guān)注像素的相對(duì)位置x。
也就是說(shuō)，例如，如果將構(gòu)成圖211中包括細(xì)線的數(shù)據(jù)區(qū)域2302的二十個(gè)像素值P(x，y)(如圖212所示分別為輸入像素值P(x，-2)、P(x．-1)、P(x，0)、P(x，1)以及P(x，2))不經(jīng)過(guò)任何修改地沿x軸補(bǔ)充(如果認(rèn)為在Y方向上的相對(duì)位置y不變，并重疊圖212所示的5個(gè)曲線)，如圖213所示的平行于x軸的多條直線(虛線、三點(diǎn)連線、實(shí)線、單點(diǎn)連線以及兩點(diǎn)連線)被分布。
然而，在圖213中分別為虛線表示輸入像素值P(x，-2)，三點(diǎn)連線表示輸入像素值P(x，-1)，實(shí)線表示輸入像素值P(x，0)，單點(diǎn)連線表示輸入像素值P(x，1)，兩點(diǎn)連線表示輸入像素值P(x，2)。另外，在同一像素值的情況下，實(shí)際上多于兩條直線的直線重疊，但是在圖213中，所述直線被繪出以區(qū)分每條直線，因此，沒(méi)有彼此重疊的直線。
當(dāng)各20個(gè)輸入像素值(P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))這樣被分布時(shí)，用于最小化函數(shù)值f1(x)的誤差的回歸曲線(通過(guò)對(duì)上述公式(104)代入利用最小二乘法計(jì)算的特征wi而獲得的模擬函數(shù)f1(x))變成如圖213所示的曲線(模擬函數(shù)f1(x))。
從而，模擬函數(shù)f1(x)只是表示了在X方向上連接在Y方向上的像素值(自關(guān)注像素在X方向上具有相同的相對(duì)位置x的像素值)P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)的方法的曲線。也就是說(shuō)，沒(méi)有考慮光信號(hào)包括的空間方向中的連續(xù)性而產(chǎn)生模擬函數(shù)f1(x)。
例如，在該情況中，將包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301(圖209)看作是將要模擬的對(duì)象。該包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301具有在空間方向上的連續(xù)性，其由梯度Gf表示，如圖214所示。注意，在圖214中，X方向和Y方向表示傳感器2的X方向和Y方向(圖206)。
因此，數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖205)可以輸出如圖214所示的角度θ(在由對(duì)應(yīng)于梯度GF的梯度Gf表示的數(shù)據(jù)連續(xù)性方向和X方向之間產(chǎn)生的角度θ)作為對(duì)應(yīng)于作為空間方向中的連續(xù)性的梯度GF的數(shù)據(jù)連續(xù)性信息。
然而，在第一方法中，完全沒(méi)有使用從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息。
換句話說(shuō)，例如如圖214所示，在包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301中的空間方向中的連續(xù)性方向?yàn)榛窘嵌圈确较颉Ｈ欢?，第一方法是假設(shè)包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301的空間方向中的連續(xù)性方向?yàn)閅方向(即假設(shè)角度e為90°)時(shí)用于計(jì)算模擬函數(shù)f1(x)的特征wi的方法。
因此，模擬函數(shù)f1(x)變成其波形變得平緩的函數(shù)，并且其細(xì)節(jié)比原始像素值減少。換句話說(shuō)，雖然圖中沒(méi)有示出，在利用第一方法產(chǎn)生的模擬函數(shù)f1(x)中，其波形變成與實(shí)際X截面波形F(x)不同的波形。
為此，本申請(qǐng)人已經(jīng)發(fā)明了用于計(jì)算特征wi的第二方法，其相對(duì)于第一方法還考慮了空間方向中的連續(xù)性(利用角度θ)。
也就是說(shuō)，第二方法是在假設(shè)包括細(xì)線的現(xiàn)實(shí)世界區(qū)域2301的連續(xù)性方向?yàn)榛窘嵌圈确较驎r(shí)，用于計(jì)算模擬函數(shù)f2(x)的特征wi的方法。
尤其是，例如，表示對(duì)應(yīng)于空間方向中的連續(xù)性的數(shù)據(jù)連續(xù)性的梯度Gf，由下面的公式(108)表示。
公式(108) 注意，在公式(108)中，dx表示如圖214所示的在X方向上的微小移動(dòng)量，dy表示如圖214所示的相對(duì)于dx的在Y方向上的微小移動(dòng)量。
在該情況中，如果定義平移量Cx(y)如下面公式(109)所示，利用第二方法，對(duì)應(yīng)于在第一方法中使用的公式(106)的方程變成如下面公式(110)所示。
公式(109) P(x，y)＝f2(x-Cx(y))+e 公式(110) 也就是說(shuō)，在第一方法中采用的公式(106)表示在像素中心位置(x，y)的X方向上的位置x與位于相同位置上的任意像素的像素值P(x，y)相同。換句話說(shuō)，公式(106)表示具有相同像素值的像素在Y方向上連續(xù)(在Y方向上表現(xiàn)出連續(xù)性)。
另一方面，在第二方法中采用的公式(110)表示其中心位置為(x，y)的像素值P(x，y)不等于位于距離關(guān)注像素(其中心位置為(0，0)的像素)為X方向上的x的位置上的像素的像素值(等于f2(x)的模擬值)，并且，與在X方向上距離其像素為平移量Cx(y)的位置上的像素的像素值(等于f2(x+Cx(y))的模擬值)相同(在X方向上距離關(guān)注像素為x+Cx(y)的位置上的像素)。換句話說(shuō)，公式(110)表示具有相同像素值的像素在對(duì)應(yīng)于平移量Cx(y)的角度θ方向上連續(xù)(在基本角度θ方向上表現(xiàn)出連續(xù)性) 從而，平移量Cx(y)是考慮在空間方向中的連續(xù)性(圖214中由梯度GF表示的連續(xù)性(嚴(yán)格地說(shuō)，用梯度Gf表示的數(shù)據(jù)連續(xù)性))的校正量，以及利用平移量Cx(y)通過(guò)校正公式(106)獲得公式(110)。
在該情況下，當(dāng)分別對(duì)上述公式(110)代入圖211中所示的包括細(xì)線的數(shù)據(jù)區(qū)域的二十個(gè)像素值P(x，y)(然而，x為-1到2的任一整數(shù)值，而y為-2到2的任一整數(shù)值)時(shí)，產(chǎn)生如下面公式(111)所示的二十個(gè)方程。
P(-1，-2)＝f2(-1-Cx(-2))+e1 P(0．-2)＝f2(0-Cx(-2))+e2 P(1，-2)＝f2(1-Cx(-2))+e3 P(2，-2)＝f2(2-Cx(-2))+e4 P(-1，-1)＝f2(-1-Cx(-1))+e5 P(0．-1)＝f2(0-Cx(-1))+e6 P(1，-1)＝f2(1-Cx(-1))+e7 P(2，-1)＝f2(2-Cx(-1))+e8 P(-1．0)＝f2(-1)+e9 P(0，0)＝f2(0)+e10 P(1．0)＝f2(1)+e11 P(2，0)＝f2(2)+e12 P(-1，1)＝f2(-1-Cx(1))+e13 P(0．1)＝f2(0-Cx(1))+e14 P(1，1)＝f2(1-Cx(1))+e15 P(2，1)＝f2(2-Cx(1))+e16 P(-1，2)＝f2(-1-Cx(2))+e17 P(0．2)＝f2(0-Cx(2))+e18 P(1，2)＝f2(1-Cx(2))+e19 P(2，2)＝f2(2-Cx(2))+e20公式(111) 公式(111)如上述公式(107)由二十個(gè)方程構(gòu)成。因此相對(duì)于第一方法，在第二方法中，在模擬函數(shù)f2(x)的特征wi數(shù)小于20的情況下，即在模擬函數(shù)f2(x)是具有小于19的維數(shù)的多項(xiàng)式的情況下，可以利用最小二乘法計(jì)算特征wi。注意，下面將描述最小二乘法的具體求解。
例如，如果說(shuō)模擬函數(shù)f2(x)的維數(shù)與第一方法相同，均為5，在第二方法中如下計(jì)算特征wi。
也就是說(shuō)，圖215以曲線圖的方式表示公式(111)左側(cè)所示的像素值P(x，y)。由圖215所示的各個(gè)5個(gè)曲線圖如圖212所示的基本相同。
如圖215所示，最大像素值(對(duì)應(yīng)于細(xì)線的像素值)在由梯度Gf表示的數(shù)據(jù)連續(xù)性方向上連續(xù)。
因此，在第二方法中，如果例如沿x軸補(bǔ)充如圖215所示的各個(gè)輸入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)，在像素值變化為如圖216所示的狀態(tài)后補(bǔ)充像素值代替如第一方法中沒(méi)有修改的補(bǔ)充像素值(假設(shè)y不變，并且5個(gè)圖形在狀態(tài)上重疊，如圖215所示)。
也就是說(shuō)，圖216表示這樣的狀態(tài)，其中如圖215所示的各個(gè)輸入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)被平移如上述公式(109)所示的平移量Cx(y)。換句話說(shuō)，圖216表示了這樣的狀態(tài)，其中如圖215所示的五個(gè)曲線圖被平移，如同表示數(shù)據(jù)連續(xù)性的實(shí)際方向上的梯度GF被認(rèn)為是梯度GF’(在圖中，由虛線構(gòu)成的直線被認(rèn)為是由實(shí)線構(gòu)成的直線)。
在圖216中的狀態(tài)中，例如，如果將各輸入像素值P(x，-2)、P(x．-1)、P(x，0)、P(x，1)以及P(x，2)沿x軸補(bǔ)充(在圖216所示的狀態(tài)中，如果重疊5個(gè)曲線)，如圖217所示的平行于x軸的多條直線(虛線、三點(diǎn)連線、實(shí)線、單點(diǎn)連線以及兩點(diǎn)連線)被分布。
注意，在圖217中，垂直軸表示像素值，水平軸表示距離關(guān)注像素的相對(duì)位置x。同樣，虛線表示輸入像素值P(x，-2)，三點(diǎn)連線表示輸入像素值P(x，-1)，實(shí)線表示輸入像素值P(x，0)，單點(diǎn)連線表示輸入像素值P(x，1)，兩點(diǎn)連線表示輸入像素值P(x，2)。另外，在同一像素值的情況下，實(shí)際上多于兩條直線的直線重疊，但是在圖217中，所述直線被繪出以區(qū)分每條直線，因此，沒(méi)有彼此重疊的直線。
當(dāng)各20個(gè)輸入像素值P(x，y)(然而，x為-1到2的任意整數(shù)，y為-2到2的任意整數(shù))這樣被分布，并且用來(lái)最小化函數(shù)值f2(x+Cx(y))的誤差的回歸曲線(通過(guò)對(duì)上述公式(104)代入利用最小二乘法計(jì)算的特征wi而獲得的模擬函數(shù)f2(x))變成如圖217中實(shí)線所示的曲線f2(x)。
從而，利用第二方法產(chǎn)生的模擬函數(shù)f2(x)表示了在X方向上連接從數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖205)輸出的在角度θ方向(即在基本空間方向中的連續(xù)性方向)上的輸入像素值P(x，y)的方法的曲線。
另一方面，如上所述，利用第一方法產(chǎn)生的模擬函數(shù)f1(x)只是表示了在X方向上連接在Y方向(即，不同于空間方向中的連續(xù)性的方向)上的輸入像素值P(x，y)的方法。
因此，如圖217所示，利用第二方法產(chǎn)生的模擬函數(shù)f2(x)變成其中波形平緩程度下降的函數(shù)，另外，相對(duì)于原始像素值的細(xì)節(jié)減少程度比第一方法產(chǎn)生的模擬函數(shù)f1(x)減少。換句話說(shuō)，雖然圖中沒(méi)有示出，利用第二方法產(chǎn)生的模擬函數(shù)f2(x)中，其波形變成比利用第一方法產(chǎn)生的模擬函數(shù)f1(x)更接近實(shí)際X截面的波形F(x)的波形。
然而，如上所述，模擬函數(shù)f2(x)是考慮空間方向中的連續(xù)性的函數(shù)，但只是其中將輸入圖像(輸入像素值)看作原點(diǎn)(基準(zhǔn))而產(chǎn)生的函數(shù)。也就是說(shuō)，如圖210所示，模擬函數(shù)f2(x)只是模擬不同于X截面波形F(x)的輸入圖像的函數(shù)，而難以認(rèn)為模擬函數(shù)f2(x)是模擬X截面波形F(x)的函數(shù)。換句話說(shuō)，第二方法是在假設(shè)上述公式(110)成立下用于計(jì)算特征wi的方法，但是不考慮上述公式(104)中的關(guān)系(不考慮傳感器2的積分效應(yīng))。
因此，本申請(qǐng)人已經(jīng)發(fā)明了用于計(jì)算模擬函數(shù)f3(x)的特征wi的第三方法，其相對(duì)于第二方法還考慮了傳感器2的積分效應(yīng)。
也就是說(shuō)，第三方法是引入空間混合區(qū)域的概念的方法。
在描述第三方法前，將參考圖218描述空間混合區(qū)域。
在圖218中，現(xiàn)實(shí)世界1中的光信號(hào)的部分2321(下文中，指區(qū)域2321)表示具有與傳感器2的一個(gè)檢測(cè)元件(像素)相同面積的區(qū)域。
當(dāng)傳感器2檢測(cè)區(qū)域2321時(shí)，傳感器2輸出通過(guò)對(duì)區(qū)域2321進(jìn)行在時(shí)間和空間方向上(X方向、Y方向和t方向)的積分而獲得的值(一個(gè)像素值)2322。注意，圖中將像素值2322表示為圖像，但是實(shí)際為表示預(yù)定值的數(shù)據(jù)。
現(xiàn)實(shí)世界1中的區(qū)域2321被清楚地分成對(duì)應(yīng)于前景(例如上述細(xì)線)的光信號(hào)(圖中的白色區(qū)域)、和對(duì)應(yīng)于背景的光信號(hào)(圖中黑色區(qū)域)。
另一方面，像素值2322是通過(guò)對(duì)對(duì)應(yīng)于前景的現(xiàn)實(shí)世界1中的光信號(hào)和對(duì)應(yīng)于背景的現(xiàn)實(shí)世界1中的光信號(hào)進(jìn)行積分而獲得的值。換句話說(shuō)，像素值2322是對(duì)應(yīng)于其中空間混合對(duì)應(yīng)于前景的光和對(duì)應(yīng)于背景的光的水平的值。
從而，在下述情況下，即其中對(duì)應(yīng)于現(xiàn)實(shí)世界1的光信號(hào)的一個(gè)像素(傳感器2的檢測(cè)元件)的部分不是其中具有相同水平的信號(hào)空間均勻地分布的部分，而是其中分布例如前景和背景的具有不同水平的光信號(hào)的部分，一旦其區(qū)域被傳感器2檢測(cè)，該區(qū)域變成一個(gè)像素值，如同通過(guò)傳感器2的積分效應(yīng)(在空間方向中的積分)空間混合不同的光水平一樣。從而，這里，將由這樣的像素構(gòu)成的區(qū)域稱為空間混合區(qū)域，在所述像素中，對(duì)對(duì)應(yīng)于前景(現(xiàn)實(shí)世界1中的光信號(hào))的圖像、和對(duì)應(yīng)于背景的圖像(現(xiàn)實(shí)世界1中的光信號(hào))進(jìn)行空間積分。
因此，在第三方法中，現(xiàn)實(shí)世界估計(jì)單元102(圖205)通過(guò)利用用作如圖219所示的一維多項(xiàng)式的模擬函數(shù)f3(x)模擬X截面波形F(x)，而估計(jì)表示現(xiàn)實(shí)世界1中的原始區(qū)域2321(在現(xiàn)實(shí)世界1的光信號(hào)中，部分2321對(duì)應(yīng)于傳感器2的一個(gè)像素)的X截面波形F(x)。
也就是說(shuō)，圖219示出了對(duì)應(yīng)于用作空間混合區(qū)域(圖218)的像素值2322的模擬函數(shù)f3(x)的實(shí)例，即，模擬對(duì)應(yīng)于現(xiàn)實(shí)世界1中的區(qū)域2331內(nèi)的實(shí)線的X截面波形F(x)的模擬函數(shù)f3(x)(圖218)。在圖219中，圖中水平方向上的軸線表示平行于對(duì)應(yīng)于像素值2322的像素的左上端xs到右下端xe的邊的軸線(圖218)，將其取為x軸。圖中垂直方向上的軸線被取為表示像素值的軸線。
在圖219中，在通過(guò)對(duì)模擬函數(shù)f3(x)進(jìn)行在從xs到xe(像素寬度)的范圍上進(jìn)行積分獲得的結(jié)果通常等于從傳感器2輸出的像素值P(x，y)的條件下(只依賴于誤差的余量)，限定下面公式(112)。
公式(112) 在該情況下，從如圖214所示的包括細(xì)線的數(shù)據(jù)區(qū)域2302的20個(gè)像素值P(x，y)(然而，x為-1到2的任一整數(shù)值，而y為-2到2的任一整數(shù)值)計(jì)算模擬函數(shù)f3(x)的特征wi，從而公式(112)中的像素值P變成P(x，y)。
另外，如同在第二方法中，需要考慮空間方向的連續(xù)性，因此，公式(112)的積分范圍中的開(kāi)始位置xs和結(jié)束位置xe每個(gè)都依賴于平移量Cx(y)。也就是說(shuō)，公式(112)的積分范圍中的開(kāi)始位置xs和結(jié)束位置xe每個(gè)如下面公式(113)所示。
xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5 公式(113) 在該情況下，當(dāng)將如圖214所示的包括細(xì)線的數(shù)據(jù)區(qū)域2302每個(gè)像素值，即如圖215所示的各個(gè)輸入像素值P(x，-2)、P Cx，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x為從-1到2的任意整數(shù)值)代入上述公式(1 12)中(積分范圍為上述公式(113))，產(chǎn)生在下面公式(114)中的20個(gè)方程。
公式(114) 公式(114)如上述公式(111)由二十個(gè)方程構(gòu)成。因此相對(duì)于第二方法，在第三方法中，當(dāng)在模擬函數(shù)f3(x)的特征wi數(shù)小于20的情況下，即在模擬函數(shù)f3(x)是具有小于19的維數(shù)的多項(xiàng)式的情況下，可以利用最小二乘法計(jì)算特征wi。注意，下面將描述最小二乘法的具體求解。
例如，如果說(shuō)模擬函數(shù)f3(x)的維數(shù)為5，利用公式(114)由最小二乘法計(jì)算的模擬函數(shù)f3(x)(通過(guò)計(jì)算出的特征wi產(chǎn)生的模擬函數(shù)f3(x))變成如圖220中實(shí)線所示的曲線。
注意，在圖220中，垂直軸表示像素值，水平軸表示距離關(guān)注像素的相對(duì)位置x。
如圖220所示，在將利用第三方法產(chǎn)生的模擬函數(shù)f3(x)(如圖中實(shí)線所示的曲線)與利用第二方法產(chǎn)生的模擬函數(shù)f2(x)(如圖中虛線所示的曲線)相比較的情況下，在x＝0處的像素值變大，并且曲線的梯度產(chǎn)生更陡的波形。這是因?yàn)榧?xì)節(jié)增為多于輸入像素，導(dǎo)致與輸入像素的分辨率無(wú)關(guān)。也就是說(shuō)，可以說(shuō)模擬函數(shù)f3(x)模擬了X截面波形F(x)。因此，雖然圖中沒(méi)有示出，模擬函數(shù)f3(x)變成比模擬函數(shù)f2(x)更接近X截面波形F(x)的波形。
圖221示出了利用該一維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102的結(jié)構(gòu)實(shí)例。
在圖221中，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用上述第三方法(最小二乘法)計(jì)算特征wi，而估計(jì)X截面波形F(x)，并利用計(jì)算出的特征wi產(chǎn)生上述公式(105)的模擬函數(shù)f(x)。
如圖221所示，現(xiàn)實(shí)世界估計(jì)單元102包括條件設(shè)置單元2231、輸入圖像存儲(chǔ)單元2332、輸入像素值獲取單元2333、積分分量計(jì)算單元2334、正規(guī)方程產(chǎn)生單元2335、以及模擬函數(shù)產(chǎn)生單元2336。
條件設(shè)置單元2331設(shè)置用于估計(jì)對(duì)應(yīng)于關(guān)注像素的X截面波形F(x)的像素范圍(下文稱分塊范圍)、以及模擬函數(shù)f(x)的維數(shù)n。
輸入圖像存儲(chǔ)單元2332臨時(shí)存儲(chǔ)來(lái)自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2333獲取存儲(chǔ)在輸入圖像存儲(chǔ)單元2332中的輸入圖像的對(duì)應(yīng)于由條件設(shè)置單元2231設(shè)置的分塊范圍的輸入圖像區(qū)域，并將其提供給正規(guī)方程產(chǎn)生單元2335作為輸入像素值表。也就是說(shuō)，輸入像素值表是其中描述輸入圖像區(qū)域中包括的像素的各個(gè)像素值的表。注意，下面將描述輸入像素值表的具體實(shí)例。
這里，現(xiàn)實(shí)世界估計(jì)單元102利用上述公式(112)和公式(113)通過(guò)最小二乘法計(jì)算模擬函數(shù)f(x)的特征wi，但是上述公式(112)可以表示成如公式(115)所示。
公式(115) 在公式(115)中，Si(xs，xe)表示i維項(xiàng)的積分分量。也就是說(shuō)，積分分量Si(xs，xe)如下面公式(116)所示。
公式(116) 積分分量計(jì)算單元2334計(jì)算積分分量Si(xs，xe)。
尤其是，只要已知相對(duì)像素位置(x，y)、平移量Cx(y)、以及i維項(xiàng)的i，便可以計(jì)算如公式(116)所示的Si(xs，xe)(然而，值xs和值xe是如上述公式(112)所示的值)。另外，其中分別，由關(guān)注像素和分塊范圍確定相對(duì)像素位置(x，y)，由角度θ(通過(guò)上述公式(107)和公式(109))確定平移量Cx(y)，以及由維數(shù)n確定范圍i。
因此，積分分量計(jì)算單元2334基于由條件設(shè)置單元2331設(shè)置的維數(shù)和分塊范圍、從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度θ計(jì)算積分分量Si(xs，xe)，并將計(jì)算結(jié)果提供給正規(guī)方程產(chǎn)生單元2335作為積分分量表。
正規(guī)方程產(chǎn)生單元2335在利用從輸入像素值獲取單元2333提供的輸入像素值表、以及從積分分量計(jì)算單元2334提供的積分分量表通過(guò)最小二乘法獲得的公式(115)右側(cè)的特征wi的情況下，產(chǎn)生上述公式(112)，即正規(guī)方程，并將其作為正規(guī)方程表提供給模擬函數(shù)產(chǎn)生單元2336。注意，下面將描述正規(guī)方程的具體實(shí)例。
模擬函數(shù)產(chǎn)生單元2336通過(guò)利用矩陣方法求解包括在從正規(guī)方程產(chǎn)生單元2335提供的正規(guī)方程表中的正規(guī)方程，而計(jì)算上述公式(115)的各個(gè)特征wi(即，作為一維多項(xiàng)式的模擬函數(shù)f(x)的各個(gè)系數(shù)wi)，并將其輸出給圖像產(chǎn)生單元103。
接著，將參考圖222的流程圖描述采用一維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102(圖221)的現(xiàn)實(shí)世界估計(jì)處理(圖40中步驟S102的處理)。
例如，假設(shè)如上述作為從傳感器2輸出的一幀輸入圖像的、包括圖207中的包括細(xì)線的數(shù)據(jù)區(qū)域2302的輸入圖像已經(jīng)被存儲(chǔ)在輸入圖像存儲(chǔ)單元2332中。另外，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101已經(jīng)在步驟S101中的連續(xù)性檢測(cè)處理(圖40)中對(duì)包括細(xì)線的數(shù)據(jù)區(qū)域2302進(jìn)行了其處理，并已經(jīng)輸出角度θ作為數(shù)據(jù)連續(xù)性信息。
在該情況下，條件設(shè)置單元2331在圖222的步驟S2301中設(shè)置條件(分塊范圍和維數(shù))。
例如，假設(shè)設(shè)置了如圖223所示的分塊范圍2351，并將維數(shù)設(shè)置為5維。
也就是說(shuō)，圖223描述了分塊范圍的實(shí)例。在圖223中，X方向和Y方向分別為傳感器2的X方向和Y方向(圖206)。另外，分塊范圍2351表示由共20個(gè)像素(圖中20個(gè)方形)構(gòu)成的像素組，其中為X方向上的4個(gè)像素和Y方向上的5個(gè)像素。
另外，如圖223所示，假設(shè)圖中分塊范圍2351的關(guān)注像素被設(shè)置在自左第二個(gè)像素、同時(shí)也是自底部第三個(gè)像素。另外，假設(shè)如圖223所示，根據(jù)自關(guān)注像素的相對(duì)像素位置(x，y)(在其中取關(guān)注像素的中心(0，0)為原點(diǎn)的關(guān)注像素坐標(biāo)系中的坐標(biāo)值)，由數(shù)l表示每個(gè)像素(l為從0到19的任何整數(shù)值)。
現(xiàn)在，將返回圖222進(jìn)行描述，其中在步驟S2302中，條件設(shè)置單元2331設(shè)置關(guān)注像素。
在步驟S2303中，輸入像素值獲取單元2333基于由條件設(shè)置單元2331設(shè)置的條件(分塊范圍)獲取輸入像素值，并產(chǎn)生輸入像素值表。也就是說(shuō)，在該情況下，輸入像素值獲取單元2333獲取包括細(xì)線的數(shù)據(jù)區(qū)域2302(圖211)，并產(chǎn)生由20個(gè)輸入像素值P(l)構(gòu)成的表作為輸入像素值表。
注意，在該情況下，輸入像素值P(l)和上述輸入像素值P(x，y)之間的關(guān)系是如下面的公式(117)所示的關(guān)系。然而，在公式(117)中，左側(cè)表示輸入像素值P(l)，右側(cè)表示輸入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2’-2)公式(117) 在步驟S2304，積分分量計(jì)算單元2334基于由條件設(shè)置單元2331設(shè)置的條件(分塊范圍和維數(shù))、以及從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度θ)計(jì)算積分分量，并產(chǎn)生積分分量表。
在該情況下，如上所述，輸入像素值不是P(x，y)而是P(l)，并被獲取作為像素?cái)?shù)l的值，從而積分分量計(jì)算單元2334將上述公式(116)中的積分分量Si(xs，xe)計(jì)算為l的函數(shù)，如下面公式(118)中左側(cè)所示的積分分量Si(l)。
Si(1)＝Si(xs，xe) 公式(118) 尤其是，在該情況下，計(jì)算出如下面公式(119)所示的積分分量Si(l)。
Si(0)＝Si(-0.5，0.5) Si(1)＝Si(-1.5-Cx(2)，-0.5-Cx(2)) Si(2)＝Si(-0.5-Cx(2)，0.5-Cx(2)) Si(3)＝Si(0.5-Cx(2)，1.5-Cx(2)) Si(4)＝Si(1.5-Cx(2)，2.5-Cx(2)) Si(5)＝Si(-1.5-Cx(1)，-0.5-Cx(1)) Si(6)＝Si(-0.5-Cx(1)，0.5-Cx(1)) Si(7)＝Si(0.5-Cx(1)，1.5-Cx(1)) Si(8)＝Si(1.5-Cx(1)，2.5-Cx(1)) Si(9)＝Si(-1.5，-0.5) Si(10)＝Si(0.5，1.5) Si(11)＝Si(1.5，2.5) Si(12)＝Si(-1.5-Cx(-1)，-0.5-Cx(-1)) Si(13)＝Si(-0.5-Cx(-1)，0.5-Cx(-1)) Si(14)＝Si(0.5-Cx(-1)，1.5-Cx(-1)) Si(15)＝Si(1.5-Cx(-1)，2.5-Cx(-1)) Si(16)＝Si(-1.5-Cx(-2)，-0.5-Cx(-2)) Si(17)＝Si(-0.5-Cx(-2)，0.5-Cx(-2)) Si(18)＝Si(0.5-Cx(-2)，1.5-Cx(-2)) Si(19)＝Si(1.5-Cx(-2)，2.5-Cx(-2)) 公式(119) 注意，在公式(119)中，左側(cè)表示積分分量Si(l)，以及右側(cè)表示積分分量Si(xs，xe)。也就是說(shuō)，在該情況下，i為0到5，因此，計(jì)算出20 S0(l)、20 S1(l)、20 S2(l)、20 S3(l)、20 S4(l)、以及20 S5(l)共120個(gè)20 Si(l)。
尤其是，第-積分分量計(jì)算單元2334利用從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的角度θ計(jì)算每個(gè)平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)。接著，積分分量計(jì)算單元2334利用計(jì)算的平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)計(jì)算如公式(118)右側(cè)所示的關(guān)于i＝0到5的每個(gè)的20個(gè)積分分量Si(xs，xe)中的每個(gè)。也就是說(shuō)，計(jì)算120個(gè)積分分量Si(xs，xe)。注意，在對(duì)該積分分量Si(xs，xe)的計(jì)算中，使用了上述公式(116)。接著，積分分量計(jì)算單元2334根據(jù)公式(119)將每個(gè)計(jì)算的120個(gè)積分分量Si(xs，xe)轉(zhuǎn)換成相應(yīng)的積分分量Si(l)，并產(chǎn)生包括轉(zhuǎn)換的120個(gè)積分分量Si(l)的積分分量表。
注意，步驟S2303中的處理和步驟S2304中的處理的順序不限于圖222中的實(shí)例，可以先執(zhí)行步驟S2304中的處理，或者可以同時(shí)執(zhí)行步驟S2303中的處理和步驟S2304中的處理。
接著，在步驟S2305中，正規(guī)方程產(chǎn)生單元2335基于由輸入像素值獲取單元2333在步驟S2303中的處理中產(chǎn)生的輸入像素值表、以及由積分分量計(jì)算單元2334在步驟S2304的處理中產(chǎn)生的積分分量表，而產(chǎn)生正規(guī)方程表。
尤其是，在該情況下，利用最小二乘法計(jì)算對(duì)應(yīng)于上述公式(115)的下面公式(120)的特征。對(duì)應(yīng)于此的正規(guī)方程如下面公式(121)所示。
公式(120)
公式(121) 注意，在公式(121)中，L表示分塊范圍中的像素?cái)?shù)l的最大值。n表示作為多項(xiàng)式的模擬函數(shù)f(x)的維數(shù)。尤其是，在該情況下，n＝5，以及L＝19。
如果限定如公式(121)所示的正規(guī)方程的每個(gè)矩陣如公式(122)到(124)所示，正規(guī)方程被表示為如下公式(125)。


公式(122) 公式(123) 公式(124) SMAT WMAT＝PMAT公式(125) 如公式(123)所示，各個(gè)矩陣WMAT的分量為將要獲得的特征wi。因此，在公式(125)中，如果確定了左側(cè)的矩陣SMAT和右側(cè)的矩陣PMAT，可以利用矩陣解計(jì)算矩陣WMAT(即特征wi)。
尤其是，如公式(122)所示，只要已知上述積分分量Si(l)，便可以計(jì)算矩陣SMAT的各個(gè)分量。積分分量Si(l)被包括在從積分分量計(jì)算單元2334提供的積分分量表中，從而正規(guī)方程產(chǎn)生單元2335可以利用積分分量表計(jì)算矩陣SMAT的每個(gè)分量。
另外，如公式(124)所示，只要已知積分分量Si(l)和像素值P(l)，就可以計(jì)算矩陣PMAT的各個(gè)分量。積分分量Si(l)與被包括在矩陣SMAT的各個(gè)分量中的那些相同，另外，輸入像素值P(l)被包括在從輸入像素值獲取單元2333提供的輸入像素值表中，從而，正規(guī)方程產(chǎn)生單元利用積分分量表和輸入像素值表可以計(jì)算矩陣PMAT的每個(gè)分量。
從而，正規(guī)方程產(chǎn)生單元2335計(jì)算矩陣SMAT和矩陣PMAT的每個(gè)分量，并將計(jì)算結(jié)果(矩陣SMAT和矩陣PMAT的每個(gè)分量)作為正規(guī)方程表輸出給模擬函數(shù)產(chǎn)生單元2336。
當(dāng)從正規(guī)方程產(chǎn)生單元2335輸出正規(guī)方程表時(shí)，在步驟S2306中，模擬函數(shù)產(chǎn)生單元2336基于正規(guī)方程表計(jì)算特征wi(即作為一維多項(xiàng)式的模擬函數(shù)f(x)的系數(shù)wi)，作為上述公式(125)中的矩陣WMAT的各個(gè)分量。
尤其是，可以將上述公式(125)中的正規(guī)方程轉(zhuǎn)換為下面的公式(126)。
公式(126) 在公式(126)中，左側(cè)矩陣WMAT的各個(gè)分量是將要獲得的特征wi。關(guān)于矩陣SMAT和矩陣PMAT的各個(gè)分量被包括在從正規(guī)方程產(chǎn)生單元2335提供的正規(guī)方程表中。因此，模擬函數(shù)產(chǎn)生單元2336通過(guò)利用正規(guī)方程表計(jì)算公式(126)的右側(cè)中的矩陣而計(jì)算矩陣WMAT，并將計(jì)算結(jié)果(特征wi)輸出給圖像產(chǎn)生單元103。
在步驟S2307中，模擬函數(shù)產(chǎn)生單元2336確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S2307中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S2303，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S2302到S2307。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S2307中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，對(duì)現(xiàn)實(shí)世界1的估計(jì)處理結(jié)束。
注意，通過(guò)這樣計(jì)算的利用系數(shù)(特征)wi產(chǎn)生的模擬函數(shù)f(x)的波形變成如上述圖220中模擬函數(shù)f3(x)的波形。
從而，在一維多項(xiàng)式模擬方法中，在假設(shè)具有與一維X截面波形F(x)相同的形式的波形在連續(xù)性方向上連續(xù)，計(jì)算作為一維多項(xiàng)式的模擬函數(shù)f(x)的特征。因此，在一維多項(xiàng)式模擬方法中，可以利用比其它函數(shù)模擬方法更少的計(jì)算處理量計(jì)算模擬函數(shù)f(x)的特征。
換句話說(shuō)，在一維多項(xiàng)式模擬方法中，例如，每個(gè)具有時(shí)．空積分效應(yīng)的傳感器的多個(gè)檢測(cè)元件(例如圖206中的傳感器2的檢測(cè)元件2-1)投影現(xiàn)實(shí)世界1中的光信號(hào)(例如圖207中的現(xiàn)實(shí)世界1中的光信號(hào)的l部分2301)，圖205中的數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖3)檢測(cè)由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)(例如圖207中的圖像數(shù)據(jù)(輸入圖像區(qū)域)2302)中的數(shù)據(jù)連續(xù)性(例如，圖214中由Gf表示的數(shù)據(jù)連續(xù)性)，所述像素具有由檢測(cè)元件2-1投影的像素值(例如在圖212中的各個(gè)曲線圖中示出的輸入像素值P(x，y))，所述連續(xù)性丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性(例如圖214中由梯度GF表示的連續(xù)性)。
例如，在這樣的條件下，其中在對(duì)應(yīng)于圖像數(shù)據(jù)的時(shí)-空方向的一維方向(例如，圖209中的箭頭2311的方向，即X方向)中的位置上的像素的像素值(例如，作為上述公式(112)左側(cè)的輸入像素值P)為通過(guò)一維方向中的積分效應(yīng)獲取的像素值(例如，如公式(112)右側(cè)所示，通過(guò)在X方向上積分模擬函數(shù)f3(x)而獲得的值)，所述一維方向?qū)?yīng)于由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性，則圖205(圖3)中的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用預(yù)定模擬函數(shù)f(尤其是，例如圖220中的模擬函數(shù)f3(x))模擬表示現(xiàn)實(shí)世界1的光信號(hào)的光信號(hào)函數(shù)F(尤其是，X截面波形F(x))，而估計(jì)光信號(hào)函數(shù)F。
具體地說(shuō)，例如，在這樣的條件下，其中，在對(duì)應(yīng)于沿一維方向(例如，圖X方向)上離對(duì)應(yīng)于由連續(xù)性檢測(cè)處理單元101檢測(cè)的數(shù)據(jù)連續(xù)性(例如圖216中對(duì)應(yīng)于梯度Gf的線(虛線))的直線的距離(例如圖216中的平移量Cx(y))的像素的像素值為通過(guò)一維方向中的積分效應(yīng)獲取的像素值(例如，如公式(112)右側(cè)所示，通過(guò)在X方向上積分模擬函數(shù)f3(x)而獲得的值，其中積分范圍如公式(112)所示)，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用模擬函數(shù)f模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)F。
因此，在一維多項(xiàng)式模擬方法中，可以利用比其它函數(shù)模擬方法更少的計(jì)算處理量計(jì)算模擬函數(shù)的特征。
接著，將參考圖224到圖230描述第二函數(shù)模擬方法。
也就是說(shuō)，第二函數(shù)模擬方法是這樣的方法，其中將例如具有在由例如如圖224所示的梯度GF表示的空間方向上的連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào)看作在X-Y平面上的波形F(x，y)(在作為空間方向的一個(gè)方向的X方向和垂直于X方向的Y方向上的平面水平)，并且利用作為二維多項(xiàng)式的模擬函數(shù)f(x，y)模擬波形F(x，y)，從而估計(jì)波形F(x，y)。因此，下文中，第二函數(shù)模擬方法稱二維多項(xiàng)式模擬方法。
注意，在圖224中，分別為，水平方向表示作為空間方向的一個(gè)方向的X方向，右上方向表示作為空間方向的另一個(gè)方向的Y方向，以及垂直方向表示光水平。GF表示作為空間方向中的連續(xù)性的梯度。
另外，在描述二維多項(xiàng)式模擬方法中，假設(shè)傳感器2為由設(shè)置在其平面上的多個(gè)檢測(cè)元件2-1構(gòu)成的CCD，如圖225所示。
在圖225的實(shí)例中，取平行于檢測(cè)元件2-1的預(yù)定邊的方向?yàn)樽鳛榭臻g方向的一個(gè)方向的X方向，取垂直于X方向的方向?yàn)樽鳛榭臻g方向的另一個(gè)方向的Y方向。取垂直于X-Y平面的方向?yàn)樽鳛闀r(shí)間方向的t方向。
另外，在圖225所示的實(shí)例中，取傳感器2的各個(gè)檢測(cè)元件2-1的空間形狀為邊長(zhǎng)為1的方形。取傳感器2的快門時(shí)間(曝光時(shí)間)為1。
另外，在圖225所示的實(shí)例中，取傳感器2的一個(gè)特定檢測(cè)元件2-1的中心為空間方向(X方向和Y方向)中的原點(diǎn)(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光時(shí)間的中間時(shí)刻為時(shí)間方向中(t方向)的原點(diǎn)(t方向中t＝0的位置)。
在該情況下，中心在空間方向中的原點(diǎn)(x＝0，y＝0)的檢測(cè)元件2-1對(duì)光信號(hào)函數(shù)F(x，y，t)進(jìn)行積分，其范圍為在x方向上從-0.5到0.5，在Y方向上從-0.5到0.5，以及在t方向上-0.5到0.5，并將積分值輸出作為像素值P。
也就是說(shuō)，從其中心在空間方向上的原點(diǎn)的檢測(cè)元件2-1輸出的像素值P由下面公式(127)表示。
公式(127) 類似，通過(guò)取將要處理的檢測(cè)元件2-1的中心為空間方向中的原點(diǎn)，另一個(gè)檢測(cè)元件2-1也輸出了如公式(127)所示的像素值P。
另外，如上所述，二維多項(xiàng)式模擬方法是這樣的方法，其中將現(xiàn)實(shí)世界1的光信號(hào)處理作為例如如圖224所示的波形F(x，y)，并且利用作為二維多項(xiàng)式的模擬函數(shù)f(x，y)模擬二維波形F(x，y)。
首先，將描述表示具有二維多項(xiàng)式的模擬函數(shù)f(x，y)的方法。
如上所述，用光信號(hào)函數(shù)F(x，y，t)表示現(xiàn)實(shí)世界1的光信號(hào)，在所示函數(shù)中的變量為在三維空間x、y和z上的位置以及時(shí)刻t。這里，將這樣的光信號(hào)函數(shù)F(x，y，t)，即在Y方向上的任意位置被投影到X方向上的一維波形稱為X截面波形F(x)。
當(dāng)關(guān)注該X截面波形F(x)時(shí)，在現(xiàn)實(shí)世界1中的信號(hào)具有在空間方向中的特定方向上的連續(xù)性的情況下，可以考慮具有與X截面波形F(x)相同的形式的波形在連續(xù)性方向上連續(xù)。例如，在圖224中的實(shí)例中，具有與X截面波形F(x)相同的形式的波形在梯度GF方向上連續(xù)。換句話說(shuō)，可以認(rèn)為，通過(guò)在梯度GF方向上連續(xù)的具有與X截面波形F(x)相同的形式的波形形成波形F(x，y)。
因此，通過(guò)考慮由具有與模擬連續(xù)的X截面波形F(x)的模擬函數(shù)f(x)相同的形式的連續(xù)波形形成用于模擬波形F(x，y)的模擬函數(shù)f(x，y)的波形，可以由二維多項(xiàng)式表示模擬函數(shù)f(x，y)。
下面將更詳細(xì)地描述模擬函數(shù)f(x，y)的表示方法。
例如，假設(shè)由傳感器2(圖225)檢測(cè)上述圖224所示的現(xiàn)實(shí)世界1的光信號(hào)，即在由梯度GF表示的空間方向上具有連續(xù)性的光信號(hào)，并將其輸出作為輸入圖像(像素值)。
另外，假設(shè)如圖226所示，數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖3)對(duì)該輸入圖像的由在X方向上的4個(gè)像素和在Y方向上的5個(gè)像素共20個(gè)像素(圖中，由虛線表示的20個(gè)方形)構(gòu)成的輸入圖像區(qū)域2401進(jìn)行其處理，并輸出角度θ(由對(duì)應(yīng)于梯度GF的梯度Gf表示的數(shù)據(jù)連續(xù)性方向和X方向之間的角度θ)作為一個(gè)數(shù)據(jù)連續(xù)性信息。
注意，在輸入圖像區(qū)域2401中，圖中的水平方向表示作為空間方向的一個(gè)方向的X方向，以及圖中的垂直方向表示作為空間方向中的另一個(gè)方向的Y方向。
另外，在圖226中，建立(x，y)坐標(biāo)系，從而取為自左的第二個(gè)像素、同時(shí)為自底部的第三個(gè)像素的像素作為關(guān)注像素，并取關(guān)注像素的中心為原點(diǎn)(0，0)。將在X方向上相對(duì)于通過(guò)原點(diǎn)(0，0)并具有角度θ的直線(具有表示數(shù)據(jù)連續(xù)性方向的梯度Gf的直線)的相對(duì)距離(下文中，稱為截面方向距離)描述為x’。
另外，在圖226中，右側(cè)的曲線圖是其中模擬X截面波形F(x’)的函數(shù)，其表示作為n維(n為任意整數(shù))多項(xiàng)式的模擬函數(shù)f(x’)。在右側(cè)曲線圖中的軸線中，圖中水平方向上的軸線表示截面方向距離，以及圖中垂直方向上的軸線表示像素值。
在該情況下，如圖226所示的模擬函數(shù)f(x’)是n維多項(xiàng)式，因而由下面公式(128)表示。
公式(128) 另外，由于角度θ確定，因此具有角度θ并通過(guò)原點(diǎn)(0，0)的直線是唯一確定的，在Y方向上的任意位置y上，直線在X方向上的位置x1由下面公式(129)表示。然而，在公式(129)中，s表示cotθ。
xl＝s×y 公式(129) 也就是說(shuō)，如圖226所示，由坐標(biāo)值(x1，y)表示對(duì)應(yīng)于由梯度Gf表示的數(shù)據(jù)連續(xù)性的直線上的點(diǎn)。
利用公式(129)，將截面方向距離x’表示成如下面公式(130)。
x′＝x-x1＝x-s×y 公式(130) 因此，利用公式(128)和公式(130)，將輸入圖像區(qū)域2410內(nèi)的任意位置(x，y)上的模擬函數(shù)f(x，y)表示成下面的公式(131)。
公式(131) 注意，在公式(131)中，wi表示模擬函數(shù)f(x，y)的系數(shù)。注意，可以將包括模擬函數(shù)f(x，y)的模擬函數(shù)f的系數(shù)wi取值為模擬函數(shù)f的特征。因此，模擬函數(shù)f的系數(shù)wi也稱為模擬函數(shù)f的特征wi。
從而，只要角度θ已知，可以將具有二維波形的模擬函數(shù)f(x，y)表示成公式(131)的多項(xiàng)式。
因此，如果現(xiàn)實(shí)世界估計(jì)單元102可以計(jì)算公式(131)的特征wi，則現(xiàn)實(shí)世界估計(jì)單元102可以估計(jì)如圖224所示的波形F(x，y)。
接著，下文中，將描述用于計(jì)算公式(131)的特征wi的方法。
也就是說(shuō)，當(dāng)在對(duì)應(yīng)于一個(gè)像素(傳感器2(圖225)的檢測(cè)單元2-1)的積分范圍(在空間方向中的積分范圍)上對(duì)由公式(131)表示的模擬函數(shù)f(x，y)進(jìn)行積分時(shí)，積分值變成關(guān)于像素的像素值的估計(jì)值。這由下面的公式(132)中的方程表示。注意，在二維多項(xiàng)式模擬方法中，將時(shí)間方向t看作不變值，從而公式(132)被看作其中以在空間方向(X方向和Y方向)中的位置x和y為變量的方程。
公式(132) 在公式(132)中，P(x，y)表示其中心位置為來(lái)自傳感器2的輸入圖像的位置(x，y)(自關(guān)注像素的相對(duì)位置(x，y))的像素的像素值。另外，e表示誤差余量。
從而，在二維多項(xiàng)式模擬方法中，可以用公式(132)表示輸入像素值P(x，y)和作為二維多項(xiàng)式的模擬函數(shù)f(x，y)之間的關(guān)系，因此，通過(guò)利用公式(132)(通過(guò)對(duì)公式(130)代入計(jì)算的特征wi而產(chǎn)生模擬函數(shù)f(x，y))由例如最小二乘法等計(jì)算特征wi，現(xiàn)實(shí)世界估計(jì)單元102可以估計(jì)二維函數(shù)F(x，y)(其中在空間方向中突出表示具有由梯度GF(圖224)表示的空間方向中的連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào)的波形F(x，y))。
圖227示出了采用該二維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102的結(jié)構(gòu)實(shí)例。
如圖227所示，現(xiàn)實(shí)世界估計(jì)單元102包括條件設(shè)置單元2421、輸入圖像存儲(chǔ)單元2422、輸入像素值獲取單元2423、積分分量計(jì)算單元2424、正規(guī)方程產(chǎn)生單元2425、以及模擬函數(shù)產(chǎn)生單元2426。
條件設(shè)置單元2421設(shè)置用于估計(jì)對(duì)應(yīng)于關(guān)注像素的函數(shù)F(x，y)的像素范圍(分塊范圍)、以及模擬函數(shù)f(x，y)的維數(shù)n。
輸入圖像存儲(chǔ)單元2422臨時(shí)存儲(chǔ)來(lái)自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2423獲取存儲(chǔ)在輸入圖像存儲(chǔ)單元2422中的輸入圖像的對(duì)應(yīng)于由條件設(shè)置單元2421設(shè)置的分塊范圍的輸入圖像區(qū)域，并將其提供給正規(guī)方程產(chǎn)生單元2425作為輸入像素值表。也就是說(shuō)，輸入像素值表是其中描述輸入圖像區(qū)域中包括的像素的各個(gè)像素值的表。注意，下面將描述輸入像素值表的具體實(shí)例。
另外，如上所述，采用二維函數(shù)模擬方法的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用最小二乘法求解上述公式(132)而計(jì)算由上述公式(131)表示的模擬函數(shù)f(x，y)的特征wi。
通過(guò)利用從下面公式(133)到(135)獲得的下面的公式(136)可以將公式(132)表示成下面的公式(137)。
公式(133) 公式(134) 公式(135) 公式(136) 公式(137) 在公式(137)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示i維項(xiàng)的積分分量。也就是說(shuō)，積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面公式在(138)所示。
公式(138) 積分分量計(jì)算單元2424計(jì)算積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
尤其是，只要已知相對(duì)像素位置(x，y)、上述公式(131)中i維項(xiàng)的s和i變量，便可以計(jì)算如公式(138)所示的積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。其中分別地，相對(duì)像素位置(x，y)由關(guān)注像素和分塊范圍確定，變量s為由角度θ確定的cotθ，以及范圍i由維數(shù)n確定。
因此，積分分量計(jì)算單元2424基于由條件設(shè)置單元2421設(shè)置的維數(shù)和分塊范圍、從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度θ計(jì)算積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并將計(jì)算結(jié)果提供給正規(guī)方程產(chǎn)生單元2425作為積分分量表。
正規(guī)方程產(chǎn)生單元2425在利用從輸入像素值獲取單元2423提供的輸入像素值表、以及從積分分量計(jì)算單元2424提供的積分分量表通過(guò)最小二乘法獲得上述公式(132)即公式(137)的情況下，產(chǎn)生正規(guī)方程，并將其作為正規(guī)方程表輸出給模擬函數(shù)產(chǎn)生單元2426。注意，下面將描述正規(guī)方程的具體實(shí)例。
模擬函數(shù)產(chǎn)生單元2426通過(guò)利用矩陣方法求解包括在從正規(guī)方程產(chǎn)生單元2425提供的正規(guī)方程表中的正規(guī)方程，而計(jì)算上述公式(132)的各個(gè)特征wi(即，作為二維多項(xiàng)式的模擬函數(shù)f(x，y)的各個(gè)系數(shù)wi)，并將其輸出給圖像產(chǎn)生單元103。
接著，將參考圖228的流程圖描述采用二維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)處理(圖40中步驟S102的處理)。
例如，假設(shè)具有由梯度GF表示的空間方向中的連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào)已經(jīng)由傳感器2檢測(cè)、并被存儲(chǔ)入輸入圖像存儲(chǔ)單元2422作為對(duì)應(yīng)于一幀的輸入圖像。另外，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101已經(jīng)在步驟S101中的連續(xù)性檢測(cè)處理(圖40)中對(duì)輸入圖像的上述如圖226所示的區(qū)域2401進(jìn)行了其處理，并已經(jīng)輸出角度θ作為數(shù)據(jù)連續(xù)性信息。
在該情況下，在步驟S2401中，條件設(shè)置單元2421設(shè)置條件(分塊范圍和維數(shù))。
例如，假設(shè)設(shè)置了如圖229所示的分塊范圍2441，并將維數(shù)設(shè)置為5維。
圖229描述了分塊范圍的實(shí)例。在圖229中，X方向和Y方向分別為傳感器2的X方向和Y方向(圖225)。另外，分塊范圍2441表示由共20個(gè)像素(圖中20個(gè)方形)構(gòu)成的像素組，其中為X方向上的4個(gè)像素和Y方向上的5個(gè)像素。
另外，如圖229所示，假設(shè)圖中分塊范圍2441的關(guān)注像素被設(shè)置在自左第二個(gè)像素、同時(shí)也是自底部第三個(gè)像素。另外，假設(shè)如圖229所示，根據(jù)自關(guān)注像素的相對(duì)像素位置(x，y)(在其中取關(guān)注像素的中心(0，0)為原點(diǎn)的關(guān)注像素坐標(biāo)系中的坐標(biāo)值)，由數(shù)l表示每個(gè)像素(l為從0到19的任何整數(shù)值)。
現(xiàn)在，將返回圖228進(jìn)行描述，其中在步驟S2402中，條件設(shè)置單元2421設(shè)置關(guān)注像素。
在步驟S2403中，輸入像素值獲取單元2423基于由條件設(shè)置單元2421設(shè)置的條件(分塊范圍)獲取輸入像素值，并產(chǎn)生輸入像素值表。也就是說(shuō)，在該情況下，輸入像素值獲取單元2423獲取輸入圖像區(qū)域2402(圖226)，并產(chǎn)生由20個(gè)輸入像素值P(l)構(gòu)成的表作為輸入像素值表。
注意，在該情況下，輸入像素值P(l)和上述輸入像素值P(x，y)之間的關(guān)系是如下面的公式(139)所示的關(guān)系。然而，在公式(139)中，左側(cè)表示輸像素值P(l)，右側(cè)表示輸入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2，-2)公式(139) 在步驟S2404，積分分量計(jì)算單元2424基于由條件設(shè)置單元2421設(shè)置的條件(分塊范圍和維數(shù))、以及從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度θ)計(jì)算積分分量，并產(chǎn)生積分分量表。
在該情況下，如上所述，輸入像素值不是P(x，y)而是P(l)，并被獲取作為像素?cái)?shù)l的值，從而積分分量計(jì)算單元2424將上述公式(138)中的積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)計(jì)算為l的函數(shù)，如下面公式(140)中左側(cè)所示的積分分量Si(l)。
Si(1)＝Si(x-0.5，x+0.5，y-0.5，y+0.5)公式(140) 尤其是，在該情況下，計(jì)算出如下面公式(141)所示的積分分量Si(l)。
Si(0)＝Si(-0.5，0.5，-0.5，0.5) Si(1)＝Si(-1.5，-0.5，1.5，2.5) Si(2)＝Si(-0.5，0.5，1.5，2.5) Si(3)＝Si(0.5，1.5，1.5，2.5) Si(4)＝Si(1.5，2.5，1.5，2.5) Si(5)＝Si(-1.5，-0.5，0.5，1.5) Si(6)＝Si(-0.5，0.5，0.5，1.5) Si(7)＝Si(0.5，1.5，0.5，1.5) Si(8)＝Si(1.5，2.5．0.5，1.5) Si(9)＝Si(-1.5，-0.5，-0.5，0.5) Si(10)＝Si(0.5，1.5，-0.5，0.5) Si(11)＝Si(1.5，2.5，-0.5，0.5) Si(12)＝Si(-1.5，-0.5，-1.5，-0.5) Si(13)＝Si(-0.5，0.5，-1.5，-0.5) Si(14)＝Si(0.5，1.5，-1.5，-0.5) Si(15)＝Si(1.5，2.5，-1.5，-0.5) Si(16)＝Si(-1.5，-0.5，-2.5，-1.5) Si(17)＝Si(-0.5，0.5，-2.5，-1.5) Si(18)＝Si(0.5，1.5，-2.5，-1.5) Si(19)＝Si(1.5，2.5，-2.5，-1.5)公式(141) 注意，在公式(141)中，左側(cè)表示積分分量Si(l)，以及右側(cè)表示積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是說(shuō)，在該情況下，i為0到5，因此，計(jì)算出20 S0(l)、20 S1(l)、20 S2(l)、20 S3(l)、20 S4(l)、以及20 S5(l)共120個(gè)20 Si(l)。
尤其是，第一積分分量計(jì)算單元2424計(jì)算與從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的角度θ對(duì)應(yīng)的cotθ，并取計(jì)算結(jié)果為變量s。接著，積分分量計(jì)算單元2424利用計(jì)算的變量s計(jì)算如公式(140)右側(cè)所示的關(guān)于i＝0到5的每個(gè)的20個(gè)積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)中的每個(gè)。也就是說(shuō)，計(jì)算120個(gè)積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意，在對(duì)該積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的計(jì)算中，使用了上述公式(138)。接著，積分分量計(jì)算單元2424根據(jù)公式(141)將每個(gè)計(jì)算的120個(gè)積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)轉(zhuǎn)換成相應(yīng)的積分分量Si(l)，并產(chǎn)生包括轉(zhuǎn)換的120個(gè)積分分量Si(l)的積分分量表。
注意，步驟S2403中的處理和步驟S2404中的處理的順序不限于圖228中的實(shí)例，可以先執(zhí)行步驟S2404中的處理，或者可以同時(shí)執(zhí)行步驟S2403中的處理和步驟S2404中的處理。
接著，在步驟S2405中，正規(guī)方程產(chǎn)生單元2425基于由輸入像素值獲取單元2423在步驟S2403中的處理中產(chǎn)生的輸入像素值表、以及由積分分量計(jì)算單元2424在步驟S2404的處理中產(chǎn)生的積分分量表，而產(chǎn)生正規(guī)方程表。
尤其是，在該情況下，利用最小二乘法計(jì)算通過(guò)上述公式(137)計(jì)算特征wi(然而，在公式(136)中，使用利用公式(140)從積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)轉(zhuǎn)換來(lái)的Si(l))，對(duì)應(yīng)于此的正規(guī)方程如下面公式(142)所示。

公式(142) 注意，在公式(142)中，L表示分塊范圍中的像素?cái)?shù)l的最大值。n表示作為多項(xiàng)式的模擬函數(shù)f(x)的維數(shù)。尤其是，在該情況下，n＝5，以及L＝19。
如果限定如公式(142)所示的正規(guī)方程的每個(gè)矩陣如公式(143)到(145)所示，則正規(guī)方程被表示為如下公式(146)。


公式(143) 公式(144) 公式(145) SMAT WMAT＝PMAT 公式(146) 如公式(144)所示，矩陣WMAT的各個(gè)分量為將要獲得的特征wi。因此，在公式(146)中，如果確定了左側(cè)的矩陣SMAT和右側(cè)的矩陣PMAT，可以利用矩陣解計(jì)算矩陣WMAT。
尤其是，如公式(143)所示，利用上述積分分量Si(l)，可以計(jì)算矩陣SMAT的各個(gè)分量。也就是說(shuō)，積分分量Si(l)被包括在從積分分量計(jì)算單元2424提供的積分分量表中，從而正規(guī)方程產(chǎn)生單元2425可以利用積分分量表計(jì)算矩陣SMAT的每個(gè)分量。
另外，如公式(145)所示，利用積分分量Si(l)和輸入像素值P(l)，可以計(jì)算矩陣PMAT的各個(gè)分量。也就是說(shuō)，積分分量Si(l)與被包括在矩陣SMAT的各個(gè)分量中的那些相同，另外，輸入像素值P(l)被包括在從輸入像素值獲取單元2423提供的輸入像素值表中，從而，正規(guī)方程產(chǎn)生單元2425利用積分分量表和輸入像素值表可以計(jì)算矩陣PMAT的每個(gè)分量。
從而，正規(guī)方程產(chǎn)生單元2425計(jì)算矩陣SMAT和矩陣PMAT的每個(gè)分量，并將計(jì)算結(jié)果(矩陣SMAT和矩陣PMAT的每個(gè)分量)作為正規(guī)方程表輸出給模擬函數(shù)產(chǎn)生單元2426。
當(dāng)從正規(guī)方程產(chǎn)生單元2425輸出正規(guī)方程表時(shí)，在步驟S2406中，模擬函數(shù)產(chǎn)生單元2426基于正規(guī)方程表計(jì)算特征wi(即作為二維多項(xiàng)式的模擬函數(shù)f(x，y)的系數(shù)wi)，作為上述公式(146)中的矩陣WMAT的各個(gè)分量。
尤其是，可以將上述公式(146)中的正規(guī)方程轉(zhuǎn)換為下面的公式(147)。
公式(147) 在公式(147)中，左側(cè)矩陣WMAT的各個(gè)分量是將要獲得的特征wi。關(guān)于矩陣SMAT和矩陣PMAT的各個(gè)分量被包括在從正規(guī)方程產(chǎn)生單元2425提供的正規(guī)方程表中。因此，模擬函數(shù)產(chǎn)生單元2426通過(guò)利用正規(guī)方程表計(jì)算公式(147)的右側(cè)中的矩陣而計(jì)算矩陣WMAT，并將計(jì)算結(jié)果(特征wi)輸出給圖像產(chǎn)生單元103。
在步驟S2407中，模擬函數(shù)產(chǎn)生單元2426確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S2407中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S2402，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S2402到S2407。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S2407中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，對(duì)現(xiàn)實(shí)世界1的估計(jì)處理結(jié)束。
作為對(duì)二維多項(xiàng)式模擬方法的描述，已經(jīng)采用了用于對(duì)應(yīng)于空間方向(X方向和Y方向)計(jì)算模擬函數(shù)f(x，y)的系數(shù)(特征)wi的實(shí)例，但是也可以將二維多項(xiàng)式模擬方法施加到時(shí)間和空間方向(X方向和t方向、或Y方向和t方向)。
也就是說(shuō)，上述實(shí)例是這樣的實(shí)例，其中現(xiàn)實(shí)世界1中的光信號(hào)具有由梯度Gf(圖224)表示的空間方向中的連續(xù)性，以及因此，如上述公式(132)所示，所示方程包括在空間方向(X方向和Y方向)中的二維積分。然而，關(guān)于二維積分的構(gòu)思不僅可以被施加到空間方向，還可以被施加到時(shí)間和空間方向(X方向和t方向，或Y方向和t方向)。
換句話說(shuō)，在二維多項(xiàng)式模擬方法中，即使在這樣的情況下，其中，將要被估計(jì)的光信號(hào)函數(shù)F(x，y，t)不僅具有空間方向中的連續(xù)性，還具有時(shí)間和空間方向中的連續(xù)性(然而，X方向和t方向，或Y方向和t方向)，這可以利用二維多項(xiàng)式模擬。
尤其是，例如，在存在在水平方向上以均勻速度水平移動(dòng)的對(duì)象的情況下，對(duì)象的移動(dòng)方向由例如X-t平面中的梯度Vf表示，如圖230所示。換句話說(shuō)，可以認(rèn)為梯度Vf表示在X-t平面中的時(shí)間和空間方向上的連續(xù)性方向。因此，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以輸出如圖230所示的移動(dòng)θ(嚴(yán)格地說(shuō)，雖然圖中沒(méi)有示出，移動(dòng)θ是由用對(duì)應(yīng)于梯度VF的梯度Vf表示的數(shù)據(jù)連續(xù)性方向和空間方向中的X方向產(chǎn)生的角度)作為數(shù)據(jù)連續(xù)性信息，其對(duì)應(yīng)于表示在X-t平面中的時(shí)間和空間方向上的連續(xù)性的梯度VF、以及角度θ(對(duì)應(yīng)于在X-Y平面中由梯度GF表示的空間方向的連續(xù)性的連續(xù)性信息)。
因此，采用二維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)用移動(dòng)θ代替角度θ，可以以與上述方法相同的方法計(jì)算模擬函數(shù)f(x，t)的系數(shù)(特征)wi。然而，在該情況下，將要使用的公式不是上述公式(132)，而是下面的公式(148)。
公式(148) 注意，在公式(148)中，s為cotθ(然而，θ是移動(dòng))。
另外，可以以與上述模擬函數(shù)f(x，t)相同的方法，處理關(guān)注空間方向Y而不是空間方向X的模擬函數(shù)f(y，t)。
從而，在二維多項(xiàng)式模擬方法中，例如，每個(gè)具有時(shí)間-空間積分效應(yīng)的傳感器的多個(gè)檢測(cè)元件(例如圖225中傳感器2的檢測(cè)元件2-1)投影現(xiàn)實(shí)世界1的光信號(hào)(圖205)，圖205中的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)圖像數(shù)據(jù)(例如，圖205中的輸入圖像)中的數(shù)據(jù)連續(xù)性(例如，圖226中由Gf表示的數(shù)據(jù)連續(xù)性)，所述圖像數(shù)據(jù)由具有利用檢測(cè)元件2-1投影的像素值的多個(gè)像素構(gòu)成，其丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性(例如，圖224中由梯度GF表示的連續(xù)性)。
例如，在這樣的條件下，其中至少在對(duì)應(yīng)于圖像數(shù)據(jù)的時(shí)-空方向的二維方向(例如，圖224和圖225中的空間方向和空間方向Y)中的位置上的像素的像素值(例如，作為上述公式(131)左側(cè)的輸入像素值P(x，y))為通過(guò)二維方向中的積分效應(yīng)獲取的像素值(例如，如公式(132)右側(cè)所示，通過(guò)在X方向和Y方向上積分上述公式(131)中的模擬函數(shù)f(x，y)而獲得的值)，所述二維方向?qū)?yīng)于由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性，則圖205(圖3)中的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用作為多項(xiàng)式的模擬函數(shù)f(例如如公式(131)中的模擬函數(shù)f(x，y))模擬表示現(xiàn)實(shí)世界1的光信號(hào)的光信號(hào)函數(shù)F(尤其是，圖224中的函數(shù)F(x，y))，而估計(jì)光信號(hào)函數(shù)F。
具體為，例如，在這樣的條件下，其中，在對(duì)應(yīng)于沿二維方向上離對(duì)應(yīng)于由連續(xù)性檢測(cè)處理單元101檢測(cè)的數(shù)據(jù)連續(xù)性(例如圖226中對(duì)應(yīng)于梯度Gf的線(箭頭))的直線的距離(例如圖226中的截面方向距離x’)的像素的像素值為通過(guò)至少在二維方向中的積分效應(yīng)獲取的像素值，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用作為多項(xiàng)式的第二函數(shù)模擬表示現(xiàn)實(shí)世界的光信號(hào)的第一函數(shù)而估計(jì)表示光信號(hào)的第一函數(shù)。
因此，在二維多項(xiàng)式模擬方法中，考慮二維積分效應(yīng)而不是一維積分效應(yīng)，從而可以比一維多項(xiàng)式模擬方法更精確地估計(jì)現(xiàn)實(shí)世界1中的光信號(hào)。
接著，將參考圖231到圖235描述第三函數(shù)模擬方法。
也就是說(shuō)，第三函數(shù)模擬方法是這樣的方法，其中關(guān)注具有在時(shí)空方向的預(yù)定方向上的連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào)由光信號(hào)函數(shù)F(x，y，t)表示的情況，利用模擬函數(shù)f(x，y，t)模擬光信號(hào)函數(shù)F(x，y，t)，從而估計(jì)光信號(hào)函數(shù)F(x，y，t)。因此，下文中，第三函數(shù)模擬方法稱為三維函數(shù)模擬方法。
另外，在描述三維多項(xiàng)式模擬方法中，假設(shè)傳感器2為由設(shè)置在其平面上的多個(gè)檢測(cè)元件2-1構(gòu)成的CCD，如圖231所示。
在圖231的實(shí)例中，取平行于檢測(cè)元件2-1的預(yù)定邊的方向?yàn)樽鳛榭臻g方向的一個(gè)方向的X方向，取垂直于X方向的方向?yàn)樽鳛榭臻g方向的另一個(gè)方向的Y方向。取垂直于X-Y平面的方向?yàn)樽鳛闀r(shí)間方向的t方向。
另外，在圖231所示的實(shí)例中，取傳感器2的各個(gè)檢測(cè)元件2-1的空間形狀為邊長(zhǎng)為1的方形。取傳感器2的快門時(shí)間(曝光時(shí)間)為1。
另外，在圖231所示的實(shí)例中，取傳感器2的一個(gè)特定檢測(cè)元件2-1的中心為空間方向(X方向和Y方向)中的原點(diǎn)(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光時(shí)間的中間時(shí)刻為時(shí)間方向中(t方向)的原點(diǎn)(t方向中t＝0的位置)。
在該情況下，中心在空間方向中的原點(diǎn)(x＝0，y＝0)的檢測(cè)元件2-1對(duì)光信號(hào)函數(shù)F(x，y，t)進(jìn)行積分，其范圍為在x方向上從-0.5到0.5，在Y方向上從-0.5到0.5，以及在t方向上-0.5到0.5，并將積分值輸出作為像素值P。
也就是說(shuō)，從其中心在空間方向上的原點(diǎn)的檢測(cè)元件2-1輸出的像素值P由下面公式(149)表示。
公式(149) 類似，通過(guò)取將要處理的檢測(cè)元件2-1的中心為空間方向中的原點(diǎn)，另一個(gè)檢測(cè)元件2-1也輸出了如公式(149)所示的像素值P。
另外，如上所述，在三維多項(xiàng)式模擬方法中，將光信號(hào)函數(shù)F(x，y，t)模擬為三維多項(xiàng)式的模擬函數(shù)f(x，y，t)。
尤其是，例如，取模擬函數(shù)f(x，y，t)為具有N變量(特征)的函數(shù)，定義對(duì)應(yīng)于公式(149)的輸入像素值P(x，y，t)與模擬函數(shù)f(x，y，t)之間的關(guān)系式。從而，在獲取大于N的M個(gè)輸入像素P(x，y，t)的情況下，可以從定義的關(guān)系式計(jì)算N個(gè)變量(特征)。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)獲取M個(gè)輸入像素P(x，y，t)并計(jì)算N個(gè)變量(特征)可以估計(jì)光信號(hào)函數(shù)F(x，y，t)。
在該情況下，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用來(lái)自傳感器2的輸入圖像(輸入像素值)中包括的數(shù)據(jù)連續(xù)性作為約束(即，利用數(shù)據(jù)連續(xù)性信息作為將要從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的輸入圖像)，從整個(gè)輸入圖像中選取(獲取)M個(gè)輸入圖像P(x，y，t)。因此，預(yù)測(cè)函數(shù)f(x，y，t)由數(shù)據(jù)連續(xù)性約束。
例如，如圖232所示，在對(duì)應(yīng)于輸入圖像的光信號(hào)函數(shù)F(x，y，t)具有由梯度GF表示的空間方向中的連續(xù)性的情況下，數(shù)據(jù)連續(xù)性檢測(cè)單元101最后輸出角度θ(在由對(duì)應(yīng)于梯度GF的梯度Gf(未示出)表示的數(shù)據(jù)連續(xù)性方向與X軸之間的角度θ)作為相對(duì)于輸入圖像的連續(xù)性信息。
在該情況下，就認(rèn)為即使在投影到Y(jié)方向的任意位置的情況下，其中光信號(hào)函數(shù)F(x，y，t)被投影在X方向的一維波形(該波形在此稱作X截面波形)具有相同的形式。
也就是說(shuō)，就認(rèn)為存在具有相同形式的X截面波形，其為在連續(xù)性方向(相對(duì)于X方向的角度θ方向)上連續(xù)的二維(空間方向)波形，并且用模擬函數(shù)f(x，y，t)模擬三維波形，其中這樣的二維波形在時(shí)間方向t上連續(xù)。
換句話說(shuō)，在Y方向上從關(guān)注像素的中心平移y位置的X截面波形變成這樣的波形，其中通過(guò)關(guān)注像素中心的X截面波形在X方向上被移動(dòng)(平移)預(yù)定量(根據(jù)角度θ的變化量)。注意，下文中，該量稱為平移量。
可以如下計(jì)算平移量。
也就是說(shuō)，梯度Vf(例如，表示對(duì)應(yīng)于圖232中的梯度VF的數(shù)據(jù)連續(xù)性方向的梯度Vf)和角度θ如下面公式(150)所示。
公式(150) 注意，在公式(150)中，dx表示在X方向中的微小移動(dòng)量，dy表示相對(duì)于dx在Y方向上的微小移動(dòng)量。
因此，如果將相對(duì)于X方向的移動(dòng)量描述為Cx(y)，其由下面公式(151)表示。
公式(151) 如果這樣定義平移量Cx(y)，則對(duì)應(yīng)于公式(149)的輸入像素值P(x，y，t)與模擬函數(shù)f(x，y，t)之間的關(guān)系式如下面的公式(152)所示。
公式(152) 在公式(152)中，e表示誤差余量。ts表示在t方向上的積分開(kāi)始位置，以及te表示在t方向上的積分結(jié)束位置。同樣，ys表示在Y方向上的積分開(kāi)始位置，以及ye表示在Y方向上的積分結(jié)束位置。另外，xs表示在X方向上的積分開(kāi)始位置，以及xe表示在X方向上的積分結(jié)束位置。然而，各個(gè)具體積分范圍如下面公式(153)所示。
ts＝t-0.5 te＝t+0.5 ys＝y(tǒng)-0.5 ye＝y(tǒng)+0.5 xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5 公式(153) 如公式(153)所示，通過(guò)在X方向上將積分范圍相對(duì)于在空間方向上距離關(guān)注像素為(x，y)距離的像素平移平移量Cx(y)，可以將其表示為具有相同形式的X截面波形在連續(xù)性方向(相對(duì)于X方向的角度θ方向)上連續(xù)。
從而，在三維函數(shù)模擬方法中，像素值P(x，y，t)與三維模擬函數(shù)f(x，y，t)之間的關(guān)系可以利用公式(152)表示(積分范圍為公式(153))，因此，通過(guò)例如利用公式(152)和公式(153)的最小二乘法計(jì)算模擬函數(shù)f(x，y，t)的N個(gè)特征，可以估計(jì)光信號(hào)函數(shù)F(x，y，t)(例如，具有由如圖232所示的梯度VF表示的空間方向中的連續(xù)性的光信號(hào))。
注意，在由光信號(hào)函數(shù)F(x，y，t)表示的光信號(hào)具有由如圖232所示的梯度VF表示的空間方向中的連續(xù)性的情況下，可以如下模擬光信號(hào)函數(shù)F(x，y，t)。
也就是說(shuō)，假設(shè)其中在Y方向上投影有光信號(hào)函數(shù)F(x，y，t)的一維波形(下文中，這樣的波形稱為Y截面波形)具有相同的形式，即使在X方向的任意位置上的投影的情況下。
換句話說(shuō)，假設(shè)存在其中具有相同形式的Y截面波形的二維(空間方向)波形在連續(xù)性方向(相對(duì)于X方向的角度θ方向)上連續(xù)，并且用模擬函數(shù)f(x，y，t)模擬三維波形，其中這樣的二維波形在時(shí)間方向t上連續(xù)。
因此，在X方向上從關(guān)注像素的中心平移x位置的Y截面波形變成這樣的波形，其中通過(guò)關(guān)注像素中心的Y截面波形在Y方向上被移動(dòng)(平移)預(yù)定平移量(根據(jù)角度θ的變化平移量)。
可以如下計(jì)算平移量。
也就是說(shuō)，梯度Gf如上述公式(150)所示，從而如果相對(duì)于Y方向的平移量被描述為Cy(x)，其被表示為下面的公式(154)。
Cy(x)＝Gf×x公式(154) 如同對(duì)平移量Cx(y)的定義，如果這樣定義平移量Cx(y)，則對(duì)應(yīng)于公式(149)的輸入像素P(x，y，t)與模擬函數(shù)f(x，y，t)之間的關(guān)系式如上述的公式(152)所示。
然而，在該情況下，各個(gè)具體積分范圍如下面公式(155)所示。
ts＝t-0.5 te＝t+0.5 ys＝y(tǒng)-Cy(x)-0.5 ye＝y(tǒng)-Cy(x)+0.5 Xs＝X-0.5 xe＝×+0.5公式(155) 如公式(155)(和上述公式(152))所示，通過(guò)在Y方向上將積分范圍相對(duì)于距離關(guān)注像素為(x，y)的像素平移平移量Cx(y)，可以將其表示為具有相同形式的Y截面波形在連續(xù)性方向(相對(duì)于X方向的角度θ方向)上連續(xù)。
從而，在三維函數(shù)模擬方法中，上述公式(152)右側(cè)的積分范圍不僅可以設(shè)為公式(153)還可以設(shè)為公式(155)，因此，通過(guò)例如利用其中采用公式(155)作為積分范圍的公式(152)的最小二乘法計(jì)算模擬函數(shù)f(x，y，t)的n個(gè)特征，可以估計(jì)光信號(hào)函數(shù)F(x，y，t)(例如，具有由梯度GF表示的空間方向中的連續(xù)性的現(xiàn)實(shí)世界1中的光信號(hào))。
從而，表示積分范圍的公式(153)和公式(155)表示基本相同但只有一個(gè)差別，所述差別是關(guān)于周邊像素是在響應(yīng)于連續(xù)性方向的X方向上平移(在公式(153)的情況下)還是在響應(yīng)于連續(xù)性方向的Y方向上平移(在公式(155)的情況下)。
然而，響應(yīng)于連續(xù)性方向(梯度GF)，存在關(guān)于將光信號(hào)函數(shù)F(x，y，t)看作一組X截面波形、或一組Y截面波形的差別。也就是說(shuō)，在連續(xù)性方向接近Y方向的情況下，優(yōu)選將光信號(hào)函數(shù)F(x，y，t)看作一組X截面波形。另一方面，在連續(xù)性方向接近X方向的情況下，優(yōu)選將光信號(hào)函數(shù)F(x，y，t)看作一組Y截面波形。
因此，優(yōu)選的是，現(xiàn)實(shí)世界估計(jì)單元102同時(shí)預(yù)備公式(153)和公式(155)作為積分范圍，并根據(jù)連續(xù)性方向選擇公式(153)和公式(155)中的任一個(gè)作為適當(dāng)公式(152)右側(cè)的積分范圍。
盡管已經(jīng)描述了在這樣的情況下的三維函數(shù)方法，其中光信號(hào)函數(shù)F(x，y，t)具有空間方向(X方向和Y方向)中的連續(xù)性(例如，由如圖232的梯度GF表示的空間方向上的連續(xù)性)，但是可以將三維函數(shù)方法應(yīng)用到這樣的情況中，其中光信號(hào)函數(shù)F(x，y，t)具有在時(shí)間和空間方向(X方向、Y方向以及t方向)上的連續(xù)性(由梯度Vf表示的連續(xù)性)，如圖233所示。
也就是說(shuō)，在圖233中，取對(duì)應(yīng)于幀#N-1的光信號(hào)函數(shù)為F(x，y，#N-1)，取對(duì)應(yīng)于幀#N的光信號(hào)函數(shù)為F(x，y，#N)，以及取對(duì)應(yīng)于幀#N+1的光信號(hào)函數(shù)為F(x，y，#N+1)。
注意，在圖233中，取水平方向?yàn)榭臻g方向的一個(gè)方向的X方向，取右上方向?yàn)榭臻g方向的另一個(gè)方向的Y方向，以及取垂直方向?yàn)樽鳛閳D中時(shí)間方向的t方向。
另外，幀#N-1在時(shí)間上在幀#N之前，而幀#N+1在時(shí)間上在幀#N之后。也就是說(shuō)，以幀#N-1、#N和#N+1的順序顯示幀#N-1、#N和#N+1。
在圖233所示的實(shí)例中，將沿如梯度VF(圖中自左下附近的邊的右上向內(nèi)的方向)所示的方向上的截面光水平看作基本不變。因此，在圖233的實(shí)例中，可以認(rèn)為光信號(hào)函數(shù)F(x，y，t)具有由梯度VF表示的在時(shí)間空間方向中的連續(xù)性。
在該情況下，當(dāng)定義表示在時(shí)間和空間方向中的連續(xù)性的函數(shù)C(x，y，t)，并且用定義的函數(shù)C(x，y，t)定義上述公式(152)的積分范圍，則利用上述公式(153)和公式(155)可以計(jì)算模擬函數(shù)f(x，y，t)的N個(gè)特征。
函數(shù)C(x，y，t)不限于特定函數(shù)，只要其為表示連續(xù)性方向的函數(shù)。然而下文中，假設(shè)采用線性連續(xù)性，并定義對(duì)應(yīng)于作為表示上述空間方向中的連續(xù)性的函數(shù)的平移量Cx(y)(公式(151))和平移量Cy(x)(公式153)的Cx(t)和Cy(t)作為如下文的對(duì)應(yīng)于其的函數(shù)C(x，y，t)。
也就是說(shuō)，如果將對(duì)應(yīng)于表示上述空間方向中的數(shù)據(jù)連續(xù)性的梯度Gf的在時(shí)間和空間方向中的數(shù)據(jù)連續(xù)性取為Vf，并且如果將該梯度Vf分成在X方向中的梯度(下文稱為Vfx)和在Y方向上的梯度(下文稱為Vfy)，則分別地，梯度Vfx由下面公式(156)表示，以及梯度Vfy由下面公式(157)表示。
公式(156) 公式(157) 在該情況下，利用公式(156)中的Vfx將函數(shù)Cx(t)表示為下面的公式(158)。
Cx(t)＝Vfx×t公式(158) 類似，利用公式(157)中的Vfy將函數(shù)Cy(t)表示為下面的公式(159)。
Cy(t)＝Vfy×t公式(159) 從而，當(dāng)定義了表示時(shí)間和空間方向中的連續(xù)性2511的函數(shù)Cx(t)和Cy(t)時(shí)，公式(152)的積分范圍被表示為公式(160)。
ts＝t-0.5 te＝t+0.5 ys＝y(tǒng)-Cy(t)-0.5 ye＝y(tǒng)-Cy(t)+0.5 xs＝x-Cx(t)-0.5 xe＝x-Cx(t)+0.5公式(160) 從而，在三維函數(shù)模擬方法中，像素值P(x，y，t)與三維模擬函數(shù)f(x，y，t)之間的關(guān)系可以利用公式(152)表示，因此，通過(guò)例如利用以公式(160)作為公式(152)右側(cè)的積分范圍的最小二乘法等計(jì)算模擬函數(shù)f(x，y，t)的n+1個(gè)特征，可以估計(jì)光信號(hào)函數(shù)F(x，y，t)(具有在時(shí)間和空間方向中的預(yù)定方向上的連續(xù)性的現(xiàn)實(shí)世界1的光信號(hào))。
圖234示出了采用該三維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102的結(jié)構(gòu)實(shí)例。
注意，通過(guò)現(xiàn)實(shí)世界估計(jì)單元102采用三維函數(shù)模擬方法計(jì)算的模擬函數(shù)f(x，y，t)(實(shí)際上，其特征(系數(shù)))不限于特定函數(shù)，在下面的描述中采用了n(n＝N-1)維的多項(xiàng)式。
如圖234所示，現(xiàn)實(shí)世界估計(jì)單元102包括條件設(shè)置單元2521、輸入圖像存儲(chǔ)單元2522、輸入像素值獲取單元2523、積分分量計(jì)算單元2524、正規(guī)方程產(chǎn)生單元2525、以及模擬函數(shù)產(chǎn)生單元2526。
條件設(shè)置單元2521設(shè)置用于估計(jì)對(duì)應(yīng)于關(guān)注像素的光信號(hào)函數(shù)F(x，y，t)的像素范圍(分塊范圍)、以及模擬函數(shù)f(x，y，t)的維數(shù)n。
輸入圖像存儲(chǔ)單元2522臨時(shí)存儲(chǔ)來(lái)自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2523獲取存儲(chǔ)在輸入圖像存儲(chǔ)單元2522中的輸入圖像的對(duì)應(yīng)于由條件設(shè)置單元2521設(shè)置的分塊范圍的輸入圖像區(qū)域，并將其提供給正規(guī)方程產(chǎn)生單元2525作為輸入像素值表。也就是說(shuō)，輸入像素值表是其中描述輸入圖像區(qū)域中包括的像素的各個(gè)像素值的表。
另外，如上所述，采用三維函數(shù)模擬方法的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用上述公式(152)(然而，以公式(153)、公式(156)或公式(160)為積分范圍)的最小二乘法計(jì)算模擬函數(shù)f(x，y)的N個(gè)特征(在該情況下，為每一維的系數(shù))。
通過(guò)計(jì)算對(duì)公式(152)右側(cè)的積分可以將其表示為下面的公式(161)。
公式(161) 在公式(161)中，wi表示i維項(xiàng)的系數(shù)(特征)，另外，Si(xs，xe，ys，ye，ts，te)表示i維項(xiàng)的積分分量。然而，分別地，xs表示在X方向上的積分范圍開(kāi)始位置，xe表示在X方向上的積分范圍結(jié)束位置，ys表示在Y方向上的積分范圍開(kāi)始位置，ye表示在Y方向上的積分范圍結(jié)束位置，ts表示在t方向上的積分范圍開(kāi)始位置，以及te表示在t方向上的積分范圍結(jié)束位置。
積分分量計(jì)算單元2524計(jì)算積分分量Si(xs，xe，ys，ye，ts，te)。
也就是說(shuō)，積分分量計(jì)算單元2524基于由條件設(shè)置單元2521設(shè)置的維數(shù)和分塊范圍、從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度或移動(dòng)(對(duì)于整數(shù)范圍，在利用上述公式(153)或公式(156)的情況下的角度，以及在利用上述公式(160)的情況下的移動(dòng))計(jì)算積分分量Si(xs，xe，ys，ye，ts，te)，并將計(jì)算結(jié)果提供給正規(guī)方程產(chǎn)生單元2525作為積分分量表。
正規(guī)方程產(chǎn)生單元2525在利用從輸入像素值獲取單元2523提供的輸入像素值表、以及從積分分量計(jì)算單元2524提供的積分分量表通過(guò)最小二乘法獲得上述公式(161)的情況下，產(chǎn)生正規(guī)方程，并將其作為正規(guī)方程表提供給模擬函數(shù)產(chǎn)生單元2526。下面將描述正規(guī)方程的具體實(shí)例。
模擬函數(shù)產(chǎn)生單元2526通過(guò)利用矩陣方法求解包括在從正規(guī)方程產(chǎn)生單元2525提供的正規(guī)方程表中的正規(guī)方程，而計(jì)算各個(gè)特征wi(在該情況下，作為三維多項(xiàng)式的模擬函數(shù)f(x，y)的各個(gè)系數(shù)wi)，并將其輸出給圖像產(chǎn)生單元103。
接著，將參考圖235的流程圖描述采用三維函數(shù)模擬方法的的現(xiàn)實(shí)世界估計(jì)處理(圖40中步驟S102的處理)。
首先，在步驟S2501中，條件設(shè)置單元2521設(shè)置條件(分塊范圍和維數(shù))。
例如，假設(shè)設(shè)置了由L個(gè)像素構(gòu)成的分塊范圍2441。另外，假設(shè)預(yù)定數(shù)l(l為0到L-1中的任意整數(shù))被附加到每個(gè)像素。
接著，在步驟S2502中，條件設(shè)置單元2521設(shè)置關(guān)注像素。
在步驟S2503中，輸入像素值獲取單元2523基于由條件設(shè)置單元2521設(shè)置的條件(分塊范圍)獲取輸入像素值，并產(chǎn)生輸入像素值表。在該情況下，產(chǎn)生由L個(gè)輸入像素值P(x，y，t)構(gòu)成的表。這里，假設(shè)將L個(gè)輸入像素值P(x，y，t)中的每個(gè)描述為作為其像素的數(shù)l的函數(shù)的P(l)。也就是說(shuō)，輸入像素值表變成包括L個(gè)P(l)的表。
在步驟S2504，積分分量計(jì)算單元2524基于由條件設(shè)置單元2521設(shè)置的條件(分塊范圍和維數(shù))、以及從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度或移動(dòng))計(jì)算積分分量，并產(chǎn)生積分分量表。
然而，在該情況下，如上所述，輸入像素值不是P(x，y，t)而是P(l)，并被獲取作為像素?cái)?shù)l的值，從而積分分量計(jì)算單元2524將上述公式(161)中的積分分量Si(xs，xe，ys，ye，ts，te)計(jì)算為如積分分量Si(l)的l的函數(shù)。也就是說(shuō)，積分分量表變成包括L×i Si(l)的表。
注意，步驟S2503中的處理和步驟S2504中的處理的順序不限于圖235中的實(shí)例，可以先執(zhí)行步驟S2504中的處理，或者可以同時(shí)執(zhí)行步驟S2503中的處理和步驟S2504中的處理。
接著，在步驟S2505中，正規(guī)方程產(chǎn)生單元2525基于由輸入像素值獲取單元2523在步驟S2503中的處理中產(chǎn)生的輸入像素值表、以及由積分分量計(jì)算單元2524在步驟S2504的處理中產(chǎn)生的積分分量表，而產(chǎn)生正規(guī)方程表。
尤其是，在該情況下，利用最小二乘法計(jì)算對(duì)應(yīng)于上述公式(161)的下面公式(162)的特征wi。對(duì)應(yīng)于此的正規(guī)方程如下面公式(163)所示。
公式(162)

公式(163) 如果定義如公式(163)所示的正規(guī)方程的每個(gè)矩陣如公式(164)到(166)所示，則正規(guī)方程被表示為如下公式(167)。


公式(164) 公式(165) 公式(166) SMATWMAT＝PMAT 公式(167) 如公式(165)所示，矩陣WMAT的各個(gè)分量為將要獲得的特征wi。因此，在公式(167)中，如果確定了左側(cè)的矩陣SMAT和右側(cè)的矩陣PMAT，可以利用矩陣解計(jì)算矩陣WMAT(即特征wi)。
尤其是，如公式(164)所示，只要已知上述積分分量Si(l)，可以計(jì)算矩陣SMAT的各個(gè)分量。積分分量Si(l)被包括在從積分分量計(jì)算單元2524提供的積分分量表中，從而正規(guī)方程產(chǎn)生單元2525可以利用積分分量表計(jì)算矩陣SMAT的每個(gè)分量。
另外，如公式(166)所示，只要已知積分分量Si(l)和輸入像素值P(l)，可以計(jì)算矩陣PMAT的各個(gè)分量。積分分量Si(l)與被包括在矩陣SMAT的各個(gè)分量中的那些相同，另外，輸入像素值P(l)被包括在從輸入像素值獲取單元2523提供的輸入像素值表中，從而，正規(guī)方程產(chǎn)生單元2525利用積分分量表和輸入像素值表可以計(jì)算矩陣PMAT的每個(gè)分量。
從而，正規(guī)方程產(chǎn)生單元2525計(jì)算矩陣SMAT和矩陣PMAT的每個(gè)分量，并將計(jì)算結(jié)果(矩陣SMAT和矩陣PMAT的每個(gè)分量)作為正規(guī)方程表輸出給模擬函數(shù)產(chǎn)生單元2526。
當(dāng)從正規(guī)方程產(chǎn)生單元2525輸出正規(guī)方程表時(shí)，在步驟S2506中，模擬函數(shù)產(chǎn)生單元2526基于正規(guī)方程表計(jì)算特征wi(即模擬函數(shù)f(x，y，t)的系數(shù)wi)，作為上述公式(167)中的矩陣WMAT的各個(gè)分量。
尤其是，可以將上述公式(167)中的正規(guī)方程轉(zhuǎn)換為下面的公式(168)。
公式(168) 在公式(168)中，左側(cè)矩陣WMAT的各個(gè)分量是將要獲得的特征wi。關(guān)于矩陣SMAT和矩陣PMAT的各個(gè)分量被包括在從正規(guī)方程產(chǎn)生單元2525提供的正規(guī)方程表中。因此，模擬函數(shù)產(chǎn)生單元2526通過(guò)利用正規(guī)方程表計(jì)算公式(168)的右側(cè)中的矩陣而計(jì)算矩陣WMAT，并將計(jì)算結(jié)果(特征wi)輸出給圖像產(chǎn)生單元103。
在步驟S2507中，模擬函數(shù)產(chǎn)生單元2526確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S2507中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S2502，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S2502到S2507。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S5407中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，對(duì)現(xiàn)實(shí)世界1的估計(jì)處理結(jié)束。
如上所述，三維函數(shù)模擬方法考慮在時(shí)間和空間方向上的三維積分效應(yīng)代替一維或二維積分效應(yīng)，因此，可以比一維多項(xiàng)式模擬方法和二維多項(xiàng)式模擬方法更精確地估計(jì)現(xiàn)實(shí)世界1的光信號(hào)。
換句話說(shuō)，在三維函數(shù)模擬方法中，例如，在這樣的條件下，其中，每個(gè)具有時(shí)間-空間積分效應(yīng)的傳感器的多個(gè)檢測(cè)元件(例如圖231中傳感器2的檢測(cè)元件2-1)投影現(xiàn)實(shí)世界1的光信號(hào)，在具有利用檢測(cè)元件投影的像素值的多個(gè)像素構(gòu)成的輸入圖像中，所述輸入圖像丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性(例如，圖232中由梯度GF表示的、或圖233中由梯度VF表示的連續(xù)性)，對(duì)應(yīng)于時(shí)空方向中的至少一維方向(例如圖233中空間方向X、空間方向Y以及時(shí)間方向t的三維方向)的一個(gè)位置的上述像素的上述像素值(例如公式(153)左側(cè)的輸入像素值P(x，y，z))為通過(guò)至少一維方向中的積分效應(yīng)獲取的像素值(例如，如公式(153)右側(cè)所示，通過(guò)對(duì)模擬函數(shù)f(x，y，t)在空間方向X、空間方向Y以及時(shí)間方向t三維中積分所獲的值)，則圖205(圖3)中的現(xiàn)實(shí)世界估計(jì)單元102(例如具有圖234所示的結(jié)構(gòu))利用預(yù)定模擬函數(shù)f(尤其是，例如，公式(152)右側(cè)的模擬函數(shù)f(x，y，t))模擬表示現(xiàn)實(shí)世界中的光信號(hào)的光信號(hào)函數(shù)F(尤其是，例如圖232和圖233中的光信號(hào)函數(shù)F(x，y，t))而估計(jì)光信號(hào)函數(shù)F， 另外，例如，在圖205(圖3)中的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)輸入圖像數(shù)據(jù)的連續(xù)性的情況下，在對(duì)應(yīng)于在圖像數(shù)據(jù)的時(shí)空方向?qū)?yīng)于由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性的至少一維方向中的位置上的像素的像素值是通過(guò)至少一維方向上的積分效應(yīng)獲取的像素值的條件下，現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用模擬函數(shù)f模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)F。
具體為，例如，在這樣的條件下，其中，在對(duì)應(yīng)于沿至少一維方向上離對(duì)應(yīng)于由連續(xù)性檢測(cè)處理單元101檢測(cè)的數(shù)據(jù)連續(xù)性的直線的距離(例如上述公式(151)中的平移量Cx(y))的像素的像素值為通過(guò)至少在一維方向中的積分效應(yīng)獲取的像素值(例如，如公式(153)右側(cè)所示，以上述公式(152)為積分范圍，通過(guò)對(duì)模擬函數(shù)f(x，y，t)在X方向、Y方向以及t方向三維中積分所獲的值)，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用模擬函數(shù)f模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)。
因此，三維函數(shù)模擬方法可以更精確地估計(jì)現(xiàn)實(shí)世界1中的光信號(hào)。
接著，將參考圖236到圖257描述圖像產(chǎn)生單元103(圖3)的實(shí)施例。
圖236描述了本實(shí)施例的特征。
如圖236所示，本實(shí)施例基于現(xiàn)實(shí)世界估計(jì)單元102采用函數(shù)模擬方法的條件。也就是說(shuō)，假設(shè)作為投影到傳感器2中的圖像的現(xiàn)實(shí)世界1的信號(hào)(光強(qiáng)分布)由預(yù)定函數(shù)F表示，這是現(xiàn)實(shí)世界估計(jì)單元102利用從傳感器2輸出的輸入圖像(像素值P)和從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息由預(yù)定函數(shù)f模擬函數(shù)F而估計(jì)函數(shù)F的假設(shè)。
注意，下文中，在對(duì)本實(shí)施例的描述中，作為圖像的現(xiàn)實(shí)世界1中的信號(hào)尤其稱為光信號(hào)，函數(shù)F尤其稱為光信號(hào)函數(shù)F。另外，函數(shù)f尤其稱為模擬函數(shù)f。
在該實(shí)施例中，基于該假設(shè)，圖像產(chǎn)生單元103利用從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息和從現(xiàn)實(shí)世界估計(jì)單元102輸出的現(xiàn)實(shí)世界估計(jì)信息(在圖236的實(shí)例中，模擬函數(shù)f的特征)在預(yù)定時(shí)間空間區(qū)域上積分模擬函數(shù)f，并輸出積分值作為輸出像素值M(輸出圖像)。注意，在該實(shí)施例中，將輸入像素值描述為P，并將輸出像素值描述為M，以區(qū)分輸入像素值和輸出像素值。
換句話說(shuō)，當(dāng)對(duì)光信號(hào)函數(shù)F積分一次，光信號(hào)函數(shù)F變成輸入像素值P，從輸入像素值P估計(jì)光信號(hào)函數(shù)F(用模擬函數(shù)f模擬)，再次對(duì)估計(jì)的光信號(hào)函數(shù)F(即模擬函數(shù)f)積分，從而產(chǎn)生輸出像素值M。因此，下文中，由圖像產(chǎn)生單元103執(zhí)行的對(duì)模擬函數(shù)f的積分稱為再積分。另外，本實(shí)施例稱為再積分方法。
注意，如下文所述，在再積分方法中，在產(chǎn)生輸出像素值M的情況下，模擬函數(shù)f的積分范圍不限于在產(chǎn)生輸入像素值P的情況下光信號(hào)函數(shù)F的積分范圍(即，傳感器2的檢測(cè)元件的垂直寬度和水平寬度、時(shí)間方向上的傳感器2的曝光時(shí)間)，可以采用任何積分范圍。
例如，在產(chǎn)生輸出像素值M的情況下，改變模擬函數(shù)f的積分范圍在空間方向上的積分范圍，允許改變根據(jù)其積分范圍的輸出圖像的像素間距。也就是說(shuō)，可以產(chǎn)生空間分辨率。
同樣，例如，在產(chǎn)生輸出像素值M的情況下，改變模擬函數(shù)f的積分范圍在時(shí)間方向上的積分范圍，允許產(chǎn)生時(shí)間分辨率。
此后，將參考附圖分別描述該再積分方法的三種特定方法。
也就是說(shuō)，這些特定方法分別是對(duì)應(yīng)于三種特定函數(shù)模擬方法(現(xiàn)實(shí)世界估計(jì)單元102的實(shí)施例的上述三種特定實(shí)例)的方法的再積分方法。
尤其是，第一方法是對(duì)應(yīng)于上述一維多項(xiàng)式模擬方法(一種函數(shù)模擬方法的方法)的再積分方法。因此，在第一方法中，進(jìn)行一維再積分，從而下文中，將這樣的再積分方法稱為一維再積分方法。
第二方法是對(duì)應(yīng)于上述二維多項(xiàng)式模擬方法(一種函數(shù)模擬方法的方法)的再積分方法。因此，在第二方法中，進(jìn)行二維再積分，從而下文中，將這樣的再積分方法稱為二維再積分方法。
第三方法是對(duì)應(yīng)于上述三維多項(xiàng)式模擬方法(一種函數(shù)模擬方法的方法)的再積分方法。因此，在第三方法中，進(jìn)行三維再積分，從而下文中，將這樣的再積分方法稱為三維再積分方法。
下文中，將以一維再積分方法、二維再積分方法以及三維再積分方法的順序?qū)ζ溥M(jìn)行詳細(xì)描述。
首先將描述一維再積分方法。
在一維再積分方法中，假設(shè)利用一維多項(xiàng)式模擬方法產(chǎn)生模擬函數(shù)f(x)。
也就是說(shuō)，假設(shè)利用作為n維多項(xiàng)式(n為任意整數(shù))的模擬函數(shù)f(x)模擬一維波形(在對(duì)再積分方法的描述中，將投影到X方向上的波形稱為X截面波形F(x))，在所述一維波形中，其變量為三維空間中的位置x、y和z以及時(shí)刻t的光信號(hào)函數(shù)F(x，y，t)被投影到作為空間方向的X方向、Y方向和Z方向(例如，X方向)的預(yù)定方向上、以及作為時(shí)間方向的t方向。
在該情況下，在一維再積分方法中，如下面公式(168)計(jì)算輸出像素值M。
公式(169) 注意，在公式(169)中，xs表示積分開(kāi)始位置，xe表示積分結(jié)束位置。另外，Ge表示預(yù)定增益。
尤其是，例如，假設(shè)現(xiàn)實(shí)世界估計(jì)單元102已經(jīng)產(chǎn)生如圖237所示的模擬函數(shù)f(x)(X截面波形F(x)的模擬函數(shù)f(x))，其中以如圖237所示的像素3101(對(duì)應(yīng)于傳感器2的預(yù)定檢測(cè)元件的像素3101)作為關(guān)注像素。
注意，在圖237的實(shí)例中，取像素3101的像素值(輸入像素值)為P，取像素3101的形狀為邊長(zhǎng)為1的方形。另外，在空間方向中，取平行于像素3101的一邊的方向(圖中的水平方向)為X方向，取垂直于X方向的方向(圖中為垂直方向)為Y方向。
另外，在圖237的下方，示出了其中取原點(diǎn)為關(guān)注像素3101的中心的空間方向(X方向和Y方向)中的坐標(biāo)系(下文中，稱為關(guān)注像素坐標(biāo)系)、以及坐標(biāo)系中的像素3101。
另外，在圖237的上方，示出了表示模擬函數(shù)f(x)在y＝0時(shí)的曲線圖(y為在圖中下方所示的關(guān)注像素坐標(biāo)系中在Y方向上的坐標(biāo)值)。在該曲線圖中，平行于圖中水平方向的軸線與在圖中下方所示的關(guān)注像素坐標(biāo)系中的X方向上的x軸線相同(原點(diǎn)也相同)，另外，取平行于圖中垂直方向的軸線為表示像素值的軸線。
在該情況下，在模擬函數(shù)f(x)和像素3101的像素值P之間的下面公式(170)中的關(guān)系成立。
公式(170) 另外，如圖237所示，假設(shè)像素3101具有由梯度Gf表示的空間方向中的數(shù)據(jù)連續(xù)性。另外，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖236)已經(jīng)輸出如圖237所示的角度θ作為對(duì)應(yīng)于由梯度Gf表示的數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性信息。
在該情況下，例如，在一維再積分方法中，如圖238所示，在X方向上-0.5到0.5的范圍、同時(shí)在Y方向上-0.5到0.5的范圍中(其中圖237中的像素3101所在的范圍)可以新產(chǎn)生四個(gè)像素3111到3114。
注意，在圖238的下方，示出了與圖237中相同的關(guān)注像素坐標(biāo)系、以及在關(guān)注像素坐標(biāo)系中的像素3111到3114。另外，在圖238的上方，示出了與圖237中相同的曲線圖(表示在y＝0上的模擬函數(shù)f(x)的曲線圖)。
尤其是，如圖238所示，在一維再積分方法中，可以分別進(jìn)行利用下面公式(171)計(jì)算像素3111的像素值M(1)、利用下面公式(172)計(jì)算像素3112的像素值M(2)、利用下面公式(173)計(jì)算像素3113的像素值M(3)、以及利用下面公式(174)計(jì)算像素3114的像素值M(4)。
公式(171) 公式(172) 公式(173) 公式(174) 注意，公式(171)中的xs1、公式(172)中的xs2、公式(173)中的xs3以及公式(174)中的xs4分別表示相應(yīng)的公式的積分開(kāi)始位置。另外，公式(171)中的xe1、公式(172)中的xe2、公式(173)中的xe3以及公式(174)中的xe4分別表示相應(yīng)的公式的積分結(jié)束位置。
在每個(gè)公式(171)到(174)的右側(cè)的積分范圍變成每個(gè)像素3111到像素3114的像素寬度(在X方向上的長(zhǎng)度)。也就是說(shuō)，每個(gè)xe1-xs1、xe2-xs2、xe3-xs3、以及xe4-xs4變成0.5。
然而，在該情況下，可以考慮，具有與在y＝0上的模擬函數(shù)f(x)相同的形式的一維波形不是在Y方向上而是在由梯度Gf表示的數(shù)據(jù)連續(xù)性方向(即角度θ方向)上連續(xù)(實(shí)際上，具有與y＝0時(shí)的X截面波形F(x)相同的形式的波形在連續(xù)性方向上連續(xù))。也就是說(shuō)，在取在圖238中的關(guān)注像素坐標(biāo)系的原點(diǎn)(0，0)(圖237中像素3101的中心)上的像素值f(0)作為像素值f1的情況下，像素值f1連續(xù)的方向不是Y方向而是由由梯度Gf表示的數(shù)據(jù)連續(xù)性方向(角度θ方向)。
換句話說(shuō)，在考慮在Y方向上預(yù)定位置y(然而，y為除0以外的數(shù)值)上的模擬函數(shù)f(x)的波形的情況下，對(duì)應(yīng)于像素值f1的位置不是位置(0，y)而是位置(Cx(y)，y)，其通過(guò)在X方向上從位置(0，y)移動(dòng)預(yù)定量而獲得(這里，假設(shè)該量還被稱為平移量。另外，平移量是根據(jù)在Y方向上的位置y的量，因此假設(shè)將該平移量描述為Cx(y))。
因此，作為每個(gè)上述公式(171)到公式(174)右側(cè)的積分范圍，需要考慮在其中存在將要獲得的像素值M(l)(然而，l是1到4的任意整數(shù)值)的中心，即平移量Cx(y)的Y方向上的位置y而設(shè)置積分范圍。
尤其是，例如，其中存在像素3111和像素3112的中心的在Y方向上的位置y不是y＝0而是y＝0.25。
因此，模擬函數(shù)f(x)在y＝0.25的波形相當(dāng)于通過(guò)將在y＝0上的模擬函數(shù)f(x)的波形在X方向上移動(dòng)平移量Cx(0.25)而獲得的波形。
換句話說(shuō)，在上述公式(171)中，如果假設(shè)相對(duì)于像素3111的像素值M(1)是通過(guò)在預(yù)定積分范圍(從開(kāi)始位置xs1到結(jié)束位置xe1)上積分y＝0上的模擬函數(shù)f(x)而獲得，則其積分范圍變?yōu)椴皇菑拈_(kāi)始位置xs1＝-0.5到結(jié)束位置xe1＝0(像素3111在X方向上所占的范圍本身)，而是如圖238所示的范圍，即從開(kāi)始位置xs1＝-0.5+Cx(0.25)到結(jié)束位置xe1＝0+Cx(0.25)(在將像素3111臨時(shí)移動(dòng)平移量Cx(0.25)的情況下，像素3111在X方向上所占的范圍)。
類似，在上述公式(171)中，如果假設(shè)相對(duì)于像素3112的像素值M(2)是通過(guò)在預(yù)定積分范圍(從開(kāi)始位置xs2到結(jié)束位置xe2)上積分y＝0上的模擬函數(shù)f(x)而獲得，則其積分范圍變?yōu)椴皇菑拈_(kāi)始位置xs2＝0到結(jié)束位置xe2＝0.5(像素3112在X方向上所占的范圍本身)，而是如圖238所示的范圍，即從開(kāi)始位置xs2＝0+Cx(0.25)到結(jié)束位置xe2＝0.5+Cx(0.25)(在將像素3112臨時(shí)移動(dòng)平移量Cx(0.25)的情況下，像素3112在X方向上所占的范圍)。
另外，例如，其中存在像素3113和像素3114的中心的在Y方向上的位置y不是y＝0而是y＝-0.25。
因此，在y＝-0.25上的模擬函數(shù)f(x)的波形相當(dāng)于通過(guò)在X方向上將y＝0上的模擬函數(shù)f(x)的波形移動(dòng)平移量Cx(-0.25)而獲得的波形。
換句話說(shuō)，在上述公式(173)中，如果假設(shè)相對(duì)于像素3113的像素值M(3)是通過(guò)在預(yù)定積分范圍(從開(kāi)始位置xs3到結(jié)束位置xe3)上積分y＝0上的模擬函數(shù)f(x)而獲得，則其積分范圍變?yōu)椴皇菑拈_(kāi)始位置xs3＝-0.5到結(jié)束位置xe3＝0(像素3113在X方向上所占的范圍本身)，而是如圖238所示的范圍，即從開(kāi)始位置xs3＝-0.5+Cx(-0.25)到結(jié)束位置xe3＝0+Cx(-0.25)(在將像素3113臨時(shí)移動(dòng)平移量Cx(-0.25)的情況下，像素3113在X方向上所占的范圍)。
類似，在上述公式(173)中，如果假設(shè)相對(duì)于像素3114的像素值M(4)是通過(guò)在預(yù)定積分范圍(從開(kāi)始位置xs4到結(jié)束位置xe4)上積分y＝0上的模擬函數(shù)f(x)而獲得，則其積分范圍變?yōu)椴皇菑拈_(kāi)始位置xs4＝0到結(jié)束位置xe4＝0.5(像素3114在X方向上所占的范圍本身)，而是如圖238所示的范圍，即從開(kāi)始位置xs4＝0+Cx(-0.25)到結(jié)束位置xe4＝0.5+Cx(-0.25)(在將像素3114 臨時(shí)移動(dòng)平移量Cx(-0.25)的情況下，像素3114在X方向上所占的范圍)。
因此，圖像產(chǎn)生單元102(圖236)通過(guò)對(duì)公式(171)到公式(174)中的每個(gè)代入上述積分范圍的相應(yīng)的積分范圍而計(jì)算上述公式(171)到公式(174)，并輸出這些公式的計(jì)算結(jié)果作為輸出像素值M(1)到M(4)。
從而，圖像產(chǎn)生單元102通過(guò)采用一維再積分方法可以生成比輸出像素3101具有更高分辨率的四個(gè)像素，即像素3111到像素3114(圖238)作為位于來(lái)自傳感器2(圖236)的輸出像素3101(圖237)上的像素。另外，雖然圖中沒(méi)有示出，如上所述，除了像素3111到像素3114，圖像產(chǎn)生單元102通過(guò)適當(dāng)變化積分范圍可以產(chǎn)生相對(duì)于輸出像素3101具有任意冪數(shù)的空間分辨率的像素，而不會(huì)降級(jí)。
圖239示出了使用該一維再積分方法的圖像產(chǎn)生單元103的結(jié)構(gòu)實(shí)例。
如圖239所示，在該實(shí)例中所示的圖像產(chǎn)生單元103包括條件設(shè)置單元3121、特征存儲(chǔ)單元3122、積分分量計(jì)算單元3123、以及輸出像素值計(jì)算單元3124。
條件設(shè)置單元3121基于從現(xiàn)實(shí)世界估計(jì)單元102提供的現(xiàn)實(shí)世界估計(jì)信息(在圖239的實(shí)例中的模擬函數(shù)f(x)的特征)設(shè)置模擬函數(shù)f(x)的維數(shù)n。
條件設(shè)置單元3121還設(shè)置在再積分模擬函數(shù)f(x)的情況中(在計(jì)算輸出像素值的情況中)的積分范圍。注意，由條件設(shè)置單元3121設(shè)置的積分范圍不需要為像素的寬度。例如，在空間方向(X方向)上積分模擬函數(shù)f(x)，因此，只要已知相對(duì)于來(lái)自傳感器2(圖236)的輸入圖像的每個(gè)像素的空間尺寸的輸出像素(將由圖像產(chǎn)生單元103計(jì)算的像素)的相對(duì)尺寸(空間分辨率的冪數(shù))，則可以確定具體積分范圍。因此，條件設(shè)置單元3121可以設(shè)置例如空間分辨率冪數(shù)作為積分范圍。
特征存儲(chǔ)單元3122臨時(shí)存儲(chǔ)從現(xiàn)實(shí)世界估計(jì)單元102順序提供的模擬函數(shù)f(x)的特征。然后，當(dāng)特征存儲(chǔ)單元3122存儲(chǔ)了模擬函數(shù)f(x)的全部特征，則特征存儲(chǔ)單元3122產(chǎn)生包括模擬函數(shù)f(x)的全部特征的特征表，并將其提供給輸出像素值計(jì)算單元3124。
另外，如上所述，圖像產(chǎn)生單元103利用上述公式(169)計(jì)算輸出像素值M，但是包括在上述公式(169)的右側(cè)的模擬函數(shù)f(x)具體由下面公式(175)表示。
公式(175) 注意，在公式(175)中，wi表示從現(xiàn)實(shí)世界估計(jì)單元102提供的模擬函數(shù)f(x)的特征。
因此，當(dāng)將公式(175)的模擬函數(shù)f(x)代入上述公式(169)右側(cè)的模擬函數(shù)f(x)以展開(kāi)(計(jì)算)公式(169)的右側(cè)，則輸出像素值M被表示為下面的公式(176)。
公式(176) 在公式(176)中，Ki(xs，xe)表示i維項(xiàng)的積分分量。也就是說(shuō)，積分分量Ki(xs，xe)如下面公式(177)所示。
公式(177) 積分分量計(jì)算單元3123計(jì)算積分分量Ki(xs，xe)。
尤其是，如公式(177)所示，只要已知積分范圍的開(kāi)始位置xs和結(jié)束位置xe、增益Ge和i維項(xiàng)的i，則可以計(jì)算積分分量Ki(xs，xe)。
其中，利用由條件設(shè)置單元3121設(shè)置的空間分辨率冪數(shù)(積分范圍)確定增益Ge。
利用由條件設(shè)置單元3121設(shè)置的維數(shù)n確定范圍i。
另外，利用現(xiàn)在將產(chǎn)生的輸出像素的中心像素位置(x，y)和像素寬度、以及表示數(shù)據(jù)連續(xù)性方向的平移量Cx(y)確定積分范圍的開(kāi)始位置xs和結(jié)束位置xe。注意，當(dāng)現(xiàn)實(shí)世界估計(jì)單元102產(chǎn)生模擬函數(shù)f(x)時(shí)，(x，y)表示距離關(guān)注像素的中心位置的相對(duì)位置。
另外，利用由條件設(shè)置單元3121設(shè)置的空間分辨率冪數(shù)(積分范圍)確定現(xiàn)在將產(chǎn)生的輸出像素的中心像素位置(x，y)和像素寬度。
另外，對(duì)于平移量Cx(y)和從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的角度θ，如下面公式(178)和公式(179)的關(guān)系成立，因此，利用角度θ確定平移量Cx(y)。
公式(178) 公式(179) 注意，在公式(178)中，Gf表示表示數(shù)據(jù)連續(xù)性方向的梯度，θ表示從數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖236)輸出的數(shù)據(jù)連續(xù)性信息之一的角度(作為空間方向之一的X方向與由梯度Gf表示的數(shù)據(jù)連續(xù)性方向之間的角度)。另外，dx表示在X方向上的微小移動(dòng)量，以及dy表示相當(dāng)于dx在Y方向(垂直于X方向的空間方向)上的微小移動(dòng)量。
因此，積分分量計(jì)算單元3123基于由條件設(shè)置單元3121設(shè)置的維數(shù)和空間分辨率冪數(shù)(積分范圍)、以及從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度θ而計(jì)算積分分量Ki(xs，xe)，并將計(jì)算結(jié)果提供給輸出像素值計(jì)算單元3124作為積分分量表。
輸出像素值計(jì)算單元3124利用從特征存儲(chǔ)單元3122提供的特征表、以及從積分分量計(jì)算單元3123提供的積分分量表而計(jì)算上述公式(176)的右側(cè)，并將計(jì)算結(jié)果輸出作為輸出像素值M。
接著，將參考圖240中的流程圖描述采用一維再積分方法利用圖像產(chǎn)生單元103(圖239)的圖像產(chǎn)生處理(圖40的步驟S103中的處理)。
例如，現(xiàn)在，假設(shè)現(xiàn)實(shí)世界估計(jì)單元102已經(jīng)產(chǎn)生如圖237所示的模擬函數(shù)f(x)，同時(shí)，取上述如圖237所示的像素3101作為在上述圖40的步驟S102的處理中的關(guān)注像素。
另外，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101已經(jīng)輸出如圖237所示的角度θ作為在上述圖40的步驟S101中的處理中的數(shù)據(jù)連續(xù)性信息。
在該情況下，條件設(shè)置單元3121在圖240的步驟S3101中設(shè)置條件(維數(shù)和積分范圍)。
例如，現(xiàn)在，假設(shè)設(shè)置維數(shù)為5，另外設(shè)置空間四倍密度(空間分辨率冪數(shù)，其導(dǎo)致像素的寬度間距在上、下、左、右邊上變成1/2冪)作為積分范圍。
也就是說(shuō)，在該情況下，因此，已經(jīng)設(shè)置在X方向上的-0.5到0.5的范圍、同時(shí)在Y方向上的-0.5到0.5的范圍(圖237的像素3101的范圍上)上新產(chǎn)生像素3111到像素3114四個(gè)像素，如圖238所示。
在步驟S3102中，特征存儲(chǔ)單元3122獲取從現(xiàn)實(shí)世界估計(jì)單元102提供的模擬函數(shù)f(x)的特征，并產(chǎn)生特征表。在該情況下，從現(xiàn)實(shí)世界估計(jì)單元102提供作為5維多項(xiàng)式的模擬函數(shù)f(x)的系數(shù)w0到w5，因此，產(chǎn)生(w0，w1，w2，w3，w4，w5)作為特征表。
在步驟S3103中，積分分量計(jì)算單元3123基于由條件設(shè)置單元3121設(shè)置的條件(維數(shù)和積分范圍)、已經(jīng)從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度θ)而計(jì)算積分分量，并產(chǎn)生積分分量表。
尤其是，例如，如果假設(shè)各個(gè)現(xiàn)在將產(chǎn)生的像素3111到3114被附加數(shù)(下文稱該數(shù)為模數(shù))1到4，積分分量計(jì)算單元3123將上述公式(177)的積分分量Ki(xs，xe)計(jì)算為l的函數(shù)(然而，l表示模數(shù))，如如下面公式(180)左側(cè)所示的積分分量Ki(l)。
Ki(l)＝Ki(xs，xe)公式(180) 尤其是，在該情況下，計(jì)算如下面公式(181)所示的積分分量Ki(l)。
ki(1)＝ki(-0.5-Cx(-0.25)，0-Cx(-0.25)) ki(2)＝ki(0-Cx(-0.25)，0.5-Cx(-0.25)) ki(3)＝ki(-0.5-Cx(0.25)，0-Cx(0.25)) ki(4)＝ki(0-Cx(0.25)，0.5-Cx(0.25)) 公式(181) 注意，在公式(181)中，左側(cè)表示積分分量Ki(l)，右側(cè)表示積分分量Ki(xs，xe)。也就是說(shuō)，在該情況下，l是1到4中的任意一個(gè)，i是0到5中的任意一個(gè)，因此計(jì)算6Ki(1)，6 Ki(2)，6Ki(3)，以及6Ki(4)共24個(gè)Ki(l)。
更具體的是，首先，積分分量計(jì)算單元3123利用從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的角度θ從上述公式(178)和公式(179)計(jì)算每個(gè)平移量Cx(-0.25)和Cx(0.25)。
接著，積分分量計(jì)算單元3123利用計(jì)算的平移量Cx(-0.25)和Cx(0.25)計(jì)算公式(181)中四個(gè)公式每個(gè)右側(cè)的關(guān)于i＝0到5的積分分量Ki(xs，xe)。注意，在該對(duì)積分分量Ki(xs，xe)的計(jì)算中，采用了上述公式(177)。
隨后，積分分量計(jì)算單元3123根據(jù)公式(181)將計(jì)算的24個(gè)積分分量Ki(xs，xe)的每個(gè)轉(zhuǎn)換成相應(yīng)的積分分量Ki(l)，并產(chǎn)生包括被轉(zhuǎn)換成的24個(gè)積分分量Ki(l)(即，6 Ki(1)、6 Ki(2)、6Ki(3)以及6 Ki(4))的積分分量表。
注意，步驟S3102中的處理和步驟S3103中的處理的順序不限于圖240中的實(shí)例，可以先執(zhí)行步驟S3103中的處理，或者可以同時(shí)執(zhí)行步驟S3102中的處理和步驟S3103中的處理。
接著，在步驟S3104中，輸出像素值計(jì)算單元3124基于由特征存儲(chǔ)單元3122在步驟S3102中的處理產(chǎn)生的特征表、以及由積分分量計(jì)算單元3123在步驟S3103的處理中產(chǎn)生的積分分量表分別計(jì)算輸出像素值M(1)到M(4)。
尤其是，在該情況下，輸出像素值計(jì)算單元3124通過(guò)計(jì)算對(duì)應(yīng)于上述公式(176)的下面公式(182)到公式(185)的右側(cè)而計(jì)算如下中的每個(gè)像素3111的像素值M(1)(模數(shù)為1的像素)、像素3112的像素值M(2)(模數(shù)為2的像素)、像素3113的像素值M(3)(模數(shù)為3的像素)、以及像素3114的像素值M(4)(模數(shù)為4的像素)。
公式(182) 公式(183) 公式(184) 公式(185) 在步驟S3105中，輸出像素值計(jì)算單元3124確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S3105中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S3102，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S3102到S3104。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S3105中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，輸出像素值計(jì)算單元3124在步驟S3106中輸出圖像。然后，圖像產(chǎn)生處理結(jié)束。
下面，將參考圖241到圖248，關(guān)于預(yù)定輸入圖像，描述通過(guò)采用一維再積分方法獲得的輸出圖像和通過(guò)采用其它方法(常規(guī)分類適應(yīng)處理)獲得的輸出圖像的差別。
圖241示出了輸入圖像的原始圖像，圖242示出了對(duì)應(yīng)于圖241中的原始圖像的圖像數(shù)據(jù)。在圖242中，圖中垂直方向的軸線表示像素值，以及圖中右下方向的軸線表示作為圖像的空間方向的一個(gè)方向的X方向，圖中右上方向的軸線表示作為圖像的空間方向的另一個(gè)方向的Y方向。注意，在后面的圖244、圖246、以及圖248中的各個(gè)軸線對(duì)應(yīng)于圖242中的軸線。
圖243示出了輸入圖像的實(shí)例。如圖243所示的輸入圖像是通過(guò)取屬于如圖241所示的由2×2個(gè)像素構(gòu)成的塊的像素的像素值的平均值作為一個(gè)像素的像素值而產(chǎn)生的圖像。也就是說(shuō)，輸入圖像是通過(guò)在空間方向上積分如圖241所示的圖像而獲得的圖像，其模仿了傳感器的積分性質(zhì)。另外，圖244示出了對(duì)應(yīng)于圖243中的輸入圖像的圖像數(shù)據(jù)。
圖241所示的原始圖像包括離垂直方向順時(shí)針傾斜約5°的細(xì)線圖像。類似，如圖243所示的輸入圖像包括離垂直方向順時(shí)針傾斜約5°的細(xì)線圖像。
圖245示出了通過(guò)對(duì)如圖243所示的輸入圖像進(jìn)行常規(guī)分類適應(yīng)處理而獲得的圖像(下文中，由圖245所示的圖像稱為常規(guī)圖像)。另外，圖246示出了對(duì)應(yīng)于常規(guī)圖像的圖像數(shù)據(jù)。
注意，分類適應(yīng)處理由分類處理和適應(yīng)處理構(gòu)成，分類調(diào)節(jié)處理根據(jù)數(shù)據(jù)的性質(zhì)分類數(shù)據(jù)，并對(duì)每一類的數(shù)據(jù)進(jìn)行適應(yīng)處理。在適應(yīng)處理中，通過(guò)利用預(yù)定拍系數(shù)進(jìn)行映射，將例如低質(zhì)量或標(biāo)準(zhǔn)質(zhì)量圖像轉(zhuǎn)換成高質(zhì)量圖像。
圖247示出了通過(guò)對(duì)如圖243所示的輸入圖像施加應(yīng)用本發(fā)明的一維再積分方法獲得的圖像(下文中，如圖247所示的圖像稱為根據(jù)本發(fā)明的圖像)。另外，圖248示出了對(duì)應(yīng)于根據(jù)本發(fā)明的圖像的圖像數(shù)據(jù)。
可以理解，當(dāng)將圖245中的常規(guī)圖像與圖247中的根據(jù)本發(fā)明的圖像進(jìn)行比較時(shí)，在常規(guī)圖像中的細(xì)線圖像不同于圖241的原始圖像中的細(xì)線，但是，另一方面，在根據(jù)本發(fā)明的圖像中，細(xì)線圖像與圖241中的原始圖像的細(xì)線幾乎相同。
該差異是由以下的差別導(dǎo)致的，其中，常規(guī)類型分類適應(yīng)處理是基于(源于)圖243中的輸入圖像進(jìn)行處理的方法，另一方面，根據(jù)本發(fā)明的一維再積分方法是考慮細(xì)線的連續(xù)性而估計(jì)圖241中的原始圖像(產(chǎn)生對(duì)應(yīng)于原始圖像的模擬函數(shù)f(x))、并基于(源于)估計(jì)的原始圖像進(jìn)行處理(進(jìn)行再積分以計(jì)算像素值)的方法。
從而，在一維再積分方法中，通過(guò)基于作為利用一維多項(xiàng)式模擬方法產(chǎn)生的一維多項(xiàng)式的模擬函數(shù)f(x)(現(xiàn)實(shí)世界中的X截面波形F(x)的模擬函數(shù)f(x))，在任意范圍上積分模擬函數(shù)f(x)而產(chǎn)生輸出圖像(像素值)。
因此，在一維再積分方法中，可以比常規(guī)的其它方法輸出更接近原始圖像(將被投影到傳感器2上的現(xiàn)實(shí)世界1的光信號(hào))的圖像。
換句話說(shuō)，一維再積分方法基于如下的條件圖236中的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)由多個(gè)像素構(gòu)成的輸入圖像中的數(shù)據(jù)連續(xù)性，所述像素具有像素值，其中由每個(gè)具有空間-時(shí)間積分效應(yīng)的傳感器2的多個(gè)檢測(cè)元件將現(xiàn)實(shí)世界1的光信號(hào)投影到輸入圖像上，并被所述檢測(cè)元件投影，在輸入圖像中丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性，并且在對(duì)應(yīng)于輸入圖像的時(shí)間-空間方向的一維方向中的位置的像素的像素值是通過(guò)在其一維方向上的積分效應(yīng)而獲取的像素值的假設(shè)下，現(xiàn)實(shí)世界估計(jì)單元102響應(yīng)檢測(cè)的數(shù)據(jù)連續(xù)性通過(guò)利用預(yù)定模擬函數(shù)f(x)模擬表示現(xiàn)實(shí)世界1的光信號(hào)的光信號(hào)函數(shù)F(尤其是，X截面波形F(x))而估計(jì)光信號(hào)函數(shù)F。
具體說(shuō)，例如，一維再積分方法基于這樣的條件在這樣的假設(shè)下，對(duì)應(yīng)于沿一維方向離對(duì)應(yīng)于檢測(cè)的數(shù)據(jù)連續(xù)性的直線的距離的每個(gè)像素的像素值是通過(guò)在其一維方向上的積分效應(yīng)而獲得的像素值，則用模擬函數(shù)f(x)模擬X截面波形F(x)。
在一維再積分方法中，例如，圖236(圖3)中的圖像產(chǎn)生單元103通過(guò)積分由現(xiàn)實(shí)世界估計(jì)單元102估計(jì)的X截面波形F(x)，即基于該假設(shè)的在一維方向上的希望增量中的模擬函數(shù)f(x)，而產(chǎn)生對(duì)應(yīng)于具有希望尺寸的像素的像素值M，并將其輸出作為輸出圖像。
因此，在一維再積分方法中，可以比常規(guī)的其它方法輸出更接近原始圖像(將被投影到傳感器2上的現(xiàn)實(shí)世界1的光信號(hào))的圖像。
另外，在一維再積分方法中，如上所述，積分范圍是任意的，因此，可以通過(guò)變化積分范圍產(chǎn)生與輸入圖像的分辨率不同的分辨率(時(shí)間分辨率或空間分辨率)。也就是說(shuō)，可以產(chǎn)生相對(duì)于輸入圖像分辨率具有任意冪次的分辨率以及整數(shù)值的圖像。
另外，一維再積分方法可以使用比其它再積分方法更少的計(jì)算處理量而計(jì)算輸出圖像(像素值)。
接著，將參考圖249到圖255描述二維再積分方法。
二維再積分方法基于這樣的條件，其中已經(jīng)利用二維多項(xiàng)式模擬方法產(chǎn)生模擬函數(shù)f(x，y)。
也就是說(shuō)，假設(shè)已經(jīng)利用被投影到空間方向上的波形模擬了表示現(xiàn)實(shí)世界1中的光信號(hào)(圖236)的圖像函數(shù)F(x，y，t)，所述光信號(hào)具有由梯度GF表示的空間方向中的連續(xù)性，即，利用作為n維多項(xiàng)式(n為任意整數(shù))的模擬函數(shù)f(x，y)模擬在X-Y平面上的波形F(x，y)，如圖249所示。
在圖249中，圖中分別為，水平方向表示作為空間方向中的一個(gè)方向的X方向，右上方向表示作為空間方向中的另一個(gè)方向的Y方向，以及垂直方向表示光水平。GF表示作為空間方向中的連續(xù)性的梯度。
注意，在圖249的實(shí)例中，取連續(xù)性方向?yàn)榭臻g方向(X方向和Y方向)，從而取將要模擬的光信號(hào)的投影函數(shù)為函數(shù)F(x，y)，但是如下文所述，函數(shù)F(x，t)或函數(shù)F(y，t)可以是根據(jù)連續(xù)性方向的模擬目標(biāo)。
在圖249中的實(shí)例的情況下，在二維再積分方法中，如下面公式(186)計(jì)算輸出像素值M。
公式(186) 注意，在公式(186)中，ys表示在Y方向上的積分開(kāi)始位置，以及ye表示在Y方向上的積分結(jié)束位置。類似，xs表示在X方向上的積分開(kāi)始位置，以及xe表示在X方向上的積分結(jié)束位置。另外，Ge表示預(yù)定增益。
在公式(186)中，積分范圍可以任意設(shè)置，因此，在二維積分方法中，通過(guò)適當(dāng)?shù)馗淖兎e分范圍，可以產(chǎn)生相對(duì)于原始像素(從傳感器2(圖236)輸入的圖像的像素)具有任意冪次的空間分辨率的像素，而不會(huì)降級(jí)。
圖250示出了采用二維再積分方法的圖像產(chǎn)生單元103的結(jié)構(gòu)實(shí)例。
如圖250所示，在該實(shí)例中所示的圖像產(chǎn)生單元103包括條件設(shè)置單元3201、特征存儲(chǔ)單元3202、積分分量計(jì)算單元3203、以及輸出像素值計(jì)算單元3204。
條件設(shè)置單元3201基于從現(xiàn)實(shí)世界估計(jì)單元102提供的現(xiàn)實(shí)世界估計(jì)信息(在圖250的實(shí)例中的模擬函數(shù)f(x，y)的特征)設(shè)置模擬函數(shù)f(x，y)的維數(shù)n。
條件設(shè)置單元3201還設(shè)置在再積分模擬函數(shù)f(x，y)的情況中(在計(jì)算輸出像素值的情況中)的積分范圍。注意，由條件設(shè)置單元3201設(shè)置的積分范圍不需要為像素的水平或垂直寬度。例如，在空間方向(X方向或Y方向)上積分模擬函數(shù)f(x，y)，因此，只要已知相對(duì)于來(lái)自傳感器2的輸入圖像的每個(gè)像素的空間尺寸的輸出像素(將由圖像產(chǎn)生單元103現(xiàn)在產(chǎn)生的像素)的相對(duì)尺寸(空間分辨率的冪數(shù))，則可以確定具體積分范圍。因此，條件設(shè)置單元3201可以設(shè)置例如空間分辨率冪數(shù)作為積分范圍。
特征存儲(chǔ)單元3202 臨時(shí)存儲(chǔ)從現(xiàn)實(shí)世界估計(jì)單元102順序提供的模擬函數(shù)f(x，y)的特征。然后，當(dāng)特征存儲(chǔ)單元3202存儲(chǔ)了模擬函數(shù)f(x，y)的全部特征時(shí)，則特征存儲(chǔ)單元3202產(chǎn)生包括模擬函數(shù)f(x，y)的全部特征的特征表，并將其提供給輸出像素值計(jì)算單元3124。
現(xiàn)在，將詳細(xì)描述模擬函數(shù)f(x，y)。
例如，假設(shè)傳感器2(圖236)已經(jīng)檢測(cè)出具有由上述圖249所示的梯度GF表示的空間方向連續(xù)性的現(xiàn)實(shí)世界1的光信號(hào)(由波形F(x，y)表示的光信號(hào))，并將其輸出作為輸入圖像(像素值)。
另外，例如，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖3)已經(jīng)對(duì)輸入圖像的在X方向上的4個(gè)像素和在Y方向上的5個(gè)像素共20個(gè)像素(圖中由虛線表示的20個(gè)方形)構(gòu)成的輸入圖像的區(qū)域3221進(jìn)行了其處理，并輸出角度θ(在由對(duì)應(yīng)于梯度GF的由梯度Gf表示的數(shù)據(jù)連續(xù)性方向與X方向之間的角度θ)作為數(shù)據(jù)連續(xù)性信息的一個(gè)，如圖251所示。
注意，如在現(xiàn)實(shí)世界估計(jì)單元102所示，數(shù)據(jù)連續(xù)性檢測(cè)單元101可以只輸出關(guān)注像素上的角度θ，因此，數(shù)據(jù)連續(xù)性檢測(cè)單元101的處理區(qū)域不限于輸入圖像中的上述區(qū)域3221。
另外，在輸入圖像的區(qū)域3221中，圖中水平方向表示作為空間方向的一個(gè)方向的X方向，以及圖中垂直方向表示作為空間方向的另一個(gè)方向的Y方向。
另外，在圖251中，取為自左的第二個(gè)像素、同時(shí)為自底部的第三個(gè)像素的像素作為關(guān)注像素，并建立(x，y)坐標(biāo)系，取關(guān)注像素的中心為原點(diǎn)(0，0)。將在X方向上相對(duì)于通過(guò)原點(diǎn)(0，0)并具有角度θ的直線(具有表示數(shù)據(jù)連續(xù)性方向的梯度Gf的直線)的相對(duì)距離(下文中，稱為截面方向距離)描述為x’。
另外，在圖251中，右側(cè)的曲線圖是表示作為n維(n為任意整數(shù))多項(xiàng)式的模擬函數(shù)f(x’)，其為模擬一維波形(下文中稱為X截面波形F(x’))的函數(shù)，在所述一維波形中，將變量為在三維空間中的位置x、y和z、以及時(shí)刻t的圖像函數(shù)F(x，y，t)在X方向上投影到Y(jié)方向中的任意位置y上。在右側(cè)曲線圖中的軸線中，圖中水平方向上的軸線表示截面方向距離，以及圖中垂直方向上的軸線表示像素值。
在該情況下，如圖251所示的模擬函數(shù)f(x’)是n維多項(xiàng)式，因而由下面公式(187)表示。
公式(187) 另外，由于角度θ確定，因此具有角度θ并通過(guò)原點(diǎn)(0，0)的直線是唯一確定的，在Y方向上的任意位置y上，直線在X方向上的位置x1由下面公式(188)表示。然而，在公式(188)中，s表示cotθ。
x1＝s×y公式(188) 也就是說(shuō)，如圖251所示，由坐標(biāo)值(x1，y)表示對(duì)應(yīng)于由梯度Gf表示的數(shù)據(jù)連續(xù)性的直線上的點(diǎn)。
利用公式(188)，將截面方向距離x’表示成如下面公式(189)。
x′＝x-x1＝x-s×y公式(189) 因此，利用公式(187)和公式(189)，將輸入圖像區(qū)域3221內(nèi)的任意位置(x，y)上的模擬函數(shù)f(x，y)表示成下面的公式(190)。
公式(190) 注意，在公式(190)中，wi表示模擬函數(shù)f(x，y)的特征。
現(xiàn)在，將返回圖250進(jìn)行描述，其中從現(xiàn)實(shí)世界估計(jì)單元102提供包括在公式(190)中的特征wi，并將其存儲(chǔ)到特征存儲(chǔ)單元3202中。當(dāng)特征存儲(chǔ)單元3202存儲(chǔ)了由公式(190)表示的全部特征wi，則特征存儲(chǔ)單元3202產(chǎn)生包括全部特征wi的特征表，并將其提供給輸出像素值計(jì)算單元3204。
當(dāng)將公式(190)的模擬函數(shù)f(x，y)代入上述公式(186)右側(cè)的模擬函數(shù)f(x，y)以展開(kāi)(計(jì)算)公式(186)的右側(cè)，則輸出像素值M被表示為下面的公式(191)。
公式(191) 在公式(191)中，Ki(xs，xe，ys，ye)表示i維項(xiàng)的積分分量。也就是說(shuō)，積分分量Ki(xs，xe，ys，ye)如下面公式(192)所示。
公式(192) 積分分量計(jì)算單元3303計(jì)算積分分量Ki(xs，xe，ys，ye)。
尤其是，如公式(191)和公式(192)所示，只要已知積分范圍在X方向上的開(kāi)始位置xs和在X方向上的結(jié)束位置xe、積分范圍在Y方向上的開(kāi)始位置ys和在Y方向上的結(jié)束位置ye、i維項(xiàng)的增益Ge和i，則可以計(jì)算積分分量Ki(xs，xe，ys，ye)。
其中，利用由條件設(shè)置單元3201設(shè)置的空間分辨率冪數(shù)(積分范圍)確定增益Ge。
利用由條件設(shè)置單元3201設(shè)置的維數(shù)n確定范圍i。
變量s如上所述為cotθ，從而由從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的角度θ確定。
另外，由現(xiàn)在將產(chǎn)生的輸出像素的中心像素位置(x，y)和像素寬度確定積分范圍在X方向上的開(kāi)始位置xs和在X方向上的結(jié)束位置xe、以及積分范圍在Y方向上的開(kāi)始位置ys和在Y方向上的結(jié)束位置ye中的每一個(gè)。注意，當(dāng)現(xiàn)實(shí)世界估計(jì)單元102產(chǎn)生模擬函數(shù)f(x)時(shí)， (x，y)表示距離關(guān)注像素的中心位置的相對(duì)位置。
另外，利用由條件設(shè)置單元3201設(shè)置的空間分辨率冪數(shù)(積分范圍)確定現(xiàn)在將產(chǎn)生的輸出像素的中心像素位置(x，y)和像素寬度。
因此，積分分量計(jì)算單元3203基于由條件設(shè)置單元3201設(shè)置的維數(shù)和空間分辨率冪數(shù)(積分范圍)、以及從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度θ而計(jì)算積分分量Ki(xs，xe，ys，ye)，并將計(jì)算結(jié)果提供給輸出像素值計(jì)算單元3204作為積分分量表。
輸出像素值計(jì)算單元3204利用從特征存儲(chǔ)單元3202提供的特征表、以及從積分分量計(jì)算單元3203提供的積分分量表而計(jì)算上述公式(191)的右側(cè)，并將計(jì)算結(jié)果輸出作為輸出像素值M。
接著，將參考圖252中的流程圖描述采用二維再積分方法利用圖像產(chǎn)生單元103(圖251)的圖像產(chǎn)生處理(圖40的步驟S103中的處理)。
例如，假設(shè)已經(jīng)將如圖249所示的由函數(shù)F(x，y)表示的光信號(hào)投影到傳感器2中以變成輸入圖像，并且，現(xiàn)實(shí)世界估計(jì)單元102已經(jīng)產(chǎn)生用于模擬函數(shù)F(x，y)的模擬函數(shù)f(x，y)，其中取上述如圖253所示的一個(gè)像素3231作為在上述圖40的步驟S102的處理中的關(guān)注像素。
注意，在圖253中，取像素3231的像素值(輸入像素值)為P，取像素3231的形狀為邊長(zhǎng)為1的方形。另外，在空間方向中，取平行于像素3231的一邊的方向?yàn)閄方向，取垂直于X方向的方向?yàn)閅方向。另外，設(shè)置原點(diǎn)為像素3231的中心的空間方向(X方向和Y方向)中的坐標(biāo)系(下文中稱為關(guān)注像素坐標(biāo)系)。
另外，假設(shè)在圖253中，取像素3231為關(guān)注像素的數(shù)據(jù)連續(xù)性檢測(cè)單元101在上述圖40的步驟S101的處理中，已經(jīng)輸出角度θ作為對(duì)應(yīng)于由梯度Gf表示的數(shù)據(jù)連續(xù)性的數(shù)據(jù)連續(xù)性信息。
下面返回圖252描述，在該情況下，條件設(shè)置單元3201在步驟S3201中設(shè)置條件(維數(shù)和積分范圍)。
例如，現(xiàn)在，假設(shè)設(shè)置維數(shù)為5，另外設(shè)置空間四倍密度(空間分辨率冪數(shù)，其導(dǎo)致像素的間距寬度在上、下、左、右邊上變成1/2冪)作為積分范圍。
也就是說(shuō)，在該情況下，已經(jīng)設(shè)置在X方向上的-0.5到0.5的范圍、同時(shí)在Y方向上的-0.5到0.5的范圍(圖253的像素3231的范圍上)上新產(chǎn)生像素3241到像素3244四個(gè)像素，如圖254所示。注意，在圖254中，示出了與圖253相同的關(guān)注像素坐標(biāo)系。
另外，在圖254中，M(1)表示現(xiàn)在將產(chǎn)生的像素3241的像素值、M(2)表示現(xiàn)在將產(chǎn)生的像素3242的像素值、M(3)表示現(xiàn)在將產(chǎn)生的像素3243的像素值、以及M(4)表示現(xiàn)在將產(chǎn)生的像素3244的像素值。
現(xiàn)在返回圖252描述，在步驟S3202中，特征存儲(chǔ)單元3202獲取從現(xiàn)實(shí)世界估計(jì)單元102提供的模擬函數(shù)f(x，y)的特征，并產(chǎn)生特征表。在該情況下，從現(xiàn)實(shí)世界估計(jì)單元102提供作為5維多項(xiàng)式的模擬函數(shù)f(x)的系數(shù)w0到w5，因此，產(chǎn)生(w0，w1，w2，w3，w4，w5)作為特征表。
在步驟S3203中，積分分量計(jì)算單元3203基于由條件設(shè)置單元3201設(shè)置的條件(維數(shù)和積分范圍)、從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度θ)而計(jì)算積分分量，并產(chǎn)生積分分量表。
尤其是，例如，假設(shè)數(shù)(下文稱該數(shù)為模數(shù))1到4被分別附加到現(xiàn)在將產(chǎn)生的像素3241到3244，積分分量計(jì)算單元3203將上述公式(191)的積分分量Ki(xs，xe，ys，ye)計(jì)算為l的函數(shù)(然而，l表示模數(shù))，如如下面公式(193)左側(cè)所示的積分分量Ki(l)。
Ki(l)＝Ki(xs，xe，ys，ye) 公式(193) 尤其是，在該情況下，計(jì)算如下面公式(194)所示的積分分量Ki(l)。
ki(1)＝ki(-0.5，0，o，0.5) ki(2)＝ki(0，0.5，0，0.5) ki(3)＝ki(-0.5，0，-0.5，0) ki(4)＝ki(0，0.5，-0.5，0)公式(194) 注意，在公式(194)中，左側(cè)表示積分分量Ki(l)，右側(cè)表示積分分量Ki(xs，xe，ys，ye)。也就是說(shuō)，在該情況下，l是1到4中的任意一個(gè)，i是0到5中的任意一個(gè)，因此計(jì)算6Ki(1)，6Ki(2)，6Ki(3)，以及6Ki(4)共24個(gè)Ki(l)。
更具體的是，首先，積分分量計(jì)算單元3203利用從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的角度θ計(jì)算上述公式(188)的變量s(s＝cotθ)。
接著，積分分量計(jì)算單元3203利用計(jì)算的變量s計(jì)算公式(194)中四個(gè)公式每個(gè)右側(cè)的關(guān)于i＝0到5的積分分量Ki(xs，xe，ys，ye)。注意，在該對(duì)積分分量Ki(xs，xe，ys，ye)的計(jì)算中，采用了上述公式(191)。
隨后，積分分量計(jì)算單元3203根據(jù)公式(194)將計(jì)算的24個(gè)積分分量Ki(xs，xe，ys，ye)的每個(gè)轉(zhuǎn)換成相應(yīng)的積分分量Ki(l)，并產(chǎn)生包括被轉(zhuǎn)換成24個(gè)積分分量Ki(l)(即，6 Ki(1)、6Ki(2)、6Ki(3)以及6 Ki(4))的積分分量表。
注意，步驟S3202中的處理和步驟S3203中的處理的順序不限于圖252中的實(shí)例，可以先執(zhí)行步驟S3203中的處理，或者可以同時(shí)執(zhí)行步驟S3202中的處理和步驟S3203中的處理。
接著，在步驟S3204中，輸出像素值計(jì)算單元3204基于由特征存儲(chǔ)單元3202在步驟S3202中的處理產(chǎn)生的特征表、以及由積分分量計(jì)算單元3203在步驟S3203的處理中產(chǎn)生的積分分量表分別計(jì)算輸出像素值M(1)到M(4)。
尤其是，在該情況下，輸出像素值計(jì)算單元3204通過(guò)計(jì)算對(duì)應(yīng)于上述公式(191)的下面公式(195)到公式(198)的右側(cè)而計(jì)算如圖254所示的如下中的每個(gè)像素3241的像素值M(1)(模數(shù)為1的像素)、像素3242的像素值M(2)(模數(shù)為2的像素)、像素3243的像素值M(3)(模數(shù)為3的像素)、以及像素3244的像素值M(4)(模數(shù)為4的像素)。
公式(195) 公式(196) 公式(197) 公式(198) 然而，在該情況下，公式(195)到公式(198)的每個(gè)n變?yōu)?。
在步驟S3205中，輸出像素值計(jì)算單元3204確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S3205中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S3202，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S3202到S3204。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S3205中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，輸出像素值計(jì)算單元3204在步驟S3206中輸出圖像。然后，圖像產(chǎn)生處理結(jié)束。
從而，通過(guò)采用一維再積分方法可以生成比輸出像素3231具有更高空間分辨率的四個(gè)像素，即像素3241到像素3244(圖254)作為位于來(lái)自傳感器2(圖236)的輸入圖像的像素3231(圖253)上的像素。另外，雖然圖中沒(méi)有示出，如上所述，除了像素3241到像素3244，圖像產(chǎn)生單元103通過(guò)適當(dāng)變化積分范圍可以產(chǎn)生相對(duì)于輸入像素3231具有任意冪數(shù)的空間分辨率的像素，而不會(huì)降級(jí)。
如上所述，在描述二維再積分方法中，已經(jīng)采用了相對(duì)于空間方向(X方向和Y方向)對(duì)模擬函數(shù)f(x，y)進(jìn)行二維積分的實(shí)例，但是可以將二維再積分方法用于時(shí)間-空間方向(X方向和t方向，或Y方向和t方向)。
也就是說(shuō)，上述實(shí)例是這樣的實(shí)例，其中現(xiàn)實(shí)世界1中的光信號(hào)(圖236)具有由如圖249所示的梯度GF表示的空間方向中的連續(xù)性，以及因此，如上述公式(186)所示，采用如公式(186)所示的包括空間方向(X方向和Y方向)中的二維積分的公式。然而，關(guān)于二維積分的構(gòu)思不僅可以被施加到空間方向，還可以被施加到時(shí)間和空間方向(X方向和t方向，或Y方向和t方向)。
換句話說(shuō)，在作為二維再積分方法的假設(shè)的二維多項(xiàng)式模擬方法中，即使在這樣的情況下，其中，表示光信號(hào)的函數(shù)F(x，y，t)不僅具有空間方向中的連續(xù)性，還具有時(shí)間和空間方向中的連續(xù)性(然而，X方向和t方向，或Y方向和t方向)，這可以利用二維多項(xiàng)式模擬。
尤其是，例如，在存在在水平方向上以均勻速度水平移動(dòng)的對(duì)象的情況下，對(duì)象的移動(dòng)方向由如圖255所示的X-t平面中的梯度VF表示。換句話說(shuō)，可以認(rèn)為梯度VF表示在X-t平面中的時(shí)間和空間方向上的連續(xù)性方向。因此，數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖236)可以輸出如圖255所示的移動(dòng)θ(嚴(yán)格地說(shuō)，雖然圖中沒(méi)有示出，移動(dòng)θ是由用對(duì)應(yīng)于梯度VF的梯度Vf表示的數(shù)據(jù)連續(xù)性方向與空間方向中的X方向產(chǎn)生的角度)作為數(shù)據(jù)連續(xù)性信息，其對(duì)應(yīng)于表示在X-t平面中的時(shí)間和空間方向上的連續(xù)性的梯度VF、以及角度θ(對(duì)應(yīng)于表示在X-Y平面中空間方向中的連續(xù)性的梯度GF的數(shù)據(jù)連續(xù)性信息)。
另外，采用二維多項(xiàng)式模擬方法的現(xiàn)實(shí)世界估計(jì)單元102(圖236)通過(guò)用移動(dòng)θ代替角度θ，可以以與上述方法相同的方法計(jì)算模擬函數(shù)f(x，t)的系數(shù)(特征)wi。然而，在該情況下，將要使用的公式不是上述公式(190)，而是下面的公式(199)。
公式(199) 注意，在公式(199)中，s為cotθ(然而，θ是移動(dòng))。
因此，采用二維再積分方法的圖像產(chǎn)生單元103(圖236)通過(guò)將上述公式(199)的f(x，t)代入下面公式(200)的右側(cè)并計(jì)算可以計(jì)算像素值M。
公式(200) 注意，在公式(200)中，ts表示在t方向上的積分開(kāi)始位置，以及te表示在t方向上的積分結(jié)束位置。類似，xs表示在X方向上的積分開(kāi)始位置，以及xe表示在X方向上的積分結(jié)束位置。另外，Ge表示預(yù)定增益。
可選的是，可以以與上述函數(shù)f(x，t)相同的方法處理模擬函數(shù)f(y，t)，其關(guān)注空間方向Y而不是空間方向X。
另外，在公式(199)中，通過(guò)將t方向看作常量，可以獲得不在時(shí)間方向上積分的數(shù)據(jù)，即沒(méi)有由于移動(dòng)模糊的數(shù)據(jù)，即，通過(guò)省略在t方向上的積分而進(jìn)行積分。換句話說(shuō)，該方法可以看作一種二維再積分方法，因?yàn)樵诙S多項(xiàng)式的一個(gè)特定維度為常量的條件下進(jìn)行再積分，或者實(shí)際上，可以看作一種一維再積分方法，因?yàn)樵赬方向上進(jìn)行一維再積分。
另外，在公式(200)中，可以任意設(shè)置積分范圍，因此，在二維再積分方法中，通過(guò)適當(dāng)?shù)刈兓e分范圍，可以產(chǎn)生相對(duì)于原始像素(來(lái)自傳感器2(圖236)的輸入圖像的像素)具有任意冪數(shù)的分辨率的像素，而不會(huì)降級(jí)。
也就是說(shuō)，在二維再積分方法中，通過(guò)適當(dāng)?shù)刈兓跁r(shí)間方向t上的積分范圍可以產(chǎn)生時(shí)間分辨率。另外，通過(guò)適當(dāng)?shù)刈兓诳臻g方向X(或空間方向Y)上的積分范圍可以產(chǎn)生空間分辨率。另外，通過(guò)適當(dāng)?shù)刈兓跁r(shí)間方向t上、和在空間方向X上每個(gè)的積分范圍可以同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率。
注意，如上所述，即使在一維再積分方法中，可以進(jìn)行產(chǎn)生時(shí)間分辨率和空間分辨率中的任意一種，但是在一維再積分方法中，理論上不能進(jìn)行同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率，只有通過(guò)進(jìn)行二維或更多維積分下才有可能。也就是說(shuō)，只有通過(guò)采用二維再積分和下述的三維再積分方法，才可以同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率。
另外，二維再積分方法考慮二維積分效應(yīng)而不是一維積分效應(yīng)，因此，可以產(chǎn)生更接近現(xiàn)實(shí)世界1中的光信號(hào)(圖236)的圖像。
換句話說(shuō)，在二維再積分方法中，例如，圖236(圖3)中的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)由多個(gè)像素構(gòu)成的輸入圖像的數(shù)據(jù)的連續(xù)性(例如，由圖251中的梯度Gf表示的數(shù)據(jù)連續(xù)性)，所述像素具有像素值，其中由每個(gè)具有空間-時(shí)間積分效應(yīng)的傳感器2的多個(gè)檢測(cè)元件投影將現(xiàn)實(shí)世界1的光信號(hào)投影為輸入圖像，并且被所述圖像檢測(cè)元件所投影，在輸入圖像中丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性(例如由圖149中的梯度GF表示的連續(xù)性)。
隨后，例如，在這樣的假設(shè)下，對(duì)應(yīng)于圖像數(shù)據(jù)的時(shí)間-空間方向的二維方向(例如圖249中的空間方向X和空間方向Y)中的至少一個(gè)位置的像素的像素值是通過(guò)在至少二維方向上的積分效應(yīng)而獲取的像素值，圖236(圖3)中的現(xiàn)實(shí)世界估計(jì)單元102響應(yīng)由連續(xù)性檢測(cè)單元檢測(cè)的數(shù)據(jù)連續(xù)性通過(guò)利用作為多項(xiàng)式的模擬函數(shù)f(x，y)模擬表示現(xiàn)實(shí)世界1的光信號(hào)的光信號(hào)函數(shù)F(尤其是，圖249中的函數(shù)F(x，y))而估計(jì)光信號(hào)函數(shù)F。
具體說(shuō)，例如，在這樣的條件下，對(duì)應(yīng)于沿二維方向離對(duì)應(yīng)于由連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性(例如，對(duì)應(yīng)于圖251中的梯度Gf的直線(箭頭))的直線的至少一個(gè)距離(例如，圖251中的截面方向距離x’)的像素的像素值是通過(guò)至少在二維方向上的積分效應(yīng)而獲得的像素值，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用作為多項(xiàng)式的第二函數(shù)模擬表示現(xiàn)實(shí)世界的光信號(hào)的第一函數(shù)而估計(jì)第一函數(shù)。
在二維再積分方法中，基于這樣的假設(shè)，例如，圖236(圖3)中的圖像產(chǎn)生單元103(圖250中的結(jié)構(gòu))產(chǎn)生對(duì)應(yīng)于圖236中的像素(例如，輸出圖像(像素值M))的像素值。尤其是，例如像素3241到像素3244)，所述像素通過(guò)積分由現(xiàn)實(shí)世界估計(jì)單元102估計(jì)的函數(shù)F(x，y)，即在二維方向中的至少希望增量上的模擬函數(shù)f(x，y)(例如通過(guò)計(jì)算上述公式(186)的右側(cè))，而具有希望的尺寸。
因此，在二維再積分方法中，不僅可以產(chǎn)生時(shí)間分辨率和空間分辨率中的一個(gè)，還可以同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率。另外，在二維再積分方法中，可以比一維再積分方法產(chǎn)生更接近現(xiàn)實(shí)世界1的光信號(hào)的圖像。
接著，將參考圖256和圖257描述三維再積分方法。
在三維再積分方法中，假設(shè)已經(jīng)利用三維函數(shù)模擬方法產(chǎn)生模擬函數(shù)f(x，y，t)。
在該情況下，在三維再積分方法中，輸出像素值M被計(jì)算為如下公式(201)。
公式(201) 注意，在公式(201)中，ts表示在t方向上的積分開(kāi)始位置，以及te表示在t方向上的積分結(jié)束位置。類似，ys表示在Y方向上的積分開(kāi)始位置，以及ye表示在Y方向上的積分結(jié)束位置。另外，xs表示在X方向上的積分開(kāi)始位置，以及xe表示在X方向上的積分結(jié)束位置。另外，Ge表示預(yù)定增益。
在公式(201)中，積分范圍可以任意設(shè)置，因此，在三維再積分方法中，通過(guò)適當(dāng)?shù)馗淖兎e分范圍，可以產(chǎn)生相對(duì)于原始像素(從傳感器2(圖236)輸入的圖像的像素)具有任意冪次的時(shí)間空間分辨率的像素，而不會(huì)降級(jí)。也就是說(shuō)，當(dāng)減小空間方向上的積分范圍，可以不受約束地減小像素間距。另一方面，當(dāng)增大空間方向上的積分范圍，可以不受約束地增大像素間距。另外，當(dāng)減小時(shí)間方向上的積分范圍，可以基于實(shí)際波形產(chǎn)生時(shí)間分辨率。
圖256示出了采用三維再積分方法的圖像產(chǎn)生單元103的結(jié)構(gòu)實(shí)例。
如圖256所示，在該圖像產(chǎn)生單元103的實(shí)例中包括條件設(shè)置單元3301、特征存儲(chǔ)單元3302、積分分量計(jì)算單元3303、以及輸出像素值計(jì)算單元3304。
條件設(shè)置單元3301基于從現(xiàn)實(shí)世界估計(jì)單元102提供的現(xiàn)實(shí)世界估計(jì)信息(在圖256的實(shí)例中的模擬函數(shù)f(x，y，t)的特征)設(shè)置模擬函數(shù)f(x，y，t)的維數(shù)n。
條件設(shè)置單元3301設(shè)置在再積分模擬函數(shù)f(x，y，t)的情況中(在計(jì)算輸出像素值的情況中)的積分范圍。注意，由條件設(shè)置單元3301設(shè)置的積分范圍不需要為像素的寬度(水平或垂直寬度)或快門時(shí)間自身。例如，只要已知相對(duì)于來(lái)自傳感器2(圖236)的輸入圖像的每個(gè)像素的空間尺寸的輸出像素(將由圖像產(chǎn)生單元103現(xiàn)在產(chǎn)生的像素)的相對(duì)尺寸(空間分辨率的冪數(shù))，則可以確定空間方向中的具體積分范圍。類似，只要已知相對(duì)于傳感器2(圖236)的快門時(shí)間的輸出像素的相對(duì)時(shí)間(時(shí)間分辨率的冪數(shù))，則可以確定時(shí)間方向中的具體積分范圍。因此，條件設(shè)置單元3301可以設(shè)置例如空間分辨率冪數(shù)和時(shí)間分辨率冪數(shù)作為積分范圍。
特征存儲(chǔ)單元3302臨時(shí)存儲(chǔ)從現(xiàn)實(shí)世界估計(jì)單元102順序提供的模擬函數(shù)f(x，y，t)的特征。然后，當(dāng)特征存儲(chǔ)單元3302存儲(chǔ)了模擬函數(shù)f(x，y，t)的全部特征時(shí)，則特征存儲(chǔ)單元3302產(chǎn)生包括模擬函數(shù)f(x，y，t)的全部特征的特征表，并將其提供給輸出像素值計(jì)算單元3304。
另外，當(dāng)展開(kāi)上述公式(201)右側(cè)的模擬函數(shù)f(x，y)，則輸出像素值M被表示為下面的公式(202)。
公式(202) 在公式(202)中，Ki(xs，xe，ys，ye，ts，te)表示i維項(xiàng)的積分分量。然而，分別為，xs表示在X方向上的積分范圍開(kāi)始位置，以及xe表示在X方向上的積分范圍結(jié)束位置；ys表示在Y方向上的積分范圍開(kāi)始位置，以及ye表示在Y方向上的積分范圍結(jié)束位置；ts表示在t方向上的積分范圍開(kāi)始位置，以及te表示在t方向上的積分范圍結(jié)束位置。
積分分量計(jì)算單元3303計(jì)算積分分量Ki(xs，xe，ys，ye，ts，te)。
尤其是，積分分量計(jì)算單元3303基于由條件設(shè)置單元3301設(shè)置的維數(shù)和積分范圍(空間分辨率冪或時(shí)間分辨率冪)、從數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出的數(shù)據(jù)連續(xù)性信息的角度θ或移動(dòng)θ計(jì)算積分分量Si(xs，xe，ys，ye，ts，te)，并將計(jì)算結(jié)果提供輸出像素值計(jì)算單元3304作為積分分量表。
輸出像素值計(jì)算單元3304利用從特征存儲(chǔ)單元3302提供的特征表、以及從積分分量計(jì)算單元3303提供的積分分量表而計(jì)算上述公式(202)的右側(cè)，并將計(jì)算結(jié)果輸出作為輸出像素值M。
接著，將參考圖257中的流程圖描述采用三維再積分方法利用圖像產(chǎn)生單元103(圖2256)的圖像產(chǎn)生處理(圖40的步驟S103中的處理)。
例如，假設(shè)現(xiàn)實(shí)世界估計(jì)單元102已經(jīng)產(chǎn)生模擬函數(shù)f(x，y，t)，所述函數(shù)以輸入圖像的預(yù)定像素作為在上述圖40的步驟S102的處理中的關(guān)注像素，而模擬現(xiàn)實(shí)世界1中的光信號(hào)(圖236)。
另外，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元101(圖236)已經(jīng)輸出角度θ或移動(dòng)θ作為數(shù)據(jù)連續(xù)性信息，以與現(xiàn)實(shí)世界估計(jì)單元102相同的像素作為關(guān)注像素。
在該情況下，條件設(shè)置單元3301在圖257的步驟S3301中設(shè)置條件(維數(shù)和積分范圍)。
在步驟S3302中，特征存儲(chǔ)單元3302獲取從現(xiàn)實(shí)世界估計(jì)單元102提供的模擬函數(shù)f(x，y，t)的特征，并產(chǎn)生特征表。
在步驟S3303中，積分分量計(jì)算單元3303基于由條件設(shè)置單元3301設(shè)置的條件(維數(shù)和積分范圍)、從數(shù)據(jù)連續(xù)性檢測(cè)單元101提供的數(shù)據(jù)連續(xù)性信息(角度θ或移動(dòng)θ)而計(jì)算積分分量，并產(chǎn)生積分分量表。
注意，步驟S3302中的處理和步驟S3303中的處理的順序不限于圖257中的實(shí)例，可以先執(zhí)行步驟S3303中的處理，或者可以同時(shí)執(zhí)行步驟S3302中的處理和步驟S3303中的處理。
接著，在步驟S3304中，輸出像素值計(jì)算單元3304基于由特征存儲(chǔ)單元3302在步驟S3202中的處理產(chǎn)生的特征表、以及由積分分量計(jì)算單元3303在步驟S3303的處理中產(chǎn)生的積分分量表計(jì)算每個(gè)輸出像素值。
在步驟S3305中，輸出像素值計(jì)算單元3304確定是否已經(jīng)完成對(duì)全部像素的處理。
在步驟S3305中，在確定仍未完成對(duì)全部像素的處理時(shí)，該處理返回步驟S3302，其中重復(fù)進(jìn)行后面的處理。也就是說(shuō)，隨后取未變成關(guān)注像素的像素作為關(guān)注像素，并重復(fù)進(jìn)行步驟S3302到S3304。
在已經(jīng)完成對(duì)全部像素的處理的情況下(在步驟S3305中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下)，輸出像素值計(jì)算單元3304在步驟S3306中輸出圖像。然后，圖像產(chǎn)生處理結(jié)束。
在公式(201)中，積分范圍可以任意設(shè)置，因此，在三維再積分方法中，通過(guò)適當(dāng)?shù)馗淖兎e分范圍，可以產(chǎn)生相對(duì)于原始像素(從傳感器2(圖236)輸入的圖像的像素)具有任意冪次的分辨率的像素，而不會(huì)降級(jí)。
也就是說(shuō)，在三維再積分方法中，通過(guò)適當(dāng)?shù)刈兓跁r(shí)間方向上的積分范圍可以產(chǎn)生時(shí)間分辨率。另外，通過(guò)適當(dāng)?shù)刈兓诳臻g方向上的積分范圍可以產(chǎn)生空間分辨率。另外，通過(guò)適當(dāng)?shù)刈兓跁r(shí)間方向上、和在空間方向上的每個(gè)積分范圍可以同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率。
尤其是，在三維再積分方法中，當(dāng)從三維降級(jí)到二維或一維時(shí)不需要模擬，從而允許高精度處理。另外，可以處理在傾斜方向上的移動(dòng)，而不降級(jí)到二維。另外，不降級(jí)到二維允許在每個(gè)維度上的處理。例如，在二維再積分方法中，在在空間方向(X方向和Y方向)中降級(jí)的情況下，不能進(jìn)行在作為時(shí)間方向的t方向上的處理。另一方面，在三維再積分方法中，可以進(jìn)行在時(shí)間-空間方向中的任何處理。
注意，如上所述，即使在一維再積分方法中，可以進(jìn)行產(chǎn)生時(shí)間分辨率和空間分辨率中的任意一種，但是在一維再積分方法中，理論上不能進(jìn)行同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率，只有通過(guò)進(jìn)行二維或更多維積分下才有可能。也就是說(shuō)，只有通過(guò)采用上述二維再積分和三維再積分方法，才可以同時(shí)產(chǎn)生時(shí)間分辨率和空間分辨率。
另外，三維再積分方法考慮三維積分效應(yīng)而不是一維積分效應(yīng)和二維再積分效應(yīng)，因此，可以產(chǎn)生更接近現(xiàn)實(shí)世界1中的光信號(hào)(圖236)的圖像。
換句話說(shuō)，在三維再積分方法中，例如，在對(duì)應(yīng)于由多個(gè)像素構(gòu)成的輸入圖像的時(shí)間-空間方向的至少一維方向中的至少一個(gè)位置的像素的像素值是通過(guò)在至少一維方向上的積分效應(yīng)而獲取的像素值所述多個(gè)像素具有像素值，每個(gè)具有時(shí)間-空間積分效應(yīng)的傳感器2的多個(gè)檢測(cè)單元將現(xiàn)實(shí)世界1中的光信號(hào)投影為輸入圖像，并且被所述檢測(cè)元件投影，在所述輸入圖像中丟失了現(xiàn)實(shí)世界1中的光信號(hào)的部分連續(xù)性的條件下，圖236(圖3)中的現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用預(yù)定模擬函數(shù)f模擬表示現(xiàn)實(shí)世界1的光信號(hào)的光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)F。
另外，例如，在圖236(圖3)的數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)輸入圖像的連續(xù)性的情況下，在這樣的條件下，對(duì)應(yīng)于對(duì)應(yīng)由數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù)在時(shí)間-空間方向中的一維方向中的至少一個(gè)位置上的像素的像素值是通過(guò)至少在一維方向上的積分效應(yīng)而獲得的像素值，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用模擬函數(shù)f模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)F。
具體說(shuō)，例如，在這樣的條件下，對(duì)應(yīng)于沿一維方向離對(duì)應(yīng)于由連續(xù)性檢測(cè)單元101檢測(cè)的數(shù)據(jù)連續(xù)性的直線的至少一個(gè)距離的像素的像素值是通過(guò)至少在一維方向上的積分效應(yīng)而獲得的像素值，則現(xiàn)實(shí)世界估計(jì)單元102通過(guò)利用模擬函數(shù)模擬光信號(hào)函數(shù)F而估計(jì)光信號(hào)函數(shù)。
在三維再積分方法中，例如，圖236(圖3)中的圖像產(chǎn)生單元103(圖256中的結(jié)構(gòu))(例如通過(guò)計(jì)算上述公式(201)的右側(cè))產(chǎn)生對(duì)應(yīng)于這樣的像素的像素值，所述像素通過(guò)積分由現(xiàn)實(shí)世界估計(jì)單元102估計(jì)的函數(shù)F，即在一維方向中的至少希望增量上的模擬函數(shù)f，而具有希望的尺寸。
因此，在三維再積分方法中，可以常規(guī)圖像產(chǎn)生方法、或上述一維再積分方法或二維再積分方法產(chǎn)生更接近現(xiàn)實(shí)世界1的光信號(hào)(圖236)的圖像。
接著，將參考258描述圖像產(chǎn)生單元103，在這樣的情況下，即從現(xiàn)實(shí)世界估計(jì)單元102輸入的現(xiàn)實(shí)世界估計(jì)信息是近似表示參考像素的每個(gè)像素值的模擬函數(shù)f(x)上的每個(gè)像素的導(dǎo)數(shù)值或梯度的信息，則所述圖像產(chǎn)生單元103基于每個(gè)像素的導(dǎo)數(shù)值或梯度新產(chǎn)生像素。
注意，在獲得近似表示參考像素的每個(gè)像素值的模擬函數(shù)f(x)后，這里提到的“導(dǎo)數(shù)值”表示在預(yù)定位置上利用從其模擬函數(shù)f(x)獲得的一維微分方程f(x)’(在模擬函數(shù)在幀方向中的情況下，從其模擬函數(shù)f(t)獲得的一維微分方程f(t)’)而獲得的值。另外，這里提到的術(shù)語(yǔ)“梯度”表示從周邊像素的像素值直接獲得的模擬函數(shù)f(x)的預(yù)定位置上的梯度，而沒(méi)有獲得上述模擬函數(shù)f(x)(或f(t))。然而，導(dǎo)數(shù)值表示在模擬函數(shù)f(x)的預(yù)定位置上的梯度，因此，兩種情況都表示在模擬函數(shù)f(x)的預(yù)定位置上的梯度。因此，在描述圖258和圖262中的圖像產(chǎn)生單元103中，對(duì)于作為從現(xiàn)實(shí)世界估計(jì)單元102輸入的現(xiàn)實(shí)世界估計(jì)信息的導(dǎo)數(shù)值和梯度，它們是統(tǒng)一的，并被稱為模擬函數(shù)f(x)或f(t)上的梯度。
梯度獲取單元3401關(guān)于近似表示從現(xiàn)實(shí)世界估計(jì)單元102輸入的參考像素的像素值的模擬函數(shù)f(x)，獲取每個(gè)像素的梯度信息、相應(yīng)像素的像素值、以及在連續(xù)性方向上的連續(xù)性，并將其輸出給外推/內(nèi)插單元3402。
外推/內(nèi)插單元3402利用基于從梯度獲取單元3401輸入的模擬函數(shù)f(x)上的每個(gè)像素的梯度、相應(yīng)像素的像素值、以及在連續(xù)性方向上的梯度的外推/內(nèi)插，而產(chǎn)生比輸入圖像具有特定冪數(shù)的更高密度的像素，并輸出像素作為輸出圖像。
接著，將參考圖259的流程圖描述圖258中的圖像產(chǎn)生單元103的圖像產(chǎn)生處理。
在步驟S3401中，梯度獲取單元3401獲取關(guān)于從現(xiàn)實(shí)世界估計(jì)單元102輸入的模擬函數(shù)f(x)上的梯度(導(dǎo)數(shù)值)、每個(gè)像素的位置和像素值、以及在連續(xù)性方向上的梯度的信息作為現(xiàn)實(shí)世界估計(jì)信息。
這里，例如，在產(chǎn)生由具有在空間方向X和空間方向Y上的二倍密度(共4倍)的像素構(gòu)成的圖像作為輸入圖像的情況下，從現(xiàn)實(shí)世界估計(jì)單元102輸入如圖260所示的像素Pin的關(guān)于如下的信息梯度f(wàn)(Xin)’(在像素Pin中心位置上的梯度)、f(Xin-Cx(-0.25))’(當(dāng)從像素Pin產(chǎn)生Y方向上的二倍密度的像素，在像素Pa的中心位置上的梯度)、f(Xin-Cx(0.25))’(當(dāng)從像素Pin產(chǎn)生Y方向上的二倍密度的像素，在像素Pb的中心位置上的梯度)、像素Pin的位置和像素值、以及在連續(xù)性方向上的梯度Gf。
在步驟S3402中，梯度獲取單元3401從輸入的現(xiàn)實(shí)世界估計(jì)信息選擇相應(yīng)的關(guān)注像素的信息，并將其輸出給外推/內(nèi)插單元3402。
在步驟S3403中，外推/內(nèi)插單元3402獲得來(lái)自輸入像素的位置信息的平移量、以及在連續(xù)性方向上的梯度Gf。
這里，將平移量Cx(ty)定義為Cx(ty)＝ty/Gf，其中Gf表示作為連續(xù)性的梯度。該平移量Cx(ty)表示在模擬函數(shù)f(x)的空間方向Y＝ty上的位置相對(duì)于空間方向X的平移寬度，所述模擬函數(shù)f(x)被定義為位于空間方向Y＝0的位置上。因此，例如，在將在空間方向Y＝0的位置上的模擬函數(shù)定義為f(x)的情況下，在空間方向Y＝ty上，該模擬函數(shù)f(x)變成對(duì)于空間方向X平移Cx(ty)的函數(shù)，從而該模擬函數(shù)被定義為f(x-Cx(ty))(＝f(x-ty/Gf)。
例如，在如圖260所示的像素Pin的情況中，當(dāng)將圖中一個(gè)像素(圖中一個(gè)像素尺寸在水平方向和垂直方向上都為1)分成在垂直方向上的兩個(gè)像素時(shí)(當(dāng)在垂直方向上產(chǎn)生二倍密度像素時(shí))，外推/ 內(nèi)插單元3402獲得將要獲得的像素Pa和Pb的平移量。也就是說(shuō)，在該情況下，從像素Pin看，在空間方向Y上對(duì)像素Pa和Pb分別平移-0.25和0.25，從而像素Pa和Pb的平移量分別變成Cx(-0.25)和Cx(0.25)。注意，在圖260中，像素Pin為其基本重心位置為(Xin、Yin)的方形，而像素Pa和Pb是其基本重心位置分別為(Xin、Yin+0.25)和(Xin、Yin-00.25)的、在圖中水平方向上的矩形。
在步驟S3404中，外推/內(nèi)插單元3402基于在步驟S3403的處理中獲得的平移量Cx、被獲取作為現(xiàn)實(shí)世界估計(jì)信息的像素Pin的模擬函數(shù)f(x)上的關(guān)注像素的梯度f(wàn)(xin)、以及像素Pin的像素值，通過(guò)下面公式(203)和公式(204)利用外推/內(nèi)插獲得像素Pa和Pb的像素值。
Pa＝Pin-f(xin)′×Cx(0.25) 公式(203) Pb＝Pin-f(xin)′×Cx(-0.25) 公式(204) 在上述公式(203)和公式(204)中，Pa、Pb和Pin分別表示像素Pa、Pb和Pin的像素值。
也就是說(shuō)，如圖261所示，通過(guò)將關(guān)注像素Pin中的梯度f(wàn)(Xin)’乘以在X方向的移動(dòng)距離，即平移量，而設(shè)置像素值的變化量，并且基于關(guān)注像素的像素值設(shè)置新產(chǎn)生的像素的像素值。
在步驟S3405中，外推/內(nèi)插單元3402確定是否已經(jīng)獲得具有預(yù)定分辨率的像素。例如，在預(yù)定分辨率為相對(duì)于輸入圖像中的像素具有在垂直方向上的二倍密度的像素的情況下，外推/內(nèi)插單元3402確定通過(guò)上述處理已經(jīng)獲得具有預(yù)定分辨率的像素，但是，例如，在希望輸入圖像中的像素為相對(duì)于輸入圖像中的像素具有四倍密度(在水平方向上的二倍×在垂直方向上的二倍)的像素的情況下，則還沒(méi)有通過(guò)上述處理獲得具有預(yù)定密度的像素。因此，在希望四倍密度的圖像的情況下，外推/內(nèi)插單元3402確定仍未獲得具有預(yù)定分辨率的像素，并且該處理返回步驟S3403。
在步驟S3403中，外推/內(nèi)插單元3402在第二處理中，分別從將要產(chǎn)生的像素的中心位置獲得將要獲得的像素P01、P02、P03和P04(相對(duì)于關(guān)注像素Pin具有四倍密度的像素)的平移量。也就是說(shuō)，在該情況下，像素P01和P02是將要從像素Pa獲得的像素，從而分別獲得從像素Pa的平移量。這里，像素P01和P02分別被相對(duì)于空間方向X從像素Pa平移0.25和-0.25，因此，每個(gè)值本身變成其平移量(由于所述像素被相對(duì)于空間方向X平移)。類似，像素P03和P04分別被相對(duì)于空間方向X從像素Pb平移-0.25和0.25，因此，每個(gè)值本身變成其平移量。注意，在圖260中，像素P01、P02、P03和P04是其重心位置為圖中四個(gè)叉形標(biāo)記的位置，并且，像素Pin的每邊的長(zhǎng)度為1，因此，像素P01、P02、P03和P04每邊的長(zhǎng)度分別大約為5。
在步驟S3404中，外推/內(nèi)插單元3402基于在步驟S3403中獲得的平移量Cx、在被獲取作為現(xiàn)實(shí)世界估計(jì)信息的像素Pa和Pb的模擬函數(shù)f(x)的預(yù)定位置上的梯度f(wàn)(Xin-Cx(-0.25))’和f(Xin-Cx(0.25))’、以及在上述處理中獲得的像素Pa和Pb的像素值，通過(guò)公式(205)到公式(208)利用外推/內(nèi)插獲得像素P01、P02、P03和P04的像素值，并將其存儲(chǔ)在未示出的存儲(chǔ)器中。
P01＝Pa+f(xin-Cx(0.25))′×(-0.25)公式(205) P02＝Pa+f(xin-Cx(0.25))′×(0.25) 公式(206) P03＝Pb+f(xin-Cx(-0.25))′×(-0.25) 公式(207) P04＝Pb+f(xin-Cx(-0.25))′×(0.25)公式(208) 在上述公式(205)到公式(208)中，P01到P04分別表示像素P01到P04的像素值。
在步驟S3405中，外推/內(nèi)插單元3402確定是否已獲得具有預(yù)定分辨率的像素，在該情況下，已經(jīng)獲得希望的四倍密度像素，因此，外推/內(nèi)插單元3402確定已經(jīng)獲得具有預(yù)定分辨率的像素，處理進(jìn)到步驟S3406。
在步驟S3406中，梯度獲取單元3401確定是否已經(jīng)完成對(duì)全部像素的處理，在確定仍未完成對(duì)全部像素的處理的情況下，該處理返回到步驟S3402，其中重復(fù)進(jìn)行后面的步驟。
在步驟S3406中，在梯度獲取單元3401確定已經(jīng)完成對(duì)全部像素的處理的情況下，外推/內(nèi)插單元3402在步驟S3407中輸出由存儲(chǔ)在未示出的存儲(chǔ)器中的產(chǎn)生的像素構(gòu)成的圖像。
也就是說(shuō)，如圖261所示，根據(jù)在空間方向X上距離關(guān)注像素的距離，利用外推/內(nèi)插獲得新像素的像素值，所述關(guān)注像素的梯度利用模擬函數(shù)f(x)上的梯度f(wàn)(x)’獲得。
注意，在上述實(shí)例中，已經(jīng)描述了在以計(jì)算四倍密度像素作為實(shí)例時(shí)的梯度(導(dǎo)數(shù)值)，但是在可以獲得在更多位置上的梯度信息作為現(xiàn)實(shí)世界估計(jì)信息的情況下，利用與上述相同的方法可以計(jì)算比上述實(shí)例具有更大的空間方向中的密度的像素。
另外，對(duì)于上述實(shí)例，已經(jīng)描述了獲得二倍密度的像素值的實(shí)例，但是模擬函數(shù)f(x)是連續(xù)函數(shù)，因此，在即使關(guān)于具有不同于二倍密度的像素值仍可以獲得需要的梯度(導(dǎo)數(shù)值)信息的情況下，可以產(chǎn)生由更高密度像素構(gòu)成的圖像。
根據(jù)上述描述，基于被提供作為空間方向中的現(xiàn)實(shí)世界估計(jì)信息的、用于模擬輸入圖像的每個(gè)像素的像素值的模擬函數(shù)f(x)的梯度(或?qū)?shù)值)f(x)’信息，可以產(chǎn)生比輸入圖像具有更高分辨率的圖像的像素。
接著，將參考圖262描述圖像產(chǎn)生單元103，其基于在從現(xiàn)實(shí)世界估計(jì)單元102輸入的現(xiàn)實(shí)世界估計(jì)信息是從作為表示參考像素的近似像素值的幀方向(時(shí)間方向)上的函數(shù)的f(t)獲得的每個(gè)像素的導(dǎo)數(shù)值或梯度信息的情況下的每個(gè)像素的導(dǎo)數(shù)值或梯度信息，而產(chǎn)生新像素值以輸出圖像。
梯度獲取單元3411獲取從現(xiàn)實(shí)世界估計(jì)單元102輸入的每個(gè)像素位置上的，從表示參考像素的模擬像素值的f(t)獲取的梯度信息、相應(yīng)的像素值以及作為連續(xù)性的移動(dòng)，并將這樣獲得的信息輸出給外推單元3412。
外推單元3412基于從梯度獲取單元3411輸入的每個(gè)像素的從模擬函數(shù)f(t)獲得的梯度、相應(yīng)的像素值以及作為連續(xù)性的移動(dòng)利用外推產(chǎn)生比輸入圖像更高的預(yù)定階數(shù)的高密度像素，并將這樣產(chǎn)生的圖像輸出作為輸出圖像。
接著，將參考圖263的流程圖描述利用如圖262所示的圖像產(chǎn)生單元103的圖像產(chǎn)生處理。
在步驟S3421中，梯度獲取單元3411獲取從現(xiàn)實(shí)世界估計(jì)單元102輸入的每個(gè)像素的關(guān)于如下的信息從模擬函數(shù)f(t)獲得的梯度(導(dǎo)數(shù)值)、位置、像素值、以及作為連續(xù)性的移動(dòng)，并將其作為現(xiàn)實(shí)世界估計(jì)信息。
例如，在從在空間方向和幀方向上都具有二倍像素密度(即，共為四倍像素密度)的輸入圖像產(chǎn)生圖像的情況下，從現(xiàn)實(shí)世界估計(jì)單元102接收的關(guān)于如圖264所示的像素Pin的輸入信息包括梯度f(wàn)(Tin)’(在像素Pin中心上的梯度)、f(Tin-Ct(0.25))’(在從像素Pin產(chǎn)生Y方向上的二倍密度的像素的步驟中，在像素Pat的中心上的梯度)、f(Tin-Ct(-0.25))’(在從像素Pin產(chǎn)生Y方向上的二倍像素密度的像素的步驟中，在像素Pbt的中心上的梯度)、像素Pin的位置、像素值、以及作為連續(xù)性的移動(dòng)(移動(dòng)矢量)。
在步驟S3422中，梯度獲取單元3411從輸入的現(xiàn)實(shí)世界估計(jì)信息選擇關(guān)于關(guān)注像素的信息，并將其這樣獲取的信息輸出給外推單元3412。
在步驟S3423中，外推單元3412基于這樣輸入的位置信息計(jì)算關(guān)于像素和連續(xù)性方向上的梯度的平移量。
這里，將作為連續(xù)性的移動(dòng)(在具有幀方向和空間方向的平面上的梯度)作為Vf，通過(guò)公式Ct(ty)＝ty/Vf獲得平移量Ct(ty)。該平移量Ct(ty)表示在空間方向Y＝ty的位置上計(jì)算的，模擬函數(shù)f(t)在幀方向T上的平移量。注意，所述模擬函數(shù)f(t)被定義為位于空間方向Y＝0的位置上。因此，在空間方向Y＝ty上，該模擬函數(shù)f(t)在時(shí)間方向T上平移Ct(ty)，從而該模擬函數(shù)在Y＝ty上被定義為f(t-Ct(ty))＜＝f(t-ty/Vf)。
例如，考慮如圖264所示的像素Pin。在將圖中一個(gè)像素(假設(shè)圖中像素尺寸在幀方向和空間方向上都為1)分成在空間方向上的兩個(gè)像素的情況下(當(dāng)在空間方向上產(chǎn)生二倍像素密度圖像的情況下)，外推單元3412計(jì)算用于獲得像素Pat和Pbt的平移量。也就是說(shuō)，在空間方向Y上對(duì)像素Pat和Pbt分別從像素Pin平移0.25和-0.25。從而用于獲得像素Pat和Pbt的像素值的平移量分別為Ct(0.25)和Ct(-0.25)。注意，在圖264中，像素Pin為其基本重心位置約為(Xin、Yin)的方形。另一方面，像素Pat和Pbt是其基本重心位置分別約為(Xin、Yin+0.25)和(Xin、Yin-00.25)的、其長(zhǎng)邊在圖中水平方向上的矩形。
在步驟S3424中，外推單元3412基于在步驟S3423中獲得的平移量、被獲取作為現(xiàn)實(shí)世界估計(jì)信息并提供像素Pin的像素值的模擬函數(shù)f(t)上的關(guān)注像素、以及像素Pin的像素值，通過(guò)下面公式(209)和公式(210)利用外推計(jì)算像素Pat和Pbt的像素值。
pat＝Pin-f(Tin)′×Ct(0.25)公式(209) pbt＝Pin-f(xin)′×Ct(-0.25) 公式(210) 在上述公式(209)和公式(210)中，Pat、Pbt和Pin分別表示像素Pat、Pbt和Pin的像素值。
也就是說(shuō)，如圖265所示，通過(guò)將關(guān)注像素Pin中的梯度f(wàn)(Xin)’乘以在X方向的距離，即平移量，而計(jì)算像素值的變化量。然后，基于關(guān)注像素的像素值利用這樣計(jì)算的變化確定將產(chǎn)生的新像素的像素值。
在步驟S3425中，外推單元3412確定這樣產(chǎn)生的像素是否提供要求的分辨率。例如，在用戶要求相比于輸入圖像為在空間方向上的二倍像素密度的分辨率的情況下，外推單元3412確定已經(jīng)獲得要求的分辨率。但是，在用戶要求相比于輸入圖像為四倍像素密度(在幀方向和空間方向上均為二倍像素密度)的分辨率的情況下，則上述處理沒(méi)有提供要求的像素密度。因此，在用戶要求四倍像素密度的分辨率的情況下，外推單元3412確定仍未獲得要求的分辨率，并且流程返回到步驟S3423。
在用于第二處理的步驟S3423中，外推單元3412分別計(jì)算從作為基礎(chǔ)的像素的平移量，以獲得像素P01t、P02t、P03t和P04t(相對(duì)于關(guān)注像素Pin具有四倍像素密度)的中心。也就是說(shuō)，在該情況下，像素P01t和P02t從像素Pat獲得，從而計(jì)算從像素Pat的平移量以獲得這些像素。這里，分別將像素P01t和P02t在幀方向T上從像素Pat平移-0.25和0.25，因此，將其之間沒(méi)有轉(zhuǎn)換的距離用作平移量。同樣，分別將像素P03t和P04t在幀方向T上從像素Pbt平移-0.25和0.25，因此，將其之間沒(méi)有轉(zhuǎn)換的距離用作平移量。注意，在圖264中，每個(gè)像素P01t、P02t、P03t和P04t為方形，其重心位置由圖中四個(gè)叉形標(biāo)記的相應(yīng)的一個(gè)表示，并且，由于像素Pin的每邊的長(zhǎng)度為1，因此，像素P01t、P02t、P03t和P04t每邊的長(zhǎng)度為約0.5。
在步驟S3424中，外推單元3412基于在步驟S3423中獲得的平移量Ct、在被獲取作為現(xiàn)實(shí)世界估計(jì)信息的、在像素Pat和Pbt的相應(yīng)位置上的模擬函數(shù)f(t)的梯度f(wàn)(Tin-Ct(0.25))’和f(Tin-Ct(0.25))’、以及在上述處理中獲得的像素Pat和Pbt的像素值，通過(guò)下面公式(211)到公式(214)利用外推獲得像素P01t、P02t、P03t和P04t的像素值。將這樣獲得的像素P01t、P02t、P03t和P04t的像素值存儲(chǔ)在未示出的存儲(chǔ)器中。
P01t＝Pat+f(Tin-Ct(0.25))′×(-0.25) 公式(211) P02t＝Pat+f(Tin-Ct(0.25))′×(0.25)公式(212) P03t＝Pbt+f(Tin-Ct(-0.25))′×(-0.25) 公式(213) P04t＝Pbt+f(Tin-Ct(-0.25))′×(0.25) 公式(214) 在上述公式(211)到公式(212)中，P01t到P04t分別表示像素P01t到P04t的像素值。
在步驟S3425中，外推單元3412確定是否已獲得達(dá)到要求分辨率的像素密度。在該情況下，已經(jīng)獲得要求的四倍密度像素，因此，外推單元3412確定已經(jīng)獲得達(dá)到要求分辨率的像素密度，然后流程進(jìn)到步驟S3426。
在步驟S3426中，梯度獲取單元3411確定是否已經(jīng)完成對(duì)全部像素的處理。在梯度獲取單元3411確定仍未完成對(duì)全部像素的處理的情況下，該流程返回到步驟S3422，并重復(fù)后面的處理。
在步驟S3426中，在梯度獲取單元3411確定已經(jīng)完成對(duì)全部像素的處理的情況下，外推單元3412在步驟S3427中輸出由存儲(chǔ)在未示出的存儲(chǔ)器中的產(chǎn)生的像素構(gòu)成的圖像。
也就是說(shuō)，如圖265所示，利用模擬函數(shù)f(t)上的梯度f(wàn)(t)’獲得所述關(guān)注像素的梯度，并根據(jù)在幀方向T上距離關(guān)注像素的幀數(shù)計(jì)算新像素的像素值。
盡管在上述實(shí)例中，已經(jīng)描述了在計(jì)算四倍密度像素時(shí)的梯度(導(dǎo)數(shù)值)的實(shí)例，但是在可以獲得在更多位置上的梯度信息作為現(xiàn)實(shí)世界估計(jì)信息的情況下，利用與上述相同的技術(shù)還可以計(jì)算在幀方向中的像素。
盡管已經(jīng)描述了獲得二倍像素密度的圖像的設(shè)置，但是還可以這樣設(shè)置，其中利用模擬函數(shù)f(t)是連續(xù)函數(shù)的性質(zhì)，基于需要的梯度(導(dǎo)數(shù)值)信息獲得更高像素密度的圖像。
根據(jù)上述描述，上述處理基于關(guān)于被提供作為現(xiàn)實(shí)世界估計(jì)信息的、作為用于提供輸入圖像的每個(gè)像素的像素值的模擬值的模擬函數(shù)f(t)的梯度(或?qū)?shù)值)的f(t)’的信息，可以產(chǎn)生在幀方向上比輸入圖像具有更高分辨率的像素圖像。
在上述本實(shí)施例中，從由多個(gè)像素形成的圖像數(shù)據(jù)檢測(cè)數(shù)據(jù)連續(xù)性，所述多個(gè)像素具有通過(guò)多個(gè)檢測(cè)元件的作用而投影現(xiàn)實(shí)世界中的光信號(hào)所獲得的像素值；由于利用每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件的投影，丟失了現(xiàn)實(shí)世界中的光信號(hào)的部分連續(xù)性。然后采用在時(shí)間空間方向的一維方向上從圖像數(shù)據(jù)中的關(guān)注像素平移的多個(gè)像素的梯度作為對(duì)應(yīng)于現(xiàn)實(shí)世界光信號(hào)的函數(shù)。隨后，利用匹配相應(yīng)像素的中心、以及在上述采用的像素上的梯度，對(duì)于上述在預(yù)定方向上從關(guān)注像素的中心平移的多個(gè)像素的每個(gè)計(jì)算直線。然后，采用上述獲得的關(guān)注像素中的直線兩端的值作為比由關(guān)注像素形成的輸入圖像具有更高像素密度的圖像的像素值。這允許產(chǎn)生在時(shí)間空間方向中比輸入圖像具有更高分辨率的圖像。
接著，將參考圖266到圖291描述根據(jù)本實(shí)施例的圖像產(chǎn)生單元103(參考圖3)的另一設(shè)置。
圖266示出了根據(jù)本實(shí)施例的圖像產(chǎn)生單元103的結(jié)構(gòu)實(shí)例。
圖266所示的圖像產(chǎn)生單元103包括類型分類適應(yīng)單元3501，用于進(jìn)行常規(guī)類型分類適應(yīng)處理；類型分類適應(yīng)校正單元3502，用于進(jìn)行對(duì)類型分類適應(yīng)處理(下面將具體描述)的結(jié)果的校正；以及相加單元3503，用于相加從類型分類適應(yīng)單元3501輸出的圖像和從類型分類適應(yīng)處理校正單元3502輸出的圖像，并將相加的圖像作為輸出圖像輸出給外部電路。
注意，下文中，將從類型分類適應(yīng)處理單元3501輸出的圖像稱為“預(yù)測(cè)圖像”。另一方面，將從類型分類適應(yīng)處理校正單元3502輸出的圖像稱為“校正圖像”或“減法預(yù)測(cè)圖像”。注意，下面將描述“預(yù)測(cè)圖像”和“減法預(yù)測(cè)圖像”的概念。
另外，在本實(shí)施例中，例如，假設(shè)進(jìn)行類型分類適應(yīng)處理用于提高輸入圖像的空間分辨率。也就是說(shuō)，進(jìn)行類型分類適應(yīng)處理用于將具有標(biāo)準(zhǔn)分辨率的輸入圖像轉(zhuǎn)換成具有高分辨率的預(yù)測(cè)圖像。
注意，下文中相應(yīng)地將具有標(biāo)準(zhǔn)分辨率的圖像稱為“SD(標(biāo)準(zhǔn)精度)圖像”。另外，相應(yīng)地將構(gòu)成SD圖像的像素稱為“SD像素”。
另一方面，下文中相應(yīng)地將高分辨率圖像稱為“HD(高精度)圖像”。另外，將構(gòu)成HD圖像的像素相應(yīng)地稱為“HD”像素。
下面，將描述根據(jù)本實(shí)施例的類型分類適應(yīng)處理的具體實(shí)例。
首先，獲得包括關(guān)注像素和其周圍像素的每個(gè)SD像素(例如將被稱為“類型分塊”的SD像素)的特征，用于計(jì)算對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素。
然后，基于上述獲得的特征(確定了類型分塊的類型代碼)，從預(yù)備類型中選擇類型分塊的類型。
然后，基于上述確定的類型代碼、和包括關(guān)注像素和其周圍的像素的SD像素(下文中將該SD像素稱為“預(yù)測(cè)分塊”。注意，類型分塊也可以用作預(yù)測(cè)分塊)，利用形成從預(yù)備的多個(gè)系數(shù)組(每個(gè)系數(shù)組對(duì)應(yīng)于特定類型代碼設(shè)置)中選擇的系數(shù)組的系數(shù)進(jìn)行積-和計(jì)算，從而獲得對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素。
因此，利用根據(jù)本實(shí)施例的配置，在類型分類適應(yīng)處理單元3501對(duì)輸入圖像(SD圖像)進(jìn)行常規(guī)類型分類適應(yīng)處理以產(chǎn)生預(yù)測(cè)圖像(HD圖像)。另外，利用從類型分類適應(yīng)處理校正單元3502輸出的校正圖像(通過(guò)相加預(yù)測(cè)圖像和校正圖像)在相加單元3503中校正上述獲得的預(yù)測(cè)圖像，從而獲得輸出圖像(HD圖像)。
也就是說(shuō)，從連續(xù)性的角度看，可以將根據(jù)本實(shí)施例的配置認(rèn)為是用于基于關(guān)于連續(xù)性進(jìn)行處理的圖像處理裝置(圖3)的圖像產(chǎn)生單元103的配置。另一方面，從分類類型適應(yīng)處理的角度看，還可以將根據(jù)本實(shí)施例的配置認(rèn)為是這樣的圖像處理裝置的配置，相比于由傳感器2和類型分類適應(yīng)處理單元3501形成的常規(guī)圖像處理裝置，所述裝置還包括數(shù)據(jù)連續(xù)性檢測(cè)單元101、現(xiàn)實(shí)世界估計(jì)單元102、類型分類適應(yīng)校正單元3502、以及相加單元3503，以對(duì)分為類型適應(yīng)處理執(zhí)行校正。
因此，下文中，相對(duì)于上述再積分裝置，將根據(jù)本實(shí)施例的該配置稱為“類型分類處理校正裝置”。
下面將詳細(xì)描述利用類型分類處理校正裝置的圖像產(chǎn)生單元103。
在圖266中，當(dāng)將現(xiàn)實(shí)世界1的信號(hào)(光強(qiáng)分布)輸入傳感器2中時(shí)，從傳感器2輸出輸入圖像。將輸入圖像輸入圖像產(chǎn)生單元103的類型分類適應(yīng)處理單元3501以及數(shù)據(jù)連續(xù)性檢測(cè)單元101。
類型分類適應(yīng)處理單元3501對(duì)輸入圖像進(jìn)行常規(guī)類型分類適應(yīng)處理，以產(chǎn)生預(yù)測(cè)圖像，并將預(yù)測(cè)圖像輸出給相加單元3503。
如上所述，在類型分類適應(yīng)處理單元3501中，采用從傳感器2輸入的輸入圖像(圖像數(shù)據(jù))作為將要被處理的目標(biāo)圖像以及參考圖像。也就是說(shuō)，雖然由于上述積分效應(yīng)，來(lái)自傳感器2的輸入圖像不同于(變形)現(xiàn)實(shí)世界1的信號(hào)，但是類型分類適應(yīng)處理單元3501利用不同于現(xiàn)實(shí)世界1的信號(hào)的輸入圖像作為正確的參考圖像進(jìn)行處理。
從而，在利用基于輸入圖像(SD圖像)的類型分類適應(yīng)處理產(chǎn)生HD圖像的情況下(其中在SD圖像中在從傳感器2輸出輸入圖像的輸入階段已經(jīng)丟失了原始細(xì)節(jié))，則這樣的HD圖像可能具有這樣的問(wèn)題，即不能完全再現(xiàn)原始細(xì)節(jié)。
為了解決上述問(wèn)題，在類型分類處理校正裝置中，圖像產(chǎn)生單元103的類型分類適應(yīng)處理校正單元3502利用將被輸入傳感器2的用于估計(jì)原始圖像(具有原始連續(xù)性的現(xiàn)實(shí)世界1的信號(hào))的信息(現(xiàn)實(shí)世界估計(jì)信息)作為將被處理的目標(biāo)圖像以及參考圖像，代替來(lái)自傳感器2的輸入圖像，從而產(chǎn)生用于校正從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像的校正圖像。
通過(guò)數(shù)據(jù)連續(xù)性檢測(cè)單元101和現(xiàn)實(shí)世界估計(jì)單元102的作用產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息。
也就是說(shuō)，數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)包括在從傳感器2輸出的輸入圖像中的數(shù)據(jù)連續(xù)性(對(duì)應(yīng)于包括在現(xiàn)實(shí)世界1的信號(hào)中的連續(xù)性的數(shù)據(jù)連續(xù)性，其被輸入傳感器2)，并將檢測(cè)結(jié)果作為數(shù)據(jù)連續(xù)性信息輸出給現(xiàn)實(shí)世界估計(jì)單元102。
注意，盡管圖266示出了其中采用角度作為數(shù)據(jù)連續(xù)性信息的設(shè)置，但是數(shù)據(jù)連續(xù)性信息不限于角度，而可以采用各種信息作為數(shù)據(jù)連續(xù)性信息。
現(xiàn)實(shí)世界估計(jì)單元102基于上述輸入的角度(數(shù)據(jù)連續(xù)性信息)產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息，并將上述產(chǎn)生的現(xiàn)實(shí)世界估計(jì)信息輸出給圖像產(chǎn)生單元103的類型分類適應(yīng)校正單元3502。
注意，盡管圖266中示出了其中采用特征量圖像(下文將對(duì)其進(jìn)行詳細(xì)描述)作為現(xiàn)實(shí)世界估計(jì)信息的設(shè)置，但是現(xiàn)實(shí)世界估計(jì)信息不限于特征量圖像，而是如上述可以采用各種信息。
類型分類適應(yīng)處理校正單元3502基于上述輸入的特征量圖像(現(xiàn)實(shí)世界估計(jì)信息)產(chǎn)生校正圖像，并將校正圖像示出給相加單元3503。
相加單元3503相加從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像和從類型分類適應(yīng)處理校正單元3502輸出的校正圖像，并將相加的圖像(HD圖像)作為輸出圖像輸出給外部電路。
上述輸出圖像比預(yù)測(cè)圖像具有更高精度地接近現(xiàn)實(shí)世界1的信號(hào)(圖像)。也就是說(shuō)，類型分類適應(yīng)處理校正裝置使得用戶可以解決上述問(wèn)題。
另外，在具有如圖266所示的結(jié)構(gòu)的信號(hào)處理裝置(圖像處理裝置)4中，可以將該處理應(yīng)用于一幀的整個(gè)面積上。也就是說(shuō)，盡管利用下文的混合技術(shù)(例如下文參考圖292所述的設(shè)置)的信號(hào)處理裝置等需要識(shí)別像素區(qū)域以產(chǎn)生輸出圖像，有利的是，如圖266所示的信號(hào)處理裝置4不需要識(shí)別所述像素區(qū)域。
接著，下面將詳細(xì)描述圖像產(chǎn)生單元103的類型分類適應(yīng)處理單元3501。
圖267示出了類型分類適應(yīng)處理單元3501的結(jié)構(gòu)實(shí)例。
在圖267中，將從傳感器2輸入的輸入圖像(SD圖像)提供給區(qū)域選取單元3511和區(qū)域選取單元3515。區(qū)域選取單元3511選取類型分塊(位于包括關(guān)注像素(SD像素)的預(yù)定位置上的SD像素)，并將該類型分塊輸出給圖形檢測(cè)單元3512。圖形檢測(cè)單元3512基于上述輸入的類型分塊檢測(cè)輸入圖像的圖形。
類型代碼確定單元3513基于由圖形檢測(cè)單元3512檢測(cè)的圖形確定類型代碼，并將類型代碼輸出給系數(shù)存儲(chǔ)器3514和區(qū)域選取單元3515。系數(shù)存儲(chǔ)器3514存儲(chǔ)通過(guò)學(xué)習(xí)預(yù)備的每個(gè)類型代碼的系數(shù)，讀取對(duì)應(yīng)于從類型代碼確定單元3513輸入的類型代碼的系數(shù)，并將系數(shù)輸出給預(yù)測(cè)計(jì)算單元3516。
注意，下面將參考如圖269所示的類型分類適應(yīng)處理學(xué)習(xí)單元的方框圖，描述用于獲得存儲(chǔ)在系數(shù)存儲(chǔ)器3514中的系數(shù)的學(xué)習(xí)處理。
另外，存儲(chǔ)在系數(shù)存儲(chǔ)器3514中的系數(shù)如下所述用于產(chǎn)生預(yù)測(cè)圖像(HD圖像)。因此，將存儲(chǔ)在系數(shù)存儲(chǔ)器3514中的系數(shù)稱為“預(yù)測(cè)系數(shù)”，以區(qū)分上述系數(shù)與其它種系數(shù)。
區(qū)域選取單元3515基于從類型代碼確定單元3513輸入的類型代碼，選取用于從自傳感器2輸入的輸入圖像(SD圖像)預(yù)測(cè)和產(chǎn)生預(yù)測(cè)圖像(HD圖像)所需的預(yù)定分塊(位于包括關(guān)注像素的預(yù)定位置上的SD像素)，并將預(yù)測(cè)分塊輸出給預(yù)測(cè)計(jì)算單元3516。
預(yù)測(cè)計(jì)算單元3516利用從區(qū)域選取單元3515輸入的預(yù)測(cè)分塊和從系數(shù)存儲(chǔ)器3514輸入的預(yù)測(cè)系數(shù)進(jìn)行積和計(jì)算，產(chǎn)生對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素，并將HD像素輸出給相加單元3503。
尤其是，系數(shù)存儲(chǔ)器3514將對(duì)應(yīng)于從類型代碼確定單元3513提供的類型代碼的預(yù)測(cè)系數(shù)輸出給預(yù)測(cè)計(jì)算單元3516。預(yù)測(cè)計(jì)算單元3516利用從區(qū)域選取單元3515提供的、并從輸入圖像的預(yù)定像素的像素值選取的預(yù)測(cè)分塊、以及從系數(shù)存儲(chǔ)器3514提供的預(yù)測(cè)系數(shù)執(zhí)行由下面公式215表示的積-和計(jì)算，從而獲得(預(yù)測(cè)和估計(jì))預(yù)測(cè)圖像(HD圖像)的HD像素。
公式(215) 在公式(215)中，q’表示預(yù)測(cè)圖像(HD圖像)的HD像素。每個(gè)ci(i表示1到n的整數(shù))表示相應(yīng)的預(yù)測(cè)分塊(SD像素)。另外，每個(gè)di表示相應(yīng)的預(yù)測(cè)系數(shù)。
如上所述，類型分類處理單元3501基于SD圖像(輸入圖像)預(yù)測(cè)和估計(jì)相應(yīng)的HD圖像，因此，在該情況下，將從類型分類適應(yīng)處理單元3501輸出的HD圖像稱為“預(yù)測(cè)圖像”。
圖268示出了用于確定存儲(chǔ)在類型分類適應(yīng)單元3501的系數(shù)存儲(chǔ)器3514中的預(yù)測(cè)系數(shù)(公式(215)中的di)的學(xué)習(xí)裝置(用于獲得預(yù)測(cè)系數(shù)的計(jì)算裝置)。
注意，在類型分類適應(yīng)處理校正技術(shù)中，除系數(shù)存儲(chǔ)器3514外，系數(shù)存儲(chǔ)器(校正系數(shù)存儲(chǔ)器3554，其將在下文中參考圖276而被描述)被包括在類型分類適應(yīng)處理校正單元3502中。因此，如圖268所示，根據(jù)類型分類適應(yīng)處理技術(shù)的學(xué)習(xí)裝置3504包括學(xué)習(xí)單元3561(下文中將其稱為“類型分類適應(yīng)處理校正學(xué)習(xí)單元3561”)，用于確定存儲(chǔ)在類型分類適應(yīng)處理校正單元3502的校正系數(shù)存儲(chǔ)器3554中的系數(shù)，以及學(xué)習(xí)單元3521(其在下文中被稱為“類型分類適應(yīng)處理學(xué)習(xí)單元3521”)用于確定存儲(chǔ)在類型分類適應(yīng)處理單元3501系數(shù)存儲(chǔ)器3514中的預(yù)測(cè)系數(shù)(公式(215)中的di)。
因此，當(dāng)下文中將用于類型分類適應(yīng)處理學(xué)習(xí)單元3521中的老師圖像稱為“第一老師圖像”，則下文中將用于類型分類適應(yīng)處理校正學(xué)習(xí)單元3561中的老師圖像稱為“第二老師圖像”。同樣，當(dāng)下文中將用于類型分類適應(yīng)處理學(xué)習(xí)單元3521中的學(xué)生圖像稱為“第一學(xué)生圖像”，則下文中將用于類型分類適應(yīng)處理校正學(xué)習(xí)單元3561中的學(xué)生圖像稱為“第二學(xué)生圖像”。
注意，下面將描述類型分類適應(yīng)處理校正學(xué)習(xí)單元3561。
圖269示出了類型分類適應(yīng)處理學(xué)習(xí)單元3521的具體結(jié)構(gòu)實(shí)例。
在圖269中，將特定圖像輸入類型分類適應(yīng)處理校正學(xué)習(xí)單元3561(圖268)、以及下降轉(zhuǎn)換器單元3531和正規(guī)方程產(chǎn)生單元3536中作為第一老師圖像(HD圖像)。
下降轉(zhuǎn)換器單元3531基于輸入的第一老師圖像(HD圖像)產(chǎn)生比第一老師圖像具有更低分辨率的第一學(xué)生圖像(SD圖像)(將第一老師圖像轉(zhuǎn)換成較低分辨率的第一學(xué)生圖像)，并將第一學(xué)生圖像輸出給區(qū)域選取單元3532和3535、和類型分類適應(yīng)處理校正學(xué)習(xí)單元3561(圖268)。
如上所述，類型分類適應(yīng)處理學(xué)習(xí)單元3521包括下降轉(zhuǎn)換器單元3531，因此，第一老師圖像(HD圖像)不需要具有比來(lái)自上述傳感器2(圖266)的輸入圖像更高的分辨率。原因在于，在該情況下，將經(jīng)過(guò)下降轉(zhuǎn)換處理(用于減少圖像分辨率的處理)的第一老師圖像用作第一學(xué)生圖像即SD圖像。也就是說(shuō)，對(duì)應(yīng)于第一學(xué)生圖像的第一老師圖像用作HD圖像。因此，可以將來(lái)自傳感器2的輸入圖像不經(jīng)過(guò)任何轉(zhuǎn)換地用作第一老師圖像。
區(qū)域選取單元3532從上述提供的第一學(xué)生圖像(SD圖像)中選取用于類型分類所需要的類型分塊(SD像素)，并將類型分塊輸出給圖形檢測(cè)單元3533。圖形檢測(cè)單元3533檢測(cè)上述輸入的類型分塊的圖形，并將檢測(cè)結(jié)果輸出給類型代碼確定單元3534。類型代碼確定單元3534確定對(duì)應(yīng)于輸入圖形的類型代碼，并將類型代碼輸出給區(qū)域選取單元3535和正規(guī)方程產(chǎn)生單元3536。
區(qū)域選取單元3535基于從類型代碼確定單元3534輸入的類型代碼自從下降轉(zhuǎn)換器單元3531中輸入的第一學(xué)生圖像(SD圖像)中選取預(yù)測(cè)分塊(SD像素)，并且，將預(yù)測(cè)分塊輸出給正規(guī)方程產(chǎn)生單元3536和預(yù)測(cè)計(jì)算單元3558。
注意，區(qū)域選取單元3532、圖形檢測(cè)單元3533、類型代碼確定單元3534，以及區(qū)域選取單元3535具有基本相同的結(jié)構(gòu)，并且，與如圖267所示的類型分類適應(yīng)處理單元3501的區(qū)域選取單元3511、圖形檢測(cè)單元3512、類型代碼確定單元3513、以及區(qū)域選取單元3515相同地作用。
正規(guī)方程產(chǎn)生單元3536基于從區(qū)域選取單元3535輸入的第一學(xué)生圖像(SD圖像)的預(yù)測(cè)分塊(SD像素)，以及從類型代碼確定單元3545輸入的全部類型代碼的每個(gè)類型代碼的第一老師圖像(HD圖像)的HD像素而產(chǎn)生正規(guī)方程，并將正規(guī)方程提供給系數(shù)確定單元3537。當(dāng)從正規(guī)方程產(chǎn)生單元3536接收對(duì)應(yīng)于特定類型代碼的正規(guī)方程時(shí)，系數(shù)確定單元3537利用正規(guī)方程計(jì)算預(yù)測(cè)系數(shù)。然后，系數(shù)確定單元3537將計(jì)算的預(yù)測(cè)系數(shù)的方式提供給預(yù)測(cè)計(jì)算單元3538，并將預(yù)測(cè)系數(shù)按照與類型代碼相關(guān)聯(lián)存儲(chǔ)在系數(shù)存儲(chǔ)器3514中。
下面，將詳細(xì)描述正規(guī)方程產(chǎn)生單元3536和系數(shù)確定單元3537。
在上述公式(215)中，每個(gè)預(yù)測(cè)系數(shù)di在學(xué)習(xí)處理之前是未確定的系數(shù)。學(xué)習(xí)處理通過(guò)輸入每個(gè)類型代碼的多個(gè)老師圖像(HD圖像)的HD像素而進(jìn)行。假設(shè)，對(duì)應(yīng)于特定類型代碼存在m個(gè)HD像素。將m個(gè)HD像素中的每一個(gè)表示為qk(k表示1到m的整數(shù))。則從公式(215)得到下面的公式(216)。
公式(216) 也就是說(shuō)，公式(216)表示，通過(guò)計(jì)算公式(216)的右側(cè)可以預(yù)測(cè)和估計(jì)HD像素qk。注意，在公式(216)中，ek表示誤差。也就是說(shuō)，作為預(yù)測(cè)圖像(HD圖像)的HD像素qk’不完全匹配實(shí)際HD像素qk，并包括特定誤差ek，所述預(yù)測(cè)圖像是計(jì)算右側(cè)的結(jié)果。
因此，例如，通過(guò)學(xué)習(xí)處理，將獲得表示誤差ek的平方和的最小值的預(yù)測(cè)系數(shù)di。
尤其是，預(yù)備用于學(xué)習(xí)處理中的HD像素qk的個(gè)數(shù)應(yīng)該大于n(即m大于n)。在該情況下，利用最小二乘法確定預(yù)測(cè)系數(shù)di作為唯一解。
也就是說(shuō)，利用最小二乘法的用于獲得公式(216)右側(cè)的預(yù)測(cè)系數(shù)di的正規(guī)方程由下面公式(217)所示。


公式(217) 因此，產(chǎn)生并求解由公式(217)表示的正規(guī)方程，從而確定預(yù)測(cè)系數(shù)di作為唯一解。
尤其是，假設(shè)，公式(217)中表示正規(guī)方程的矩陣被定義為下面公式(218)到(220)。在該情況下，正規(guī)方程由下面公式(221)所示。


公式(218) 公式(219) 公式(220) CMAT DMAT＝QMAT 公式(221) 如公式(219)所示，矩陣DMAT的每個(gè)分量為將要獲得的預(yù)測(cè)系數(shù)di。在本實(shí)施例中，如果確定了左側(cè)的矩陣CMAT和右側(cè)的矩陣QMAT，可以利用矩陣計(jì)算獲得矩陣DMAT(即預(yù)測(cè)系數(shù)di)。
尤其是，如公式(218)所示，由于已知預(yù)測(cè)分塊cik，因此可以計(jì)算矩陣CMAT的各個(gè)分量。在本實(shí)施例中，區(qū)域選取單元3535選取預(yù)測(cè)分塊Cik。正規(guī)方程產(chǎn)生單元3536利用從區(qū)域選取單元3535提供的預(yù)測(cè)分塊cik計(jì)算矩陣CMAT的每個(gè)分量。
另外，在本實(shí)施例，預(yù)測(cè)分塊cik和HD像素qk是已知的。因此可以計(jì)算如公式(220)所示的矩陣QMAT的各個(gè)分量。注意，預(yù)測(cè)分塊cik與矩陣CMAT中相同，另外，HD像素qk是對(duì)應(yīng)于預(yù)測(cè)分塊cik中包括的關(guān)注像素(第一學(xué)生圖像的SD像素)的第一老師圖像的HD像素。從而，正規(guī)方程產(chǎn)生單元3536基于從區(qū)域選取單元3535提供的預(yù)測(cè)分塊cik和第一老師圖像而計(jì)算矩陣QMAT的每個(gè)分量。
如上所述，正規(guī)方程產(chǎn)生單元3536計(jì)算矩陣CMAT和矩陣QMAT的每個(gè)分量，并將相關(guān)于類型代碼的計(jì)算結(jié)果提供給系數(shù)確定單元3537。
系數(shù)確定單元3537基于對(duì)應(yīng)于提供的特定類型代碼的正規(guī)方程，計(jì)算作為上述公式(221)中的每個(gè)矩陣DMAT的分量的預(yù)測(cè)系數(shù)di。
尤其是，可以將上述公式(221)轉(zhuǎn)換為下面的公式(222)。
公式(222) 在公式(222)中，左側(cè)矩陣DMAT的各個(gè)分量是將要獲得的預(yù)測(cè)系數(shù)di。另一方面，從正規(guī)方程產(chǎn)生單元3536提供矩陣CMAT和矩陣QMAT的各個(gè)分量。在本實(shí)施例中，當(dāng)從正規(guī)方程產(chǎn)生單元3536接收對(duì)應(yīng)于當(dāng)前類型代碼的矩陣CMAT和矩陣QMAT的各個(gè)分量，系數(shù)確定單元3537執(zhí)行由公式(222)的右側(cè)表示的矩陣計(jì)算，從而計(jì)算矩陣DMAT。然后，系數(shù)確定單元3537將計(jì)算結(jié)果(預(yù)測(cè)系數(shù)di)提供給預(yù)測(cè)計(jì)算單元3538，并將計(jì)算結(jié)果與類型代碼相關(guān)聯(lián)地存儲(chǔ)在系數(shù)存儲(chǔ)器3514中。
預(yù)測(cè)計(jì)算單元3538利用從區(qū)域選取單元3535輸入的預(yù)測(cè)分塊和由系數(shù)確定單元3537確定的預(yù)測(cè)系數(shù)執(zhí)行積-和計(jì)算，從而產(chǎn)生對(duì)應(yīng)于第一學(xué)生圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(作為第一老師圖像的預(yù)測(cè)圖像)的HD像素。將上述產(chǎn)生的HD像素作為學(xué)習(xí)預(yù)測(cè)圖像輸出給類型分類適應(yīng)處理校正學(xué)習(xí)單元3561(圖268)。
尤其是，在預(yù)測(cè)計(jì)算單元3538中，將從預(yù)測(cè)選取單元3535提供的第一學(xué)生圖像中的特定像素位置周圍的像素值中選取的預(yù)測(cè)分塊用作ci(i表示1到n的整數(shù))。另外，將從系數(shù)確定單元3537提供的每個(gè)預(yù)測(cè)系數(shù)用作di。預(yù)測(cè)計(jì)算單元3538利用上述采用ci和di執(zhí)行由上述公式(215)表示的積-和計(jì)算，從而獲得學(xué)習(xí)預(yù)測(cè)圖像(HD圖像)的HD像素q’(即，從而預(yù)測(cè)和估計(jì)第一老師圖像)。
現(xiàn)在，將參考圖270到圖275描述上述常規(guī)類型分類適應(yīng)處理(類型分類適應(yīng)處理單元3501)的問(wèn)題，即其中，當(dāng)基于其中在輸入階段丟失了原始細(xì)節(jié)的從傳感器2輸出的輸入圖像(SD圖像)，通過(guò)如圖266所示的類型分類適應(yīng)處理單元3501產(chǎn)生HD圖像(現(xiàn)實(shí)世界1的信號(hào)的預(yù)測(cè)圖像)的情況下，不能完全再現(xiàn)原始細(xì)節(jié)。
圖270示出了類型分類適應(yīng)單元3501的處理結(jié)果的實(shí)例。
在圖270中，HD圖像3541包括一條具有相對(duì)于圖中垂直方向?yàn)轫槙r(shí)針約5度的梯度的細(xì)線。另一方面，從HD圖像3541產(chǎn)生SD圖像3542，使得將HD圖像3541的每個(gè)2×2個(gè)像素(HD像素)塊的平均值用作其相應(yīng)的單個(gè)像素(SD像素)。也就是說(shuō)，SD圖像3542是HD圖像3541的“下降轉(zhuǎn)換的”(減小的分辨率)的圖像。
換句話說(shuō)，可以假設(shè)HD圖像3541是在該模擬中將被從傳感器2(圖266)輸出的圖像(現(xiàn)實(shí)世界1的信號(hào)(圖266))。在該情況下，可以假設(shè)SD圖像3542是對(duì)應(yīng)于HD圖像3541的圖像，其從傳感器2獲得，所述傳感器在該模擬中具有空間方向上的特定積分性質(zhì)。也就是說(shuō)，可以假設(shè)在該模擬中SD圖像3542是從傳感器2輸入的圖像。
在該模擬中，將SD圖像輸入類型分類適應(yīng)處理單元3501(圖266)。從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像是預(yù)測(cè)圖像3534。也就是說(shuō)，預(yù)測(cè)圖像3534是通過(guò)常規(guī)類型分類適應(yīng)處理產(chǎn)生的HD圖像(與原始HD圖像3541具有相同的分辨率的圖像)。注意，利用由類型分類適應(yīng)處理學(xué)習(xí)單元3561(圖269)以HD圖像3541作為第一老師圖像和以SD圖像3542作為第一學(xué)生圖像進(jìn)行的學(xué)習(xí)/計(jì)算處理而獲得用于類型分類適應(yīng)處理單元3501的預(yù)測(cè)計(jì)算中的預(yù)測(cè)系數(shù)(存儲(chǔ)在系數(shù)存儲(chǔ)器3514(圖267)中的預(yù)測(cè)系數(shù))。
比較HD圖像3541、SD圖像3542以及預(yù)測(cè)圖像3543，確定了預(yù)測(cè)圖像3543比SD圖像3542更接近HD圖像3541。
比較結(jié)果表示，類型分類適應(yīng)處理3501基于其中已經(jīng)丟失HD圖像3541的原始細(xì)節(jié)的SD圖像3542，利用常規(guī)類型分類適應(yīng)處理產(chǎn)生具有再現(xiàn)的原始細(xì)節(jié)的預(yù)測(cè)圖像3543。
然而，比較預(yù)測(cè)圖像3543和HD圖像3541，不能肯定地說(shuō)預(yù)測(cè)圖像3543完全再現(xiàn)了HD圖像3541。
為了研究該預(yù)測(cè)圖像3543相對(duì)于HD圖像3541的不完全再現(xiàn)，本申請(qǐng)人通過(guò)利用相加單元3546相加HD圖像3541和預(yù)測(cè)圖像3543的反圖像而形成了相加圖像，即通過(guò)從HD圖像3541中減去預(yù)測(cè)圖像3543而獲得的減法圖像3544(在像素值之差較大的情況下，減法圖像的像素由接近白色的密度形成。另一方面，在像素值之差較小的情況下，減法圖像的像素由接近黑色的密度形成。)。
同樣，本申請(qǐng)人通過(guò)利用相加單元3546相加HD圖像3541和SD圖像3542的反圖像而形成了相加圖像，即通過(guò)從HD圖像3541中減去SD圖像3542而獲得的減法圖像3545(在像素值之差較大的情況下，減法圖像的像素由接近白色的密度形成。另一方面，在像素值之差較小的情況下，減法圖像的像素由接近黑色的密度形成。)。
然后，比較減法圖像3544和減法圖像3545，本申請(qǐng)人獲得如下所述的研究結(jié)果。
也就是說(shuō)，表現(xiàn)HD圖像3541和SD圖像3542之間的像素值的較大差的區(qū)域(即，在減法圖像3545中由接近白色的密度形成的區(qū)域)通常匹配表現(xiàn)HD圖像3541和預(yù)測(cè)圖像3543之間的像素值的較大差的區(qū)域(即，減法圖像3544中由接近白色的密度形成的區(qū)域)。
換句話說(shuō)，預(yù)測(cè)圖像3543中表現(xiàn)相對(duì)于HD圖像3541的不充分再現(xiàn)結(jié)果的區(qū)域通常匹配表現(xiàn)HD圖像3541和SD圖像3542之間的像素值的較大差的區(qū)域(即在減法圖像3545中由接近白色的密度形成的區(qū)域)。
然后，為了解決研究結(jié)果的原因，本申請(qǐng)人還進(jìn)行了如下研究。
也就是說(shuō)，首先，本申請(qǐng)人研究在表現(xiàn)HD圖像3541和預(yù)測(cè)圖像3543之間的像素值的較小差的區(qū)域(即在減法圖像3544中由接近黑色的密度形成的區(qū)域)中的再現(xiàn)結(jié)果。在上述區(qū)域中，獲得用于該研究的信息為HD圖像3541的實(shí)際值；SD圖像3542的實(shí)際像素值；對(duì)應(yīng)于HD圖像3541的實(shí)際波形(現(xiàn)實(shí)世界1中的信號(hào))。圖271和圖272中示出了研究結(jié)果。
圖271示出了研究目標(biāo)區(qū)域的實(shí)例。注意，在圖271中，由X方向表示的水平方向是一個(gè)空間方向，由Y方向表示的垂直方向是另一個(gè)空間方向。
也就是說(shuō)，本申請(qǐng)人研究了圖271中所示的減法圖像3544的區(qū)域3544-1的再現(xiàn)結(jié)果，所述區(qū)域是表現(xiàn)HD圖像3541和預(yù)測(cè)圖像3543之間的像素值的較小差的區(qū)域?qū)嵗?br> 圖272的圖表示出了HD圖像3541的實(shí)際像素值；SD圖像3542的實(shí)際像素值，其對(duì)應(yīng)于圖271所示的區(qū)域3544-1中在X方向上的一組6個(gè)HD像素的左側(cè)4個(gè)像素；以及實(shí)際波形(現(xiàn)實(shí)世界1的信號(hào))。
在圖272中，垂直軸表示像素值，水平軸表示平行于空間方向X的x軸。注意，這樣定義x軸，其中以自圖中減法圖像3544中的六個(gè)HD像素的左邊的第三HD像素的左端位置為原點(diǎn)。以上述獲得的原點(diǎn)為基礎(chǔ)定義每個(gè)坐標(biāo)值。注意，以減法圖像3544的HD像素的像素寬度為0.5而定義X軸坐標(biāo)值。也就是說(shuō)，減法圖像3544是HD圖像，因此，圖中以0.5的像素寬度Lt(下文中將稱為“HD像素寬度Lt”)畫出HD圖像的每個(gè)像素。另一方面，在該情況下，以為HD像素寬度Lt兩倍的像素寬度，即以1的像素寬度Ls(下文中將稱為“SD像素寬度Ls”)畫出SD圖像3542的每個(gè)像素。
另外，在圖272中，實(shí)線表示HD圖像3541的像素值，點(diǎn)線表示SD圖像3542的像素值，以及虛線表示沿X方向的現(xiàn)實(shí)世界1的信號(hào)波形。注意，實(shí)際上難于畫出現(xiàn)實(shí)世界1的實(shí)際波形。因此，如圖272所示的虛線表示利用上述線性多項(xiàng)式模擬技術(shù)(如圖266所示的根據(jù)第一實(shí)施例的現(xiàn)實(shí)世界估計(jì)單元102)模擬沿X方向的波形的模擬函數(shù)f(x)。
然后，本申請(qǐng)人以與上述關(guān)于表現(xiàn)其之間的像素值的小差的區(qū)域的研究同樣的方法，研究了在表現(xiàn)HD圖像3541和預(yù)測(cè)圖像3543之間的像素值的較大差的區(qū)域(即在減法圖像3544中由接近白色的密度形成的區(qū)域)中的再現(xiàn)結(jié)果。在上述區(qū)域中，同樣獲得用于該研究的信息為HD圖像3541的實(shí)際值；SD圖像3542的實(shí)際像素值；對(duì)應(yīng)于HD圖像3541的實(shí)際波形(現(xiàn)實(shí)世界1中的信號(hào))。圖273和圖274中示出了研究結(jié)果。
圖273示出了研究目標(biāo)區(qū)域的實(shí)例。注意，在圖273中，由X方向表示的水平方向是一個(gè)空間方向，由Y方向表示的垂直方向是另一個(gè)空間方向。
也就是說(shuō)，本申請(qǐng)人研究了圖273中所示的減法圖像3544的區(qū)域3544-2的再現(xiàn)結(jié)果，所述區(qū)域是表現(xiàn)HD圖像3541和預(yù)測(cè)圖像3543之間的像素值的較大差的區(qū)域?qū)嵗?br> 圖274的圖表示出了HD圖像3541的實(shí)際像素值；SD圖像3542的實(shí)際像素值，其對(duì)應(yīng)于圖273所示的區(qū)域3544-2中在X方向上的一組6個(gè)HD像素的左側(cè)4個(gè)像素；以及實(shí)際波形(現(xiàn)實(shí)世界1的信號(hào))。
在圖274中，垂直軸表示像素值，水平軸表示平行于空間方向X的x軸。注意，這樣定義x軸，其中以自圖中減法圖像3544中的六個(gè)HD像素的左邊的第三HD像素的左端位置為原點(diǎn)。以上述獲得的原點(diǎn)為基礎(chǔ)定義每個(gè)坐標(biāo)值。注意，以1的SD像素寬度Ls定義X軸坐標(biāo)值。
在圖274中，實(shí)線表示HD圖像3541的像素值，點(diǎn)線表示SD圖像3542的像素值，以及虛線表示沿X方向的現(xiàn)實(shí)世界1的信號(hào)波形。注意，如圖274所示的虛線表示以與圖272所示的虛線相同的方法模擬沿X方向的波形的模擬函數(shù)f(x)。
比較圖272和圖274所示的圖表，從圖中所示的模擬函數(shù)f(x)顯然可以看出，圖中每個(gè)區(qū)域包括線對(duì)象。
然而，存在如下的差異。也就是說(shuō)，在圖272中線對(duì)象在約0到1的x的區(qū)域上延伸，而在圖274中，線對(duì)象在約-0.5到0.5的x的區(qū)域上延伸。也就是說(shuō)，在圖272中，線對(duì)象的大部分被包括在位于SD圖像3542中的0到1的x的區(qū)域上的單個(gè)SD像素內(nèi)，另一方面，在圖274中，線對(duì)象的部分被包括在位于SD圖像3542中0到1的x的區(qū)域上的單個(gè)SD像素中(線對(duì)象與背景鄰接的邊緣也被包括在其中)。
因此，在如圖272所示的情況下，在延伸于HD圖像3541的0到1.0的x的區(qū)域上的兩個(gè)HD像素(由實(shí)線表示)之間的像素值之差較小。相應(yīng)的SD像素的像素值(圖中由點(diǎn)線表示)是兩個(gè)HD像素的像素值的平均值。因此，可以容易理解，SD圖像3542的SD像素與HD圖像3541的兩個(gè)HD像素之間的像素值之差較小。
在該狀態(tài)下(如圖272所示的狀態(tài))，考慮利用常規(guī)類型分類適應(yīng)處理的用于產(chǎn)生延伸在0到1.0的x的區(qū)域上的兩個(gè)HD像素(預(yù)測(cè)圖像3543的像素)的再現(xiàn)處理，其中以延伸在0到1.0的x的區(qū)域上的單個(gè)SD像素作為關(guān)注像素。在該情況下，如圖271所示，產(chǎn)生的預(yù)測(cè)圖像3543的HD像素以充分高的精度模擬HD圖像3541的HD像素。也就是說(shuō)，在區(qū)域3544-1中，在預(yù)測(cè)圖像3543和HD圖像3541之間的像素值之差較小，因此，形成的減法圖像具有接近黑色的密度，如圖271所示。
另一方面，在如圖274所示的情況下，在延伸于HD圖像3541的0到1.0的x的區(qū)域上的兩個(gè)HD像素(由實(shí)線表示)之間的像素值之差較大。相應(yīng)的SD像素的像素值(圖中由點(diǎn)線表示)是兩個(gè)HD像素的像素值的平均值。因此，可以容易理解，SD圖像3542的SD像素與HD圖像3541的兩個(gè)HD像素之間的像素值之差比如圖272所示的相應(yīng)差較大。
在該狀態(tài)下(如圖274所示的狀態(tài))，考慮利用常規(guī)類型分類適應(yīng)處理的用于產(chǎn)生延伸在0到1.0的x的區(qū)域上的兩個(gè)HD像素(預(yù)測(cè)圖像3543的像素)的再現(xiàn)處理，其中以延伸在0到1.0的x的區(qū)域上的單個(gè)SD像素作為關(guān)注像素。在該情況下，如圖273所示，產(chǎn)生的預(yù)測(cè)圖像3543的HD像素以較差的精度模擬HD圖像3541的HD像素。也就是說(shuō)，在區(qū)域3544-2中，在預(yù)測(cè)圖像3543和HD圖像3541之間的像素值之差較大，因此，形成的減法圖像具有接近白色的密度，如圖273所示。
比較如圖272所示和如圖274所示的用于模擬現(xiàn)實(shí)世界1的信號(hào)的模擬函數(shù)f(x)(圖中由虛線表示)，可以如下理解。也就是說(shuō)，模擬函數(shù)f(x)在圖272中0到1的x的區(qū)域上的變化較小，而模擬函數(shù)f(x)在圖274中0到1的x的區(qū)域上的變化較大。
因此，存在如圖272所示的SD圖像3542中的SD像素，其在0到1的x的范圍上延伸，在其上模擬函數(shù)f(x)的變化較小(即，現(xiàn)實(shí)世界1的信號(hào)的變化較小)。
從該角度上，上述的研究結(jié)果還可以如下文所述。也就是說(shuō)，在基于延伸在其上模擬函數(shù)f(x)的變化較小(即現(xiàn)實(shí)世界1的信號(hào)的變化較小)的區(qū)域上的SD像素、如延伸在如圖272所示的0到1.0的x的區(qū)域上的SD像素再現(xiàn)HD像素的情況下，利用常規(guī)類型分類適應(yīng)處理，產(chǎn)生的HD像素以充分高的精度模擬現(xiàn)實(shí)世界1的信號(hào)(在該情況下，直線對(duì)象的圖像)。
另一方面，存在如圖274所示的SD圖像3542中的另一個(gè)SD像素，其在0到1的x的范圍上延伸，在其上模擬函數(shù)f(x)的變化較大(即，現(xiàn)實(shí)世界1的信號(hào)的變化較大)。
從該角度上，上述的研究結(jié)果還可以如下文所述。也就是說(shuō)，在基于延伸在其上模擬函數(shù)f(x)的變化較大(即現(xiàn)實(shí)世界1的信號(hào)的變化較大)的區(qū)域上的SD像素、如延伸在如圖274所示的0到1.0的x的區(qū)域上的SD像素再現(xiàn)HD像素的情況下，，利用常規(guī)類型分類適應(yīng)處理，產(chǎn)生的HD像素以較差的精度模擬現(xiàn)實(shí)世界1的信號(hào)(在該情況下，直線對(duì)象的圖像)。
上述研究結(jié)果的結(jié)論為如圖275所示的情況，利用基于像素之間的關(guān)系的常規(guī)信號(hào)處理(例如，類型分類適應(yīng)處理)，難于再現(xiàn)延伸在對(duì)應(yīng)于單個(gè)像素的區(qū)域上的細(xì)節(jié)。
也就是說(shuō)，圖275描述了本申請(qǐng)人獲得的研究結(jié)果。
在圖275中，圖中水平方向表示為空間方向的X方向，沿其上排列有傳感器2(圖266)的檢測(cè)元件。另一方面，圖中垂直方向表示光量水平或像素值。點(diǎn)線表示現(xiàn)實(shí)世界1的信號(hào)(圖266)的X截面波形F(x)。實(shí)線表示在傳感器2接收上述表示的現(xiàn)實(shí)世界1的信號(hào)(圖像)的情況下從傳感器2輸出的像素值P。另外，傳感器2的檢測(cè)元件的寬度(在X方向上的長(zhǎng)度)由Lc表示。X截面波形F(x)相對(duì)于作為傳感器2的檢測(cè)元件的寬度Lc的傳感器2的像素寬度Lc的變化由ΔP表示。
這里，上述SD圖像3542(圖270)是用于模擬從傳感器2輸入的圖像(圖266)的圖像。在該模擬下，以SD圖像3542的SD像素寬度Ls(圖272和圖274)為傳感器2的像素寬度Lc(檢測(cè)元件的寬度)，可以進(jìn)行估計(jì)。
盡管已經(jīng)描述了對(duì)表現(xiàn)為細(xì)線的現(xiàn)實(shí)世界1的信號(hào)(模擬函數(shù)f(x))的研究，對(duì)于現(xiàn)實(shí)世界1中的信號(hào)水平可以有多種變化。
因此，基于研究結(jié)果可以估計(jì)在如圖275所示的條件下的再現(xiàn)結(jié)果。估計(jì)的再現(xiàn)結(jié)果如下所述。
也就是說(shuō)，在利用常規(guī)類型分類適應(yīng)處理再現(xiàn)HD像素(例如，從圖266中的類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像的像素)的情況下，其中以其上現(xiàn)實(shí)世界1的信號(hào)的變化ΔP(在X截面波形F(x)上的變化)較大的SD像素(從傳感器2輸出的像素)作為關(guān)注像素，則產(chǎn)生的HD像素以較差的精度模擬現(xiàn)實(shí)世界1中的信號(hào)(如圖275所示的X截面波形F(x))。
尤其是，在例如類型分類適應(yīng)處理的常規(guī)方法中，基于從傳感器2輸出的多個(gè)像素之間的關(guān)系進(jìn)行圖像處理。
也就是說(shuō)，如圖275所示，考慮位于對(duì)應(yīng)于單個(gè)像素的區(qū)域上的在X截面波形F(x)上表現(xiàn)快速變化ΔP，即現(xiàn)實(shí)世界1中的信號(hào)的快速變化的信號(hào)。對(duì)該信號(hào)積分(嚴(yán)格地說(shuō)，時(shí)間空間積分)，并只輸出單個(gè)像素值P(在單個(gè)信號(hào)上的像素由統(tǒng)一像素值P表示)。
在常規(guī)方法中，以像素值P同時(shí)為參考和目標(biāo)而進(jìn)行圖像處理。換句話說(shuō)，在常規(guī)方法中，不考慮單個(gè)像素上的現(xiàn)實(shí)世界1的信號(hào)(X截面波形F(x))的變化，即不考慮延伸在單個(gè)像素上的細(xì)節(jié)，而進(jìn)行圖像處理。
只要圖像處理是以像素增量進(jìn)行的，則任何圖像處理(即使類型分類適應(yīng)處理)難于高精度地再現(xiàn)現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化。尤其是，現(xiàn)實(shí)世界1的信號(hào)的大的變化ΔP將導(dǎo)致其中的顯著難度。
換句話說(shuō)，上述類型分類適應(yīng)處理的問(wèn)題，即，利用類型分類適應(yīng)處理對(duì)原始細(xì)節(jié)的不充分再現(xiàn)的原因如下，所述問(wèn)題通常發(fā)生在其中在從傳感器2輸出圖像的階段已經(jīng)丟失細(xì)節(jié)的輸入圖像(SD圖像)的情況中。所述原因在于，類型分類適應(yīng)處理在像素增量上進(jìn)行(具有單個(gè)像素值的單個(gè)像素)，而不考慮現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化。
注意，所有包括類型分類適應(yīng)處理的常規(guī)圖像處理方法都具體相同的問(wèn)題，問(wèn)題的原因是完全相同的。
如上所述，常規(guī)圖像處理方法具有同樣的問(wèn)題和同樣的問(wèn)題的原因。
另一方面，數(shù)據(jù)連續(xù)性檢測(cè)單元101和現(xiàn)實(shí)世界估計(jì)單元102(圖3)的組合使得可以利用現(xiàn)實(shí)世界1的信號(hào)的連續(xù)性基于來(lái)自傳感器2的輸入圖像(即，其中已經(jīng)丟失了現(xiàn)實(shí)世界1的信號(hào)變化的圖像)而估計(jì)現(xiàn)實(shí)世界1的信號(hào)。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元102具有輸出現(xiàn)實(shí)世界估計(jì)信息的功能，其允許估計(jì)現(xiàn)實(shí)世界1的信號(hào)。
因此，可以基于現(xiàn)實(shí)世界估計(jì)信息估計(jì)現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化。
在本說(shuō)明書中，本申請(qǐng)人已經(jīng)提出了例如圖266所示的類型分類適應(yīng)處理校正方法，其基于這樣的機(jī)制，其中，利用基于現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生的預(yù)定校正圖像(其表示由于現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化而導(dǎo)致的預(yù)測(cè)圖像的估計(jì)誤差)校正由常規(guī)類型分類適應(yīng)處理產(chǎn)生的預(yù)測(cè)圖像(其表示不考慮現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化而預(yù)測(cè)的現(xiàn)實(shí)世界1中的圖像)，從而解決上述問(wèn)題。
也就是說(shuō)，在圖266中，數(shù)據(jù)連續(xù)性檢測(cè)單元101和現(xiàn)實(shí)世界估計(jì)單元102產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息。然后，類型分類適應(yīng)處理校正單元3502基于上述產(chǎn)生的現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生具有預(yù)定格式的校正圖像。接著，相加單元3503利用從類型分類適應(yīng)處理校正單元3502輸出的校正圖像校正從類型適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像(尤其是，相加預(yù)測(cè)圖像和校正圖像，并輸出相加的圖像作為輸出圖像)。
注意，已經(jīng)詳細(xì)描述了用于進(jìn)行類型分類適應(yīng)處理校正方法的包括在圖像產(chǎn)生單元103中的類型分類適應(yīng)處理單元3501。另外，相加單元3503的種類不受特別限制，只要相加單元3503具有相加預(yù)測(cè)圖像和校正圖像的功能。相加單元3503的實(shí)例包括各種加法器、相加程序等。
因此，下面將詳細(xì)描述未描述過(guò)的類型分類適應(yīng)處理校正單元3502。
首先描述類型分類適應(yīng)處理校正單元3502的機(jī)制。
如上所述，在圖270中，設(shè)HD圖像3541為將輸入傳感器2(圖266)的原始圖像(現(xiàn)實(shí)世界1中的信號(hào))。另外，設(shè)SD圖像3542為來(lái)自傳感器2的輸入圖像。在該情況下，可以設(shè)預(yù)測(cè)圖像3543為從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像(通過(guò)預(yù)測(cè)原始圖像(HD圖像3541)而獲得的圖像)。
另一方面，通過(guò)從HD圖像3541中減去預(yù)測(cè)圖像3543而獲得的圖像為減法圖像3544。
因此，通過(guò)如下作用再現(xiàn)HD圖像3541類型分類適應(yīng)處理校正單元3502產(chǎn)生減法圖像3544，并輸出減法圖像3544作為校正圖像；以及加法單元3503相加從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像3543和從類型分類適應(yīng)處理校正單元3502輸出的減法圖像3544(校正圖像)。
也就是說(shuō)，類型分類適應(yīng)處理校正單元3502適當(dāng)?shù)仡A(yù)測(cè)減法圖像(與從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像具有相同的分辨率)，其為表示現(xiàn)實(shí)世界1中的信號(hào)(將被輸入傳感器2的原始圖像)的圖像與從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像之差，并輸出上述預(yù)測(cè)的減法圖像(下文將稱為“減法預(yù)測(cè)圖像”)作為校正圖像，從而幾乎完全地再現(xiàn)現(xiàn)實(shí)世界1中的信號(hào)(原始圖像)。
另一方面，如上所述，在如下之間存在關(guān)系現(xiàn)實(shí)世界1中的信號(hào)(將被輸入傳感器2的原始圖像)與從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像之差(誤差)；以及現(xiàn)實(shí)世界1中的信號(hào)在輸入圖像的單個(gè)像素上的變化。另外，現(xiàn)實(shí)世界估計(jì)單元102估計(jì)現(xiàn)實(shí)世界1中的信號(hào)，從而允許估計(jì)每個(gè)像素的特征，所述特征表示現(xiàn)實(shí)世界1中的信號(hào)在輸入圖像的單個(gè)像素上的變化。
在這樣的結(jié)構(gòu)中，類型分類適應(yīng)處理校正單元3502接收輸入圖像的每個(gè)像素的特征，并基于其產(chǎn)生減法預(yù)測(cè)圖像(預(yù)測(cè)減法圖像)。
尤其是，例如，類型分類適應(yīng)處理校正單元3502從現(xiàn)實(shí)世界估計(jì)單元102接收?qǐng)D像(下文稱為“特征量圖像”)作為其中特征由每個(gè)像素值表示的現(xiàn)實(shí)世界估計(jì)信息。
注意，特征量圖像與來(lái)自傳感器2的輸入圖像具有相同的分辨率。另一方面，校正圖像(減法預(yù)測(cè)圖像)與從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像具有相同的分辨率。
在該結(jié)構(gòu)中，類型分類適應(yīng)處理校正單元3502基于特征量圖像，利用常規(guī)類型分類適應(yīng)處理，以特征量圖像為SD圖像并以校正圖像(減法預(yù)測(cè)圖像)為HD圖像，預(yù)測(cè)和計(jì)算減法圖像，從而獲得合適的減法預(yù)測(cè)圖像作為預(yù)測(cè)計(jì)算的結(jié)果。
上述為類型分類適應(yīng)處理校正單元3502的設(shè)置。
圖276示出了在所述機(jī)制上工作的類型分類適應(yīng)處理校正單元3502的結(jié)構(gòu)實(shí)例。
在圖276中，將從現(xiàn)實(shí)世界估計(jì)單元102輸入的特征量圖像(SD圖像)提供給區(qū)域選取單元3551和3555。區(qū)域選取單元3551從提供的特征量圖像選取用于類型分類所需的類型分塊(包括關(guān)注像素的位于預(yù)定區(qū)域上的一組SD像素)，并將選取的類型分塊輸出給圖形檢測(cè)單元3552。圖形檢測(cè)單元3552基于上述輸入的類型分塊檢測(cè)特征量圖像的圖形。
類型代碼確定單元3553基于上述由圖形檢測(cè)單元3552檢測(cè)的圖形確定類型代碼，并將確定的類型代碼輸出給校正系數(shù)存儲(chǔ)器3554和區(qū)域選取單元3555。校正系數(shù)存儲(chǔ)器3554存儲(chǔ)通過(guò)學(xué)習(xí)獲得的每個(gè)類型代碼的系數(shù)。校正系數(shù)存儲(chǔ)器3554讀出對(duì)應(yīng)于從類型代碼確定單元3553輸入的類型代碼，并將類型代碼輸出給校正計(jì)算單元3556。
注意，下面將參考圖277所示的類型分類適應(yīng)處理校正學(xué)習(xí)單元的方框圖描述用于計(jì)算存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中的系數(shù)的學(xué)習(xí)處理。
另一方面，存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中的系數(shù)，即預(yù)測(cè)系數(shù)如下文所述預(yù)測(cè)減法圖像(用于產(chǎn)生作為HD圖像的減法預(yù)測(cè)圖像)。然而，上述術(shù)語(yǔ)“預(yù)測(cè)系數(shù)”表示存儲(chǔ)在類型分類適應(yīng)處理單元3501的系數(shù)存儲(chǔ)器3514(圖267)中的系數(shù)。因此，存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中的預(yù)測(cè)系數(shù)在下文中將稱為“校正系數(shù)”，以區(qū)分該系數(shù)與系數(shù)存儲(chǔ)器3514中的預(yù)測(cè)系數(shù)。
區(qū)域選取單元3555基于從類型代碼確定單元3553輸入的類型代碼，從自現(xiàn)實(shí)世界估計(jì)單元102輸入的特征量圖像(SD圖像)選取用于預(yù)測(cè)減法圖像(HD圖像)(即用于產(chǎn)生作為HD圖像的減法預(yù)測(cè)圖像)所需的、對(duì)應(yīng)于類型代碼的預(yù)測(cè)分塊(包括關(guān)注像素的位于預(yù)定區(qū)域上的一組SD像素)，并將選取的類型分塊輸出給校正計(jì)算單元3556。校正計(jì)算單元3556利用從區(qū)域選取單元3555輸入的預(yù)測(cè)分塊和從校正系數(shù)存儲(chǔ)器3554輸入的校正系數(shù)執(zhí)行積-和計(jì)算，從而產(chǎn)生對(duì)應(yīng)于特征量圖像(SD圖像)的關(guān)注像素(SD像素)的減法預(yù)測(cè)圖像(HD圖像)的HD像素。
尤其是，校正系數(shù)存儲(chǔ)器3554將對(duì)應(yīng)于從類型代碼確定單元3553提供的類型代碼的校正系數(shù)輸出給校正計(jì)算單元3556。校正計(jì)算單元3556利用從區(qū)域選取單元3555提供的輸入圖像中的像素的預(yù)定位置上的像素值選取的預(yù)測(cè)分塊(SD像素)和從校正系數(shù)存儲(chǔ)器3554提供的校正系數(shù)執(zhí)行由下面公式(233)表示的積-和計(jì)算，從而獲得減法預(yù)測(cè)圖像(HD圖像)的HD像素(即，預(yù)測(cè)和估計(jì)減法圖像)。
公式(223) 在公式(223)中，u’表示減法預(yù)測(cè)圖像(HD圖像)的HD像素。每個(gè)ai(i為1到n的整數(shù))表示相應(yīng)的預(yù)測(cè)分塊(SD像素)。另一方面，每個(gè)gi表示相應(yīng)的校正系數(shù)。
因此，當(dāng)如圖266所示的類型分類適應(yīng)處理單元3501輸出由上述公式(215)表示的HD像素q’，類型分類適應(yīng)處理校正單元3502輸出由公式(223)表示的減法預(yù)測(cè)圖像的HD像素u’。然后，相加單元3503求預(yù)測(cè)圖像的HD像素q’和減法預(yù)測(cè)圖像的HD像素u’的和(下文中表示為“o_)，并將該和輸出給外部電路作為輸出圖像的HD像素。
也就是說(shuō)，最后從圖像產(chǎn)生單元103輸出的輸出圖像的HD像素o’由下面公式(224)表示。
公式(224) 圖277示出了用于確定存儲(chǔ)在類型分類適應(yīng)處理校正單元3502的校正系數(shù)存儲(chǔ)器3554中的校正系數(shù)(用于上述公式(222)中的gi)的學(xué)習(xí)單元、即上述如圖268所示的學(xué)習(xí)裝置3504的類型分類適應(yīng)處理校正學(xué)習(xí)單元3561的詳細(xì)結(jié)構(gòu)實(shí)例。
在上述圖268中，當(dāng)完成學(xué)習(xí)處理，類型分類適應(yīng)處理學(xué)習(xí)單元3521輸出基于第一學(xué)生圖像利用通過(guò)學(xué)習(xí)獲得的預(yù)測(cè)系數(shù)預(yù)測(cè)第一老師圖像而獲得的學(xué)習(xí)預(yù)測(cè)圖像，并將用于學(xué)習(xí)處理的第一老師圖像(HD圖像)和第一學(xué)生圖像(SD圖像)輸出給類型分類適應(yīng)處理校正學(xué)習(xí)單元3561。
返回圖277，在這些圖像中，將第一學(xué)生圖像輸入數(shù)據(jù)連續(xù)性檢測(cè)單元3572。
另一方面，在這些圖像中，將第一學(xué)生圖像和學(xué)習(xí)預(yù)測(cè)圖像輸入給相加單元3571。注意，在輸入相加單元3571前將學(xué)習(xí)預(yù)測(cè)圖像取反。
相加單元3571相加輸入的第一老師圖像和取反的輸入學(xué)習(xí)預(yù)測(cè)圖像，即產(chǎn)生第一老師圖像和學(xué)習(xí)預(yù)測(cè)圖像的減法圖像，并將產(chǎn)生的減法圖像輸出給正規(guī)方程產(chǎn)生單元3578作為用于類型分類適應(yīng)處理校正學(xué)習(xí)單元3561中的老師圖像(其將被稱為“第二老師圖像”以區(qū)分該圖像與第一老師圖像)。
數(shù)據(jù)連續(xù)性檢測(cè)單元3572檢測(cè)包含在輸入的第一學(xué)生圖像中的數(shù)據(jù)連續(xù)性，并將檢測(cè)結(jié)果輸出給現(xiàn)實(shí)世界估計(jì)單元3573作為數(shù)據(jù)連續(xù)性信息。
現(xiàn)實(shí)世界估計(jì)單元3573基于上述輸入的數(shù)據(jù)連續(xù)性信息產(chǎn)生特征量圖像，并將產(chǎn)生的圖像輸出給區(qū)域選取單元3574和3577作為用于類型分類適應(yīng)處理校正學(xué)習(xí)單元3561中的學(xué)生圖像(該學(xué)生圖像將被稱為“第二學(xué)生圖像”，以區(qū)分該學(xué)生圖像與上述第一學(xué)生圖像)。
區(qū)域選取單元3574從上述提供的第二學(xué)生圖像(SD圖像)選取用于類型分類所需的SD像素(類型分塊)，并將選取的類型分塊輸出給圖形檢測(cè)單元3575。圖形檢測(cè)單元3575檢測(cè)輸入的類型分塊的圖形，并將檢測(cè)結(jié)果輸出給類型代碼確定單元3576。類型代碼確定單元3576確定對(duì)應(yīng)于輸入圖形的類型代碼，并將確定的類型代碼輸出給區(qū)域選取單元3577和正規(guī)方程產(chǎn)生單元3578。
區(qū)域選取單元3577基于從類型代碼確定單元3576輸入的類型代碼從自現(xiàn)實(shí)世界估計(jì)單元3573輸入的第二學(xué)生圖像(SD圖像)選取預(yù)測(cè)分塊(SD像素)，并將選取的預(yù)測(cè)分塊輸出給正規(guī)方程產(chǎn)生單元3578。
注意，區(qū)域選取單元3574、圖形檢測(cè)單元3575、類型代碼確定單元3576，以及區(qū)域選取單元3577具有基本相同的結(jié)構(gòu)，并且，分別與如圖276所示的類型分類適應(yīng)處理校正單元3502的區(qū)域選取單元3551、圖形檢測(cè)單元3552、類型代碼確定單元3553、以及區(qū)域選取單元3555相同地作用。另外，上述數(shù)據(jù)連續(xù)性檢測(cè)單元3572和現(xiàn)實(shí)世界估計(jì)單元3773具有基本相同的結(jié)構(gòu)，并且分別與圖266中所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101和現(xiàn)實(shí)世界估計(jì)單元102相同地作用。
正規(guī)方程產(chǎn)生單元3578基于從區(qū)域選取單元3577輸入的第二學(xué)生圖像(SD圖像)的預(yù)測(cè)分塊(SD像素)，以及從類型代碼確定單元3576輸入的每個(gè)類型代碼的第二老師圖像(HD圖像)的HD像素而產(chǎn)生正規(guī)方程，并將正規(guī)方程提供給系數(shù)確定單元3579。當(dāng)從正規(guī)方程產(chǎn)生單元3578接收相應(yīng)類型代碼的正規(guī)方程時(shí)，校正系數(shù)確定單元3579利用正規(guī)方程計(jì)算校正系數(shù)，其相關(guān)于類型代碼，并被存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中。
下面，將詳細(xì)描述正規(guī)方程產(chǎn)生單元3578和校正系數(shù)確定單元3579。
在上述公式(223)中，所有校正系數(shù)gi在學(xué)習(xí)之前是未確定。在本實(shí)施例中，學(xué)習(xí)處理通過(guò)輸入每個(gè)類型代碼的老師圖像(HD圖像)的多個(gè)HD像素而進(jìn)行。假設(shè)，對(duì)應(yīng)于特定類型代碼存在m個(gè)HD像素，并將m個(gè)HD像素中的每個(gè)表示為uk(k表示1到m的整數(shù))。在該情況下，從上述公式(223)得到下面的公式(225)。
公式(225) 也就是說(shuō)，公式(225)表示，通過(guò)計(jì)算公式(225)的右側(cè)可以預(yù)測(cè)和估計(jì)對(duì)應(yīng)于特定類型代碼的HD像素。注意，在公式(225)中，ek表示誤差。也就是說(shuō)，作為該公式右側(cè)的計(jì)算結(jié)果的減法預(yù)測(cè)圖像(HD圖像)的HD像素uk’不完全匹配實(shí)際減法圖像的HD像素uk，而是包括特定誤差ek。
在公式(225)中，例如，校正系數(shù)ai通過(guò)學(xué)習(xí)使得誤差ek的平方和表現(xiàn)最小值而獲得。
在本實(shí)施例中，預(yù)備m(m＞n)個(gè)HD像素uk用于學(xué)習(xí)處理。在該情況下，利用最小二乘法可以計(jì)算校正系數(shù)ai作為唯一解。
也就是說(shuō)，利用最小二乘法計(jì)算公式(225)右側(cè)中的校正系數(shù)ai的正規(guī)方程由下面公式(226)表示。


公式(226) 當(dāng)公式(226)中的矩陣為下面公式(227)到公式(229)，則正規(guī)方程由下面公式(230)表示。


公式(227) 公式(228) 公式(229) AMAT GMAT＝UMAT 公式(230) 如公式(228)所示，矩陣GMAT的每個(gè)分量為將要獲得的校正系數(shù)gi。在本實(shí)施例中，在公式(230)中，如果確定了其左側(cè)的矩陣AMAT和右側(cè)的矩陣UMAT，可以利用矩陣求解方法計(jì)算矩陣GMAT(即校正系數(shù)gi)。
尤其是，在本實(shí)施例中，由于已知預(yù)測(cè)分塊aik，因此可以獲得由公式(227)表示的矩陣AMAT的各個(gè)分量。區(qū)域選取單元3577選取每個(gè)預(yù)測(cè)分塊aik，并且正規(guī)方程產(chǎn)生單元3578利用從區(qū)域選取單元3577提供的預(yù)測(cè)分塊aik計(jì)算矩陣AMAT的每個(gè)分量。
另一方面，在本實(shí)施例，準(zhǔn)備預(yù)測(cè)分塊aik和減法圖像的HD像素uk是已知的，因此可以計(jì)算如公式(299)所示的矩陣uMAT的各個(gè)分量。注意，預(yù)測(cè)分塊aik與矩陣AMAT中相同。另外，減法圖像的HD像素uk匹配從相加單元3571輸出的第二老師圖像的相應(yīng)HD像素。在本實(shí)施例中，正規(guī)方程產(chǎn)生單元3578利用從區(qū)域選取單元3577提供的預(yù)測(cè)分塊aik和第二老師圖像(第一老師圖像和學(xué)習(xí)預(yù)測(cè)圖像的減法圖像)而計(jì)算矩陣UMAT的每個(gè)分量。
如上所述，正規(guī)方程產(chǎn)生單元3578計(jì)算每個(gè)類型代碼的矩陣AMAT和矩陣UMAT的每個(gè)分量，并將相關(guān)于類型代碼的計(jì)算結(jié)果提供給校正系數(shù)確定單元3579。
校正系數(shù)確定單元3579基于對(duì)應(yīng)于提供的類型代碼的正規(guī)方程，計(jì)算作為由上述公式(230)表示的每個(gè)矩陣GMAT的分量的校正系數(shù)gi。
尤其是，可以將由上述公式(230)表示的正規(guī)方程轉(zhuǎn)換為下面的公式(231)。
公式(231) 在公式(231)中，其左側(cè)矩陣GMAT的各個(gè)分量是將要獲得的校正系數(shù)gi。注意，從正規(guī)方程產(chǎn)生單元3578提供矩陣AMAT和矩陣UMAT的各個(gè)分量。在本實(shí)施例中，當(dāng)從正規(guī)方程產(chǎn)生單元3578接收對(duì)應(yīng)于特定類型代碼的矩陣AMAT的分量和矩陣UMAT的分量，校正系數(shù)確定單元3579通過(guò)執(zhí)行由公式(231)的右側(cè)表示的矩陣計(jì)算而計(jì)算矩陣GMAT，并將相關(guān)于類型代碼的計(jì)算結(jié)果(校正系數(shù)gi)存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中。
上文詳細(xì)描述了類型分類適應(yīng)處理校正單元3502和類型分類適應(yīng)處理校正學(xué)習(xí)單元3561，其中后者是學(xué)習(xí)單元，并且是類型分類適應(yīng)處理校正單元3502的子單元。
注意，在本發(fā)明中采用的特征量圖像不特別限制，只要通過(guò)類型分類適應(yīng)處理校正單元3502基于其產(chǎn)生校正圖像(減法預(yù)測(cè)圖像)。換句話說(shuō)，用于本發(fā)明的特征量圖像中的每個(gè)像素的像素值，即特征不特別限制，只要所述特征表示現(xiàn)實(shí)世界1中的信號(hào)(圖266)在單個(gè)像素(傳感器2(圖266)的像素)上的變化。
例如，可以采用“像素內(nèi)梯度”作為特征。
注意，“像素內(nèi)梯度”是這里新定義的術(shù)語(yǔ)。下面將描述像素內(nèi)梯度。
如上所述，通過(guò)以三維空間中的位置x，y和z以及時(shí)間t為變量的函數(shù)F(x，y，t)表示作為圖266中的圖像的現(xiàn)實(shí)世界1的信號(hào)。
現(xiàn)在，假設(shè)其為圖像的現(xiàn)實(shí)世界1中的信號(hào)具有在特定空間方向上的連續(xù)性。在該情況下，考慮通過(guò)沿空間方向X方向、Y方向和Z方向中的特定方向(例如X方向)投影函數(shù)F(x，y，t)獲得的一維波形(將通過(guò)沿X方向投影函數(shù)F(x，y，t)獲得的波形稱為“X截面波形F(x)”)。在該情況下，可以理解，在沿連續(xù)性方向的附近可以獲得類似上述一維波形F(x)的波形。
基于上述內(nèi)容，在本實(shí)施例中，現(xiàn)實(shí)世界估計(jì)單元102基于數(shù)據(jù)連續(xù)性信息(例如角度)利用n(n表示特定整數(shù))階多項(xiàng)式模擬函數(shù)f(x)模擬X截面波形F(x)，所述數(shù)據(jù)連續(xù)性信息反映了現(xiàn)實(shí)世界1中的信號(hào)的連續(xù)性，并從例如數(shù)據(jù)連續(xù)性檢測(cè)單元101輸出。
圖278示出了由下面公式(232)表示的f4(x)(其為5多項(xiàng)式函數(shù))，和由下面公式(233)表示的f5(x)(其為一階多項(xiàng)式函數(shù))，作為該多項(xiàng)式模擬函數(shù)f(x)的實(shí)例。
f4(x)＝w0+w1x+w2x2+w3x3+w4x4+w5x5 公式(232) f5(x)＝w0’+w1’x 公式(233) 注意，公式(232)中W0到W5的每個(gè)和公式(233)中W0’到W1’表示通過(guò)現(xiàn)實(shí)世界估計(jì)單元102計(jì)算的函數(shù)的相應(yīng)階數(shù)的系數(shù)。
另一方面，在圖278中，將圖中水平方向上的x軸定義為以關(guān)注像素的左端作為原點(diǎn)(x＝0)，并表示沿空間方向X距離關(guān)注像素的相對(duì)位置。注意，將x軸定義為以傳感器2的檢測(cè)元件的寬度Lc為1。另一方面，圖中垂直方向上的軸線表示像素值。
如圖278所示，一維模擬函數(shù)f5(x)(由公式(232)表示的模擬函數(shù)f5(x))利用線性模擬模擬關(guān)注像素周圍的X截面波形F(x)。在該說(shuō)明書中，將線性模擬函數(shù)的梯度稱為“像素內(nèi)梯度”。也就是說(shuō)，像素內(nèi)梯度由公式(233)中x的系數(shù)w1’表示。
快變像素內(nèi)梯度反映了關(guān)注像素附近的X截面波形F(x)中的較大變化。另一方面，漸變梯度反映了關(guān)注像素附近的X截面波形F(x)中的較小變化。
如上所述，像素內(nèi)梯度適當(dāng)?shù)胤从沉爽F(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素(傳感器2的像素)上的變化。因此，可以采用像素內(nèi)梯度作為特征。
例如，圖279示出了利用像素內(nèi)梯度為特征產(chǎn)生的實(shí)際特征量圖像。
也就是說(shuō)，圖279左邊的圖像與上述圖270所示的SD圖像3542相同。另一方面，圖279右邊的圖像是如下述產(chǎn)生的特征量圖像3591。也就是說(shuō)，獲得圖中左邊SD圖像3542的每個(gè)像素的像素內(nèi)梯度。然后，以對(duì)應(yīng)于像素內(nèi)梯度的值為像素值產(chǎn)生圖中右邊的圖像。注意，特征量圖像3591具有下面的特征。也就是說(shuō)，在像素內(nèi)梯度為0(即線性模擬函數(shù)平行于X方向)的情況下，產(chǎn)生具有對(duì)應(yīng)于黑色的密度的圖像。另一方面，在像素內(nèi)梯度為90°(即線性模擬函數(shù)平行于Y方向)的情況下，產(chǎn)生具有對(duì)應(yīng)于白色的密度的圖像。
SD圖像3542中的區(qū)域3542-1對(duì)應(yīng)上述圖271所示的減法圖像3544中的區(qū)域3544-1(其在參考圖272的上述中用作其中現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化較小的區(qū)域?qū)嵗?。在圖279中，特征量圖像3591中的區(qū)域3591-1對(duì)應(yīng)SD圖像3542中的區(qū)域3542-1。
另一方面，SD圖像3542中的區(qū)域3542-2對(duì)應(yīng)上述圖273所示的減法圖像3544中的區(qū)域3544-2(其在參考圖274的上述中用作其中現(xiàn)實(shí)世界1的信號(hào)在單個(gè)像素上的變化較大的區(qū)域?qū)嵗?。在圖279中，特征量圖像3591中的區(qū)域3591-2對(duì)應(yīng)SD圖像3542中的區(qū)域3542-2。
比較SD圖像3542的區(qū)域3542-1和特征量圖像3591的區(qū)域3591-1，可以理解，其中現(xiàn)實(shí)世界1的信號(hào)的變化較小的區(qū)域?qū)?yīng)具有接近黑色的密度的特征量圖像3591的區(qū)域(對(duì)應(yīng)于具有漸變像素內(nèi)梯度的區(qū)域)。
另一方面，比較SD圖像3542的區(qū)域3542-2和特征量圖像3591的區(qū)域3591-2，可以理解，其中現(xiàn)實(shí)世界1的信號(hào)的變化較大的區(qū)域?qū)?yīng)具有接近白色的密度的特征量圖像3591的區(qū)域(對(duì)應(yīng)于具有快變像素內(nèi)梯度的區(qū)域)。
如上所述，利用對(duì)應(yīng)于像素內(nèi)梯度的值作為像素值產(chǎn)生的特征量圖像適當(dāng)?shù)胤从沉爽F(xiàn)實(shí)世界1的信號(hào)在每個(gè)像素上的變化程度。
接著，將描述像素內(nèi)梯度的具體計(jì)算方法。
也就是說(shuō)，以關(guān)注像素附近的像素內(nèi)梯度為“grad”，則像素內(nèi)梯度grad由下面公式(234)表示。
公式(234) 在公式(234)中，Pn表示關(guān)注像素的像素值。另外，PC表示中心像素的像素值。
尤其是，如圖280所示，考慮具有特定數(shù)據(jù)連續(xù)性的來(lái)自傳感器2的輸入圖像中的5×5的像素(圖中5×5＝25個(gè)像素的區(qū)域)的區(qū)域3601(其在下文中稱為“連續(xù)性區(qū)域3601”)。在連續(xù)性區(qū)域3601的情況下，中心像素是位于連續(xù)性區(qū)域3601的中心的像素3602。因此，PC是中心像素3602的像素值。另外，在像素3603是關(guān)注像素的情況下，則Pn是關(guān)注像素3603的像素值。
另外，在公式(234)中，xn’表示在關(guān)注像素中心的截面方向距離。注意，以中心像素(在如圖280所示的情況中為像素3602)的中心為空間方向中的原點(diǎn)(0，0)，將“截面方向距離”定義為在關(guān)注中心像素和平行于數(shù)據(jù)連續(xù)性方向、并經(jīng)過(guò)原點(diǎn)的直線(在如圖280所示情況中為直線3604)之間沿X方向上的相對(duì)距離。
圖281示出了圖280中的連續(xù)性區(qū)域3601內(nèi)的每個(gè)像素的截面方向距離。也就是說(shuō)，在圖281中，在連續(xù)性區(qū)域3601(圖中5×5＝25個(gè)像素的方形區(qū)域)中的每個(gè)像素內(nèi)標(biāo)記的值表示相應(yīng)像素上的截面方向距離。例如，在關(guān)注像素3603上的截面方向距離xn’為-2β。
注意，將X軸和Y軸定義為在X方向和Y方向上的像素寬度都為1。另外，將X方向定義為以正方向?qū)?yīng)于圖中的右方向。另外，在該情況下，β表示在Y方向上相鄰于中心像素3602(圖中在其下方相鄰)的像素3605上的截面方向距離。在本實(shí)施例中，數(shù)據(jù)連續(xù)性檢測(cè)單元101提供如圖281所示的角度θ(直線3604的方向和X方向之間的角度θ)作為數(shù)據(jù)連續(xù)性信息，因此，利用下面的公式(235)可以容易地獲得值β。
公式(235) 如上所述，基于中心像素(例如圖281中的像素3602)和關(guān)注像素(例如圖281中的像素3603)的兩個(gè)輸入像素值和角度θ，可以利用簡(jiǎn)單的計(jì)算獲得像素內(nèi)梯度。在本實(shí)施例中，現(xiàn)實(shí)世界估計(jì)單元102以對(duì)應(yīng)于像素內(nèi)梯度的值為像素值產(chǎn)生特征量圖像，從而較大地減少了處理量。
注意，在需要更高精度像素內(nèi)梯度的設(shè)置中，現(xiàn)實(shí)世界估計(jì)單元102可以通過(guò)最小二乘法利用包括關(guān)注像素的其附近的像素計(jì)算像素內(nèi)梯度。尤其是，假設(shè)包括關(guān)注像素并在其周圍的m(m表示2或更大的整數(shù))個(gè)像素由指數(shù)i表示(i表示1到m的整數(shù))。現(xiàn)實(shí)世界估計(jì)單元102將輸入像素值Pi和相應(yīng)的截面方向距離xi’代入下面公式(236)的右側(cè)，從而計(jì)算關(guān)注像素上的像素內(nèi)梯度grad。也就是說(shuō)，利用與上述相同具有單個(gè)變量的最小二乘法計(jì)算像素內(nèi)梯度。
公式(236) 接著，將參考圖282描述由利用類型分類適應(yīng)處理校正方法的圖像產(chǎn)生單元103(圖226)進(jìn)行的用于產(chǎn)生圖像的處理(如圖40所示的步驟S103中的處理)。
在圖266中，當(dāng)接收到作為圖像的現(xiàn)實(shí)世界1中的信號(hào)，傳感器2輸出輸入圖像。將輸入圖像輸入圖像產(chǎn)生單元103的類型分類適應(yīng)處理單元3501，以及將其輸入數(shù)據(jù)連續(xù)性檢測(cè)單元101。
然后，在圖282所示的步驟S3501中，類型分類適應(yīng)處理單元3501對(duì)輸入圖像(SD圖像)進(jìn)行類型分類適應(yīng)處理，以產(chǎn)生預(yù)測(cè)圖像(HD圖像)，并將產(chǎn)生的預(yù)測(cè)圖像輸出給相加單元3503。
注意，下文中將該由類型分類適應(yīng)處理單元3501進(jìn)行的步驟S3501稱為“輸入圖像類型分類適應(yīng)處理”。下面將參考圖283中的流程圖描述在該情況下的“輸入圖像類型分類適應(yīng)處理”。
數(shù)據(jù)連續(xù)性檢測(cè)單元101在與步驟S3501中的處理幾乎同時(shí)地檢測(cè)包括在輸入圖像中的數(shù)據(jù)連續(xù)性，并將檢測(cè)結(jié)果(在該情況中為角度)輸出給現(xiàn)實(shí)世界估計(jì)單元102作為數(shù)據(jù)連續(xù)性信息(如圖40所示的步驟S101中的處理)。
現(xiàn)實(shí)世界估計(jì)單元102基于輸入圖像(數(shù)據(jù)連續(xù)性信息)產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息(特征量圖像，其在該情況下為SD圖像)，并將現(xiàn)實(shí)世界估計(jì)信息提供給類型分類適應(yīng)處理校正單元3502(圖40所示的步驟S102中的處理)。
然后，在步驟S3502中，類型分類適應(yīng)處理校正單元3502對(duì)上述提供的特征量圖像(SD圖像)進(jìn)行類型分類適應(yīng)處理，從而產(chǎn)生減法預(yù)測(cè)圖像(HD圖像)(即，從而因此預(yù)測(cè)并計(jì)算實(shí)際圖像(現(xiàn)實(shí)世界1中的信號(hào))與從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像之間的減法圖像(HD圖像))，并將減法預(yù)測(cè)圖像輸出給相加單元3503作為校正圖像。
注意，下文中將該由類型分類適應(yīng)處理校正單元3502進(jìn)行的步驟S3502中的處理稱為“類型分類適應(yīng)處理校正處理”。下面將參考圖284中的流程圖詳細(xì)描述在該情況下的“類型分類適應(yīng)處理校正處理”。
然后，在步驟S3503中，相加單元3503進(jìn)行如下求和通過(guò)類型分類適應(yīng)處理單元3501利用步驟S3501中的處理產(chǎn)生的預(yù)測(cè)圖像(HD圖像)的關(guān)注像素(HD像素)；以及通過(guò)類型分類適應(yīng)處理校正單元3502利用步驟S3502中的處理產(chǎn)生的校正圖像(HD圖像)的相應(yīng)像素(HD像素)，從而產(chǎn)生輸出圖像(HD圖像)的像素(HD像素)。
在步驟S3504中，相加單元3503確定是否已經(jīng)對(duì)全部像素進(jìn)行處理。
在步驟S3504中確定仍未對(duì)全部像素進(jìn)行處理的情況下，流程返回步驟S3501，并重復(fù)后面的處理。也就是說(shuō)，對(duì)未經(jīng)過(guò)處理的每個(gè)剩余像素依次進(jìn)行步驟S3501到S3503的處理。
在完成對(duì)全部像素的處理時(shí)(當(dāng)在步驟S3504中確定已經(jīng)對(duì)全部像素進(jìn)行處理的情況下)，在步驟S3505中，相加單元3504將輸出圖像(HD圖像)輸出給外部電路，從而結(jié)束用于產(chǎn)生圖像的處理。
接著，將參考附圖依次詳細(xì)描述“輸入圖像類型分類適應(yīng)處理(步驟S3501中的處理)”和“類型分類適應(yīng)校正處理(步驟S3502中的處理)”。
首先，參考圖283中的流程圖詳細(xì)描述由類型分類適應(yīng)處理單元3501(圖267)執(zhí)行的“輸入圖像類型分類適應(yīng)處理”。
當(dāng)將輸入圖像(SD圖像)輸入類型分類適應(yīng)處理單元3501，在步驟S3521中，區(qū)域選取單元3511和3515分別接收所述輸入圖像。
在步驟S3522中，區(qū)域選取單元3511從輸入圖像選取關(guān)注像素(SD像素)，并選取位于距離關(guān)注像素的預(yù)定相對(duì)位置上的(一個(gè)或多個(gè))像素(SD像素)作為類型分塊，并將選取的類型分塊提供給圖形檢測(cè)單元3512。
在步驟S3523中，圖形檢測(cè)單元3512檢測(cè)上述提供的類型分塊的圖形，并將檢測(cè)圖形提供給類型代碼確定單元3512。
在步驟S3524中，類型代碼確定單元3513從預(yù)備的多種代碼中確定適于上述提供的類型代碼的圖形的類型代碼，并將確定的類型代碼提供給系數(shù)存儲(chǔ)器3514和區(qū)域選取單元3515。
在步驟S3525中，系數(shù)存儲(chǔ)器3514從通過(guò)學(xué)習(xí)處理預(yù)備的多個(gè)預(yù)測(cè)系數(shù)(組)中，檢測(cè)用于隨后處理中的對(duì)應(yīng)于提供的類型代碼的預(yù)測(cè)系數(shù)(組)，并將選擇的預(yù)測(cè)系數(shù)提供給預(yù)測(cè)計(jì)算單元3516。
注意，下面將參考圖288中的流程圖描述學(xué)習(xí)處理。
在步驟S3526，區(qū)域選取單元3515從輸入圖像選取關(guān)注像素(SD像素)，并選取位于距離關(guān)注像素的預(yù)定相對(duì)位置(其被設(shè)置在與類型分塊相同的位置上)上的(一個(gè)或多個(gè))像素(SD像素)作為預(yù)測(cè)分塊，并將選取的預(yù)測(cè)分塊提供給預(yù)測(cè)計(jì)算單元3516。
在步驟S3527中，預(yù)測(cè)計(jì)算單元3516利用從系數(shù)存儲(chǔ)器3514提供的預(yù)測(cè)系數(shù)對(duì)從區(qū)域選取單元3515提供的預(yù)測(cè)分塊進(jìn)行計(jì)算處理以產(chǎn)生預(yù)測(cè)圖像(HD圖像)，并將產(chǎn)生的預(yù)測(cè)圖像輸出給相加單元3503。
尤其是，預(yù)測(cè)計(jì)算單元3516如下進(jìn)行計(jì)算處理。也就是說(shuō)，以從區(qū)域選取單元3515提供的預(yù)測(cè)分塊的每個(gè)像素為ci(i表示1到n的整數(shù))，并以從系數(shù)存儲(chǔ)器3514提供的每個(gè)預(yù)測(cè)系數(shù)為di，則預(yù)測(cè)計(jì)算單元3516進(jìn)行由上述公式(215)右側(cè)表示的計(jì)算，從而計(jì)算對(duì)應(yīng)于關(guān)注像素(SD像素)的HD像素q’。然后，預(yù)測(cè)計(jì)算單元3516將計(jì)算的HD像素q’輸出給相加單元3503作為形成預(yù)測(cè)圖像(HD圖像)的像素，從而輸入圖像類型分類適應(yīng)處理結(jié)束。
接著，將參考圖284的流程圖詳細(xì)描述由類型分類適應(yīng)處理校正單元3502(圖276)執(zhí)行的“類型分類適應(yīng)處理校正處理”。
當(dāng)將特征量圖像(SD圖像)輸入類型分類適應(yīng)處理校正單元3502作為來(lái)自現(xiàn)實(shí)世界估計(jì)單元102的現(xiàn)實(shí)世界估計(jì)信息，在步驟S3541中，區(qū)域選取單元3551和3555分別接收所述特征量圖像。
在步驟S3542中，區(qū)域選取單元3551選取關(guān)注像素(SD像素)，并選取位于距離關(guān)注像素的預(yù)定相對(duì)位置上的(一個(gè)或多個(gè))像素(SD像素)作為類型分塊，并將選取的類型分塊提供給圖形檢測(cè)單元3552。
尤其是，在該情況下，假設(shè)區(qū)域選取單元3551選取例如如圖285所示的類型分塊(一組像素)3621。也就是說(shuō)，圖285示出了類型分塊的布置實(shí)例。
在圖285中，圖中水平軸表示作為一個(gè)空間方向的X方向，而圖中垂直軸表示作為另一個(gè)空間方向的Y方向。注意，關(guān)注像素由像素3621-2表示。
在該情況下，被選取為類型分塊的像素共為如下5個(gè)像素關(guān)注像素3621-2；沿Y方向相鄰于關(guān)注像素3621-2的像素3621-0和3621-4；以及沿X方向相鄰于關(guān)注像素3621-2的像素3621-1和像素3621-3，其構(gòu)成像素組3621。
顯然，用于本實(shí)施例的類型分塊的布置并不限于如圖285所示的實(shí)例，而是可以采用各種布置，只要所述布置包括關(guān)注像素3624-2。
返回圖284，在步驟S3543，圖形檢測(cè)單元3552對(duì)這樣提供的類型分塊的圖形進(jìn)行檢測(cè)，并提供檢測(cè)到的圖形到類型代碼確定單元3553。
具體地說(shuō)，在這種情況下，圖形檢測(cè)單元3552對(duì)形成圖285所示的類型分塊的5個(gè)像素3621-0到3621-4的每一個(gè)，檢測(cè)屬于該像素值的類型，即特征值(例如像素內(nèi)梯度)，并將檢測(cè)結(jié)果以例如單數(shù)據(jù)組的形式輸出為圖形。
這里，假設(shè)檢測(cè)到例如如圖286所示的圖形。也就是說(shuō)，圖286示出了類型分塊圖形的實(shí)例。
在圖286中，圖中水平軸表示類型分塊，圖中垂直軸表示像素內(nèi)梯度。另一方面，假設(shè)預(yù)備的類型共有類型3631、類型3632和類型3633三種類型。
在該情況下，圖286示出了這樣的圖形，其中類型分塊3621-0屬于類型3631，類型分塊3621-1屬于類型3631，類型分塊3621-2屬于類型3633，類型分塊3621-3屬于類型3631，以及類型分塊3621-4屬于類型3632。
如上所述，5個(gè)類型分塊3621-0到3621-4中的每個(gè)屬于三種類型3631到3633中的一種。因此，在該情況下，存在包括如圖286所示圖形的共273(＝35)種圖形。
返回圖284，在步驟S3544，類型代碼確定單元3553從預(yù)備的多個(gè)類型代碼中確定對(duì)應(yīng)于上述提供的類型分塊的圖形的類型代碼，并將確定的類型代碼提供給校正系數(shù)存儲(chǔ)器3554和區(qū)域選取單元3555。在該情況下，存在273個(gè)圖形，因此，存在273(或更多的)預(yù)備類型代碼。
在步驟S3545中，校正系數(shù)存儲(chǔ)器3554從利用學(xué)習(xí)處理在上述確定的多組校正系數(shù)組中對(duì)應(yīng)于上述提供的類型代碼選擇將用于后面的處理中的校正系數(shù)(組)，并將選擇的校正系數(shù)提供給校正計(jì)算單元3556。注意，將預(yù)備的每個(gè)校正系數(shù)組相關(guān)于一種預(yù)備的類型代碼存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中。因此，在該情況下，校正系數(shù)組數(shù)匹配預(yù)備的類型代碼數(shù)(即273或更多)。
注意，下面將參考圖288中的流程圖描述學(xué)習(xí)處理。
在步驟S3546中，區(qū)域選取單元3555從輸入圖像選取關(guān)注像素(SD像素)、和位于距離關(guān)注像素的預(yù)定相對(duì)位置(不依賴于類型分塊的位置確定的一個(gè)或多個(gè)位置。然而，預(yù)測(cè)分塊的位置可以匹配類型分塊的位置)上的像素(SD像素)作為預(yù)測(cè)分塊，并將選取的預(yù)測(cè)分塊提供給校正計(jì)算單元3556。
尤其是，在該情況下，假設(shè)選取如圖287所示的預(yù)測(cè)分塊(組)3641。也就是說(shuō)，圖287示出了預(yù)測(cè)分塊的布置的實(shí)例。
在圖287中，圖中水平軸表示作為一個(gè)空間方向的X方向，而圖中垂直軸表示作為另一個(gè)空間方向的Y方向。注意，關(guān)注像素由像素3641-1表示。即，像素3641-1是對(duì)應(yīng)于類型分塊3621-2(圖285)的像素。
在該情況下，被選取為預(yù)測(cè)分塊(組)的像素為以關(guān)注像素3641-1為中心的5×5個(gè)像素3041(由共25個(gè)像素形成一組像素)。
顯然，用于本實(shí)施例的預(yù)測(cè)分塊的布置并不限于如圖287所示的實(shí)例，而是可以采用各種其中包括關(guān)注像素3641-1布置。
返回圖284，在步驟S3547中，校正計(jì)算單元3556利用從校正系數(shù)存儲(chǔ)器3554提供的預(yù)測(cè)系數(shù)對(duì)從區(qū)域選取單元3555提供的預(yù)測(cè)分塊進(jìn)行計(jì)算，從而產(chǎn)生減法預(yù)測(cè)圖像(HD圖像)。然后，校正計(jì)算單元3556將減法預(yù)測(cè)圖像輸出給相加單元3503作為校正圖像。
尤其是，以從區(qū)域選取單元3555提供的類型分塊為ai(i表示1到n的整數(shù))，并以從校正系數(shù)存儲(chǔ)器3554提供的每個(gè)校正系數(shù)為gi，則校正計(jì)算單元3556進(jìn)行由上述公式(223)右側(cè)表示的計(jì)算，從而計(jì)算對(duì)應(yīng)于關(guān)注像素(SD像素)的HD像素u’。然后，校正計(jì)算單元3556將計(jì)算的HD像素輸出給相加單元3503作為校正圖像(HD圖像)的像素，從而類型分類適應(yīng)校正處理結(jié)束。
接著，將參考圖288的流程圖描述通過(guò)學(xué)習(xí)裝置(圖268)進(jìn)行的學(xué)習(xí)處理，即用于產(chǎn)生用于類型分類適應(yīng)處理單元3501(圖267)中的預(yù)測(cè)系數(shù)的學(xué)習(xí)處理、和用于產(chǎn)生用于類型分類適應(yīng)處理校正單元3502(圖276)中的校正系數(shù)的學(xué)習(xí)處理。
在步驟S3561中，類型分類適應(yīng)處理學(xué)習(xí)單元3521產(chǎn)生用于類型分類適應(yīng)處理單元3501中的預(yù)測(cè)系數(shù)。
也就是說(shuō)，類型分類適應(yīng)處理學(xué)習(xí)單元3521接收特定圖像作為第一老師圖像(HD圖像)，并基于第一老師圖像產(chǎn)生具有降低的分辨率的學(xué)生圖像(SD圖像)。
然后，類型分類適應(yīng)處理學(xué)習(xí)單元3521利用類型分類適應(yīng)處理基于第一學(xué)生圖像(SD圖像)產(chǎn)生允許對(duì)第一老師圖像(HD圖像)的適當(dāng)預(yù)測(cè)的預(yù)測(cè)系數(shù)，并將產(chǎn)生的預(yù)測(cè)系數(shù)存儲(chǔ)在類型分類適應(yīng)處理單元3501的系數(shù)存儲(chǔ)器3514(圖267)中。
注意，下文中將該由類型分類適應(yīng)處理學(xué)習(xí)單元3521執(zhí)行的步驟S3561中的處理稱為“類型分類處理學(xué)習(xí)處理”。下面將參考圖289詳細(xì)描述在該情況下的“類型分類適應(yīng)處理學(xué)習(xí)單元”。
當(dāng)產(chǎn)生用于類型分類適應(yīng)處理單元3501中的預(yù)測(cè)系數(shù)，在步驟S3562，類型分類適應(yīng)處理校正學(xué)習(xí)單元3561產(chǎn)生用于類型分類適應(yīng)處理校正單元3502中的校正系數(shù)。
也就是說(shuō)，類型分類適應(yīng)處理校正學(xué)習(xí)單元3561從類型分類適應(yīng)處理學(xué)習(xí)單元3521接收第一老師圖像、第一學(xué)生圖像以及學(xué)習(xí)預(yù)測(cè)圖像(利用由類型分類適應(yīng)處理學(xué)習(xí)單元3521產(chǎn)生的預(yù)測(cè)系數(shù)預(yù)測(cè)第一老師圖像獲得的圖像)。
接著，類型分類適應(yīng)處理校正學(xué)習(xí)單元3561產(chǎn)生第一老師圖像和學(xué)習(xí)預(yù)測(cè)圖像之間的減法圖像，用作第二老師圖像，并基于第一學(xué)生圖像產(chǎn)生特征量圖像，作為第二學(xué)生圖像。
然后，類型分類適應(yīng)處理校正學(xué)習(xí)單元3561利用類型分類適應(yīng)處理基于第二學(xué)生圖像(SD圖像)產(chǎn)生允許對(duì)第二老師圖像(HD圖像)的適當(dāng)預(yù)測(cè)的預(yù)測(cè)系數(shù)，并將產(chǎn)生的預(yù)測(cè)系數(shù)存儲(chǔ)在類型分類適應(yīng)處理校正單元3502的校正系數(shù)存儲(chǔ)器3554中作為校正系數(shù)，從而結(jié)束學(xué)習(xí)處理。
注意，下文中將該通過(guò)類型分類適應(yīng)處理校正學(xué)習(xí)單元3561執(zhí)行的步驟S3562中的處理稱為“類型適應(yīng)處理校正學(xué)習(xí)處理”。下面將參考圖290的流程圖詳細(xì)描述在該情況下的“類型分類適應(yīng)處理校正學(xué)習(xí)處理”。
接著，將參考附圖依次描述“類型分類適應(yīng)處理學(xué)習(xí)處理(步驟S3561中的處理)”和“類型分類適應(yīng)處理校正學(xué)習(xí)處理(步驟S3562中的處理)”。
首先，參考圖289中的流程圖詳細(xì)描述由類型分類適應(yīng)處理學(xué)習(xí)單元3521(圖26a)執(zhí)行的“類型分類適應(yīng)處理學(xué)習(xí)處理”。
在步驟S3581中，下降轉(zhuǎn)換器單元3531和正規(guī)方程產(chǎn)生單元3536各接收特定圖像作為第一老師圖像(HD圖像)。注意，還將第一老師圖像如上所述輸入類型分類適應(yīng)處理校正學(xué)習(xí)單元3561。
在步驟S3582中，下降轉(zhuǎn)換器單元3531對(duì)輸入的第一老師圖像進(jìn)行“下降轉(zhuǎn)換”處理(將圖像轉(zhuǎn)換成下降分辨率的圖像)，從而產(chǎn)生第一學(xué)生圖像(SD圖像)。然后，下降轉(zhuǎn)換單元3531將產(chǎn)生的第一學(xué)生圖像提供給類型分類適應(yīng)處理校正學(xué)習(xí)單元3561、以及區(qū)域選取單元3532和3535。
在步驟S3583中，區(qū)域選取單元3532從上述提供的第一學(xué)生圖像選取類型分塊，并將選取的類型分塊輸出給圖形檢測(cè)單元3533。盡管嚴(yán)格地說(shuō)，在向/從步驟S3583所示的處理和上述步驟S3522(圖283)所示的處理之間的塊輸入/輸出信息中存在差異(下文中將該差異簡(jiǎn)稱為“輸入/輸出差異”)，但是步驟S3583中的處理與上述步驟S3522中的處理基本相同。
在步驟S3584中，圖形檢測(cè)單元3533從上述提供的類型分塊中檢測(cè)用于確定類型代碼的圖形，并將檢測(cè)的圖形提供給類型代碼確定單元3534。注意，除了輸入/輸出，步驟S3584所示的處理與上述步驟S3523(圖283)所示的處理基本相同。
在步驟S3585中，類型代碼確定單元3524基于上述提供的類型分塊的圖形確定類型代碼，并將確定的類型代碼提供給區(qū)域選取單元3535和正規(guī)方程產(chǎn)生單元3536。注意，除了輸入/輸出以外，步驟S3585中的處理與上述步驟S3524(圖283)中的處理基本相同。
在步驟S3586中，區(qū)域選取單元3535對(duì)應(yīng)于提供的類型代碼從第一學(xué)生圖像中選取預(yù)測(cè)分塊，并將選取的預(yù)測(cè)分塊提供給正規(guī)方程產(chǎn)生單元3536和預(yù)測(cè)計(jì)算單元3538。注意，除了輸入/輸出以外，步驟S3586中的處理與上述步驟S3526(圖283)中的處理基本相同。
在步驟S3587中，正規(guī)方程產(chǎn)生單元3536基于從區(qū)域選取單元3535提供的預(yù)測(cè)分塊(SD像素)和第一老師圖像(HD圖像)的HD像素的相應(yīng)HD像素而產(chǎn)生由上述公式(217)表示的正規(guī)方程(即公式(221))，并將產(chǎn)生的正規(guī)方程與從類型代碼確定單元3534提供的類型代碼一起提供給系數(shù)確定單元3537。
在步驟S3588中，系數(shù)確定單元3537求解上述提供的正規(guī)方程，從而確定預(yù)測(cè)系數(shù)。也就是說(shuō)，系數(shù)確定單元3537計(jì)算上述公式(222)的右側(cè)，從而計(jì)算預(yù)測(cè)系數(shù)。然后，系數(shù)確定單元3537將確定的預(yù)測(cè)系數(shù)提供給預(yù)測(cè)計(jì)算單元3538，并將上述提供的關(guān)于類型代碼的預(yù)測(cè)系數(shù)存儲(chǔ)在系數(shù)存儲(chǔ)器3514中。
在步驟S3589中，預(yù)測(cè)計(jì)算單元3538利用從系數(shù)確定單元3537提供的預(yù)測(cè)系數(shù)對(duì)從區(qū)域選取單元3535提供的預(yù)測(cè)分塊進(jìn)行計(jì)算，從而產(chǎn)生學(xué)習(xí)預(yù)測(cè)圖像(HD像素)。
尤其是，以從區(qū)域選取單元3535提供的每個(gè)預(yù)測(cè)分塊為ci(i表示1到n的整數(shù))，并以從系數(shù)確定單元3537提供的每個(gè)預(yù)測(cè)系數(shù)為di，則預(yù)測(cè)計(jì)算單元3538計(jì)算上述公式(215)的右側(cè)，從而計(jì)算HD像素q’，其被用作學(xué)習(xí)預(yù)測(cè)圖像的像素，并且預(yù)測(cè)第一老師圖像的相應(yīng)HD像素q。
在步驟S3590中，確定是否已經(jīng)對(duì)全部像素進(jìn)行處理。在確定仍未對(duì)全部像素進(jìn)行處理的情況下，該流程返回步驟S3583。也就是說(shuō)，重復(fù)步驟S3533到步驟S3590的處理直到完成對(duì)全部像素的處理。
然后，在步驟S3590中，在確定已經(jīng)進(jìn)行對(duì)全部像素的處理的情況下，預(yù)測(cè)計(jì)算單元3538將學(xué)習(xí)預(yù)測(cè)圖像(由HD像素q’構(gòu)成的HD圖像，每個(gè)像素q’從步驟S3589中對(duì)于其的處理產(chǎn)生)輸出給類型分類適應(yīng)處理校正學(xué)習(xí)單元3561，從而類型分類適應(yīng)處理學(xué)習(xí)處理結(jié)束。
如上所述，在該實(shí)例中，在完成對(duì)全部像素的處理后，將作為預(yù)測(cè)第一老師圖像的HD圖像的學(xué)習(xí)預(yù)測(cè)圖像輸入類型分類適應(yīng)處理校正學(xué)習(xí)單元3561。也就是說(shuō)，將形成圖像的全部HD像素(預(yù)測(cè)像素)同時(shí)輸出。
然而，本發(fā)明不限于上述其中同時(shí)輸出形成圖像的全部像素的設(shè)置。而是，可以這樣設(shè)置，其中在每次由步驟S3589中的處理產(chǎn)生HD像素(預(yù)測(cè)像素)時(shí)將產(chǎn)生的HD像素輸出給類型分類適應(yīng)處理校正學(xué)習(xí)單元3561。在該設(shè)置下，省略步驟S3591中的處理。
接著，將參考圖290詳細(xì)描述由類型分類適應(yīng)處理校正學(xué)習(xí)單元3561(圖277)執(zhí)行的“類型分類適應(yīng)處理校正學(xué)習(xí)處理”。
當(dāng)從類型分類適應(yīng)處理學(xué)習(xí)單元3521接收第一老師圖像(HD圖像)和學(xué)習(xí)預(yù)測(cè)圖像(HD圖像)時(shí)，在步驟S3601，相加單元3571從第一老師圖像減去學(xué)習(xí)預(yù)測(cè)圖像，從而產(chǎn)生減法圖像(HD圖像)。然后，相加單元3571將產(chǎn)生的減法圖像提供給正規(guī)方程產(chǎn)生單元3578作為第二老師圖像。
當(dāng)從類型分類適應(yīng)處理學(xué)習(xí)單元3521接收第一學(xué)生圖像(SD圖像)，在步驟S3602中，數(shù)據(jù)連續(xù)性檢測(cè)單元3572和現(xiàn)實(shí)世界估計(jì)單元3573基于輸入的第一學(xué)生圖像(SD圖像)產(chǎn)生特征量圖像，并將產(chǎn)生的特征量圖像提供給區(qū)域選取單元3574和3577作為第二學(xué)生圖像。
也就是說(shuō)，數(shù)據(jù)連續(xù)性檢測(cè)單元3572檢測(cè)包含在第一學(xué)生圖像中的數(shù)據(jù)連續(xù)性，并將檢測(cè)結(jié)果(在該情況下為角度)輸出給現(xiàn)實(shí)世界估計(jì)單元3573作為數(shù)據(jù)連續(xù)性信息。注意，除了輸入/輸出以外，由數(shù)據(jù)連續(xù)性檢測(cè)單元3572進(jìn)行的步驟S3602所示的處理與上述圖40所示的步驟S101中的處理基本相同。
現(xiàn)實(shí)世界估計(jì)單元3573基于上述輸入的角度(數(shù)據(jù)連續(xù)性信息)產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息(在該情況下為作為SD圖像的特征量圖像)，并將產(chǎn)生的現(xiàn)實(shí)世界估計(jì)信息提供給區(qū)域選取單元3574和3577作為第二學(xué)生圖像。注意，除了輸入/輸出以外，由現(xiàn)實(shí)世界估計(jì)單元3573進(jìn)行的步驟S3602所示的處理與上述圖40所示的步驟S102中的處理基本相同。
注意，本發(fā)明不限于其中以圖290所示的次序進(jìn)行步驟S3601中的處理和步驟S3602中的處理的設(shè)置。也就是說(shuō)，可以這樣設(shè)置，其中在步驟S3601的處理前進(jìn)行步驟S3602中的處理。另外，可以同時(shí)進(jìn)行步驟S3601中的處理和步驟S3602中的處理。
在步驟S3603中，區(qū)域選取單元3574從上述提供的第二學(xué)生圖像(特征量圖像)選取類型分塊，并將選取的類型分塊輸出給圖形檢測(cè)單元3575。注意，除了輸入/輸出以外，步驟S3603中所示的處理與上述(圖284)步驟S3542中所示的處理基本相同。也就是說(shuō)，在該情況下，選取具有如圖285所示的布置的一組像素3621作為類型分塊。
在步驟S3604中，圖形檢測(cè)單元3575從上述提供的類型分塊中檢測(cè)圖形以確定類型代碼，并將檢測(cè)的圖形提供給類型代碼確定單元3576。注意，除了輸入/輸出以外，步驟S3604中所示的處理與上述(圖284)步驟S3543中所示的處理基本相同。也就是說(shuō)，在該情況下，圖形檢測(cè)單元3575在完成學(xué)習(xí)處理時(shí)檢測(cè)至少273個(gè)圖形。
在步驟S3605中，類型代碼確定單元3576基于上述提供的類型分塊的圖形確定類型分塊，并將類型分塊提供給區(qū)域選取單元3577和正規(guī)方程產(chǎn)生單元3578。注意，除了輸入/輸出以外，步驟S3605中所示的處理與上述(圖284)步驟S3544中所示的處理基本相同。也就是說(shuō)，在該情況下，類型代碼確定單元3576在完成學(xué)習(xí)處理時(shí)確定至少273個(gè)類型代碼。
在步驟S3606，區(qū)域選取單元3577對(duì)應(yīng)于上述提供的類型代碼從第二學(xué)生圖像(特征量圖像)選取預(yù)測(cè)分塊，并將選取的預(yù)測(cè)分塊提供給正規(guī)方程產(chǎn)生單元3578。注意，除了輸入/輸出以外，步驟S3606中所示的處理與上述(圖284)步驟S3546中所示的處理基本相同。也就是說(shuō)，在該情況下，選取具有如圖287所示的布置的一組像素作為預(yù)測(cè)分塊。
在步驟S3607中，正規(guī)方程產(chǎn)生單元3578基于從區(qū)域選取單元3577提供的預(yù)測(cè)分塊(SD像素)、和第二老師圖像(第一老師圖像和學(xué)習(xí)預(yù)測(cè)圖像之間的減法圖像，其為HD圖像)產(chǎn)生由上述公式(226)表示的正規(guī)方程(即公式(230))，并將產(chǎn)生的正規(guī)方程與從類型代碼確定單元3576提供的類型代碼一起提供給校正系數(shù)確定單元3579。
在步驟S3608中，校正系數(shù)確定單元3579通過(guò)求解上述提供的正規(guī)方程確定校正系數(shù)，即通過(guò)計(jì)算上述公式(231)的右側(cè)計(jì)算校正系數(shù)，并將相關(guān)于提供的類型代碼的計(jì)算的校正系數(shù)存儲(chǔ)在校正系數(shù)存儲(chǔ)器3554中。
在步驟S3609，確定是否已經(jīng)對(duì)全部像素進(jìn)行處理。在確定仍未對(duì)全部像素進(jìn)行處理的情況下，該流程返回步驟S3603。也就是說(shuō)，重復(fù)步驟S3603到步驟S3609的處理直到完成對(duì)全部像素的處理。
另一方面，在步驟S3609中，在確定已經(jīng)進(jìn)行對(duì)全部像素的處理的情況下，類型分類適應(yīng)處理校正學(xué)習(xí)處理結(jié)束。
如上所述，在類型分類適應(yīng)校正處理方法中，通過(guò)相加從類型分類適應(yīng)處理單元3501輸出的預(yù)測(cè)圖像和從類型分類適應(yīng)處理校正單元3502輸出的校正圖像(減法預(yù)測(cè)圖像)而產(chǎn)生相加圖像，并輸出產(chǎn)生的相加圖像。
例如，假設(shè)將上述圖270所示的HD圖像3541轉(zhuǎn)換成下降分辨率圖像，即，獲得具有下降的分辨率的SD圖像3542，則將上述獲得的SD圖像3542用作輸入圖像。在該情況下，類型分類適應(yīng)處理單元3501輸出如圖291所示的預(yù)測(cè)圖像3543。然后，通過(guò)相加預(yù)測(cè)圖像3543和從類型分類適應(yīng)處理校正單元3502輸出的校正圖像(未示出)而產(chǎn)生圖像(例如，利用校正圖像校正預(yù)測(cè)圖像3543)，從而產(chǎn)生如圖271所示的輸出圖像3651。
比較輸出圖像3651、預(yù)測(cè)圖像3543、以及作為原始圖像的HD圖像3541(圖270)，確定了輸出圖像3651比預(yù)測(cè)圖像3543更接近HD圖像3541。
如上所述，相比于其它包括類型分類適應(yīng)處理的技術(shù)，類型分類適應(yīng)處理校正方法允許輸出更接近原始圖像(將被輸入傳感器2的現(xiàn)實(shí)世界1的信號(hào))的圖像。
換句話說(shuō)，在類型分類適應(yīng)處理校正方法中，例如，數(shù)據(jù)連續(xù)性檢測(cè)單元101檢測(cè)由多個(gè)像素形成的輸入圖像(圖266)中包含的數(shù)據(jù)連續(xù)性，所述像素具有通過(guò)由傳感器(例如圖266中所示的傳感器2)的多個(gè)檢測(cè)元件投影現(xiàn)實(shí)世界1中的光信號(hào)而獲得的像素值，其中由于由每個(gè)具有時(shí)間-空間積分效應(yīng)的多個(gè)檢測(cè)元件將現(xiàn)實(shí)世界1中的光信號(hào)投影為像素值，因此丟失了現(xiàn)實(shí)世界中的光信號(hào)的部分連續(xù)性。
例如，圖266中所示的現(xiàn)實(shí)世界估計(jì)單元102對(duì)應(yīng)于檢測(cè)的數(shù)據(jù)連續(xù)性檢測(cè)包含在表示現(xiàn)實(shí)世界1的光信號(hào)(例如，對(duì)應(yīng)于如圖266所示的特征量圖像的像素的特征)的光信號(hào)函數(shù)F(x)(圖275)中的現(xiàn)實(shí)世界特征，從而估計(jì)現(xiàn)實(shí)世界1中的光信號(hào)。
尤其是，例如，假定表示沿至少一維方向離表示上述提供的數(shù)據(jù)連續(xù)性的直線(例如圖280中的直線3604)的距離(例如圖280中所示的截面方向距離Xn’)的像素值，表示影響相應(yīng)像素的至少一維積分效應(yīng)，現(xiàn)實(shí)世界估計(jì)單元102利用例如如圖278所示的模擬函數(shù)f5(x)模擬光信號(hào)函數(shù)F(x)，并檢測(cè)其為相應(yīng)像素(例如如圖280所示的像素3603)附近的模擬函數(shù)f5(x)的梯度的像素內(nèi)梯度(例如，在上述公式(234)中的grad，和公式(233)中的x的系數(shù)w1’)作為現(xiàn)實(shí)世界特征，從而估計(jì)現(xiàn)實(shí)世界1中的光信號(hào)。
然后，例如，如圖266所示的圖像產(chǎn)生單元103基于由現(xiàn)實(shí)世界估計(jì)裝置檢測(cè)的現(xiàn)實(shí)世界特征預(yù)測(cè)并產(chǎn)生比輸入圖像具有更高質(zhì)量的輸出圖像(圖266)。
尤其是，在圖像產(chǎn)生單元103中，例如，類型分類適應(yīng)處理單元3501基于輸入圖像中關(guān)注像素附近的多個(gè)像素的像素值預(yù)測(cè)關(guān)注像素(例如，如圖266所示的預(yù)測(cè)圖像的像素，和上述公式(224)中的q’)的像素值，在所述輸入圖像中，已經(jīng)丟失了作為現(xiàn)實(shí)世界中的光信號(hào)的部分連續(xù)性。
另一方面，例如，類型分類適應(yīng)處理校正單元3502基于從如圖266所示的現(xiàn)實(shí)世界估計(jì)單元102提供的特征量圖像(現(xiàn)實(shí)世界估計(jì)信息)預(yù)測(cè)校正項(xiàng)(例如如圖266所示的校正圖像(減法預(yù)測(cè)圖像)的像素，以及公式(224)中的u’)，用于校正由類型分類適應(yīng)處理單元3501預(yù)測(cè)的預(yù)測(cè)圖像的關(guān)注像素的像素值。
然后，例如，如圖266所示的相加單元3503利用由類型分類適應(yīng)處理單元3501預(yù)測(cè)的校正項(xiàng)(例如，由公式(224)表示的計(jì)算)校正由類型分類適應(yīng)處理單元3501預(yù)測(cè)的預(yù)測(cè)圖像的關(guān)注像素的像素值。
另外，用于類型分類適應(yīng)處理校正方法中的分量實(shí)例包括如圖268所示的類型分類適應(yīng)處理學(xué)習(xí)單元3521，用于通過(guò)學(xué)習(xí)確定存儲(chǔ)在如圖267所示的系數(shù)存儲(chǔ)器3514中的預(yù)測(cè)系數(shù)；以及如圖268所示的學(xué)習(xí)裝置3504，其被包括在如圖268所示的類型分類適應(yīng)處理校正學(xué)習(xí)單元3561中，用于通過(guò)學(xué)習(xí)確定存儲(chǔ)在如圖276所示的校正系數(shù)存儲(chǔ)器3554中的校正系數(shù)。
尤其是，例如，如圖269所示的類型分類適應(yīng)處理學(xué)習(xí)單元3521包括下降轉(zhuǎn)換器單元3521，用于對(duì)學(xué)習(xí)圖像數(shù)據(jù)進(jìn)行下降轉(zhuǎn)換處理；系數(shù)確定單元3537，用于以學(xué)習(xí)圖像數(shù)據(jù)為第一老師圖像、以受到下降轉(zhuǎn)換器單元3531的下降轉(zhuǎn)換處理的學(xué)習(xí)圖像數(shù)據(jù)為第一學(xué)生圖像，通過(guò)學(xué)習(xí)第一老師圖像與第一學(xué)生圖像之間的關(guān)系而產(chǎn)生預(yù)測(cè)系數(shù)；以及區(qū)域選取單元3532到正規(guī)方程產(chǎn)生單元3536。
另一方面，例如，如圖277所示的類型分類適應(yīng)處理校正學(xué)習(xí)單元3561包括數(shù)據(jù)連續(xù)性檢測(cè)單元3572和現(xiàn)實(shí)世界估計(jì)單元3573，用于檢測(cè)第一學(xué)生圖像中的數(shù)據(jù)連續(xù)性、基于上述檢測(cè)的數(shù)據(jù)連續(xù)性檢測(cè)對(duì)應(yīng)于第一學(xué)生圖像的每個(gè)像素的現(xiàn)實(shí)世界特征，以及利用對(duì)應(yīng)于檢測(cè)的現(xiàn)實(shí)世界特征的值作為像素值產(chǎn)生特征量圖像(尤其是，例如如圖279所示的特征量圖像3591)，其被用作第二學(xué)生圖像(例如圖277中的第二學(xué)生圖像)；相加單元3571，用于產(chǎn)生第一學(xué)生圖像和學(xué)習(xí)預(yù)測(cè)圖像之間的圖像數(shù)據(jù)(減法圖像)，其被用作第二老師圖像；校正系數(shù)確定單元3579，用于通過(guò)學(xué)習(xí)第二老師圖像和第二學(xué)生圖像之間的關(guān)系而產(chǎn)生校正系數(shù)；以及區(qū)域選取單元3574到正規(guī)方程產(chǎn)生單元3578。
從而，類型分類適應(yīng)處理校正方法允許比包括類型分類適應(yīng)處理的其它常規(guī)方法輸出更接近原始圖像(將被輸入傳感器2的現(xiàn)實(shí)世界1中的信號(hào))的圖像。
注意，類型分類適應(yīng)處理和簡(jiǎn)單的內(nèi)插處理的差異如下。也就是說(shuō)，不同于簡(jiǎn)單的內(nèi)插，類型分類適應(yīng)處理允許再現(xiàn)包含在HD圖像中的在SD圖像中已經(jīng)丟失的分量。也就是說(shuō)，只要參考上述公式(215)和(223)，類型分類適應(yīng)處理看上去與利用所謂的內(nèi)插過(guò)濾器的內(nèi)插處理相同。然而，在類型分類適應(yīng)處理中，通過(guò)基于老師數(shù)據(jù)和學(xué)生數(shù)據(jù)(第一老師圖像和第一學(xué)生圖像，或第二老師圖像和第二學(xué)生圖像)的學(xué)習(xí)獲得對(duì)應(yīng)于內(nèi)插過(guò)濾器的系數(shù)的預(yù)測(cè)系數(shù)di和校正系數(shù)gi，從而再現(xiàn)包含在HD圖像中的分量。因此，上述類型分類適應(yīng)處理可以說(shuō)是具有改善圖像質(zhì)量(改善分辨率)的功能的處理。
盡管描述了具有改善空間分辨率的功能的設(shè)置，由于類型分類適應(yīng)處理采用通過(guò)利用合適種類的老師數(shù)據(jù)和學(xué)生數(shù)據(jù)進(jìn)行學(xué)習(xí)而獲得各種系數(shù)，因此允許各種用于改善S/N(信噪比)、改善模糊等的處理。
也就是說(shuō)，在類型分類適應(yīng)處理中，可以例如以具有高S/N的圖像為老師數(shù)據(jù)、并以基于老師圖像產(chǎn)生的具有降低S/N(或降低分辨率)的圖像為學(xué)生數(shù)據(jù)而獲得系數(shù)，從而改善S/N(或改善模糊)。
盡管描述了具有如圖3所示的結(jié)構(gòu)的圖像處理裝置作為根據(jù)本發(fā)明的設(shè)置，但是根據(jù)本發(fā)明的設(shè)置不限于如圖3所示的設(shè)置，而可以采用各種修改。也就是說(shuō)，如圖1所示的信號(hào)處理裝置4的設(shè)置不限于如圖3所示的設(shè)置，而是可以進(jìn)行各種修改。
例如，具有如圖3所示結(jié)構(gòu)的信號(hào)處理裝置基于包含在作為圖像的現(xiàn)實(shí)世界1中的信號(hào)中的數(shù)據(jù)連續(xù)性進(jìn)行信號(hào)處理。從而，相比于由其它信號(hào)處理裝置進(jìn)行的信號(hào)處理，具有如圖3所示結(jié)構(gòu)的信號(hào)處理裝置可以對(duì)其中可以獲得現(xiàn)實(shí)世界1中的信號(hào)的連續(xù)性的區(qū)域進(jìn)行高精度的信號(hào)處理，從而輸出更接近現(xiàn)實(shí)世界1中的信號(hào)的圖像數(shù)據(jù)。
然而，具有如圖3所示的結(jié)構(gòu)的信號(hào)處理裝置基于連續(xù)性執(zhí)行信號(hào)處理，因此對(duì)于其中不能獲得現(xiàn)實(shí)世界1的信號(hào)連續(xù)性的區(qū)域，不能以與對(duì)于其中存在連續(xù)性的區(qū)域的處理相同地精度執(zhí)行信號(hào)處理，導(dǎo)致了相對(duì)于現(xiàn)實(shí)世界1中的信號(hào)包含誤差的輸出圖像數(shù)據(jù)。
因此，可以這樣設(shè)置，在如圖3所示的信號(hào)處理裝置的結(jié)構(gòu)上，還包括用于不利用連續(xù)性進(jìn)行信號(hào)處理的另一裝置(或程序)。在這樣的設(shè)置中，具有如圖3所示結(jié)構(gòu)的信號(hào)處理裝置對(duì)其中可以獲得現(xiàn)實(shí)世界1中的信號(hào)的連續(xù)性的區(qū)域執(zhí)行信號(hào)處理。另一方面，添加的裝置(或程序等)對(duì)其中不能獲得現(xiàn)實(shí)世界1的信號(hào)的連續(xù)性的區(qū)域進(jìn)行信號(hào)處理。注意，下文中將該設(shè)置稱為“混合方法”。
下面將參考圖292到圖305描述5個(gè)具體混合方法(下文中將其稱為“第一混合方法”到“第五混合方法”)。
注意，使用該混合方法的信號(hào)處理裝置的每個(gè)功能既可以通過(guò)硬件實(shí)現(xiàn)也可以通過(guò)軟件實(shí)現(xiàn)。也就是說(shuō)，圖292到圖294、圖298、圖300、圖302以及圖304所示的方框圖可以被認(rèn)為是硬件方框圖或軟件方框圖。
圖292示出了采用第一混合方法的信號(hào)處理裝置的結(jié)構(gòu)實(shí)例。
在圖292所示的信號(hào)處理裝置中，當(dāng)接收作為數(shù)據(jù)3的實(shí)例(圖1)的圖像數(shù)據(jù)，基于輸入的圖像數(shù)據(jù)(輸入圖像)進(jìn)行下文所述的圖像處理，從而產(chǎn)生圖像，并輸出產(chǎn)生的圖像(輸出圖像)。也就是說(shuō)，圖292示出了作為圖像處理裝置的圖像處理裝置4(圖1)的結(jié)構(gòu)。
將輸入圖像處理裝置4的輸入圖像(作為數(shù)據(jù)3的實(shí)例的圖像數(shù)據(jù))提供給數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102以及圖像產(chǎn)生單元4104。
數(shù)據(jù)連續(xù)性檢測(cè)單元4101從輸入圖像檢測(cè)數(shù)據(jù)連續(xù)性，并將表示檢測(cè)的連續(xù)性的連續(xù)性信息提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像生成單元4103。
如上所述，數(shù)據(jù)連續(xù)性檢測(cè)單元4101與圖3所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101具有基本相同的結(jié)構(gòu)和功能。因此，數(shù)據(jù)連續(xù)性檢測(cè)單元4101可以具有上述各種結(jié)構(gòu)。
注意，數(shù)據(jù)連續(xù)性檢測(cè)單元4101還具有產(chǎn)生用于指定關(guān)注像素的區(qū)域的信息(下文中將其稱為“區(qū)域指定信息”)的功能，并將產(chǎn)生的信息提供給區(qū)域檢測(cè)單元4111。
這里所用的區(qū)域指定信息不受特別限制，而可以這樣設(shè)置，其中在產(chǎn)生數(shù)據(jù)連續(xù)性信息后產(chǎn)生新信息，或者可以這樣設(shè)置，其中在產(chǎn)生數(shù)據(jù)連續(xù)性信息的同時(shí)產(chǎn)生該信息。
尤其是，可以采用例如估計(jì)誤差作為區(qū)域指定信息。也就是說(shuō)，例如，在數(shù)據(jù)連續(xù)性檢測(cè)單元4101利用最小二乘法計(jì)算作為數(shù)據(jù)連續(xù)性的角度的同時(shí)獲得估計(jì)誤差。可以采用估計(jì)誤差作為區(qū)域指定信息。
現(xiàn)實(shí)世界估計(jì)單元4102基于輸入圖像和從數(shù)據(jù)連續(xù)性檢測(cè)單元4102提供的數(shù)據(jù)連續(xù)性信息估計(jì)現(xiàn)實(shí)世界1中的信號(hào)(圖1)。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元4102在已經(jīng)獲取輸入圖像的階段估計(jì)作為現(xiàn)實(shí)世界1的信號(hào)的圖像，所述圖像將被輸入傳感器2(圖1)?，F(xiàn)實(shí)世界估計(jì)單元4102將用于表示對(duì)現(xiàn)實(shí)世界1的信號(hào)的估計(jì)結(jié)果的現(xiàn)實(shí)世界估計(jì)信息提供給圖像產(chǎn)生單元4103。
如上所述，現(xiàn)實(shí)世界估計(jì)單元4102與圖3所示的現(xiàn)實(shí)世界估計(jì)單元102具有基本相同的結(jié)構(gòu)和功能。因此，現(xiàn)實(shí)世界估計(jì)單元4102可以具有各種上述結(jié)構(gòu)。
圖像產(chǎn)生單元4103基于從現(xiàn)實(shí)世界估計(jì)單元4102提供的表示現(xiàn)實(shí)世界1的估計(jì)信號(hào)的現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生類似現(xiàn)實(shí)世界1中的信號(hào)的信號(hào)，并將產(chǎn)生的信號(hào)提供給選擇器4112?？蛇x的是，圖像產(chǎn)生單元4103產(chǎn)生更接近現(xiàn)實(shí)世界1的信號(hào)的信號(hào)，其中基于從數(shù)據(jù)連續(xù)性檢測(cè)單元4101提供的用于表示現(xiàn)實(shí)世界1中的估計(jì)信號(hào)的數(shù)據(jù)連續(xù)性信息；以及從現(xiàn)實(shí)世界估計(jì)單元4102提供的現(xiàn)實(shí)世界估計(jì)信息，并將產(chǎn)生的信號(hào)提供給選擇器4112。
也就是說(shuō)，圖像產(chǎn)生單元4103基于現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生類似于現(xiàn)實(shí)世界1中的圖像的圖像，并將產(chǎn)生的圖像提供給選擇器4112。可選的是，圖像產(chǎn)生單元4103基于數(shù)據(jù)連續(xù)性信息和現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生更接近現(xiàn)實(shí)世界1中的圖像的圖像，并將產(chǎn)生的圖像提供給選擇器4112。
如上所述，圖像產(chǎn)生單元4103與圖3所示的圖像產(chǎn)生單元103具有基本相同的結(jié)構(gòu)和功能。因此，圖像生成單元4103可以具有各種上述結(jié)構(gòu)。
圖像產(chǎn)生單元4104對(duì)輸入圖像進(jìn)行預(yù)定圖像處理以產(chǎn)生圖像，并將產(chǎn)生的圖像提供給選擇器4112。
注意，由圖像產(chǎn)生單元4104執(zhí)行的圖像處理不特別限制，只要采用除在數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102以及圖像產(chǎn)生單元4103中采用的圖像處理以外的圖像處理。
例如，圖像產(chǎn)生單元4104可以進(jìn)行常規(guī)類型分類適應(yīng)處理。圖293示出了用于進(jìn)行類型分類適應(yīng)處理的圖像產(chǎn)生單元4104的結(jié)構(gòu)實(shí)例。注意，下面將參考圖293詳細(xì)描述用于執(zhí)行類型分類處理的圖像產(chǎn)生單元4104。另外，下面將同時(shí)參考圖293描述類型分類適應(yīng)處理。
連續(xù)性區(qū)域檢測(cè)單元4105包括區(qū)域檢測(cè)單元4111和選擇器4112。
區(qū)域檢測(cè)單元4111基于從數(shù)據(jù)連續(xù)性檢測(cè)單元4101提供的區(qū)域指定信息檢測(cè)被提供給選擇器4112的圖像(關(guān)注像素)屬于連續(xù)性區(qū)域還是非連續(xù)性區(qū)域，并將檢測(cè)結(jié)果提供給選擇器4112。
注意，由區(qū)域檢測(cè)單元4111執(zhí)行的區(qū)域檢測(cè)處理不特別限制。例如，可以提供上述估計(jì)誤差作為區(qū)域指定信息。在該情況下，可以這樣設(shè)置，其中，在上述提供的估計(jì)誤差小于預(yù)定閾值的情況下，區(qū)域檢測(cè)單元4111確定輸入圖像的關(guān)注像素屬于連續(xù)性區(qū)域，在上述提供的估計(jì)誤差大于預(yù)定閾值的情況下，確定輸入圖像的關(guān)注像素屬于非連續(xù)性區(qū)域。
選擇器4112基于從區(qū)域檢測(cè)單元4111提供的檢測(cè)結(jié)果檢測(cè)從圖像產(chǎn)生單元4103提供的圖像和從圖像產(chǎn)生單元4104提供的圖像中選擇一個(gè)，并將選擇的圖像向外輸出作為輸出圖像。
也就是說(shuō)，在區(qū)域檢測(cè)單元4111確定關(guān)注像素屬于連續(xù)性區(qū)域的情況下，選擇器4112選擇從圖像產(chǎn)生單元4103提供的圖像(由圖像生成單元4103產(chǎn)生的、對(duì)應(yīng)于輸入圖像的關(guān)注像素的像素)作為輸出圖像。
另一方面，在區(qū)域檢測(cè)單元4111確定關(guān)注像素屬于非連續(xù)性區(qū)域的情況下，選擇器4112選擇從圖像產(chǎn)生單元4104提供的圖像(由圖像生成單元4104產(chǎn)生的、對(duì)應(yīng)于輸入圖像的關(guān)注像素的像素)作為輸出圖像。
注意，選擇器4112可以輸出像素增量的輸出圖像(即，可以輸出每個(gè)選擇像素的輸出圖像)，或者可以這樣設(shè)置，其中存儲(chǔ)經(jīng)過(guò)處理的像素直到完成對(duì)全部像素的處理，并在完成對(duì)全部像素的處理時(shí)同時(shí)輸出全部像素(一次輸出整個(gè)圖像)。
接著，將參考圖293描述用于執(zhí)行作為圖像處理的實(shí)例的類型分類適應(yīng)處理的圖像產(chǎn)生單元4104。
在圖293中，假設(shè)由圖像產(chǎn)生單元4104執(zhí)行的類型分類適應(yīng)處理是用于例如改善輸入圖像的空間分辨率。也就是說(shuō)，假設(shè)類型分類適應(yīng)處理是用于將具有標(biāo)準(zhǔn)分辨率的輸入圖像轉(zhuǎn)換成具有高分辨率的作為圖像的預(yù)測(cè)圖像的處理。
注意，下文中將具有標(biāo)準(zhǔn)分辨率的圖像適當(dāng)?shù)胤Q為“SD(標(biāo)準(zhǔn)精度)圖像”，并將構(gòu)成SD圖像的像素適當(dāng)?shù)胤Q為“SD像素”。
另一方面，下文中將具有高分辨率的圖像適當(dāng)?shù)胤Q為“HD(高精度)圖像”，并將構(gòu)成HD圖像的像素適當(dāng)?shù)胤Q為“HD像素”。
尤其是，由圖像產(chǎn)生單元4104執(zhí)行的類型分類適應(yīng)處理如下所述。
也就是說(shuō)，為了獲得對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素，首先，獲得由關(guān)注像素和其周圍像素形成的SD像素(下文中還將該SD像素稱為“類型分塊”)的特征，基于其特征，通過(guò)選擇相關(guān)于特征的預(yù)備類型中的一種識(shí)別每個(gè)類型分塊的類型(即，識(shí)別類型分塊組的類型代碼)。
然后，利用如下計(jì)算積-和基于識(shí)別的類型代碼從預(yù)備的多個(gè)系數(shù)組(每個(gè)系數(shù)組對(duì)應(yīng)特定類型代碼)中選擇的一種的系數(shù)；由關(guān)注像素和其周圍的SD像素形成的SD像素(下文中將該輸入圖像的SD像素稱為“預(yù)測(cè)分塊”，注意，預(yù)測(cè)分塊可以匹配類型分塊)，從而獲得對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素。
尤其是，在圖1中，當(dāng)將現(xiàn)實(shí)世界1中的信號(hào)(光強(qiáng)分布)輸出給傳感器2，傳感器2輸出輸入圖像。
在圖293中，將輸入圖像(SD圖像)提供給圖像產(chǎn)生單元4104的區(qū)域選取單元4121和4125。區(qū)域選取單元4125從上述提供的輸入圖像選取用于類型分類所需的類型分塊(位于包括關(guān)注像素(SD像素)的預(yù)定區(qū)域上的SD像素)，并將選取的類型分塊輸出給圖形檢測(cè)單元4122。圖形檢測(cè)單元4122基于上述輸入的類型分塊檢測(cè)輸入圖像的圖形。
類型代碼確定單元4123基于由圖形檢測(cè)單元4122檢測(cè)的圖形確定類型代碼，并將確定的類型代碼輸出給系數(shù)存儲(chǔ)器4124和區(qū)域選取單元4125。系數(shù)存儲(chǔ)器4124存儲(chǔ)通過(guò)學(xué)習(xí)獲得的每個(gè)類型代碼的系數(shù)。系數(shù)存儲(chǔ)器4124讀出對(duì)應(yīng)于從類型代碼確定單元4123輸入的類型代碼的系數(shù)，并將上述讀出的系數(shù)輸出給預(yù)測(cè)計(jì)算單元4126。
注意，下面將參考圖294所示的學(xué)習(xí)裝置的方框圖描述用于獲得存儲(chǔ)在系數(shù)存儲(chǔ)器4124中的系數(shù)的學(xué)習(xí)處理。
注意，存儲(chǔ)在系數(shù)存儲(chǔ)器4124中的系數(shù)用于產(chǎn)生下述預(yù)測(cè)圖像(HD圖像)。因此，下文中將存儲(chǔ)在系數(shù)存儲(chǔ)器4124中的系數(shù)稱為“預(yù)測(cè)系數(shù)”。
區(qū)域選取單元4125基于從類型代碼確定單元4123輸入的類型代碼響應(yīng)于類型代碼，從自傳感器2輸入的輸入圖像(SD圖像)選取用于預(yù)測(cè)和產(chǎn)生預(yù)測(cè)圖像(HD圖像)所需的預(yù)測(cè)分塊(位于包括關(guān)注像素的預(yù)定區(qū)域上的SD像素)，并將選取的預(yù)測(cè)分塊輸出給預(yù)測(cè)計(jì)算單元4126。
預(yù)測(cè)計(jì)算單元4126利用從區(qū)域選取單元4125輸入的預(yù)測(cè)分塊和從系數(shù)存儲(chǔ)器4124輸入的預(yù)測(cè)系數(shù)執(zhí)行積-和計(jì)算，從而產(chǎn)生對(duì)應(yīng)于輸入圖像(SD圖像)的關(guān)注像素(SD像素)的預(yù)測(cè)圖像(HD圖像)的HD像素。然后，預(yù)測(cè)計(jì)算單元4126將產(chǎn)生的HD像素輸出給選擇器4112。
尤其是，系數(shù)存儲(chǔ)器4124將對(duì)應(yīng)于從類型代碼確定單元4123提供的類型代碼的預(yù)測(cè)系數(shù)輸出給預(yù)測(cè)計(jì)算單元4126。預(yù)測(cè)計(jì)算單元4126利用從區(qū)域選取單元4125提供的、并從預(yù)定像素區(qū)域中的像素值選取的預(yù)測(cè)分塊、以及從系數(shù)存儲(chǔ)器4124提供的預(yù)測(cè)系數(shù)執(zhí)行由下面公式(237)表示的積-和計(jì)算，從而獲得(預(yù)測(cè)和估計(jì))對(duì)應(yīng)于預(yù)測(cè)圖像(HD圖像)的HD像素。
公式(237) 在公式(237)中，q’表示預(yù)測(cè)圖像(HD圖像)的HD像素。每個(gè)ci(i表示1到n的整數(shù))表示相應(yīng)的預(yù)測(cè)分塊(SD像素)。另外，每個(gè)di表示相應(yīng)的預(yù)測(cè)系數(shù)。
如上所述，圖像產(chǎn)生單元4104基于SD圖像(輸入圖像)預(yù)測(cè)和估計(jì)相應(yīng)的HD圖像，因此，在該情況下，將從圖像產(chǎn)生單元4104輸出的HD圖像稱為“預(yù)測(cè)圖像”。
圖294示出了用于確定存儲(chǔ)在圖像產(chǎn)生單元4104的系數(shù)存儲(chǔ)器4124中的預(yù)測(cè)系數(shù)(公式(237)中的di)的學(xué)習(xí)裝置(用于計(jì)算預(yù)測(cè)系數(shù)的裝置)。
在圖294中，將特定圖像輸入下降轉(zhuǎn)換器單元4141和正規(guī)方程產(chǎn)生單元4146中作為老師圖像(HD圖像)。
下降轉(zhuǎn)換器單元4146基于這樣輸入的老師圖像(HD圖像)產(chǎn)生比輸入的老師圖像具有更低分辨率的學(xué)生圖像(SD圖像)(即，對(duì)老師圖像進(jìn)行下降轉(zhuǎn)換處理，從而獲得學(xué)生圖像)，并將產(chǎn)生的學(xué)生圖像輸出給區(qū)域選取單元4142和4145。
如上所述，學(xué)習(xí)裝置4131包括下降轉(zhuǎn)換器單元4141，因此，不需要制備出如相應(yīng)于來(lái)自傳感器2(圖1)的輸入圖像的老師圖像(HD圖像)那樣的高分辨率圖像。原因在于，可以將通過(guò)對(duì)老師圖像進(jìn)行下降轉(zhuǎn)換處理而獲得的學(xué)生圖像(具有下降的分辨率)用作SD圖像。在該情況下，對(duì)應(yīng)于學(xué)生圖像的老師圖像可以用作HD圖像。因此，可以將來(lái)自傳感器2的輸入圖像不經(jīng)過(guò)任何轉(zhuǎn)換地用作老師圖像。
區(qū)域選取單元4142從自下降轉(zhuǎn)換器單元4141中提供的學(xué)生圖像(SD圖像)中選取用于類型分類所需的類型分塊(SD像素)，并且，將選取的類型分塊輸出給圖形檢測(cè)單元4143。圖形檢測(cè)單元4143檢測(cè)上述輸入的類型分塊的圖形，并將檢測(cè)結(jié)果輸出給類型代碼確定單元4144。類型代碼確定單元4144確定對(duì)應(yīng)于輸入圖形的類型代碼，并將類型代碼分別輸出給區(qū)域選取單元4145和正規(guī)方程產(chǎn)生單元4146。
區(qū)域選取單元4145基于從類型代碼確定單元4144輸入的類型代碼從自下降轉(zhuǎn)換器單元4141中輸入的學(xué)生圖像(SD圖像)中選取預(yù)測(cè)分塊(SD像素)，并且，將選取的預(yù)測(cè)分塊輸出給正規(guī)方程產(chǎn)生單元4146。
注意，上述區(qū)域選取單元4142、圖形檢測(cè)單元4143、類型代碼確定單元4144，以及區(qū)域選取單元4145具有基本相同的結(jié)構(gòu)，并且，與如圖293所示的圖像產(chǎn)生單元4104的區(qū)域選取單元4121、圖形檢測(cè)單元4122、類型代碼確定單元4123、以及區(qū)域選取單元4125相同地作用。
正規(guī)方程產(chǎn)生單元4146基于從區(qū)域選取單元4145輸入的學(xué)生圖像(SD圖像)的預(yù)測(cè)分塊(SD像素)，以及每個(gè)類型代碼的老師圖像(HD圖像)的HD像素而產(chǎn)生從類型代碼確定單元4144輸入的每個(gè)類型代碼的正規(guī)方程，并將產(chǎn)生的正規(guī)方程提供給系數(shù)確定單元4147。
當(dāng)從正規(guī)方程產(chǎn)生單元4146接收對(duì)應(yīng)于特定類型代碼的正規(guī)方程時(shí)，系數(shù)確定單元4147利用正規(guī)方程計(jì)算預(yù)測(cè)系數(shù)，并將計(jì)算的預(yù)測(cè)系數(shù)存儲(chǔ)在相關(guān)于類型代碼的系數(shù)存儲(chǔ)器4142中。
現(xiàn)在，將詳細(xì)描述正規(guī)方程產(chǎn)生單元4146和系數(shù)確定單元4147。
在上述公式(237)中，每個(gè)預(yù)測(cè)系數(shù)di在學(xué)習(xí)處理之前是未確定的系數(shù)。學(xué)習(xí)處理通過(guò)輸入每個(gè)類型代碼的老師圖像(HD圖像)的多個(gè)HD像素而進(jìn)行。假設(shè)，對(duì)應(yīng)于特定類型代碼存在m個(gè)HD像素。在該情況下，將m個(gè)HD像素表示為qk(k表示1到m的整數(shù))。則從公式(237)得到下面的公式(238)。
公式(238) 也就是說(shuō)，公式(238)表示，通過(guò)執(zhí)行由公式(238)右側(cè)表示的計(jì)算可以預(yù)測(cè)和估計(jì)HD像素qk。注意，在公式(238)中，ek表示誤差。也就是說(shuō)，預(yù)測(cè)圖像(HD圖像)的HD像素qk’不完全匹配實(shí)際HD像素qk，并包括特定誤差ek，所述預(yù)測(cè)圖像是計(jì)算右側(cè)的計(jì)算結(jié)果。
在本實(shí)施例中，通過(guò)學(xué)習(xí)處理使得公式(238)所示的誤差ek的平方和表現(xiàn)最小值而獲得預(yù)測(cè)系數(shù)di，從而獲得用于預(yù)測(cè)實(shí)際HD像素qk的最優(yōu)預(yù)測(cè)系數(shù)di。
尤其是，在本實(shí)施例中，基于例如通過(guò)學(xué)習(xí)收集的m個(gè)HD像素qk(其中m大于n)，通過(guò)利用最小二乘法的學(xué)習(xí)處理確定最優(yōu)預(yù)測(cè)系數(shù)di作為唯一解。
也就是說(shuō)，利用最小二乘法的用于獲得公式(238)右側(cè)的預(yù)測(cè)系數(shù)di的正規(guī)方程由下面公式(239)所示。


公式(239) 也就是說(shuō)，在本實(shí)施例中，產(chǎn)生并求解由公式(239)表示的正規(guī)方程，從而確定預(yù)測(cè)系數(shù)di作為唯一解。
尤其是，將形成由公式(239)表示的正規(guī)方程的分量矩陣定義為下面公式(240)到(242)，則正規(guī)方程由下面公式(243)表示。


公式(240) 公式(241) 公式(242) CMAT DMAT＝QMAT 公式(243) 從式(241)可以理解，矩陣DMAT的每個(gè)分量為將要獲得的預(yù)測(cè)系數(shù)di。在本實(shí)施例中，如果確定了公式(243)左側(cè)的矩陣CMAT和右側(cè)的矩陣QMAT，可以利用矩陣求解方法計(jì)算矩陣DMAT(即預(yù)測(cè)系數(shù)di)。
尤其是，從式(240)可以理解，只要已知預(yù)測(cè)分塊cik，則可以計(jì)算矩陣CMAT的各個(gè)分量。區(qū)域選取單元4145選取預(yù)測(cè)分塊cik。在本實(shí)施例中，正規(guī)方程產(chǎn)生單元4146利用從區(qū)域選取單元4145提供的預(yù)測(cè)分塊cik可以計(jì)算矩陣CMAT的每個(gè)分量。
另外，如可以從公式(242)所理解的，只要已知預(yù)測(cè)分塊cik和HD像素qk，則可以計(jì)算矩陣QMAT的各個(gè)分量。注意，預(yù)測(cè)分塊cik與矩陣CMAT中相同，HD像素qk是對(duì)應(yīng)于預(yù)測(cè)分塊cik中包括的關(guān)注像素(學(xué)生圖像的SD像素)的老師圖像的HD像素。在本實(shí)施例中，正規(guī)方程產(chǎn)生單元4146利用從區(qū)域選取單元4145提供的預(yù)測(cè)分塊cik和老師圖像而可以計(jì)算矩陣QMAT的每個(gè)分量。
如上所述，正規(guī)方程產(chǎn)生單元4146對(duì)于每個(gè)類型代碼計(jì)算矩陣CMAT和矩陣QMAT的每個(gè)分量，并將相關(guān)于類型代碼的計(jì)算結(jié)果提供給系數(shù)確定單元4147。
系數(shù)確定單元4147基于對(duì)應(yīng)于提供的特定類型代碼的正規(guī)方程，計(jì)算每個(gè)作為由上述公式(243)表示的矩陣DMAT的分量的預(yù)測(cè)系數(shù)di。
尤其是，可以將由上述公式(243)表示的正規(guī)方程轉(zhuǎn)換為下面的公式(244)。
公式(244) 在公式(244)中，左側(cè)矩陣DMAT的各個(gè)分量是將要獲得的預(yù)測(cè)系數(shù)di。注意，從正規(guī)方程產(chǎn)生單元4146提供矩陣CMAT和矩陣QMAT的各個(gè)分量。在本實(shí)施例中，當(dāng)從正規(guī)方程產(chǎn)生單元4146接收對(duì)應(yīng)于特定類型代碼的矩陣CMAT和矩陣QMAT的各個(gè)分量，系數(shù)確定單元4147計(jì)算由公式(244)的右側(cè)表示的矩陣計(jì)算，從而計(jì)算矩陣DMAT，并將關(guān)于類型代碼的計(jì)算結(jié)果(預(yù)測(cè)系數(shù)di)存儲(chǔ)在系數(shù)存儲(chǔ)器4124中。
注意，類型分類適應(yīng)處理和簡(jiǎn)單的內(nèi)插處理的差異如下。也就是說(shuō)，例如，不同于簡(jiǎn)單的內(nèi)插，類型分類適應(yīng)處理允許再現(xiàn)包含在HD圖像中的在SD圖像中已經(jīng)丟失的分量。也就是說(shuō)，只要參考上述公式(237)，類型分類適應(yīng)處理看上去與利用所謂的內(nèi)插過(guò)濾器的內(nèi)插處理相同。然而，在類型分類適應(yīng)處理中，通過(guò)基于老師數(shù)據(jù)和學(xué)生數(shù)據(jù)的學(xué)習(xí)獲得對(duì)應(yīng)于內(nèi)插過(guò)濾器的系數(shù)的預(yù)測(cè)系數(shù)di，從而再現(xiàn)包含在HD圖像中的分量。因此，上述類型分類適應(yīng)處理可以說(shuō)是具有改善圖像質(zhì)量(改善分辨率)的功能的處理。
盡管描述了具有改善空間分辨率的功能的設(shè)置，由于類型分類適應(yīng)處理采用通過(guò)利用合適種類的老師數(shù)據(jù)和學(xué)生數(shù)據(jù)進(jìn)行學(xué)習(xí)而獲得各種系數(shù)，因此允許用于各種改善S/N(信噪比)、改善模糊等的處理。
也就是說(shuō)，在類型分類適應(yīng)處理中，可以例如以具有高S/N的圖像為老師數(shù)據(jù)、并以基于老師圖像產(chǎn)生的具有降低S/N(或降低分辨率)的圖像為學(xué)生數(shù)據(jù)而獲得系數(shù)，從而改善S/N(或改善模糊)。
上面描述了用于執(zhí)行類型分類適應(yīng)處理的圖像產(chǎn)生單元4104和學(xué)習(xí)裝置4131的結(jié)構(gòu)。
注意，盡管圖像產(chǎn)生單元4104可以具有用于執(zhí)行不同于上述的類型分類適應(yīng)處理的圖像處理的結(jié)構(gòu)，但是為了便于描述，將描述與上述圖293所示的結(jié)構(gòu)相同的圖像產(chǎn)生單元4104。也就是說(shuō)，假設(shè)圖像產(chǎn)生單元4104執(zhí)行類型分類適應(yīng)處理以產(chǎn)生具有比輸入圖像更高的空間分辨率的圖像，并將產(chǎn)生的圖像提供給選擇器4112。
接著，將參考圖295描述由采用第一混合方法的信號(hào)處理裝置(圖292)進(jìn)行的信號(hào)處理。
假設(shè)，在本實(shí)施例中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101利用最小二乘法計(jì)算角度(如下之間的角度圖像關(guān)注像素附近的連續(xù)性方向(其為一個(gè)空間方向)，所述圖像表示現(xiàn)實(shí)世界1中的信號(hào)(圖1)；以及作為另一空間方向的X方向(該方向平行于傳感器2的檢測(cè)元件的特定邊))，并輸出計(jì)算的角度作為數(shù)據(jù)連續(xù)性信息。
另外，數(shù)據(jù)連續(xù)性檢測(cè)單元4101輸出在計(jì)算角度時(shí)伴隨計(jì)算結(jié)果計(jì)算的估計(jì)誤差(利用最小二乘法的誤差)，其被用作區(qū)域指定信息。
在圖1中，當(dāng)將現(xiàn)實(shí)世界1中的作為圖像的信號(hào)輸入給傳感器2時(shí)，從傳感器2輸出輸入圖像。
如圖292所示，將輸入圖像輸入圖像產(chǎn)生單元4104、以及數(shù)據(jù)連續(xù)性檢測(cè)單元4101和現(xiàn)實(shí)世界估計(jì)單元4102。
然后，在如圖295所示的步驟S4101中，圖像產(chǎn)生單元4014以輸入圖像(SD圖像)的特定SD像素為關(guān)注像素執(zhí)行上述類型分類適應(yīng)處理，從而產(chǎn)生預(yù)測(cè)圖像(HD圖像)的HD像素(對(duì)應(yīng)于關(guān)注像素的HD像素)。然后，圖像產(chǎn)生單元4104將產(chǎn)生的HD像素提供給選擇器4112。
注意，為了區(qū)分從圖像產(chǎn)生單元4104輸出的像素和從圖像產(chǎn)生單元4103輸出的像素，下文中，將從圖像產(chǎn)生單元4104輸出的像素稱為“第一像素”，而將從圖像產(chǎn)生單元4103輸出的像素稱為“第二像素”。
另外，下文中，將該由圖像產(chǎn)生單元4104執(zhí)行的處理(在該情況下為步驟S4101中的處理)稱為“執(zhí)行類型分類適應(yīng)處理”。下面將參考圖296的流程圖詳細(xì)描述“執(zhí)行類型分類適應(yīng)處理”的實(shí)例。
另一方面，在步驟S4102中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)對(duì)應(yīng)于連續(xù)性方向的角度，并計(jì)算其估計(jì)誤差。將檢測(cè)的角度分別提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4103作為數(shù)據(jù)連續(xù)性信息。另一方面，將計(jì)算的估計(jì)誤差提供給區(qū)域檢測(cè)單元4111作為區(qū)域指定信息。
在步驟S4103中，現(xiàn)實(shí)世界估計(jì)單元4102基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)的角度和輸入圖像估計(jì)現(xiàn)實(shí)世界1中的信號(hào)。
注意，由現(xiàn)實(shí)世界估計(jì)單元4102執(zhí)行的估計(jì)處理不特定限制于上面的描述，而是可以采用上述的各種技術(shù)。假設(shè)現(xiàn)實(shí)世界估計(jì)單元4102利用預(yù)定函數(shù)f(下文中將其稱為“模擬函數(shù)f”)模擬表示現(xiàn)實(shí)世界1中的信號(hào)的函數(shù)F(下文中將其稱為“光信號(hào)函數(shù)F”)，從而估計(jì)現(xiàn)實(shí)世界1中的信號(hào)(光信號(hào)F)。
另外，例如，假設(shè)現(xiàn)實(shí)世界估計(jì)單元4102將模擬函數(shù)f的特征(系數(shù))提供給圖像產(chǎn)生單元4103作為現(xiàn)實(shí)世界估計(jì)信息。
在步驟S4104中，圖像產(chǎn)生單元4103基于由現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)的現(xiàn)實(shí)世界1中的信號(hào)，對(duì)應(yīng)于通過(guò)由圖像產(chǎn)生單元4104進(jìn)行的類型分類適應(yīng)處理而產(chǎn)生的第一像素(HD像素)，產(chǎn)生第二像素(HD像素)，并將產(chǎn)生的第二像素提供給選擇器4112。
在該結(jié)構(gòu)中，例如，從現(xiàn)實(shí)世界估計(jì)單元4102提供模擬函數(shù)f的特征(系數(shù))。然后，圖像產(chǎn)生單元4103基于上述提供的模擬函數(shù)f的特征計(jì)算模擬函數(shù)f在預(yù)定積分范圍上的積分，從而產(chǎn)生第二像素(HD像素)。
注意，這樣確定積分范圍，使得產(chǎn)生的第二像素與從圖像產(chǎn)生單元4104輸出的第一像素(HD像素)具有相同的尺寸(相同的分辨率)。也就是說(shuō)，將積分范圍確定為沿空間方向上具有與將產(chǎn)生的第二像素的寬度相同的寬度的范圍。
注意，根據(jù)本發(fā)明的步驟次序不限于如圖295所示的設(shè)置，其中依次進(jìn)行步驟S4101中的“執(zhí)行類型分類適應(yīng)處理”和步驟S4102到步驟S4104的一組處理，而是可以這樣設(shè)置，其中在步驟S4101中的“執(zhí)行類型分類適應(yīng)處理”之前執(zhí)行驟S4102到步驟S4104的一組處理。另外，可以這樣設(shè)置，其中同時(shí)執(zhí)行步驟S4101中的“執(zhí)行類型分類適應(yīng)處理”和步驟S4102到步驟S4104的一組處理。
在步驟S4105中，區(qū)域檢測(cè)單元4111基于通過(guò)由數(shù)據(jù)連續(xù)性檢測(cè)單元4101進(jìn)行步驟S4102中的處理計(jì)算的估計(jì)誤差(區(qū)域指定信息)，檢測(cè)通過(guò)由圖像產(chǎn)生單元4103進(jìn)行步驟S4101中的處理產(chǎn)生的第二像素(HD像素)的區(qū)域。
這里，第二像素是對(duì)應(yīng)于輸入圖像的SD像素的HD像素，所述SD像素由數(shù)據(jù)連續(xù)性檢測(cè)單元4101用作關(guān)注像素。因此，關(guān)注像素(輸入圖像的SD像素)與第二像素(HD像素)之間的區(qū)域類型(連續(xù)性區(qū)域或非連續(xù)性區(qū)域)相同。
注意，從數(shù)據(jù)連續(xù)性檢測(cè)單元4101輸出的區(qū)域指定信息是在利用最小二乘法計(jì)算關(guān)注像素附近的角度時(shí)的估計(jì)誤差。
在該結(jié)構(gòu)中，區(qū)域檢測(cè)單元4111比較關(guān)于從數(shù)據(jù)連續(xù)性檢測(cè)單元4101提供的關(guān)注像素(輸入圖像的SD像素)的估計(jì)誤差與預(yù)定閾值。作為比較的結(jié)果，在估計(jì)誤差小于閾值的情況下，區(qū)域檢測(cè)單元4111檢測(cè)第二像素屬于連續(xù)性區(qū)域。另一方面，在估計(jì)誤差等于或大于閾值的情況下，區(qū)域檢測(cè)單元4111檢測(cè)第二像素屬于非連續(xù)性區(qū)域。然后，將檢測(cè)結(jié)果提供給選擇器4112。
當(dāng)從區(qū)域檢測(cè)單元4111接收檢測(cè)結(jié)果，選擇器4112在步驟S4106中確定檢測(cè)的區(qū)域是否屬于連續(xù)性區(qū)域。
在步驟S4106中，在確定檢測(cè)的區(qū)域?qū)儆谶B續(xù)性區(qū)域的情況下，在步驟S4107中，選擇器4112向外輸出從圖像產(chǎn)生單元4103提供的第二像素作為輸出圖像。
另一方面，在步驟S4106中，在確定檢測(cè)的區(qū)域不屬于連續(xù)性區(qū)域的情況下(即屬于非連續(xù)性區(qū)域)，在步驟S4108中，選擇器4112向外輸出從圖像產(chǎn)生單元4104提供的第一像素作為輸出圖像。
接著，在步驟S4109中，確定是否對(duì)全部像素進(jìn)行處理。在確定仍未對(duì)全部像素進(jìn)行處理的情況下，該處理返回步驟S4101。也就是說(shuō)，重復(fù)步驟S4101到步驟S4109的處理，直到完成對(duì)全部像素的處理。
另一方面，在步驟S4109中，在確定已經(jīng)對(duì)全部像素進(jìn)行處理的情況下，該處理結(jié)束。
如上所述，在如圖295中的流程圖所示的設(shè)置中，在每次產(chǎn)生第一像素(HD像素)和第二像素(HD像素)時(shí)，將從第一像素和第二像素中選擇的輸出圖像以增量輸出作為像素的輸出圖像。
然而，如上所述，本發(fā)明不限于這樣的設(shè)置，其中將輸出數(shù)據(jù)以像素增量輸出，而可以這樣設(shè)置，其中以圖像形式輸出輸出數(shù)據(jù)，即在每次完成對(duì)全部像素的處理時(shí)同時(shí)輸出形成圖像的像素。注意，在這樣的設(shè)置中，步驟S4107和步驟S4108各包括增加的處理，用于臨時(shí)存儲(chǔ)選擇器4112中的像素(第一像素和第二像素)，而不是在每次產(chǎn)生像素時(shí)輸出像素，并且在步驟S4109的處理后同時(shí)輸出全部像素。
接著，將參考圖296中的流程圖詳細(xì)描述由具有如圖293所示結(jié)構(gòu)的圖像產(chǎn)生單元4104執(zhí)行的“用于執(zhí)行類型分類處理的處理”(例如上述圖295的步驟S4101中的處理)。
當(dāng)從傳感器2將輸入圖像(SD圖像)輸入圖像產(chǎn)生單元4104，在步驟S4121，區(qū)域選取單元4121和區(qū)域選取單元4125都輸入輸入圖像。
在步驟S4122中，區(qū)域選取單元4121從輸入圖像選取關(guān)注像素(SD像素)和位于每個(gè)相對(duì)于關(guān)注像素為預(yù)定相對(duì)位置的(一個(gè)或多個(gè))位置上的像素(SD像素)作為類型分塊，并將其提供給圖形檢測(cè)單元4122。
在步驟S4133中，圖形檢測(cè)單元4122檢測(cè)提供的類型分塊的圖形，并將其提供給類型代碼確定單元4123。
在步驟S4124中，類型代碼確定單元4123從多個(gè)預(yù)定的類型代碼確定匹配提供的類型分塊的圖形的類型代碼，并將其分別提供給系數(shù)存儲(chǔ)器4124和區(qū)域選取單元4125。
在步驟S4125，系數(shù)存儲(chǔ)器4124基于提供的類型代碼，從通過(guò)預(yù)先學(xué)習(xí)處理確定的多個(gè)預(yù)測(cè)系數(shù)(組)讀出將使用的預(yù)測(cè)系數(shù)(組)，并將其提供給預(yù)測(cè)計(jì)算單元4126。
注意，下面將參考圖297中的流程圖描述學(xué)習(xí)處理。
在步驟S4126中，區(qū)域選取單元4125從對(duì)應(yīng)于向其提供的類型代碼的輸入圖像選取關(guān)注像素(SD像素)，和位于每個(gè)相對(duì)于關(guān)注像素為預(yù)設(shè)相對(duì)位置的位置(一個(gè)或多個(gè)位置，獨(dú)立于類型分塊的位置設(shè)置的位置，然而，可以是與類型分塊相同的位置)上的像素(SD像素)作為預(yù)測(cè)分塊，并將其提供給預(yù)測(cè)計(jì)算單元4126。
在步驟S4127中，預(yù)測(cè)計(jì)算單元4116利用從系數(shù)存儲(chǔ)器4124提供的預(yù)測(cè)系數(shù)計(jì)算從預(yù)測(cè)選取單元4125提供的預(yù)測(cè)分塊，并產(chǎn)生向外(在圖292的實(shí)例中為選擇器4112)輸出的預(yù)測(cè)圖像(第一像素)。
尤其是，預(yù)測(cè)計(jì)算單元4126以從區(qū)域選取單元4125提供的每個(gè)預(yù)測(cè)分塊為ci(i表示1到n的整數(shù))，并以從系數(shù)存儲(chǔ)器4124提供的每個(gè)預(yù)測(cè)系數(shù)為di，則進(jìn)行由上述公式(237)右側(cè)的計(jì)算，從而計(jì)算位于關(guān)注像素(SD像素)上的HD像素q’，并將其向外輸出作為預(yù)測(cè)圖像(HD圖像)的預(yù)定像素(第一像素)。然后，該處理結(jié)束。
接著，將參考圖297中的流程圖描述由學(xué)習(xí)裝置4131(圖294)進(jìn)行的關(guān)于圖像產(chǎn)生單元4104的學(xué)習(xí)處理(用于通過(guò)學(xué)習(xí)產(chǎn)生將由圖像產(chǎn)生單元4104使用的預(yù)測(cè)系數(shù)的處理)。
在步驟S4141中，下降轉(zhuǎn)換器單元4141和正規(guī)方程產(chǎn)生單元4146各向其輸入預(yù)定圖像作為老師圖像(HD圖像)。
在步驟S4142中，下降轉(zhuǎn)換器單元4141對(duì)輸入的老師圖像進(jìn)行“下降轉(zhuǎn)換”處理(分辨率下降)，從而產(chǎn)生學(xué)生圖像(SD圖像)，將其分別提供給區(qū)域選取單元4142和4145。
在步驟S4143中，區(qū)域選取單元4142從向其提供的學(xué)生圖像選取類型分塊，并將其輸出給圖形檢測(cè)單元4143。注意，步驟S4143中的處理與上述步驟S4122(圖296)中的處理基本相同。
在步驟S4144中，圖形檢測(cè)單元4143從向其提供的類型分塊中檢測(cè)用于確定類型代碼的圖形，并將其提供給類型代碼確定單元4144。注意，步驟S4144所示的處理與上述步驟S4123(圖296)所示的處理基本相同。
在步驟S4145中，類型代碼確定單元4144基于向其提供的類型分塊的圖形確定類型代碼，并將其提供給區(qū)域選取單元4145和正規(guī)方程產(chǎn)生單元4146。注意，步驟S4145中的處理與上述步驟S4124(圖296)中的處理基本相同。
在步驟S4146中，區(qū)域選取單元4145對(duì)應(yīng)于向其提供的類型代碼從學(xué)生圖像中選取預(yù)測(cè)分塊，并將其提供給正規(guī)方程產(chǎn)生單元4146。注意，步驟S4146中的處理與上述步驟S4126(圖296)中的處理基本相同。
在步驟S4147中，正規(guī)方程產(chǎn)生單元4146基于從區(qū)域選取單元4145提供的預(yù)測(cè)分塊(SD像素)和老師圖像(HD圖像)的預(yù)測(cè)HD像素而產(chǎn)生由上述公式(239)表示的正規(guī)方程(即公式(243))，并將產(chǎn)生的正規(guī)方程與從類型代碼確定單元4144提供的類型代碼相關(guān)聯(lián)，并將其提供給系數(shù)確定單元4147。
在步驟S4148中，系數(shù)確定單元3537求解上述提供的正規(guī)方程，從而確定預(yù)測(cè)系數(shù)，即，通過(guò)計(jì)算上述公式(244)的右側(cè)而計(jì)算預(yù)測(cè)系數(shù)，并將其相關(guān)于向其提供的類型代碼存儲(chǔ)在系數(shù)存儲(chǔ)器4124中。
接著，在步驟S4149中，確定是否已經(jīng)對(duì)全部像素進(jìn)行處理。在確定仍未對(duì)全部像素進(jìn)行處理的情況下，該處理返回步驟S4143。也就是說(shuō)，重復(fù)步驟S4143到步驟S4149的處理直到完成對(duì)全部像素的處理。
然后，當(dāng)在步驟S4149中確定已經(jīng)進(jìn)行對(duì)全部像素的處理的情況下，該處理結(jié)束。
接著，將參考圖298到圖299描述第二混合方法。
圖298示出了采用第二混合方法的信號(hào)處理裝置的結(jié)構(gòu)實(shí)例。
在圖298中，對(duì)應(yīng)于采用第一混合方法的信號(hào)處理裝置(圖292)的部分由相應(yīng)的標(biāo)號(hào)表示。
在圖292的結(jié)構(gòu)實(shí)例中(第一混合方法)，從數(shù)據(jù)連續(xù)性檢測(cè)單元4101輸出區(qū)域識(shí)別信息，并輸入給區(qū)域檢測(cè)單元4111，但是在圖298所示的結(jié)構(gòu)實(shí)例中(第二混合方法)，從現(xiàn)實(shí)世界估計(jì)單元4102輸出區(qū)域識(shí)別信息，并輸入給區(qū)域檢測(cè)單元4111。
該區(qū)域識(shí)別信息不特別限制，而是可以是在現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)現(xiàn)實(shí)世界1的信號(hào)(圖1)后新產(chǎn)生的信息，或者可以是伴隨估計(jì)現(xiàn)實(shí)世界1的信號(hào)的情形而產(chǎn)生的信息。
尤其是，例如，可以使用估計(jì)誤差作為區(qū)域識(shí)別信息。
現(xiàn)在，將描述估計(jì)誤差。
如上所述，從數(shù)據(jù)連續(xù)性檢測(cè)單元4101輸出的估計(jì)誤差(圖292中的區(qū)域識(shí)別信息)是在例如從數(shù)據(jù)連續(xù)性檢測(cè)單元4101輸出的連續(xù)性檢測(cè)信息是角度，并且利用最小二乘法計(jì)算所述角度的情況下，伴隨最小二乘計(jì)算的進(jìn)行而計(jì)算的估計(jì)誤差。
相反，從現(xiàn)實(shí)世界估計(jì)單元4102輸出的估計(jì)誤差(圖298中的區(qū)域識(shí)別信息)為例如映射誤差。
也就是說(shuō)，由現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)現(xiàn)實(shí)世界1的信號(hào)，使得從估計(jì)的現(xiàn)實(shí)世界1的信號(hào)可以產(chǎn)生任意大小的像素(可以計(jì)算像素值)。這里，將通過(guò)這樣產(chǎn)生新像素稱為映射。
因此，在估計(jì)現(xiàn)實(shí)世界1的信號(hào)后，現(xiàn)實(shí)世界估計(jì)單元4102在輸入圖像的關(guān)注像素(在估計(jì)現(xiàn)實(shí)世界1的情況下用作關(guān)注像素的像素)所在的位置上從估計(jì)的現(xiàn)實(shí)世界1的信號(hào)產(chǎn)生(映射)新的像素。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元4102從估計(jì)的現(xiàn)實(shí)世界1的信號(hào)進(jìn)行對(duì)輸入圖像中的關(guān)注像素的像素值的預(yù)測(cè)計(jì)算。
現(xiàn)實(shí)世界估計(jì)單元4102然后計(jì)算新映射像素的像素值(被預(yù)測(cè)的輸入圖像的關(guān)注像素的像素值)與實(shí)際輸入圖像的關(guān)注像素的像素值之差。將該差稱為映射誤差。
通過(guò)計(jì)算映射誤差(估計(jì)誤差)，現(xiàn)實(shí)世界估計(jì)單元4102從而可以將計(jì)算的映射誤差(估計(jì)誤差)提供給區(qū)域選取單元4111作為區(qū)域識(shí)別信息。
盡管如上所述，由區(qū)域檢測(cè)單元4111進(jìn)行的用于區(qū)域檢測(cè)的處理不特別限制，但是在例如對(duì)區(qū)域檢測(cè)單元4111提供上述映射誤差(估計(jì)誤差)作為區(qū)域識(shí)別信息的現(xiàn)實(shí)世界估計(jì)單元4102的情況下，在提供的映射誤差(估計(jì)誤差)小于預(yù)定閾值的情況下，輸入圖像的關(guān)注像素被檢測(cè)為連續(xù)性區(qū)域，另一方面，在提供的映射誤差(估計(jì)誤差)等于或大于預(yù)定閾值的情況下，輸入圖像的關(guān)注像素被檢測(cè)為非連續(xù)性區(qū)域。
其它結(jié)構(gòu)與圖292所示基本相同。也就是說(shuō)，采用第二混合方法的信號(hào)處理裝置(圖298)還包括數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、圖像產(chǎn)生單元4103、圖像產(chǎn)生單元4104、以及連續(xù)性區(qū)域檢測(cè)單元4105(區(qū)域檢測(cè)單元4111和選擇器4112)，其與采用第一混合方法的信號(hào)處理裝置(圖292)具有基本相同的結(jié)構(gòu)和功能。
圖299是描述具有圖298所示結(jié)構(gòu)的信號(hào)處理裝置的處理(第二混合方法的信號(hào)處理)的流程圖。
第二混合方法的信號(hào)處理類似于第一混合方法的信號(hào)處理(圖295的流程圖所示的處理)。因此，這里，將適當(dāng)?shù)厥÷詫?duì)相關(guān)于第一混合方法的處理的說(shuō)明，而將參考圖299中的流程圖描述不同于根據(jù)第一混合方法的處理的根據(jù)第二混合方法的處理。
注意，這里，象在第一混合方法的情況中一樣，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元4101利用最小二乘法計(jì)算角度(位于現(xiàn)實(shí)世界1(圖1)的信號(hào)的關(guān)注像素上的連續(xù)性方向(空間方向)與作為空間方向中的一個(gè)方向的X方向(平行于傳感器2(圖1)的檢測(cè)元件的預(yù)定一邊的方向)之間的角度)，并輸出計(jì)算的角度作為數(shù)據(jù)連續(xù)性信息。
然而，盡管在上述第一混合方法中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101將區(qū)域識(shí)別信息(例如估計(jì)誤差)提供給區(qū)域檢測(cè)單元4111，但是在第二混合方法中，現(xiàn)實(shí)世界估計(jì)單元4102將區(qū)域識(shí)別信息(例如估計(jì)誤差(映射誤差))提供給區(qū)域檢測(cè)單元4111。
因此，在第二混合方法中，執(zhí)行步驟S4162的處理作為數(shù)據(jù)連續(xù)性檢測(cè)單元4101的處理。該處理相當(dāng)于在第一混合方法中在圖295中步驟S4102的處理。也就是說(shuō)，數(shù)據(jù)連續(xù)性檢測(cè)單元4101基于輸入圖像檢測(cè)對(duì)應(yīng)于連續(xù)性方向的角度，并將檢測(cè)的角度作為數(shù)據(jù)連續(xù)性信息分別提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4103。
另外，在第二混合方法中，執(zhí)行步驟S4163的處理作為現(xiàn)實(shí)世界估計(jì)單元4102的處理。該處理相當(dāng)于在第一混合方法中在圖295中步驟S4103的處理。也就是說(shuō)，在步驟S4162的處理中，現(xiàn)實(shí)世界估計(jì)單元4102基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)的角度估計(jì)現(xiàn)實(shí)世界1(圖1)中的信號(hào)，并計(jì)算估計(jì)的現(xiàn)實(shí)世界1的信號(hào)的估計(jì)誤差，即映射誤差，并將其作為區(qū)域識(shí)別信息提供給區(qū)域檢測(cè)單元4111。
其它處理與第一混合方法的處理(在圖295的流程圖中示出的處理的相應(yīng)處理)基本相同，因此省略對(duì)其的描述。
接著，將參考圖300和圖301描述第三混合方法。
圖300示出了采用第三混合方法的信號(hào)處理裝置的結(jié)構(gòu)實(shí)例。
在圖300中，對(duì)應(yīng)于采用第一混合方法的信號(hào)處理裝置(圖292)的部分由相應(yīng)的標(biāo)號(hào)表示。
在圖292的結(jié)構(gòu)實(shí)例中(第一混合方法)，將連續(xù)性區(qū)域檢測(cè)單元4105設(shè)置在圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的后面，而在圖300所示的結(jié)構(gòu)實(shí)例中(第三混合方法)，將對(duì)應(yīng)的連續(xù)性區(qū)域檢測(cè)單元4161設(shè)置在數(shù)據(jù)連續(xù)性檢測(cè)單元4101的下端、和現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4104的上端。
由于布置位置中的該差異，因此第一混合方法中的連續(xù)性區(qū)域檢測(cè)單元4105與第三混合方法中的連續(xù)性區(qū)域檢測(cè)單元4161之間存在一些差異。下面將主要關(guān)于該差異描述連續(xù)性檢測(cè)單元4161。
連續(xù)性區(qū)域檢測(cè)單元4161包括區(qū)域檢測(cè)單元4171和執(zhí)行命令產(chǎn)生單元4172。其中，區(qū)域檢測(cè)單元4171與連續(xù)性區(qū)域檢測(cè)單元4105的區(qū)域檢測(cè)單元4111(圖292)具有基本相同的結(jié)構(gòu)和功能。另一方面，執(zhí)行命令產(chǎn)生單元4172的功能與連續(xù)性區(qū)域檢測(cè)單元4105的選擇器4112(圖292)的功能有一些不同。
也就是說(shuō)，如上所述，選擇器4112基于來(lái)自區(qū)域檢測(cè)單元4111的檢測(cè)結(jié)果選擇來(lái)自圖像產(chǎn)生單元4103的圖像和來(lái)自圖像產(chǎn)生單元4104的圖像中的一個(gè)，并輸出選擇的圖像作為輸出圖像。這樣，選擇器4112輸入來(lái)自圖像產(chǎn)生單元4103的圖像和來(lái)自圖像產(chǎn)生單元4104的圖像以及來(lái)自區(qū)域檢測(cè)單元4111的檢測(cè)結(jié)果，并輸出輸出圖像。
另一方面，根據(jù)第三混合方法的執(zhí)行命令產(chǎn)生單元4172基于區(qū)域檢測(cè)單元4171的檢測(cè)結(jié)果，選擇是由圖像產(chǎn)生單元4103還是由圖像產(chǎn)生單元4104執(zhí)行用于產(chǎn)生位于輸入圖像的關(guān)注像素(已經(jīng)被數(shù)據(jù)連續(xù)性檢測(cè)單元4101取為關(guān)注像素的像素)上的新像素。
也就是說(shuō)，在區(qū)域檢測(cè)單元4171將檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4172，以提供輸入圖像的關(guān)注像素是連續(xù)性區(qū)域的結(jié)果時(shí)，執(zhí)行命令產(chǎn)生單元4172選擇圖像產(chǎn)生單元4103，并向現(xiàn)實(shí)世界估計(jì)單元4102提供命令以開(kāi)始處理(下文中，將這樣的命令稱為執(zhí)行命令)?，F(xiàn)實(shí)世界估計(jì)單元4102然后開(kāi)始其處理，產(chǎn)生現(xiàn)實(shí)世界估計(jì)信息，并將其提供給圖像產(chǎn)生單元4103。圖像產(chǎn)生單元4103基于提供的現(xiàn)實(shí)世界估計(jì)信息(按需要從數(shù)據(jù)連續(xù)性檢測(cè)單元4101另外提供的數(shù)據(jù)連續(xù)性信息)產(chǎn)生新的圖像，并將其向外輸出作為輸出圖像。
相反，在區(qū)域檢測(cè)單元4171將檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4172，以提供輸入圖像的關(guān)注像素是非連續(xù)性區(qū)域的結(jié)果時(shí)，執(zhí)行命令產(chǎn)生單元4172選擇圖像產(chǎn)生單元4104，并向圖像產(chǎn)生單元4104提供執(zhí)行命令。圖像產(chǎn)生單元4104然后開(kāi)始其處理，對(duì)輸入圖像進(jìn)行預(yù)定圖像處理(在該情況下為類型分類適應(yīng)處理)，產(chǎn)生新的圖像，并將其向外輸出作為輸出圖像。
從而，根據(jù)第三混合方法的執(zhí)行命令產(chǎn)生單元4172向區(qū)域檢測(cè)單元4171輸入檢測(cè)結(jié)果，并輸出執(zhí)行命令。也就是說(shuō)，執(zhí)行命令產(chǎn)生單元4172不輸入或輸出圖像。
注意，除連續(xù)性區(qū)域檢測(cè)單元4161以外的結(jié)構(gòu)與圖292中的結(jié)構(gòu)基本相同。也就是說(shuō)，采用第三混合方法的信號(hào)處理裝置(圖300中的信號(hào)處理裝置)還包括數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、圖像產(chǎn)生單元4103以及圖像產(chǎn)生單元4104，其與采用第一混合方法的信號(hào)處理裝置(圖292)具有基本相同的結(jié)構(gòu)和功能。
然而，在第三混合方法中，現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4104只有在從執(zhí)行命令產(chǎn)生單元4172輸入執(zhí)行命令時(shí)才執(zhí)行其處理。
現(xiàn)在，在圖300所示的實(shí)例中，圖像的輸出單元在其像素單元中。因此，雖然沒(méi)有示出，例如，還可以在圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的下面提供圖像合成單元，以使輸出單元為一幀的整個(gè)圖像(以一次輸出全部像素)。
該圖像合成單元相加(合成)從圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104輸出的像素值，并取相加值為相應(yīng)像素的像素值。在該情況下，圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104中沒(méi)有接收到執(zhí)行命令的一個(gè)不執(zhí)行其處理，并連續(xù)對(duì)圖像合成單元提供預(yù)定不變的值(例如0)。
圖像合成單元對(duì)全部像素重復(fù)執(zhí)行該處理，并當(dāng)完成對(duì)全部像素的處理時(shí)，一次向外輸出全部像素(作為一幀圖像數(shù)據(jù))。
接著，將參考圖301的流程圖描述采用第三混合方法的信號(hào)處理裝置(圖300)的信號(hào)處理。
注意，這里，與第一混合方法的情況相同，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元4101使用最小二乘法計(jì)算角度(位于現(xiàn)實(shí)世界1(圖1)的信號(hào)的關(guān)注像素上的連續(xù)性方向(空間方向)與作為空間方向中的一個(gè)方向的X方向(平行于傳感器2(圖1)的檢測(cè)元件的預(yù)定一邊的方向)之間的角度)，并輸出計(jì)算的角度作為數(shù)據(jù)連續(xù)性信息。
假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元4101將計(jì)算的估計(jì)誤差(最小二乘的誤差)與計(jì)算的角度一起輸出作為區(qū)域識(shí)別信息。
在圖1中，當(dāng)將現(xiàn)實(shí)世界1的信號(hào)投影到傳感器2上時(shí)，傳感器2輸出輸入圖像。
在圖300中，將輸入圖像輸入圖像產(chǎn)生單元4104，另外還輸入數(shù)據(jù)連續(xù)性檢測(cè)單元4101和現(xiàn)實(shí)世界估計(jì)單元4102。
現(xiàn)在，在圖301的步驟S4181中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101基于輸入圖像檢測(cè)對(duì)應(yīng)于連續(xù)性方向的角度，并還計(jì)算其估計(jì)誤差。將檢測(cè)的角度分別提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4103作為數(shù)據(jù)連續(xù)性信息。另外，將計(jì)算的估計(jì)誤差提供給區(qū)域檢測(cè)單元4171作為區(qū)域識(shí)別信息。
注意，步驟S4181中的處理與上述步驟S4102(圖295)中的處理基本相同。
另外，如上所述，此時(shí)(除非從執(zhí)行命令產(chǎn)生單元4172提供了執(zhí)行命令)，現(xiàn)實(shí)世界估計(jì)單元4101和圖像產(chǎn)生單元4103都不執(zhí)行其處理。
在步驟S4182中，區(qū)域檢測(cè)單元4171基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101計(jì)算的估計(jì)誤差(提供的區(qū)域識(shí)別信息)檢測(cè)輸入圖像中的關(guān)注像素(在數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)角度的情況下被取為關(guān)注像素的像素)的區(qū)域，并將其檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4172。
注意，步驟S4182中的處理與上述步驟S4105(圖295)中的處理基本相同。
當(dāng)將區(qū)域檢測(cè)單元4171的檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4172，在步驟S4183中，執(zhí)行命令產(chǎn)生單元4172確定檢測(cè)區(qū)域是否是連續(xù)性區(qū)域。注意，步驟S4183中的處理與上述步驟S4106(圖295)中的處理基本相同。
在步驟S4183中，在確定檢測(cè)區(qū)域不是連續(xù)性區(qū)域的情況下，執(zhí)行命令產(chǎn)生單元4172將執(zhí)行命令提供給圖像產(chǎn)生單元4104。圖像產(chǎn)生單元4104然后執(zhí)行步驟S4184中“用于執(zhí)行類型分類適應(yīng)處理的處理”，以產(chǎn)生第一像素(關(guān)注像素(輸入圖像的SD像素)上的HD像素)，并在步驟S4185中向外輸出通過(guò)類型分類適應(yīng)處理產(chǎn)生的第一像素作為輸出圖像。
注意，步驟S4184中的處理與上述步驟S4101(圖295)中的處理基本相同。也就是說(shuō)，圖296中的流程圖是描述步驟S4184中的處理細(xì)節(jié)的流程圖。
相反，在步驟S4183中，在確定檢測(cè)區(qū)域是連續(xù)性區(qū)域的情況下，執(zhí)行命令產(chǎn)生單元4172將執(zhí)行命令提供給現(xiàn)實(shí)世界估計(jì)單元4102，然后，在步驟S4186中，現(xiàn)實(shí)世界估計(jì)單元4102基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)的角度和輸入圖像估計(jì)現(xiàn)實(shí)世界1的信號(hào)。注意，步驟S4186中的處理與上述步驟S4103(圖295)中的處理基本相同。
在步驟S4187中，圖像產(chǎn)生單元4103基于由現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)的現(xiàn)實(shí)世界1的信號(hào)，產(chǎn)生檢測(cè)區(qū)域(即，輸入圖像中的關(guān)注像素(SD像素))中的第二像素(HD像素)，并在步驟S4188中輸出第二像素作為輸出圖像。注意，步驟S4187中的處理與上述步驟S4104(圖295)中的處理基本相同。
當(dāng)將第一像素或第二像素輸出作為輸出圖像(在步驟S4185或步驟S4188的處理后面)時(shí)，在步驟S4189中，確定是否完成對(duì)全部像素的處理，在確定仍未完成對(duì)全部像素的處理的情況下，該處理返回步驟S4181。也就是說(shuō)，重復(fù)步驟S4181到S4189的處理直到完成對(duì)全部像素的處理。
然后，在步驟S4189中，在確定已經(jīng)完成對(duì)全部像素的處理的情況下，該處理結(jié)束。
這樣，在圖301的流程圖的實(shí)例中，在每次產(chǎn)生第一像素(HD像素)和第二像素(HD像素)時(shí)，以像素增量輸出第一像素或第二像素作為輸出圖像。
然而，如上所述，如下的設(shè)置允許在完成對(duì)全部像素的處理后一次輸出全部像素作為輸出圖像，在所述設(shè)置中，在具有圖300所示的結(jié)構(gòu)的信號(hào)處理裝置的最后部分(在圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的下面)還提供了圖像合成單元(未示出)。在該情況下，在步驟S4185和步驟S4188的處理中將像素(第一像素或第二像素)輸出給圖像合成單元而不是向外輸出。然后，在步驟S4189的處理前，增加這樣的處理，其中圖像合成單元合成從圖像產(chǎn)生單元4103提供的像素的像素值和從圖像產(chǎn)生單元4104提供的像素的像素值，并在用于產(chǎn)生輸出圖像的像素的步驟S4189的處理后，增加這樣的處理，其中圖像合成單元輸出全部像素。
接著，將參考圖302到圖303描述第四混合方法。
圖302示出了采用第四混合方法的信號(hào)處理裝置的結(jié)構(gòu)實(shí)例。
在圖302中，對(duì)應(yīng)于采用第三混合方法的信號(hào)處理裝置(圖300)的部分由相應(yīng)的標(biāo)號(hào)表示。
在圖300的結(jié)構(gòu)實(shí)例中(第三混合方法)，從數(shù)據(jù)連續(xù)性檢測(cè)單元4101將區(qū)域識(shí)別信息輸入給區(qū)域檢測(cè)單元4171，但是在圖302所示的結(jié)構(gòu)實(shí)例中(第四混合方法)，從現(xiàn)實(shí)世界估計(jì)單元4102輸出區(qū)域識(shí)別信息并輸入?yún)^(qū)域檢測(cè)單元4171。
其它結(jié)構(gòu)與圖300中基本相同。也就是說(shuō)，采用第四混合方法的信號(hào)處理裝置(圖302中的信號(hào)處理裝置)還包括數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、圖像產(chǎn)生單元4103、圖像產(chǎn)生單元4104、以及連續(xù)性區(qū)域檢測(cè)單元4161(區(qū)域檢測(cè)單元4171和執(zhí)行命令產(chǎn)生單元4172)，其與采用第三混合方法的信號(hào)處理裝置(圖300)具有基本相同的結(jié)構(gòu)和功能。
另外，雖然圖中沒(méi)有示出，如同第三混合方法，可以這樣設(shè)置，其中將例如圖像合成單元設(shè)置在圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的下面，以一次輸出全部像素。
圖303是描述具有圖302所示結(jié)構(gòu)的信號(hào)處理裝置的信號(hào)處理(根據(jù)第四混合方法的信號(hào)處理)的流程圖。
根據(jù)第四混合方法的信號(hào)處理類似于根據(jù)第三混合方法的信號(hào)處理(圖301中的流程圖所示的處理)。因此，將適當(dāng)?shù)厥÷韵嚓P(guān)于第三混合方法的處理的描述，并將參考圖303主要描述不同于根據(jù)第三混合方法的處理的根據(jù)第四混合方法的處理。
注意，這里，如同第三混合方法中的情況，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元4101使用最小二乘法計(jì)算角度(位于現(xiàn)實(shí)世界1(圖1)的信號(hào)的關(guān)注像素上的連續(xù)性方向(空間方向)與作為空間方向中的一個(gè)方向的X方向(平行于傳感器2(圖1)的檢測(cè)元件的預(yù)定一邊的方向)之間的角度)，并輸出計(jì)算的角度作為數(shù)據(jù)連續(xù)性信息。
然而，盡管如上述在第三混合方法中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101將區(qū)域識(shí)別信息(例如估計(jì)誤差)提供給區(qū)域檢測(cè)單元4171，但是在第四混合方法中，現(xiàn)實(shí)世界估計(jì)單元4102將區(qū)域識(shí)別信息(例如估計(jì)誤差(映射誤差))提供給區(qū)域檢測(cè)單元4171。
因此，在第四混合方法中，執(zhí)行步驟S4201的處理作為數(shù)據(jù)連續(xù)性檢測(cè)單元4101的處理。該處理相當(dāng)于在第三混合方法中圖301中步驟S4181的處理。也就是說(shuō)，數(shù)據(jù)連續(xù)性檢測(cè)單元4101基于輸入圖像檢測(cè)對(duì)應(yīng)于連續(xù)性方向的角度，并將檢測(cè)的角度作為數(shù)據(jù)連續(xù)性信息分別提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4103。
另外，在第四混合方法中，執(zhí)行步驟S4202的處理作為現(xiàn)實(shí)世界估計(jì)單元4102在步驟S4202中的處理。該處理相當(dāng)于在第三混合方法中，在圖295的步驟S4182中的處理。也就是說(shuō)，現(xiàn)實(shí)世界估計(jì)單元4102基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)的角度估計(jì)現(xiàn)實(shí)世界1(圖1)的信號(hào)，并計(jì)算估計(jì)的現(xiàn)實(shí)世界1的信號(hào)的估計(jì)誤差，即映射誤差，以及將其作為區(qū)域識(shí)別信息提供給區(qū)域檢測(cè)單元4171。
其它處理與第三混合方法的處理(如圖301所示的處理的相應(yīng)處理)基本相同，因此省略對(duì)其的描述。
接著，將參考圖304和圖305描述第五混合方法。
圖304示出了采用第五混合方法的信號(hào)處理裝置的結(jié)構(gòu)實(shí)例。
在圖304中，對(duì)應(yīng)于采用第三和第四混合方法的信號(hào)處理裝置(圖300和圖302)的部分由相應(yīng)的標(biāo)號(hào)表示。
在圖300所示的結(jié)構(gòu)實(shí)例中(第三混合方法)，將一個(gè)連續(xù)性區(qū)域檢測(cè)單元4161設(shè)置在數(shù)據(jù)連續(xù)性檢測(cè)單元4101的下端和現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4104的上端。
同樣，在圖302所示的結(jié)構(gòu)實(shí)例中(第四混合方法)，將一個(gè)連續(xù)性區(qū)域檢測(cè)單元4161設(shè)置在現(xiàn)實(shí)世界估計(jì)單元4102的下端和圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的上端。
相反，在圖304所示的結(jié)構(gòu)實(shí)例中(第五混合方法)，如第三混合方法，將連續(xù)性區(qū)域檢測(cè)單元4181設(shè)置在數(shù)據(jù)連續(xù)性檢測(cè)單元4101的下端和現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4104的上端。另外，如同第四混合方法，將連續(xù)性區(qū)域檢測(cè)單元4182設(shè)置在現(xiàn)實(shí)世界估計(jì)單元4102的下端和圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的上端。
連續(xù)性區(qū)域檢測(cè)單元4181和4182都與連續(xù)性區(qū)域檢測(cè)單元4161(圖300或圖302)具有基本相同的結(jié)構(gòu)和功能。也就是說(shuō)，區(qū)域檢測(cè)單元4191和區(qū)域檢測(cè)單元4201都與區(qū)域檢測(cè)單元4171具有基本相同的結(jié)構(gòu)和功能。
換句話說(shuō)，第五混合方法是第三混合方法和第四混合方法的組合。
也就是說(shuō)，在第三混合方法和第四混合方法中，基于一個(gè)區(qū)域識(shí)別信息(在第三混合方法的情況中，來(lái)自數(shù)據(jù)連續(xù)性檢測(cè)單元4101的區(qū)域識(shí)別信息，以及在第四混合方法的情況中，來(lái)自現(xiàn)實(shí)世界估計(jì)單元4102的區(qū)域識(shí)別信息)確定輸入圖像的關(guān)注像素是連續(xù)性區(qū)域還是非連續(xù)性區(qū)域。因此，第三混合方法和第四混合方法可能將為非連續(xù)性區(qū)域的區(qū)域檢測(cè)為連續(xù)性區(qū)域。
因此，在第五混合方法中，在基于來(lái)自數(shù)據(jù)連續(xù)性檢測(cè)單元4101的區(qū)域識(shí)別信息(在第五混合方法中將其稱為第一區(qū)域識(shí)別信息)檢測(cè)輸入圖像的關(guān)注像素是連續(xù)性區(qū)域還是非連續(xù)性區(qū)域之后，另外基于來(lái)自現(xiàn)實(shí)世界估計(jì)單元4102的區(qū)域識(shí)別信息(在第五混合方法中將其稱為第二區(qū)域識(shí)別信息)檢測(cè)輸入圖像的關(guān)注像素是連續(xù)性區(qū)域還是非連續(xù)性區(qū)域。
這樣，在第五混合方法中，進(jìn)行兩次區(qū)域檢測(cè)處理，從而對(duì)連續(xù)性區(qū)域的檢測(cè)精確度提高并優(yōu)于第三混合方法和第四混合方法的精確度。另外，在第一混合方法和第二混合方法中，如同在第三混合方法和第四混合方法中，只提供一個(gè)連續(xù)性區(qū)域檢測(cè)單元4105(圖292或圖298)。因此，對(duì)連續(xù)性區(qū)域的檢測(cè)精確度相比于第一混合方法和第二混合方法也提高了。從而，可以實(shí)現(xiàn)輸出比第一到第四混合方法都接近現(xiàn)實(shí)世界1(圖1)的信號(hào)的圖像數(shù)據(jù)。
然而，不變的是，即使第一到第四混合方法使用采用本發(fā)明的圖像產(chǎn)生單元4104，其進(jìn)行常規(guī)圖像處理；以及用于利用數(shù)據(jù)連續(xù)性產(chǎn)生圖像的裝置或程序等(即，數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、以及圖像產(chǎn)生單元4103)。
因此，第一到第四混合方法可以輸出比任何常規(guī)信號(hào)處理裝置更接近現(xiàn)實(shí)世界1(圖1)的信號(hào)的圖像數(shù)據(jù)、或進(jìn)行根據(jù)本發(fā)明具有圖3所示結(jié)構(gòu)的信號(hào)處理。
另一方面，從處理速度方面看，第一到第四混合方法中只需要一次區(qū)域檢測(cè)處理，因此這優(yōu)于第五混合方法，其中進(jìn)行兩次區(qū)域檢測(cè)處理。
因此，用戶(或制造商)等可以選擇性地使用滿足輸入圖像所需質(zhì)量、以及需要的處理時(shí)間(直到輸出輸出圖像的時(shí)間)的混合方法。
注意，圖304中的其它結(jié)構(gòu)與圖300或圖302中的結(jié)構(gòu)基本相同。也就是說(shuō)，采用第五混合方法的信號(hào)處理裝置(圖304)還包括數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、圖像產(chǎn)生單元4103以及圖像產(chǎn)生單元4104，其與采用第三或第四混合方法的信號(hào)處理裝置(圖300或圖302)具有基本相同的結(jié)構(gòu)和功能。
然而，在第五混合方法中，現(xiàn)實(shí)世界估計(jì)單元4102只有在從執(zhí)行命令產(chǎn)生單元4192輸入執(zhí)行命令時(shí)才執(zhí)行其處理，圖像產(chǎn)生單元4103只有在從執(zhí)行命令產(chǎn)生單元4202輸入執(zhí)行命令時(shí)才執(zhí)行其處理，以及圖像產(chǎn)生單元4104只有在從執(zhí)行命令產(chǎn)生單元4192或執(zhí)行命令產(chǎn)生單元4202輸入執(zhí)行命令時(shí)才執(zhí)行其處理。
另外，在第五混合方法中，雖然圖中沒(méi)有示出，如同第三或第四混合方法，可以這樣設(shè)置，其中將例如圖像合成單元設(shè)置在圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104的下端以一次輸出全部像素。
接著將參考圖305的流程圖描述采用第五混合方法(圖304)的信號(hào)處理裝置的信號(hào)處理。
注意，這里，如同第三和第四混合方法，假設(shè)數(shù)據(jù)連續(xù)性檢測(cè)單元4101使用最小二乘法計(jì)算角度(位于現(xiàn)實(shí)世界1(圖1)的信號(hào)的關(guān)注像素上的連續(xù)性方向(空間方向)與作為空間方向中的一個(gè)方向的X方向(平行于傳感器2(圖1)的檢測(cè)元件的預(yù)定一邊的方向)之間的角度)，并輸出計(jì)算的角度作為數(shù)據(jù)連續(xù)性信息。
這里假設(shè)，如同第三混合方法，數(shù)據(jù)連續(xù)性檢測(cè)單元4101將計(jì)算的估計(jì)誤差(最小二乘誤差)與計(jì)算的角度一起輸出作為第一區(qū)域識(shí)別信息。
另外假設(shè)，如同第四混合方法，現(xiàn)實(shí)世界估計(jì)單元4102輸出映射誤差(估計(jì)誤差)作為第二區(qū)域識(shí)別信息。
在圖1中，當(dāng)將現(xiàn)實(shí)世界1的信號(hào)投影到傳感器2上，傳感器2輸出輸入圖像。
在圖304中，將該輸入圖像輸入圖像產(chǎn)生單元4104，并且還輸入數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102、圖像產(chǎn)生單元4103以及圖像產(chǎn)生單元4104。
現(xiàn)在，在圖305的步驟S4221中，數(shù)據(jù)連續(xù)性檢測(cè)單元4101基于輸入圖像檢測(cè)對(duì)應(yīng)于連續(xù)性方向的角度，并計(jì)算其估計(jì)誤差。將檢測(cè)的角度分別提供給現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4103作為數(shù)據(jù)連續(xù)性信息。另外，將計(jì)算的估計(jì)誤差提供給區(qū)域檢測(cè)單元4191作為第一區(qū)域識(shí)別信息。
注意，步驟S4221中的處理與上述步驟S4181(圖301)中的處理基本相同。
另外，如上所述，此時(shí)(除非從執(zhí)行命令產(chǎn)生單元4192提供了執(zhí)行命令)，現(xiàn)實(shí)世界估計(jì)單元4102和圖像產(chǎn)生單元4104都不執(zhí)行其處理。
在步驟S4222中，區(qū)域檢測(cè)單元4191基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101計(jì)算的估計(jì)誤差(提供的第一區(qū)域識(shí)別信息)檢測(cè)輸入圖像中的關(guān)注像素(在數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)角度的情況下被取為關(guān)注像素的像素)的區(qū)域，并將其檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4192。注意，步驟S4222中的處理與上述步驟S4182(圖301)中的處理基本相同。
當(dāng)將區(qū)域檢測(cè)單元4181的檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4192，在步驟S4223中，執(zhí)行命令產(chǎn)生單元4192確定檢測(cè)區(qū)域是否是連續(xù)性區(qū)域。注意，步驟S4223中的處理與上述步驟S4183(圖301)中的處理基本相同。
在步驟S4223中，在確定檢測(cè)區(qū)域不是連續(xù)性區(qū)域(為非連續(xù)性區(qū)域)的情況下，執(zhí)行命令產(chǎn)生單元4192將執(zhí)行命令提供給圖像產(chǎn)生單元4104。圖像產(chǎn)生單元4104然后執(zhí)行步驟S4224中“用于執(zhí)行類型分類適應(yīng)處理的處理”，以產(chǎn)生第一像素(關(guān)注像素(輸入圖像的SD像素)上的HD像素)，并在步驟S4225中向外輸出通過(guò)類型分類適應(yīng)處理產(chǎn)生的第一像素作為輸出圖像。
注意，步驟S4224中的處理與上述步驟S4184(圖301)中的處理基本相同。也就是說(shuō)，圖296中的流程圖是描述步驟S4184中的處理細(xì)節(jié)的流程圖。步驟S4225中的處理與上述步驟S4185(圖301)中的處理基本相同。
相反，在步驟S4223中，在確定檢測(cè)區(qū)域是連續(xù)性區(qū)域的情況下，執(zhí)行命令產(chǎn)生單元4192將執(zhí)行命令提供給現(xiàn)實(shí)世界估計(jì)單元4102，然后，在步驟S4226中，現(xiàn)實(shí)世界估計(jì)單元4102基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)的角度和在步驟S4221中的輸入圖像估計(jì)現(xiàn)實(shí)世界1的信號(hào)，并還計(jì)算其估計(jì)誤差(映射誤差)。將估計(jì)的現(xiàn)實(shí)世界1的信號(hào)提供給圖像產(chǎn)生單元4103作為現(xiàn)實(shí)世界估計(jì)信息。另外，將計(jì)算的估計(jì)誤差提供給區(qū)域檢測(cè)單元4201作為第二區(qū)域識(shí)別信息。
注意，步驟S4226中的處理與上述步驟S4202(圖303)中的處理基本相同。
另外，如上所述，此時(shí)(除非從執(zhí)行命令產(chǎn)生單元4192或從執(zhí)行命令產(chǎn)生單元4202提供了執(zhí)行命令)，圖像產(chǎn)生單元4103和圖像產(chǎn)生單元4104都不執(zhí)行其處理。
在步驟S4227中，區(qū)域檢測(cè)單元4201基于由數(shù)據(jù)連續(xù)性檢測(cè)單元4101計(jì)算的估計(jì)誤差(提供的第二區(qū)域識(shí)別信息)檢測(cè)輸入圖像中的關(guān)注像素(在數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)角度的情況下被取為關(guān)注像素的像素)的區(qū)域，并將其檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4202。注意，步驟S4227中的處理與上述步驟S4203(圖303)中的處理基本相同。
當(dāng)將區(qū)域檢測(cè)單元4201的檢測(cè)結(jié)果提供給執(zhí)行命令產(chǎn)生單元4202時(shí)，在步驟S4228中，執(zhí)行命令產(chǎn)生單元4202確定檢測(cè)區(qū)域是否是連續(xù)性區(qū)域。注意，步驟S4228中的處理與上述步驟S4204(圖303)中的處理基本相同。
在步驟S4228中，在確定檢測(cè)區(qū)域不是連續(xù)性區(qū)域(為非連續(xù)性區(qū)域)的情況下，執(zhí)行命令產(chǎn)生單元4202將執(zhí)行命令提供給圖像產(chǎn)生單元4104。圖像產(chǎn)生單元4104然后執(zhí)行步驟S4224中“用于執(zhí)行類型分類適應(yīng)處理的處理”，以產(chǎn)生第一像素(關(guān)注像素(輸入圖像的SD像素)上的HD像素)，并在步驟S4225中向外輸出通過(guò)類型分類適應(yīng)處理產(chǎn)生的第一像素作為輸出圖像。
注意，步驟S4224中的處理與上述步驟S4205(圖303)中的處理基本相同。另外，步驟S4225中的處理與上述步驟S4206(圖303)中的處理基本相同。
相反，在步驟S4228中，在確定檢測(cè)區(qū)域是連續(xù)性區(qū)域的情況下，執(zhí)行命令產(chǎn)生單元4202將執(zhí)行命令提供給圖像產(chǎn)生單元4103。在步驟S4229中，圖像產(chǎn)生單元4103基于由現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)的現(xiàn)實(shí)世界1的信號(hào)(如果需要，以及來(lái)自數(shù)據(jù)連續(xù)性檢測(cè)單元4101的數(shù)據(jù)連續(xù)性信號(hào))，產(chǎn)生由區(qū)域檢測(cè)單元4201檢測(cè)的區(qū)域(即輸入圖像中的關(guān)注像素(SD像素))上的第二像素(HD像素)。然后，在步驟S4230中，圖像產(chǎn)生單元4103向外輸出產(chǎn)生的第二像素作為輸出圖像。
注意，步驟S4229和步驟S4230中的處理與上述步驟S4207和S4208(圖303)中的處理基本相同。
當(dāng)將第一像素和第二像素輸出作為輸出圖像(在步驟S4225或步驟S4230的處理后)，在步驟S4231中，確定是否完成對(duì)全部像素的處理，在仍未完成對(duì)全部像素的處理的情況下，該處理返回步驟S4221。也就是說(shuō)，重復(fù)步驟S4221到S4231的處理直到完成對(duì)全部像素的處理。
然后，在步驟S4231，在確定已經(jīng)完成對(duì)全部像素的處理的情況下，該處理結(jié)束。
上文參考圖292到圖305描述了混合方法作為根據(jù)本發(fā)明的信號(hào)處理裝置4(圖1)的實(shí)施例的實(shí)例。
如上所述，在混合方法中，還在具有如圖3所示結(jié)構(gòu)的根據(jù)本發(fā)明的信號(hào)處理裝置中添加了其它裝置(或程序等)，其不利用連續(xù)性進(jìn)行處理。
換句話說(shuō)，在混合方法中，將具有如圖3所示結(jié)構(gòu)的根據(jù)本發(fā)明的信號(hào)處理裝置(或程序等)添加到常規(guī)信號(hào)處理裝置(或程序等)中。
也就是說(shuō)，在混合方法中，例如如圖292或圖298所示的連續(xù)性區(qū)域檢測(cè)單元4105檢測(cè)圖像數(shù)據(jù)中具有圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性的數(shù)據(jù)區(qū)域(例如，在圖295的步驟S4106中、或圖299的步驟S4166所述的連續(xù)性區(qū)域)，在所述圖像數(shù)據(jù)中，已經(jīng)投影了現(xiàn)實(shí)世界1的光信號(hào)，并已經(jīng)丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性(例如，圖292或圖298中的輸入圖像)。
另外，如圖292和圖298所示的現(xiàn)實(shí)世界估計(jì)單元4102基于圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，通過(guò)模擬現(xiàn)實(shí)世界1的光信號(hào)的丟失的連續(xù)性而估計(jì)光信號(hào)，所述圖像數(shù)據(jù)已經(jīng)丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性。
另外，如圖292和圖298所示的數(shù)據(jù)連續(xù)性檢測(cè)單元4101檢測(cè)圖像數(shù)據(jù)中的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性相對(duì)于參考軸角度(例如，在圖295的步驟S4102和圖299的步驟S4162中所述的角度)，在所述圖像數(shù)據(jù)中已經(jīng)投影了現(xiàn)實(shí)世界1的光信號(hào)，并且丟失了現(xiàn)實(shí)世界1的光信號(hào)的部分連續(xù)性。在該情況下，例如，圖292和圖298所示的連續(xù)性區(qū)域檢測(cè)單元4105基于角度檢測(cè)圖像數(shù)據(jù)中具有數(shù)據(jù)連續(xù)性的區(qū)域，以及現(xiàn)實(shí)世界估計(jì)單元4102通過(guò)對(duì)所述區(qū)域估計(jì)已經(jīng)丟失的現(xiàn)實(shí)世界1的光信號(hào)的連續(xù)性而估計(jì)光信號(hào)。
然而，在圖292中，連續(xù)性區(qū)域檢測(cè)單元4105基于在具有隨角度變化的連續(xù)性的模型與輸入圖像之間的誤差，檢測(cè)輸入圖像中具有數(shù)據(jù)連續(xù)性的區(qū)域(也就是說(shuō)，估計(jì)誤差是圖中的區(qū)域識(shí)別信息，其通過(guò)圖295的步驟S4102的處理計(jì)算)。
相反，在圖298中，將連續(xù)性區(qū)域檢測(cè)單元4105設(shè)置在現(xiàn)實(shí)世界估計(jì)單元4102的下端，并基于在對(duì)應(yīng)于由現(xiàn)實(shí)世界估計(jì)單元4102計(jì)算的輸入圖像表示現(xiàn)實(shí)世界1的光信號(hào)的現(xiàn)實(shí)世界模型與輸入圖像之間的誤差(即通過(guò)在圖295的步驟S4163中的處理計(jì)算的現(xiàn)實(shí)世界信號(hào)的估計(jì)誤差(映射誤差)，其例如為圖中的區(qū)域識(shí)別信息)，選擇性地輸出(例如，圖298中的選擇器4112執(zhí)行圖299中的步驟S4166到S4168的處理)由現(xiàn)實(shí)世界估計(jì)單元4102估計(jì)的現(xiàn)實(shí)世界模型，即，從圖像產(chǎn)生單元4103輸出圖像。
盡管上面描述了圖292和圖298的實(shí)例，但是圖300、圖302以及圖304也是同樣的。
因此，在混合方法中，對(duì)應(yīng)于具有圖3所示結(jié)構(gòu)的信號(hào)處理裝置的裝置(或程序等)對(duì)現(xiàn)實(shí)世界1的信號(hào)中存在連續(xù)性的部分(具有數(shù)據(jù)連續(xù)性的圖像數(shù)據(jù)的區(qū)域)執(zhí)行信號(hào)處理，而常規(guī)信號(hào)處理裝置(或程序等)可以對(duì)現(xiàn)實(shí)世界1的信號(hào)中不存在顯著連續(xù)性的部分執(zhí)行信號(hào)處理。從而，可以實(shí)現(xiàn)比常規(guī)信號(hào)處理裝置和具有圖3所示結(jié)構(gòu)的根據(jù)本發(fā)明的信號(hào)處理都輸出更接近現(xiàn)實(shí)世界(圖1)的信號(hào)的圖像數(shù)據(jù)。
接著，將參考圖306和圖307描述從數(shù)據(jù)連續(xù)性檢測(cè)單元101直接產(chǎn)生圖像的實(shí)例。
圖306所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101是圖165中所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101加上圖像產(chǎn)生單元4501。圖像產(chǎn)生單元4501獲取從現(xiàn)實(shí)世界估計(jì)單元802輸出的現(xiàn)實(shí)世界模擬函數(shù)f(x)的系數(shù)作為現(xiàn)實(shí)世界估計(jì)信息，并通過(guò)基于該系數(shù)再積分每個(gè)像素而產(chǎn)生并輸出圖像。
接著，將參考圖307中的流程圖描述圖306中的數(shù)據(jù)連續(xù)性檢測(cè)處理。注意，圖307的流程圖中的步驟S4501到S4504和步驟S4506到S4511的處理與圖166的步驟S801到S810中的處理相同，因此省略對(duì)其的描述。
在步驟S4504中，圖像產(chǎn)生單元4501基于從現(xiàn)實(shí)世界估計(jì)單元802輸入的系數(shù)再積分每個(gè)像素，并產(chǎn)生和輸出圖像。
由于上述處理，數(shù)據(jù)連續(xù)性檢測(cè)單元101不僅可以輸出區(qū)域信息還可以輸出用于區(qū)域確定的圖像(由基于現(xiàn)實(shí)世界估計(jì)信息產(chǎn)生的像素構(gòu)成)。
從而，在圖306所示的數(shù)據(jù)連續(xù)性檢測(cè)單元101中，提供了圖像產(chǎn)生單元4501。也就是說(shuō)，圖306中的數(shù)據(jù)連續(xù)性檢測(cè)單元101可以基于輸入圖像的數(shù)據(jù)連續(xù)性產(chǎn)生輸出圖像。因此，可以將具有如圖306所示結(jié)構(gòu)的裝置解釋為圖1所示的信號(hào)處理裝置(圖像處理裝置)4的另一實(shí)施例，而不是數(shù)據(jù)連續(xù)性檢測(cè)單元101的一個(gè)實(shí)施例。
另外，在應(yīng)用上述混合方法的信號(hào)處理裝置中，可以將具有如圖306所示結(jié)構(gòu)的裝置(即，與圖306中的數(shù)據(jù)連續(xù)性檢測(cè)單元101具有相同功能和結(jié)構(gòu)的信號(hào)處理裝置)應(yīng)用為信號(hào)處理單元，用于對(duì)現(xiàn)實(shí)世界1的信號(hào)中存在連續(xù)性的部分進(jìn)行信號(hào)處理。
尤其是，例如，在應(yīng)用圖292中采用第一混合方法的信號(hào)處理裝置的情況下，對(duì)現(xiàn)實(shí)世界1的信號(hào)中存在連續(xù)性的部分進(jìn)行信號(hào)處理的單元是數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102以及圖像產(chǎn)生單元4103。盡管圖中沒(méi)有示出，可以采用具有圖306所示結(jié)構(gòu)的信號(hào)處理裝置(圖像處理裝置)代替上述數(shù)據(jù)連續(xù)性檢測(cè)單元4101、現(xiàn)實(shí)世界估計(jì)單元4102以及圖像產(chǎn)生單元4103。在該情況下，圖306中的比較單元804將其輸出作為區(qū)域識(shí)別信息提供給區(qū)域檢測(cè)單元4111，并且圖像產(chǎn)生單元4501將輸出圖像(第二像素)提供給選擇器4112。
注意，傳感器2可以是例如固態(tài)成像裝置的傳感器，例如BBD(戽鏈?zhǔn)窖b置)、CID(電荷注入裝置)、或CPD(電荷填充裝置)等。
從而，圖像處理裝置可以包括區(qū)域選擇裝置，用于選擇對(duì)應(yīng)于關(guān)注像素的區(qū)域，所述關(guān)注像素是在由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)中的關(guān)注像素，所述像素通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件上而獲取，并其上已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性；存儲(chǔ)檢測(cè)裝置，用于根據(jù)關(guān)注像素的像素值與屬于由區(qū)域選擇裝置選擇的區(qū)域的像素的像素值的相關(guān)值，檢測(cè)對(duì)應(yīng)于屬于該區(qū)域的像素的分?jǐn)?shù)，并還將分?jǐn)?shù)設(shè)置給每個(gè)像素；連續(xù)性檢測(cè)裝置，用于通過(guò)基于由分?jǐn)?shù)檢測(cè)裝置檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，而檢測(cè)圖像數(shù)據(jù)的對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界光信號(hào)連續(xù)性的數(shù)據(jù)連續(xù)性；以及現(xiàn)實(shí)世界估計(jì)裝置，用于基于由連續(xù)性檢測(cè)裝置檢測(cè)的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，通過(guò)估計(jì)已經(jīng)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)。
可以這樣設(shè)置，其中連續(xù)性檢測(cè)裝置基于由分?jǐn)?shù)檢測(cè)裝置檢測(cè)的分?jǐn)?shù)檢測(cè)回歸線，并基于回歸線檢測(cè)對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界光信號(hào)連續(xù)性的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性的相對(duì)于參考軸的角度，以及，現(xiàn)實(shí)世界估計(jì)裝置基于圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性的相對(duì)于參考軸的角度，通過(guò)估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)連續(xù)性而估計(jì)光信號(hào)。
可以這樣設(shè)置，其中連續(xù)性檢測(cè)裝置基于估計(jì)誤差相對(duì)于回歸線和分?jǐn)?shù)的標(biāo)準(zhǔn)微分而檢測(cè)具有數(shù)據(jù)連續(xù)性的區(qū)域，以及，現(xiàn)實(shí)世界估計(jì)裝置基于由連續(xù)性檢測(cè)裝置檢測(cè)的具有數(shù)據(jù)連續(xù)性的區(qū)域，產(chǎn)生模擬表示現(xiàn)實(shí)世界的光信號(hào)的第一函數(shù)的第二函數(shù)。
圖像處理裝置可以包括角度檢測(cè)裝置，用于檢測(cè)由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度，從所述像素已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，其中通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件上而獲得圖像數(shù)據(jù)；以及現(xiàn)實(shí)世界估計(jì)裝置，用于基于由角度檢測(cè)裝置檢測(cè)的角度，通過(guò)模擬丟失的現(xiàn)實(shí)世界光信號(hào)而模擬光信號(hào)。
角度檢測(cè)裝置可以包括像素選取裝置，用于基于圖像數(shù)據(jù)中的關(guān)注像素和參考軸選取相對(duì)于多個(gè)角度中的每個(gè)角度的由預(yù)定個(gè)數(shù)的像素構(gòu)成的多組像素；以及相關(guān)值檢測(cè)裝置，用于檢測(cè)由像素選取裝置選取的每個(gè)角度的多個(gè)組的相應(yīng)位置上的像素之間的像素值的相關(guān)值；從而，基于由相關(guān)值檢測(cè)裝置檢測(cè)的相關(guān)值，檢測(cè)出圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度，其對(duì)應(yīng)于給出的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性。
像素選取裝置可以基于圖像數(shù)據(jù)的關(guān)注像素和參考軸，選取多組像素，所述像素組由以每個(gè)角度的模擬直線中的一個(gè)像素為中心、相對(duì)于圖像數(shù)據(jù)的垂直方向或水平方向上成的多個(gè)像素構(gòu)成；以及相關(guān)值檢測(cè)裝置基于圖像數(shù)據(jù)中的關(guān)注像素和參考軸，可以檢測(cè)在選取的以具有預(yù)定角度的模擬直線上的像素為中心的多組的相應(yīng)位置的像素之間的像素值的相關(guān)值。
像素選取裝置可以基于圖像數(shù)據(jù)的關(guān)注像素和參考軸，選取對(duì)應(yīng)于由對(duì)應(yīng)角度范圍的個(gè)數(shù)的像素構(gòu)成的角度范圍的個(gè)數(shù)的像素組，其位于圖像數(shù)據(jù)的垂直方向或水平方向，以每個(gè)角度的模擬直線上的像素為中心。
像素選取裝置可以從圖像數(shù)據(jù)檢測(cè)垂直方向和水平方向活度，并根據(jù)檢測(cè)的活度，基于圖像數(shù)據(jù)的關(guān)注像素和參考軸，選取位于圖像數(shù)據(jù)中垂直方向或水平方向的多個(gè)像素構(gòu)成的多個(gè)像素組，其以每個(gè)角度的模擬直線上的像素為中心。
圖像處理裝置基于由相關(guān)值檢測(cè)裝置檢測(cè)的相關(guān)值可以控制角度檢測(cè)裝置或現(xiàn)實(shí)世界估計(jì)裝置的作用。
像素選取裝置可以基于圖像數(shù)據(jù)中的關(guān)注像素和參考軸選取以預(yù)定角度的每個(gè)直線的模擬中的像素為中心的圖像塊；以及，相關(guān)值檢測(cè)裝置可以基于圖像數(shù)據(jù)中的關(guān)注像素和參考軸，檢測(cè)以預(yù)定角度的每個(gè)直線的模擬中的像素為中心的圖像塊的相關(guān)值。
角度檢測(cè)裝置可以包括區(qū)域選擇裝置，用于選擇對(duì)應(yīng)于圖像數(shù)據(jù)中的關(guān)注像素的區(qū)域；以及特征檢測(cè)裝置，用于對(duì)應(yīng)于由區(qū)域選擇裝置選擇的區(qū)域內(nèi)的丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性，檢測(cè)用于檢測(cè)圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性的相對(duì)于參考軸的角度的特征；其中，基于由特征檢測(cè)裝置檢測(cè)的特征統(tǒng)計(jì)地檢測(cè)角度；以及其中，現(xiàn)實(shí)世界估計(jì)裝置基于由角度檢測(cè)裝置檢測(cè)的圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度，通過(guò)估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)。
可以這樣設(shè)置，其中區(qū)域選擇裝置還包括活度檢測(cè)裝置，用于基于圖像數(shù)據(jù)中的關(guān)注像素檢測(cè)相對(duì)于圖像數(shù)據(jù)的垂直方向和水平方向活度，從而根據(jù)由活度檢測(cè)裝置的檢測(cè)結(jié)果選擇圖像數(shù)據(jù)中的處理區(qū)域；特征檢測(cè)裝置還可以包括動(dòng)態(tài)范圍檢測(cè)裝置，用于選擇動(dòng)態(tài)范圍，其為由區(qū)域選擇裝置選擇的區(qū)域中的像素的像素值的最大值和最小值之差；以及垂直檢測(cè)裝置，用于檢測(cè)在對(duì)應(yīng)于由活度檢測(cè)裝置的檢測(cè)結(jié)果的方向上的相鄰像素之間的差值；以及角度檢測(cè)裝置，其可以根據(jù)動(dòng)態(tài)范圍和差值，檢測(cè)圖像數(shù)據(jù)中對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性的數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度。
圖像處理裝置還可以包括混合比值估計(jì)裝置，用于基于由動(dòng)態(tài)范圍檢測(cè)裝置檢測(cè)的區(qū)域中的像素的像素值的最大值和最小值，估計(jì)區(qū)域中的前景對(duì)象分量和背景對(duì)象分量之間的混合比值；以及現(xiàn)實(shí)世界估計(jì)裝置，用于基于由其中已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性的多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，通過(guò)估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)。
圖像處理裝置還可以包括連續(xù)性區(qū)域檢測(cè)裝置，用于檢測(cè)具有由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性的區(qū)域，從所述像素已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性、并通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件上而獲得；以及現(xiàn)實(shí)世界估計(jì)裝置，用于基于由其中已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的連續(xù)性的多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，通過(guò)模擬丟失的現(xiàn)實(shí)世界光信號(hào)而模擬光信號(hào)。
圖像處理裝置還可以包括角度檢測(cè)裝置，用于檢測(cè)圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性相對(duì)于參考軸的角度，其中連續(xù)性區(qū)域檢測(cè)裝置基于該角度檢測(cè)具有圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性的區(qū)域；以及，現(xiàn)實(shí)世界估計(jì)裝置通過(guò)對(duì)區(qū)域估計(jì)丟失的現(xiàn)實(shí)世界光信號(hào)的連續(xù)性而估計(jì)光信號(hào)。
連續(xù)性區(qū)域檢測(cè)裝置可以基于具有沿一個(gè)角度的連續(xù)性的模型與圖像數(shù)據(jù)之間的誤差，檢測(cè)圖像數(shù)據(jù)中具有數(shù)據(jù)連續(xù)性的區(qū)域。
連續(xù)性區(qū)域檢測(cè)裝置可以被設(shè)置在現(xiàn)實(shí)世界估計(jì)裝置的下端，并可以基于模擬由現(xiàn)實(shí)世界估計(jì)裝置產(chǎn)生的表示現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)與圖像數(shù)據(jù)之間的誤差，選擇性地輸出由現(xiàn)實(shí)世界估計(jì)裝置產(chǎn)生的第二函數(shù)。
連續(xù)性區(qū)域檢測(cè)裝置可以檢測(cè)已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的一部分連續(xù)性的圖像數(shù)據(jù)中的多個(gè)像素的像素值的非連續(xù)性部分，從檢測(cè)的非連續(xù)性部分檢測(cè)具有數(shù)據(jù)連續(xù)性的連續(xù)性區(qū)域；以及現(xiàn)實(shí)世界估計(jì)裝置可以基于屬于由連續(xù)性區(qū)域檢測(cè)裝置檢測(cè)的連續(xù)性區(qū)域的像素的像素值再次檢測(cè)該區(qū)域，從而基于再次檢測(cè)的區(qū)域估計(jì)光信號(hào)。
連續(xù)性區(qū)域檢測(cè)裝置可以包括非連續(xù)性檢測(cè)裝置，用于檢測(cè)圖像數(shù)據(jù)中多個(gè)像素的像素值的非連續(xù)性部分；峰值檢測(cè)裝置，用于從非連續(xù)性部分檢測(cè)像素值變化的峰值；單調(diào)增/減區(qū)域檢測(cè)裝置，用于檢測(cè)其中像素值從峰值單調(diào)增加或減小的單調(diào)增/減區(qū)域；以及連續(xù)性檢測(cè)裝置，用于從由單調(diào)增/減區(qū)域檢測(cè)裝置檢測(cè)的單調(diào)增/減區(qū)域檢測(cè)相鄰于另一個(gè)單調(diào)增/減區(qū)域的單調(diào)增/減區(qū)域作為第一圖像數(shù)據(jù)中具有數(shù)據(jù)連續(xù)性的連續(xù)性區(qū)域；其中現(xiàn)實(shí)世界估計(jì)裝置基于屬于由連續(xù)性檢測(cè)裝置檢測(cè)的連續(xù)性區(qū)域的像素的像素值，再次檢測(cè)其中像素值從峰值單調(diào)增大或單調(diào)減小的區(qū)域，其中光信號(hào)基于再次檢測(cè)的區(qū)域而被估計(jì)。
現(xiàn)實(shí)世界估計(jì)裝置可以基于屬于由連續(xù)性檢測(cè)裝置檢測(cè)的連續(xù)性區(qū)域的多個(gè)像素的像素值的回歸的回歸線，再次檢測(cè)其中像素值從峰值單調(diào)增大或單調(diào)減小的區(qū)域，并基于再次檢測(cè)的區(qū)域產(chǎn)生對(duì)應(yīng)于光信號(hào)的信號(hào)。
可以這樣設(shè)置，其中非連續(xù)性檢測(cè)裝置獲得對(duì)應(yīng)于圖像數(shù)據(jù)的多個(gè)像素的像素值的回歸平面，并檢測(cè)由具有這樣的像素值的像素構(gòu)成的區(qū)域作為非連續(xù)性部分，所述像素值離回歸線的距離等于或大于閾值；以及其中，現(xiàn)實(shí)世界估計(jì)裝置檢測(cè)連續(xù)性區(qū)域中的相鄰單調(diào)增/減區(qū)域、檢測(cè)通過(guò)從相鄰單調(diào)增/減區(qū)域的像素的像素值減去由回歸平面表示的模擬值的差值、檢測(cè)相鄰單調(diào)增/減區(qū)域中的相應(yīng)像素間的差值的分量的分配比值、以及對(duì)應(yīng)于分配比值，再次檢測(cè)其中像素值從峰值單調(diào)增大或單調(diào)減小的區(qū)域。
現(xiàn)實(shí)世界估計(jì)裝置可以產(chǎn)生模擬表示現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)的第二函數(shù)，以及圖像處理裝置還可以包括圖像形成裝置，用于基于第二函數(shù)產(chǎn)生圖像數(shù)據(jù)。
圖像處理裝置可以包括圖像數(shù)據(jù)連續(xù)性檢測(cè)裝置，用于檢測(cè)由多個(gè)像素構(gòu)成的第一圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，在所述多個(gè)像素中已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，其中通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)裝置上而獲得圖像數(shù)據(jù)；現(xiàn)實(shí)世界估計(jì)裝置，用于基于表示對(duì)應(yīng)數(shù)據(jù)連續(xù)性的現(xiàn)實(shí)世界光信號(hào)的波形的模型，從第一圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性產(chǎn)生模擬現(xiàn)實(shí)世界光信號(hào)的波形的信號(hào)；以及圖像形成裝置，用于將由現(xiàn)實(shí)世界估計(jì)裝置產(chǎn)生的信號(hào)轉(zhuǎn)換成第二圖像數(shù)據(jù)。
現(xiàn)實(shí)世界估計(jì)裝置可以基于如下直線的梯度估計(jì)現(xiàn)實(shí)世界中的細(xì)線的線寬，所述直線連接第一區(qū)域的重心和第二區(qū)域的重心、或第三區(qū)域的重心和第四區(qū)域的重心，以及其中第一區(qū)域和第二區(qū)域、或第三區(qū)域和第四區(qū)域重疊的重疊區(qū)域，相對(duì)于第一區(qū)域的水平連續(xù)相鄰設(shè)置，所述第一區(qū)域由多個(gè)像素的垂直方向的陣列構(gòu)成，所述像素通過(guò)將由圖像數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的細(xì)線的光信號(hào)投影到多個(gè)檢測(cè)元件上獲取，以及由多個(gè)其它像素的垂直方向陣列構(gòu)成的第二區(qū)域；或者第三區(qū)域的垂直連續(xù)相鄰設(shè)置，所述第三區(qū)域由多個(gè)像素的水平方向的陣列構(gòu)成，所述像素通過(guò)將由圖像數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的細(xì)線的光信號(hào)投影到多個(gè)檢測(cè)元件上獲取，以及由多個(gè)其它像素的水平方向陣列構(gòu)成的第四區(qū)域；從而從第一圖像數(shù)據(jù)中的像素的像素值估計(jì)細(xì)線的光信號(hào)的水平，所述細(xì)線在空間上小于每個(gè)檢測(cè)元件的感光面，所述檢測(cè)元件具有時(shí)間空間積分效應(yīng)，其上已經(jīng)被投影了現(xiàn)實(shí)世界光信號(hào)。
現(xiàn)實(shí)世界估計(jì)裝置可以基于通過(guò)從第一區(qū)域或第三區(qū)域中的第一像素的像素值中減去相鄰于第一像素的第二像素的像素值、以及基于第一區(qū)域或第三區(qū)域的第一像素內(nèi)的細(xì)線的面積，估計(jì)細(xì)線光信號(hào)的水平。
圖像數(shù)據(jù)連續(xù)性檢測(cè)裝置可以獲得對(duì)應(yīng)于第一圖像數(shù)據(jù)中的多個(gè)像素的像素值的回歸平面，檢測(cè)由具有這樣的像素值的像素構(gòu)成的區(qū)域，所述像素值離回歸平面的距離等于或大于閾值，以及，現(xiàn)實(shí)世界估計(jì)裝置基于通過(guò)從第一區(qū)域或第三區(qū)域中的第一像素的像素值中減去由回歸平面模擬的值、以及基于第一區(qū)域或第三區(qū)域的第一像素內(nèi)的細(xì)線的面積，估計(jì)細(xì)線光信號(hào)的水平。
圖像處理裝置可以包括數(shù)據(jù)連續(xù)性檢測(cè)裝置，用于檢測(cè)由多個(gè)像素構(gòu)成的第一圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性，所述像素已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性，并且所述像素通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件上而獲得；現(xiàn)實(shí)世界估計(jì)裝置，用于對(duì)應(yīng)于由數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的數(shù)據(jù)連續(xù)性，檢測(cè)表示現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)所具有的現(xiàn)實(shí)世界的特征；以及圖像產(chǎn)生裝置，用于基于由現(xiàn)實(shí)世界估計(jì)裝置檢測(cè)的現(xiàn)實(shí)世界特征預(yù)測(cè)和產(chǎn)生比第一圖像數(shù)據(jù)具有更高質(zhì)量的第二圖像數(shù)據(jù)。
現(xiàn)實(shí)世界估計(jì)裝置可以在如下假設(shè)下利用預(yù)定第二函數(shù)模擬第一函數(shù)，假設(shè)在至少一維方向上離對(duì)應(yīng)于由連續(xù)性檢測(cè)裝置檢測(cè)的數(shù)據(jù)連續(xù)性的參考點(diǎn)對(duì)應(yīng)預(yù)定距離的像素的像素值是通過(guò)在至少一維方向上的積分效應(yīng)獲取的像素值，從而檢測(cè)作為預(yù)定像素中的第二函數(shù)的梯度的像素內(nèi)梯度作為現(xiàn)實(shí)世界特征。
圖像產(chǎn)生裝置可以包括圖像預(yù)測(cè)裝置，用于從位于第二圖像數(shù)據(jù)中的關(guān)注像素周圍的、其中已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的連續(xù)性的第一圖像數(shù)據(jù)中的多個(gè)像素的像素值預(yù)測(cè)關(guān)注像素的像素值；校正項(xiàng)預(yù)測(cè)裝置，用于預(yù)測(cè)校正項(xiàng)，所述校正項(xiàng)用于從由現(xiàn)實(shí)世界估計(jì)裝置檢測(cè)的現(xiàn)實(shí)世界特征校正由圖像預(yù)測(cè)裝置預(yù)測(cè)的關(guān)注像素的像素值；以及校正裝置，用于利用由校正項(xiàng)預(yù)測(cè)裝置預(yù)測(cè)的校正項(xiàng)校正由圖像預(yù)測(cè)裝置預(yù)測(cè)的關(guān)注像素的像素值。
圖像處理裝置可以包括第一學(xué)習(xí)裝置，用于通過(guò)學(xué)習(xí)確定第一系數(shù)，所述系數(shù)在預(yù)測(cè)關(guān)注像素的像素值時(shí)用于圖像預(yù)測(cè)裝置中；以及第二學(xué)習(xí)裝置，用于通過(guò)學(xué)習(xí)而確定第二系數(shù)，所述第二系數(shù)用于校正項(xiàng)預(yù)測(cè)裝置中，所述裝置用于預(yù)測(cè)校正項(xiàng)，所述校正項(xiàng)用于校正由圖像預(yù)測(cè)裝置預(yù)測(cè)的關(guān)注像素的像素值。
第一學(xué)習(xí)裝置可以包括下降轉(zhuǎn)換裝置，用于下降轉(zhuǎn)換學(xué)習(xí)圖像數(shù)據(jù)；以及第一系數(shù)產(chǎn)生裝置，用于以學(xué)習(xí)圖像數(shù)據(jù)為第一老師圖像、以由下降轉(zhuǎn)換裝置下降轉(zhuǎn)換的學(xué)習(xí)圖像數(shù)據(jù)作為第一學(xué)生數(shù)據(jù)，通過(guò)學(xué)習(xí)第一老師圖像和第一學(xué)生圖像之間的關(guān)系而產(chǎn)生第一系數(shù)。
第一學(xué)習(xí)裝置還可以包括學(xué)習(xí)圖像預(yù)測(cè)裝置，用于利用由第一系數(shù)產(chǎn)生裝置產(chǎn)生的第一系數(shù)產(chǎn)生用于從第一學(xué)生圖像預(yù)測(cè)第一老師圖像的圖像數(shù)據(jù)。
第二學(xué)習(xí)裝置可以包括學(xué)生圖像產(chǎn)生裝置，用于檢測(cè)圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性，所述圖像數(shù)據(jù)在產(chǎn)生第一系數(shù)時(shí)由第一系數(shù)產(chǎn)生裝置用作第一學(xué)生圖像、基于檢測(cè)的數(shù)據(jù)連續(xù)性，檢測(cè)對(duì)應(yīng)于構(gòu)成第一學(xué)生圖像的每個(gè)像素的現(xiàn)實(shí)世界特征、以及產(chǎn)生取對(duì)應(yīng)于檢測(cè)的現(xiàn)實(shí)世界特征為像素值的圖像數(shù)據(jù)作為第二學(xué)生圖像；老師圖像產(chǎn)生裝置，用于產(chǎn)生在產(chǎn)生第一系數(shù)時(shí)由第一系數(shù)產(chǎn)生裝置用作第一老師圖像的圖像數(shù)據(jù)與預(yù)測(cè)由學(xué)習(xí)圖像預(yù)測(cè)裝置產(chǎn)生的第一老師圖像的圖像數(shù)據(jù)之差構(gòu)成的圖像數(shù)據(jù)；以及第二系數(shù)產(chǎn)生裝置，用于通過(guò)學(xué)習(xí)由老師圖像產(chǎn)生裝置產(chǎn)生的第二老師圖像與由學(xué)生圖像產(chǎn)生裝置產(chǎn)生的第二學(xué)生圖像之間的關(guān)系而產(chǎn)生第二系數(shù)。
圖像處理裝置可以包括數(shù)據(jù)連續(xù)性檢測(cè)裝置，用于檢測(cè)由多個(gè)像素構(gòu)成的圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，所述像素已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性、并通過(guò)將現(xiàn)實(shí)世界光信號(hào)投影到每個(gè)具有時(shí)間空間積分效應(yīng)的多個(gè)檢測(cè)元件上而獲得；以及，現(xiàn)實(shí)世界估計(jì)裝置，用于對(duì)應(yīng)于由圖像數(shù)據(jù)連續(xù)性檢測(cè)裝置檢測(cè)的連續(xù)性，產(chǎn)生對(duì)應(yīng)于時(shí)間空間方向上的相對(duì)于圖像數(shù)據(jù)的關(guān)注像素的一維方向上的位置上的多個(gè)像素的像素值的梯度。
現(xiàn)實(shí)世界估計(jì)裝置可以產(chǎn)生對(duì)模擬對(duì)應(yīng)于相對(duì)關(guān)注像素的一維方向上的位置上的多個(gè)像素的像素值的函數(shù)的微分。
現(xiàn)實(shí)世界估計(jì)裝置可以對(duì)應(yīng)于由連續(xù)性檢測(cè)裝置檢測(cè)的連續(xù)性，產(chǎn)生用于模擬對(duì)應(yīng)于沿一維方向離參考點(diǎn)的距離的每個(gè)像素的像素值的函數(shù)的微分。
現(xiàn)實(shí)世界估計(jì)裝置可以從對(duì)應(yīng)于關(guān)注像素的多個(gè)像素的像素值，檢測(cè)一維方向中的位置上的多個(gè)像素的像素值的梯度。
圖像處理裝置還可以包括像素值產(chǎn)生裝置，用于對(duì)應(yīng)于數(shù)據(jù)連續(xù)性，獲得從圖像數(shù)據(jù)中的關(guān)注像素的中心位置在一維方向上平移的位置上的像素值的梯度，并產(chǎn)生直線在關(guān)注像素中的兩端的值作為比關(guān)注像素具有更高分辨率的像素的像素值，所述關(guān)注像素具有以從關(guān)注像素的中心位置在一維方向上平移的位置為中心的梯度。
用于存儲(chǔ)用于實(shí)施根據(jù)本發(fā)明的信號(hào)處理的程序存儲(chǔ)介質(zhì)不限于封裝介質(zhì)，所述封裝介質(zhì)單獨(dú)地分布在計(jì)算機(jī)中以給用戶提供程序，例如磁盤51(包括軟盤、光盤52(包括CD-ROM(緊湊盤-只讀存儲(chǔ)器))、DVD多功能數(shù)碼光盤)、磁光盤53(包括MD(迷你盤)(注冊(cè)商標(biāo)))、半導(dǎo)體存儲(chǔ)器54等，如圖2所示，其中已經(jīng)記錄了程序；但是還可以由其中記錄程序的ROM22構(gòu)成，或包括在單元28中的硬盤等，將這些預(yù)先設(shè)置入計(jì)算機(jī)而提供給用戶。
注意，可以按需要通過(guò)電纜或無(wú)線通信介質(zhì)，如局域網(wǎng)、互聯(lián)網(wǎng)、數(shù)字衛(wèi)星傳播等、通過(guò)例如路由器、調(diào)制解調(diào)器等將用于執(zhí)行上述一組處理的程序裝入計(jì)算機(jī)。
應(yīng)注意，在本說(shuō)明書中，描述記錄在記錄介質(zhì)中的程序的步驟包括以上述次序?yàn)闀r(shí)間順序?qū)嵤┑奶幚?，顯然，這不限于時(shí)間順序處理，還可以包括平行或單獨(dú)執(zhí)行的處理。
工業(yè)應(yīng)用性 根據(jù)本發(fā)明，投影作為具有第一維的現(xiàn)實(shí)世界信號(hào)的第一信號(hào)，檢測(cè)第二維的第二信號(hào)的對(duì)應(yīng)于丟失的現(xiàn)實(shí)世界信號(hào)的連續(xù)性的數(shù)據(jù)連續(xù)性，所述第二維具有比第一維少的維數(shù)，并且其中丟失了現(xiàn)實(shí)世界信號(hào)的部分連續(xù)性，以及基于檢測(cè)的數(shù)據(jù)連續(xù)性通過(guò)估計(jì)丟失的現(xiàn)實(shí)世界信號(hào)的連續(xù)性估計(jì)第一信號(hào)，從而通過(guò)考慮從其獲取數(shù)據(jù)的現(xiàn)實(shí)世界，而獲得對(duì)現(xiàn)實(shí)世界中的事件的準(zhǔn)確和高精度的處理結(jié)果。
權(quán)利要求
1.一種圖像處理裝置，包括
數(shù)據(jù)連續(xù)性檢測(cè)器，被配置為檢測(cè)由多個(gè)像素構(gòu)成的第一圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，所述多個(gè)像素通過(guò)將現(xiàn)實(shí)世界的光信號(hào)投影到每個(gè)都具有空間時(shí)間積分效應(yīng)的多個(gè)檢測(cè)單元上而獲得，在所述多個(gè)像素中丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性；
現(xiàn)實(shí)世界估計(jì)部件，被配置為檢測(cè)表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)具有的、相應(yīng)于由所述數(shù)據(jù)連續(xù)性檢測(cè)器檢測(cè)出的所述數(shù)據(jù)連續(xù)性的現(xiàn)實(shí)世界特征；及
圖像產(chǎn)生器，被配置為基于由所述現(xiàn)實(shí)世界估計(jì)部件檢測(cè)出的所述現(xiàn)實(shí)世界特征，預(yù)測(cè)并產(chǎn)生具有比所述第一圖像數(shù)據(jù)更高的質(zhì)量的第二圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1的圖像處理裝置，其中所述現(xiàn)實(shí)世界估計(jì)部件被配置為在假設(shè)沿著相應(yīng)于由所述連續(xù)性檢測(cè)器檢測(cè)出的所述數(shù)據(jù)連續(xù)性的至少一維方向距參考點(diǎn)的預(yù)定距離的所述像素的像素值是由在所述至少一維方向上的積分效應(yīng)獲得的像素值的情況下，利用預(yù)定第二函數(shù)模擬所述第一函數(shù)，并檢測(cè)作為在預(yù)定像素內(nèi)所述第二函數(shù)的梯度的幀內(nèi)梯度作為所述現(xiàn)實(shí)世界特征。
3.根據(jù)權(quán)利要求1的圖像處理裝置，其中所述圖像產(chǎn)生器還包括
圖像預(yù)測(cè)器，被配置為從已經(jīng)丟失了現(xiàn)實(shí)世界光信號(hào)的連續(xù)性的所述第一圖像數(shù)據(jù)內(nèi)的、位于所述第二圖像數(shù)據(jù)中的關(guān)注像素的周邊的所述多個(gè)像素的像素值預(yù)測(cè)所述關(guān)注像素的像素值；
項(xiàng)校正預(yù)測(cè)器，被配置為從由所述現(xiàn)實(shí)世界估計(jì)器檢測(cè)出的所述現(xiàn)實(shí)世界特征，預(yù)測(cè)校正由所述圖像預(yù)測(cè)器預(yù)測(cè)的所述關(guān)注像素的像素值的項(xiàng)校正；及
校正器，被配置為利用由所述項(xiàng)校正預(yù)測(cè)器預(yù)測(cè)出的所述項(xiàng)校正來(lái)校正由所述圖像預(yù)測(cè)器預(yù)測(cè)出的所述關(guān)注像素的像素值。
4.根據(jù)權(quán)利要求3的圖像處理裝置，其中所述圖像產(chǎn)生器還包括
第一學(xué)習(xí)部件，被配置為通過(guò)學(xué)習(xí)確定在所述圖像預(yù)測(cè)器預(yù)測(cè)所述關(guān)注像素的像素值的情況下使用的第一系數(shù)；及
第二學(xué)習(xí)部件，被配置為學(xué)習(xí)在所述項(xiàng)校正預(yù)測(cè)器校正由所述圖像預(yù)測(cè)器預(yù)測(cè)的所述關(guān)注像素的像素值的情況下使用的第二系數(shù)。
5.根據(jù)權(quán)利要求4的圖像處理裝置，其中所述第一學(xué)習(xí)部件還包括
下降轉(zhuǎn)換器，被配置為下降轉(zhuǎn)換學(xué)習(xí)圖像數(shù)據(jù)；及
第一系數(shù)產(chǎn)生器，被配置為通過(guò)在假設(shè)所述學(xué)習(xí)圖像數(shù)據(jù)為所述第一老師圖像且由所述下降轉(zhuǎn)換器下降轉(zhuǎn)換后的所述學(xué)習(xí)圖像數(shù)據(jù)為所述第一學(xué)生圖像的情況下學(xué)習(xí)第一老師圖像和第一學(xué)生圖像之間的關(guān)系，產(chǎn)生所述第一系數(shù)。
6.根據(jù)權(quán)利要求5的圖像處理裝置，其中所述第一學(xué)習(xí)部件還包括
學(xué)習(xí)圖像預(yù)測(cè)器，被配置為通過(guò)使用由所述第一系數(shù)產(chǎn)生器產(chǎn)生的所述第一系數(shù)，產(chǎn)生從所述第一學(xué)生數(shù)據(jù)預(yù)測(cè)所述第一老師數(shù)據(jù)的圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6的圖像處理裝置，其中所述第二學(xué)習(xí)部件還包括
學(xué)生圖像產(chǎn)生器，被配置為
在所述第一系數(shù)產(chǎn)生器產(chǎn)生所述第一系數(shù)的情況下，檢測(cè)用作所述第一學(xué)生圖像的圖像數(shù)據(jù)中的數(shù)據(jù)連續(xù)性；
基于所述數(shù)據(jù)連續(xù)性，檢測(cè)相應(yīng)于構(gòu)成所述第一學(xué)生圖像的每個(gè)像素的所述現(xiàn)實(shí)世界特征；及
產(chǎn)生其中像素值相應(yīng)于所述現(xiàn)實(shí)世界特征的圖像數(shù)據(jù)作為第二學(xué)生圖像；
老師圖像產(chǎn)生器，被配置為
產(chǎn)生在所述第一系數(shù)產(chǎn)生器產(chǎn)生所述第一系數(shù)的情況下用作所述第一老師圖像的所述學(xué)習(xí)圖像數(shù)據(jù)；及
產(chǎn)生由預(yù)測(cè)由所述學(xué)習(xí)圖像預(yù)測(cè)器產(chǎn)生的所述第一老師圖像的所述圖像數(shù)據(jù)差構(gòu)成的圖像數(shù)據(jù)作為第二老師圖像；及
第二系數(shù)產(chǎn)生器，被配置為通過(guò)學(xué)習(xí)在由所述老師圖像產(chǎn)生器產(chǎn)生的所述第二老師圖像與由所述學(xué)生圖像產(chǎn)生器產(chǎn)生的所述第二學(xué)生圖像之間的關(guān)系，來(lái)產(chǎn)生所述第二系數(shù)。
8.一種圖像處理方法，包括
檢測(cè)由多個(gè)像素構(gòu)成的第一圖像數(shù)據(jù)的數(shù)據(jù)連續(xù)性，所述多個(gè)像素通過(guò)將現(xiàn)實(shí)世界的光信號(hào)投影到每個(gè)都具有空間時(shí)間積分效應(yīng)的多個(gè)檢測(cè)單元上而獲得，在所述多個(gè)像素中丟失了現(xiàn)實(shí)世界光信號(hào)的部分連續(xù)性；
檢測(cè)表示所述現(xiàn)實(shí)世界光信號(hào)的第一函數(shù)具有的、相應(yīng)于在所述檢測(cè)數(shù)據(jù)連續(xù)性的步驟中檢測(cè)出的所述數(shù)據(jù)連續(xù)性的現(xiàn)實(shí)世界特征；及
基于在所述檢測(cè)現(xiàn)實(shí)世界特征的步驟中檢測(cè)出的所述現(xiàn)實(shí)世界特征，預(yù)測(cè)并產(chǎn)生具有比所述第一圖像數(shù)據(jù)更高的質(zhì)量的第二圖像數(shù)據(jù)。
全文摘要
一種信號(hào)處理裝置、方法及程序。考慮從其獲取數(shù)據(jù)的現(xiàn)實(shí)世界，可以獲得高精度的對(duì)現(xiàn)實(shí)世界的事件的處理結(jié)果。數(shù)據(jù)連續(xù)性檢測(cè)單元(101)檢測(cè)對(duì)應(yīng)于第二維輸入圖像丟失的現(xiàn)實(shí)世界的圖像連續(xù)性的數(shù)據(jù)連續(xù)性，所述第二維輸入圖像是具有第一維的現(xiàn)實(shí)世界中的圖像被投影成的，并小于第一維度，其中丟失了現(xiàn)實(shí)世界圖像的部分連續(xù)性。根據(jù)由數(shù)據(jù)連續(xù)性檢測(cè)單元(101)檢測(cè)的數(shù)據(jù)連續(xù)性，現(xiàn)實(shí)世界估計(jì)單元(102)估計(jì)丟失的現(xiàn)實(shí)世界圖像的連續(xù)性，從而估計(jì)現(xiàn)實(shí)世界圖像。本發(fā)明可以應(yīng)用于用于輸出比輸入圖像具有更高分辨率的輸出圖像的圖像處理裝置。
文檔編號(hào)G06T7/60GK101175166SQ20071015287
公開(kāi)日2008年5月7日 申請(qǐng)日期2004年2月12日 優(yōu)先權(quán)日2003年2月13日
發(fā)明者近藤哲二郎, 石橋淳一, 澤尾貴志, 永野隆浩, 藤原直樹, 三宅徹, 和田成司 申請(qǐng)人:索尼株式會(huì)社