專利名稱：圖像處理裝置及方法、攝影裝置、再生裝置、集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及相機(jī)等攝影裝置。
背景技術(shù)：
近些年，隨著相機(jī)的小型化、輕量化，拍攝者以手持相機(jī)的狀態(tài)來拍攝影像的情況 變得很普遍。并且，也出現(xiàn)拍攝者不以手持相機(jī)而是佩戴在眼鏡、衣服、帽子等來拍攝影像， 即所謂的免提(hands free)拍攝。對(duì)于這樣的利用佩戴在眼鏡、衣服、帽子等的小型相機(jī) 來進(jìn)行的拍攝，使用以往的大且重的相機(jī)時(shí)未成問題的課題就明顯起來。其課題之一是，所 拍攝的影像中存在的影像的晃動(dòng)。越是拍攝者進(jìn)行拍攝的自由度高的、小且輕的相機(jī)，此影 像的晃動(dòng)就越明顯。因此，以往開發(fā)了控制影像的晃動(dòng)或校正影像的晃動(dòng)的技術(shù)。以往的控制影像的晃動(dòng)或校正影像的晃動(dòng)的技術(shù)中，有電子式晃動(dòng)校正方式、 光學(xué)式晃動(dòng)校正方式等。并且，在這些電子式晃動(dòng)校正方式、光學(xué)式晃動(dòng)校正方式等 中，有為了提高控制影像的晃動(dòng)或校正影像的晃動(dòng)的性能而利用加速度傳感器、陀螺儀 (gyroscopic)、傾斜傳感器等各種傳感器來檢測(cè)拍攝時(shí)出現(xiàn)的晃動(dòng)的技術(shù)(例如參照專利 文獻(xiàn)1)。專利文獻(xiàn)1所記載的手抖動(dòng)校正裝置利用裝配在相機(jī)中的傾斜傳感器來取得有關(guān) 晃動(dòng)的傾向的信息。并且，該手抖動(dòng)校正裝置利用所取得的有關(guān)晃動(dòng)的傾向的信息，進(jìn)行用 于檢測(cè)晃動(dòng)量以及晃動(dòng)方向的圖像搜索(匹配)。其結(jié)果，專利文獻(xiàn)1所記載的手抖動(dòng)校正 裝置能夠削減用于檢測(cè)晃動(dòng)量以及晃動(dòng)方向而需要的計(jì)算量。并且，還提出了更加積極地利用從傳感器取得的晃動(dòng)信息，控制映像的晃動(dòng)的技 術(shù)(例如，參照專利文獻(xiàn)2)。專利文獻(xiàn)2所記載的手抖動(dòng)校正裝置通過學(xué)習(xí)以時(shí)間序列輸 入的傳感器數(shù)據(jù)，從而預(yù)測(cè)拍攝的瞬間的晃動(dòng)振動(dòng)。并且，該手抖動(dòng)校正裝置驅(qū)動(dòng)晃動(dòng)校正 透鏡以利用所預(yù)測(cè)出的晃動(dòng)振動(dòng)信息來消除晃動(dòng)振動(dòng)，從而控制晃動(dòng)。其結(jié)果，專利文獻(xiàn) 2所記載的手抖動(dòng)校正裝置，能夠控制與實(shí)際的手抖動(dòng)振動(dòng)的特性(拍攝者的習(xí)慣、裝配在 相機(jī)主體中的可替換透鏡的重量平衡等)對(duì)應(yīng)的晃動(dòng)。專利文獻(xiàn)1 日本特開2006-343652號(hào)公報(bào)專利文獻(xiàn)2 日本特開平7-20547號(hào)公報(bào)然而，專利文獻(xiàn)1以及專利文獻(xiàn)2所記載的手抖動(dòng)校正裝置都設(shè)想的是能夠從傳 感器取得穩(wěn)定的信號(hào)的靜態(tài)的拍攝條件而校正影像的晃動(dòng)。也就是說，專利文獻(xiàn)1以及專 利文獻(xiàn)2所記載的手抖動(dòng)校正裝置，未設(shè)想拍攝者以手持小型輕量的相機(jī)的狀態(tài)或以佩戴 免提相機(jī)的狀態(tài)邊移動(dòng)邊進(jìn)行拍攝的情況。在免提拍攝中，因?yàn)榕臄z者未以手持相機(jī)，因此 拍攝狀態(tài)不穩(wěn)定。并且，又加上，在免提拍攝中，步行所引起的振動(dòng)也被施加到相機(jī)中。在 這樣的拍攝狀態(tài)中，在利用小型價(jià)廉的傳感器的情況下，因?yàn)閼T性噪聲或交叉軸靈敏度等 噪聲會(huì)疊加到來自傳感器的輸出信號(hào)，因此來自傳感器的輸出信號(hào)的可靠性明顯降低。因 此，出現(xiàn)的課題是，在如上所述的來自傳感器的輸出信號(hào)的可靠性低的情況下，憑以往的校 正影像的晃動(dòng)的技術(shù)，不能將來自傳感器的輸出信號(hào)利用于影像的晃動(dòng)的校正。

發(fā)明內(nèi)容
本發(fā)明用于解決上述以往的課題，目的在于提供一種圖像處理裝置等，該圖像處 理裝置能夠計(jì)算用于即使在測(cè)量攝影裝置的運(yùn)動(dòng)的傳感器的精確度低的情況下也能以高 精確度校正大的影像的晃動(dòng)的參數(shù)。為了達(dá)到上述目的，本發(fā)明所涉及的圖像處理裝置，計(jì)算參數(shù)，所述參數(shù)用于調(diào)整 由具備檢測(cè)運(yùn)動(dòng)的傳感器的攝影裝置所拍攝的兩個(gè)以上的圖像間的位置，所述圖像處理裝 置具備圖像取得部，取得由所述攝影裝置所拍攝的圖像；傳感器信息取得部，取得傳感器 信息，所述傳感器信息是在拍攝由所述圖像取得部所取得的圖像時(shí)的所述傳感器的輸出信 號(hào)；限制條件生成部，利用由所述傳感器信息取得部所取得的傳感器信息來生成限制條件， 所述限制條件是在計(jì)算所述參數(shù)時(shí)使所述參數(shù)的值在規(guī)定范圍內(nèi)的限制條件；以及參數(shù)計(jì) 算部，根據(jù)由所述限制條件生成部所生成的限制條件，針對(duì)由所述圖像取得部所取得的圖 像，計(jì)算所述參數(shù)，所述限制條件生成部包括特征向量生成部，生成特征向量，所述特征向 量表示由所述傳感器信息取得部所取得的傳感器信息的特征；以及運(yùn)動(dòng)識(shí)別部，利用所述 特征向量和所述攝影裝置的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)由所述特征向量生成部所生成的特征 向量，識(shí)別所述攝影裝置的運(yùn)動(dòng)，所述關(guān)聯(lián)性是針對(duì)所述特征向量和所述攝影裝置的實(shí)際 的運(yùn)動(dòng)預(yù)先進(jìn)行機(jī)器學(xué)習(xí)(Machinelearning)的結(jié)果所得到的關(guān)聯(lián)性，所述限制條件生成 部，根據(jù)由所述運(yùn)動(dòng)識(shí)別部所識(shí)別的所述攝影裝置的運(yùn)動(dòng)來確定所述規(guī)定范圍，從而生成 所述限制條件。據(jù)此，因?yàn)槟軌蚶冕槍?duì)特征向量和攝影裝置的實(shí)際的運(yùn)動(dòng)預(yù)先進(jìn)行了機(jī)器學(xué)習(xí) 而得到的關(guān)聯(lián)性的信息來識(shí)別攝影裝置的運(yùn)動(dòng)，因此即使來自傳感器的輸出信號(hào)的可靠性 低的情況下，也能夠以高精確度識(shí)別攝影裝置的運(yùn)動(dòng)。并且，因?yàn)槟軌蚶酶鶕?jù)這樣識(shí)別而 得到的攝影裝置的運(yùn)動(dòng)來生成的限制條件，來計(jì)算參數(shù)，因此能夠以高精確度計(jì)算用于調(diào) 整圖像間的位置的參數(shù)。從上述說明可知，本發(fā)明所涉及的圖像處理裝置能夠計(jì)算用于即使在測(cè)量攝影裝 置的運(yùn)動(dòng)的傳感器的精確度低的情況下也能夠以高精確度校正大的影像的晃動(dòng)的參數(shù)。


圖1是表示本發(fā)明的實(shí)施例1所涉及的攝影裝置的功能構(gòu)成的框圖。圖2是表示加速度傳感器以及角速度傳感器的測(cè)量軸的圖。圖3是表示實(shí)施例1所涉及的攝影裝置所具備的圖像處理部103的工作的流程 圖。圖4(a)以及圖4(b)是用于說明AdaBoost的圖。圖5是表示有關(guān)傾斜參數(shù)a的直方圖的一個(gè)例子的圖。圖6是表示由圖像取得部取得的影像數(shù)據(jù)中所包括的圖像的一個(gè)例子的圖。圖7是表示由圖像取得部取得的影像數(shù)據(jù)中所包括的圖像的一個(gè)例子的圖。圖8是表示利用圖7所示的圖像作成的有關(guān)傾斜參數(shù)a的直方圖的一個(gè)例子的 圖。圖9A是表示在時(shí)刻t-Ι拍攝的圖像的一個(gè)例子的圖。圖9B是表示在時(shí)刻t拍攝的圖像的一個(gè)例子的圖。
圖10是用于說明根據(jù)特征點(diǎn)匹配計(jì)算出的平行移動(dòng)量的圖。圖IlA是表示由攝影裝置在時(shí)刻t-Ι拍攝的圖像的一個(gè)例子的圖。圖IlB是表示攝影裝置在時(shí)刻t拍攝的圖像的一個(gè)例子的圖。圖12A是提取了圖IlA所示的特征點(diǎn)的圖。圖12B是提取了圖IlB所示的特征點(diǎn)的圖。圖12C是表示由晃動(dòng)檢測(cè)部不利用限制條件而對(duì)圖12A中的以白三角所示的特征 點(diǎn)進(jìn)行模板匹配(tempalte matching)的情況下的搜索區(qū)域的圖。圖12D是表示由晃動(dòng)檢測(cè)部利用限制條件而對(duì)圖12A中的以白三角所示的特征點(diǎn) 進(jìn)行模板匹配的情況下的搜索區(qū)域的圖。圖13是表示由圖像校正部針對(duì)圖IlB所示的圖像進(jìn)行校正后的結(jié)果的圖像的一 個(gè)例子的圖。圖14是表示本發(fā)明的實(shí)施例2所涉及的攝影裝置的功能構(gòu)成的框圖。圖15是表示第一角速度傳感器以及第二角速度傳感器的測(cè)量軸的一個(gè)例子的 圖。圖16是表示本發(fā)明的實(shí)施例3所涉及的攝影裝置的功能構(gòu)成的框圖。圖17是表示本發(fā)明的實(shí)施例4所涉及的攝影裝置的功能構(gòu)成的框圖。圖18是用于說明在識(shí)別為roll方向無旋轉(zhuǎn)的情況下的傾斜參數(shù)的解的搜索范圍 的圖。圖19是表示本發(fā)明所涉及的集成電路的功能構(gòu)成的框圖。圖20是表示本發(fā)明所涉及的再生裝置的功能構(gòu)成的框圖。符號(hào)說明100、1000、2000、3000 攝影裝置101傳感器部102攝影部103圖像處理部111加速度傳感器112角速度傳感器120 接口部121傳感器信息取得部122圖像取得部130限制條件生成部131特征向量生成部132roll方向分類器133pitch方向分類器134yaw方向分類器140參數(shù)計(jì)算部141傾斜角度檢測(cè)部142晃動(dòng)檢測(cè)部150圖像校正部
7
501、502 人物像503移動(dòng)向量510、520 矩形區(qū)域511、521 區(qū)域1001第一角速度傳感器1002第二角速度傳感器2001方位傳感器3001驅(qū)動(dòng)控制部3002 驅(qū)動(dòng)部3003 活動(dòng)棱鏡(active prism)3004 透鏡3005攝像元件4000集成電路5000再生裝置5001 再生部
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施例。(實(shí)施例1)圖1是表示本發(fā)明的實(shí)施例1所涉及的攝影裝置100的功能構(gòu)成的框圖。如圖1 所示，攝影裝置100具備傳感器部101、攝影部102以及圖像處理部103。傳感器部101由加速度傳感器111和角速度傳感器112構(gòu)成，針對(duì)互相正交的三 個(gè)軸方向(x、y、z軸方向)的加速度和圍繞這三個(gè)軸(roll、pitch、yaw)的角速度，測(cè)量攝 影裝置100自身的運(yùn)動(dòng)。并且，傳感器部101向圖像處理部103輸出該測(cè)量結(jié)果。另外，在本實(shí)施例中，為了說明的方便，將xyz坐標(biāo)系設(shè)定為使攝影裝置100的透 鏡的光軸和ζ軸一致。并且，如圖2所示，將圍繞3個(gè)軸(roll、pitch、yaw)的角速度設(shè)定 為，從原點(diǎn)來看各個(gè)軸的順時(shí)針方向?yàn)檎较蚨鏁r(shí)針方向?yàn)樨?fù)方向。并且，傳感器部101將來自加速度傳感器111以及角速度傳感器112的模擬輸出 信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。也就是說，傳感器部101具備圖中未表示的ADC(Anal0g to Digital Converter 模數(shù)轉(zhuǎn)換器)，向圖像處理部103輸出數(shù)字信號(hào)。另外，在本實(shí)施例中，雖然對(duì) 傳感器部101輸出數(shù)字信號(hào)的情況進(jìn)行說明，但是本發(fā)明所涉及的攝影裝置并不限定于這 樣的攝影裝置。例如，可以由圖像處理部103將由傳感器部101輸出的模擬信號(hào)轉(zhuǎn)換為數(shù) 字信號(hào)。攝影部102由透鏡、攝像元件等構(gòu)成，該攝影部102拍攝被攝體。并且，攝影部102 向圖像處理部103等輸出拍攝了被攝體的圖像。圖像處理部103是由CPU (Central Processing Unit)、存儲(chǔ)器等構(gòu)成的處理部， 該圖像處理部103具備接口部120、限制條件生成部130、參數(shù)計(jì)算部140以及圖像校正部 150。接口部120具備傳感器信息取得部121以及圖像取得部122。傳感器信息取得部121，取得由圖像取得部122所取得的影像數(shù)據(jù)中所包括的兩個(gè)以上的圖像在各自被拍攝 時(shí)的、來自傳感器部101的輸出信號(hào)以作為傳感器信息。圖像取得部122取得包括由攝影 部102拍攝的兩個(gè)以上的圖像的影像數(shù)據(jù)。限制條件生成部130具備特征向量生成部131以及roll方向分類器132、pitch 方向分類器133以及yaw方向分類器134。限制條件生成部130利用由傳感器信息取得部 121所取得的傳感器信息生成限制條件，該限制條件是計(jì)算參數(shù)時(shí)使參數(shù)值在規(guī)定范圍內(nèi) 的限制條件。特征向量生成部131生成特征向量，該特征向量表示由傳感器信息取得部121所 取得的傳感器信息的特征。roll方向分類器132、pitch方向分類器133以及yaw方向分類器134是運(yùn)動(dòng)分 類部的一個(gè)例子，這些分類器利用特征向量和攝影裝置100的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)由 特征向量生成部131生成的特征向量，識(shí)別攝影裝置100的圍繞各個(gè)軸(roll、pitCh、yaw) 的運(yùn)動(dòng)方向。在此，對(duì)于攝影裝置100的圍繞各個(gè)軸的運(yùn)動(dòng)方向的識(shí)別，也包括識(shí)別未向任 何方向運(yùn)動(dòng)的情況。并且，特征向量和攝影裝置100的運(yùn)動(dòng)之間的關(guān)聯(lián)性，是針對(duì)特征向量 和攝影裝置100的實(shí)際的運(yùn)動(dòng)預(yù)先機(jī)器學(xué)習(xí)的結(jié)果所得到的關(guān)聯(lián)性。在此，機(jī)器學(xué)習(xí)是指 計(jì)算機(jī)以多個(gè)樣本數(shù)據(jù)集為對(duì)象進(jìn)行分析，從這些數(shù)據(jù)提取有用的規(guī)則、判斷標(biāo)準(zhǔn)等。參數(shù)計(jì)算部140具備傾斜角度檢測(cè)部141以及晃動(dòng)檢測(cè)部142。參數(shù)計(jì)算部140 利用由圖像取得部122取得的影像數(shù)據(jù)和由限制條件生成部130生成的限制條件，計(jì)算用 于調(diào)整在時(shí)間上相鄰的圖像(以下單稱“相鄰圖像”)之間的位置的參數(shù)。傾斜角度檢測(cè)部141，根據(jù)由限制條件生成部130生成的、使解的值在規(guī)定范圍內(nèi) 的限制條件，從圖像提取表示絕對(duì)水平或絕對(duì)垂直的要素的傾斜，從而計(jì)算圖像的傾斜角 度以作為參數(shù)?；蝿?dòng)檢測(cè)部142，根據(jù)由限制條件生成部130生成的、使解的值在規(guī)定范圍內(nèi)的限 制條件，計(jì)算影像數(shù)據(jù)中包括的在時(shí)間上相鄰的兩個(gè)圖像間的被攝體像的相對(duì)的移動(dòng)量以 作為參數(shù)。圖像校正部150，根據(jù)由參數(shù)計(jì)算部140計(jì)算出的、用于調(diào)整圖像間的位置的參 數(shù)，調(diào)整影像數(shù)據(jù)中包括的相鄰幀間的圖像的位置。其次，說明按上述構(gòu)成的本實(shí)施例所涉及的攝影裝置100的工作。圖3是表示本實(shí)施例所涉及的攝影裝置100所具備的圖像處理部103的工作的流 程圖。首先，圖像取得部122取得由攝影部102生成的影像數(shù)據(jù)(步驟S101)。接著，傳感 器信息取得部121取得在拍攝影像數(shù)據(jù)時(shí)由傳感器部101測(cè)量的傳感器信息(步驟S102)。 具體而言，傳感器信息取得部121取得由加速度傳感器111以及角速度傳感器112測(cè)量的、 各個(gè)軸方向&、7、2軸方向)的加速度以及圍繞各個(gè)軸(roll、pitch、yaw)的角速度(步 驟 S102)。然后，特征向量生成部131利用所取得的傳感器信息進(jìn)行各種運(yùn)算，從而生成表 示傳感器信息的特征的特征向量(步驟S103)。并且，各個(gè)旋轉(zhuǎn)方向的分類器(roll方向分 類器132、pitch方向分類器133以及yaw方向分類器134)，根據(jù)由特征向量生成部131生 成的特征向量，識(shí)別攝影裝置100的各個(gè)旋轉(zhuǎn)方向上的運(yùn)動(dòng)(步驟S104)。并且，限制條件生成部130，利用各個(gè)旋轉(zhuǎn)方向的分類器來識(shí)別的攝影裝置100的各個(gè)旋轉(zhuǎn)方向上的運(yùn)動(dòng)， 來生成限制條件，所述限制條件限定由參數(shù)計(jì)算部140計(jì)算參數(shù)時(shí)成為解的參數(shù)的值的范 圍(步驟S105)。然后，傾斜角度檢測(cè)部141，根據(jù)由限制條件生成部130生成的限制條件，從圖像 提取表示絕對(duì)水平或決定垂直的要素的傾斜，從而計(jì)算圖像的傾斜角度以作為參數(shù)(步 驟S106)。并且，晃動(dòng)檢測(cè)部142，根據(jù)由限制條件生成部130生成的限制條件，計(jì)算影像 數(shù)據(jù)所包括的在時(shí)間上相鄰的兩個(gè)圖像間的被攝體像的相對(duì)的移動(dòng)量以作為參數(shù)(步驟 S107)。最后，圖像校正部150，利用由傾斜角度檢測(cè)部141以及晃動(dòng)檢測(cè)部142計(jì)算出的 參數(shù)，校正由圖像取得部122取得的影像數(shù)據(jù)(步驟S108)。以下，說明圖3所示的各個(gè)步驟中的處理的詳細(xì)情況。首先，說明特征向量生成部 131進(jìn)行的處理(圖3的步驟S103)的詳細(xì)情況。特征向量生成部131，利用由傳感器信息取得部121取得的傳感器信息(三個(gè)軸方 向的加速度以及角速度)，生成表示傳感器信息的特征的特征向量。具體而言，特征向量生 成部131，讀出限制條件生成部130所具備的圖中未表示的緩沖器中按時(shí)間序列存儲(chǔ)的傳 感器信息(由傳感器信息取得部121取得的傳感器信息)，利用所讀出的傳感器信息進(jìn)行規(guī) 定的運(yùn)算。例如，特征向量生成部131進(jìn)行這樣的運(yùn)算，S卩比較在同一時(shí)刻t由加速度傳感 器111測(cè)量的各個(gè)軸方向的加速度的大小，求出在時(shí)刻t-Ι和時(shí)刻t由角速度傳感器112 測(cè)量的roll角速度的差分值等。并且，特征向量生成部131生成按照規(guī)定的規(guī)則(編碼規(guī) 則)對(duì)上述運(yùn)算的結(jié)果進(jìn)行編碼后的由符號(hào)構(gòu)成的特征向量。在此，編碼規(guī)則是指，例如， 進(jìn)行某種運(yùn)算的結(jié)果如果是正的值則賦予1，除此之外賦予-1這樣的規(guī)則。并且，編碼規(guī)則 是指，例如，比較各個(gè)傳感器輸出值之間的值的大小的結(jié)果，對(duì)于其值最大的傳感器的輸出 值賦予1，除此之外的傳感器輸出值都賦予-1這樣的規(guī)則。據(jù)此，特征向量生成部131，利 用緩沖器中存儲(chǔ)的各個(gè)傳感器輸出值進(jìn)行各種各樣的運(yùn)算，并生成作為運(yùn)算結(jié)果的編碼列 即生成特征向量x(i)。另外，本實(shí)施例所涉及的攝影裝置100的編碼規(guī)則，并不限定于上述 的規(guī)則。然后，說明各個(gè)旋轉(zhuǎn)方向的分類器(roll方向分類器132、pitch方向分類器133 以及yaw方向分類器134)進(jìn)行的處理(圖3的步驟S104)的詳細(xì)情況。各個(gè)旋轉(zhuǎn)方向的分類器由根據(jù)稱為AdaBoost的機(jī)器學(xué)習(xí)算法得到的強(qiáng)分類器構(gòu) 成。在此，AdaBoost是Boosting算法的一個(gè)例子，是通過對(duì)性能弱的多個(gè)分類器(弱分類 器)加權(quán)且對(duì)其進(jìn)行組合，從而構(gòu)成一個(gè)性能強(qiáng)的分類器(強(qiáng)分類器)這樣的機(jī)器學(xué)習(xí)的 算法。圖4(a)以及4(b)是用于說明AdaBoost的圖。如圖4(a)所示，在AdaBoost中， 在學(xué)習(xí)時(shí)，首先，學(xué)習(xí)計(jì)算機(jī)取得多個(gè)學(xué)習(xí)數(shù)據(jù)，該多個(gè)學(xué)習(xí)數(shù)據(jù)是特征向量x(i)和取得 該特征向量X(i)時(shí)的攝影裝置100的實(shí)際的運(yùn)動(dòng)y(i)的組合。運(yùn)動(dòng)y(i)是通過將某一 旋轉(zhuǎn)軸在正方向上運(yùn)動(dòng)時(shí)將該旋轉(zhuǎn)軸的運(yùn)動(dòng)設(shè)定為“1”而除此之外則設(shè)定為“_1”這樣的 編碼而得到。在此，利用傳感器信息生成的特征向量x(i)和編碼后的攝影裝置100的運(yùn)動(dòng) y(i)之間一定會(huì)有某種關(guān)聯(lián)性。由此，學(xué)習(xí)計(jì)算機(jī)，對(duì)這樣取得的x(i)和y(i)的多個(gè)組 合，陸續(xù)修改簡(jiǎn)單的假設(shè)(例如，“特征向量χ的第三個(gè)成分是1時(shí)y是1”等)且依次求出每個(gè)假設(shè)的準(zhǔn)確率。并且，學(xué)習(xí)計(jì)算機(jī)將采用了準(zhǔn)確率最高的假設(shè)的分類器決定為弱分類 器。另外，弱分類器的輸出也是其值是“1”或“_1”的符號(hào)。并且，學(xué)習(xí)計(jì)算機(jī)重復(fù)新的弱 分類器的決定工作，該弱分類器的重點(diǎn)放在識(shí)別已決定的弱分類器未能識(shí)別的特征。這樣 的學(xué)習(xí)結(jié)果，學(xué)習(xí)計(jì)算機(jī)生成強(qiáng)分類器，該強(qiáng)分類器由多個(gè)弱分類器和基于各個(gè)弱分類器 的準(zhǔn)確率的各個(gè)弱分類器的權(quán)重構(gòu)成。如圖4(b)所示，通過上述的機(jī)器學(xué)習(xí)所生成的強(qiáng)分類器，在輸入特征向量χ的 情況下，首先對(duì)各個(gè)弱分類器的輸出值加權(quán)相加。具體而言，第i個(gè)弱分類器的輸出值是 ζ (i)，針對(duì)該輸出值的權(quán)重是w (i)的情況下，強(qiáng)分類器根據(jù)下式(1)，計(jì)算評(píng)價(jià)值Z。[數(shù)1]
ηZ = y^w(i)z(i)..... (1)
i=l然后，強(qiáng)分類器，通過將這樣計(jì)算出的評(píng)價(jià)值Z與閾值進(jìn)行比較，從而識(shí)別規(guī)定的 旋轉(zhuǎn)軸是否有在正方向上的運(yùn)動(dòng)。也就是說，強(qiáng)分類器，在學(xué)習(xí)結(jié)束后，能夠根據(jù)特征向量 X和權(quán)重w(i)推定圍繞規(guī)定的軸的旋轉(zhuǎn)方向上的運(yùn)動(dòng)的有無，該特征向量X根據(jù)由傳感器 信息取得部121取得的傳感器信息來生成，該權(quán)重w(i)由學(xué)習(xí)計(jì)算機(jī)來生成。各個(gè)旋轉(zhuǎn)方向的分類器由這樣生成的強(qiáng)分類器構(gòu)成。例如，roll方向分類器132 由識(shí)別圍繞ζ軸的正負(fù)兩個(gè)方向上的運(yùn)動(dòng)的有無的強(qiáng)分類器構(gòu)成。在這兩個(gè)強(qiáng)分類器都識(shí) 別為“無運(yùn)動(dòng)”的情況下，roll方向分類器132識(shí)別為攝影裝置100在roll方向上未運(yùn)動(dòng)。這樣，例如，攝影裝置100在作為產(chǎn)品出貨之前，預(yù)先在工廠等由學(xué)習(xí)加算計(jì)利用 學(xué)習(xí)數(shù)據(jù)生成強(qiáng)分類器，從而使攝影裝置100具備與該攝影裝置100的特征對(duì)應(yīng)的各個(gè)旋 轉(zhuǎn)方向的分類器。并且，學(xué)習(xí)計(jì)算機(jī)利用學(xué)習(xí)數(shù)據(jù)，生成根據(jù)特征向量識(shí)別攝影裝置100的 運(yùn)動(dòng)的強(qiáng)分類器，該學(xué)習(xí)數(shù)據(jù)包括根據(jù)傳感器信息生成的特征向量和攝影裝置100的實(shí)際 的運(yùn)動(dòng)。也就是說，強(qiáng)分類器識(shí)別的是攝影裝置100的運(yùn)動(dòng)而不是圖像的運(yùn)動(dòng)。據(jù)此，本實(shí) 施例所涉及的各個(gè)方向的分類器，比起以被拍攝的圖像的特征量等作為學(xué)習(xí)數(shù)據(jù)來識(shí)別圖 像的運(yùn)動(dòng)，能夠針對(duì)更大的晃動(dòng)以高精確度來識(shí)別運(yùn)動(dòng)。另外，在上述中，是由學(xué)習(xí)計(jì)算機(jī)生成強(qiáng)分類器，但是也可以由攝影裝置100利用 學(xué)習(xí)數(shù)據(jù)生成強(qiáng)分類器。此時(shí)，就會(huì)是攝影裝置100中具備學(xué)習(xí)計(jì)算機(jī)。也就是說，攝影裝 置100會(huì)具備學(xué)習(xí)數(shù)據(jù)取得部，取得學(xué)習(xí)數(shù)據(jù)；以及學(xué)習(xí)部，利用由學(xué)習(xí)數(shù)據(jù)取得部所取 得的學(xué)習(xí)數(shù)據(jù)來生成強(qiáng)分類器。然后，說明限制條件生成部130進(jìn)行的處理(圖3的步驟S105)的詳細(xì)情況。限制條件生成部130利用各個(gè)旋轉(zhuǎn)方向的分類器(roll方向分類器131、pitch方 向分類器132以及yaw方向分類器133)所識(shí)別的攝影裝置100的各個(gè)旋轉(zhuǎn)方向上的運(yùn)動(dòng)， 生成在參數(shù)計(jì)算部140計(jì)算參數(shù)時(shí)限定參數(shù)值的范圍的限制條件。另外，限制條件的具體 例子在后面敘述。然后，說明傾斜角度檢測(cè)部141進(jìn)行的處理(圖3的步驟S106)的詳細(xì)情況。傾斜角度檢測(cè)部141，利用Hough變換等從影像數(shù)據(jù)所包括的各個(gè)圖像中提取表 示垂直或水平的線段的傾斜，以計(jì)算針對(duì)圖像的絕對(duì)水平或絕對(duì)垂直的傾斜角度。一般而言，在Hough變換中，將所提取的x-y坐標(biāo)空間上的直線y = ax+b (在此a，b為實(shí)數(shù))，在a-b參數(shù)空間中表述為b = -ax+y。并且，a_b參數(shù)空間上的點(diǎn)(a，b)中，提 取相交的直線最多的點(diǎn)(a0，b0)以作為最長(zhǎng)的線段的直線參數(shù)。在此，傾斜角度檢測(cè)部141 注目于參數(shù)a、b中的傾斜參數(shù)a，以相交的直線的數(shù)量作為評(píng)價(jià)值針對(duì)傾斜參數(shù)a作成直 方圖。并且，傾斜角度檢測(cè)部141提取評(píng)價(jià)值最高的傾斜參數(shù)a以作為圖像的代表性的線 段的傾斜。圖5是表示有關(guān)傾斜參數(shù)a的直方圖的一個(gè)例子的圖。在圖5所示的直方圖的 情況下，傾斜角度檢測(cè)部141提取評(píng)價(jià)值最高的a = aO以作為圖像的代表性的線段的傾 斜，即作為表示絕對(duì)水平或絕對(duì)垂直的要素的傾斜。在此，利用所提取的傾斜，計(jì)算針對(duì)絕 對(duì)水平或絕對(duì)垂直中的任一個(gè)的圖像的傾斜角度。另外，傾斜角度檢測(cè)部141，例如，以與 士45度對(duì)應(yīng)的傾斜為分界，其傾斜為絕對(duì)值45度以上時(shí)就當(dāng)作針對(duì)絕對(duì)水平的傾斜，其傾 斜不滿絕對(duì)值45度時(shí)則當(dāng)作針對(duì)絕對(duì)垂直的傾斜，來計(jì)算圖像的傾斜角度。也就是說，設(shè) 定world坐標(biāo)系的垂直方向?yàn)镺度的情況下，其傾斜為45度以上時(shí)，傾斜角度檢測(cè)部141 計(jì)算從90度減去該傾斜的角度以作為針對(duì)絕對(duì)水平的傾斜角度。而另一方面，在其傾斜不 滿45度時(shí)，傾斜角度檢測(cè)部141計(jì)算該角度以作為針對(duì)絕對(duì)垂直的傾斜角度。圖6是表示由圖像取得部122所取得的影像數(shù)據(jù)中包括的圖像的一個(gè)例子的圖。 圖6所示的圖像是在圍繞逆時(shí)針方向傾斜了 15度的圖像。在該圖像中，映現(xiàn)在人物的后方 的建筑物的豎方向上的輪廓線是最長(zhǎng)的線段。由此，傾斜角度檢測(cè)部141根據(jù)該輪廓線的 傾斜，計(jì)算針對(duì)絕對(duì)垂直的傾斜角度即15度。另外，在由傾斜角度檢測(cè)部141計(jì)算影像數(shù) 據(jù)中包括的相鄰圖像間的旋轉(zhuǎn)量的情況下，傾斜角度檢測(cè)部141，例如，能夠根據(jù)時(shí)刻t-1 的圖像的傾斜角度和時(shí)刻t的傾斜角度之間的差來計(jì)算旋轉(zhuǎn)量。在上述傾斜角度的計(jì)算中，傾斜角度檢測(cè)部141利用由限制條件生成部130生成 的限制條件。以下，說明由傾斜角度檢測(cè)部141利用的限制條件。攝影裝置100出現(xiàn)的roll方向的運(yùn)動(dòng)是攝影裝置100的圍繞光軸的運(yùn)動(dòng)。因此， 如果在存在roll方向的運(yùn)動(dòng)的狀況下進(jìn)行拍攝，則拍攝到向與攝影裝置100的roll方向 上的運(yùn)動(dòng)相反的方向傾斜的圖像。因此，在roll方向分類器132識(shí)別出roll方向的正方 向上的運(yùn)動(dòng)的情況下，限制條件生成部130生成將傾斜角度的值的范圍限定在負(fù)的角度的 限制條件。另一方面，在roll方向分類器132識(shí)別出roll方向的負(fù)方向上的運(yùn)動(dòng)的情況 下，限制條件生成部130生成將傾斜角度的值的范圍限定在正的角度的限制條件。據(jù)此，傾 斜角度檢測(cè)部141，能夠通過只對(duì)傾斜角度為負(fù)或?yàn)檎膬A斜的范圍搜索解，以提取圖像的 傾斜。利用

具體的例子。圖7是表示由圖像取得部122取得的影像數(shù)據(jù)所包括 的圖像的一個(gè)例子的圖。如圖7所示的圖像是，在攝影裝置100在roll方向的正方向(順 時(shí)針)上旋轉(zhuǎn)后的狀態(tài)下所拍攝的圖像，因此其圖像為逆時(shí)針旋轉(zhuǎn)了的圖像。圖8是表示 利用圖7所示的圖像作成的、有關(guān)傾斜參數(shù)a的直方圖的一個(gè)例子的圖。圖8所示的直方 圖中，a0以及al的評(píng)價(jià)值大致相同。在此，無限制條件的情況下，傾斜角度檢測(cè)部141提 取評(píng)價(jià)值最高的傾斜作為針對(duì)絕對(duì)水平或絕對(duì)垂直的傾斜。但是，考慮到進(jìn)行線段提取處 理時(shí)存在運(yùn)算誤差等，因此在評(píng)價(jià)值的差極小的情況下，傾斜角度檢測(cè)部141單純地提取 評(píng)價(jià)值最高的傾斜，則會(huì)有提取錯(cuò)誤的傾斜的危險(xiǎn)。在此，通過利用將傾斜限定在圖像的傾 斜角度為負(fù)的范圍的限制條件，傾斜角度檢測(cè)部141將解的存在范圍限定在圖8所示的直方圖的a > 0的區(qū)域。通過利用這樣的限制條件來限定解的范圍，傾斜角度檢測(cè)部141提 取al以作為針對(duì)絕對(duì)水平或絕對(duì)垂直的傾斜。也就是說，傾斜角度檢測(cè)部141不提取aO 作為針對(duì)絕對(duì)水平或絕對(duì)垂直的傾斜。如上所述，傾斜角度檢測(cè)部141利用由限制條件生 成部130生成的限制條件來限定解的存在范圍，從而能夠提高求得的解的精確度。并且，傾 斜角度檢測(cè)部141在搜索最大的評(píng)價(jià)值時(shí)，只搜索根據(jù)限制條件限定的解的范圍，從而能 夠控制運(yùn)算成本。然后，說明晃動(dòng)檢測(cè)部142進(jìn)行的處理(圖3的步驟S107)的詳細(xì)情況?；蝿?dòng)檢測(cè)部142是檢測(cè)相鄰圖像間存在的運(yùn)動(dòng)的處理部，主要檢測(cè)平行移動(dòng)量。 具體而言，晃動(dòng)檢測(cè)部118提取所取得的影像數(shù)據(jù)中包括的相鄰圖像的各自的特征點(diǎn)。并 且，晃動(dòng)檢測(cè)部118通過對(duì)在相鄰圖像間提取的的特征點(diǎn)進(jìn)行匹配，從而求出與特征點(diǎn)的 位置一致的平行移動(dòng)量。圖9A以及圖9B是用于說明在時(shí)刻t-Ι和時(shí)刻t拍攝的圖像間的平行移動(dòng)量的圖。 具體而言，圖9A是表示在時(shí)刻t-Ι拍攝的圖像的一個(gè)例子的圖。并且，圖9B是表示在時(shí)刻 t拍攝的圖像的一個(gè)例子的圖。首先，晃動(dòng)檢測(cè)部142從在時(shí)間上相鄰的兩個(gè)圖像的每個(gè)圖像提取特征點(diǎn)。作為 特征點(diǎn)的提取方法有各種各樣的方法，不必特別地限定晃動(dòng)檢測(cè)部142的特征點(diǎn)的提取方 法。也就是說，晃動(dòng)檢測(cè)部142可以利用根據(jù)圖像的亮度或色彩的變化來提取邊緣或角這 樣的一般的方法來提取特征點(diǎn)，也可以利用其他方法來提取特征點(diǎn)。在此，省略對(duì)特征點(diǎn)的 提取的詳細(xì)的說明。圖9A以及圖9B中標(biāo)記的記號(hào)即白圓圈、白三角、以及白方框分別是由 晃動(dòng)檢測(cè)部142提取的特征點(diǎn)。在此，相同形狀的記號(hào)表示的是兩個(gè)圖像間相對(duì)應(yīng)的特征 點(diǎn)ο然后，晃動(dòng)檢測(cè)部142進(jìn)行特征點(diǎn)匹配。具體而言，晃動(dòng)檢測(cè)部142在成為基準(zhǔn)的 時(shí)刻t-Ι的圖像(基準(zhǔn)圖像)的各個(gè)特征點(diǎn)的周圍設(shè)定模板。并且，晃動(dòng)檢測(cè)部142在時(shí) 刻t的圖像(參考圖像)的各個(gè)特征點(diǎn)的周圍也同樣地設(shè)定模板。并且，晃動(dòng)檢測(cè)部142 通過對(duì)所有的特征點(diǎn)的組合進(jìn)行模板匹配，從而決定基準(zhǔn)圖像和參考圖像間的特征點(diǎn)的對(duì) 應(yīng)關(guān)系。具體而言，例如，晃動(dòng)檢測(cè)部142利用時(shí)刻t-Ι的白三角的特征點(diǎn)的周圍的模板與 時(shí)刻t的白三角的特征點(diǎn)的周圍的模板間的關(guān)聯(lián)性比與時(shí)刻t的白圓圈以及白方框的特征 點(diǎn)的周圍的模板的相關(guān)性大，決定兩個(gè)圖像間的特征點(diǎn)的對(duì)應(yīng)關(guān)系。并且，晃動(dòng)檢測(cè)部142 利用所決定的特征點(diǎn)的對(duì)應(yīng)關(guān)系，計(jì)算基準(zhǔn)圖像和參考圖像間的平行移動(dòng)量。圖10是用于說明通過特征點(diǎn)匹配計(jì)算出的平行移動(dòng)量的圖。在圖10中，重疊地顯 示了時(shí)刻t-Ι以及時(shí)刻t的圖像中的人物像的區(qū)域。人物像501表示在時(shí)刻t-Ι拍攝的圖 像中的人物像。并且，人物像502表示在時(shí)刻t拍攝的圖像中的人物像。另外，人物像501 以及502是使在各自的時(shí)刻拍攝的圖像的攝影區(qū)域一致的情況下的圖像。移動(dòng)向量503是 以白三角表示的特征點(diǎn)從時(shí)刻t-Ι到時(shí)刻t的移動(dòng)向量。在此，移動(dòng)向量的水平方向以及 垂直方向的成分分別為ΔΧ以及Ay的情況下，通過將時(shí)刻t的圖像整個(gè)在水平方向上平 行移動(dòng)-Δ χ，在垂直方向平行移動(dòng)-Δ y，從而能夠使兩個(gè)時(shí)刻即時(shí)刻t-Ι以及時(shí)刻t的圖 像的特征點(diǎn)一致。通過上述的方法，利用由晃動(dòng)檢測(cè)部142計(jì)算出的平行移動(dòng)量，來校正兩 個(gè)圖像的晃動(dòng)。在上述平行移動(dòng)量的計(jì)算中，本實(shí)施例所涉及的晃動(dòng)檢測(cè)部142利用由限制條件生成部130生成的限制條件。以下，利用

由晃動(dòng)檢測(cè)部142利用的限制條件。圖IlA是表示由攝影裝置100在時(shí)刻t-Ι拍攝的圖像的一個(gè)例子的圖。并且圖IlB 是表示由攝影裝置100在時(shí)刻t取得的圖像的一個(gè)例子的圖。圖IlB所示的虛線圈住的區(qū) 域表示與圖IlA所示的圖像相對(duì)應(yīng)的區(qū)域。也就是說，圖IlB所示的圖像是相對(duì)于圖IlA 所示的圖像其攝影區(qū)域向右下移動(dòng)了的圖像。圖IlA以及圖IlB所示的圖像上繪制(plot) 的白圓圈、白三角以及黑三角是該圖像的特征點(diǎn)。圖IlB所示的特征點(diǎn)，隨著攝影區(qū)域的移 動(dòng)，相對(duì)于與該特征點(diǎn)對(duì)應(yīng)的圖IlA所示的特征點(diǎn)向左上進(jìn)行了移動(dòng)。圖12A以及圖12B是分別提取了圖IlA以及圖IlB所示的特征點(diǎn)的圖。在此，晃 動(dòng)檢測(cè)部142，在提取了圖12A以及圖12B所示的特征點(diǎn)的情況下，如之前所述，晃動(dòng)檢測(cè) 部142通過特征點(diǎn)匹配計(jì)算平行移動(dòng)量。具體而言，晃動(dòng)檢測(cè)部142利用模板匹配等算法 搜索圖12A中的以白三角所示的特征點(diǎn)與圖12B中的哪一個(gè)特征點(diǎn)相對(duì)應(yīng)。圖12C是晃動(dòng)檢測(cè)部142不利用限制條件，而對(duì)圖12A中以白三角所示的特征點(diǎn) 進(jìn)行模板匹配的情況下的搜索區(qū)域的圖。如圖12C所示，不利用由限制條件生成部130生成 的限制條件的情況下，晃動(dòng)檢測(cè)部142針對(duì)斜線區(qū)域內(nèi)包括的特征點(diǎn)(白圓圈、白三角以及 黑三角)進(jìn)行匹配處理。也就是說，晃動(dòng)檢測(cè)部142不對(duì)在斜線區(qū)域外的以黑圓圈所示的 特征點(diǎn)進(jìn)行匹配處理。在此，以斜線區(qū)域所示的搜索區(qū)域是一個(gè)與圖12A中以白三角所示 的特征點(diǎn)的圖像上的坐標(biāo)以同一坐標(biāo)(圖12B的虛線白三角的位置)為中心的矩形區(qū)域。 此時(shí)，與圖IlA以及圖IlB的圖像中映現(xiàn)的牌坊的兩個(gè)立柱(大致具有相同的結(jié)構(gòu))部分 對(duì)應(yīng)的特征點(diǎn)集，其特征點(diǎn)的配置近似。因此，在各個(gè)特征點(diǎn)的周圍設(shè)定的模板也近似。其 結(jié)果，晃動(dòng)檢測(cè)部142有可能通過模板匹配進(jìn)行不正確的對(duì)應(yīng)處理。也就是說，晃動(dòng)檢測(cè)部 142有可能會(huì)判斷為圖12A中的白三角的特征點(diǎn)和圖12C中的黑三角的特征點(diǎn)相對(duì)應(yīng)。在此，晃動(dòng)檢測(cè)部142利用由限制條件生成部130生成的限制條件，進(jìn)行模板匹 配。具體而言，限制條件生成部130，利用攝影裝置100產(chǎn)生的picth方向以及yaw方向上 的運(yùn)動(dòng)會(huì)分別作為圖像的豎方向以及水平方向上的平行移動(dòng)而反映在圖像中這一特性，生 成限定模板匹配中的搜索區(qū)域的限制條件。例如，pitch方向分類器133以及yaw方向分類器134，利用拍攝圖IlB所示的圖 像時(shí)的傳感器信息，識(shí)別出pitch方向上為正方向以及yaw方向上為負(fù)方向(即意味著攝 影裝置的光軸的方向朝向右下)的情況下，限制條件生成部130生成使進(jìn)行模板匹配的參 考圖像的搜索區(qū)域在與成為匹配對(duì)象的基準(zhǔn)圖像的特征點(diǎn)的坐標(biāo)相同的坐標(biāo)相比處于左 上側(cè)的區(qū)域的限制條件。具體而言，限制條件生成部130，在晃動(dòng)檢測(cè)部142從圖12B所示 的特征點(diǎn)中搜索與圖12A所示的白三角對(duì)應(yīng)的特征點(diǎn)的情況下，生成使晃動(dòng)檢測(cè)部142搜 索相對(duì)于圖12A所示的白三角的特征點(diǎn)的坐標(biāo)處于左上側(cè)的區(qū)域的限制條件。也就是說，限制條件生成部130，在pitch方向分類器133識(shí)別出pitch方向的正 方向上的運(yùn)動(dòng)的情況下，生成將相對(duì)于與基準(zhǔn)圖像的特征點(diǎn)的坐標(biāo)相同的坐標(biāo)處于左上側(cè) 的區(qū)域內(nèi)的特征點(diǎn)作為匹配的對(duì)象的限制條件。另一方面，限制條件生成部130，在pitch 方向分類器133識(shí)別出pitch方向的負(fù)方向上的運(yùn)動(dòng)的情況下，生成將相對(duì)于與基準(zhǔn)圖像 的特征點(diǎn)的坐標(biāo)相同的坐標(biāo)處于下側(cè)的區(qū)域內(nèi)的特征點(diǎn)作為匹配的對(duì)象的限制條件。并且，限制條件生成部130，在yaw方向分類器134識(shí)別出yaw方向的正方向上的 運(yùn)動(dòng)的情況下，生成將相對(duì)于與基準(zhǔn)圖像的特征點(diǎn)的坐標(biāo)相同的坐標(biāo)處于右側(cè)的區(qū)域內(nèi)的特征點(diǎn)作為匹配的對(duì)象的限制條件。另一方面，限制條件生成部130，在yaw方向分類器134 識(shí)別出yaw方向的負(fù)方向上的運(yùn)動(dòng)的情況下，生成將相對(duì)于與基準(zhǔn)圖像的特征點(diǎn)的坐標(biāo)相 同的坐標(biāo)處于左側(cè)的區(qū)域內(nèi)的特征點(diǎn)作為匹配的對(duì)象的限制條件。圖12D是晃動(dòng)檢測(cè)部142利用限制條件，針對(duì)圖12A中的以白三角所示的特征點(diǎn) 進(jìn)行模板匹配的情況下的搜索區(qū)域的圖?；蝿?dòng)檢測(cè)部142通過利用限制條件，只針對(duì)圖12D 所示的斜線區(qū)域進(jìn)行模板匹配。其結(jié)果，晃動(dòng)檢測(cè)部142，不以圖12D中的以黑三角所示的 特征點(diǎn)為模板匹配的對(duì)象，因此不會(huì)再出現(xiàn)錯(cuò)誤地將黑三角決定為圖12A的白三角所對(duì)應(yīng) 的特征點(diǎn)。也就是說，晃動(dòng)檢測(cè)部142通過利用限制條件，能夠控制進(jìn)行錯(cuò)誤的對(duì)應(yīng)處理的 危險(xiǎn)性。并且，晃動(dòng)檢測(cè)部142，能夠減少成為模板匹配的對(duì)象的特征點(diǎn)的數(shù)量，因此能夠降 低運(yùn)算負(fù)荷。然后，說明圖像校正部150進(jìn)行的處理(圖3的步驟S108)的詳細(xì)情況。圖像校 正部150利用由參數(shù)計(jì)算部140計(jì)算出的傾斜角度和平行移動(dòng)量，調(diào)整基準(zhǔn)圖像和參考圖 像間的位置。以下說明其詳細(xì)情況。將由傾斜角度檢測(cè)部141計(jì)算出的傾斜角度設(shè)定為θ，由晃動(dòng)檢測(cè)部142檢測(cè)出 的移動(dòng)向量設(shè)定為(Δχ，Ay)。此時(shí)，時(shí)刻t的圖像相對(duì)于時(shí)刻t_l的圖像旋轉(zhuǎn)了 θ。并 且，時(shí)刻t的圖像相對(duì)于時(shí)刻t_l的圖像在水平方向上平行移動(dòng)了 Δ χ，且在垂直方向上 平行移動(dòng)了 Δγ。因此，圖像校正部150，使時(shí)刻t的圖像旋轉(zhuǎn)-θ且在水平方向上平行移 動(dòng)_ Δ χ在垂直方向上平行移動(dòng)_ Δ y，從而能夠消除時(shí)刻t的圖像和時(shí)刻t_l的圖像間的位 置偏移。圖像校正部150利用仿射(affine)變換，進(jìn)行這一位置調(diào)整處理。具體而言，將 校正后的坐標(biāo)設(shè)定為(X，y)，將校正前的坐標(biāo)設(shè)定為(xO，y0)，將3行3列的仿射矩陣設(shè)定 為R的情況下，圖像校正部150利用下式(2)校正時(shí)刻t的圖像。[數(shù)2] 在此，在根據(jù)校正前的坐標(biāo)計(jì)算的校正后的坐標(biāo)脫出圖像的區(qū)域的情況下，圖像 校正部150廢棄該校正前的坐標(biāo)的圖像信息。并且，在為求出校正后的坐標(biāo)而需要的校正 前的坐標(biāo)脫出圖像的區(qū)域的情況下，圖像校正部150得不到該校正后的坐標(biāo)的圖像信息。 因此，由圖像校正部150進(jìn)行校正后的圖像中有時(shí)存在無圖像信息的區(qū)域。圖13是表示圖像校正部150針對(duì)圖IlB所示的圖像進(jìn)行校正的結(jié)果得到的圖像 的一個(gè)例子的圖。矩形區(qū)域510表示校正前的圖像的區(qū)域。并且，矩形區(qū)域520表示校正 后的圖像區(qū)域。在此，矩形區(qū)域520的左部和上部存在的區(qū)域521表示校正前的圖像未保 持圖像信息的區(qū)域。并且，矩形區(qū)域510的右部和下部存在的區(qū)域511，表示圖IlB所示的 校正前的圖像的圖像區(qū)域中的、調(diào)整位置時(shí)圖像信息被廢棄的區(qū)域。如上所述，實(shí)施例1所涉及的攝影裝置100，通過針對(duì)攝影數(shù)據(jù)中包括的多個(gè)圖像 調(diào)整在時(shí)間上相鄰的圖像的位置，從而能夠校正影像數(shù)據(jù)，以便即使攝影裝置100被施加 了運(yùn)動(dòng)其運(yùn)動(dòng)也不會(huì)反映在影像數(shù)據(jù)中。并且，攝影裝置100，利用特性不同的多個(gè)傳感器(本實(shí)施例中是加速度傳感器
15和角速度傳感器)，能夠識(shí)別攝影裝置100的運(yùn)動(dòng)，因此能夠提高識(shí)別運(yùn)動(dòng)時(shí)的魯棒性 (robustness)。而且，攝影裝置100利用AdaBoost等學(xué)習(xí)算法，能夠預(yù)先使多個(gè)傳感器的 動(dòng)作(即特征向量)和實(shí)際的攝影裝置100的運(yùn)動(dòng)相關(guān)聯(lián)，因此即使在傳感器的輸出值上 重疊了交叉軸靈敏度、慣性噪聲等，也能夠穩(wěn)定地識(shí)別攝影裝置100的運(yùn)動(dòng)。并且，攝影裝 置100，根據(jù)這樣識(shí)別的攝影裝置100的運(yùn)動(dòng)，利用所生成的限制條件計(jì)算參數(shù)，因此能夠 以良好的精確度計(jì)算參數(shù)。并且，攝影裝置100，能夠計(jì)算圖像的傾斜以作為參數(shù)，因此能夠計(jì)算用于校正作 為映像的晃動(dòng)的主要原因的旋轉(zhuǎn)成分的晃動(dòng)的參數(shù)。(實(shí)施例2)其次，說明本實(shí)施例2所涉及的攝影裝置。圖14是表示本發(fā)明的實(shí)施例2所涉及的攝影裝置1000的功能構(gòu)成的框圖。本實(shí) 施例所涉及的攝影裝置1000與實(shí)施例1所涉及的攝影裝置100的不同之處是傳感器部101 具備兩組角速度傳感器這一點(diǎn)。另外，對(duì)于與實(shí)施例1相同的構(gòu)成部附加同一符號(hào)，并省略 其說明。第一角速度傳感器1001以及第二角速度傳感器1002分別是測(cè)量圍繞相互正交的 三個(gè)軸的角速度的角速度傳感器，是測(cè)量攝影裝置1000的運(yùn)動(dòng)的傳感器。在此，第一角速 度傳感器1001以及第二角速度傳感器1002在攝影裝置1000中被設(shè)置為各自的測(cè)量軸互 不相同。圖15是表示第一角速度傳感器1001以及第二角速度傳感器1002的測(cè)量軸的一 個(gè)例子的圖。第一角速度傳感器1001檢測(cè)分別圍繞互相正交的Xl軸、yl軸以及Zl軸的 角速度。另一方面、第二角速度傳感器1002檢測(cè)分別圍繞互相正交的x2、y2以及z3軸的 角速度。例如，針對(duì)攝影裝置100，只施加了圍繞zl軸的旋轉(zhuǎn)運(yùn)動(dòng)的情況下，不發(fā)生圍繞Xl 軸以及yl軸的旋轉(zhuǎn)運(yùn)動(dòng)。由此，第一角速度傳感器1001輸出0(實(shí)際上因?yàn)榇嬖诮徊孑S靈 敏度因此多少會(huì)有輸出)作為圍繞xl軸以及yl軸的傳感器信息。但是，因?yàn)閲@zl軸的 運(yùn)動(dòng)能夠分解為分別圍繞x2軸、y2軸以及z2軸的運(yùn)動(dòng)，因此第二角速度傳感器1002，針對(duì) 圍繞zl軸的旋轉(zhuǎn)運(yùn)動(dòng)輸出0以外的值作為圍繞x2軸、y2軸、以及z2軸的傳感器信息。也 就是說，攝影裝置100，針對(duì)圍繞zl軸的旋轉(zhuǎn)運(yùn)動(dòng)，能夠取得以另一視點(diǎn)來觀測(cè)的信息。如上所述，本實(shí)施例所涉及的攝影裝置1000與實(shí)施例1所涉及的攝影裝置100同 樣地利用由傳感器部101測(cè)量出的傳感器信息來生成特征向量。并且，攝影裝置1000利用 該特征向量來識(shí)別施加到攝影裝置1000的運(yùn)動(dòng)的圍繞三個(gè)軸的旋轉(zhuǎn)的方向。在此，如圖15 所示，本實(shí)施例所涉及的攝影裝置1000通過具備測(cè)量軸互不相同的第一角速度傳感器和 第二角速度傳感器，從而能夠增加識(shí)別施加到攝影裝置1000的運(yùn)動(dòng)時(shí)的信息的冗余度。這 樣，增加信息的冗余度會(huì)提高各個(gè)旋轉(zhuǎn)方向的分類器的精確度。也就是說，攝影裝置1000 通過從多個(gè)不同的視點(diǎn)來觀測(cè)施加到攝影裝置1000的運(yùn)動(dòng)，從而能夠大幅度地提高計(jì)算 參數(shù)時(shí)的限制條件的有效性以及系統(tǒng)的穩(wěn)定性。另外，在本實(shí)施例中，說明了具備被設(shè)置為測(cè)量軸互不相同的兩組角速度傳感器 的攝影裝置1000，但是本發(fā)明所涉及的攝影裝置并不限定于這樣的角速度傳感器。也就是 說，本發(fā)明所涉及的攝影裝置只要具備設(shè)置場(chǎng)所、測(cè)量方向、頻率響應(yīng)以及靈敏度特性(靈 敏度、靈敏度偏差、靈敏度漂移、交叉軸靈敏度等)中的至少一個(gè)互不相同的多組角速度傳感器就可以。例如，在攝影裝置具備兩組設(shè)置場(chǎng)所互不相同的兩組角速度傳感器(例如，一方 設(shè)置在攝影裝置的重心位置，另一方設(shè)置在離開重心位置的位置的兩組角速度傳感器等) 的情況下，針對(duì)施加到攝影裝置的運(yùn)動(dòng)的、在各個(gè)角速度傳感器被設(shè)置的位置的慣性矩不 同。因此，各個(gè)角速度傳感器的輸出值會(huì)互不相同。并且，例如，在具備響應(yīng)速度互不相同的兩組角速度傳感器的攝影裝置的情況下， 各個(gè)角速度傳感器的輸出值也會(huì)互不相同。理由是因?yàn)橐环降慕撬俣葌鞲衅髦饕獧z測(cè)瞬間 性的(高頻率的)運(yùn)動(dòng)，而另一方的角速度傳感器主要檢測(cè)比較緩慢的(低頻率的)運(yùn)動(dòng)。 也就是說，具備這樣的響應(yīng)速度互不相同的兩組角速度傳感器的攝影裝置，從工作頻率的 觀點(diǎn)從另一視點(diǎn)來觀測(cè)施加到攝影裝置的一個(gè)運(yùn)動(dòng)。如上所述，在兩組角速度傳感器的設(shè)置場(chǎng)所或響應(yīng)速度互不相同的情況下，也因 為有益于提高檢測(cè)施加到攝影裝置的運(yùn)動(dòng)時(shí)的冗余度，從而能夠有益于提高限制條件的有 效性以及系統(tǒng)的穩(wěn)定性。另外，在本實(shí)施例中，說明了具備兩組角速度傳感器的攝影裝置1000，但是本發(fā)明 所涉及的攝影裝置并不限定于具備角速度傳感器。本發(fā)明所涉及的攝影裝置，例如具備加 速度傳感器、方位傳感器等能夠檢測(cè)攝影裝置的運(yùn)動(dòng)的多組傳感器就可以。也就是說，本發(fā) 明所涉及的攝影裝置通過利用設(shè)置方法以及傳感器特性中的至少一方互不相同的多組傳 感器，得到與本實(shí)施例所涉及的攝影裝置1000同樣的效果。(實(shí)施例3)其次，說明本發(fā)明的實(shí)施例3所涉及的攝影裝置。圖16是表示本發(fā)明的實(shí)施例3所涉及的攝影裝置2000的功能構(gòu)成的框圖。攝影 裝置2000是汽車的直向前進(jìn)方向和攝影裝置2000的光軸方向一致的車載型攝影裝置。也 就是說，攝影裝置2000拍攝的影像數(shù)據(jù)的旋轉(zhuǎn)抖動(dòng)成分微小，即roll方向的移動(dòng)成分微 小，如果將該移動(dòng)成分在時(shí)間序列平均化則近似于沒有變化。因此，能夠限定為由攝影裝置 2000拍攝的圖像中存在的僅是平行移動(dòng)。由此，本實(shí)施例所涉及的攝影裝置2000與實(shí)施例 1所涉及的攝影裝置100不同的是不具備roll方向分類器和傾斜角度檢測(cè)部這一點(diǎn)。另 外，對(duì)于與實(shí)施例1相同的構(gòu)成部以同一符號(hào)表示，并省略其說明。方位傳感器2001是測(cè)量方位的傳感器。因?yàn)槟軌蛳薅ㄆ嚨倪\(yùn)動(dòng)大致僅限于平 面上的運(yùn)動(dòng)，因此方位傳感器2001是為了補(bǔ)充測(cè)量yaw方向的角速度傳感器112的信息而設(shè)置。與實(shí)施例1同樣地，通過預(yù)先學(xué)習(xí)從這樣設(shè)置的傳感器部101取得的傳感器信息 和攝影裝置2000的運(yùn)動(dòng)(汽車的運(yùn)動(dòng))，并使其相互關(guān)聯(lián)，從而能夠根據(jù)傳感器信息識(shí)別 yaw方向上的運(yùn)動(dòng)。其結(jié)果，參數(shù)計(jì)算部140能夠提高處理性能(運(yùn)算量、精確度)。另外，本實(shí)施例所涉及的攝影裝置2000還可以具備汽車的車速傳感器和轉(zhuǎn)彎分 類器。據(jù)此，特征向量生成部131能夠利用車速傳感器、方位傳感器以及角速度傳感器的傳 感器信息來生成特征向量。并且，攝影裝置2000能夠通過預(yù)先學(xué)習(xí)所生成的特征向量和實(shí) 際上汽車要轉(zhuǎn)彎的狀態(tài)，從而能夠具備識(shí)別汽車要轉(zhuǎn)彎的狀態(tài)的轉(zhuǎn)彎分類器。在汽車要轉(zhuǎn) 彎的情況下，由攝影部102拍攝的影像數(shù)據(jù)的位移變大，因此調(diào)整影像數(shù)據(jù)中包括的圖像 間的位置變得沒有意義。因此，在轉(zhuǎn)彎分類器識(shí)別出汽車要轉(zhuǎn)彎的狀態(tài)的情況下，參數(shù)計(jì)算部140以及圖像校正部150停止計(jì)算參數(shù)的處理以及調(diào)整圖像的位置的處理。并且，在汽車 轉(zhuǎn)彎結(jié)束，重新開始在一定方向上前進(jìn)的情況下，相應(yīng)地重新開始調(diào)整位置的處理就可以。 這樣，轉(zhuǎn)彎分類器能夠起到指示參數(shù)計(jì)算部140以及圖像校正部150的處理的開始或停止 的開關(guān)的作用。如上所述，本實(shí)施例所涉及的攝影裝置2000通過限定參數(shù)處理部140以及圖像校 正部150進(jìn)行處理的條件，從而能夠進(jìn)一步地削減運(yùn)算成本和更加適合于所處的狀況的影 像的晃動(dòng)的校正。(實(shí)施例4)其次，說明本發(fā)明的實(shí)施例4所涉及的攝影裝置。圖17是表示本發(fā)明的實(shí)施例4所涉及的攝影裝置3000的功能構(gòu)成的框圖。如圖 17所示，本實(shí)施例所涉及的攝影裝置3000與實(shí)施例1所涉及的攝影裝置100不同之處是， 攝影部102具備驅(qū)動(dòng)部3002以及活動(dòng)透鏡(active prism) 3003，且具備驅(qū)動(dòng)控制部3001 來替代圖像校正部。因?yàn)槠渌臉?gòu)成部與實(shí)施例1所涉及的攝影裝置100相同，因此省略 其說明。驅(qū)動(dòng)控制部3001將由參數(shù)計(jì)算部140計(jì)算出的參數(shù)(傾斜角度以及移動(dòng)向量) 利用攝影部102特有的參數(shù)按照規(guī)定的方式轉(zhuǎn)換為三個(gè)軸的旋轉(zhuǎn)量。被轉(zhuǎn)換的旋轉(zhuǎn)量，成 為實(shí)際上攝影裝置3000在成像面上產(chǎn)生的旋轉(zhuǎn)量。因此，驅(qū)動(dòng)控制部3001通過使驅(qū)動(dòng)部 3002驅(qū)動(dòng)活動(dòng)透鏡3003以消除所轉(zhuǎn)換的旋轉(zhuǎn)量，從而能夠取消攝影裝置3000所產(chǎn)生的運(yùn)動(dòng)。驅(qū)動(dòng)部3002是傳動(dòng)機(jī)構(gòu)(actuator)等，驅(qū)動(dòng)活動(dòng)透鏡3003?；顒?dòng)透鏡3003 是光學(xué)系統(tǒng)的一部分，通過變更棱鏡的角度，從而能夠校正影像的晃動(dòng)。透鏡3004是光 學(xué)系統(tǒng)的一部分，將入射到攝影部102的光，成像到攝像元件3005的攝像面。攝像元件 3005 例如是 CCD(Charge CoupledDevice 電荷耦合器件)、CMOS (Complementary Metal OxideSemiconductor 互補(bǔ)型金屬氧化物半導(dǎo)體)等固體攝像元件，將來自透鏡3004的光 轉(zhuǎn)換為電信號(hào)。這樣，利用由參數(shù)計(jì)算部140計(jì)算出的參數(shù)，驅(qū)動(dòng)控制部3001使驅(qū)動(dòng)部3002驅(qū)動(dòng) 活動(dòng)棱鏡3003，從而能夠校正影像數(shù)據(jù)產(chǎn)生的影像的晃動(dòng)。另外，本實(shí)施例所涉及的攝影裝置3000通過驅(qū)動(dòng)活動(dòng)棱鏡3003來校正影像的晃 動(dòng)，但是本實(shí)施例所涉及的攝影裝置也可以通過驅(qū)動(dòng)透鏡3004或攝像元件3005來校正影 像的晃動(dòng)。具體而言，驅(qū)動(dòng)控制部3001能夠使驅(qū)動(dòng)部3002令攝像元件3005移位或旋轉(zhuǎn)， 從而校正影像的晃動(dòng)。以上根據(jù)實(shí)施例說明了本發(fā)明所涉及的攝影裝置，但是本發(fā)明并不限定于這些實(shí) 施例。只要不超出本發(fā)明的宗旨，將本領(lǐng)域的技術(shù)人員所能想到的各種變形實(shí)施到本實(shí)施 例的形式、或組合不同的實(shí)施例的構(gòu)成要素而構(gòu)筑的形式都包括在本發(fā)明的范圍內(nèi)。例如，在上述實(shí)施例中，傳感器部101具有測(cè)量三個(gè)軸方向的加速度的加速度傳 感器以及測(cè)量三個(gè)軸方向的角速度的角速度傳感器，但是也可以將這些與方位傳感器等能 夠測(cè)量攝影裝置的運(yùn)動(dòng)的其他傳感器進(jìn)行組合。并且，只要能夠測(cè)量有關(guān)目的軸的運(yùn)動(dòng)，可 以是任何一種設(shè)置方法。也就是說，可以設(shè)置需要的個(gè)數(shù)的僅測(cè)量有關(guān)一個(gè)軸的運(yùn)動(dòng)的傳 感器，也可以設(shè)置測(cè)量正交的三個(gè)軸的傳感器封裝在一起的加速度傳感器、角速度傳感器寸。并且，在上述實(shí)施例中，說明了攝影裝置的光軸和傳感器的測(cè)量軸之一的ζ軸一 致的例子，但是如果能夠利用向量分析等方法取得欲識(shí)別的攝影裝置的運(yùn)動(dòng)的信息(在實(shí) 施例1中圍繞攝影裝置的roll、pitch以及yaw這三個(gè)軸的旋轉(zhuǎn)方向)，則傳感器的測(cè)量軸 和欲識(shí)別的攝影裝置的運(yùn)動(dòng)的軸可以不一致。并且，在上述實(shí)施例中，特征向量生成部131可以利用公知的主成分分析等方法， 增加生成的特征向量的冗余度。并且，特征向量生成部131也可以生成進(jìn)行頻率分析等而 得到的移動(dòng)的頻率信息以作為特征向量。并且，在上述實(shí)施例中，利用AdaBoost，使傳感器信息和攝影裝置的移動(dòng)方向(旋 轉(zhuǎn)方向)相關(guān)聯(lián)的各個(gè)旋轉(zhuǎn)方向的分類器進(jìn)行了說明，但是各個(gè)旋轉(zhuǎn)方向的分類器并不限 定于利用AdaBoost算法構(gòu)成的分類器。例如，各個(gè)旋轉(zhuǎn)方向的分類器可以是利用神經(jīng)網(wǎng)絡(luò) 進(jìn)行同樣的學(xué)習(xí)的分類器。此時(shí)，特征向量不必一定是符號(hào)，因此特征向量生成部131生成 適合于神經(jīng)網(wǎng)絡(luò)的特征向量就可以。并且，分類器不限定于識(shí)別旋轉(zhuǎn)方向的分類器。例如，分類器可以識(shí)別χ軸、y軸 以及ζ軸方向上的運(yùn)動(dòng)方向。并且，在上述實(shí)施例中，限制條件生成部130生成的是各個(gè)旋轉(zhuǎn)方向上的分類器 識(shí)別攝影裝置在正的方向或負(fù)的方向上旋轉(zhuǎn)的情況下的限制條件，但是，可以進(jìn)一步地生 成識(shí)別在正的方向以及負(fù)的方向都未旋轉(zhuǎn)的情況下的限制條件。例如，限制條件生成部130 可以在由roll方向分類器132識(shí)別為roll方向上無旋轉(zhuǎn)的情況下，利用預(yù)先決定的、規(guī) 定的搜索寬度s，生成將士s的范圍設(shè)定為傾斜參數(shù)的解的搜索范圍的限制條件。此時(shí)，傾 斜角度檢測(cè)部141在由限制條件生成部130設(shè)定的士 s范圍內(nèi)搜索評(píng)價(jià)值為最大的傾斜參 數(shù)。并且，例如，限制條件生成部130可以在由pitch方向分類器133以及yaw方向分類器 134識(shí)別為在pitch方向以及yaw方向上無旋轉(zhuǎn)的情況下，生成將與基準(zhǔn)圖像的特征點(diǎn)的坐 標(biāo)成為同一坐標(biāo)的位置周圍的恰當(dāng)?shù)姆秶O(shè)定為搜索范圍的限制條件。據(jù)此，參數(shù)計(jì)算部 140能夠以高精確度計(jì)算參數(shù)。圖18是用于說明在識(shí)別為roll方向無旋轉(zhuǎn)的情況下的傾斜參數(shù)的解的搜索范圍 的圖。如圖18所示，傾斜角度檢測(cè)部141通過利用使士s作為解的搜索范圍的限制條件， 從而能夠計(jì)算a = a2為正確的傾斜角度，而非計(jì)算評(píng)價(jià)值為最大的a = a3為正確的傾斜 角角度。并且，限制條件生成部130可以為了補(bǔ)償各個(gè)旋轉(zhuǎn)方向的分類器的識(shí)別錯(cuò)誤，生 成使上述實(shí)施例的規(guī)定的寬度放寬規(guī)定的寬度作為搜索范圍的限制條件。例如，在識(shí)別為 yaw方向的運(yùn)動(dòng)是“正的方向”的情況下，限制條件生成部130不是嚴(yán)密地將范圍a彡 作 為搜索范圍，而是生成將a >-S設(shè)定為搜索范圍的限制條件。而另一方面，在識(shí)別為yaw 方向的運(yùn)動(dòng)是“負(fù)的方向”的情況下，限制條件生成部130生成將s設(shè)定為搜索范圍的 限制條件。據(jù)此，參數(shù)計(jì)算部140，即使在各個(gè)方向的分類器因?yàn)橛?jì)算評(píng)價(jià)值Z時(shí)混入的變 分成分而錯(cuò)誤地識(shí)別了各個(gè)旋轉(zhuǎn)方向上的運(yùn)動(dòng)的情況下，或傳感器未能檢測(cè)出的小而緩慢 的運(yùn)動(dòng)的情況下，也能夠計(jì)算正確的參數(shù)。也就是說，通過限制條件生成部130進(jìn)行這樣的 補(bǔ)償處理，參數(shù)計(jì)算部140能夠提高參數(shù)的計(jì)算精確度。并且，在上述實(shí)施例中，限制條件生成部130按照由各個(gè)旋轉(zhuǎn)方向的分類器識(shí)別出的攝影裝置的運(yùn)動(dòng)，生成用于限定在參數(shù)計(jì)算部140計(jì)算參數(shù)時(shí)的參數(shù)值(解)的范圍， 但是本發(fā)明所涉及的攝影裝置并不限定于這樣的攝影裝置。例如，本發(fā)明所涉及的攝影裝 置可以按照由各個(gè)旋轉(zhuǎn)方向的分類器識(shí)別出的攝影裝置的運(yùn)動(dòng)，生成用于對(duì)參數(shù)進(jìn)行加權(quán) 的限制條件。此時(shí)，參數(shù)計(jì)算部140利用限制條件中包括的加權(quán)，針對(duì)成為候補(bǔ)的解的值 (候補(bǔ)值)計(jì)算評(píng)價(jià)值。并且，參數(shù)計(jì)算部140計(jì)算所計(jì)算出的評(píng)價(jià)值為最高的候補(bǔ)值以作 為參數(shù)。并且，在上述實(shí)施例中，晃動(dòng)檢測(cè)部142通過特征點(diǎn)匹配計(jì)算平行移動(dòng)量，但是不 必限定于特征點(diǎn)匹配。例如，晃動(dòng)檢測(cè)部142可以利用光流(optical flow)、模式匹配等其 他匹配算法來計(jì)算平行移動(dòng)量。并且，在上述實(shí)施例中，由晃動(dòng)檢測(cè)部142計(jì)算平行移動(dòng)量，但是也可以利用能夠 同時(shí)處理旋轉(zhuǎn)和平行移動(dòng)的匹配算法來同時(shí)計(jì)算旋轉(zhuǎn)角度和平行移動(dòng)量。例如，晃動(dòng)檢測(cè) 部142可以將圖像投射到球面，使該球面以原點(diǎn)為中心旋轉(zhuǎn)來進(jìn)行匹配。據(jù)此，晃動(dòng)檢測(cè)部 142能夠同時(shí)進(jìn)行圍繞roll、pitch以及yaw這三個(gè)軸的匹配。并且，圖像校正部150使投 射在球面的圖像按照由晃動(dòng)檢測(cè)部142計(jì)算出的roll、pitch以及yaw各自的旋轉(zhuǎn)量來旋 轉(zhuǎn)。而且，圖像校正部150通過將旋轉(zhuǎn)后的圖像再逆投射到平面，從而能夠校正旋轉(zhuǎn)和平行 移動(dòng)這雙方。并且，晃動(dòng)檢測(cè)部142可以利用POC (Phase Only Correlation 相位相關(guān)算法)等 分析方法來計(jì)算平行移動(dòng)量等，而非利用匹配算法。此時(shí)，因?yàn)镻OC法不能同時(shí)處理旋轉(zhuǎn)和 平行移動(dòng)，因此最好是利用由傾斜角度檢測(cè)部141計(jì)算出的圖像的傾斜角度，在由晃動(dòng)檢 測(cè)部142計(jì)算平行移動(dòng)量之前從圖像中去除旋轉(zhuǎn)成分的晃動(dòng)。并且，在上述的實(shí)施例中，參數(shù)計(jì)算部140計(jì)算了用于調(diào)整影像數(shù)據(jù)中包括的、在 時(shí)間上相鄰的圖像間的位置的參數(shù)，但是本發(fā)明所涉及的攝影裝置可以不必針對(duì)時(shí)間上相 鄰的圖像間計(jì)算參數(shù)。例如，參數(shù)計(jì)算部140可以預(yù)先決定成為基準(zhǔn)的圖像，計(jì)算用于調(diào)整 所決定的圖像和其他圖像間的位置的參數(shù)。另外，本發(fā)明不僅能夠作為攝影裝置來實(shí)現(xiàn)，而且能夠作為具備攝影裝置中包括 的圖像處理部具有的構(gòu)成部的圖像處理裝置來實(shí)現(xiàn)。并且，也能夠作為將這樣的圖像處理 裝置中包括的具有特征的構(gòu)成部作為步驟的圖像處理方法來實(shí)現(xiàn)，或作為使計(jì)算機(jī)執(zhí)行這 樣的具有特征的步驟的程序來實(shí)現(xiàn)。并且，不言而喻，這樣的程序能夠通過CD-ROM等記錄 介質(zhì)以及互聯(lián)網(wǎng)等傳送介質(zhì)來使其流通。并且，本發(fā)明也可以作為實(shí)現(xiàn)圖像處理裝置的功能的全部或一部分的集成電路 (LSI)來實(shí)現(xiàn)。例如，如圖19所示，集成電路4000至少具備接口部120、限制條件生成部 130以及參數(shù)計(jì)算部140。并且，本發(fā)明也可以作為實(shí)現(xiàn)圖像處理裝置的功能的全部或一部分的再生裝置來 實(shí)現(xiàn)。例如，如圖20所示，再生裝置5000具備圖像處理部103和再生部5001。再生部5001 再生由圖像校正部150校正后的影像數(shù)據(jù)。本發(fā)明的攝影裝置作為校正因?yàn)閿z影裝置產(chǎn)生的運(yùn)動(dòng)而導(dǎo)致的圖像的旋轉(zhuǎn)以及 攝影區(qū)域的變動(dòng)的裝置有用，不僅能夠適用于以數(shù)字靜像照相機(jī)、數(shù)字?jǐn)z像機(jī)為首的攝影 裝置，而且也能夠適用于佩戴在身體上進(jìn)行免提拍攝的小型攝影裝置。
權(quán)利要求
一種圖像處理裝置，計(jì)算參數(shù)，所述參數(shù)用于進(jìn)行由具備檢測(cè)運(yùn)動(dòng)的傳感器的攝影裝置所拍攝的兩個(gè)以上的圖像間的對(duì)位，所述圖像處理裝置具備圖像取得部，取得由所述攝影裝置所拍攝的圖像；傳感器信息取得部，取得傳感器信息，所述傳感器信息是在拍攝由所述圖像取得部所取得的圖像時(shí)的所述傳感器的輸出信號(hào)；限制條件生成部，利用由所述傳感器信息取得部所取得的傳感器信息來生成限制條件，所述限制條件是在計(jì)算所述參數(shù)時(shí)使所述參數(shù)的值在規(guī)定范圍內(nèi)的限制條件；以及參數(shù)計(jì)算部，根據(jù)由所述限制條件生成部所生成的限制條件，針對(duì)由所述圖像取得部所取得的圖像，計(jì)算所述參數(shù)，所述限制條件生成部包括特征向量生成部，生成特征向量，所述特征向量表示由所述傳感器信息取得部所取得的傳感器信息的特征；以及運(yùn)動(dòng)識(shí)別部，利用所述特征向量和所述攝影裝置的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)由所述特征向量生成部所生成的特征向量，識(shí)別所述攝影裝置的運(yùn)動(dòng)，所述關(guān)聯(lián)性是針對(duì)所述特征向量和所述攝影裝置的實(shí)際的運(yùn)動(dòng)預(yù)先進(jìn)行機(jī)器學(xué)習(xí)的結(jié)果所得到的關(guān)聯(lián)性，所述限制條件生成部，根據(jù)由所述運(yùn)動(dòng)識(shí)別部所識(shí)別的所述攝影裝置的運(yùn)動(dòng)來確定所述規(guī)定范圍，從而生成所述限制條件。
2.如權(quán)利要求1所述的圖像處理裝置，所述參數(shù)計(jì)算部，計(jì)算所述圖像的傾斜角度以作為所述參數(shù)。
3.如權(quán)利要求2所述的圖像處理裝置，所述參數(shù)計(jì)算部，通過從所述圖像提取表示絕對(duì)水平或絕對(duì)垂直的要素的傾斜情況， 從而計(jì)算所述圖像的傾斜角度以作為所述參數(shù)。
4.如權(quán)利要求3所述的圖像處理裝置，所述限制條件生成部，生成包括針對(duì)所述圖像的傾斜角度的加權(quán)的所述限制條件， 所述參數(shù)計(jì)算部，利用所述限制條件中包括的加權(quán)來計(jì)算針對(duì)所述圖像的傾斜角度的 評(píng)價(jià)值，并選擇所計(jì)算出的評(píng)價(jià)值為最高的所述圖像的傾斜角度以作為所述參數(shù)。
5.如權(quán)利要求1所述的圖像處理裝置，所述圖像取得部，取得包括同一被攝體像且在不同的時(shí)刻所拍攝的至少兩個(gè)圖像， 所述參數(shù)計(jì)算部，計(jì)算所述兩個(gè)圖像中包括的所述被攝體像的相對(duì)的移動(dòng)量以作為所 述參數(shù)。
6.如權(quán)利要求5所述的圖像處理裝置，所述參數(shù)計(jì)算部，計(jì)算所述移動(dòng)量以作為仿射變換參數(shù)，所述仿射變換參數(shù)用于使所 述兩個(gè)影像中的至少一個(gè)變形。
7.如權(quán)利要求6所述的圖像處理裝置，所述限制條件生成部，生成包括針對(duì)所述移動(dòng)量的加權(quán)的所述限制條件， 所述參數(shù)計(jì)算部，利用所述限制條件中包括的加權(quán)來計(jì)算針對(duì)所述移動(dòng)量的評(píng)價(jià)值， 并選擇所計(jì)算出的評(píng)價(jià)值為最高的所述移動(dòng)量以作為所述參數(shù)。
8.如權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置還具備圖像校正部，所述圖像校正部利用由所述參數(shù)計(jì)算部所計(jì)算 出的參數(shù)來校正所述圖像。
9 如權(quán)利要求1所述的圖像處理裝置，所述傳感器信息取得部，從角速度傳感器、加速度傳感器以及方位傳感器中的至少一 個(gè)傳感器取得所述傳感器信息。
10.如權(quán)利要求1所述的圖像處理裝置，所述運(yùn)動(dòng)識(shí)別部，識(shí)別旋轉(zhuǎn)運(yùn)動(dòng)以及平行移動(dòng)中的至少一方的運(yùn)動(dòng)方向，所述旋轉(zhuǎn)運(yùn) 動(dòng)是圍繞三個(gè)軸的每一個(gè)軸的旋轉(zhuǎn)運(yùn)動(dòng)，所述平行移動(dòng)是在所述三個(gè)軸的每一個(gè)軸的軸方 向上的平行移動(dòng)，所述三個(gè)軸是所述攝影裝置的光軸和正交于所述光軸且相互正交的兩個(gè)軸O
11.一種攝影裝置，拍攝被攝體，具備 光學(xué)系統(tǒng)；攝像元件；傳感器部，檢測(cè)所述攝影裝置的運(yùn)動(dòng)；以及 權(quán)利要求1所述的圖像處理裝置。
12.如權(quán)利要求11所述的攝影裝置， 所述攝影裝置還具備驅(qū)動(dòng)部，驅(qū)動(dòng)所述光學(xué)系統(tǒng)或所述攝像元件的至少一方；以及 驅(qū)動(dòng)控制部，根據(jù)由所述參數(shù)計(jì)算部所計(jì)算出的參數(shù)和所述攝影部所特有的規(guī)定參 數(shù)，計(jì)算所述攝影部的成像面上的運(yùn)動(dòng)量，并使所述驅(qū)動(dòng)部驅(qū)動(dòng)所述光學(xué)系統(tǒng)或所述攝像 元件的至少一方，以消除所計(jì)算出的運(yùn)動(dòng)量。
13.如權(quán)利要求11所述的攝影裝置，所述傳感器部由角速度傳感器、加速度傳感器以及方位傳感器中的至少一個(gè)傳感器構(gòu)成。
14.一種再生裝置，再生圖像，具備 權(quán)利要求8所述的圖像處理裝置；以及 再生部，再生由所述圖像校正部校正后的圖像。
15.一種圖像處理方法，計(jì)算參數(shù)，所述參數(shù)用于進(jìn)行由具備檢測(cè)運(yùn)動(dòng)的傳感器的攝影 裝置所拍攝的兩個(gè)以上的圖像間的對(duì)位，所述圖像處理方法包括圖像取得步驟，取得由所述攝影裝置所拍攝的圖像；傳感器信息取得步驟，取得傳感器信息，所述傳感器信息是在拍攝在所述圖像取得步 驟取得的圖像時(shí)的所述傳感器的輸出信號(hào)；限制條件生成步驟，利用在所述傳感器信息取得步驟取得的傳感器信息來生成限制條 件，所述限制條件是在計(jì)算所述參數(shù)時(shí)使所述參數(shù)的值在規(guī)定范圍內(nèi)的限制條件；以及參數(shù)計(jì)算步驟，根據(jù)在所述限制條件生成步驟生成的限制條件，針對(duì)在所述圖像取得 步驟取得的圖像，計(jì)算所述參數(shù)， 所述限制條件生成步驟包括特征向量生成步驟，生成特征向量，所述特征向量表示在所述傳感器信息取得步驟取 得的傳感器信息的特征；以及運(yùn)動(dòng)識(shí)別步驟，利用所述特征向量和所述攝影裝置的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)在所述 特征向量生成步驟生成的特征向量，識(shí)別所述攝影裝置的運(yùn)動(dòng)，所述關(guān)聯(lián)性是針對(duì)所述特征向量和所述攝影裝置的實(shí)際的運(yùn)動(dòng)預(yù)先進(jìn)行機(jī)器學(xué)習(xí)的 結(jié)果所得到的關(guān)聯(lián)性，在所述限制條件生成步驟中，根據(jù)在所述運(yùn)動(dòng)識(shí)別步驟識(shí)別的所述攝影裝置的運(yùn)動(dòng)來 確定所述規(guī)定范圍，從而生成所述限制條件。
16.一種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求15所述的圖像處理方法中包括的各個(gè)步馬聚ο
17.一種集成電路，計(jì)算參數(shù)，所述參數(shù)用于進(jìn)行由具備檢測(cè)運(yùn)動(dòng)的傳感器的攝影裝置 所拍攝的兩個(gè)以上的圖像間的對(duì)位，所述集成電路具備圖像取得部，取得由所述攝影裝置所拍攝的圖像；傳感器信息取得部，取得傳感器信息，所述傳感器信息是在拍攝由所述圖像取得部所 取得的圖像時(shí)的所述傳感器的輸出信號(hào)；限制條件生成部，利用由所述傳感器信息取得部所取得的傳感器信息來生成限制條 件，所述限制條件是在計(jì)算所述參數(shù)時(shí)使所述參數(shù)的值在規(guī)定范圍內(nèi)的限制條件；以及參數(shù)計(jì)算部，根據(jù)由所述限制條件生成部所生成的限制條件，針對(duì)由所述圖像取得部 所取得的圖像，計(jì)算所述參數(shù)， 所述限制條件生成部包括特征向量生成部，生成特征向量，所述特征向量表示由所述傳感器信息取得部所取得 的傳感器信息的特征；以及運(yùn)動(dòng)識(shí)別部，利用所述特征向量和所述攝影裝置的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)由所述特 征向量生成部所生成的特征向量，識(shí)別所述攝影裝置的運(yùn)動(dòng)，所述關(guān)聯(lián)性是針對(duì)所述特征向量和所述攝影裝置的實(shí)際的運(yùn)動(dòng)預(yù)先進(jìn)行機(jī)器學(xué)習(xí)的 結(jié)果所得到的關(guān)聯(lián)性，所述限制條件生成部，根據(jù)由所述運(yùn)動(dòng)識(shí)別部所識(shí)別的所述攝影裝置的運(yùn)動(dòng)來確定所 述規(guī)定范圍，從而生成所述限制條件。
全文摘要
提供計(jì)算用于即使在測(cè)量攝影裝置的運(yùn)動(dòng)的傳感器的精確度低的情況下也能以高精確度校正大的影像的晃動(dòng)的參數(shù)的圖像處理裝置。圖像處理裝置具備限制條件生成部(130)，利用傳感器信息來生成使參數(shù)的值在規(guī)定范圍內(nèi)的限制條件；以及參數(shù)計(jì)算部(140)，根據(jù)限制條件計(jì)算參數(shù)，限制條件生成部(130)包括特征向量生成部(131)，生成表示傳感器信息的特征的特征向量；以及運(yùn)動(dòng)分類部(132等)，利用特征向量和攝影裝置的運(yùn)動(dòng)之間的關(guān)聯(lián)性，根據(jù)由特征向量生成部(131)所生成的特征向量，識(shí)別攝影裝置的運(yùn)動(dòng)，該關(guān)聯(lián)性是針對(duì)特征向量和攝影裝置的實(shí)際的運(yùn)動(dòng)預(yù)先進(jìn)行機(jī)器學(xué)習(xí)的結(jié)果所得到的關(guān)聯(lián)性，限制條件生成部(130)，按照由運(yùn)動(dòng)分類部(132等)所識(shí)別的攝影裝置的運(yùn)動(dòng)的信息來確定規(guī)定范圍。
文檔編號(hào)H04N5/232GK101884213SQ200880118818
公開日2010年11月10日 申請(qǐng)日期2008年12月2日 優(yōu)先權(quán)日2007年12月3日
發(fā)明者大宮淳, 山田整, 木村雅之 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社