專利名稱：一種應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻自動(dòng)聚焦技術(shù)領(lǐng)域，尤其是應(yīng)用于多主體場景的視頻自動(dòng)聚焦方 法。
背景技術(shù)：
隨著數(shù)字圖像技術(shù)的發(fā)展，自動(dòng)聚焦技術(shù)的應(yīng)用范圍也不斷擴(kuò)大，現(xiàn)已在照相機(jī)、 攝像機(jī)、顯微鏡等儀器中得到了廣泛應(yīng)用。總體來講自動(dòng)聚焦主要有主動(dòng)聚焦和被動(dòng)聚焦 兩種實(shí)現(xiàn)方式主動(dòng)聚焦通過激光、紅外線或者超聲波對目標(biāo)進(jìn)行測距，根據(jù)所測得距離來 調(diào)節(jié)鏡頭的聚焦位置。被動(dòng)聚焦又分為基于裝置的聚焦和基于圖像的聚焦。其中基于圖像 的自動(dòng)聚焦不需要額外的輔助裝置所以被廣泛的用于數(shù)字?jǐn)z像機(jī)中。在目前應(yīng)用中，基于圖像的聚焦方式對環(huán)境的要求很高。比如場景中存在多個(gè)主 體時(shí)，這時(shí)候得到的清晰度曲線會(huì)成雙峰性或者是多峰性。例如圖2中所示，在場景中存在 遠(yuǎn)近不同的兩個(gè)主體以及更遠(yuǎn)端的背景。當(dāng)聚焦窗口包含這三個(gè)部分內(nèi)容時(shí)，其清晰度曲 線就會(huì)成雙峰性或者多峰性，圖2中為了討論方便忽略背景部分，因?yàn)楫?dāng)背景為白墻等低 清晰度物體時(shí)通常可以被忽略。如圖中的清晰度曲線所示，兩個(gè)峰值點(diǎn)分別代表了近端物 體和遠(yuǎn)端物體的聚焦位置。此時(shí)如果用常規(guī)的聚焦方法比如公開號為CN101509998(申請 號為200910097044. X)的中國專利《一種自動(dòng)聚焦方法及應(yīng)用該方法的顯微鏡》和公開號 為CNlO 1494737 (申請?zhí)栁?00910096472. 6)的中國專利《一種一體化攝像機(jī)裝置及自適應(yīng) 自動(dòng)聚焦方法》都會(huì)因?yàn)橄萑刖植繕O值，從而不能聚焦到最近的主體。而通常人們使用攝像 設(shè)備的時(shí)候，都會(huì)將視頻場景中的最近主體作為感興趣的部分，因此在多主體場景下的自 動(dòng)聚焦目的是為了能夠準(zhǔn)確、快速的聚焦到最近主體。

發(fā)明內(nèi)容
為了克服現(xiàn)有的多主體場景下的自動(dòng)聚焦方法的不能準(zhǔn)確快速的聚焦到最近主 體的不足，本發(fā)明提供一種攝像鏡頭能夠在多主體情況下實(shí)現(xiàn)準(zhǔn)確快速聚焦到最近主體的 應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，所述的自動(dòng)聚焦方法包括以下步驟
1)將鏡頭所對應(yīng)的場景分劃分為左、中、右三個(gè)子窗口；
2)分別對三個(gè)子窗口中的圖像進(jìn)行清晰度評價(jià)值計(jì)算；
3)按照預(yù)設(shè)的步長將聚焦鏡頭向近端方向移動(dòng)，其中近端方向是指聚焦平面靠近聚 焦鏡頭的方向，其對應(yīng)的反方向定義為遠(yuǎn)端方向；
4)在三個(gè)子窗口中分別獲得連續(xù)兩幀圖像的清晰度值變化情況，當(dāng)子窗口中圖像的 清晰度值增大時(shí)，則將該子窗口納入聚焦窗口中，否則將該子窗口從聚焦窗口中去除；
5)判定聚焦窗口中的子窗口的個(gè)數(shù)，當(dāng)子窗口個(gè)數(shù)不為零時(shí)，則說明未搜索到最近 主體則重復(fù)所述步驟2)至5)，否則進(jìn)入步驟6)；6)控制聚焦鏡頭向遠(yuǎn)端方向移動(dòng)，回溯到清晰度曲線的第一個(gè)波峰值位置，將該位置 作為鏡頭的聚焦位置。作為優(yōu)選的一種方案所述步驟2)中采用基于梯度閾值的清晰度計(jì)算方法，包括 以下步驟
(201)對獲取到的原始數(shù)字圖像，通過基于邊緣檢測的圖像Sobel算子進(jìn)行圖像的梯 度值的計(jì)算；
(202)利用獲得圖像的梯度值進(jìn)行直方圖計(jì)算，得到圖像的梯度直方(203)對圖像梯度直方圖進(jìn)行權(quán)值修正，得到加權(quán)梯度直方(204)通過修正后的加權(quán)梯度直方圖，計(jì)算獲得梯度閾值；
(205)對圖像進(jìn)行清晰度值計(jì)算，當(dāng)圖像梯度大于梯度閾值時(shí)才將其納入梯度值的累 加，將最終的梯度累加值作為該圖像的清晰度值。進(jìn)一步，所述視頻自動(dòng)聚焦方法還包括以下步驟
7)聚焦完成后則進(jìn)入觀察模式，判定是否需要進(jìn)入重聚焦，包括以下步驟
(701)初始化各子窗口的清晰度參考值，在聚焦模式結(jié)束時(shí)，將每個(gè)窗口的清晰度值 作為各個(gè)窗口的清晰度參考值；
(702)計(jì)算每個(gè)子窗口的平均清晰度值，平均清晰度值為在觀察模式下的清晰度值 在時(shí)間上的平均；
(703)判斷每個(gè)子窗口的平均清晰度值與其清晰度參考值的差值是否超過預(yù)先設(shè)定 的閾值，若超過則進(jìn)入步驟2)，否則仍然為觀察模式，并重復(fù)步驟(702)至(703)。再進(jìn)一步，所述步驟1)中，所述子窗口的大小為3/4HX1/4W，其中，H和W分別表 示獲得的視頻場景的高度和寬度。更進(jìn)一步，所述步驟5)中，當(dāng)聚焦窗口中子窗口個(gè)數(shù)最多為3個(gè)時(shí)，判定鏡頭位置 在聚焦位置的遠(yuǎn)端，控制聚焦鏡頭向近端移動(dòng)。本發(fā)明的技術(shù)構(gòu)思為本發(fā)明第一個(gè)要解決的技術(shù)問題是設(shè)計(jì)出一種精度高、速 度快的清晰度計(jì)算方法以表征圖像的清晰程度。本發(fā)明的第二個(gè)要解決的技術(shù)問題是設(shè)計(jì) 一種多主體聚焦策略，該聚焦方法能夠克服傳統(tǒng)聚焦方法在多主體場景下陷入局部極值的 問題。本發(fā)明第三個(gè)要解決的技術(shù)問題是要設(shè)計(jì)一種重聚焦機(jī)制，該機(jī)制能夠決定何時(shí)進(jìn) 行重聚焦。本發(fā)明針對三可變鏡頭的攝像設(shè)備。所謂三可變鏡頭是指焦距、聚焦、光圈三個(gè)參 數(shù)均可以通過電動(dòng)馬達(dá)驅(qū)動(dòng)變化的鏡頭。首先通過這些攝像設(shè)備實(shí)時(shí)采集原始視頻信號， 然后從這些原始視頻信號中經(jīng)過圖像獲取以及預(yù)處理得到符合標(biāo)準(zhǔn)格式的數(shù)字圖像。接著 由視頻自動(dòng)聚焦方法改變聚焦鏡頭的位置，實(shí)現(xiàn)對觀察場景中的最近主體得自動(dòng)聚焦。其 中視頻自動(dòng)聚焦方法分為聚焦模式和觀察模式。在上述步驟(2)中的清晰度計(jì)算中采用了一種基于梯度閾值的清晰度計(jì)算方法。在上述步驟(4)中聚焦區(qū)域選擇機(jī)制為在整個(gè)聚焦過程中，聚焦窗口依據(jù)各子 窗口中的清晰度值變化而動(dòng)態(tài)地進(jìn)行變化；當(dāng)子窗口中圖像的清晰度值增大時(shí)，則將該子 窗口納入聚焦窗口中，否則將該子窗口從聚焦窗口中去除。聚焦窗口中子窗口個(gè)數(shù)最多為 3個(gè)，說明此時(shí)鏡頭位置在聚焦位置的遠(yuǎn)端；當(dāng)聚焦窗口中的子窗口個(gè)數(shù)最少為0個(gè)，說明 此時(shí)鏡頭位置在聚焦位置的近端。
本發(fā)明有益的效果是能夠在多主體場景下，根據(jù)圖像的方法，快速、準(zhǔn)確地搜索 到場景中的最近主體，克服了傳統(tǒng)聚焦方法在多主體場景下陷入局部極值的問題。


圖1是多主體自動(dòng)聚焦方法的系統(tǒng)模塊框圖。圖2是多主體場景下的清晰度曲線示意圖。圖3是多主體自動(dòng)聚焦方法的聚焦主程序流程圖。圖4是多主體自動(dòng)聚焦方法的聚焦模式流程圖。圖5是多主體自動(dòng)聚焦方法的聚焦窗口的劃分示意圖。圖6是多主體自動(dòng)聚焦方法的清晰度計(jì)算流程圖。圖7是多主體自動(dòng)聚焦方法的觀察模式流程圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。參照圖廣圖7，一種應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，所述的自動(dòng)聚焦方 法包括以下步驟
1)將鏡頭所對應(yīng)的場景分劃分為左、中、右三個(gè)子窗口；
2)分別對三個(gè)子窗口中的圖像進(jìn)行清晰度評價(jià)值計(jì)算；
3)按照預(yù)設(shè)的步長將聚焦鏡頭向近端方向移動(dòng)，其中近端方向是指聚焦平面靠近聚 焦鏡頭的方向，其對應(yīng)的反方向定義為遠(yuǎn)端方向；
4)在三個(gè)子窗口中分別獲得連續(xù)兩幀圖像的清晰度值變化情況，當(dāng)子窗口中圖像的 清晰度值增大時(shí)，則將該子窗口納入聚焦窗口中，否則將該子窗口從聚焦窗口中去除；
5)判定聚焦窗口中的子窗口的個(gè)數(shù)，當(dāng)子窗口個(gè)數(shù)不為零時(shí)，則說明未搜索到最近主 體則重復(fù)所述步驟2)至5)，否則進(jìn)入步驟6)；
6)控制聚焦鏡頭向遠(yuǎn)端方向移動(dòng)，回溯到清晰度曲線的第一個(gè)波峰值位置，將該位置 作為鏡頭的聚焦位置。所述步驟2)中采用基于梯度閾值的清晰度計(jì)算方法，包括以下步驟
(201)對獲取到的原始數(shù)字圖像，通過基于邊緣檢測的圖像Sobel算子進(jìn)行圖像的 梯度值的計(jì)算；
(202)利用獲得圖像的梯度值進(jìn)行直方圖計(jì)算，得到圖像的梯度直方(203)對圖像梯度直方圖進(jìn)行權(quán)值修正，得到加權(quán)梯度直方(204)通過修正后的加權(quán)梯度直方圖，計(jì)算獲得梯度閾值；
(205)對圖像進(jìn)行清晰度值計(jì)算，當(dāng)圖像梯度大于梯度閾值時(shí)才將其納入梯度值的 累加，將最終的梯度累加值作為該圖像的清晰度值。所述視頻自動(dòng)聚焦方法還包括以下步驟
7)聚焦完成后則進(jìn)入觀察模式，判定是否需要進(jìn)入重聚焦，包括以下步驟 (701)初始化各子窗口的清晰度參考值，在聚焦模式結(jié)束時(shí)，將每個(gè)窗口的清晰度值 作為各個(gè)窗口的清晰度參考值；
(702)計(jì)算每個(gè)子窗口的平均清晰度值，平均清晰度值為在觀察模式下的清晰度值在時(shí)間上的平均；
(703)判斷每個(gè)子窗口的平均清晰度值與其清晰度參考值的差值是否超過預(yù)先設(shè)定 的閾值，若超過則進(jìn)入步驟2)，否則仍然為觀察模式，并重復(fù)步驟(702)至(703)。所述步驟1)中，所述子窗口的大小為3/4HX1/4W，其中，H和W分別表示獲得的視 頻場景的高度和寬度。所述步驟5)中，當(dāng)聚焦窗口中子窗口個(gè)數(shù)最多為3個(gè)時(shí)，判定鏡頭位置在聚焦位 置的遠(yuǎn)端，控制聚焦鏡頭向近端移動(dòng)。本實(shí)施例的視頻自動(dòng)聚焦方法可以用于顯微鏡、照相機(jī)、攝像機(jī)等需要調(diào)焦的各 種產(chǎn)品中，其系統(tǒng)模塊框圖，如圖1所示
所述的針對多主體自動(dòng)聚焦的系統(tǒng)模塊包括透鏡部分101、視頻采集模塊102、圖像處 理模塊103、聚焦搜索模塊104和聚焦執(zhí)行模塊105。首先光線經(jīng)過透鏡101上，該透鏡為 三可變透鏡。即該鏡頭的焦距、聚焦、光圈三個(gè)參數(shù)均可以通過電動(dòng)馬達(dá)驅(qū)動(dòng)變化。然后視 頻采集模塊102將采集到的原始視頻圖像數(shù)據(jù)進(jìn)行格式化處理，輸出符合BT. 656標(biāo)準(zhǔn)的視 頻信號。然后圖像獲取處理模塊103對視頻采集模塊輸出標(biāo)準(zhǔn)的視頻信號，進(jìn)行數(shù)字圖像 的獲取，并進(jìn)行圖像的清晰度值評價(jià)。聚焦搜索模塊104根據(jù)清晰度評價(jià)值，判定聚焦鏡頭 是否已經(jīng)在聚焦位置，若沒有則計(jì)算下一步聚焦鏡頭所需移動(dòng)的方向和步長，否則保持聚 焦鏡頭位置不變。聚焦執(zhí)行模塊105根據(jù)聚焦搜索模塊104計(jì)算得到聚焦鏡頭移動(dòng)方向和 步長，給驅(qū)動(dòng)鏡頭的步進(jìn)電機(jī)發(fā)送控制信號調(diào)整鏡頭位置，從而實(shí)現(xiàn)對鏡頭的調(diào)焦移動(dòng)。參照圖3所示，為本發(fā)明的自動(dòng)聚焦主程序流程圖，本文將按照此流程圖對于自 動(dòng)聚焦算法實(shí)例予以介紹說明。當(dāng)啟動(dòng)自動(dòng)聚焦時(shí)，首先判定是否是聚焦?fàn)顟B(tài)，是則進(jìn)入聚 焦模式否則進(jìn)入觀察模式。其中聚焦?fàn)顟B(tài)的判斷采用兩次向不同方向移動(dòng)鏡頭的方法，首 先讀取此時(shí)的鏡頭位置和清晰度值St，然后將聚焦鏡頭向近端方向移動(dòng)預(yù)設(shè)步長得到清晰 度值sn，在朝遠(yuǎn)端移動(dòng)預(yù)設(shè)步長得到Sf。如果St > Sn并且St > Sf，則說明此時(shí)的鏡頭位置 為聚焦位置，除此之外的情況說明為離焦位置。在自動(dòng)聚焦算法中，分為聚焦模式和觀察模式，且兩個(gè)模式能夠自動(dòng)切換。在聚焦 模式時(shí)，算法自動(dòng)搜索到場景中的最近主體位置，然后進(jìn)入觀察模式；在觀察模式時(shí)，算法 監(jiān)測每個(gè)子窗口清晰度值是否超過閾值，通過重聚焦機(jī)制來決定是否進(jìn)行重聚焦。程序進(jìn)入聚焦模式如圖4所示。首先對聚焦區(qū)域進(jìn)行子窗口劃分(SlO)，這主要解 決多主體聚焦時(shí)，搜索算法陷入局部最值以至于不能搜索到最近主體。子窗口的劃分如圖 5所示，整個(gè)圖像區(qū)域?qū)⒈粍澐殖勺?、中、右三個(gè)子窗口。每個(gè)子窗口的大小為1/4WX3/4H， 其中W和H分別代表原始圖像的寬帶和高度。分別計(jì)算每個(gè)子窗口的清晰度值(S20)，清晰度是為了評價(jià)圖像的清晰程度。因 為針對于多主體聚焦，窗口中包含著不同的主體，因此需要對三個(gè)子窗口分別進(jìn)行計(jì)算。為 了加快計(jì)算速度和精度，本發(fā)明提出了一種基于梯度閾值的清晰度計(jì)算方法。該方法通過 加權(quán)梯度直方圖進(jìn)行閾值計(jì)算，并通過該閾值去除圖像中的背景噪聲計(jì)算的詳細(xì)步驟如圖 6所示
首先對原始圖像信息用基于邊緣的圖像算子Sobel進(jìn)行邊緣檢測得到圖像的梯度值 (S201)。邊緣檢測的算子有很多，因?yàn)镾obel在精度上優(yōu)于其它算子，因此在本發(fā)明使用 Sobel算子進(jìn)行梯度計(jì)算。根據(jù)式(1)的圖像梯度計(jì)算方法
權(quán)利要求
一種應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所述的自動(dòng)聚焦方法包括以下步驟 1) 將鏡頭所對應(yīng)的場景分劃分為左、中、右三個(gè)子窗口； 2) 分別對三個(gè)子窗口中的圖像進(jìn)行清晰度評價(jià)值計(jì)算。
3) 按照預(yù)設(shè)的步長將聚焦鏡頭向近端方向移動(dòng)，其中近端方向是指聚焦平面靠近聚焦鏡頭的方向，其對應(yīng)的反方向定義為遠(yuǎn)端方向； 4) 在三個(gè)子窗口中分別獲得連續(xù)兩幀圖像的清晰度值變化情況，當(dāng)子窗口中圖像的清晰度值增大時(shí)，則將該子窗口納入聚焦窗口中，否則將該子窗口從聚焦窗口中去除； 5) 判定聚焦窗口中的子窗口的個(gè)數(shù)，當(dāng)子窗口個(gè)數(shù)不為零時(shí)，則說明未搜索到最近主體則重復(fù)所述步驟2)至5)，否則進(jìn)入步驟6)； 6) 控制聚焦鏡頭向遠(yuǎn)端方向移動(dòng)，回溯到清晰度曲線的第一個(gè)波峰值位置，將該位置作為鏡頭的聚焦位置。
2.如權(quán)利要求1所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所述步 驟2)中采用基于梯度閾值的清晰度計(jì)算方法，包括以下步驟(201)對獲取到的原始數(shù)字圖像，通過基于邊緣檢測的圖像Sobel算子進(jìn)行圖像的 梯度值的計(jì)算；(202)利用獲得圖像的梯度值進(jìn)行直方圖計(jì)算，得到圖像的梯度直方圖；(203)對圖像梯度直方圖進(jìn)行權(quán)值修正，得到加權(quán)梯度直方圖；(204)通過修正后的加權(quán)梯度直方圖，計(jì)算獲得梯度閾值；(205)對圖像進(jìn)行清晰度值計(jì)算，當(dāng)圖像梯度大于梯度閾值時(shí)才將其納入梯度值的 累加，將最終的梯度累加值作為該圖像的清晰度值。
3.如權(quán)利要求1或2所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所 述視頻自動(dòng)聚焦方法還包括以下步驟7)聚焦完成后則進(jìn)入觀察模式，判定是否需要進(jìn)入重聚焦，包括以下步驟(701)初始化各子窗口的清晰度參考值，在聚焦模式結(jié)束時(shí)，將每個(gè)窗口的清晰度值 作為各個(gè)窗口的清晰度參考值；(702)計(jì)算每個(gè)子窗口的平均清晰度值，平均清晰度值為在觀察模式下的清晰度值在 時(shí)間上的平均；(703)判斷每個(gè)子窗口的平均清晰度值與其清晰度參考值的差值是否超過預(yù)先設(shè)定 的閾值，若超過則進(jìn)入步驟2)，否則仍然為觀察模式，并重復(fù)步驟(702)至(703)。
4.如權(quán)利要求1或2所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所 述步驟1)中，所述子窗口的大小為3/4HX 1/4W，其中，H和W分別表示獲得的視頻場景的高 度和寬度。
5.如權(quán)利要求3所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所述步 驟1)中，所述子窗口的大小為3/4H l/4W，其中，H和W分別表示獲得的視頻場景的高度和寬度。
6.如權(quán)利要求1或2所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所 述步驟5)中，當(dāng)聚焦窗口中子窗口個(gè)數(shù)最多為3個(gè)時(shí)，判定鏡頭位置在聚焦位置的遠(yuǎn)端，控 制聚焦鏡頭向近端移動(dòng)。
7.如權(quán)利要求3所述的應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，其特征在于所述步 驟5)中，當(dāng)聚焦窗口中子窗口個(gè)數(shù)最多為3個(gè)時(shí)，判定鏡頭位置在聚焦位置的遠(yuǎn)端，控制聚 焦鏡頭向近端移動(dòng)。
全文摘要
一種應(yīng)用于多主體場景的視頻自動(dòng)聚焦方法，包括以下步驟1)將鏡頭所對應(yīng)的場景分劃分為左、中、右三個(gè)子窗口；2)分別對三個(gè)子窗口中的圖像進(jìn)行清晰度評價(jià)值計(jì)算；3)按照預(yù)設(shè)的步長將聚焦鏡頭向近端方向移動(dòng)；4)通過連續(xù)兩幀圖像的清晰度值變化情況，選擇是否將三個(gè)子窗口歸入聚焦窗口中；5)判定聚焦窗口中的子窗口的個(gè)數(shù)，當(dāng)子窗口個(gè)數(shù)不為零時(shí)，則說明未搜索到最近主體則重復(fù)所述步驟2)至5)，否則進(jìn)入步驟6)；6)控制聚焦鏡頭向遠(yuǎn)端方向移動(dòng)，回溯到清晰度曲線的第一個(gè)波峰值位置，將該位置作為鏡頭的聚焦位置。本發(fā)明控制攝像鏡頭能夠在多主體情況下實(shí)現(xiàn)準(zhǔn)確快速聚焦到最近主體。
文檔編號G02B7/36GK101950116SQ20101028082
公開日2011年1月19日 申請日期2010年9月14日 優(yōu)先權(quán)日2010年9月14日
發(fā)明者俞立, 劉連杰, 楊雷剛, 鄭雅羽 申請人:浙江工業(yè)大學(xué)