以及融合時,通過分析所述采集圖像的運 動信息修正掩膜圖像,根據(jù)修正后的掩膜圖像來選擇圖像進行圖像融合,解決了運動物體 場景融合問題,實現(xiàn)了對圖像進行高效高質(zhì)量的處理,提高了電子終端圖像處理能力。
[0138] 進一步地,步驟SlOO中當通過本端電子終端對圖像進行采集來獲取該至少兩張 采集圖像時,可以具體為:
[0139] 確定圖像場景的至少兩個區(qū)域,將所述確定的至少兩個區(qū)域作為對焦點對所述圖 像場景進行對焦采集;詳細地,本發(fā)明電子終端可以在顯示預覽窗口內(nèi)自動或者用戶手動 地確定要拍攝的圖像場景的至少兩個區(qū)域,然后依次將確定的至少兩個區(qū)域作為對焦點進 行圖像對焦采集,并記錄對焦采集參數(shù)。
[0140] 當電子終端自動確認至少兩個區(qū)域作為對焦點,可以通過下面圖2至圖4任一個 實施例來實現(xiàn),或者結(jié)合圖2實施例與圖4實施例,或者結(jié)合圖3實施例與圖4實施例來實 現(xiàn):
[0141] 如圖2示出的本發(fā)明提供的對焦采集方法的流程示意圖,包括:
[0142] 步驟S200 :設置圖像場景的對焦點個數(shù)為M個,M為大于1的自然數(shù);
[0143] 具體地,電子終端可以根據(jù)默認方案設置M個對焦點,如根據(jù)實際的圖像場景自 動檢測來設置M個對焦點;或者用戶手動自定義M個對焦點。
[0144] 步驟S202 :檢測圖像場景的人臉區(qū)域,得到L個人臉區(qū)域,L為零或正整數(shù);
[0145] 具體地,本發(fā)明各個實施例中的人臉區(qū)域可以具體包括人臉面部區(qū)域,或人體肢 體區(qū)域等。
[0146] 步驟S204 :若M等于L,則選擇所述L個人臉區(qū)域作為對焦點對所述圖像場景進行 對焦采集;
[0147] 步驟S206 :若M大于L,則選擇所述L個人臉區(qū)域以及M減L個感興趣區(qū)域作為對 焦點對所述圖像場景進行對焦采集;
[0148] 具體地,M減L個感興趣區(qū)域可以用戶手動選取的L個人臉區(qū)域外的其它感興趣 區(qū)域,或者是電子終端自動識別出的紋理最大區(qū)域,或特定訓練場景區(qū)域等。
[0149] 步驟S208 :若M小于L,則分析所述L個人臉區(qū)域的面積大小,從所述L個人臉區(qū) 域中按照先選擇面積最大后選擇面積最小的人臉區(qū)域的順序,選擇人臉區(qū)域作為對焦點, 并排除已被選擇的人臉區(qū)域重復執(zhí)行本步驟,直至選擇完M個人臉區(qū)域作為對焦點對所述 圖像場景進行對焦采集。
[0150] 具體地,例如設置的對焦點個數(shù)M為5,檢測的人臉區(qū)域L為8,那么先選擇人臉區(qū) 域面積最大的區(qū)域和面積最小的區(qū)域作為對焦點,再選擇面積第二大的區(qū)域和面積第二小 的區(qū)域作為對焦點,再選擇面積第三大的區(qū)域作為對焦點,即可選擇出5個對焦點對所述 圖像場景進行對焦采集。
[0151] 如圖3示出的本發(fā)明提供的對焦采集方法的另一實施例的流程示意圖,包括:
[0152] 步驟S300 :設置圖像場景的對焦點個數(shù)為M個,M為大于1的自然數(shù),且M小于等 于攝像頭采集圖像過程中獲得的視頻幀數(shù);
[0153] 具體地,電子終端攝像頭在采集對焦時從遠景到近景拉伸的過程中需要采集N幀 視頻數(shù)據(jù),N為自然數(shù),N具體由對焦時間和采集數(shù)據(jù)的速度決定;那么設置的對焦點個數(shù)M 需要小于等于N。
[0154] 步驟S302 :將所述圖像場景劃分為A個區(qū)域,A為正整數(shù);
[0155] 具體地,電子終端可以根據(jù)圖像場景的內(nèi)容進行劃分區(qū)域,但不限于根據(jù)圖像場 景的內(nèi)容來劃分,也可以根據(jù)其他的條件劃分區(qū)域;還可以標記A個區(qū)域中各個區(qū)域在N幀 視頻中最清晰(如梯度最大)像素的歸屬幀號〇,…N-I。
[0156] 步驟S304 :檢測圖像場景的人臉區(qū)域,得到L個人臉區(qū)域,L為零或正整數(shù);
[0157] 具體地,選擇N幀圖像中的至少一張圖像進行人臉檢測;更詳細地,如果該檢測出 的L個人臉區(qū)域中存在η個相同的歸屬幀號,η為自然數(shù),則將L值減η并保存更新L值。
[0158] 步驟S306 :若M等于L,則選擇所述L個人臉區(qū)域作為對焦點對所述圖像場景進行 對焦采集;
[0159] 步驟S308 :若M小于L,則分析所述L個人臉區(qū)域的面積大小,從所述L個人臉區(qū) 域中按照先選擇面積最大后選擇面積最小的人臉區(qū)域的順序,選擇人臉區(qū)域作為對焦點, 并排除已被選擇的人臉區(qū)域重復執(zhí)行本步驟,直至選擇完M個人臉區(qū)域作為對焦點對所述 圖像場景進行對焦采集;
[0160] 具體地,可以參考圖2實施例中的步驟S208,這里不再贅述。
[0161] 步驟S310 :若M大于L,則選擇所述L個人臉區(qū)域作為對焦點,并根據(jù)所述A個區(qū) 域在每幀視頻中的最清晰區(qū)域面積的大小,從大到小選取所述A個區(qū)域中的M減L個作為 對焦點,對所述圖像場景進行對焦采集;其中所述最清晰區(qū)域面積包括信噪比最大、或梯度 最大、或直流量最大的區(qū)域面積。
[0162] 具體地,可以通過計算A個區(qū)域在視頻數(shù)據(jù)每幀中為最清晰區(qū)域的面積占單幀圖 像面積比例R,R值最大對應的區(qū)域即為A個區(qū)域在每幀視頻中的最清晰區(qū)域面積最大的區(qū) 域,從大到小選取R值對應的M-L個區(qū)域作為對焦點,對所述圖像場景進行對焦采集。
[0163] 如圖4示出的本發(fā)明提供的對焦采集方法的另一實施例的流程示意圖,包括:
[0164] 步驟S400 :接收對焦區(qū)域選擇指令;
[0165] 具體地,用戶可以通過電子終端的顯示屏手動選取需要進行對焦采集的區(qū)域,電 子終端接收到用戶輸入的對焦區(qū)域選擇指令。
[0166] 步驟S402 :根據(jù)所述對焦區(qū)域選擇指令確定圖像場景的至少兩個區(qū)域;
[0167] 步驟S404 :將所述確定的至少兩個區(qū)域作為對焦點對所述圖像場景進行對焦采 集。
[0168] 需要說明的是,本發(fā)明圖1實施例步驟SlOO不限于上述實施方式,還可以通過采 集圖像場景下所有不同深度信息的預覽圖像(該預覽圖像即電子終端在拍攝圖像之前的 取景過程中所得到的圖像,),然后根據(jù)所述預覽圖像分析確定至少兩個區(qū)域作為對焦點對 所述圖像場景進行對焦采集。
[0169] 再進一步地,本發(fā)明實施例中融合后的圖像包括以下至少一項:所述采集圖像、對 所述采集圖像進行配準映射裁剪后的處理圖像、或?qū)λ霾杉瘓D像進行配準映射裁剪以及 融合后的融合圖像;
[0170] 可理解的,上述實施例的步驟S102中根據(jù)對焦采集參數(shù)對采集圖像進行融合可 以包括以下至少一項:根據(jù)對焦采集參數(shù)選取采集圖像;或者根據(jù)對焦采集參數(shù)對采集圖 像進行配準映射裁剪處理;或者根據(jù)對焦采集參數(shù)對采集圖像進行配準映射裁剪以及融合 處理;
[0171] 具體地,所述對焦采集參數(shù)包括以下至少一項:每張采集圖像從對焦起始至對焦 結(jié)束的時間值、每張采集圖像從對焦起始至對焦結(jié)束的鏡頭拉伸長度值、或每張采集圖像 對焦拍攝時深度傳感器的參數(shù)信息;可理解地,該鏡頭拉伸長度值即鏡頭與光傳感器之間 的距離。
[0172] 詳細地,假如采集了三張不同對焦點的圖像,那么該對焦采集參數(shù)可以為該3張 采集圖像中每張采集圖像各自從對焦起始至對焦結(jié)束的時間值,即,電子終端對每張采集 圖像進行采集分析時從對焦分析開始至對焦分析結(jié)束的時長;可以理解的是,對焦分析結(jié) 束后可以根據(jù)設定進行拍攝,或者等待用戶輸入的拍攝指令進行拍攝;
[0173] 或者該對焦采集參數(shù)可以為3張采集圖像中每張采集圖像各自從對焦起始至對 焦結(jié)束的鏡頭拉伸長度值,即,電子終端對每張采集圖像進行采集分析時,對焦分析開始時 對應的鏡頭與光傳感器之間的距離值與對焦分析結(jié)束時對應的鏡頭與光傳感器之間的距 離值的差值,即為每張采集圖像從對焦起始至對焦結(jié)束的鏡頭拉伸長度值。
[0174] 再具體地,上述實施例的步驟S102可以包括:根據(jù)所述對焦采集參數(shù)判斷是否對 采集圖像進行融合;當判斷結(jié)果為否時,則根據(jù)所述采集圖像的采集成功數(shù)量,從所述采集 圖像中選取一張圖像;當判斷結(jié)果為是時,對所述采集圖像進行配準映射裁剪處理得到處 理圖像,或者對所述采集圖像進行配準映射裁剪以及融合得到融合圖像。
[0175] 具體地,上述根據(jù)所述對焦采集參數(shù)判斷是否對采集圖像進行融合的步驟,可以 通過以下三種方案中任意一種或者多種結(jié)合來實現(xiàn):
[0176] 方案1,該對焦采集參數(shù)包括每張采集圖像從對焦起始至對焦結(jié)束的時間值,那么 將所述時間值按照大小進行排序,當依次從小到大的相鄰兩個時間值之差的絕對值大于預 設閾值,則判斷出需要將所述兩個時間值對應的采集圖像進行融合;當依次從小到大的相 鄰兩個時間值之差的絕對值不大于預設閾值,則判斷出不需要將所述兩個時間值對應的采 集圖像進行融合,并舍棄所述兩個時間值中較大的時間值,重復執(zhí)行本步驟直至判斷出所 有需要進行融合的采集圖像;
[0177] 具體地,例如已拍攝了 M個對焦點的圖像Ii (i = 0,…M-1),獲取到每張采集圖像 從對焦起始至對焦結(jié)束的時間值為ti (i = 0,…Μ-1),若abs (ti-t j) >Τ,其中i = 0,…M-I ; j = 〇,…;T為預設閾值(T可以根據(jù)實際設備進行設置),則需要融合圖像^〗」,根據(jù) 上述方法找出所有需要進行融合的圖像,然后進行融合;再詳細地,假設拍攝了 3個對焦點 的圖像,abs(tl-tO)>T,則圖像II、IO需要進行融合;abs(t2-tl)〈T,則圖像12、Il不需要 進行融合;abs (t3-tl)>T,則圖像13、Il需要進行融合;那么,圖像13、Il和IO需要進行融 合。
[0178] 方案2,該對焦采集參數(shù)包括每張采集圖像從對焦起始至對焦結(jié)束的鏡頭拉伸長 度值,那么將所述長度值按照大小進行排序,當依次從小到大的相鄰兩個長度值之差的絕 對值大于預設閾值,則判斷出需要將所述兩個長度值對應的采集圖像進行融合;當依次從 小到大的相鄰兩個長度值之差的絕對值不大于預設閾值,則判斷出不需要將所述兩個長度 值對應的采集圖像進行融合,并舍棄所述兩個長度值中較大的時間值,重復執(zhí)行本步驟直 至判斷出所有需要進行融合的采集圖像;
[0179] 具體地,例如已拍攝了 M個對焦點的圖像Ii (i = 0,…M-1),獲取到每張采集圖像 從對焦起始至對焦結(jié)束的鏡頭拉伸位置為pi(i = 〇,…Μ-1),若dbs(pi-pj)>D,其中i = 0,…M-I ;j = 0,…M-I ;D為預設閾值(D可以根據(jù)實際設備進行設置),則需要融合圖像 Π 、Ij,根據(jù)上述方法找出所有需要進行融合的圖像,然后進行融合;再詳細地,假設拍攝了 3個對焦點的圖像,dbs(pl-pO)>D,則圖像IUIO需要進行融合;dbs(p2-pl)〈D,則圖像12、 Il不需要進行融合;dbs(p3-pl)>D,則圖像13、Il需要進行融合;那么,圖像13、Il和IO需 要進行融合。
[0180] 方案3,該對焦采集參數(shù)包括每張采集圖像對焦拍攝時深度傳感器的參數(shù)信息,那 么根據(jù)每張采集圖像對焦拍攝時深度傳感器的參數(shù)信息進行融合判斷;具體地,根據(jù)深度 傳感器,計算出不同采集圖像對焦位置的深度信息,與方案2中根據(jù)鏡頭拉伸位置大小來 進行融合判斷類似,這里不再贅述。
[0181] 進一步地,本發(fā)明經(jīng)過根據(jù)所述對焦采集參數(shù)判斷是否對采集圖像進行融合后, 可以有三種融合并聯(lián)合編碼處理方式,下面結(jié)合圖5至圖7來進行詳細說明:
[0182] 如圖5示出的本發(fā)明提供的圖像融合并聯(lián)合編碼的流程示意圖,包括:
[0183] 步驟S500 :當根據(jù)所述對焦采集參數(shù)判斷出不對采集圖像進行融合時,根據(jù)所述 采集圖像的采集成功數(shù)量,從所述采集圖像中選取一張圖像;
[0184] 具體地:若對焦采集圖像時的采集成功個數(shù)為1,則選取對焦采集成功的圖像;若 對焦采集圖像時的采集成功個數(shù)不為1,則選取信噪比最大、或梯度最大、或直流量最大的 圖像。
[0185] 即,若不需要進行圖像融合處理時,可以選取一張最佳圖像進行后續(xù)的聯(lián)合編碼 處理。
[0186] 步驟S502 :對選取的采集圖像進行聯(lián)合編碼。
[0187] 如圖6示出的本發(fā)明提供的圖像融合并聯(lián)合編碼的另一實施例的流程示意圖,包 括:
[0188] 步驟S600 :當根據(jù)所述對焦采集參數(shù)判斷出對采集圖像進行融合時,對所述采集 圖像進行配準映射裁剪處理得到處理圖像;
[0189] 具體地,將獲取的所有采集圖像按照第一圖像進行配準處理;所述第一圖像為獲 取的所有采集圖像中的一張圖像;對配準處理后的所有采集圖像進行映射處理,得到映射 圖像;將得到的所有映射圖像及所述第一圖像進行裁剪處理。詳細地,
[0190] 圖像配準可以米用現(xiàn)有技術SIFT (Scale Invariant Feature Transform)算法,或 SURF (Speeded-up Robust Features)算法,或角點檢測,提取圖像特征點,再進行匹配;
[0191] 對配準處理后所有圖像進行映射處理,映射時按矩形