一種多攝像頭陣列的深度感知方法
【專利摘要】本發(fā)明提供了一種多攝像頭陣列的深度感知方法，采用激光散斑投射器或其它投影裝置投射出固定圖案，對(duì)空間進(jìn)行結(jié)構(gòu)光編碼，再利用在同一基線上的多個(gè)攝像頭獲取所投射的圖案，通過兩種塊匹配運(yùn)動(dòng)估計(jì)方法計(jì)算深度，包括輸入圖像與參考圖案之間的塊匹配計(jì)算和輸入圖像兩兩之間的雙目塊匹配計(jì)算，再在多個(gè)深度圖之間根據(jù)所檢測(cè)的距離范圍、投射陰影進(jìn)行深度圖融合，消除陰影和噪聲的干擾，生成高分辨率、高精度的圖像深度信息。該方法易于采用硬件實(shí)現(xiàn)，可提升深度測(cè)量的精度、拓展深度測(cè)量的范圍。
【專利說明】一種多攝像頭陣列的深度感知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、人機(jī)交互和機(jī)器視覺【技術(shù)領(lǐng)域】，具體涉及一種多攝像頭陣列的深度感知方法。
【背景技術(shù)】
[0002]視覺是人類觀察與認(rèn)知世界最直接、最主要的途徑。我們生活在一個(gè)三維世界中，人類視覺不僅能感知物體表面的亮度、顏色、紋理信息，運(yùn)動(dòng)情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機(jī)器視覺能實(shí)時(shí)獲得高精度的三維深度信息、提高機(jī)器的智能水平是當(dāng)前機(jī)器視覺系統(tǒng)研究的難點(diǎn)。
[0003]在工業(yè)領(lǐng)域，高分辨率、高精度的三維深度信息在汽車輔助安全駕駛、高速機(jī)床加工、工業(yè)建模、3D打印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺感知等領(lǐng)域有著廣泛的應(yīng)用需求。在消費(fèi)電子領(lǐng)域，深度感知技術(shù)和裝置有助于提高電子產(chǎn)品的智能水平和交互能力，可為用戶帶來“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在智能電視、智能手機(jī)、家電、平板PC等領(lǐng)域?qū)崿F(xiàn)創(chuàng)新應(yīng)用。
[0004]基于結(jié)構(gòu)光編碼的主動(dòng)視覺模式可以較為準(zhǔn)確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過程簡(jiǎn)單、算法計(jì)算量小等優(yōu)勢(shì)。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動(dòng)視覺模式，即通過紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點(diǎn)，由攝像頭采集獲得散斑圖像，再通過圖像深度感知裝置計(jì)算獲得物體的深度圖信息。Kinect可實(shí)時(shí)獲取深度圖(0.8?3.8米范圍，640*480，30f/s)，深度距離測(cè)量最優(yōu)處可精確到3毫米，具備3D圖像識(shí)別及動(dòng)作捕捉功能，使得人能夠以手勢(shì)、體感動(dòng)作與智能終端進(jìn)行交互。2013年美國蘋果公司公布了一項(xiàng)最新申請(qǐng)的發(fā)明專利“Depth Perception Deviceand System，深度感知設(shè)備與系統(tǒng)”，利用激光發(fā)射圖形、攝像頭獲取散斑圖后計(jì)算出深度距離，該技術(shù)有可能作為其未來創(chuàng)新產(chǎn)品的虛擬交互和輸入設(shè)備進(jìn)行應(yīng)用。
[0005]當(dāng)前微軟、蘋果所開發(fā)的深度感知裝置都采用單一的攝像頭接收模式，且主要適用于消費(fèi)類電子，在深度圖分辨率、精度、距離和實(shí)時(shí)性等方面難以滿足無人車輔助駕駛、高速機(jī)床加工、工業(yè)三維建模、3D打印等領(lǐng)域的應(yīng)用需求。當(dāng)前大范圍、高精度的深度感知裝置已成為不同應(yīng)用領(lǐng)域研究的熱點(diǎn)和急需突破的關(guān)鍵設(shè)備。

【發(fā)明內(nèi)容】

[0006]鑒于此，本發(fā)明提供了一種多攝像頭陣列的深度感知方法，該方法采用激光散斑投射器或其它投影裝置投射出固定圖案，對(duì)空間進(jìn)行結(jié)構(gòu)光編碼，再利用在同一基線上的多個(gè)攝像頭獲取所投射的圖案，通過各自的深度計(jì)算和深度圖融合，生成高分辨率、高精度的圖像深度信息(距離)。
[0007]根據(jù)本發(fā)明的一種多攝像頭陣列的深度感知方法，包括以下步驟:
[0008]步驟1、采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用投射器投射固定圖案的圖像，對(duì)投射空間進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定；
[0009]步驟2、多攝像頭陣列接收一定波長(zhǎng)范圍的投射器所投射的圖案；
[0010]步驟3、多攝像頭陣列的K個(gè)攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進(jìn)行預(yù)處理；
[0011]步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運(yùn)動(dòng)估計(jì)模塊進(jìn)行匹配計(jì)算，包括各輸入圖像I1, 12，…，Ik與其對(duì)應(yīng)的參考圖案R1, R2,…，Rk之間的塊匹配計(jì)算以及各輸入圖像I1, I2,…，Ik兩兩之間的雙目塊匹配計(jì)算；
[0012]步驟5、進(jìn)行深度計(jì)算:將各攝像頭的輸入圖像I1, 12，…，Ik與對(duì)應(yīng)參考圖案R1,R2,…，Rk塊匹配計(jì)算得到的X軸方向偏移量Λ X1, Λ X2,…，Λχκ，結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算各輸入圖像中對(duì)應(yīng)同一位置的投射圖像塊Wockmxn中心點(diǎn)O的深度信息dk，k= 1，2...，Κ ;將各輸入圖像11;12，…，Ik兩兩之間雙目匹配得到X軸方向偏移量Ax1,2，Ax2,3…，Λ Xih, κ，結(jié)合攝像頭圖像傳感器焦距fk、S1^k相連兩個(gè)攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算得到同一位置的投射圖像塊Wockmxn中心點(diǎn)ο的深度Ih息 k，k = 2，3...，K ；
[0013]步驟6、進(jìn)行深度融合:利用輸入圖像兩兩之間雙目匹配得到的深度信息Cl1,2，d2,3，…，cVu對(duì)輸入圖像與參考圖案匹配得到的深度信息Clpd2,…4進(jìn)行修正，再根據(jù)修正后的深度信息與參考閾值的比較結(jié)果，選擇某一攝像頭對(duì)應(yīng)的深度值作為輸出。
[0014]本發(fā)明突破了當(dāng)前點(diǎn)激光或線激光掃描儀無法獲取大范圍、長(zhǎng)距離、高精度深度信息的局限，改善了激光三角測(cè)距方法隨著距離增加、測(cè)距精度急劇下降的缺陷。采用本發(fā)明技術(shù)方案的有益效果還將通過以下實(shí)施例的闡述而得到具體的體現(xiàn)。
【專利附圖】

【附圖說明】`
[0015]圖1是本發(fā)明實(shí)施例的多攝像頭陣列深度感知方法流程圖；
[0016]圖2是本發(fā)明實(shí)施例的多攝像頭陣列結(jié)構(gòu)示意圖；
[0017]圖3是激光三角測(cè)距方法示意圖；
[0018]圖4是本發(fā)明實(shí)施例的多攝像頭深度感知計(jì)算模塊結(jié)構(gòu)圖；
[0019]圖5是本發(fā)明實(shí)施例的輸入圖像塊在多攝像頭中成像示意圖；
[0020]圖6是本發(fā)明實(shí)施例的輸入圖像塊與最優(yōu)匹配塊之間偏移量示意圖；
[0021]圖7是本發(fā)明實(shí)施例的輸入圖像兩兩之間進(jìn)行雙目塊匹配示意圖；
[0022]圖8是本發(fā)明實(shí)施例的深度融合示意圖。
【具體實(shí)施方式】
[0023]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。
[0024]總體而言，本發(fā)明實(shí)施例的多攝像頭陣列深度感知方法采用激光散斑投射器或其它投影裝置投射出固定圖案，對(duì)空間進(jìn)行結(jié)構(gòu)光編碼，再利用在同一基線上的多個(gè)攝像頭獲取所投射的圖案，通過各自的深度計(jì)算和深度圖融合，生成高分辨率、高精度的圖像深度信息(距離)，進(jìn)行三維圖像的目標(biāo)識(shí)別或動(dòng)作捕捉。
[0025]圖1示意性圖示了本發(fā)明實(shí)施例的多攝像頭陣列深度感知方法的整體流程。為了清楚說明，下文中將結(jié)合圖2、圖3、圖4、圖5、圖6、圖7、圖8來描述該方法。
[0026]步驟1、采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用投射器投射固定圖案的圖像，對(duì)投射空間進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定。
[0027]對(duì)于采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，首先由投射器主動(dòng)投射出固定圖案對(duì)投射空間進(jìn)行編碼，即對(duì)投射空間進(jìn)行特征標(biāo)定。其中，投射器可以是激光散斑投射器或投影裝置，其中激光散斑投射器可以投射出的相干激光束(紅外、可見光、紫外線、不可見光)，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點(diǎn)組成的散斑圖像，而投影裝置則可以投射出可控的編碼圖案。投射器所投射出的圖案一般是固定的，或采用一定的控制策略與攝像頭接收?qǐng)D像的圖像傳感器進(jìn)行同步后改變其投射出的圖案；同一幅圖案在水平或垂直方向的一定范圍特征不重復(fù)或隨機(jī)分布。投射器所投射的視場(chǎng)角FoV(包括水平、垂直視場(chǎng)角)一般大于接收攝像頭的視場(chǎng)角FoV。
[0028]步驟2、多攝像頭陣列接收一定波長(zhǎng)范圍的投射器所投射的圖案。
[0029]其中，由多攝像頭陣列(K個(gè))接收所投射的圖案。優(yōu)選地，各攝像頭與投射器的光軸平行，且光學(xué)中心點(diǎn)在同一基線上。各攝像頭可以對(duì)稱、非對(duì)稱方式置于投射器的左側(cè)、右側(cè)、上側(cè)、下側(cè)均不影響本
【發(fā)明內(nèi)容】
的實(shí)施。如圖2所示，以K = 3個(gè)接收攝像頭為例，攝像頭1、攝像頭2、攝像頭K與投射器之間的基線距離分別為S1、S2、SK，且Sk > S2 > S1 ;其焦距分別為f1;f2，fK，焦距可相等、也可互不相等，一般fK≥f2≥f:;視場(chǎng)角也可以互不相等；各攝像頭的功能定位有所不同，由于視場(chǎng)角和固定焦距測(cè)量范圍的限制，攝像頭I適用于捕獲近距離圖像，攝像頭2用于捕獲中間距離的圖像、攝像頭K用于捕獲最遠(yuǎn)距離的圖像，由于攝像頭K的基線距離Sk大于其它兩個(gè)攝像頭，根據(jù)圖3所示的激光三角測(cè)距方法d =fS/Λ x(d為深度距離，f為焦距，S為基線距離，Λ X表示像素位移值)，攝像頭K對(duì)遠(yuǎn)距離物體的深度測(cè)量精度要高于攝像頭2和攝像頭I。但攝像頭K取代不了其它兩個(gè)攝像頭，因其視場(chǎng)角和固定焦距的測(cè)量范圍所限，對(duì)近距離物體無法識(shí)別。
[0030]優(yōu)選地，各攝像頭一般通過濾光片只接收一定波長(zhǎng)范圍的投射器發(fā)出的圖像，最大程度地消除其它光源或光線的干擾，從而可清晰穩(wěn)定地接收投射器所投射的圖案。
[0031]另外，多攝像頭陣列在投入工作前需先采集、固化各自的參考圖案。所述的參考圖案是利用投射器投射出固定圖案到與該投射器的光學(xué)中心軸(Ζ軸)垂直、且距離投射器為d的平面上(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的圖像，該平面可稱之為參考基準(zhǔn)平面)，由攝像頭采集得到靜態(tài)圖像，并經(jīng)圖像預(yù)處理后存儲(chǔ)固化在存儲(chǔ)器中用于匹配基準(zhǔn)和深度感知計(jì)算的標(biāo)準(zhǔn)圖案。其中，激光散斑投射器的參考圖案是由許多散斑點(diǎn)組成、已知距離d的標(biāo)準(zhǔn)散斑圖。參考圖案的獲取可以通過如上方式實(shí)現(xiàn)，這些方式僅用于說明上述實(shí)施例，并非限制上述實(shí)施例，因?yàn)楸绢I(lǐng)域技術(shù)人員也可以采用其他方式獲取參考圖案。
[0032]步驟3、多攝像頭陣列的K個(gè)攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進(jìn)行預(yù)處理。
[0033]所述的圖像預(yù)處理是攝像頭采集后對(duì)輸入圖像進(jìn)行處理的重要內(nèi)容，對(duì)不同特性的輸入圖像進(jìn)行自適應(yīng)、一致性的處理，一般包括視頻格式轉(zhuǎn)換(例如Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(例如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)等，其中增強(qiáng)方法包括直方圖增強(qiáng)、灰度線性增強(qiáng)、二值化處理等，但不限于這些傳統(tǒng)的增強(qiáng)方法。圖像預(yù)處理的目的是通過輸入圖像的預(yù)處理，使圖案更清晰、減少誤匹配和噪聲干擾，并有利于本
【發(fā)明內(nèi)容】
的深度感知計(jì)算。參考圖案及后續(xù)攝像頭實(shí)時(shí)采集的輸入圖像都需經(jīng)過相同的圖像預(yù)處理模塊，但各攝像頭對(duì)應(yīng)的預(yù)處理模塊可以不相同，其目的是為了適合不同距離的輸入圖像畫面處理。
[0034]步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運(yùn)動(dòng)估計(jì)模塊進(jìn)行匹配計(jì)算，包括各輸入圖像I1, I2,…，Ik與其對(duì)應(yīng)的參考圖案之間的塊匹配計(jì)算以及各輸入圖像IpI2,…，Ik兩兩之間的雙目塊匹配計(jì)算。如圖4所示。
[0035]優(yōu)選地，上述塊匹配運(yùn)動(dòng)估計(jì)過程中的兩種塊匹配計(jì)算可并行進(jìn)行。
[0036]所述的輸入圖像的獲取也可以采用上述參考圖案的獲取方法，輸入圖像中含有要測(cè)量深度信息的目標(biāo)物體，其深度信息未知，其背景并不限定，但目標(biāo)物體須在投射器照射的有效距離范圍內(nèi)。
[0037]以圖2所示的K = 3個(gè)攝像頭進(jìn)行深度感知為例，攝像頭1、攝像頭2…攝像頭K的輸入圖像分別為1、V..Ik，其對(duì)應(yīng)的參考圖案分別為如圖5所示，投射器投射出的圖像塊A(大小為mXn，其中m、η都是整數(shù)，m與η可以相等或不相等)在參考圖案中的距離為山該距離為已知距離，圖像塊A在參考圖案中的圖案固定，且在水平或垂直方向一定范圍內(nèi)該圖像塊具有相對(duì)的唯一性，即特征與其它相同大小的圖像塊特征不同，能與其它相同大小的圖像塊區(qū)分開來。圖像塊A投射到其它距離(更近或更遠(yuǎn))上就變成圖像塊A,，根據(jù)光線是直線傳播的特點(diǎn)，圖像塊A,與圖像塊A在圖形上在一定的距離范圍內(nèi)存在極高的相似性，雖然由于縮放緣故存在大小不同、由于距離不同也存在亮暗不同，甚至由于相干光干涉成像的原因其同一特征點(diǎn)在不同距離形狀、大小、亮暗也不相同，但這些不影響圖像塊A'與圖像塊A在一定的距離范圍內(nèi)的相似性，可以假設(shè)認(rèn)為圖像塊A'與圖像塊A在一定的范圍內(nèi)圖形是相同的。本發(fā)明塊匹配運(yùn)動(dòng)估計(jì)模塊的重要內(nèi)容就是將投射圖像塊A'在其參考圖案中快速、準(zhǔn)確地找到與之最為匹配(相似度最高)的圖像塊A，找到最優(yōu)匹配塊即得到兩個(gè)圖像塊之間的運(yùn)動(dòng)向量，可用X、Y軸方向的偏移量(Λχ，ΔΥ)表示。圖5所示，同一投射圖像塊A'與匹配圖像塊A在各攝像頭的圖像傳感器芯片中由于焦距f、基線距離S的不同所呈現(xiàn)的運(yùn)動(dòng)向量也不相同，以X軸方向的偏移量ΛΧ表示，攝像頭1、攝像頭2…攝像頭K的X軸偏移量分別為Ax” Axf Δχκ，其中AXk = Xk-Xk'。
[0038]所述的投射圖像塊是指塊匹配運(yùn)動(dòng)估計(jì)過程中、輸入圖像內(nèi)選取的、用于匹配計(jì)算的圖像塊blockmXn,大小為mXn,其中m、η都是整數(shù)，m與η可以相等或不相等。其大小的選取根據(jù)水平或垂直方向一定范圍內(nèi)該圖像塊具有相對(duì)的唯一性，即該圖像塊特征與其它相同大小的圖像塊特征不同，能與其它相同大小的圖像塊區(qū)分開來。
[0039]如圖6所示，輸入圖像Ip If Ik分別與其對(duì)應(yīng)的參考圖案札、民…Rk之間進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)的工作過程為:在輸入圖像中提取一定大小的輸入圖像塊Wockmxn，中心點(diǎn)為ο ;在參考圖案中提取跟輸入圖像塊中心點(diǎn)ο點(diǎn)位置對(duì)應(yīng)、一定范圍大小的匹配搜索窗MatchMXN,大小為MXN，M、N都是整數(shù)，可以相等或不相等，一般M≥N、M > m、N≥η ;然后在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊matchk，大小為mXn，匹配塊中心點(diǎn)ok，k是整數(shù)，表示匹配塊個(gè)數(shù)。接下來分別計(jì)算輸入圖像塊A' Wockmxn與k個(gè)匹配塊match,之間的相似度值matchjalue,，該值作為圖像塊匹配的相似度測(cè)量指標(biāo)。
[0040]優(yōu)選地 ，本發(fā)明的相似度值計(jì)算方法采用輸入圖像塊與匹配塊對(duì)應(yīng)像素之間求差絕對(duì)之和(SAD)的方法，但不限于這種方法。
[0041]接下來在所有相似度值match_valuek中求最小值，該值對(duì)應(yīng)的匹配塊match,即為圖像塊A' blockmXn擬搜尋的最優(yōu)匹配塊A,該最小值對(duì)應(yīng)的位置信息即為圖像塊blockmXn中心點(diǎn)ο的偏移量(Δχ, Δ y),即該輸入圖像塊A'的運(yùn)動(dòng)向量。如圖6所不輸入圖像塊為輸入散斑圖灰色表示區(qū)域，最優(yōu)匹配塊為參考散斑圖的匹配搜索窗中斜線表示區(qū)域，其中心點(diǎn)Ok與匹配搜索窗blockMXN中心點(diǎn)ο (該中心點(diǎn)ο與輸入圖像塊中心點(diǎn)ο位置對(duì)應(yīng))的最優(yōu)偏移量為(Δχ, Ay)，分別表不Χ、Υ軸方向位移，偏移量值為匹配搜索窗中心點(diǎn)ο坐標(biāo)值(X，Y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值U丨，I')計(jì)算得到，有正負(fù)，正負(fù)對(duì)應(yīng)上下、左右坐標(biāo)關(guān)系，在空間上則對(duì)應(yīng)與參考圖案平面的前后關(guān)系。如最優(yōu)偏移量為負(fù)，表示比參考圖案距離更遠(yuǎn)，圖5中Ad值為正；最優(yōu)偏移量為正，表示比參考圖案距離更近，圖5中Ad值為負(fù)；同時(shí)偏移量值越大表示該圖像塊中心點(diǎn)O與已知深度距離的參考圖案平面之間的垂直距離越遠(yuǎn)，即圖5中Ad值越大，因參考圖案平面相對(duì)投射器的距離是固定的，偏移量越大該中心點(diǎn)ο相對(duì)圖案的距離則可能越近或越遠(yuǎn)。
[0042]按上述塊匹配運(yùn)動(dòng)估計(jì)方法，K個(gè)攝像頭的輸入圖像I1, I2,…，Ik與其對(duì)應(yīng)的參考圖案RpR2,…，Rk之間通過塊匹配運(yùn)動(dòng)估計(jì)分別得到X軸方向的最優(yōu)偏移量Λ Xl，Δχ2,…，
Δ Xro
[0043]以圖2所示的K = 3個(gè)攝像頭為例，說明輸入圖像兩兩之間雙目塊匹配計(jì)算過程。如圖7所示，根據(jù)雙目立體視覺和激光三角測(cè)距方法，如攝像頭1、攝像頭2...攝像頭K的焦距f相等，攝像頭1、攝像頭2之間計(jì)算輸入圖像塊A'的深度距離(11，2 = €51，2/八矸2((11，2為深度距離，Sli2為兩者之間的基線距離，Ax12表示輸入圖像I1中的投射圖像塊A'在輸入圖像I2中的水平位移值)。 由此可見，雙目塊匹配計(jì)算的關(guān)鍵在于攝像頭I和攝像頭2之間圖像塊A'的位移值求取。具體方法為，在攝像頭I的輸入圖像I1中提取圖像塊A'，在攝像頭2的輸入圖像I2中找到與之最為匹配(即相似度最高)的圖像塊，而搜索最優(yōu)塊匹配的方法同上述的輸入圖像與參考圖案的塊匹配運(yùn)動(dòng)估計(jì)方法。
[0044]按上述輸入圖像兩兩之間雙目塊匹配計(jì)算方法，K個(gè)攝像頭的輸入圖像I1,12，…，Ik之間通過雙目塊匹配運(yùn)動(dòng)估計(jì)分別得到X軸方向的最優(yōu)偏移量Δχ12，Λ χ2 3，…，Δχκ_1；κ,其中ΛΧκ_1κ= Ixk-XihU其中，一般在相連的兩個(gè)攝像頭獲取的輸入圖像之間進(jìn)行雙目塊匹配計(jì)算。
[0045]步驟5、進(jìn)行深度計(jì)算:將各攝像頭的輸入圖像I1, I2,…，Ik與對(duì)應(yīng)參考圖案塊匹配計(jì)算得到的X軸方向偏移量ΛΧι，Δχ2,…，Λ Xk結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算各輸入圖像中對(duì)應(yīng)同一位置的投射圖像塊Wocknixn中心點(diǎn)ο的深度信息dk，k = 1,2-,K0
[0046]在本實(shí)施例中，按以下深度計(jì)算公式計(jì)算dk:
[0047]
dk=d——竺一~ = ~~ , k = \,2...,K(I) /A + μ? fk Sk + Α-Χ,μ?
[0048]式中，Axk = Xk-Xk,，Xk為第k個(gè)攝像頭的輸入圖像中投射圖像塊中心點(diǎn)O的X軸坐標(biāo)，xk,為第k個(gè)攝像頭的參考圖案中對(duì)應(yīng)所述投射圖像塊的最優(yōu)匹配塊中心點(diǎn)的X軸坐標(biāo)。
[0049]再將各輸入圖像I1, 12，…，1￡兩兩之間雙目匹配得到X軸方向偏移量Ax1,2，Ax2 3…，Λχκ_1κ結(jié)合攝像頭圖像傳感器焦距fpSk+k相連兩個(gè)攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算得到同一位置的投射圖像塊Wockmxn中心點(diǎn)O的深度息 dk—l k，k = 2，3...，K0
[0050]在本實(shí)施例中，按以下深度計(jì)算公式計(jì)算dk—u:
【權(quán)利要求】
1.一種多攝像頭陣列的深度感知方法，包括以下步驟: 步驟1、采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用投射器投射固定圖案的圖像，對(duì)投射空間進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定； 步驟2、多攝像頭陣列接收一定波長(zhǎng)范圍的投射器所投射的圖案； 步驟3、多攝像頭陣列的K個(gè)攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進(jìn)行預(yù)處理； 步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運(yùn)動(dòng)估計(jì)模塊進(jìn)行匹配計(jì)算，包括各輸入圖像I1J2,…，Ik與其對(duì)應(yīng)的參考圖案R1, R2,…，Rk之間的塊匹配計(jì)算以及各輸入圖像I1, I2,…，Ik兩兩之間的雙目塊匹配計(jì)算； 步驟5、進(jìn)行深度計(jì)算:將各攝像頭的輸入圖像11;12，…，Ik與對(duì)應(yīng)參考圖案RpR2,…，Rk塊匹配計(jì)算得到的X軸方向偏移量Λ Xl，Δχ2,…，Λ χκ，結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算各輸入圖像中對(duì)應(yīng)同一位置的投射圖像塊Wocknixn中心點(diǎn)O的深度信息dk，k = 1，
2...，Κ;將各輸入圖像I1,12，…，Ik兩兩之間雙目匹配得到X軸方向偏移量Λ χ12，Δ X23...,Δ XlH，，κ結(jié)合攝像頭圖像傳感器焦距fpSk+k相連兩個(gè)攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，計(jì)算得到同一位置的投射圖像塊Wockmxn中心點(diǎn)ο的深度信息dk-1,k，k = 2, 3..., K ； 步驟6、進(jìn)行深度融合:利用輸入圖像兩兩之間雙目匹配得到的深度信息Cl1,2，d2,3…，cVu對(duì)輸入圖像與參考圖案匹配得到的深度信息屯，4，…4進(jìn)行修正，再根據(jù)修正后的深度信息與參考閾值的比較結(jié)果，選擇某一攝像頭對(duì)應(yīng)的深度值作為輸出。 2.根據(jù)權(quán)利要求1所述的方法，步驟I中，所述投射器為激光散斑投射器或投影裝置，其中激光散斑投射器投射出相干激光束，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點(diǎn)組成的散斑圖像，而投影裝置投射出可控的編碼圖案。
3.根據(jù)權(quán)利要求1所述的方法，步驟2中，各攝像頭通過濾光片接收投射器所投射的圖案。
4.根據(jù)權(quán)利要求1所述的方法，步驟2中，各攝像頭與投射器的光軸平行，且光學(xué)中心點(diǎn)在同一基線上。
5.根據(jù)權(quán)利要求1所述的方法，步驟3中，所述預(yù)處理包括視頻格式轉(zhuǎn)換(Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)。
6.根據(jù)權(quán)利要求1所述的方法，步驟4中，兩種塊匹配計(jì)算并行進(jìn)行。
7.根據(jù)權(quán)利要求1所述的方法，步驟4中，在相連的兩個(gè)攝像頭獲取的輸入圖像之間進(jìn)行雙目塊匹配計(jì)算。
8.根據(jù)權(quán)利要求1所述的方法，步驟5中，按以下深度計(jì)算公式計(jì)算dk:
9.根據(jù)權(quán)利要求1所述的方法，步驟6具體為: (1)對(duì)于當(dāng)前深度值dk，k= 2，3，....K，采用模板算子檢測(cè)dk是否屬于噪聲點(diǎn)或陰影區(qū)域，如屬于噪聲點(diǎn)或陰影區(qū)域，則用Cl1^k取代dk ;另外，對(duì)于Cl1，利用屯，2進(jìn)行修正； (2)取深度值d = micHcU dk, dk+1}, k = 2,3....Κ-l，也即取修正后 d^、dk、dk+1 的中值，若深度值d ( Thk,則選擇dH輸出；若Thk+1≤d > Thk,則選擇dk輸出；若d > Thk+1, 選擇dk+1輸出； (3)得到最終優(yōu)化后的深度值，該值代表當(dāng)前投射圖像塊中心點(diǎn)的深度距離。
10.根據(jù)權(quán)利要求1所述的方法，還包括:步驟7、將投射圖像塊的中心點(diǎn)移到同一行的下一個(gè)像素點(diǎn)，重復(fù)步驟4-6，計(jì)算得到下一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值，如此按逐行從左向右、從上往下的順序，逐點(diǎn)計(jì)算得到整幅圖像深度信息。
【文檔編號(hào)】G06T15/10GK103824318SQ201410049469
【公開日】2014年5月28日 申請(qǐng)日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】葛晨陽, 華剛, 鄭南寧, 姚慧敏, 張晨 申請(qǐng)人:西安交通大學(xué)