使用超聲波深度感測的rgb-d成像系統(tǒng)和方法【專利摘要】本發(fā)明提供一種包括超聲波陣列(110)的RGB?D成像系統(tǒng)(100)，用于產(chǎn)生包括深度數(shù)據(jù)的圖像。所述RGB?D成像系統(tǒng)(100)包括均定位在一個(gè)殼體上的超聲波傳感器陣列(110)以及RGB相機(jī)組件(130)。所述超聲波傳感器陣列(110)包括一個(gè)超聲波發(fā)射體(111)和多個(gè)超聲波傳感器(112)。所述RGB相機(jī)組件(130)與所述超聲波傳感器位于平行平面上并且可操作地連接至所述超聲波傳感器(112)。因此所述RGB?D成像系統(tǒng)(100)相比傳統(tǒng)系統(tǒng)能夠改進(jìn)在各種光照條件下的成像。本發(fā)明還提供了產(chǎn)生以及使用所述RGB?D成像系統(tǒng)(100)的方法?！緦＠f明】使用超聲波深度感測的RGB-D成像系統(tǒng)和方法
技術(shù)領(lǐng)域：
[0001]本發(fā)明涉及數(shù)字成像、計(jì)算機(jī)視覺和超聲波感測，并且更確切地涉及RGB-D相機(jī)系統(tǒng)和方法?！?br>背景技術(shù)：
】[0002]RGB-D相機(jī)是能夠產(chǎn)生三維圖像(平面二維圖像+垂直深度圖圖像)的相機(jī)。RGB-D相機(jī)通常具有兩組不同的傳感器。其中一組傳感器包括光學(xué)接收傳感器(例如，RGB相機(jī))，用于接收通常以R(紅)、G(綠)和B(藍(lán))三種顏色各自的強(qiáng)度值來表示的環(huán)境圖像。另一組傳感器包括紅外激光或結(jié)構(gòu)光傳感器，用于檢測被觀測物體的距離(D)并且獲取深度圖圖像。RGB-D相機(jī)的應(yīng)用包括空間成像、手勢識(shí)別、距離檢測等。[0003]一種類型的RGB-D相機(jī)應(yīng)用紅外光源用于成像(例如Microsoft的Kinect)。該相機(jī)具有某個(gè)光源，能夠發(fā)出具有特定空間結(jié)構(gòu)的紅外光。此外，該相機(jī)配備用于接收紅外光的鏡頭和濾波芯片。相機(jī)的內(nèi)部處理器計(jì)算接收到的紅外光的結(jié)構(gòu)，并且通過光結(jié)構(gòu)的變化，該處理器感知物體的結(jié)構(gòu)和距離信息。[0004]傳統(tǒng)的RGB-D相機(jī)(如Microsoft的Kinect)利用紅外光檢測方法獲取深度信息。然而，基于紅外光檢測的方法在室外環(huán)境下，特別是對(duì)于被陽光照射的物體來說很難工作，因?yàn)殛柟夤庾V具有很強(qiáng)的紅外特征，會(huì)掩蓋檢測器發(fā)出的紅外光。有些紅外光檢測器通過提高功率(例如，使用激光或通過增加光源的強(qiáng)度)來解決這個(gè)問題。然而，這種方法是不期望的，因?yàn)樗枰^大的功耗。[0005]根據(jù)前述內(nèi)容，需要提供一種改進(jìn)的RGB-D成像系統(tǒng)以及方法，以克服前述的傳統(tǒng)RGB-D成像系統(tǒng)的缺陷與不足?！?br/>發(fā)明內(nèi)容】[0007]一方面包括一種RGB-D成像系統(tǒng)，所述RGB-D成像系統(tǒng)包括:殼體;第一超聲波傳感器陣列，所述第一超聲波傳感器陣列被定位在所述殼體上，所述第一超聲波傳感器陣列包括一個(gè)超聲波發(fā)射器和多個(gè)超聲波傳感器；以及RGB相機(jī)組件，所述RGB相機(jī)組件被定位在所述殼體上且可操作地連接至所述第一超聲波傳感器，所述RGB相機(jī)組件包括感光成像芯片和鏡頭。在一個(gè)實(shí)施例中，所述第一超聲波陣列和所述感光成像芯片在殼體上被定位在平行平面上。在另一個(gè)實(shí)施例中，所述第一超聲波傳感器陣列和所述感光成像芯片在所述殼體上被定位在平行平面上，并且距離為1cm或小于1cm0[0008]在另一個(gè)實(shí)施例中，所述超聲波傳感器以具有行和列的矩陣配置定位在基板上，并且所述超聲波發(fā)射器被定位在所述矩陣配置內(nèi)介于所述行與所述列之間。在另一個(gè)實(shí)施例中，所述系統(tǒng)包括處理器和存儲(chǔ)器，所述處理器和所述存儲(chǔ)器被定位在所述殼體內(nèi)并且可操作地連接至所述第一超聲波傳感器陣列和所述RGB相機(jī)組件。[0009]在一個(gè)實(shí)施例中，所述系統(tǒng)包括定位在所述殼體上的顯示器。在另一個(gè)實(shí)施例中，所述系統(tǒng)包括定位在所述殼體上且可操作地連接至所述第一超聲波傳感器陣列和所述RGB相機(jī)組件的第二超聲波傳感器陣列。在另一個(gè)實(shí)施例中，所述第一超聲波陣列和所述第二超聲波陣列以及所述感光成像芯片在所述殼體上被定位在平行平面上。在另一個(gè)實(shí)施例中，所述第一超聲波陣列和所述第二超聲波陣列以及所述感光成像芯片以線性配置的方式被定位，其中所述感光成像芯片被定位在所述第一超聲波陣列與所述第二超聲波陣列之間。[0010]在一個(gè)實(shí)施例中，所述系統(tǒng)包括多個(gè)配對(duì)的超聲波傳感器陣列，其中每一對(duì)分別被定位在不同的平行平面上。在另一個(gè)實(shí)施例中，所述RGB相機(jī)組件包括紅外截止濾波器(infrared-cutfilter)。在另一個(gè)實(shí)施例中，所述RGB相機(jī)組件包括紅外帶通濾波器(infrared-passfilter)并且所述感光成像芯片被配置成檢測紅外光。在另一個(gè)實(shí)施例中，移動(dòng)平臺(tái)或運(yùn)載工具如無人飛行器包括上述RGB-D成像系統(tǒng)。[0011]另一方面包括一種產(chǎn)生RGB-D圖像的方法，所述方法包括:從RGB相機(jī)組件接收RGB圖像數(shù)據(jù);從超聲波陣列接收深度圖數(shù)據(jù)，所述深度圖數(shù)據(jù)對(duì)應(yīng)于所述RGB圖像數(shù)據(jù)的一部分；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)和RGB圖像數(shù)據(jù)相結(jié)合，以產(chǎn)生RGB-D圖像。[0012]—個(gè)實(shí)施例進(jìn)一步包括將所述RGB圖像數(shù)據(jù)與所述深度圖數(shù)據(jù)對(duì)齊。另一個(gè)實(shí)施例進(jìn)一步包括剪切所述RGB圖像數(shù)據(jù)。在另一個(gè)實(shí)施例中，剪切所述RGB圖像數(shù)據(jù)包括將所述RGB圖像數(shù)據(jù)中與所述深度圖數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。另一個(gè)實(shí)施例進(jìn)一步包括剪切所述深度圖數(shù)據(jù)。[0013]在一個(gè)實(shí)施例中，剪切所述深度圖數(shù)據(jù)包括將所述深度圖數(shù)據(jù)中與所述RGB圖像數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。另一個(gè)實(shí)施例進(jìn)一步包括通過波束成形(beamforming)來處理從所述超聲波陣列接收到的所述深度圖數(shù)據(jù)。在另一個(gè)實(shí)施例中，所述深度圖數(shù)據(jù)的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。另一個(gè)實(shí)施例進(jìn)一步包括對(duì)所述深度圖數(shù)據(jù)上采樣(upsampling)以匹配所述RGB圖像數(shù)據(jù)的所述分辨率。[0014]另一方面提供一種產(chǎn)生RGB-D圖像的方法，所述方法包括:從RGB相機(jī)組件接收RGB圖像數(shù)據(jù);從第一超聲波陣列接收與所述RGB圖像數(shù)據(jù)的第一部分?jǐn)?shù)據(jù)相對(duì)應(yīng)的第一深度圖數(shù)據(jù)集;從第二超聲波陣列接收與所述RGB圖像數(shù)據(jù)的第二部分?jǐn)?shù)據(jù)相對(duì)應(yīng)的第二深度圖數(shù)據(jù)集；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)集與RGB圖像數(shù)據(jù)相結(jié)合，以產(chǎn)生RGB-D圖像。[0015]一個(gè)實(shí)施例進(jìn)一步包括將所述RGB圖像數(shù)據(jù)與所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集對(duì)齊。另一個(gè)實(shí)施例進(jìn)一步包括剪切所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集。在另一個(gè)實(shí)施例中，剪切所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集包括將所述第一深度圖和所述第二深度圖中與所述RGB圖像數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。在另一個(gè)實(shí)施例中，所述方法進(jìn)一步包括通過波束成形來處理從所述超聲波陣列接收到的深度圖數(shù)據(jù)。[0016]在一個(gè)實(shí)施例中，所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。另一個(gè)實(shí)施例進(jìn)一步包括對(duì)所述深度圖數(shù)據(jù)上采樣以匹配所述RGB圖像數(shù)據(jù)的所述分辨率。[0017]另一個(gè)方面包括一種產(chǎn)生RGB-D圖像的方法，所述方法包括:分別從相應(yīng)的RGB相機(jī)組件接收多個(gè)RGB圖像;從多個(gè)超聲波陣列接收與所述RGB相機(jī)組件之一分別相關(guān)聯(lián)的多個(gè)深度圖數(shù)據(jù)集，每個(gè)深度圖數(shù)據(jù)集對(duì)應(yīng)于所述RGB圖像之一的所選擇部分；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)集與RGB圖像相結(jié)合，以產(chǎn)生連續(xù)的RGB-D圖像。[0018]—個(gè)實(shí)施例進(jìn)一步包括將所述RGB圖像與所述深度圖數(shù)據(jù)集對(duì)齊。另一個(gè)實(shí)施例進(jìn)一步包括剪切所述RGB圖像。在另一個(gè)實(shí)施例中，剪切所述RGB圖像包括將所述RGB圖像中與深度圖數(shù)據(jù)集不對(duì)應(yīng)的一部分剪切掉。另一個(gè)實(shí)施例還包括剪切所述深度圖數(shù)據(jù)集。[0019]在一個(gè)實(shí)施例中，剪切所述深度圖數(shù)據(jù)集包括將所述深度圖數(shù)據(jù)集中與RGB圖像不對(duì)應(yīng)的一部分剪切掉。另一個(gè)實(shí)施例還包括通過波束成形來處理從所述超聲波陣列接收到的深度圖數(shù)據(jù)集。在另一個(gè)實(shí)施例中，所述深度圖數(shù)據(jù)集的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。另一個(gè)實(shí)施例還包括對(duì)所述深度圖數(shù)據(jù)集上采樣以匹配所述RGB圖像數(shù)據(jù)的所述分辨率?！靖綀D說明】[0020]圖1圖示了RGB-D成像系統(tǒng)的一個(gè)實(shí)施例的示例性頂層圖。[0021]圖2圖示了將深度數(shù)據(jù)與RGB數(shù)據(jù)相結(jié)合的一個(gè)實(shí)施例的示例性圖。[0022]圖3圖示了將深度數(shù)據(jù)與RGB數(shù)據(jù)相結(jié)合的另一個(gè)實(shí)施例的示例性圖。[0023]圖4圖不了包括一個(gè)RGB相機(jī)系統(tǒng)和一個(gè)超聲波深度傳感器的RGB-D成像系統(tǒng)的一個(gè)實(shí)施例的示例性正視圖。[0024]圖5圖示了圖4所示RGB-D成像系統(tǒng)的視場的示例性頂層圖。[0025]圖6圖示了根據(jù)一個(gè)實(shí)施例的一種產(chǎn)生RGB-D圖像的方法。[0026]圖7圖示了包括一個(gè)RGB相機(jī)系統(tǒng)和兩個(gè)超聲波深度傳感器的RGB-D成像系統(tǒng)的一個(gè)實(shí)施例的示例性正視圖。[0027]圖8圖示了圖7所示RGB-D成像系統(tǒng)的視場的示例性頂層圖。[0028]圖9圖示了根據(jù)一個(gè)實(shí)施例的一種產(chǎn)生RGB-D圖像的方法。[0029]圖1O圖示了包括多個(gè)RGB-D成像系統(tǒng)的RGB-D成像組件的一個(gè)實(shí)施例。[0030]圖11圖示了根據(jù)一個(gè)實(shí)施例的一種產(chǎn)生RGB-D圖像的方法。[0031]應(yīng)該指出的是，附圖并未按比例繪制，并且為了說明的目的，在全部附圖中一般以相同的附圖標(biāo)記來表示結(jié)構(gòu)或功能相似的元件。還應(yīng)該指出的是，附圖的目的僅僅是為了方便描述優(yōu)選實(shí)施例。附圖并未圖示所描述實(shí)施例的每個(gè)方面，也不限制本發(fā)明的范圍?！揪唧w實(shí)施方式】[0033]因?yàn)楫?dāng)前可用的RGB-D成像系統(tǒng)存在缺陷，它們?cè)诤芏嗖僮鳁l件下如在陽光下的室外不能工作，因此包含超聲波深度或距離感測的RGB-D成像系統(tǒng)可以證明是所期望的，并能夠?yàn)閺V泛范圍的RGB-D成像應(yīng)用如空間成像、手勢識(shí)別、距離檢測、三維映射等提供依據(jù)。相比傳統(tǒng)的RGB-D系統(tǒng)，使用了波束成形的超聲波陣列能夠獲取包括深度信息的三維地圖，而不會(huì)受到環(huán)境光干擾的制約。此外，超聲波傳感器比使用紅外傳感器的RGB-D系統(tǒng)使用明顯更少的功率，因此可能適合移動(dòng)平臺(tái)或活動(dòng)平臺(tái)，如無人飛行器(UAV)等?？捎扇鐖D1所示的RGB-D成像系統(tǒng)100根據(jù)本文所公開的一個(gè)實(shí)施例來實(shí)現(xiàn)這些結(jié)果。[0034]轉(zhuǎn)向圖1，RGB_D成像系統(tǒng)100示為包括可操作地連接至成像裝置120的超聲波傳感器陣列110和可操作地連接至成像裝置120的RGB相機(jī)組件130。[0035]在各種實(shí)施例中，超聲波傳感器陣列110可以包括定位在基板113的矩陣114上的多個(gè)超聲波傳感器112，所述矩陣114由多個(gè)行R和列C所限定。一個(gè)或多個(gè)超聲波發(fā)射器111可被定位在基板113上矩陣114內(nèi)的介于超聲波傳感器112的行R與列C之間。在另外的實(shí)施例中，一個(gè)或多個(gè)超聲波發(fā)射器111可被定位在矩陣114之外在RGB-D成像系統(tǒng)100周圍的任何合適位置。例如，一個(gè)或多個(gè)超聲波發(fā)射器111可被定位在與矩陣114相同、平行或分開的平面上。[0036]在某些實(shí)施例中，可以存在單個(gè)超聲波發(fā)射體111也可以存在以任何所期望的或合適的配置而布置或定位的任何合適復(fù)數(shù)量的超聲波發(fā)射體111。也可以存在以任何所期望的或合適的配置而布置或定位的任何合適復(fù)數(shù)量的超聲波傳感器112，所述配置可以是也可以不是矩陣114配置。在各種實(shí)施例中，超聲波傳感器陣列110可以包括壓電式換能器、電容式傳感器、磁致伸縮材料等。因此，在各種實(shí)施例中，可以無限制地采用用于傳輸和/或感測任何合適頻率的聲波的任何合適的陣列。[0037]相機(jī)組件130可以包括鏡頭131，所述鏡頭被配置用于將光132聚焦到像素134的感光陣列或芯片133上，所述感光陣列或芯片將接收到的光132轉(zhuǎn)換成信號(hào)，所述信號(hào)限定如本文所述的圖像。盡管鏡頭131被描述為單反相機(jī)(DSLR)鏡頭，但在各種實(shí)施例中，可以使用任何合適類型的鏡頭。例如，在某些實(shí)施例中，鏡頭131可以包括任何合適的鏡頭系統(tǒng)，包括針孔鏡頭(pin-holelens)、生物鏡頭(b1logicallens)、簡單凸面玻璃鏡頭(simpleconvexglasslens)等。此外，根據(jù)各種實(shí)施例的鏡頭可以被配置成具有某些成像性質(zhì)，包括微距鏡頭、變焦鏡頭、遠(yuǎn)攝鏡頭、魚眼鏡頭、廣角鏡頭等。[0038]雖然相機(jī)系統(tǒng)130可用于檢測在可見光譜中的光并從中產(chǎn)生圖像，但在某些實(shí)施例中，相機(jī)系統(tǒng)130也可適于檢測其他波長的光，包括，X-射線、紅外光、微波等。此外，相機(jī)系統(tǒng)130可以包括一個(gè)或多個(gè)濾波器。例如，相機(jī)系統(tǒng)130可以包括基本上濾掉紅外波長的紅外截止濾波器，這可能是RGB-D系統(tǒng)在存在紅外干涉問題的環(huán)境中進(jìn)行操作所期望的。在另一個(gè)實(shí)施例中，相機(jī)系統(tǒng)130可以包括基本上濾掉除了紅外波長之外的所有波長的紅外帶通濾波器，并且感光陣列或芯片133可以被配置用于感測紅外波長。[0039]相機(jī)系統(tǒng)130還可以適用于靜止圖像、視頻圖像和三維圖像等。因此，本發(fā)明不應(yīng)該被理解為限于本文所顯示和所描述的示例相機(jī)系統(tǒng)130。[0040]在各種實(shí)施例中，成像裝置120可以包括處理器121、存儲(chǔ)器122和顯示器123。相機(jī)系統(tǒng)130和超聲波傳感器陣列110可以可操作性地連接至成像裝置120，以使得由相機(jī)系統(tǒng)130和超聲波傳感器陣列110所產(chǎn)生的圖像或數(shù)據(jù)可以由處理器121處理和/或存儲(chǔ)存儲(chǔ)器122中。可以在顯示器123上呈現(xiàn)處理后的圖像。[0041]在另外的實(shí)施例中，處理器121、存儲(chǔ)器122和顯示器123中的任一者可以復(fù)數(shù)量存在也可以不存在。例如，在某些實(shí)施例中，RGB-D成像系統(tǒng)100并不包括顯示器123，而是將本文所論述的所產(chǎn)生的圖像發(fā)送至其中可以呈現(xiàn)此類圖像的另一個(gè)計(jì)算裝置或顯示器。[0042]在某些實(shí)施例中，相機(jī)系統(tǒng)130、成像裝置120和超聲波傳感器陣列110中的任一者可以任意合適的復(fù)數(shù)量存在。例如，如本文更詳細(xì)論述并且如圖4所示，RGB-D成像系統(tǒng)100的一個(gè)實(shí)施例100A可以包括一個(gè)相機(jī)系統(tǒng)130和一個(gè)超聲波傳感器陣列110。在另一個(gè)實(shí)施例中，如本文更詳細(xì)描述并且如圖7所示，RGB-D成像系統(tǒng)100的一個(gè)實(shí)施例100B可以包括一個(gè)相機(jī)系統(tǒng)130和兩個(gè)超聲波傳感器陣列110。[0043]在另一個(gè)實(shí)施例中，如本文更詳細(xì)論述并且如圖10所示，三維成像系統(tǒng)800可以包括多個(gè)RGB-D成像系統(tǒng)100，所述RGB成像系統(tǒng)100各自包括一個(gè)相機(jī)系統(tǒng)130和一個(gè)或多個(gè)超聲波傳感器陣列110。在該實(shí)施例中，每個(gè)RGB-D成像系統(tǒng)100可以與單獨(dú)的成像裝置120(圖10未示出)相關(guān)聯(lián)，或者每個(gè)RGB-D圖像系統(tǒng)100可以與中心的或共同的成像裝置120(圖10未示出)相關(guān)聯(lián)。換句話說，相關(guān)聯(lián)的相機(jī)系統(tǒng)130和超聲波傳感器陣列110組可以各自與成像裝置120相關(guān)聯(lián)，或者可以與中心的或共同的成像裝置120可操作性地連接。[0044]如本文更詳細(xì)論述，RGB-D成像系統(tǒng)110可以被配置用于產(chǎn)生RGB-D圖像。例如，參照?qǐng)D1、2和3，相機(jī)系統(tǒng)130可以被配置用于產(chǎn)生RGB三元組圖像(tripletimage)210，所述RGB三元組圖像包括關(guān)于紅值211R、綠值211G和藍(lán)值21IB的像素陣列。超聲波傳感器陣列110可以被配置用于產(chǎn)生深度圖陣列220。如本文詳細(xì)論述，RGB三元組圖像210和深度圖陣列220可以結(jié)合在一起，產(chǎn)生RGB-D四元組圖像(quadimage)230,所述RGB-D四元組圖像包括關(guān)于紅值211R、綠值211G和藍(lán)值211B以及深度圖陣列220的像素陣列。因此，RGB-D四元組圖像230的每個(gè)像素位置與紅值(R)、綠值(G)和藍(lán)值(B)相關(guān)聯(lián)，此外還與深度或距離值(D)相關(guān)聯(lián)，所述深度或距離值對(duì)應(yīng)于離超聲波傳感器陣列110或RGB-D成像系統(tǒng)100的距離。[0045]在某些實(shí)施例中，如圖2所描述，RGB三元組圖像210和深度圖陣列220可以具有相同的分辨率和尺寸(B卩，對(duì)于所定義圖像尺寸，像素的數(shù)量相同)。在該實(shí)施例中，RGB三元組圖像210和深度圖陣列220可一起添加。[0046]然而，在某些實(shí)施例中，如圖3所描述，RGB三元組圖像210和深度圖陣列320可以具有不同的分辨率(即，對(duì)于所定義圖像尺寸，像素的數(shù)量不同)。例如，在圖3中，關(guān)于紅值211R、綠值211G和藍(lán)值211B的像素陣列為NlxMl的圖像尺寸中的8x8像素，而深度圖陣列320為N2xM2的圖像尺寸中的4x4像素。在其中N1=N2并且M1=M2的一個(gè)實(shí)施例中，RGB三元組圖像210和/或深度圖陣列320可以修改以結(jié)合，形成RGB-D四元組圖像230。在圖3所示的例子中，深度圖陣列320可以被上采樣至N3xM3的圖像尺寸中的8x8像素。這導(dǎo)致較低分辨率的深度圖陣列320中的像素321的距離值與RGB-D四元組圖像230中所呈現(xiàn)的經(jīng)過上采樣的深度圖陣列340中所呈現(xiàn)的四個(gè)像素的高亮顯示組323中的像素322結(jié)合使用。[0047]在該例子中，較低分辨率的4x4深度圖陣列320上采樣至較高分辨率的8x8深度圖陣列340導(dǎo)致清晰的上采樣，只要像素321能夠清晰地分成四個(gè)像素323。然而，在另外的實(shí)施例中，較低分辨率的深度圖陣列320的轉(zhuǎn)換在上采樣期間(例如，4x4圖像上采樣至Ilxll圖像等)可能需要某些像素的插值。在該實(shí)施例中，可以使用任何合適的插值方法，所述插值方法可以包括最近鄰插值(nearestneighbor)、雙線性插值(bilinear)、雙三次插值(bicubic)、雙三次插值平滑化(bicubicsmoother)、雙三次插值銳化(bicubicsharper)等。[0048]在某些實(shí)施例中，距離值的插值可以基于所述距離值。例如，與較小的差異相比，較長距離的插值可以用不同的方法來處理。在某些實(shí)施例中，可以對(duì)RGB三元組圖像210和/或深度圖陣列220重采樣，并且RGB三元組圖像210和/或深度圖陣列220的重采樣方法可以是基于距離值。[0049]盡管某些實(shí)施例包括RGB三元組圖像210和深度圖陣列320，其中NI=N2并且Ml=M2，但在另外的實(shí)施例中，RGB三元組圖像210和深度圖陣列320可以具有不同的尺寸。例如，在某些實(shí)施例中，RGB三元組圖像210可以比深度圖陣列320更大。在其他實(shí)施例中，RGB三元組圖像210可以比深度圖陣列320更小。此外，在各種實(shí)施例中，M3/N3可以與M1/N1和/或M2/N2相同，但在某些實(shí)施例中，也可以不同。[0050]RGB-D成像系統(tǒng)100可以以各種合適的方式實(shí)現(xiàn)，例如如圖4所描述，一個(gè)實(shí)施例100A包括定位在殼體401上的超聲波傳感器陣列110和相機(jī)系統(tǒng)130。成像裝置120(圖4中未示，參見圖1)可以被定位在殼體401之內(nèi)和/或之上。例如，處理器121(參見圖1)和存儲(chǔ)器122(參見圖1)可以被定位在殼體401內(nèi)，并且顯示器123(參見圖1)可以被定位在殼體401的合適部分上。[0051]如圖4和5所示，超聲波傳感器陣列110和感光成像芯片133可以在殼體401上并排地定位在共同的或平行的平面上。在一個(gè)優(yōu)選實(shí)施例中，超聲波傳感器陣列110和感光成像芯片133是分開的，其距離不超過10cm。本文所使用的術(shù)語“共同的平面”和“平行的平面”并不是同義詞，這些術(shù)語是有區(qū)別的。[0052]超聲波傳感器陣列110可以具有由邊緣411A、411B所限定的視場413，RGB相機(jī)組件130可以具有由邊緣412A、412B所限定的視場414。如圖5所示，視場413、414是可以偏移的。換句話說，由感光成像芯片133和超聲波傳感器陣列110所產(chǎn)生的圖像由于成像芯片133和超聲波傳感器陣列110在殼體上的物理距離而可能不完全相同。在該示例實(shí)施例中，視場413、414是相對(duì)于表面410而顯示的，并包括重疊部分415和其中視場沒有重疊的偏移部分420A、420B。更確切地，偏移部分420A并不在RGB相機(jī)組件的視場414之內(nèi)，并且偏移部分420B不在超聲波傳感器陣列的視場413之內(nèi)。[0053]重疊部分415可以通過各種合適的方法識(shí)別和/或確定。例如，在一個(gè)實(shí)施例中，重疊部分415的尺寸可以是已知的或假定的，并且可以基于此類已知或假定的值來將非重疊部分420自動(dòng)剪切掉。在另外的實(shí)施例中，可以通過任何合適的機(jī)器視覺或圖像處理方法來使圖像對(duì)齊。例如，在一個(gè)實(shí)施例中，加速分割檢測特征算法(FeaturesfromAcceleratesSegmentTestalgorithm)(FAST算法)可以用于在圖像中進(jìn)行角點(diǎn)檢測，以識(shí)別一個(gè)或多個(gè)特殊特征點(diǎn)；二進(jìn)制穩(wěn)健獨(dú)立基元特征算法(BinaryRobustIndependentElementaryFeaturesalgorithm)(BRIEF算法)可以用于識(shí)別圖像的特征描述符并且兩個(gè)圖像中所識(shí)別出來的描述符之間的漢明距離(Hammingdistance)可以用于識(shí)別第一圖像和第二圖像的重疊區(qū)域。[0054]因此，由成像芯片133和超聲波傳感器陣列110所產(chǎn)生的相應(yīng)的圖像和距離圖可以包括彼此不對(duì)應(yīng)的部分，當(dāng)這些圖像和距離圖結(jié)合形成RGB-D圖像時(shí)，這些不對(duì)應(yīng)的部分可能是所不期望的。換句話說，為使RGB-D精確地顯示指定像素下的距離值，可能需要使圖像與距離圖。在某些實(shí)施例中，偏移距離和偏移部分420A、420B可以被認(rèn)為是可忽略不計(jì)的，并且圖像與距離圖可以不對(duì)齊。在其中偏移距離基本上恒定的另外的實(shí)施例中，圖像與距離圖可以基于已知的或所限定的距離而對(duì)齊。例如，在其中傳感器陣列110和感光成像芯片133被定位在平行平面上的一個(gè)實(shí)施例中，傳感器陣列110與感光成像芯片133之間的幾何距離可以包括在已知或所限定的距離中以進(jìn)行對(duì)齊。相似地，在傳感器陣列110和感光成像芯片133被定位在共同平面上的情況下，傳感器陣列110與感光成像芯片133之間的幾何距離可以包括在已知或所限定的距離中以進(jìn)行對(duì)齊。[0055]然而，當(dāng)偏移距離變化時(shí)(例如，由于受試物體離成像系統(tǒng)100的距離、環(huán)境條件等而引起)，可以基于距離圖中的距離值來執(zhí)行對(duì)齊。在其中偏移基于距離而變化的某些實(shí)施例中，可能期望識(shí)別視場內(nèi)的感興趣物體(objectsofinterest)并且使圖像與距離圖的對(duì)齊優(yōu)化，以使得感興趣物體能夠更精確地對(duì)齊。例如，可以確定，在距離I米處的前景物體為感興趣物體，位于20米之外的背景物體不是很重要。因此，可以優(yōu)化I米距離的對(duì)齊，而不是20米距離的對(duì)齊，以使得對(duì)應(yīng)于前景物體的距離數(shù)據(jù)比背景距離數(shù)據(jù)更精確并且更為對(duì)齊。[0056]可以利用任何合適的方法并且可以基于各種設(shè)置(如特寫鏡頭、中距離、遠(yuǎn)處、人物、風(fēng)景等)來確定感興趣物體。這些感興趣物體可以基于合適的機(jī)器視覺和/或人工智能方法等來識(shí)別。在另外的實(shí)施例中，圖像與距離圖的對(duì)齊可以通過使用特征檢測算法、提取算法和/或匹配算法來進(jìn)行，諸如RANSAC(隨機(jī)采樣一致(RANdomSAmpleConsensus))算法、施和托馬西角點(diǎn)檢測(Shi&Tomasicornerdetect1n)算法、SURF斑點(diǎn)檢測(加速穩(wěn)健特征(SpeededUpRobustFeatures))算法、MSER斑點(diǎn)檢測(最大穩(wěn)定極值區(qū)域(MaximallyStableExtremalReg1ns))算法、SURF描述符(加速穩(wěn)健特征(SpeededUpRobustFeatures))算法、SIFT描述符(尺度不變特征變換(Scale-1nvariantFeatureTransform))算法、FREAK描述符(快速視網(wǎng)膜關(guān)鍵點(diǎn)(FastREtinAKeypoint))算法、BRISK描述符(二進(jìn)制穩(wěn)健不變尺度關(guān)鍵點(diǎn)(BinaryRobustInvariantScalableKeypoints))算法、HOG描述符(方向梯度直方圖(HistogramofOrientedGradients))算法等。[0057]在各種實(shí)施例中，可能期望將圖像和/或距離圖中彼此不對(duì)應(yīng)的部分剪切掉。例如，參照?qǐng)D5，對(duì)于所拍攝的物體410的圖像來說，可以從相應(yīng)的圖像和距離圖中剪切掉部分420A、420B，而留下重疊部分415。[0058]圖6圖示了根據(jù)一個(gè)實(shí)施例的產(chǎn)生RGB-D圖像的方法500。方法500開始于塊510，在塊510中，從RGB相機(jī)組件130(參見圖1和4)接收RGB圖像數(shù)據(jù)，并且在塊520中，從超聲波陣列110(參見圖1和4)接收與RGB圖像數(shù)據(jù)的一部分相對(duì)應(yīng)的深度圖數(shù)據(jù)。[0059]在塊530中，將RGB圖像數(shù)據(jù)與深度圖數(shù)據(jù)對(duì)齊。在塊540中，將RGB圖像數(shù)據(jù)中與深度圖數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉，并且在塊550中，將深度圖數(shù)據(jù)中與RGB數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。在塊560中，對(duì)深度圖數(shù)據(jù)上采樣，以匹配RGB圖像數(shù)據(jù)的分辨率，并且在塊570中，將對(duì)應(yīng)的深度圖數(shù)據(jù)和RGB圖像數(shù)據(jù)相結(jié)合，產(chǎn)生RGB-D圖像。[0060]如圖7所描述，RGB-D成像系統(tǒng)100的另一個(gè)實(shí)施例100B包括定位在殼體601上的第一超聲波傳感器陣列110A和第二超聲波傳感器陣列110B以及相機(jī)系統(tǒng)130。成像裝置120(圖7未示，參見圖1)可以被定位在殼體601之內(nèi)和/或之上。例如，處理器121(參見圖1)和存儲(chǔ)器122(參見圖1)可以被定位在殼體601內(nèi)并且顯示器123(參見圖1)可以被定位在殼體601的合適部分上。[0061]如圖7和8所示，超聲波傳感器陣列110和感光成像芯片133可以以線性配置的方式在殼體401上并排地定位在的平行的或共同的平面上，其中感光成像芯片133定位在第一超聲波陣列110A與第二超聲波陣列110B之間。在一個(gè)優(yōu)選實(shí)施例中，超聲波傳感器陣列110和感光成像芯片133各自分開，其距離不超過10cm。[0062]超聲波傳感器陣列110A、110B可以具有分別由邊緣611C、611D和611A、611B所限定的視場613六、6138。1^^相機(jī)組件130可以具有由邊緣612A、612B所限定的視場614。如圖8所示，視場613A、613B、614可以是偏移的。換句話說，由感光成像芯片133和超聲波傳感器陣列110所產(chǎn)生的圖像由于成像芯片133和超聲波傳感器陣列110在殼體601上的物理距離而可能并不完全相同。在該示例實(shí)施例中，視場613A、613B、614是相對(duì)于表面610而顯示的并包括重疊部分615和其中視場613A、613B、614沒有重疊的偏移部分620A、620B。更確切地，偏移部分620A、620B都不在RGB相機(jī)組件的視場614內(nèi)，而重疊部分615包括對(duì)應(yīng)的從成像芯片的視場614得到的圖像數(shù)據(jù)和從陣列的視場613A、614B之一或兩者得到的深度圖數(shù)據(jù)。[0063]圖9圖示了根據(jù)一個(gè)實(shí)施例的產(chǎn)生RGB-D圖像的方法700。方法700開始于塊710，在塊710中，從RGB相機(jī)組件130(參見圖1和7)接收RGB圖像數(shù)據(jù)。在塊720中，從第一超聲波陣列110A(參見圖1和4)接收與RGB圖像數(shù)據(jù)的一部分相對(duì)應(yīng)的第一深度圖數(shù)據(jù)集，并且在塊730中，從第二超聲波陣列110A(參見圖1和4)接收與RGB圖像數(shù)據(jù)的一部分相對(duì)應(yīng)的第二深度圖數(shù)據(jù)集。[0064]在塊740中，將RGB圖像數(shù)據(jù)與深度圖數(shù)據(jù)對(duì)齊。在塊750中，將深度圖數(shù)據(jù)集中與RGB圖像數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉，并且在塊760中，對(duì)深度圖數(shù)據(jù)集上采樣，以匹配述RGB圖像數(shù)據(jù)的分辨率。因此，在各種實(shí)施例中，第一和第二深度圖數(shù)據(jù)集之一或兩者的分辨率要比RGB圖像數(shù)據(jù)的分辨率低。在塊770中，將對(duì)應(yīng)的深度圖數(shù)據(jù)集與RGB圖像數(shù)據(jù)相結(jié)合，產(chǎn)生RGB-D圖像。[0065]圖10圖示了RGB-D成像組件800的一個(gè)實(shí)施例，所述RGB-D成像組件包括分別定位在殼體801的面802上的多個(gè)RGB-D成像系統(tǒng)100。盡管示例實(shí)施例800圖示了具有八個(gè)面802的八邊形殼體801，在其中在每個(gè)表面上定位有RGB-D成像系統(tǒng)100，但在另一個(gè)實(shí)施例中，也可以在各個(gè)平面上定位有任何合適復(fù)數(shù)量的成像系統(tǒng)100。[0066]使多個(gè)成像系統(tǒng)100定位在不同的平面上可能是所期望的，因?yàn)橛锌赡墚a(chǎn)生全景的和/或三維的RGB-D圖像，所述RGB-D圖像是多個(gè)RGB圖像數(shù)據(jù)和多個(gè)距離圖數(shù)據(jù)的組合。此外，盡管示例實(shí)施例800描述了在共同的或平行的平面上位于共同高度的成像系統(tǒng)100，但在另外的實(shí)施例中，殼體可以包括規(guī)則或不規(guī)則的多面體等。[0067]圖11圖示了根據(jù)一個(gè)實(shí)施例的產(chǎn)生RGB-D圖像的方法900。所述方法900開始于塊910，在塊910中分別從各自的RGB相機(jī)組件130(參見圖1)接收多個(gè)RGB圖像。在塊920中，從多個(gè)超聲波陣列110(參見圖1)接收與RGB相機(jī)組件130之一分別相關(guān)聯(lián)的多個(gè)深度圖集，并且在塊930中，將RGB圖像與深度圖數(shù)據(jù)集對(duì)齊。在塊940中，將RGB圖像中與深度圖數(shù)據(jù)集不對(duì)應(yīng)的部分剪切掉，并且在塊950中，將深度圖數(shù)據(jù)集中與RGB圖像不對(duì)應(yīng)的部分剪切掉。在塊960中，對(duì)深度圖數(shù)據(jù)集上采樣，以與RGB圖像的分辨率相匹配，并且在塊970中，將對(duì)應(yīng)的深度圖數(shù)據(jù)集和RGB圖像結(jié)合，產(chǎn)生連續(xù)的RGB-D圖像。[0068]所描述的實(shí)施例易于進(jìn)行各種修改且具有各種替代形式，并且已在附圖中通過舉例的方式示出了并在本文詳細(xì)描述了它們的特定實(shí)施例。然而，應(yīng)該了解的是，所描述的實(shí)施例并非限于所公開的具體形式或方法，而相反，本發(fā)明意欲涵蓋所有的修改、同等替換和改變?！局鳈?quán)項(xiàng)】1.一種RGB-D成像系統(tǒng)，包括:殼體；第一超聲波傳感器陣列，所述第一超聲波傳感器陣列被定位在所述殼體上，所述第一超聲波傳感器陣列包括:超聲波發(fā)射器；以及多個(gè)超聲波傳感器；以及RGB相機(jī)組件，所述RGB相機(jī)組件被定位在所述殼體上且可操作地連接至所述第一超聲波傳感器，所述RGB相機(jī)組件包括:感光成像芯片；以及鏡頭O2.如權(quán)利要求1所述的RGB-D成像系統(tǒng)，其中所述第一超聲波陣列和所述感光成像芯片在所述殼體上被定位在平行平面上。3.如權(quán)利要求1或2所述的RGB-D成像系統(tǒng)，其中所述第一超聲波傳感器陣列和所述感光成像芯片在所述殼體上被定位在平行平面上，之間的距離為1cm或小于1cm04.如權(quán)利要求1-3中任一項(xiàng)所述的RGB-D成像系統(tǒng)，其中所述超聲波傳感器以具有行和列的矩陣配置被定位在基板上；其中所述超聲波發(fā)射器被定位在所述矩陣配置內(nèi)介于所述行與所述列之間，或者所述超聲波發(fā)射器被定位在所述矩陣之外。5.如權(quán)利要求1-4中任一項(xiàng)所述的RGB-D成像系統(tǒng)，進(jìn)一步包括處理器和存儲(chǔ)器，所述處理器和所述存儲(chǔ)器被定位在所述殼體內(nèi)且可操作地連接至所述第一超聲波傳感器陣列和所述RGB相機(jī)組件。6.如權(quán)利要求1-5中任一項(xiàng)所述的RGB-D成像系統(tǒng)，進(jìn)一步包括定位在所述殼體上的顯示器。7.如權(quán)利要求1-6中任一項(xiàng)所述的RGB-D成像系統(tǒng)，進(jìn)一步包括第二超聲波傳感器陣列，所述第二超聲波傳感器陣列被定位在所述殼體上且可操作連接至所述第一超聲波傳感器陣列和所述RGB相機(jī)組件。8.如權(quán)利要求7所述的RGB-D成像系統(tǒng)，其中所述第一超聲波陣列和所述第二超聲波陣列以及所述感光成像芯片在所述殼體上被定位在平行平面上。9.如權(quán)利要求7或8所述的RGB-D成像系統(tǒng)，其中所述第一超聲波陣列和所述第二超聲波陣列以及所述感光成像芯片以線性配置的方式被定位，其中所述感光成像芯片被定位在所述第一超聲波陣列與所述第二超聲波陣列之間。10.如權(quán)利要求1-9中任一項(xiàng)所述的RGB-D成像系統(tǒng)，進(jìn)一步包括多個(gè)配對(duì)的超聲波傳感器陣列，其中每一對(duì)分別被定位在不同的平行平面上。11.如權(quán)利要求1-10中任一項(xiàng)所述的RGB-D成像系統(tǒng)，其中所述RGB相機(jī)組件包括紅外截止濾波器。12.如權(quán)利要求1-11中任一項(xiàng)所述的RGB-D成像系統(tǒng)，其中所述RGB相機(jī)組件包括紅外帶通濾波器并且其中所述感光成像芯片被配置用于檢測紅外光。13.—種包括如權(quán)利要求1-12中任一項(xiàng)所述的RGB-D成像系統(tǒng)的移動(dòng)平臺(tái)。14.如權(quán)利要求13所述的移動(dòng)平臺(tái)，其中所述移動(dòng)平臺(tái)是無人飛行器。15.一種產(chǎn)生RGB-D圖像的方法，所述方法包括:從RGB相機(jī)組件接收RGB圖像數(shù)據(jù)；從超聲波陣列接收深度圖數(shù)據(jù)，所述深度圖數(shù)據(jù)對(duì)應(yīng)于所述RGB圖像數(shù)據(jù)的一部分；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)和RGB圖像數(shù)據(jù)相結(jié)合，以產(chǎn)生RGB-D圖像。16.如權(quán)利要求15所述的方法，進(jìn)一步包括將所述RGB圖像數(shù)據(jù)與所述深度圖數(shù)據(jù)對(duì)齊。17.如權(quán)利要求15或16所述的方法，進(jìn)一步包括剪切所述RGB圖像數(shù)據(jù)。18.如權(quán)利要求17所述的方法，其中，所述剪切所述RGB圖像數(shù)據(jù)包括:將所述RGB圖像數(shù)據(jù)中與所述深度圖數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。19.如權(quán)利要求15-18中任一項(xiàng)所述的方法，進(jìn)一步包括剪切所述深度圖數(shù)據(jù)。20.如權(quán)利要求19所述的方法，其中所述剪切所述深度圖數(shù)據(jù)包括將所述深度圖數(shù)據(jù)中與所述RGB圖像數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。21.如權(quán)利要求15-20中任一項(xiàng)所述的方法，進(jìn)一步包括通過波束成形來處理從所述超聲波陣列接收到的所述深度圖數(shù)據(jù)。22.如權(quán)利要求15-21中任一項(xiàng)所述方法，其中所述深度圖數(shù)據(jù)的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。23.如權(quán)利要求15-22中任一項(xiàng)所述的方法，進(jìn)一步包括對(duì)所述深度圖數(shù)據(jù)上采樣以匹配所述RGB圖像數(shù)據(jù)的所述分辨率。24.一種產(chǎn)生RGB-D圖像的方法，所述方法包括:從RGB相機(jī)組件接收RGB圖像數(shù)據(jù)；從第一超聲波陣列接收與所述RGB圖像數(shù)據(jù)的第一部分相對(duì)應(yīng)的第一深度圖數(shù)據(jù)集；從第二超聲波陣列接收與所述RGB圖像數(shù)據(jù)的第二部分相對(duì)應(yīng)的第二深度圖數(shù)據(jù)集；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)集與所述RGB圖像數(shù)據(jù)相結(jié)合，以產(chǎn)生RGB-D圖像。25.如權(quán)利要求24所述的方法，進(jìn)一步包括將所述RGB圖像數(shù)據(jù)與所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集對(duì)齊。26.如權(quán)利要求24或25所述的方法，進(jìn)一步包括剪切所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集。27.如權(quán)利要求26所述的方法，其中所述剪切所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集包括將所述第一深度圖和所述第二深度圖中與所述RGB圖像數(shù)據(jù)不對(duì)應(yīng)的一部分剪切掉。28.如權(quán)利要求24-27中任一項(xiàng)所述的方法，進(jìn)一步包括通過波束成形來處理從所述超聲波陣列接收到的深度圖數(shù)據(jù)。29.如權(quán)利要求24-28中任一項(xiàng)所述的方法，其中所述第一深度圖數(shù)據(jù)集和所述第二深度圖數(shù)據(jù)集的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。30.如權(quán)利要求24-29中任一項(xiàng)所述的方法，進(jìn)一步包括對(duì)所述深度圖數(shù)據(jù)上采樣以匹配所述RGB圖像數(shù)據(jù)的所述分辨率。31.一種產(chǎn)生RGB-D圖像的方法，所述方法包括:各自從相應(yīng)的RGB相機(jī)組件接收多個(gè)RGB圖像；從多個(gè)超聲波陣列接收與所述RGB相機(jī)組件之一分別相關(guān)聯(lián)的多個(gè)深度圖數(shù)據(jù)集，每一個(gè)深度圖數(shù)據(jù)集對(duì)應(yīng)于所述RGB圖像之一的所選擇部分；以及將對(duì)應(yīng)的深度圖數(shù)據(jù)集與RGB圖像相結(jié)合，以產(chǎn)生連續(xù)的RGB-D圖像。32.如權(quán)利要求31所述的方法，進(jìn)一步包括將所述RGB圖像與所述深度圖數(shù)據(jù)集對(duì)齊。33.如權(quán)利要求31或32所述的方法，進(jìn)一步包括剪切所述RGB圖像。34.如權(quán)利要求33所述圖像的方法，其中所述剪切所述RGB圖像包括將所述RGB圖像中與深度圖數(shù)據(jù)集不對(duì)應(yīng)的一部分剪切掉。35.如權(quán)利要求31-34中任一項(xiàng)所述的方法，進(jìn)一步包括剪切所述深度圖數(shù)據(jù)集。36.如權(quán)利要求35所述的方法，其中所述剪切所述深度圖數(shù)據(jù)集包括將所述深度圖數(shù)據(jù)集中與RGB圖像不對(duì)應(yīng)的一部分剪切掉。37.如權(quán)利要求31-36中任一項(xiàng)所述的方法，進(jìn)一步包括通過波束成形來處理從所述超聲波陣列接收到的深度圖數(shù)據(jù)。38.如權(quán)利要求31-37中任一項(xiàng)所述的方法，其中所述深度圖數(shù)據(jù)集的分辨率比所述RGB圖像數(shù)據(jù)的分辨率低。39.如權(quán)利要求31-38中任一項(xiàng)所述的方法，進(jìn)一步包括對(duì)所述深度圖數(shù)據(jù)集上采樣以匹配所述RGB圖像的所述分辨率?！疚臋n編號(hào)】G03B35/00GK105980928SQ201480075391【公開日】2016年9月28日【申請(qǐng)日】2014年10月28日【發(fā)明人】謝捷斌,任偉,周谷越【申請(qǐng)人】深圳市大疆創(chuàng)新科技有限公司