實時立體匹配的制作方法
【專利說明】實時立體匹配
[誦]宜量
[0002] 立體匹配是其中將從稍微不同的視角拍攝的一場景的兩個圖像（立體圖像對）進(jìn) 行匹配W找出描繪同一場景元素的各圖像元素的差別（位置上的差異）的過程。差別提供 與場景各元素到相機(jī)的相對距離有關(guān)的信息。立體匹配使得差別能夠被計算并且從而可W 找出環(huán)境中各對象的表面的深度?？蒞使用包括相隔已知距離的兩個圖像捕捉設(shè)備的立體 相機(jī)來捕捉立體圖像對。
[0003] 立體匹配在計算上是復(fù)雜的，因為要捜索大量的可能匹配；立體對中的左圖像中 的圖像元素可W與立體對中的右圖像中的任何圖像元素相匹配。已經(jīng)開發(fā)出用于立體匹配 (又稱為立體對應(yīng)問題）的各種辦法并且一般在結(jié)果的精確性和進(jìn)行計算所需的速度和資 源之間存在折衷。
[0004] 稱作主動立體的一種辦法設(shè)及用包括點、團(tuán)塊、線或其他圖案的照明圖案來照明 場景。該照明圖案在立體圖像對中被立體相機(jī)捕捉并且可W被用來幫助降低立體對應(yīng)問題 的復(fù)雜度。
[0005] W下描述的各實施例不限于解決已知立體相機(jī)匹配過程的缺點中的任一個或全 部的實現(xiàn)。
[0006] 概沐
[0007] 下面呈現(xiàn)了本發(fā)明的簡要概述，W便向讀者提供基本理解。本概述不是本公開的 窮盡概覽，并且不標(biāo)識本發(fā)明的關(guān)鍵/重要元素或描述本說明書的范圍。其唯一的目的是 W簡化形式呈現(xiàn)此處所公開的精選概念，作為稍后呈現(xiàn)的更詳細(xì)的描述的序言。
[0008] 描述了實時立體匹配，例如，用W找出環(huán)境中各對象距捕捉各對象的立體圖像流 的圖像捕捉設(shè)備的深度。例如，深度可W被用來控制增強(qiáng)現(xiàn)實、機(jī)器人、自然用戶界面技術(shù)、 游戲及其他應(yīng)用。使用并行處理單元來處理用或沒用投射到環(huán)境上的照明圖案獲得的立體 圖像流或單個立體圖像W獲得深度圖。在各實施例中，并行處理單元并行地傳播與差別圖 中的各行或各列中的深度相關(guān)的值。在各示例中，可W根據(jù)立體對的兩個圖像之間的相似 度測量來傳播值；傳播可W是立體圖像流的各帖的差別圖之間的時間上的，并且可W是左 或右差別圖內(nèi)的空間上的。
[0009] 通過結(jié)合附圖參考W下詳細(xì)描述，可易于領(lǐng)會并更好地理解許多附帶特征。
[0010] 附圖簡沐
[0011] 根據(jù)附圖閱讀W下【具體實施方式】，將更好地理解本發(fā)明，在附圖中：
[0012]圖1示出捕捉環(huán)境中各對象的立體圖像對的流的立體相機(jī)（或者主動或者被動）， 并且示意性地解說了計算用于游戲系統(tǒng)、增強(qiáng)現(xiàn)實系統(tǒng)、自然用戶界面、機(jī)器人系統(tǒng)或其他 系統(tǒng)的輸入的差別值的實時立體匹配引擎；
[001引圖2是樹的立體圖像對的示意圖，并且解說了可W如何使用立體匹配來計算樹的 差別；
[0014] 圖3是主動立體相機(jī)安排的示意圖；
[0015] 圖4是圖1的立體匹配引擎處的示例方法的流程圖；
[0016] 圖5是根據(jù)單個立體圖像對計算差別圖的方法的流程圖；
[0017] 圖6是更加詳細(xì)的圖4的時間傳播過程的示例的流程圖；
[0018] 圖7是更加詳細(xì)的圖4的空間傳播過程的示例的流程圖；
[0019] 圖8是空間傳播的示例向前和向后傳遞的示意圖；
[0020] 圖9是檢查差別圖中錯誤差別的方法的流程圖；
[0021] 圖10示出可在其中實現(xiàn)實時立體匹配的各實施例的示例性基于計算的設(shè)備。
[0022] 在各個附圖中使用相同的附圖標(biāo)記來指代相同的部件。
[0023] 詳細(xì)描沐
[0024] 下面結(jié)合附圖提供的詳細(xì)描述旨在作為本發(fā)明示例的描述，并不旨在表示可W構(gòu) 建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，W及用于構(gòu)建和操作 本發(fā)明示例的步驟的序列。然而，可W通過不同的示例來實現(xiàn)相同或等效功能和序列。
[0025] 雖然在本文中將本發(fā)明的示例描述并示出為在具有立體圖像流的立體系統(tǒng)中實 現(xiàn)，但是所描述的系統(tǒng)只是作為示例而非限制來提供的。本領(lǐng)域的技術(shù)人員將會領(lǐng)會，本發(fā) 明的示例適于包括主動立體系統(tǒng)和被動立體系統(tǒng)的各種不同類型的立體系統(tǒng)中的應(yīng)用，其 中單個立體對被獨立于其他立體對處理。
[0026] 圖1示出了被動立體相機(jī)對108,其可W被用來捕捉環(huán)境中各對象110的立體圖像 對的流104。該被動立體相機(jī)對108可W在環(huán)境中移動或者可W被固定。該被動立體相機(jī) 對108包括彼此相隔已知距離并被安排成使其視野基本重疊的兩個圖像捕捉設(shè)備。圖像捕 捉設(shè)備可W是紅外相機(jī)、RGB相機(jī)或其他類型的相機(jī)。
[0027] 圖2還示出了主動立體相機(jī)對106,其可W代替被動立體相機(jī)對108被用來捕捉立 體圖像對的流104。主動立體相機(jī)106具有相關(guān)聯(lián)的照明源，該照明源可W與主動立體相機(jī) 106集成或者可W是分立的并且位于環(huán)境110中的其他位置。相關(guān)聯(lián)的照明源能夠?qū)⒄彰?圖案投射到環(huán)境110中的各對象上。例如，紅外照明、可見光或其他照明。照明圖案可W包 括團(tuán)塊、線、網(wǎng)格或其他圖案。主動立體相機(jī)106包括彼此相隔已知距離并被安排成使其視 野基本重疊的兩個圖像捕捉設(shè)備。圖像捕捉設(shè)備能夠捕捉被照明源照明的場景中各對象的 圖像。例如，在照明是紅外線的情況下，圖像捕捉設(shè)備可W是紅外相機(jī)。
[0028] 無論是來自被動立體相機(jī)還是來自主動立體相機(jī)的立體圖像對的流都被輸入到 包括并行處理單元102的實時立體匹配引擎100。在一些示例中，實時立體匹配引擎100 還可W處理不是立體圖像流的一部分的立體對。實時立體匹配引擎100計算輸入立體圖像 的圖像元素的差別值112。運(yùn)些差別值與從立體相機(jī)到各圖像元素所描繪的對象的表面的 距離相關(guān)。差別值可W被游戲系統(tǒng)114、增強(qiáng)現(xiàn)實系統(tǒng)116、自然用戶界面118、機(jī)器人系統(tǒng) 120或使用與環(huán)境中對象表面的距離有關(guān)的信息的任何其他系統(tǒng)使用。圖像元素可W是像 素、體素、多個像素或多個體素。
[0029] 實時立體匹配引擎100可W與立體相機(jī)（主動或被動）集成或者可W位于能夠接 收立體圖像流的另一實體處。實時立體匹配引擎100使用計算機(jī)實現(xiàn)并且并行處理單元 102可W是圖形處理單元、程序?qū)Ｓ眉呻娐罚ˋSIC)、現(xiàn)場可編程口陣列（FPGA)或任何其 他并行處理單元。
[0030] 現(xiàn)在參考圖2從高層面來描述用W找出差別值的立體匹配的概念W輔助理解本 文中所描述的各示例。圖2是含有包括樹200的場景的左圖像202和右圖像204的立體圖 像對的示意圖。用來捕捉立體圖像對的立體相機(jī)（圖2中未示出）包括彼此分離W便如示 出那樣分別所捕捉的左圖像和右圖像的兩個圖像捕捉設(shè)備。左圖像和右圖像中屯、的點被示 出W輔助解說。在左圖像202中樹200的圖像在點左側(cè)；在右圖像204中樹的圖像在點右 偵U。當(dāng)左圖像和右圖像被疊加為合成圖像206時，使用虛線示出來自左圖像的樹的圖像。描 繪來自左圖像的樹基的圖像元素被稱為與描繪來自右圖像的樹基的圖像元素相對應(yīng)。運(yùn)些 對應(yīng)圖像元素之間的距離在箭頭208處示出，并且表示可W按像素單元或其他圖像元素測 量的運(yùn)些圖像元素之間的差別。差別值208與樹200距圖像捕捉設(shè)備的距離或深度相關(guān)。 找出左圖像的哪些圖像元素與右圖像的哪些圖像元素相對應(yīng)在計算上是復(fù)雜的，對于高分 辨率圖像而言尤甚。圖2的安排是被動立體匹配的示例，因為沒有用諸如紅外點圖案之類 的主動照明源來照明場景（即樹及其環(huán)境）。本文中所述的立體匹配的各示例可W應(yīng)用于 主動立體匹配和被動立體匹配兩者，并且于是現(xiàn)在參考圖3來描述針對主動立體是示例設(shè) 置。
[0031] 圖3是更加詳細(xì)的諸如圖1的主動立體相機(jī)106之類的主動立體相機(jī)安排的示意 圖。該安排包括彼此例如通過固定到軌道或其他支撐而被分隔開的至少兩個圖像捕捉設(shè) 備。在圖3的示例中，圖像捕捉設(shè)備是紅外（IR)相機(jī)300。然而，可W使用其他類型的圖 像捕捉設(shè)備，諸如RGB相機(jī)。圖像捕捉設(shè)備可W被同步鎖相或同步W使得圖像能夠在相同 時間點在每一圖像捕捉設(shè)備處被捕捉。圖像捕捉設(shè)備被放置成使得其視野重疊。如圖3所 示，每個圖像捕捉設(shè)備300能夠捕捉環(huán)境110中的各對象的圖像，盡管每個圖像捕捉設(shè)備具 有不同的視點。
[0032] 主動立體相機(jī)安排還包括照明源，諸如IR投影儀304、可見光源或能夠?qū)⒄彰鲌D 案投射到環(huán)境110中的各對象上的其他照明源。照明源可W被安排成將隨機(jī)的點圖案或其 他照明圖案投射到環(huán)境110中的各對象上。同步鎖相的圖像捕捉設(shè)備可W被用來捕捉環(huán)境 中各對象的圖像，包括IR點的隨機(jī)圖案或投射到對象的各表面上的其他照明圖案。例如， IR相機(jī)可W輸出灰度圖像，其中每個圖像元素包括單個強(qiáng)度值。
[003引圖4是圖1的立體匹配引擎處的示例方法的流程圖。在此示例中，立體圖像對的流 400被接收或輸入給立體匹配引擎。該流包括各帖，每一帖是立體圖像對。在其他示例中， 諸如W下參考圖5所述的示例中，立體匹配引擎處理并非來自立體圖像流的立體圖像對。
[0034] 立體圖像對可W被校正401，從而使垂直差別被最小化且可W被忽略。W此方式， 左立體圖像中給定行上的圖像元素將在右立體圖像中相同行上的其他位置處具有其對應(yīng) 的圖像元素（即，描繪環(huán)