專利名稱：用于估計場景中精確和相對物體距離的算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域。更具體地，本發(fā)明涉及場景中物體距離的確定。
背景技術(shù)：
深度圖(Depth Map, DM)是示出從相機傳感器到針對每單個像素的在場景中的對應點的距離的圖。傳統(tǒng)的DM生成方法包括測距傳感器(range sensor)和立體系統(tǒng)，測距傳感器使用聲波或者投射激光圖案或者利用一些其他手段來掃描場景以測量離相機的距離，立體系統(tǒng)使用兩個以上相機/鏡頭來獲取場景的多個圖像并且然后對它們進行匹配以便對場景中的點進行三角測量。在這兩種情況中，單鏡頭相機需要額外硬件以生成DM。

發(fā)明內(nèi)容
兩圖片匹配曲線信息能被用來確定場景中的精確物體距離或相對物體距離。除了曲線信息之外還獲取具有不同模糊信息的兩個圖像使得設(shè)備能夠確定場景中的物體的距離信息。距離信息能被用在包括生成深度圖在內(nèi)的圖像處理中，深度圖然后能被用在許多成像應用中。在一個方面，一種在設(shè)備上實現(xiàn)的方法包括獲取場景的第一圖像；獲取場景的第二圖像；以及利用曲線信息來確定場景中的物體的設(shè)備到物體距離(device-to-objectdistance)。曲線信息被預先計算出。利用曲線信息包括確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數(shù)目；利用卷積的數(shù)目來基于曲線信息確定物體到焦點位置距離(object-to-focus position distance);計算設(shè)備到焦點位置距離(device-to-focus position distance);以及將物體到焦點位置距離和設(shè)備到焦點位置距離相加來確定設(shè)備到物體距離。曲線信息包括多條曲線。該方法還包括生成曲線信息。生成曲線信息包括以不同的模糊量獲取多個圖像。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現(xiàn)的。該方法還包括生成深度圖。該方法還包括存儲深度圖。該方法還包括利用深度圖執(zhí)行應用。應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。在另一實施例中，一種在設(shè)備上實現(xiàn)的被配置為確定圖像中物體的距離的系統(tǒng)包括圖像獲取模塊，被配置為獲取第一圖像和第二圖像；曲線生成模塊，可操作地被耦合到圖像獲取模塊，曲線生成模塊被配置為生成曲線信息；以及距離計算模塊，可操作地被耦合到曲線生成模塊，距離計算模塊被配置為計算圖像內(nèi)的物體的設(shè)備到物體距離。距離計算模塊通過如下操作來利用曲線信息確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數(shù)目；利用卷積的數(shù)目來基于曲線信息確定物體到焦點位置距離；計算設(shè)備到焦點位置距離；以及將物體到焦點位置距離和設(shè)備到焦點位置距離相加來確定設(shè)備到物體距離。曲線信息是通過以不同模糊量獲取多個圖像的目標數(shù)據(jù)而被確定的。曲線信息包括多條曲線。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現(xiàn)的。該系統(tǒng)還包括可操作地耦合到距離計算模塊的深度圖生成模塊，深度圖生成模塊被配置為生成深度圖。深度圖被存儲。深度圖被利用來執(zhí)行應用。應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。設(shè)備是從包括如下項的組中選出的 個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。在另一方面，一種設(shè)備包括用于存儲應用的存儲器和耦合到存儲器的處理組件，處理組件被配置為處理應用，應用被配置為獲取場景的第一圖像；獲取場景的第二圖像；以及利用曲線信息來確定場景中的一個或多個物體的距離。利用曲線信息包括確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數(shù)目；利用卷積的數(shù)目來基于曲線信息確定物體到焦點位置距離；計算設(shè)備到焦點位置距離；以及將物體到焦點位置距離和設(shè)備到焦點位置距離相加來確定設(shè)備到物體距離。曲線信息被預先確定。曲線信息包括多條曲線。應用還被配置為生成曲線信息。生成曲線信息包括以不同的模糊量獲取多個圖像。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現(xiàn)的。應用還被配置為生成深度圖。深度圖被存儲。應用還被配置為利用深度圖執(zhí)行成像應用。成像應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。在另一方面，一種在設(shè)備上生成曲線信息的方法包括獲取場景中的測試物體的第一圖像和第二圖像，其中針對第二圖像改變焦點位置；計算第一圖像和第二圖像之間的模糊的改變；以及針對多個不同焦點位置重復a和b，以生成曲線信息。該方法還包括標識場景中的測試物體。測試物體的圖像以固定變焦(zoom)和光圈被獲取。生成曲線信息是在校準設(shè)備時發(fā)生的。曲線信息被存儲在設(shè)備上。設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。


圖I圖示出了根據(jù)一些實施例的曲線的圖表。
圖2A-2B圖示出了根據(jù)一些實施例的相機獲取圖片的示圖。圖3A-3B圖示出了根據(jù)一些實施例的利用卷積來影響圖片的聚焦的示圖。圖4圖示出了根據(jù)一些實施例的卷積和距離的示圖。圖5圖示出了根據(jù)一些實施例的曲線。圖6圖示出了根據(jù)一些實施例的示例性圖像以及使圖像模糊的一組卷積。圖7圖示出了根據(jù)一些實施例的用于確定圖像中的距離的示圖。圖8圖示出了根據(jù)一些實施例的一系列曲線的示圖。圖9圖示出了根據(jù)一些實施例的利用設(shè)備確定物體距離的方法的流程圖。圖10圖示出了根據(jù)一些實施例的被配置為確定物體距離的示例性計算設(shè)備的框圖。
具體實施例方式早先已描述了基于簡單透鏡模型利用數(shù)學公式來計算場景中的物體距離。該數(shù)學公式的輸入是諸如焦距、光圈大小和其它信息之類的固有相機參數(shù)以及兩圖片匹配曲線信
肩、O取代利用先前描述的數(shù)學公式，兩圖片匹配曲線信息能被用來確定場景中的精確物體距離或相對物體距離。兩圖片匹配曲線是從由采用電荷耦合器件(CXD)或互補金屬氧化物半導體(COMS)傳感器的任意成像設(shè)備捕獲的數(shù)據(jù)計算出的物理量。兩圖片匹配曲線上的特定點是以如下方式生成的。對于固定的相機變焦和光圈，測試目標或物體的圖片針對特定相機焦點位置被捕獲。接下來，相機焦點位置被改變某個小的量并且第二張圖片被捕獲。然后計算測試目標或物體的模糊改變。然后針對不同的相機焦點位置重復該處理，從而生成兩圖片匹配曲線。如果相鄰相機焦點位置被重復改變與M倍景深(其中M是非零有理數(shù)量)相對應的某個固定量，則當應用高斯卷積核(kernel)時，計算出的兩圖片匹配曲線理論上是線性的。否則，曲線是單調(diào)遞增/遞減的。由于相機鏡頭中的瑕疵，即使相對于其先前相機焦點位置針對每個新的相機焦點位置將相機焦點位置改變固定的M倍景深，線性也僅針對固定范圍而存在。所捕獲的兩圖片匹配曲線的示例在圖I中被示出。水平軸被定義為圖片編號，而垂直軸被定義為迭代數(shù)目(=卷積)。圖片編號參照(與不同相機焦點位置相關(guān)聯(lián)的)所捕獲圖片。在自然場景中，迭代被計算并被與場景中的非重疊區(qū)域相關(guān)聯(lián)。編號然后可被用來確定場景中物體的相對順序(例如，哪些物體離相機更近以及哪些物體更遠)或者用來近似場景中物體的實際距離。包含迭代信息的矩陣被定義為迭代圖(iteration map)。確定相對物體距離例如，所關(guān)注的場景具有如下的基本的3 X 3迭代圖。-5 3 I2 8 6 4-7 3如果該矩陣的左上角被定義為項(entry) (1，I)，并且該矩陣的右下角被定義為項(3，3)，則位于項(2，2)處的物體對應于迭代圖編號8。該物體與相機最接近。類似地，與迭代圖編號-7相對應的位于項(3，2)處的物體離相機最遠。類似地，與迭代圖編號I相對應的位于項(1，3)處的物體與相機的當前焦點位置最接近。迭代圖的維度是η X m。另外，迭代圖通常包含非重疊區(qū)域，非重疊區(qū)域包含與邊界區(qū)域相對應的兩個不同深度(例如，前景物體和背景物體)。在這些位置，迭代圖信息是不準確的。一般地，基本的濾波或聚類方案能夠用來改進非邊界位置處的迭代圖估計。迭代圖中的信息然后能夠用來確定相對的和精確的物體距離。然而，在假設(shè)所關(guān)注物體包括數(shù)個非重疊區(qū)域/迭代圖中的多個相鄰項的情況下，通過采用簡單聚類算法，相對物體距離可被確定。確定精確物體距離如果每個鄰近相機位置對應于M倍景深的移動，則迭代數(shù)目能夠用來計算物體距離。這在圖I中被例示出。 在圖I中，在當前焦點位置處，針對所關(guān)注物體的迭代次數(shù)為K。通過圖示說明的方式，與當前焦點位置相關(guān)聯(lián)的兩圖片匹配曲線在圖I中示出。利用該曲線，K與離當前相機焦點位置[(N+8)-N] = 8個單位遠的圖片編號相對應。物體的距離然后可被確定為8*M倍景深。每個連續(xù)圖片編號位置是從數(shù)學公式計算出的。一種可能是從某個參考圖片編號
I[或Nmax]或者I與Nmax之間的某個其它圖片編號起來計算每個連續(xù)圖片編號位置作為向前[或向后]景深位置。下面示出的代碼(其中，sign(depth_of_fields) == I)能夠應用來利用當前相機焦點位置計算物體位置。通過代入新計算出的向前景深位置來計算每個新的相機焦點位置。在下面給出的示例中，相機焦距、光圈F值(fnumber)和起始焦點距離(對應于圖片編號N=I)分別為63mm、5. 2和1cm。該處理被迭代8次以便確定物體距離。
flength_check = 63/1000; % unit of meters fnumber -- 5.2
%coc of camera - 0.18 % unit of millimeters distance_focus = I ; % unit of centimeters depth_of_fields = 8;
H = ((flength * 100)A2) / (fnumber * 0.0018); % all units now in cm Dno = (H* distance_focus) / H+distance_focus);Dfo = (H* distance—focus) / H-distance_focus);
if sign(depth of fields) == I Dnewl - - Dfo;
s_new = distance_focus; % Dfo; for loop_dof = I :abs(depth_of_fields),
Dnewl = (H * s_new) /(H- s_new);
s—new = Dnewl;
distance I (loop_dof) = s_new;
end
elseif sign (depth_of_fields) ==-1 %Dnewl —— Dno; s_new = distance_focus; for loop dof = I :abs (depth_of_fields)
Dnewl = (H * s_new) / (H + s_new); s—new = Dnewl; distance2(loop_dof) = s_new;
end
else
aa= 11111111111111111111111
end類似地，向后景深位置可被計算出并被使用。在此情況中，distance_focus =H/2[對應于 N = Nmax]和 sign(depth_of_fields)選項被選為等于-I。類似地，可基于“教科書”景深定義來在向前方向上計算新的圖片編號位置。這里，distance_focus = I,并且Dnol和Dfol兩者利用以上公式來計算。為了計算與下一圖片編號位置相對應的下一焦點位置，下面的等式然后被求解。Dno2 = Dfol ；distance_focus2 = (Dno2*H)/(H_Dno2)；該處理被重復以生成所有后續(xù)距離焦點位置。Dfo2 = (H*distance_focus2)/(H_distance_focus2)；Dno3 = Dfo2 ；類似地，基于“教科書”景深定義來在逆方向上計算新的圖片編號位置。這里，distance_focus = H/2,并且Dnol和Dfol兩者利用以上公式來計算。為了計算與下一圖片編號位置相對應的下一焦點位置，下面的等式然后被求解。
Dfo2 = Dnol ；distance—focus2 = (Dfo2*H)/ (H+Dfo2)該處理被重復以生成所有后續(xù)距離焦點位置。Dno2 = (H*distance—focus2)/(H+distance—focus2)；Dfo3 = Dno2定義和公式的其它變體也可被使用。利用預定數(shù)學公式來計算圖片編號位置。通過迭代數(shù)學公式，與特定迭代數(shù)目相關(guān)聯(lián)的物體深度然后可被確定。圖2A圖示出了根據(jù)一些實施例的相機捕獲圖片的示圖。對場景取景的相機具有指定設(shè)置，例如，變焦(zl)和光圈大小(al)。該相機還具有焦點位置(fl)。從該信息可以計算出距離(Dl)。在圖2A中，示出了聚焦在人上而太陽被模糊的圖像。從相機到相機聚焦的位置(在人那兒)的距離為D1。圖2B圖不出了根據(jù)一些實施例的相機捕獲圖片時的不圖。變焦和光圈大小保持相同，但焦點位置(f2)改變。然后，從此信息能夠計算出距離(D2)。一般地，距離=函數(shù)(zL，aL，fL)。在圖2B中，與圖2A相比，圖像被聚焦為更接近太陽，而人被模糊。從相機到相機聚焦的位置(在人之外)的距離為D2。因此，當將在圖2A和圖2B中捕獲的圖像相比較時，一個圖像聚焦著人并使太陽模糊，另一圖像使人模糊并使太陽不太模糊。這些圖像能夠用來確定圖像中諸如人之類的所有物體的距離。圖3A圖示出了根據(jù)一些實施例的利用卷積來影響圖片的聚焦的示圖。兩個圖片被拍攝，例如，第一圖片最初聚焦在人上并使太陽模糊，第二圖片被聚焦為更接近太陽而使人模糊。為了使第一圖片中的人與第二圖片中的人同樣模糊，數(shù)學卷積運算可被應用。卷積被迭代并且在每次迭代之后檢查第一圖片與第二圖片的接近度。因此，每次迭代會使人更模糊。最終，模糊將匹配，并且超過其的模糊將導致第一圖片比第二圖片更模糊。卷積的數(shù)目可被記錄為例如M次卷積。圖3B圖示出了根據(jù)一些實施例的利用卷積來影響圖片的聚焦的示圖。與圖3A中使人模糊的卷積類似，能夠在N次卷積中使太陽模糊以獲得匹配的模糊。圖4圖示出了根據(jù)一些實施例的卷積和距離的示圖。當在聚焦點(例如，測試目標的焦點位置)以外拍攝圖片對時，卷積運算符的符號為正，并且當圖片對在聚焦點之前時，符號為負。換言之，當圖片對在聚焦點以外時，第二圖片比第一圖片更模糊；因此，卷積運算符將為正。然而，當圖片對在聚焦點之前時，第一圖片比第二圖片更模糊；因此，卷積運算符為負。符號指示方向。這使得能夠獲取取決于圖片對被拍攝的位置的數(shù)字序列。如在圖I中所述的，曲線能夠被生成。然后，利用這些圖片對、與圖片對相關(guān)的卷積以及所生成的曲線，距離能夠被確定，如圖5所示。圖6圖示出了根據(jù)一些實施例的示例性圖像以及使圖像模糊的一組卷積。圖7圖示出了根據(jù)一些實施例的用于確定圖像中的距離的示圖。將圖6中較清晰的車模糊為不太清晰的車的卷積數(shù)目為L次卷積。然后，利用曲線，L次卷積得到車的距離d_car。焦點位置是已知的；因此，從焦點位置到車的距離能夠被確定。從車到相機的距離為d_car+d_camera。曲線是針對每個相機生成的。在一些實施例中，當相機被校準時，曲線被生成并被、存儲在相機中。在一些實 施例中，多條曲線被生成以提高性能。取決于諸如相機被聚焦的位置之類的多種因素，曲線的斜率可能略微不同，因此可能使用某一條曲線比另一曲線更適當。在一些實施例中，曲線是基于相機被聚焦的位置而從曲線集中選擇的。在一些實施例中，曲線是基于另外的因素被選擇的。獲取圖片對涉及捕獲具有某個小數(shù)倍的景深間隔的兩個圖片。在一些實施例中，景深間隔是有理數(shù)。例如，間隔為I倍景深、2倍景深、I. 5倍景深或其它。一條或多條曲線被存儲在諸如相機之類的設(shè)備中。圖8圖示出了根據(jù)一些實施例的一系列曲線的示圖。然后，兩個圖片的焦點位置被用來確定哪條曲線是適當?shù)?，以及基于該曲線來確定距離。如果相機參數(shù)被改變，則曲線能夠被修改。利用上述曲線和信息，圖片中物體的距離和深度圖可被確定。深度圖可通過如下操作來確定為場景中的許多物體建立距離，其隨后被繪制出來，從而生成深度圖。曲線可以以諸如查找表之類的任意數(shù)據(jù)結(jié)構(gòu)被存儲。圖9圖示出了根據(jù)一些實施例的利用設(shè)備確定物體距離的方法的流程圖。在步驟900，第一圖像被獲取。在步驟902，第二圖像被獲取。第一圖像和第二圖像具有不同的模糊量。在步驟904，所確定的曲線被利用來確定所獲取圖像中的一個或多個物體的距離。該距離是通過如下操作來計算的確定用來將較清晰圖像(例如，第一圖像)模糊為不太清晰圖像(例如，第二圖像)的卷積數(shù)目，然后利用卷積數(shù)目來基于曲線(參見圖5)確定從物體到焦點位置的距離(例如，物體到焦點位置距離)。由于焦點位置是已知的，因此從相機到焦點位置的距離(例如，設(shè)備到焦點位置距離)能夠被計算出。然后，將從相機到焦點位置的距離與從焦點位置到物體的距離相加就是物體離相機的總距離。除了計算物體到相機的距離之外，還可以計算相對物體距離。例如，如果針對兩個分離的物體計算焦點位置到物體距離，則這些距離可被用來確定相對物體距離。如上所述，通過獲取目標的具有不同模糊量的圖像來確定曲線。在一些實施例中，在步驟906，基于所確定的距離生成深度圖。在一些實施例中，所確定曲線在第一圖像被獲取之前被確定并被存儲。在步驟908，深度圖被存儲。在一些實施例中，深度圖不被存儲并且步驟908可被跳過。在步驟910，深度圖被利用來執(zhí)行如下面描述的那些應用之類的應用。圖10圖示出了根據(jù)一些實施例的被配置為確定圖像中物體的距離的示例性計算設(shè)備的框圖。計算設(shè)備1000可用來獲取、存儲、計算、傳輸和/或顯示諸如圖像和視頻之類的信息。例如，計算設(shè)備1000可獲取并存儲圖片并且利用來自所獲取圖片的信息執(zhí)行計算。一般地，適于實現(xiàn)計算設(shè)備1000的硬件結(jié)構(gòu)包括網(wǎng)絡(luò)接口 1002、存儲器1004、處理器1006、( 一個或多個)I/O設(shè)備1008、總線1010和存儲設(shè)備1012。處理器的選擇不是嚴格的，只要選擇具有足夠速度的合適處理器即可。存儲器1004可以是本領(lǐng)域已知的任何傳統(tǒng)計算機存儲器。存儲設(shè)備1012可包括硬盤驅(qū)動器、⑶ROM、⑶RW、DVD、DVDRW、閃存卡或任何其它存儲設(shè)備。計算設(shè)備1000可包括一個或多個網(wǎng)絡(luò)接口 1002。網(wǎng)絡(luò)接口的示例包括連接到以太網(wǎng)或其它類型的LAN的網(wǎng)絡(luò)卡。(一個或多個)I/O設(shè)備1008可包括以下中的一者或多者鍵盤、鼠標、監(jiān)視器、顯示器、打印機、調(diào)制解調(diào)器、觸摸屏、按鈕接口和其它設(shè)備。用來執(zhí)行距離方法的(一個或多個)距離應用1030有可能被存儲在存儲設(shè)備1012和存儲器1004中并且像應用通常被處理的那樣被處理。圖10所示的更多或更少的組件可被包括在計算設(shè)備1000中。在一些實施例中，距離處理硬件1020被包括。雖然圖10中的計算設(shè)備1000包括應用1030和用于距離應用的硬件1020，但是距離應用還能夠以硬件、固件、軟件或它們的任意組合在計算設(shè)備上實現(xiàn)。在一些實施例中，(一個或多個)距離應用1030包括數(shù)個應用和/或模塊。在一些實施例中，(一個或多個)距離應用1030包括被配置為獲取多個圖像/圖片/視頻(例如，第一圖像/圖片/視頻和第二圖像/圖片/視頻)的圖像/圖片/視頻獲取模塊1032、被配置為生成曲線的曲線生成模塊1034、被配置為確定/計算圖像/圖片/視頻內(nèi)物體的距離的距離計算模塊1036以及被配置為生成深度圖的深度圖生成模塊1038。 合適計算設(shè)備的示例包括個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機、家庭娛樂系統(tǒng)或者任何其它合適計算設(shè)備。為了利用所確定的距離和深度圖，應用的一些方面可應用于成像處理的不同階段。在圖像/視頻被獲取之前，利用距離和/或深度圖的應用能夠設(shè)置如下參數(shù)，包括但不限于自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置和快門速度。這些應用能夠自動地被實現(xiàn)或者由用戶手動實現(xiàn)。然后，用戶能夠如他獲取任何圖像/視頻一樣(例如，對準目標并按下按鈕)來獲取圖像/視頻。當圖像/視頻被獲取時，另外的應用能夠影響圖像，包括但不限于白平衡、降噪、伽馬校正、運動估計和圖像/視頻壓縮。在圖像/視頻被存儲之后，可進行后處理。例如，圖像被存儲在相機/攝錄像機或者諸如計算機之類的另外的設(shè)備上。利用輸入機構(gòu)，用戶能夠?qū)D像/視頻執(zhí)行后處理操作。在一些實施例中，后護理自動發(fā)生而無需用戶輸入。圖像后處理的示例包括但不限于生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。所有這些步驟可受益于距離信息和深度圖。在操作中，在利用曲線信息和兩個以上圖像確定距離信息和/或深度圖時，可以以多種方式來改進圖像/視頻處理。利用所獲取的圖像信息來生成曲線。然后，通過獲取具有不同模糊度的兩個以上圖像，將較清晰圖像模糊為更模糊圖像的卷積的數(shù)目可被記錄并且然后與曲線一起被用來確定距離(例如物體到焦點位置距離)。從焦點位置到相機的距離可被計算。這兩個距離一起是從物體到相機或其它設(shè)備的距離?？梢酝ㄟ^在圖像/視頻被獲取之前適當?shù)嘏渲孟鄼C設(shè)置來改進圖像獲取。對所獲取圖像的圖像處理可被改進。還可以利用距離信息來改進對圖像的后處理。改進包括更高效的處理、更好質(zhì)量的圖像/視頻、另外的特征以及其它改進。已根據(jù)包含有細節(jié)的具體實施例描述了本發(fā)明，以輔助理解本發(fā)明的操作和構(gòu)成的原理。這里對具體實施例及其細節(jié)的提及不旨在限制所附權(quán)利要求的范圍。本領(lǐng)域技術(shù)人員將容易清楚，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可以對被選擇用于圖示說明的實施例作出其他各種修改。
權(quán)利要求
1.一種在設(shè)備上實現(xiàn)的方法，包括 a.獲取場景的第一圖像； b.獲取所述場景的第二圖像；以及 c.利用曲線信息來確定所述場景中的物體的設(shè)備到物體距離。
2.如權(quán)利要求I所述的方法，其中，所述曲線信息被預先計算出。
3.如權(quán)利要求I所述的方法，其中，利用所述曲線信息包括 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數(shù)目； b.利用所述卷積的數(shù)目來基于所述曲線信息確定物體到焦點位置距離； c.計算設(shè)備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設(shè)備到焦點位置距離相加來確定所述設(shè)備到物體距離。
4.如權(quán)利要求I所述的方法，其中，所述曲線信息包括多條曲線。
5.如權(quán)利要求I所述的方法，還包括生成所述曲線信息。
6.如權(quán)利要求5所述的方法，其中，生成所述曲線信息包括以不同的模糊量獲取多個圖像。
7.如權(quán)利要求I所述的方法，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
8.如權(quán)利要求7所述的方法，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現(xiàn)的。
9.如權(quán)利要求I所述的方法，還包括生成深度圖。
10.如權(quán)利要求9所述的方法，還包括存儲所述深度圖。
11.如權(quán)利要求10所述的方法，還包括利用所述深度圖執(zhí)行應用。
12.如權(quán)利要求11所述的方法，其中，所述應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。
13.如權(quán)利要求I所述的方法，其中，所述設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。
14.一種在設(shè)備上實現(xiàn)的被配置為確定圖像中物體的距離的系統(tǒng)，該系統(tǒng)包括 a.圖像獲取模塊，被配置為獲取第一圖像和第二圖像； b.曲線生成模塊，可操作地被耦合到所述圖像獲取模塊，所述曲線生成模塊被配置為生成曲線信息；以及 c.距離計算模塊，可操作地被耦合到所述曲線生成模塊，所述距離計算模塊被配置為計算所述圖像內(nèi)的物體的設(shè)備到物體距離。
15.如權(quán)利要求14所述的系統(tǒng)，其中，所述距離計算模塊通過如下操作來利用所述曲線信息 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數(shù)目；b.利用所述卷積的數(shù)目來基于所述曲線信息確定物體到焦點位置距離； C.計算設(shè)備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設(shè)備到焦點位置距離相加來確定所述設(shè)備到物體距離。
16.如權(quán)利要求14所述的系統(tǒng)，其中，所述曲線信息是通過以不同模糊量獲取多個圖像的目標數(shù)據(jù)而被確定的。
17.如權(quán)利要求14所述的系統(tǒng)，其中，所述曲線信息包括多條曲線。
18.如權(quán)利要求14所述的系統(tǒng)，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
19.如權(quán)利要求18所述的系統(tǒng)，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現(xiàn)的。
20.如權(quán)利要求14所述的系統(tǒng)，還包括可操作地耦合到所述距離計算模塊的深度圖生成模塊，所述深度圖生成模塊被配置為生成深度圖。
21.如權(quán)利要求21所述的系統(tǒng)，其中，所述深度圖被存儲。
22.如權(quán)利要求22所述的系統(tǒng)，其中，所述深度圖被利用來執(zhí)行應用。
23.如權(quán)利要求23所述的系統(tǒng)，其中，所述應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。
24.如權(quán)利要求14所述的系統(tǒng)，其中，所述設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。
25.—種設(shè)備,包括 a.用于存儲應用的存儲器，所述應用被配置為 i.獲取場景的第一圖像； ii.獲取所述場景的第二圖像；以及 iii.利用曲線信息來確定所述場景中的一個或多個物體的距離；以及 b.耦合到所述存儲器的處理組件，所述處理組件被配置為處理所述應用。
26.如權(quán)利要求25所述的設(shè)備，其中，利用所述曲線信息包括 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數(shù)目； b.利用所述卷積的數(shù)目來基于所述曲線信息確定物體到焦點位置距離； c.計算設(shè)備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設(shè)備到焦點位置距離相加來確定所述設(shè)備到物體距離。
27.如權(quán)利要求25所述的設(shè)備，其中，所述曲線信息被預先確定。
28.如權(quán)利要求25所述的設(shè)備，其中，所述曲線信息包括多條曲線。
29.如權(quán)利要求25所述的設(shè)備，其中，所述應用還被配置為生成所述曲線信息。
30.如權(quán)利要求29所述的設(shè)備，其中，生成所述曲線信息包括以不同的模糊量獲取多個圖像。
31.如權(quán)利要求25所述的設(shè)備，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
32.如權(quán)利要求31所述的設(shè)備，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現(xiàn)的。
33.如權(quán)利要求25所述的設(shè)備，其中，所述應用還被配置為生成深度圖。
34.如權(quán)利要求34所述的設(shè)備，其中，所述深度圖被存儲。
35.如權(quán)利要求35所述的設(shè)備，其中，所述應用還被配置為利用所述深度圖執(zhí)行成像應用。
36.如權(quán)利要求36所述的設(shè)備，其中，所述成像應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設(shè)置、光圈設(shè)置、閃光燈設(shè)置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質(zhì)量改善、生成3-D圖像、陰影去除以及物體分割。
37.如權(quán)利要求25所述的設(shè)備，其中，所述設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。
38.一種在設(shè)備上生成曲線信息的方法,包括 a.獲取場景中的測試物體的第一圖像和第二圖像，其中針對所述第二圖像改變焦點位置； b.計算所述第一圖像和所述第二圖像之間的模糊的改變；以及 c.針對多個不同焦點位置重復a和b，以生成所述曲線信息。
39.如權(quán)利要求38所述的方法，還包括標識所述場景中的所述測試物體。
40.如權(quán)利要求38所述的方法，其中，所述測試物體的圖像以固定變焦和光圈被獲取。
41.如權(quán)利要求38所述的方法，其中，生成所述曲線信息是在校準所述設(shè)備時發(fā)生的。
42.如權(quán)利要求38所述的方法，其中，所述曲線信息被存儲在所述設(shè)備上。
43.如權(quán)利要求38所述的方法，其中，所述設(shè)備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、服務器、大型計算機、手持計算機、個人數(shù)字助理、蜂窩/移動電話、智能設(shè)備、游戲控制器、數(shù)碼相機、數(shù)字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統(tǒng)。
全文摘要
兩圖片匹配曲線信息可被用來確定場景中的精確物體距離或相對物體距離。獲取除曲線信息之外的具有不同模糊信息的兩個圖像使得設(shè)備能夠確定場景中物體的距離信息。距離信息可被用在包括生成深度圖在內(nèi)的圖像處理中，深度圖然后可被用在許多成像應用中。
文檔編號G06T15/10GK102640189SQ201080054810
公開日2012年8月15日 申請日期2010年12月2日 優(yōu)先權(quán)日2009年12月16日
發(fā)明者中村真?zhèn)? 厄爾·王, 杉浦守, 李平山, 村上芳弘, 櫛田英功, 索羅吉·特里特亞帕拉賽 申請人:索尼公司, 索尼電子有限公司