用層疊結構來表示立體圖像以分析圖像中的目標的技術的制作方法
【技術領域】
[0001]本發(fā)明涉及立體視覺圖像處理領域，且更具體地，涉及用層疊結構來表示立體圖像以分析立體圖像中的目標的方法和系統(tǒng)。
【背景技術】
[0002]現(xiàn)今，基于立體視覺的3維圖像分析和處理技術越來越成為研究的熱點。例如，可靠的3維立體道路環(huán)境理解對于車輛的自主駕駛十分重要。3維立體道路環(huán)境識別任務可以主要包括路面估計，消失點計算，目標檢測等，其中，目標的分析和檢測作為最為重要的部分，對車的自主控制有著直接的影響。
[0003]當前基于立體圖像的單幀信息的目標分析和檢測方法主要有兩類:(I)基于滑動窗口及其改進的相關方法；(2)基于分割/聚類的方法。第一類方法通常較為簡單，但計算量非常大。相比于第一類方法，第二類方法在實時性方法有顯著的優(yōu)勢，并且其對目標外觀變化有較強的魯棒性。但是第二類方法難于采用統(tǒng)一的特征或一致的準則進行準確的聚類分割:太寬松的聚類條件容易導致相鄰的目標錯誤的合并在一起形成過合并的結果；太嚴格的聚類條件可能錯誤的將一個目標分裂為幾個小塊形成過分割的結果。
[0004]本發(fā)明針對以上問題，采用提出的新方法進行目標分析和檢測，以得到更精確的目標位置。

【發(fā)明內容】

[0005]根據(jù)本公開的一個方面，提供一種用層疊結構來表示立體圖像以分析圖像中的目標的方法，包括:針對輸入的立體圖像，基于立體圖像中的第一類相關特征、準則或模型，來生成至少一個第一第一級結構圖，其中，不同的第一第一級結構圖是利用該第一類相關特征、準則或模型的不同嚴格程度來生成的，且所述不同的第一第一級結構圖在不同第一分割程度上包括目標；至少部分地結合所述至少一個第一第一級結構圖來分析立體圖像中的目標，以得到包括目標的第一級目標分析結果的結構圖。
[0006]根據(jù)本公開的另一方面，提供一種用層疊結構來表示立體圖像以分析圖像中的目標的系統(tǒng)，包括:第一第一級生成裝置，被配置為針對輸入的立體圖像，基于立體圖像中的第一類相關特征、準則或模型，來生成至少一個第一第一級結構圖，其中，不同的第一第一級結構圖是利用該第一類相關特征、準則或模型的不同嚴格程度來生成的，且所述不同的第一第一級結構圖在不同第一分割程度上包括目標；第一第一級分析裝置，被配置為至少部分地結合所述至少一個第一第一級結構圖來分析立體圖像中的目標，以得到包括目標的第一級目標分析結果的結構圖。
【附圖說明】
[0007]圖1示出了應用本發(fā)明的技術的示例硬件結構。
[0008]圖2示出了根據(jù)本發(fā)明的一個實施例的用層疊結構來表示立體圖像以分析圖像中的目標的方法的示例流程圖。
[0009]圖3示出了根據(jù)本發(fā)明的另一個實施例的用層疊結構來表示立體圖像以分析圖像中的目標的方法的示例流程圖。
[0010]圖4A示出了根據(jù)本發(fā)明的再一個實施例的用層疊結構來表示立體圖像以分析圖像中的目標的具體方法的示例流程圖。圖4B示出了應用圖4A所示的方法的過程的直觀示意圖。
[0011]圖5示出了如圖4A所示地基于不同類相關特征、準則或模型來生成多系列低級層疊結構金字塔(CSP)的結構圖的過程的流程圖。
[0012]圖6A-6E示出了基于一類相關特征、準則或模型(S卩，空間相鄰性特征)生成一系列低級層疊結構金字塔(CSP)的示例結構圖、以及結合該一系列低級結構圖來得到包括目標的低級目標分析結果的結構圖的過程的示意圖。
[0013]圖7A示出了結合關于空間相鄰性特征的一系列低級結構圖以及關于灰度一致性特征的一系列結構圖來得到另一種包括目標的低級目標分析結果的結構圖的過程的示意圖。圖7B示出了結合關于空間相鄰性特征的一系列低級結構圖以及關于灰度一致性特征的一系列結構圖來得到另一種包括目標的低級目標分析結果的結構圖的過程涉及的圖像例子的示意圖。
[0014]圖8A示出了基于圖7A所示的另一種包括目標的低級目標分析結果的結構圖來生成一系列聞級結構圖。圖8B TK出了基于圖8A所TK的一系列聞級結構圖來得到一系列聞級層疊結構金字塔(CSP)的結構圖。
[0015]圖9示出了結合圖8A所示的一系列高級結構圖來生成包括目標的高級目標分析結果的結構圖。
[0016]圖10示出了根據(jù)本發(fā)明的一個實施例的用層疊結構來表示立體圖像以分析圖像中的目標的系統(tǒng)的示例方框圖。
【具體實施方式】
[0017]現(xiàn)在將詳細參照本發(fā)明的具體實施例，在附圖中例示了本發(fā)明的例子。盡管將結合具體實施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實施例。相反，想要覆蓋由所附權利要求限定的在本發(fā)明的精神和范圍內包括的變更、修改和等價物。應注意，這里描述的方法步驟都可以由任何功能塊或功能布置來實現(xiàn)，且任何功能塊或功能布置可被實現(xiàn)為物理實體或邏輯實體、或者兩者的組合。
[0018]為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和【具體實施方式】對本發(fā)明作進一步詳細說明。
[0019]圖1示出了應用本發(fā)明的技術的示例硬件結構。
[0020]如圖1所示，立體相機(例如雙目相機)可以將拍攝到的立體圖像傳輸?shù)浇獯a器，解碼器可以將其解碼并轉換為任何需要的圖像、例如視差圖、灰度圖等，數(shù)字信號處理器則可以將目標圖像(包括但不限于視差圖、灰度圖)作為輸入，并與存儲設備交互來進行處理以輸出檢測到的目標和其他相關數(shù)據(jù)到車輛控制模塊，而車輛控制模塊可以根據(jù)檢測到的目標和其他相關數(shù)據(jù)來進行車輛的控制，例如識別行人、車輛、道路、自主駕駛等。其中，數(shù)字信號處理器可以連接輸入設備(雙目相機與解碼器)、輸出設備(車輛控制模塊)以及存儲設備。而本公開提出的方法就可以運行于該數(shù)字信號處理器當中。
[0021]圖2示出了根據(jù)本發(fā)明的一個實施例的用層疊結構來表示立體圖像以分析圖像中的目標的方法的示例流程圖。
[0022]圖2所示的用層疊結構來表示立體圖像以分析圖像中的目標的方法200包括:步驟S201，針對輸入的立體圖像，基于立體圖像中的第一類相關特征、準則或模型，來生成至少一個第一第一級結構圖，其中，不同的第一第一級結構圖是利用該第一類相關特征、準則或模型的不同嚴格程度來生成的，且所述不同的第一第一級結構圖在不同第一分割程度上包括目標；步驟S202，至少部分地結合所述至少一個第一第一級結構圖來分析立體圖像中的目標，以得到包括目標的第一級目標分析結果的結構圖。
[0023]在此，還可以將輸入的立體圖像進行預處理，例如，將其轉換為視差圖、灰度圖、或進行邊緣檢測得到邊緣檢測圖，以便于如上所述地、基于立體圖像中的第一類相關特征、準則或模型，來生成至少一個第一第一級結構圖。
[0024]在一個實施例中，第一類相關特征、準則或模型可以包括用于聚類的基于空間相鄰性特征、灰度一致性特征或邊緣連續(xù)性特征或輪廓特征。在一個實施例中，該第一類相關特征、準則或模型的不同嚴格程度包括在空間相鄰性特征的情況下的基于固定視差中心或基于可移動視差中心的不同空間視差(或距離或深度)閾值的聚類、在灰度一致性特征的情況下的基于不同灰度差閾值的聚類、或在邊緣連續(xù)性特征的基于不同邊緣連續(xù)性閾值的聚類、在輪廓特征的情況下的基于不同的輪廓包含關系的聚類等。例如，如果要檢測的對象、例如人、車一般是豎直站立的，則可以對視差圖的視差(或距離或深度)參數(shù)設置一個視差(或距離或深度)閾值(該閾值可以比較小，因為對象假設為豎直的)，并根據(jù)該視差(或距離或深度)閾值，對視差圖進行基于固定視差中心或基于可移動視差中心的聚類，來聚類在視差值(或距離或深度值)上小于視差(或距離或深度)閾值的一些像素點以形成分割區(qū)域。這種分割區(qū)域由于視差(或距離或深度)閾值的取值大小而形成過分割、過合并或合適大小的情形。另外，由于選擇是基于固定視差中心還是基于可移動視差中心來進行上述聚類，也可以形成更小或更大的聚類分割區(qū)域。
[0025]從而，可見，通過對第一類相關特征、準則或模型的不同嚴格程度的選擇，來得到在不同分割程度上包括目標的聚類結構圖，可以形成有層次感的一系列聚類結構圖，它們或多或少、或大或小地包括了要檢測的對象。當然，除了基于空間相鄰性特征來進行聚類的情況，也可以在灰度一致性特征的情況下的基于不同灰度差閾值、或在邊緣連續(xù)性特征的基于不同邊緣連續(xù)性閾值來得到另外的幾個系列的有層次感的聚類結構圖，它們也或多或少、或大或小地包括了要檢測的對象。
[0026]如果將這些不同分割程度的結構圖按照分割程度更粗到分割程度更細的順序從上到下排列，貝1J可以構建類似于層疊結構金字塔(Cascade Structure Pyramids, CSP)的結構，其中相對于金字塔底部的結構圖，位于金字塔頂部的結構圖中的信息通常更少、更抽象。之所以稱其為金字塔，正是因為按稠密表示法，位于CSP頂部的結構圖更加抽象、數(shù)據(jù)量更小，比位于CSP底部的結構圖更“小”，正如一個金字塔形。當然，該構建金字塔的步驟是可選的，僅是為了更直觀地向讀者表達本發(fā)明的構思而已。
[0027]如此，由于不同的第一第一級結構圖是利用該第一類相關特征、準則或模型的不同嚴格程度來生成的，因此這種不同的第一級結構圖可以包括不同分割程度的目標，例如，有個(些)結構圖可能包括較多過分割的目標(即，一個實際對象可能被分割為過多小區(qū)域)和較少過合并的目標(即，多個實際對象可能被合并為一個大區(qū)域)，有個(些)結構圖可能包括較少過分割的目標和可能包括較多過合并(即欠分割)的目標，當然，有個(些)結構圖也可能包括正好大小合適的包括實際對象的分割目標和可能的少量過分割、過合并的分割目標。通過分析這些不同分割程度的結構圖，可以相互校正一些過分割和過合并的分割目標，從而得到較為精準的分割目標。
[0028]在一個實施例中，可以通過所述在不同第一分割程度上包括目標的至少一個第一第一級結構圖互相校正，基于目標的特征，來確定在哪種第一分割程度上分割的目標更準確，從而得到包括在確定的第一分割程度上分割的目標的第一級目標分析結果的結構圖。例如，在基于空間相鄰性特征來聚類的情況下，不同的第一第一級結構圖具有不同分割程度的分割目標。假設要檢測的對象是公交車，則例如目標的特征可以包括典型的公交車的高度、寬度的平均值、公交車背面的各個像素點的視差值(或距離或深度值)差較小(因為公交車背面典型地是豎直的且由于雙目相機拍攝的前方公交車背面通常是背面面對著雙目相機的，因此公交車背面的像素點在視差圖上的視差值(或距離或深度值)大致接近)、和/或公交車側面的垂直線上的各個像素點的視差值(或距離或深度值)差較小(同樣因為公交車側面典型地是豎直的)、分割目標的內部某些點的視差值(或距離或深度值)與其他點的差異不大等等。如此，可以基于公交車這個具體對象的特征，來確定大小近似于預定大小