本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺及腦神經(jīng)科學(xué)技術(shù)領(lǐng)域，具體而言，涉及了運(yùn)動檢測方法及躲避和跟蹤運(yùn)動目標(biāo)的方法。

背景技術(shù)：

對運(yùn)動目標(biāo)的檢測，是計(jì)算機(jī)視覺領(lǐng)域主要研究的問題之一。根據(jù)基本原理和思想，與運(yùn)動檢測相關(guān)的計(jì)算機(jī)方法主要分為以下三類：

(1)幀間差分法。即：對視頻圖像序列中相鄰的兩幀之間做差分運(yùn)算，從而根據(jù)圖像序列灰度值的變化來分析圖像序列的運(yùn)動特性，發(fā)現(xiàn)運(yùn)動的目標(biāo)。該方法實(shí)現(xiàn)簡單，但不能檢測速度過慢或過快的目標(biāo)，并且要求背景相對簡單，不能出現(xiàn)劇烈或迅速的變化。

(2)光流法。其中，光流是將三維空間中目標(biāo)和場景投影到二維空間，從而表現(xiàn)為二維圖像序列中亮度模式的流動。光流法的研究正是利用圖像序列中像素灰度值的時(shí)序變化和相關(guān)性來確定空間各像素點(diǎn)所發(fā)生的運(yùn)動。光流矢量則定義為圖像所在二維空間坐標(biāo)系上各點(diǎn)灰度值的瞬時(shí)變化率。該方法適用于背景復(fù)雜且不斷變化的場景，并且不需要預(yù)先訓(xùn)練。而缺點(diǎn)是計(jì)算量比較大，且計(jì)算的結(jié)果易受光照影響。

(3)背景去除法。這一類算法通常假定背景復(fù)合某一規(guī)律的模型。在算法中，首先設(shè)法估計(jì)出模型的參數(shù)，從而重建出每一幀的背景。再用序列中的每一幀對背景進(jìn)行差分，從而獲得前景的內(nèi)容，進(jìn)一步分析和判斷前景的運(yùn)動。該方法在背景符合某一分布時(shí)能起到很好的效果。而在背景復(fù)雜且分布情況未知或難以用模型描述時(shí)，該方法并不適用。

這些方法和真正生物學(xué)大腦對運(yùn)動的檢測存在著很大的區(qū)別?？陀^的講，所有的這些算法都不能和真正意義上的生物大腦相比。首先，這些算法都存在一定的適用條件，例如，幀間差分法需要假定背景簡單且不能出現(xiàn)明顯的運(yùn)動，背景去除法需要假定背景符合某一形式的分布，而真實(shí)的情況往往發(fā)生在這些假設(shè)條件之外。相比之下，真正的生物大腦則能夠適應(yīng)各種環(huán)境，不需要這些特殊的假設(shè)條件。其次，計(jì)算機(jī)算法往往在處理時(shí)間上要遜色于真實(shí)的生物大腦。以光流法為例，為了檢測運(yùn)動，往往需要非常復(fù)雜的運(yùn)算。而以人為例，經(jīng)驗(yàn)告訴我們，往往只需要“看一眼”，就可以感知運(yùn)動的目標(biāo)及形式。再有，機(jī)器算法的處理結(jié)果通常伴隨著一定的錯(cuò)誤發(fā)生，而真實(shí)的生物大腦處理結(jié)果，錯(cuò)誤的發(fā)生的機(jī)率很低。

有鑒于此，特提出本發(fā)明。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決如何準(zhǔn)確地對特定方向、特定速度的運(yùn)動做出響應(yīng)的技術(shù)問題而提供了運(yùn)動檢測方法及躲避和跟蹤運(yùn)動目標(biāo)的方法。

為了實(shí)現(xiàn)上述目的，一方面，提供了以下技術(shù)方案：

一種運(yùn)動檢測方法，所述方法包括：

獲取圖像序列；

確定所述圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)；

對所述運(yùn)動目標(biāo)在所述三維時(shí)空空間中所述不同三維時(shí)空方向?qū)?yīng)的所述運(yùn)動響應(yīng)進(jìn)行投影，采用空間平面上最大化投影方法，得到所述運(yùn)動目標(biāo)的最大空間運(yùn)動響應(yīng)；

基于所述運(yùn)動目標(biāo)的所述最大空間運(yùn)動響應(yīng)，采用所有空間方向上最大化空間運(yùn)動響應(yīng)的方法，得到所述運(yùn)動目標(biāo)的方位。

為了實(shí)現(xiàn)上述目的，另一方面，還提供一種運(yùn)動檢測方法，所述方法包括：

獲取腦圖像序列；

對V1腦區(qū)進(jìn)行處理，獲得所述腦圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)；

基于對所述V1腦區(qū)進(jìn)行處理獲得的所述運(yùn)動響應(yīng)，對MT/MST腦區(qū)的運(yùn)動神經(jīng)元進(jìn)行投影，采用空間平面上最大化投影放電頻率的方法確定最大運(yùn)動響應(yīng)；

基于所述最大運(yùn)動響應(yīng)，采用所有空間方向上最大化放電頻率的方法對LIP腦區(qū)的運(yùn)動決策功能進(jìn)行處理，得到所述運(yùn)動目標(biāo)的方位。

進(jìn)一步地，所述對V1腦區(qū)進(jìn)行處理，獲得所述腦圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)，具體包括：

根據(jù)下式確定所述運(yùn)動響應(yīng)代表的速度和方向：

其中，dx、dy、dt表示神經(jīng)元在所述三維時(shí)空空間中的一響應(yīng)方向，對應(yīng)在單位球面的坐標(biāo)；所述v表示所述運(yùn)動響應(yīng)代表的速度；所述θ表示所述運(yùn)動響應(yīng)代表的方向；

根據(jù)下式建立神經(jīng)元模型：

其中，所述表示興奮電導(dǎo)；所述t表示時(shí)間；所述G(x,y)表示高斯核；σ表示高斯核函數(shù)參數(shù)；(x,y)表示感受野中心位置；*表示卷積運(yùn)算；所述P_c(t)和所述P_s(t)表示時(shí)間的函數(shù)；所述f(v)表示頻率為速度的函數(shù)，所述d(x,y,θ)表示感受野中心位置在θ方向角上的投影；所述C表示細(xì)胞膜電容；所述V表示神經(jīng)元膜電位；所述Gⁱ(x，y，t)表示抑制電導(dǎo)；所述E^e表示興奮平衡電位；所述Eⁱ表示抑制平衡電位；g^l表示漏電電導(dǎo)；

利用所述神經(jīng)元模型計(jì)算所述神經(jīng)元的放電頻率，從而獲得所述神經(jīng)元在任一方向和速度上的運(yùn)動響應(yīng)；

根據(jù)所述神經(jīng)元在任一方向和速度上的所述運(yùn)動響應(yīng)，獲得所述圖像序列中所述運(yùn)動目標(biāo)在所述三維時(shí)空空間中所述不同三維時(shí)空方向?qū)?yīng)的所述運(yùn)動響應(yīng)。

進(jìn)一步地，所述基于所述最大運(yùn)動響應(yīng)，采用所有空間方向上最大化放電頻率的方法對LIP腦區(qū)的運(yùn)動決策功能進(jìn)行處理，得到所述運(yùn)動目標(biāo)的方位，具體包括：

基于所述最大運(yùn)動響應(yīng)，采用所有空間方向上最大化放電頻率的方法，確定所述運(yùn)動目標(biāo)的位置；

通過所述最大運(yùn)動響應(yīng)，根據(jù)下式確定所述運(yùn)動目標(biāo)的運(yùn)動方向：

其中，所述θ表示所述運(yùn)動目標(biāo)的所述運(yùn)動方向；所述v_θ(x，y，t)表示最大運(yùn)動響應(yīng)。

進(jìn)一步地，在所述獲取腦圖像序列之后，所述運(yùn)動檢測方法還包括：

利用空間高斯濾波方法將所述圖像序列中的每一幀處理成多個(gè)不同尺度的圖像。

為了實(shí)現(xiàn)上述目的，再一方面，還提供一種躲避和跟蹤運(yùn)動目標(biāo)的方法，包括：

獲取三維場景圖像；

基于所述三維場景圖像，利用雙目視差的方法，生成三維深度圖像；

對所述三維深度圖像進(jìn)行投影，得到二維圖像；

采用如權(quán)利要求1-5中任一所述的運(yùn)動檢測方法對所述二維圖像進(jìn)行處理，確定所述運(yùn)動目標(biāo)在水平面的運(yùn)動方向，從而實(shí)現(xiàn)對所述運(yùn)動目標(biāo)的躲避和跟蹤。

進(jìn)一步地，所述雙目視差方法采用雙目圖像獲取裝置；所述基于所述三維場景圖像，利用雙目視差的方法，生成三維深度圖像，具體包括：

獲取所述雙目圖像獲取裝置的變換參數(shù)；

基于所述三維場景圖像，根據(jù)雙目視差算法，獲得所述三維場景圖像中的所述運(yùn)動目標(biāo)，所述運(yùn)動目標(biāo)具有不同的視差；

將所述運(yùn)動目標(biāo)的所述視差確定為所述運(yùn)動目標(biāo)的深度，從而得到所述三維深度圖像。

本發(fā)明實(shí)施例提供一種運(yùn)動檢測方法。該方法包括：獲取圖像序列；確定圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)；對運(yùn)動目標(biāo)在所述三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)進(jìn)行投影，采用空間平面上最大化投影方法，得到運(yùn)動目標(biāo)的最大空間運(yùn)動響應(yīng)；基于運(yùn)動目標(biāo)的最大空間運(yùn)動響應(yīng)，采用所有空間方向上最大化空間運(yùn)動響應(yīng)的方法，得到運(yùn)動目標(biāo)的方位。本發(fā)明實(shí)施例通過采用上述技術(shù)方案解決了如何準(zhǔn)確地對特定方向、特定速度的運(yùn)動做出響應(yīng)的技術(shù)問題，實(shí)現(xiàn)了整體的運(yùn)動處理流程。

附圖說明

為了描述本發(fā)明的上述優(yōu)點(diǎn)和特征，將通過引用附圖中的具體實(shí)例來輔助說明本發(fā)明的詳細(xì)內(nèi)容。這些附圖僅為本發(fā)明的典型實(shí)例的描述，而非對本發(fā)明的限制。任何以其他形式表達(dá)本發(fā)明步驟或內(nèi)容的附圖都應(yīng)屬于本發(fā)明范圍內(nèi)。

圖1是根據(jù)本發(fā)明實(shí)施例的運(yùn)動檢測方法的流程示意圖；

圖2是根據(jù)本發(fā)明另一實(shí)施例的運(yùn)動檢測方法的流程示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例的時(shí)空空間響應(yīng)的示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例的投影的原理示意圖；

圖5a是根據(jù)本發(fā)明實(shí)施例的圖像序列中的第10幀示意圖；

圖5b是根據(jù)本發(fā)明實(shí)施例的針對圖5a的第二尺度圖像示意圖；

圖5c是根據(jù)本發(fā)明實(shí)施例的針對圖5a的第三尺度圖像示意圖；

圖5d是根據(jù)本發(fā)明實(shí)施例的圖像序列中的第20幀示意圖；

圖5e是根據(jù)本發(fā)明實(shí)施例的針對圖5d的第二尺度圖像示意圖；

圖5f是根據(jù)本發(fā)明實(shí)施例的針對圖5d的第三尺度圖像示意圖；

圖5g是根據(jù)本發(fā)明實(shí)施例的圖像序列中的第30幀示意圖；

圖5h是根據(jù)本發(fā)明實(shí)施例的針對圖5g的第二尺度圖像示意圖；

圖5i是根據(jù)本發(fā)明實(shí)施例的針對圖5g的第三尺度圖像示意圖；

圖6a是根據(jù)本發(fā)明實(shí)施例的圖像序列中第25幀的示意圖；

圖6b是根據(jù)本發(fā)明實(shí)施例的圖像序列中第30幀的示意圖；

圖6c是根據(jù)本發(fā)明實(shí)施例的圖像序列中第40幀的示意圖；

圖6d是根據(jù)本發(fā)明實(shí)施例的圖像序列中第25幀的檢測結(jié)果示意圖；

圖6e是根據(jù)本發(fā)明實(shí)施例的圖像序列中第30幀的檢測結(jié)果示意圖；

圖6f是根據(jù)本發(fā)明實(shí)施例的圖像序列中第40幀的檢測結(jié)果示意圖；

圖7是根據(jù)本發(fā)明實(shí)施例的躲避和跟蹤運(yùn)動目標(biāo)的方法的流程示意圖；

圖8a1是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠后的左視圖；

圖8a2是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠后的校正后的右視圖；

圖8a3是根據(jù)本發(fā)明實(shí)施例的圖a1和a2的視差圖；

圖8a4是根據(jù)本發(fā)明實(shí)施例的針對圖a1的投影到水平面后的投影圖；

圖8b1是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠前的左視圖；

圖8b2是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠前的校正后的右視圖；

圖8b3是根據(jù)本發(fā)明實(shí)施例的圖b1和b2的視差圖；

圖8b4是根據(jù)本發(fā)明實(shí)施例的針對圖b1的投影到水平面后的投影圖；

圖8c1是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏左的左視圖；

圖8c2是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏左的校正后的右視圖；

圖8c3是根據(jù)本發(fā)明實(shí)施例的圖c1和c2的視差圖；

圖8c4是根據(jù)本發(fā)明實(shí)施例的針對圖c1的投影到水平面后的投影圖；

圖8d1是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏右的左視圖；

圖8d2是根據(jù)本發(fā)明實(shí)施例的無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏右的校正后的右視圖；

圖8d3是根據(jù)本發(fā)明實(shí)施例的圖d1和d2的視差圖；

圖8d4是根據(jù)本發(fā)明實(shí)施例的針對圖d1的投影到水平面后的投影圖。

具體實(shí)施方式

下面參照附圖來描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明實(shí)施例的基本思想是從生物學(xué)原理出發(fā)，探索對運(yùn)動目標(biāo)檢測的方法，使其更符合真實(shí)的生物學(xué)大腦，從而提高處理結(jié)果的性能。本發(fā)明實(shí)施例可以用于無人機(jī)視覺信息處理，包括但不限于無人機(jī)對運(yùn)動目標(biāo)/障礙物的自動躲避和跟蹤。

本發(fā)明實(shí)施例提供一種運(yùn)動檢測方法。如圖1所示，該方法可以包括：

S100：獲取圖像序列。

S110：確定圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)。

S120：對運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)進(jìn)行投影，采用空間平面上最大化投影方法，得到運(yùn)動目標(biāo)的最大空間運(yùn)動響應(yīng)。

S130：基于運(yùn)動目標(biāo)的最大空間運(yùn)動響應(yīng)，采用所有空間方向上最大化空間運(yùn)動響應(yīng)的方法，得到運(yùn)動目標(biāo)的方位。

通過上述技術(shù)方案，能夠準(zhǔn)確地對特定方向、特定速度的運(yùn)動做出響應(yīng)。

受生物學(xué)大腦原理的啟發(fā)，本發(fā)明實(shí)施例還提供一種運(yùn)動檢測方法。如圖2所示，該方法可以包括：

S200：獲取腦圖像序列。

其中，腦圖像序列可以是視頻中的圖像序列。

S210：對V1腦區(qū)進(jìn)行處理，獲得腦圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)。

神經(jīng)生物學(xué)的研究成果表明，V1腦區(qū)中的每一個(gè)運(yùn)動神經(jīng)元，都只有對特定的時(shí)空方向的運(yùn)動產(chǎn)生最大的響應(yīng)。整個(gè)腦區(qū)的所有運(yùn)動神經(jīng)元可以看成具備不同時(shí)空方向響應(yīng)的功能單元的集合。因此，在建立V1腦區(qū)運(yùn)動神經(jīng)元模型時(shí)，可考慮對單位球面進(jìn)行采樣。對感受野中心位置為的神經(jīng)元，它獲得的最大響應(yīng)可能為單位球面上的任何一個(gè)方向。

圖3示例性地示出了時(shí)空空間響應(yīng)的示意圖。其中，dx和dy分別表示圖像序列中二維圖像空間的兩個(gè)方向；dt表示時(shí)間的變化，在圖像序列中表示為對應(yīng)的幀。這三個(gè)坐標(biāo)軸構(gòu)成了時(shí)空三維空間。圖3中單位球面上的三個(gè)點(diǎn)S₁、S₂和S₃代表了三個(gè)不同的時(shí)空方向。當(dāng)只考慮方向時(shí)，單位球面上的點(diǎn)集可以表示所有的時(shí)空方向。

具體地，本步驟可以包括：

S211：根據(jù)下式確定運(yùn)動響應(yīng)代表的速度和方向：

其中，(dx,dy,dt)表示神經(jīng)元在三維時(shí)空空間中的一個(gè)響應(yīng)方向，對應(yīng)在單位球面的坐標(biāo)；v表示運(yùn)動響應(yīng)代表的速度；θ表示運(yùn)動響應(yīng)代表的方向。

S212：根據(jù)下式建立神經(jīng)元模型：

其中，表示興奮電導(dǎo)；t表示時(shí)間；G(x,y)表示高斯核；σ表示高斯核函數(shù)參數(shù)；(x,y)表示感受野中心位置；*表示卷積運(yùn)算；P_c(t)和)P_s(t)表示時(shí)間的函數(shù)，與神經(jīng)元的延時(shí)有關(guān)；f(v)表示頻率為速度的函數(shù)，d(x,y,θ)表示感受野中心位置在θ方向角上的投影；C表示細(xì)胞膜電容；V表示神經(jīng)元膜電位；Gⁱ(x，y，t)表示抑制電導(dǎo)；E^e表示興奮平衡電位；Eⁱ表示抑制平衡電位；g^l表示漏電電導(dǎo)。

根據(jù)計(jì)算神經(jīng)學(xué)的技術(shù)知識，本領(lǐng)域技術(shù)人員可知興奮電導(dǎo)的最大響應(yīng)發(fā)生在正弦和余弦兩個(gè)相位處，因而興奮電導(dǎo)又分為正弦和余弦兩個(gè)部分的疊加。

S213：利用上述神經(jīng)元模型計(jì)算神經(jīng)元的放電頻率，從而獲得神經(jīng)元在任一方向和速度上的運(yùn)動響應(yīng)。

上述神經(jīng)元模型為放電模型(即電導(dǎo)隨時(shí)空變化的集成-放電模型)，當(dāng)神經(jīng)元膜電位大于神經(jīng)元膜電位閾值時(shí)，上述神經(jīng)元模型產(chǎn)生放電脈沖。在實(shí)際計(jì)算中，通過該模型計(jì)算神經(jīng)元的放電頻率v_v，θ(x，y，t)，該放電頻率表示神經(jīng)元對θ方向和速度上的運(yùn)動響應(yīng)大小。

S214：根據(jù)神經(jīng)元在任一方向和速度上的運(yùn)動響應(yīng)，獲得圖像序列中運(yùn)動目標(biāo)在三維時(shí)空空間中不同三維時(shí)空方向?qū)?yīng)的運(yùn)動響應(yīng)。

通過上述神經(jīng)元模型可以確定對特定方和速度產(chǎn)生最大響應(yīng)的神經(jīng)元。由于V1腦區(qū)中的運(yùn)動感知部分是由無數(shù)具有這樣特性的神經(jīng)元構(gòu)成的，所以，只要采樣充分，就可獲得對視頻圖像序列中各個(gè)運(yùn)動目標(biāo)不同方向、不同速度的運(yùn)動響應(yīng)。

S220：基于對V1腦區(qū)進(jìn)行處理獲得的運(yùn)動響應(yīng)，對MT/MST腦區(qū)的運(yùn)動神經(jīng)元進(jìn)行投影，采用空間平面上最大化投影放電頻率的方法確定最大運(yùn)動響應(yīng)。

神經(jīng)科學(xué)研究成果表明MT/MST腦區(qū)運(yùn)動神經(jīng)元接受來自V1腦區(qū)相應(yīng)神經(jīng)元的輸入。與V1腦區(qū)的神經(jīng)元相比，MT/MST腦區(qū)的運(yùn)動神經(jīng)元通常具備更大的感受野，可以對更大速度范圍的運(yùn)動做出相應(yīng)。

對感受野中心位置為(x,y,t)的神經(jīng)元，MT/MST腦區(qū)接收來自V1腦區(qū)的具備方向和速度為(v，θ)的輸出，其具體表現(xiàn)形式為放電頻率v_v，θ(x，y，t)。出于簡化但不失為科學(xué)性的考量，本發(fā)明實(shí)施例將放電頻率處理為只和運(yùn)動方向有關(guān)，其表示為v_θ(x，y，t)，即為在θ方向上的運(yùn)動響應(yīng)的最大頻率，即：

圖4示例性地示出了投影的原理示意圖。其中，S₁、S₂和S₃對應(yīng)V1區(qū)不同運(yùn)動神經(jīng)元三個(gè)不同的時(shí)空方向。將它們投影到dx-dy平面上獲得它們在二維空間中的運(yùn)動方向，從而和運(yùn)動的速度無關(guān)。其中S₁’、S₂’和S₃’分別為S₁、S₂、S₃對應(yīng)的在空間平面內(nèi)的投影。

本步驟通過將MT/MST腦區(qū)的運(yùn)動神經(jīng)元進(jìn)行在V1腦區(qū)神經(jīng)元在運(yùn)動平面方向上的投影的處理，而且該MT/MST腦區(qū)的神經(jīng)元具備對特定方向的運(yùn)動產(chǎn)生最大響應(yīng)的能力，從而簡化了MT/MST腦區(qū)的處理過程，提高了運(yùn)動檢測的效率。

S230：基于最大運(yùn)動響應(yīng)，采用所有空間方向上最大化放電頻率的方法對LIP腦區(qū)的運(yùn)動決策功能進(jìn)行處理，得到運(yùn)動目標(biāo)的方位。

具體地，本步驟可以包括：

S231：基于最大運(yùn)動響應(yīng)，采用所有空間方向上最大化放電頻率的方法，確定運(yùn)動目標(biāo)的位置。

作為示例，對感受野中心位置為(x,y,t)的神經(jīng)元，在該位置的最大運(yùn)動響應(yīng)，即放電頻率為：從而得到運(yùn)動目標(biāo)的位置。

S232：通過最大運(yùn)動響應(yīng)，根據(jù)下式可以確定運(yùn)動目標(biāo)的運(yùn)動方向：

其中，θ表示運(yùn)動目標(biāo)的運(yùn)動方向；v_θ(x，y，t)表示最大運(yùn)動響應(yīng)。

真實(shí)的生物意義上的決策可以獲得運(yùn)動目標(biāo)的位置以及方向等信息。但是，在運(yùn)動檢測問題中，一般只關(guān)心運(yùn)動目標(biāo)出現(xiàn)的具體位置。對于視頻圖像序列的每一幀，各空間位置上的最大運(yùn)動響應(yīng)能夠表示該位置運(yùn)動的強(qiáng)弱，因此在輸出視頻圖像序列中各空間位置的最大響應(yīng)，即放電頻率，也即可表示該位置發(fā)生的運(yùn)動信息。具備放電頻率大的那些空間位置，則為發(fā)生運(yùn)動的那些位置。

與當(dāng)前計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域廣泛流行的人工神經(jīng)網(wǎng)絡(luò)相比，脈沖神經(jīng)網(wǎng)絡(luò)更符合大腦處理問題的原理。本發(fā)明實(shí)施例根據(jù)大腦處理運(yùn)動問題的原理，并借鑒了神經(jīng)科學(xué)的模型(例如：脈沖神經(jīng)網(wǎng)絡(luò)模型)，從模擬各個(gè)腦區(qū)入手，通過實(shí)現(xiàn)各個(gè)腦區(qū)的功能，實(shí)現(xiàn)了整體的運(yùn)動處理流程。更符合大腦處理運(yùn)動問題的機(jī)制，更能夠準(zhǔn)確地對特定方向、特定速度的運(yùn)動做出響應(yīng)，完全符合生物學(xué)大腦的特點(diǎn)。

為了充分發(fā)掘或突出輸入圖像序列中不同細(xì)節(jié)程度的運(yùn)動目標(biāo)，從而檢測出不同細(xì)節(jié)的目標(biāo)所對應(yīng)的運(yùn)動，可以對圖像序列進(jìn)行預(yù)處理。

為此，在一個(gè)優(yōu)選的實(shí)施例中，本發(fā)明實(shí)施例提供的方法在步驟S200之后還可以包括：

利用空間高斯濾波方法將圖像序列中的每一幀處理成多個(gè)不同尺度的圖像。

優(yōu)選地，本步驟可以通過一下公式對圖像序列中的每一幀進(jìn)行處理：

I₁＝I；I₂＝I₁*G(x，y)；I₃＝I₂*G(x，y)；

其中，I表示原始圖像；I_n-1表示第(n-1)尺度圖像；I_n表示第n尺度圖像；*表示卷積運(yùn)算；G(x,y)表示高斯核；σ表示高斯核函數(shù)參數(shù)。

圖5a-5i示例性地示出了預(yù)處理結(jié)果示意圖。其中的圖5a、5d和5g分別示出了圖像序列中的第10幀、20幀和30幀。經(jīng)過預(yù)處理將每一幀對應(yīng)的圖像生成三個(gè)不同的尺度。其中圖5a、5d和5g為第一尺度圖像(即未經(jīng)處理的原圖像)。圖5b、5e和5h為第二尺度圖像，圖5c、5f和5i為第三尺度圖像，第一尺度圖像、第二尺度圖像、第三尺度圖像依次增大。從該實(shí)例中可以看到，隨著尺度的逐漸增大，一些細(xì)小的目標(biāo)逐漸在圖像序列中消失，而圖像中只保留了一些具有大尺度的目標(biāo)。

圖6a-6f示例性地示出了一個(gè)場景下的檢測結(jié)果示意圖。圖6a示例性地示出了圖像序列中第25幀的示意圖。圖6b示例性地示出了圖像序列中第30幀的示意圖。圖6c示例性地示出了圖像序列中第40幀的示意圖。圖6d示例性地示出了圖像序列中第25幀的檢測結(jié)果示意圖。圖6e示例性地示出了圖像序列中第30幀的檢測結(jié)果示意圖。圖6f示例性地示出了圖像序列中第40幀的檢測結(jié)果示意圖。其中，辦公室中的兩個(gè)人為需要檢測的運(yùn)動目標(biāo)。根據(jù)結(jié)果，在各幀中人對應(yīng)的位置處均具備充分的放電頻率，也就是說具備較大的運(yùn)動響應(yīng)。這說明本發(fā)明實(shí)施例提供的運(yùn)動檢測能夠在實(shí)際場景中發(fā)揮效果。

一般的二維視頻圖像序列僅能夠檢測在平面內(nèi)的運(yùn)動響應(yīng)。而無人機(jī)遇到的真實(shí)目標(biāo)則在三維空間內(nèi)運(yùn)動。為了使本發(fā)明實(shí)施例能夠應(yīng)用到無人機(jī)的具體場景，本發(fā)明實(shí)施例還提供一種躲避和跟蹤運(yùn)動目標(biāo)的方法。所述方法應(yīng)用于無人機(jī)。如圖7所示，該方法可以包括：

S300：獲取三維場景圖像，其中，該三維場景圖像包括運(yùn)動目標(biāo)。

S310：基于三維場景圖像，利用雙目視差的方法，生成三維深度圖像。

具體地，本步驟可以包括：

S311：獲取雙目圖像獲取裝置的變換參數(shù)。

其中，雙目圖像獲取裝置例如可以為雙目攝像頭或雙目照相機(jī)。以雙目攝像頭為例，變換參數(shù)可以為兩個(gè)攝像頭之間的變換參數(shù)。

S312：基于三維場景圖像，根據(jù)雙目視差算法，獲得三維場景圖像中的運(yùn)動目標(biāo)，該運(yùn)動目標(biāo)具有不同的視差。

S313：將該運(yùn)動目標(biāo)的視差確定為運(yùn)動目標(biāo)的深度，從而得到三維深度圖像。

其中，根據(jù)幾何原理，不同深度的目標(biāo)會產(chǎn)生不同程度的視差偏移。所以，目標(biāo)的視差可以看作是對應(yīng)的深度。

在一些優(yōu)選地實(shí)施方式中，在步驟S311之后，還可以包括：根據(jù)變換參數(shù)對三維場景圖像進(jìn)行校正。

S320：對三維深度圖像進(jìn)行投影，得到二維圖像。

考慮到諸如無人機(jī)等設(shè)備在執(zhí)行躲避/跟蹤目標(biāo)的任務(wù)中，一般只執(zhí)行前、后、左、右四個(gè)方向的運(yùn)動，也就是在和地面平行的平面里進(jìn)行決策操作；故把場景投影在和地面平行的平面里，例如，可以設(shè)置x軸表示目標(biāo)的左右位置，而y軸表示目標(biāo)的對應(yīng)深度。

S330：采用上述運(yùn)動檢測方法對該二維圖像進(jìn)行處理，確定運(yùn)動目標(biāo)在水平面的運(yùn)動方向，從而實(shí)現(xiàn)對運(yùn)動目標(biāo)的躲避和跟蹤。

圖8a1示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠后的左視圖。圖8b1示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠前的左視圖。8c1示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏左的左視圖。8d1示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏右的左視圖。8a2示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠后的校正后的右視圖。8b2示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)靠前的校正后的右視圖。8c2示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏左的校正后的右視圖。8d2示出了無人機(jī)采集到的場景中運(yùn)動目標(biāo)偏右的校正后的右視圖。8a3示出了圖a1和a2的視差圖。8b3示出了圖b1和b2的視差圖。8c3示出了圖c1和c2的視差圖。8d3示出了圖d1和d2的視差圖。8a4示出了針對圖a1的投影到水平面后的投影圖。8b4示出了針對圖b1的投影到水平面后的投影圖。8c4示出了針對圖c1的投影到水平面后的投影圖。8d4示出了針對圖d1的投影到水平面后的投影圖。從圖8a1-d4可以看出，投影后的圖像可以反應(yīng)出目標(biāo)的運(yùn)動信息，因而可以根據(jù)對投影后的圖像序列采用本發(fā)明提出的方法，就可完成無人機(jī)對目標(biāo)的躲避/跟蹤任務(wù)。

上述實(shí)施例中雖然將各個(gè)步驟按照上述先后次序的方式進(jìn)行了描述，但是本領(lǐng)域技術(shù)人員可以理解，為了實(shí)現(xiàn)本實(shí)施例的效果，不同的步驟之間不必按照這樣的次序執(zhí)行，其可以同時(shí)(并行)執(zhí)行或以顛倒的次序執(zhí)行，這些簡單的變化都在本發(fā)明的保護(hù)范圍之內(nèi)。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對相關(guān)技術(shù)特征作出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。