本發(fā)明總體上涉及用于自動(dòng)駕駛或用于輔助駕駛員的方法、系統(tǒng)和裝置，并且更具體地涉及用于使用機(jī)器學(xué)習(xí)和后置攝像機(jī)來(lái)檢測(cè)一個(gè)或多個(gè)行人的方法、系統(tǒng)和裝置。

背景技術(shù)：

機(jī)動(dòng)車為商業(yè)、政府和私人實(shí)體提供了大部分的運(yùn)輸。自主車輛和駕駛員輔助系統(tǒng)當(dāng)前正在被開發(fā)和部署以減少所需的用戶輸入量或者甚至完全消除用戶參與。然而，由于涉及駕駛的危險(xiǎn)和車輛的成本，所以自主車輛和駕駛員輔助系統(tǒng)安全地操作是重要的。因此，需要的是改進(jìn)自主車輛和駕駛員輔助系統(tǒng)的安全性的系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的一方面，提供一種方法，包含：

從車輛上的后置攝像機(jī)接收一個(gè)或多個(gè)圖像；

通過計(jì)算機(jī)系統(tǒng)確定行人存在于該一個(gè)或多個(gè)圖像中；

通過計(jì)算機(jī)系統(tǒng)基于該一個(gè)或多個(gè)圖像來(lái)預(yù)測(cè)行人的未來(lái)運(yùn)動(dòng)；以及

當(dāng)車輛的向前運(yùn)動(dòng)和該未來(lái)運(yùn)動(dòng)之間存在沖突時(shí)，通過計(jì)算機(jī)系統(tǒng)通知駕駛員輔助或自動(dòng)駕駛系統(tǒng)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中確定包含：

通過計(jì)算機(jī)系統(tǒng)使用第一神經(jīng)網(wǎng)絡(luò)處理該一個(gè)或多個(gè)圖像以確定該一個(gè)或多個(gè)圖像內(nèi)行人可能處于的一個(gè)或多個(gè)位置；并且

通過計(jì)算機(jī)系統(tǒng)使用第二神經(jīng)網(wǎng)絡(luò)處理該一個(gè)或多個(gè)圖像的該一個(gè)或多個(gè)位置以確定行人存在。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中預(yù)測(cè)包含基于該一個(gè)或多個(gè)圖像來(lái)確定行人的速度和方向。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中預(yù)測(cè)進(jìn)一步包含基于一個(gè)或多個(gè)圖像來(lái)確定行人相對(duì)于車輛的位置。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中未來(lái)運(yùn)動(dòng)包含在后置攝像機(jī)的視野之外的運(yùn)動(dòng)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中第一神經(jīng)網(wǎng)絡(luò)包含被訓(xùn)練以識(shí)別該一個(gè)或多個(gè)圖像內(nèi)可能包含行人的大致位置的網(wǎng)絡(luò)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中第一神經(jīng)網(wǎng)絡(luò)生成顯著圖，顯著圖指示行人的最可能位置。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中顯著圖包含比該一個(gè)或多個(gè)圖像更低的分辨率。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中第二神經(jīng)網(wǎng)絡(luò)以全分辨率處理該一個(gè)或多個(gè)圖像內(nèi)的該一個(gè)或多個(gè)位置。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中：

后置攝像機(jī)是倒車攝像機(jī)；并且

當(dāng)車輛處于前進(jìn)擋時(shí)，該一個(gè)或多個(gè)圖像通過倒車攝像機(jī)被捕獲。

根據(jù)本發(fā)明的另一方面，提供一種用于檢測(cè)行人的方法，包含：

從車輛上的后置攝像機(jī)接收一個(gè)或多個(gè)圖像，一個(gè)或多個(gè)圖像在車輛處于前進(jìn)擋時(shí)被捕獲；

通過計(jì)算機(jī)系統(tǒng)的第一神經(jīng)網(wǎng)絡(luò)識(shí)別該一個(gè)或多個(gè)圖像以確定該一個(gè)或多個(gè)圖像內(nèi)行人可能處于的一個(gè)或多個(gè)區(qū)域；

通過計(jì)算機(jī)系統(tǒng)的第二神經(jīng)網(wǎng)絡(luò)確定行人存在于該一個(gè)或多個(gè)區(qū)域中的至少一個(gè)中；

通過計(jì)算機(jī)系統(tǒng)基于該一個(gè)或多個(gè)圖像來(lái)預(yù)測(cè)行人的未來(lái)運(yùn)動(dòng)，預(yù)測(cè)的未來(lái)運(yùn)動(dòng)包含在后置攝像機(jī)的視野之外的運(yùn)動(dòng)；以及

當(dāng)車輛的向前運(yùn)動(dòng)和該預(yù)測(cè)的未來(lái)運(yùn)動(dòng)之間存在沖突時(shí)，通過計(jì)算機(jī)系統(tǒng)通知駕駛員輔助或自動(dòng)駕駛系統(tǒng)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中預(yù)測(cè)包含基于該一個(gè)或多個(gè)圖像來(lái)確定行人的速度和方向。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中預(yù)測(cè)進(jìn)一步包含基于該一個(gè)或多個(gè)圖像來(lái)確定行人相對(duì)于車輛的位置。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中：

第一神經(jīng)網(wǎng)絡(luò)生成指示該一個(gè)或多個(gè)區(qū)域的一個(gè)或多個(gè)顯著圖；

該一個(gè)或多個(gè)顯著圖各自包含比該一個(gè)或多個(gè)圖像更低的分辨率；并且

第二神經(jīng)網(wǎng)絡(luò)以全分辨率處理該一個(gè)或多個(gè)圖像內(nèi)的該一個(gè)或多個(gè)區(qū)域。

根據(jù)本發(fā)明的又一方面，提供一種系統(tǒng)，包含：

后置攝像機(jī)，后置攝像機(jī)被定位在車輛上以捕獲車輛后方區(qū)域的一個(gè)或多個(gè)圖像；

顯著部件，顯著部件被配置為使用第一神經(jīng)網(wǎng)絡(luò)處理該一個(gè)或多個(gè)圖像以生成指示該一個(gè)或多個(gè)圖像內(nèi)行人最可能處于的一個(gè)或多個(gè)區(qū)域的一個(gè)或多個(gè)低分辨率顯著圖；

檢測(cè)部件，檢測(cè)部件被配置為使用第二神經(jīng)網(wǎng)絡(luò)處理該一個(gè)或多個(gè)區(qū)域以針對(duì)該一個(gè)或多個(gè)區(qū)域中的每個(gè)確定行人是否存在；

預(yù)測(cè)部件，預(yù)測(cè)部件被配置為處理該一個(gè)或多個(gè)圖像以預(yù)測(cè)在該一個(gè)或多個(gè)圖像中捕獲的一個(gè)或多個(gè)行人的未來(lái)運(yùn)動(dòng)；以及

通知部件，通知部件被配置為提供指示車輛的向前運(yùn)動(dòng)和該一個(gè)或多個(gè)行人的預(yù)測(cè)的未來(lái)運(yùn)動(dòng)之間的沖突的通知。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中預(yù)測(cè)部件被配置為：

基于該一個(gè)或多個(gè)圖像來(lái)確定該一個(gè)或多個(gè)行人中的每個(gè)的速度和方向；

基于該一個(gè)或多個(gè)圖像來(lái)確定該一個(gè)或多個(gè)行人中的每個(gè)相對(duì)于車輛的位置；并且

至少部分地基于該一個(gè)或多個(gè)行人中的每個(gè)的速度、方向和位置來(lái)預(yù)測(cè)該一個(gè)或多個(gè)行人的未來(lái)運(yùn)動(dòng)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中該一個(gè)或多個(gè)顯著圖包含比該一個(gè)或多個(gè)圖像更低的分辨率。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中檢測(cè)部件使用第二神經(jīng)網(wǎng)絡(luò)來(lái)以全分辨率處理該一個(gè)或多個(gè)圖像內(nèi)的該一個(gè)或多個(gè)區(qū)域。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中第二神經(jīng)網(wǎng)絡(luò)包含深度神經(jīng)網(wǎng)絡(luò)分類器，深度神經(jīng)網(wǎng)絡(luò)分類器已經(jīng)使用裁切的地面實(shí)況邊界框來(lái)訓(xùn)練以確定行人存在或不存在。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中：

后置攝像機(jī)是倒車攝像機(jī)；并且

當(dāng)車輛處于前進(jìn)擋時(shí)，該一個(gè)或多個(gè)圖像通過倒車攝像機(jī)被捕獲。

附圖說明

為了容易理解本發(fā)明的優(yōu)點(diǎn)，將通過參照附圖中所示的具體實(shí)施例來(lái)呈現(xiàn)上面簡(jiǎn)要描述的本發(fā)明的更具體的描述。應(yīng)當(dāng)理解的是，這些附圖僅描述本發(fā)明的典型實(shí)施例，并且因此不應(yīng)該被認(rèn)為是對(duì)其范圍的限制，本發(fā)明將通過使用附圖用附加特征和細(xì)節(jié)進(jìn)行描述和解釋，其中：

圖1是由車輛和行人占據(jù)的十字路口的一部分的俯視示意圖；

圖2是包括自動(dòng)駕駛或駕駛員輔助系統(tǒng)的安全系統(tǒng)的一個(gè)實(shí)施例的示意圖；

圖3是示出了由車輛的后置攝像機(jī)捕獲的圖像的示意性示例的圖示；

圖4是示出了根據(jù)一個(gè)實(shí)施方式的用于圖3的圖像的顯著圖的示意性示例的圖示；

圖5是示出了根據(jù)一個(gè)實(shí)施方式的行人檢測(cè)的示意性框圖；

圖6是示出根據(jù)一個(gè)實(shí)施方式的行人部件的示例部件的示意性框圖；以及

圖7是示出了根據(jù)一個(gè)實(shí)施方式的用于行人檢測(cè)的方法的示意性框圖。

具體實(shí)施方式

應(yīng)當(dāng)容易理解的是，如在本文的附圖中總體上描述和示出的本發(fā)明的部件可以以各種各樣的不同配置來(lái)設(shè)置和設(shè)計(jì)。因此，如圖所示的本發(fā)明的實(shí)施例的以下更詳細(xì)的描述不旨在限制所要求保護(hù)的本發(fā)明的范圍，而是僅表示根據(jù)本發(fā)明目前預(yù)期的實(shí)施例的某些示例。目前描述的實(shí)施例通過參照附圖將最佳地理解，其中相同的部件始終通過相同的附圖標(biāo)記來(lái)表示。

參照?qǐng)D1，用于自主駕駛和/或主動(dòng)安全的視覺感知領(lǐng)域中的一個(gè)挑戰(zhàn)可能是足夠早地檢測(cè)和預(yù)測(cè)行人以避免碰撞。這個(gè)挑戰(zhàn)可能與交叉路口和十字路口10周圍的環(huán)境特別相關(guān)。行人經(jīng)常不服從交通控制信號(hào)和/或在試圖穿過街道時(shí)誤判情況。這種動(dòng)作可能為決策過程和規(guī)避動(dòng)作的實(shí)施留下非常少的時(shí)間。

例如，當(dāng)車輛12在十字路口10等待(例如，等待右轉(zhuǎn))時(shí)，行人14可能從車輛12的后方或從車輛12的駕駛員的盲點(diǎn)進(jìn)入人行橫道16。因此，在駕駛員(或車輛12上的前視傳感器)感知行人14之前或者在可以采取或完全實(shí)施適當(dāng)?shù)囊?guī)避動(dòng)作(例如制動(dòng))之前，車輛12可能與行人14碰撞。

因此，根據(jù)本發(fā)明的安全系統(tǒng)18可以結(jié)合在一個(gè)或多個(gè)車輛12內(nèi)。安全系統(tǒng)18可以防止或減少這種事故的數(shù)量。在所選擇的實(shí)施例中，安全系統(tǒng)18可以包括行人部件20和至少一個(gè)后置攝像機(jī)22。

后置攝像機(jī)22可以安裝到車輛12，以便捕獲車輛12后方的區(qū)域的圖像。在某些實(shí)施例中，后置攝像機(jī)22可以是具有寬視角24的倒車攝像機(jī)等等。例如，后置攝像機(jī)22可以是采用“魚眼”透鏡以提供寬視場(chǎng)(例如，約150度的視場(chǎng))的標(biāo)準(zhǔn)倒車攝像機(jī)。在這樣的實(shí)施例中，每當(dāng)車輛12運(yùn)行時(shí)，倒車攝像機(jī)可以“開啟”并且用于行人檢測(cè)的目的。然而，出于安全原因，僅當(dāng)車輛12倒車(例如，處于倒車擋)時(shí)，通過倒車攝像機(jī)捕獲的圖像可以直接顯示給車輛12的駕駛員。

行人部件20可以處理通過后置攝像機(jī)22捕獲的一個(gè)或多個(gè)圖像，以便確定任何行人14是否存在于那些圖像中。另外，行人部件20可以使用一個(gè)或多個(gè)圖像來(lái)預(yù)測(cè)在其中捕獲的一個(gè)或多個(gè)行人14的未來(lái)運(yùn)動(dòng)26。因此，行人部件20可以在車輛12的向前運(yùn)動(dòng)28可能與以預(yù)測(cè)方式26行進(jìn)的行人14沖突或處于碰撞航向上時(shí)進(jìn)行指示(例如，提供或發(fā)起警告)。

例如，自主車輛12和/或車輛12的人類駕駛員可能具有一個(gè)或多個(gè)“盲點(diǎn)”。盲點(diǎn)可以是車輛12附近的位置，其中對(duì)于車輛12的傳感器或車輛12的人類駕駛員可能難以或不可能感知行人14。因此，根據(jù)本發(fā)明的安全系統(tǒng)18可以使用在行人14進(jìn)入盲點(diǎn)之前收集的信息，以預(yù)測(cè)行人14將如何在盲點(diǎn)中行動(dòng)。

也就是說，當(dāng)他或她處于后置攝像機(jī)22的視場(chǎng)中時(shí)(例如，當(dāng)他或她接近和/或通過車輛12的后部時(shí))收集的行人14的圖像可以用來(lái)預(yù)測(cè)他或她將在不久的將來(lái)(例如，當(dāng)位于車輛12的側(cè)面在車輛12的駕駛員和/或傳感器的盲點(diǎn)中時(shí))如何行動(dòng)。這可以每當(dāng)車輛12的向前運(yùn)動(dòng)28可能與以預(yù)測(cè)方式26行進(jìn)的行人14沖突時(shí)使車輛12能夠警告駕駛員或采取規(guī)避動(dòng)作。因此，根據(jù)本發(fā)明的行人部件20不需要總是具有行人14的位置的當(dāng)前的實(shí)際認(rèn)識(shí)，以便采取一個(gè)或多個(gè)動(dòng)作來(lái)避免與該行人14的碰撞。

在所選擇的實(shí)施例中，由行人部件20實(shí)施以檢測(cè)行人14的方法可以包括從后置攝像機(jī)22接收?qǐng)D像，并且使用第一神經(jīng)網(wǎng)絡(luò)處理圖像以確定圖像內(nèi)行人14可能位于的一個(gè)或多個(gè)位置或區(qū)域。該方法可以進(jìn)一步包括使用第二神經(jīng)網(wǎng)絡(luò)處理圖像的一個(gè)或多個(gè)位置或區(qū)域以確定是否行人14存在。

因此，行人部件20可以基于深度學(xué)習(xí)技術(shù)來(lái)采用兩階段計(jì)算機(jī)視覺。在第一階段中，從后置攝像機(jī)22獲取的圖像的一個(gè)或多個(gè)區(qū)域被識(shí)別為更可能包括行人。第一階段可以產(chǎn)生以顯著圖的形式的這樣區(qū)域的指示。在某些實(shí)施例中，可以以低分辨率(例如，比由后置攝像機(jī)22捕獲的圖像的分辨率低)產(chǎn)生一個(gè)或多個(gè)顯著圖。這些低分辨率顯著圖可以用作對(duì)應(yīng)圖像的標(biāo)簽。

在第二階段中，深度神經(jīng)網(wǎng)絡(luò)分類器可以確定行人14是否實(shí)際存在于在第一階段中識(shí)別的一個(gè)或多個(gè)區(qū)域內(nèi)。在所選擇的實(shí)施例中，第二階段可以使用深度神經(jīng)網(wǎng)絡(luò)分類器。在某些實(shí)施例中，卷積神經(jīng)網(wǎng)絡(luò)可以在正和負(fù)行人數(shù)據(jù)的裁切的地面實(shí)況邊界框(croppedgroundtruthboundingbox)上訓(xùn)練。在第一階段中識(shí)別的圖像的特定部分可以被選擇并且被識(shí)別作為候選區(qū)域。這些候選區(qū)域可以被饋送到訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對(duì)潛在的行人進(jìn)行分類。大的深度神經(jīng)網(wǎng)絡(luò)可以被配置且被訓(xùn)練以實(shí)現(xiàn)高百分比的準(zhǔn)確度和低漏報(bào)。第一階段神經(jīng)網(wǎng)絡(luò)和第二階段神經(jīng)網(wǎng)絡(luò)中的一個(gè)或兩個(gè)可以在現(xiàn)有數(shù)據(jù)集(比如加州理工學(xué)院(caltech)行人數(shù)據(jù)集、來(lái)自車隊(duì)車輛的內(nèi)部數(shù)據(jù)集和/或來(lái)自相關(guān)項(xiàng)目的模擬數(shù)據(jù))上訓(xùn)練。

在a.angelova、a.krizhevsky、v.vanhoucke，標(biāo)題為“用大視場(chǎng)深度網(wǎng)絡(luò)的行人檢測(cè)”(2015年互聯(lián)網(wǎng)內(nèi)容分級(jí)協(xié)會(huì)(icra)關(guān)于機(jī)器人學(xué)和自動(dòng)化的電氣電子工程師協(xié)會(huì)(ieee)國(guó)際會(huì)議)中提出了行人網(wǎng)絡(luò)檢測(cè)的一個(gè)示例。由angelova等人開發(fā)的大視場(chǎng)網(wǎng)絡(luò)提出了行人檢測(cè)和快速定位。然而，angelova等人不利用定位的顯著性，而是需要額外生成行人位置圖像的單獨(dú)的基于網(wǎng)格的數(shù)據(jù)集、忽略重疊網(wǎng)格的行人并且執(zhí)行用于檢測(cè)的網(wǎng)罩(gridenclosure)。因此，它們具有比對(duì)于主動(dòng)安全應(yīng)用可行所需要的行人錯(cuò)失率更高的行人錯(cuò)失率。相比之下，本發(fā)明的所選擇的實(shí)施例不需要滑動(dòng)窗口，并且因此消除了最先進(jìn)的深度學(xué)習(xí)技術(shù)的計(jì)算上最昂貴的方面之一。

一旦檢測(cè)到一個(gè)或多個(gè)行人14，可以使用狀態(tài)空間估算技術(shù)(例如，粒子濾波器)來(lái)追蹤它們的狀態(tài)(例如，位置和速度)。例如，在所選擇的實(shí)施例中，行人部件20可以基于所追蹤的數(shù)據(jù)，甚至在行人14已經(jīng)移出后置攝像機(jī)22的視場(chǎng)之后來(lái)預(yù)測(cè)一個(gè)或多個(gè)行人14的路徑。這可以通過聚類和學(xué)習(xí)行人行為模式來(lái)實(shí)現(xiàn)。供選擇地，或者除此之外，行人部件20可以采用在具有不確定意圖的行人14的存在的情況下確定對(duì)象行為變化和實(shí)時(shí)路徑規(guī)劃的一個(gè)或多個(gè)算法。

安全系統(tǒng)18可以繼續(xù)估算一個(gè)或多個(gè)行人14的路徑，并且每當(dāng)行人14的預(yù)期或預(yù)測(cè)的路線26與車輛12的路線28相交時(shí)，采取或提供足夠的時(shí)間來(lái)采取適當(dāng)?shù)膭?dòng)作。這樣的動(dòng)作可以包括等待直到行人14已完全穿過十字路口10，在行人14已完全停止之后向前移動(dòng)等等。以這種方式，車輛12或車輛12的駕駛員在行人14進(jìn)入前置攝像機(jī)或駕駛員的視野之前可以關(guān)于行人14進(jìn)行警告。因此，根據(jù)本發(fā)明的安全系統(tǒng)18可以使用安裝在車輛12上的后置攝像機(jī)22來(lái)通知該車輛12的向前運(yùn)動(dòng)。

參照?qǐng)D2，在所選擇的實(shí)施例中，根據(jù)本發(fā)明的安全系統(tǒng)18可以包括自動(dòng)駕駛和/或駕駛員輔助系統(tǒng)30(以下稱為“駕駛系統(tǒng)”30)、一個(gè)或多個(gè)傳感器32、一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器34、一個(gè)或多個(gè)車輛控制致動(dòng)器36、一個(gè)或多個(gè)顯示器38、一個(gè)或多個(gè)揚(yáng)聲器40、一個(gè)或多個(gè)無(wú)線通信裝置42(例如，接收器、發(fā)射器或收發(fā)器)等等或者它們的組合或子組合。

駕駛系統(tǒng)30可以自動(dòng)化、輔助或控制車輛12(比如小汽車、卡車、廂式貨車、公共汽車、大型卡車、緊急車輛或用于運(yùn)輸人或貨物的任何其他機(jī)動(dòng)車)的操作。例如，駕駛系統(tǒng)30可以控制制動(dòng)、轉(zhuǎn)向、加速、燈、警報(bào)、駕駛員通知、無(wú)線電或車輛12的任何其它輔助系統(tǒng)中的一個(gè)或多個(gè)。供選擇地，駕駛系統(tǒng)30可以不提供車輛12的駕駛(例如，轉(zhuǎn)向、加速或制動(dòng))的任何直接控制，而是可以提供通知和警報(bào)以輔助人類駕駛員安全駕駛。在所選擇的實(shí)施例中，駕駛系統(tǒng)30可以包括行人部件20或與行人部件20協(xié)作操作。

安全系統(tǒng)18可以包括一個(gè)或多個(gè)傳感器32。這樣的傳感器32可以檢測(cè)車輛12附近的一個(gè)或多個(gè)對(duì)象的存在。在所選擇的實(shí)施例中，安全系統(tǒng)18的傳感器32可以包括后置攝像機(jī)22。另外，安全系統(tǒng)18可以包括一個(gè)或多個(gè)其他傳感器44，比如一個(gè)或多個(gè)雷達(dá)裝置、激光雷達(dá)系統(tǒng)、一個(gè)或多個(gè)其他攝像機(jī)、全球定位系統(tǒng)(gps)、一個(gè)或多個(gè)超聲波裝置等等或者它們的組合或子組合。

數(shù)據(jù)存儲(chǔ)器34可以存儲(chǔ)安全系統(tǒng)18或它的任何部件所需的任何數(shù)據(jù)。在所選擇的實(shí)施例中，數(shù)據(jù)存儲(chǔ)器34可以存儲(chǔ)用于導(dǎo)航和安全的相關(guān)或有用的數(shù)據(jù)，比如地圖數(shù)據(jù)、駕駛歷史、其它數(shù)據(jù)等等或者它們的組合或子組合。

在某些實(shí)施例中，安全系統(tǒng)18可以包括一個(gè)或多個(gè)無(wú)線通信裝置42。這樣的裝置42可以使安全系統(tǒng)18或與其對(duì)應(yīng)的車輛12能夠與移動(dòng)或無(wú)線網(wǎng)絡(luò)、其他車輛12、基礎(chǔ)設(shè)施或任何其他通信系統(tǒng)通信。例如，一個(gè)或多個(gè)無(wú)線通信裝置42可以為安全系統(tǒng)18提供機(jī)構(gòu)以接收更新的模型或算法，以供行人部件20用于檢測(cè)、定位和/或預(yù)測(cè)行人14的未來(lái)運(yùn)動(dòng)。

車輛控制致動(dòng)器36可以實(shí)施駕駛系統(tǒng)30的一個(gè)或多個(gè)指令，以便控制對(duì)應(yīng)車輛12的某些方面。合適的車輛控制致動(dòng)器36可以包括電動(dòng)馬達(dá)、開關(guān)或用于控制制動(dòng)器、節(jié)氣門、轉(zhuǎn)向器等等的其他致動(dòng)器。

安全系統(tǒng)18可以包括一個(gè)或多個(gè)顯示器38，揚(yáng)聲器40等等，以便促進(jìn)與一個(gè)或多個(gè)人類(例如，位于對(duì)應(yīng)車輛12內(nèi)的人類駕駛員或乘客)的通信。顯示器38可以是抬頭顯示器、儀表板顯示器或指示器、顯示屏或者可以由車輛12的駕駛員或乘客看到的任何其他視覺指示器。安全系統(tǒng)18的揚(yáng)聲器40可以形成車輛12的語(yǔ)音系統(tǒng)的一部分，或者可以是專用于提供通知給車輛12的駕駛員或乘客的獨(dú)立揚(yáng)聲器。

應(yīng)當(dāng)理解的是，圖1中所示的實(shí)施例僅通過示例的方式給出。在不脫離本發(fā)明的范圍的情況下，其他實(shí)施例可以包括更少或附加的部件。另外，所示的部件可以組合或包括在其他部件內(nèi)，而非限制。例如，行人部件20可以與駕駛系統(tǒng)30分離，并且數(shù)據(jù)存儲(chǔ)器34可以被包括作為駕駛系統(tǒng)30的一部分和/或作為行人部件20的一部分。

參照?qǐng)D3，行人14可以是沒有駕駛車輛12的人。例如，行人14可以包括在車輛12附近的區(qū)域中行走、跑步、就坐或躺著的人。行人14還可以包括使用人力裝置(比如自行車、踏板車、滾軸溜冰鞋或輪式溜冰鞋等等)的那些。行人14可以位于道路44上或附近，比如在人行橫道16中、在人行道46上、在道路44的路肩部48上等等。行人14可以在體型、形狀等等方面具有顯著變化。例如，兒童、青少年、老年人等等可以全部被檢測(cè)或被識(shí)別為行人14。類似地，行人14可以在衣服的類型或量方面顯著變化。因此，行人14對(duì)于后置攝像機(jī)22或其他傳感器的外觀可以是相當(dāng)多變的。

圖3提供圖像50的示意圖。圖像50是可以由安裝在車輛12(例如，停在十字路口10處的車輛12)上的后置攝像機(jī)22捕獲的一個(gè)示例。如圖所示，圖像50可以包括道路44上或附近的一個(gè)或多個(gè)行人14a、14b。因此，行人部件20可以生成一個(gè)或多個(gè)邊界框52a、52b或限定行人14可能位于的圖像50的一個(gè)或多個(gè)子區(qū)域52a、52b。

例如，行人部件20可以生成限定圖像50內(nèi)用于行人14可能位于其中并且值得進(jìn)一步分析或處理的每個(gè)子區(qū)域52a、52b的位置的信息。在所選擇的實(shí)施例中，行人部件20可以使用已被訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)處理圖像50，以產(chǎn)生指示行人可能位于的區(qū)域52a、52b的顯著圖。

使用顯著圖，或者行人14可能位于的圖像50的區(qū)域52a、52b的任何其它指示，行人部件20可以處理那些子區(qū)域52a、52b以將區(qū)域分類為包括或不包括行人14。在所選擇的實(shí)施例中，行人部件20可以檢測(cè)且定位圖像50內(nèi)的一個(gè)或多個(gè)行人14。例如，行人部件20可以確定第一子區(qū)域52a包括第一行人14a，并且第二子區(qū)域52b包括第二行人14b。

在某些實(shí)施例中，由后置攝像機(jī)22捕獲的圖像50可以不包括一個(gè)或多個(gè)行人14的全部。例如，為了實(shí)現(xiàn)它們預(yù)期的目的，倒車攝像機(jī)通常定向?yàn)榫哂邢蛳路至?。這允許他們“看見”接近對(duì)應(yīng)車輛12后方的地面。因此，當(dāng)后置攝像機(jī)22是倒車攝像機(jī)時(shí)，由此產(chǎn)生的圖像50可以具有稍微向下的視點(diǎn)。這個(gè)視點(diǎn)可以導(dǎo)致僅在圖像50中捕獲一個(gè)或多個(gè)行人14的一部分。例如，一個(gè)或多個(gè)行人14的上部可以由于后置攝像機(jī)22的視點(diǎn)而被實(shí)際上裁剪掉。因此，即使少于全部身體的行人14存在于圖像50中或在圖像50中被捕獲時(shí)，也可以訓(xùn)練行人部件20來(lái)檢測(cè)和定位行人14。

類似地，在所選擇的實(shí)施例中，由后置攝像機(jī)22捕獲的圖像50可能使一個(gè)或多個(gè)行人14的形狀失真。例如，為了實(shí)現(xiàn)它們預(yù)期的目的，倒車攝像機(jī)通常具有非常寬的視場(chǎng)。這允許它們具有良好的周邊視覺，但它將失真引入到所得的圖像中。因此，當(dāng)后置攝像機(jī)22是倒車攝像機(jī)時(shí)，在所得的圖像50中捕獲的對(duì)象(例如，行人14)可能在形狀上失真。因此，在所選擇的實(shí)施例中，即使行人14的形狀在圖像50中失真，也可以訓(xùn)練行人部件20以檢測(cè)和定位行人14。

參照?qǐng)D4，提供可以由行人部件20產(chǎn)生的顯著圖54的一個(gè)實(shí)施例的示意圖。顯著圖54可以操作為對(duì)應(yīng)圖像50的標(biāo)簽。例如，圖4的顯著圖54提供圖3的圖像50的標(biāo)簽。

在所選擇的實(shí)施例中，行人部件20可以處理對(duì)應(yīng)于由顯著圖54描繪的位置56a、56b的圖像50的部分，以試圖檢測(cè)和/或定位一個(gè)或多個(gè)行人14。在圖示中，第一位置56a和第二位置56b可以分別對(duì)應(yīng)于第一子區(qū)域52a和第二子區(qū)域52b。

在某些實(shí)施例中，行人部件20可以通過將顯著圖54與對(duì)應(yīng)的圖像50重疊或組合來(lái)生成已修改的圖像，并且處理已修改的圖像以檢測(cè)行人14。例如，除了在圖像50的對(duì)應(yīng)部分可以至少部分地保持可見或完全不變的位置56a、56b之外，已修改的圖像可以是黑色的(或一些其他顏色)。顯著圖54可以被放大和/或圖像50可以被縮小以便具有匹配的分辨率，以使行人檢測(cè)可以被執(zhí)行。

在所選擇的實(shí)施例中，顯著圖54可以具有比對(duì)應(yīng)的圖像50更低的分辨率。例如，顯著圖54可以具有標(biāo)準(zhǔn)尺寸或者可以具有以預(yù)定因素減小的分辨率。低分辨率顯著圖54可能仍然非常有效并且減少處理工作量或處理延遲。在這樣的實(shí)施例中，行人部件20可以通過按比例放大顯著圖54基于對(duì)應(yīng)的顯著圖54來(lái)處理圖像50。例如，行人部件20可以處理與顯著圖54中的相同像素相關(guān)的對(duì)應(yīng)的圖像50中的多個(gè)像素。盡管圖4的顯著圖54用黑色或白色像素示出，但是一些實(shí)施例可以生成并且使用具有灰度值的顯著圖54。

參照?qǐng)D5，在某些實(shí)施例中，根據(jù)本發(fā)明在安全系統(tǒng)18內(nèi)的流程58可以在后置攝像機(jī)22輸出圖像數(shù)據(jù)60(例如，包含或限定一個(gè)或多個(gè)圖像50的數(shù)據(jù)60)時(shí)開始。圖像數(shù)據(jù)60可以被饋送到顯著圖神經(jīng)網(wǎng)絡(luò)62。顯著圖神經(jīng)網(wǎng)絡(luò)62可以處理圖像數(shù)據(jù)60以產(chǎn)生顯著圖54和/或可能包含行人14的圖像數(shù)據(jù)60的一個(gè)或多個(gè)子區(qū)域52a、52b的指示。

顯著圖54或可能包含行人14的圖像數(shù)據(jù)60的一個(gè)或多個(gè)子區(qū)域52a、52b的其他指示連同圖像數(shù)據(jù)60一起可以被饋送到行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64，用于分類和/或定位。例如，行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64可以將由顯著圖神經(jīng)網(wǎng)絡(luò)62識(shí)別的每個(gè)子區(qū)域52a、52b的圖像數(shù)據(jù)60分類為包含或不包含行人14。另外，行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64可以確定圖像數(shù)據(jù)60內(nèi)的特定位置或區(qū)域(例如，可以識(shí)別圖像50內(nèi)的多個(gè)像素)，其中行人14位于該特定位置或區(qū)域中。

行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64可以將一個(gè)或多個(gè)行人14的存在和/或位置的指示66輸出到運(yùn)動(dòng)預(yù)測(cè)模塊68。運(yùn)動(dòng)預(yù)測(cè)模塊68可以使用來(lái)自在一段時(shí)間內(nèi)(例如，包含幾秒或更少的相對(duì)短的時(shí)間段內(nèi))收集的多個(gè)圖像50中的一個(gè)圖像50或圖像數(shù)據(jù)60，以確定以下中的一個(gè)或多個(gè)：相對(duì)于對(duì)應(yīng)車輛12的行人14的位置、行人14的行進(jìn)速度和行人14的行進(jìn)方向。因此，運(yùn)動(dòng)預(yù)測(cè)模塊68可以預(yù)測(cè)一個(gè)或多個(gè)行人14的未來(lái)運(yùn)動(dòng)26。

例如，基于相對(duì)于車輛12的估算的位置、估算的當(dāng)前速度和估算的當(dāng)前方向，運(yùn)動(dòng)預(yù)測(cè)模塊68可以預(yù)測(cè)當(dāng)前處于后置攝像機(jī)22的視場(chǎng)內(nèi)(例如，當(dāng)前在車輛后方)的行人14何時(shí)將到達(dá)車輛12的路徑內(nèi)的位置。因此，運(yùn)動(dòng)預(yù)測(cè)模塊68可以提供行人14可能在選定時(shí)刻所處位置的認(rèn)識(shí)，甚至當(dāng)行人14不在對(duì)應(yīng)的車輛12的任何傳感器或?qū)?yīng)的車輛12的駕駛員的視野內(nèi)時(shí)。

在所選擇的實(shí)施例中，運(yùn)動(dòng)預(yù)測(cè)模塊68可以是或包括運(yùn)動(dòng)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)。例如，運(yùn)動(dòng)預(yù)測(cè)模塊68可以包含被配置用于聚類集和學(xué)習(xí)行人行為模式的運(yùn)動(dòng)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)。供選擇地，或者除此之外，運(yùn)動(dòng)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)可以實(shí)施在具有不確定意圖的行人14的存在的情況下確定對(duì)象-行為變化和實(shí)時(shí)路徑規(guī)劃的算法。因此，運(yùn)動(dòng)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)可以在圖像數(shù)據(jù)60中找到對(duì)應(yīng)于做某些事情(比如減速停止、匆忙進(jìn)入人行橫道16、右轉(zhuǎn)、左轉(zhuǎn)等等)的行人14的模式。因此，運(yùn)動(dòng)預(yù)測(cè)模塊68可以使用不止當(dāng)前位置、速度和方向來(lái)預(yù)測(cè)未來(lái)運(yùn)動(dòng)26。

運(yùn)動(dòng)預(yù)測(cè)模塊68可以輸出對(duì)應(yīng)于在圖像數(shù)據(jù)60中捕獲的一個(gè)或多個(gè)行人14的預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26。在所選擇的實(shí)施例中，預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26可以被輸出到通知系統(tǒng)70。因此，一個(gè)或多個(gè)行人14的存在、位置和/或預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26可以由通知系統(tǒng)70使用以每當(dāng)車輛12的向前運(yùn)動(dòng)28可能與以預(yù)測(cè)的方式26行進(jìn)的行人14沖突或處于碰撞航向上時(shí)警告人類駕駛員或通知車輛的駕駛系統(tǒng)14。

參照?qǐng)D6，在所選擇的實(shí)施例中，行人部件20可以包括感知部件72、顯著部件74、檢測(cè)部件76、預(yù)測(cè)部件78、通知部件80、駕駛部件82、一個(gè)或多個(gè)其他部件84等等或者它們的組合或子組合。因此，所示的部件72、74、76、78、80、82、84僅僅通過說明的方式給出，并且可以不全部包括在所有實(shí)施例中。實(shí)際上，一些實(shí)施例可以包括所示部件72、74、76、78、80、82、84中僅一個(gè)或者兩個(gè)或多個(gè)的任何組合。在所選擇的實(shí)施例中，示出的部件72、74、76、78、80、82、84中的一些可以位于行人部件20的外部，比如在駕駛系統(tǒng)30內(nèi)或安全系統(tǒng)18內(nèi)的其他地方，而不脫離本發(fā)明的范圍。

感知部件72可以被配置為從后置攝像機(jī)22接收?qǐng)D像數(shù)據(jù)60。顯著部件74可以被配置為處理從后置攝像機(jī)22接收的圖像數(shù)據(jù)60，以識(shí)別行人14可能位于的位置52a、52b。在所選擇的實(shí)施例中，顯著部件74可以生成一個(gè)或多個(gè)圖像50的顯著圖54。

顯著部件74可以使用神經(jīng)網(wǎng)絡(luò)來(lái)處理圖像數(shù)據(jù)60。例如，圖像50的每個(gè)像素值可以被饋送到神經(jīng)網(wǎng)絡(luò)(例如，顯著圖神經(jīng)網(wǎng)絡(luò)62)中，該神經(jīng)網(wǎng)絡(luò)已被訓(xùn)練以識(shí)別圖像50內(nèi)的區(qū)域52a、52b，該區(qū)域52a、52b在與圖像50的其他區(qū)域相比時(shí)可能或最可能包括行人14。在某些實(shí)施例中，這樣的神經(jīng)網(wǎng)絡(luò)可以包括已被訓(xùn)練用于快速識(shí)別可能包括行人14的子區(qū)域52a、52b的深度卷積網(wǎng)絡(luò)。

由這樣的神經(jīng)網(wǎng)絡(luò)識(shí)別的子區(qū)域52a、52b可以是可能包括具有低水平漏報(bào)的行人14但潛在地具有更高水平的誤報(bào)的區(qū)域。例如，子區(qū)域52a、52b的識(shí)別可以是過度包含的，因?yàn)橐恍﹨^(qū)域可能實(shí)際上不包括行人，同時(shí)子區(qū)域的識(shí)別也具有錯(cuò)失行人14位于的區(qū)域的低概率。

在某些實(shí)施例中，對(duì)應(yīng)于顯著部件74的神經(jīng)網(wǎng)絡(luò)的輸出可以是圖像50的x-y坐標(biāo)和限定距被包括在子區(qū)域52a、52b內(nèi)的x-y坐標(biāo)的距離的一個(gè)或多個(gè)距離參數(shù)。例如，距離參數(shù)可以限定圖像50的矩形或橢圓形子區(qū)域52a、52b的邊緣。在其他實(shí)施例中，對(duì)應(yīng)于顯著部件74的神經(jīng)網(wǎng)絡(luò)的輸出可以是顯著圖54。

在所選擇的實(shí)施例中，神經(jīng)網(wǎng)絡(luò)(例如，顯著圖神經(jīng)網(wǎng)絡(luò)62)可以被配置為以比由后置攝像機(jī)22收集的圖像50或其他信息更低的分辨率操作。例如，神經(jīng)網(wǎng)絡(luò)可以處理低分辨率版本的圖像50以產(chǎn)生顯著圖54。供選擇地，神經(jīng)網(wǎng)絡(luò)可以處理全分辨率圖像50并且產(chǎn)生低分辨率顯著圖54。在又一實(shí)施例中，用于神經(jīng)網(wǎng)絡(luò)的輸入分辨率和用于顯著圖54的輸出分辨率兩者可以低于圖像50的全分辨率。在這樣的實(shí)施例中，低分辨率顯著圖54可以提供與全分辨率顯著圖54一樣好或幾乎一樣好的性能，同時(shí)需要更少的計(jì)算資源和/或?qū)е赂斓奶幚頃r(shí)間。

在所選擇的實(shí)施例中，神經(jīng)網(wǎng)絡(luò)(例如，顯著圖神經(jīng)網(wǎng)絡(luò)62)可以用圖像50和地面實(shí)況來(lái)訓(xùn)練以識(shí)別其中行人14存在或不存在的區(qū)域。因此，神經(jīng)網(wǎng)絡(luò)和/或顯著部件74的輸出可以是行人位置顯著圖54。這不同于試圖預(yù)測(cè)或指示人眼在觀看圖像時(shí)自然指向的位置的一些顯著圖，因?yàn)樗囟ㄓ谛腥宋恢?。識(shí)別行人14可能位于的位置可以顯著地降低檢測(cè)行人14所需的處理能力，因?yàn)檫h(yuǎn)遠(yuǎn)小于完整的圖像可能需要被處理用于對(duì)象檢測(cè)或更小的神經(jīng)網(wǎng)絡(luò)可以被使用。

在某些實(shí)施例中，顯著部件74可以對(duì)被識(shí)別為可能具有行人14的一個(gè)或多個(gè)位置進(jìn)行優(yōu)先級(jí)排序。例如，可以按照行人14存在的可能性的順序來(lái)對(duì)位置進(jìn)行優(yōu)先級(jí)排序。然后可以按照優(yōu)先級(jí)的順序處理這些位置，以便于識(shí)別行人14的速度。例如，基于使用神經(jīng)網(wǎng)絡(luò)(例如，顯著圖神經(jīng)網(wǎng)絡(luò)62)的處理，第一區(qū)域52a可能是最可能包括行人14，并且第二區(qū)域52b可能不太可能包括行人14。通過首先搜索第一區(qū)域52a，可以顯著增加行人14將更快被定位的機(jī)會(huì)。類似地，可以基于相對(duì)于由車輛12行駛的路徑的位置來(lái)將一個(gè)或多個(gè)位置進(jìn)行優(yōu)先級(jí)排序。例如，更靠近車輛12的位置可以優(yōu)先于車輛12后方更遠(yuǎn)的位置或者更遠(yuǎn)離車輛12的路徑的位置。

檢測(cè)部件76可以被配置為檢測(cè)圖像50內(nèi)的行人14的存在。例如，檢測(cè)部件76可以使用對(duì)象識(shí)別或任何圖像處理技術(shù)來(lái)處理圖像數(shù)據(jù)60以檢測(cè)人類行人14。在所選擇的實(shí)施例中，檢測(cè)部件76可以定位圖像數(shù)據(jù)60內(nèi)的行人76。例如，檢測(cè)部件76可以識(shí)別對(duì)應(yīng)于行人14的一個(gè)或多個(gè)像素。在某些實(shí)施例中，檢測(cè)部件76可以相對(duì)于車輛12(例如，相對(duì)于安裝在車輛12上的后置攝像機(jī)22)定位行人14。也就是說，檢測(cè)部件76可以確定后置攝像機(jī)22和行人14之間的距離和/或相對(duì)于車輛12和行人14的向前或駕駛方向的方向。

在所選擇的實(shí)施例中，檢測(cè)部件76可以通過處理由顯著部件74識(shí)別的子區(qū)域52a、52b來(lái)檢測(cè)行人14。也就是說，檢測(cè)部件76可以僅處理由顯著部件74識(shí)別為可能或更可能地包含行人14的圖像50的區(qū)域52a、52b，而不是整體處理圖像50。因此，檢測(cè)部件76可以分別處理每個(gè)子區(qū)域52a、52b以確認(rèn)或確定行人14在特定區(qū)域52a、52b內(nèi)存在或不存在。

在某些實(shí)施例中，通過將圖像50與由顯著部件74限定的顯著圖54結(jié)合(例如，使用閾值或其他效果)生成的已修改的圖像可以通過檢測(cè)部件76處理以定位行人14。顯著圖54可以“遮蔽”、“模糊”或以其他方式隱藏不可能包括行人14的圖像50的部分，同時(shí)允許其他部分通過檢測(cè)部件76處理。

在所選擇的實(shí)施例中，檢測(cè)部件76可以被配置為使用神經(jīng)網(wǎng)絡(luò)(例如，行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64)處理圖像50或圖像50的一個(gè)或多個(gè)子部分52a、52b。用于檢測(cè)行人14的神經(jīng)網(wǎng)絡(luò)可以是與由顯著部件74使用的神經(jīng)網(wǎng)絡(luò)不同的神經(jīng)網(wǎng)絡(luò)。

在某些實(shí)施例中，神經(jīng)網(wǎng)絡(luò)(例如，行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64)可以包括深度卷積神經(jīng)網(wǎng)絡(luò)，該深度卷積神經(jīng)網(wǎng)絡(luò)已被訓(xùn)練來(lái)以高準(zhǔn)確度和低漏報(bào)率檢測(cè)行人14。在所選擇的實(shí)施例中，檢測(cè)部件76可以使用顯著圖54或由顯著部件74生成的子區(qū)域52a、52b的其他指示來(lái)以全分辨率處理圖像50或其部分。例如，檢測(cè)部件76可以使用低分辨率顯著圖54來(lái)識(shí)別需要處理的圖像50的區(qū)域52a、52b，但是然后以提高的或原始的分辨率處理那些區(qū)域52a、52b。

在某些實(shí)施例中，檢測(cè)部件76可以使用神經(jīng)網(wǎng)絡(luò)(例如，行人檢測(cè)神經(jīng)網(wǎng)絡(luò)64)——其已使用裁切的地面實(shí)況邊界框來(lái)訓(xùn)練——來(lái)確定行人14是存在還是不存在。這樣的神經(jīng)網(wǎng)絡(luò)可以是將圖像50或圖像50的一部分分類為包含行人14或不包含行人14的分類器。例如，檢測(cè)部件76可以將由顯著部件74識(shí)別的每個(gè)部分分類為包括或不包括行人14。

在所選擇的實(shí)施例中，檢測(cè)部件76可以按照優(yōu)先級(jí)的順序處理由顯著部件74識(shí)別的區(qū)域52a、52b。例如，可以首先處理具有較高優(yōu)先級(jí)的位置52a、52b以確定是否行人14存在。以優(yōu)先級(jí)順序的處理可以允許檢測(cè)行人14時(shí)的增加的速度和防止事故、碰撞或路徑規(guī)劃的更快的響應(yīng)時(shí)間。

預(yù)測(cè)部件78可以使用圖像數(shù)據(jù)60(例如，一個(gè)或多個(gè)圖像50)來(lái)確定行人14相對(duì)于對(duì)應(yīng)的車輛12的位置、行人14的行進(jìn)速度、或行人14的行進(jìn)方向中的一個(gè)或多個(gè)和/或以特定方式推斷行為的意圖(例如，移動(dòng)或不移動(dòng))。因此，預(yù)測(cè)部件78可以是或包括運(yùn)動(dòng)預(yù)測(cè)模塊68。

在所選擇的實(shí)施例中，預(yù)測(cè)部件78可以按照優(yōu)先級(jí)的順序預(yù)測(cè)一個(gè)或多個(gè)行人14的未來(lái)運(yùn)動(dòng)26。例如，可以首先處理對(duì)應(yīng)于(例如，在其中識(shí)別的)具有較高優(yōu)先級(jí)的位置52a、52b的行人14。按優(yōu)先級(jí)順序的處理可以允許預(yù)測(cè)行人14的未來(lái)運(yùn)動(dòng)26時(shí)的增加的速度和防止事故、碰撞或路徑規(guī)劃的更快的響應(yīng)時(shí)間。

通知部件80可以被配置為提供一個(gè)或多個(gè)通知給車輛12的駕駛員或自動(dòng)駕駛系統(tǒng)。因此，通知部件80可以是或包括通知系統(tǒng)70。在所選擇的實(shí)施例中，通知部件80可以使用顯示器38或揚(yáng)聲器40提供通知給駕駛員。例如，行人14的位置可以在抬頭顯示器上指示。在某些實(shí)施例中，來(lái)自通知部件80的通知可以包括執(zhí)行操縱的指令，或者僅是行人14存在的警告，即使當(dāng)行人14當(dāng)前處于對(duì)應(yīng)車輛12或者對(duì)應(yīng)車輛12的駕駛員的盲點(diǎn)。

在所選擇的實(shí)施例中，通知部件80可以通知駕駛員或駕駛系統(tǒng)30由駕駛部件82選擇或建議的駕駛操縱。在其他實(shí)施例中，通知部件80可以通知駕駛員或駕駛系統(tǒng)30行人14的當(dāng)前位置和/或預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26，以使碰撞規(guī)避可以被執(zhí)行。

駕駛部件82可以被配置為基于行人14的存在或不存在和與其對(duì)應(yīng)的預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26來(lái)選擇對(duì)應(yīng)車輛12的駕駛操縱。例如，基于特定行人14的預(yù)測(cè)的未來(lái)運(yùn)動(dòng)26，駕駛部件82可以確定對(duì)應(yīng)的車輛12(例如，自主車輛12)由于與該行人14的預(yù)測(cè)的碰撞而應(yīng)該等待執(zhí)行右轉(zhuǎn)、行進(jìn)通過十字路口10等等。

參照?qǐng)D7，安全系統(tǒng)18可以支持、實(shí)現(xiàn)或執(zhí)行根據(jù)本發(fā)明的過程86。在所選擇的實(shí)施例中，當(dāng)感知部件72接收(88)車輛12后方的區(qū)域的圖像50時(shí)，這樣的過程86可以開始。顯著部件74可以使用第一神經(jīng)網(wǎng)絡(luò)來(lái)處理圖像50，以識(shí)別圖像50內(nèi)行人14可能位于的一個(gè)或多個(gè)區(qū)域52a、52b。檢測(cè)部件76然后可以使用第二神經(jīng)網(wǎng)絡(luò)處理(92)圖像50的一個(gè)或多個(gè)區(qū)域52a、52b，以確定行人14是否存在于任何這樣的區(qū)域52a、52b中。

如果沒有檢測(cè)(94)到行人14，則感知部件72可以接收(88)另一圖像50，并且識(shí)別(90)和處理(92)可以被重復(fù)用于該圖像50。然而，如果檢測(cè)(94)到一個(gè)或多個(gè)行人14，則預(yù)測(cè)部件78可以預(yù)測(cè)(96)一個(gè)或多個(gè)行人14的未來(lái)運(yùn)動(dòng)26。通知部件80和/或駕駛部件82可以基于預(yù)測(cè)的運(yùn)動(dòng)26按需行動(dòng)(98)。例如，通知部件80和/或駕駛部件82可以每當(dāng)車輛12的向前運(yùn)動(dòng)28可能與以預(yù)測(cè)方式26行進(jìn)的行人14沖突或處于碰撞航向上時(shí)根據(jù)需要或必要提供或發(fā)起車輛12的警告或控制操作。

在上述公開內(nèi)容中，已經(jīng)參照了附圖，該附圖形成本發(fā)明的一部分并且其中通過說明的方式示出了可以實(shí)踐本發(fā)明的特定實(shí)施方式。應(yīng)當(dāng)理解的是，在不脫離本發(fā)明的范圍的情況下，可以利用其他實(shí)施方式并且可以進(jìn)行結(jié)構(gòu)改變。說明書中對(duì)“所選擇的實(shí)施例”、“某些實(shí)施例”或任何其它“實(shí)施例”、“實(shí)施例”或“實(shí)施方式”的引用表示所描述的實(shí)施例可以包括特定特征、結(jié)構(gòu)或特性，但不需要每個(gè)實(shí)施例都包括那樣的特定特征、結(jié)構(gòu)或特性。此外，這樣的短語(yǔ)不一定指的是相同的實(shí)施例。此外，當(dāng)結(jié)合所選擇的或某些實(shí)施例描述特定特征、結(jié)構(gòu)或特性時(shí)，應(yīng)當(dāng)認(rèn)為結(jié)合無(wú)論是否明確描述的其他實(shí)施例來(lái)改變這樣的特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識(shí)范圍內(nèi)。

如本文所使用的，“自主車輛”可以是完全獨(dú)立于人類駕駛員行動(dòng)或操作的車輛；或者可以是在一些情況下獨(dú)立于人類駕駛員行動(dòng)或操作而在其他情況下人類駕駛員能夠操作車輛的車輛；或者可以是主要由駕駛員操作但是在自動(dòng)駕駛/輔助系統(tǒng)的輔助下的車輛。

本文所公開的系統(tǒng)、裝置和方法的實(shí)施方式可以包含或利用包括計(jì)算機(jī)硬件(例如一個(gè)或多個(gè)處理器和系統(tǒng)存儲(chǔ)器，如下面更詳細(xì)所討論的)的專用或通用計(jì)算機(jī)。在本發(fā)明的范圍內(nèi)的實(shí)施方式還可以包括用于攜帶或存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理和其他計(jì)算機(jī)可讀介質(zhì)。這樣的計(jì)算機(jī)可讀介質(zhì)可以是可以由通用或?qū)Ｓ糜?jì)算機(jī)系統(tǒng)訪問的任何可用介質(zhì)。存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)存儲(chǔ)介質(zhì)(裝置)。攜帶計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是傳輸介質(zhì)。因此，通過示例的方式，并且非限制，本發(fā)明的實(shí)施方式可以包含至少兩種截然不同種類的計(jì)算機(jī)可讀介質(zhì)：計(jì)算機(jī)存儲(chǔ)介質(zhì)(裝置)和傳輸介質(zhì)。

計(jì)算機(jī)存儲(chǔ)介質(zhì)(裝置)包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除編程只讀存儲(chǔ)器(eeprom)、只讀光盤驅(qū)動(dòng)器(cd-rom)、固態(tài)驅(qū)動(dòng)器(“ssd”)(例如基于ram的)、閃存存儲(chǔ)器、相變存儲(chǔ)器(“pcm”)、其它類型的存儲(chǔ)器、其它光盤存儲(chǔ)器、磁盤存儲(chǔ)器或其它磁性存儲(chǔ)裝置或可以用來(lái)存儲(chǔ)以計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望的程序代碼并且可以由通用或?qū)Ｓ糜?jì)算機(jī)訪問的任何其它介質(zhì)。

本文所公開的裝置、系統(tǒng)和方法的實(shí)施方式可以通過計(jì)算機(jī)網(wǎng)絡(luò)通信，該計(jì)算機(jī)網(wǎng)絡(luò)包含使電子數(shù)據(jù)能夠在計(jì)算機(jī)系統(tǒng)和/或模塊和/或其他電子裝置之間傳輸?shù)囊粋€(gè)或多個(gè)數(shù)據(jù)鏈路。當(dāng)信息通過計(jì)算機(jī)網(wǎng)絡(luò)或另一通信連接(硬連線、無(wú)線或硬連線或無(wú)線的組合)傳送或提供給計(jì)算機(jī)時(shí)，計(jì)算機(jī)適當(dāng)?shù)貙⒃撨B接視為傳輸介質(zhì)。傳輸介質(zhì)可以包括計(jì)算機(jī)網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路，其可以用于運(yùn)送以計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望的程序代碼并且可以由通用或?qū)Ｓ糜?jì)算機(jī)訪問。上述的組合也應(yīng)該包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。

計(jì)算機(jī)可執(zhí)行指令包含例如當(dāng)在處理器處被執(zhí)行時(shí)使通用計(jì)算機(jī)、專用計(jì)算機(jī)或?qū)Ｓ锰幚硌b置執(zhí)行某一功能或一組功能的指令和數(shù)據(jù)。計(jì)算機(jī)可執(zhí)行指令可以是例如二進(jìn)制、中間格式指令(比如匯編語(yǔ)言)、或甚至源代碼。盡管已經(jīng)以對(duì)結(jié)構(gòu)特征和/或方法動(dòng)作的特定語(yǔ)言描述了主題，但是應(yīng)當(dāng)理解的是，所附權(quán)利要求中限定的主題不一定限于上面描述的特征或動(dòng)作。相反地，所描述的特征和動(dòng)作被公開作為實(shí)施權(quán)利要求的示例形式。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，本發(fā)明可以在具有許多類型的計(jì)算機(jī)系統(tǒng)配置的網(wǎng)絡(luò)計(jì)算環(huán)境中實(shí)踐，包括個(gè)人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、便攜式計(jì)算機(jī)、消息處理器、手持裝置、多處理器系統(tǒng)、基于微處理器或可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)pc、小型計(jì)算機(jī)、大型計(jì)算機(jī)、移動(dòng)電話、pda、平板、尋呼機(jī)、路由器、交換機(jī)、各種存儲(chǔ)裝置等。本發(fā)明還可以在分布式系統(tǒng)環(huán)境中實(shí)踐，其中通過網(wǎng)絡(luò)鏈接(通過硬連線數(shù)據(jù)鏈路、無(wú)線數(shù)據(jù)鏈路、或通過硬連線和無(wú)線數(shù)據(jù)鏈路的組合)的本地和遠(yuǎn)程計(jì)算機(jī)系統(tǒng)都執(zhí)行任務(wù)。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠(yuǎn)程存儲(chǔ)器存儲(chǔ)裝置中。

此外，在適當(dāng)?shù)那闆r下，本文所描述的功能可以以下面的一個(gè)或多個(gè)執(zhí)行：硬件、軟件、固件、數(shù)字部件或模擬部件。例如，一個(gè)或多個(gè)專用集成電路(asic)可以被編程為執(zhí)行本文描述的系統(tǒng)和過程中的一個(gè)或多個(gè)。在整個(gè)以下描述和權(quán)利要求書中使用某些術(shù)語(yǔ)來(lái)指代特定的系統(tǒng)部件。如本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，部件可以通過不同的名稱來(lái)指代。本文獻(xiàn)不旨在名稱不同而不是功能不同的部件之間區(qū)分。

應(yīng)當(dāng)注意的是，上述傳感器實(shí)施例可以包含計(jì)算機(jī)硬件、軟件、固件或它們的任何組合以執(zhí)行它們的功能的至少一部分。例如，傳感器可以包括被配置為在一個(gè)或多個(gè)處理器中執(zhí)行的計(jì)算機(jī)代碼，并且可以包括由計(jì)算機(jī)代碼控制的硬件邏輯/電路。這些示例裝置在本文中是為了說明的目的，并且不旨在進(jìn)行限制。如相關(guān)領(lǐng)域的技術(shù)人員所知的是，本發(fā)明的實(shí)施例可以在其他類型的裝置中實(shí)施。

本發(fā)明的至少一些實(shí)施例針對(duì)包含存儲(chǔ)在任何計(jì)算機(jī)可用介質(zhì)上的這種邏輯(例如，以軟件的形式)的計(jì)算機(jī)程序產(chǎn)品。這樣的軟件在一個(gè)或多個(gè)數(shù)據(jù)處理裝置中被執(zhí)行時(shí)使裝置如本文所描述的那樣操作。

盡管本發(fā)明的各種實(shí)施例已經(jīng)在上面被描述，但是應(yīng)當(dāng)理解的是，它們僅僅通過示例的方式呈現(xiàn)，并且非限制。在不脫離本發(fā)明的精神和范圍的情況下，對(duì)于相關(guān)領(lǐng)域的技術(shù)人員而言，可以在形式和細(xì)節(jié)上進(jìn)行各種改變是顯而易見的。因此，本發(fā)明的寬度和范圍不應(yīng)該由任何上述示例性實(shí)施例限制，而是應(yīng)該僅根據(jù)所附權(quán)利要求及其等同物來(lái)限定。前面的描述被呈現(xiàn)是為了說明和描述的目的。它不旨在是窮盡的或?qū)⒈景l(fā)明限制為所公開的精確形式。根據(jù)上述教導(dǎo)，許多修改和變化是可能的。此外，應(yīng)當(dāng)注意的是，任何或所有上述替代實(shí)施例可以以期望的任何組合使用以形成本發(fā)明的另外的混合實(shí)施例。

此外，盡管本發(fā)明的具體實(shí)施例已經(jīng)被描述和示出，但是本發(fā)明不限于如此描述和示出的部件的具體形式或設(shè)置。本發(fā)明的范圍由所附權(quán)利要求書、在此和不同申請(qǐng)中提交的任何未來(lái)權(quán)利要求和它們的等同物來(lái)限定。