專利名稱：基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是一種涉及用于公交客流統(tǒng)計(jì)，具體地說是涉及一種基于雙行視差時(shí)空圖的公交 車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)。該方法采用立體視覺技術(shù)進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測、匹配和計(jì)數(shù)， 尤其適用于公交車這種復(fù)雜場景中的客流計(jì)數(shù)。
背景技術(shù)：
隨著人口的急劇增長和人們出行的頻繁，我國的交通運(yùn)輸系統(tǒng)面臨巨大的壓力，出現(xiàn)了 交通阻塞、資源浪費(fèi)、環(huán)境污染等一系列問題。而實(shí)現(xiàn)智能交通系統(tǒng)(ITS)是解決一系列交 通問題的關(guān)鍵。在整個(gè)交通運(yùn)輸系統(tǒng)中，城市公共交通系統(tǒng)是其重要的組成部分。城市公共 交通具有運(yùn)輸量大、集約化經(jīng)營、節(jié)省能源和道路空間、環(huán)境污染小等優(yōu)點(diǎn)。國內(nèi)外各大城 市都相繼提出了優(yōu)先發(fā)展城市公交、加快實(shí)現(xiàn)公共交通的信息化和智能化的策略。公共交通 系統(tǒng)中及時(shí)準(zhǔn)確地獲取公交客流數(shù)據(jù)，是公交管理部門合理安排公交線路、優(yōu)化調(diào)度公交車 輛、提高運(yùn)營效率的最主要依據(jù)，因此對公交客流數(shù)據(jù)統(tǒng)計(jì)方法的研究具有重大的實(shí)用價(jià)值。
目前已提出的自動(dòng)客流計(jì)數(shù)方法主要有基于主動(dòng)紅外感應(yīng)、被動(dòng)紅外感應(yīng)、踏板壓力傳 感、視頻圖像處理等方法?；谥鲃?dòng)紅外感應(yīng)的系統(tǒng)，該技術(shù)成熟，抗千擾能力強(qiáng)，但無論 是采用單束還是多束紅外光，都不能解決擁擠客流的計(jì)數(shù)；被動(dòng)式紅外計(jì)數(shù)技術(shù)通過檢測人 體發(fā)出的熱紅外進(jìn)行計(jì)數(shù)，可區(qū)分有生命和無生命的對象，但易受乘客著裝、環(huán)境溫度等的 影響，也無法適應(yīng)擁擠客流的計(jì)數(shù)?；谔ぐ鍓毫鞲衅鞯挠?jì)數(shù)方法對人的個(gè)體差異要求較 小，但要求乘客依次上車、不可擁擠，并且無法較好的判別客流的進(jìn)出方向，壓力傳感器的 故障率也較高。
基于視頻圖像處理技術(shù)的方法目前是最有發(fā)展前途的計(jì)數(shù)方法，分為基于單目和雙目攝 像兩類。前一種方法利用目標(biāo)的灰度、色度信息進(jìn)行運(yùn)動(dòng)目標(biāo)的分割，但對計(jì)數(shù)場景中光線 的變化極其敏感，陰影和干擾物對運(yùn)動(dòng)目標(biāo)提取的影響也非常大，難以準(zhǔn)確地進(jìn)行計(jì)數(shù)；后 一種方法利用了運(yùn)動(dòng)目標(biāo)的三維深度信息，該方法可以較好地解決前一種方法存在的光照變 化和陰影的問題，但現(xiàn)有的方法計(jì)算量大，全局運(yùn)動(dòng)目標(biāo)跟蹤困難，系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性 受到了極大的限制。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有客流計(jì)數(shù)技術(shù)中存在的技術(shù)問題，提供一種基于雙行視差時(shí) 空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)，它適合在公交車上的復(fù)雜計(jì)數(shù)場景中進(jìn)行客流計(jì) 數(shù)，計(jì)數(shù)算法能夠很好地滿足系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性要求。
5為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是-
上述基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)，它包括裝在公交車門頂部的平行 同步左、右攝像機(jī)、微處理器，微處理器包括行灰度時(shí)空圖生成模塊、行視差時(shí)空圖生成模 塊、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊、運(yùn)動(dòng)目標(biāo)的分割與合并模塊、運(yùn)動(dòng)目標(biāo)匹配及方向判 斷和計(jì)數(shù)模塊，左、右攝像機(jī)分別與微處理器相連，并有紅外LED燈與微處理器相連。
上述雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于該計(jì)數(shù)方法包括如下步驟
(1)、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列，在與乘客運(yùn)動(dòng)方向垂直
的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上生成4幅行灰度時(shí)空圖；(2)、由上述行
灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差，分別形成in計(jì)數(shù)線和out
計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)視差時(shí)空圖；(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)
記；(4)、對上述目標(biāo)進(jìn)行分割與合并；(5)、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配，獲得客流運(yùn)動(dòng)方向
的判斷和完成自動(dòng)計(jì)數(shù)。
本發(fā)明與現(xiàn)有客流采集技術(shù)相比較，具有如下特征和優(yōu)點(diǎn)本發(fā)明釆用雙行計(jì)數(shù)線，僅
對計(jì)數(shù)線上的數(shù)據(jù)進(jìn)行處理和目標(biāo)檢測與匹配，能大大減少計(jì)算量，并提高系統(tǒng)的抗干擾性；
利用行幀差法提取出所有可能的運(yùn)動(dòng)目標(biāo)，再通過視差閾值提取真正的運(yùn)動(dòng)目標(biāo)，與僅利用
幀差提取運(yùn)動(dòng)目標(biāo)的方法相比，幾乎不受光照變化及陰影的影響。本發(fā)明提出的基于雙行視
差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)適用于環(huán)境復(fù)雜的計(jì)數(shù)場所，并能夠很好地滿
足計(jì)數(shù)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性要求。


圖1是基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)的結(jié)構(gòu)框圖。 圖2是裝在公交車門頂部的平行同步左、右攝像機(jī)和在與乘客上下車方向垂直的方向上 且相隔一定間距設(shè)置的in和out兩條計(jì)數(shù)線的示意圖。 圖3是系統(tǒng)軟件實(shí)現(xiàn)的處理框圖。
圖4是基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法的工作流程示意圖。
具體實(shí)施例方式
以下將結(jié)合附圖對本發(fā)明的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)作 進(jìn)一步的詳細(xì)描述。
如圖l、 2所示，上述基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)，它包括裝在公交 車門頂部的平行同步左、右攝像機(jī)A1、 A2、 DSP微處理器B、紅外LED燈C， DSP微處理器B 包括行灰度時(shí)空圖生成模塊B1、行視差時(shí)空圖生成模塊B2、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊B3、運(yùn)動(dòng)目標(biāo)的分割與合并模塊B4、運(yùn)動(dòng)目標(biāo)匹配及方向判斷和計(jì)數(shù)模塊B5，左、右攝像機(jī) Al、 A2分別與DSP微處理器B相連。該系統(tǒng)可通過RS-485接口與車載系統(tǒng)實(shí)時(shí)通信，傳送 計(jì)數(shù)結(jié)果，并接受其控制；通過100base-T網(wǎng)絡(luò)接口進(jìn)行系統(tǒng)參數(shù)設(shè)置及實(shí)時(shí)數(shù)字視頻的輸 出；配置模擬視頻輸出接口用于視頻圖像的監(jiān)控；配置受微處理器控制的紅外LED燈實(shí)現(xiàn)夜 間照明補(bǔ)光。
如圖廣3所示，上述雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于該計(jì)數(shù)方 法包括如下步驟(1)、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列，在與乘 客運(yùn)動(dòng)方向垂直的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上生成4幅行灰度時(shí)空圖； (2)、由上述行灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差，分別形成in 計(jì)數(shù)線和out計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖；(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目 標(biāo)進(jìn)行提取、標(biāo)記；(4)、對上述目標(biāo)進(jìn)行分割與合并；(5)、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配，獲 得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。
上述步驟(l)生成行灰度時(shí)空圖，裝在公交車門頂部的平行同步左、右攝像機(jī)從2個(gè)位置 監(jiān)視同一場景，在監(jiān)視場景中垂直乘客上下車的方向上相隔一定間距設(shè)置2條計(jì)數(shù)線(in計(jì) 數(shù)線和out計(jì)數(shù)線)，獲得左、右2個(gè)同步圖像序列，將其通過微處理器，由行灰度時(shí)空圖生 成模塊處理。左、右視頻圖像中各有2條計(jì)數(shù)線分別對應(yīng)同一物理場景中in計(jì)數(shù)線和out計(jì) 數(shù)線。從每幀視頻圖像中提取計(jì)數(shù)線上的圖像行灰度數(shù)據(jù)按時(shí)間軸逐行依次展開，并取最近 的固定行數(shù)形成左右各2幅，共4幅動(dòng)態(tài)行灰度時(shí)空圖。
上述步驟(2)生成行視差時(shí)空圖，上述左、右行灰度時(shí)空圖通過微處理器由行視差時(shí)空圖 生成模塊處理，其具體步驟如下。
(2-1)、利用行幀差提取計(jì)數(shù)線上可能的運(yùn)動(dòng)目標(biāo)為了減少計(jì)算量，同時(shí)減少靜止背景 的影響，采用3行行幀差法在右視圖中檢測可能的運(yùn)動(dòng)目標(biāo)候選點(diǎn)，3行是指當(dāng)前行及上2 行，將3行圖像兩兩之間的灰度差絕對值之和作為當(dāng)前行幀差，判斷運(yùn)動(dòng)候選目標(biāo)的閾值為
(9^7 —7W，若當(dāng)前行像素點(diǎn)的幀差大于C^J —?jiǎng)t認(rèn)為該點(diǎn)是運(yùn)動(dòng)區(qū)域候選點(diǎn)，否則認(rèn)
為是背景點(diǎn)。
(2-2)、計(jì)算當(dāng)前處理行的視差，如果像素為目標(biāo)候選點(diǎn)，則計(jì)算該像素的視差，否則將 其視差當(dāng)作0處理，為了對行視差圖進(jìn)行后續(xù)圖像處理，將像素的視差做灰度變換，最后獲 得視差灰度在0~255范圍內(nèi)的行視差。像素匹配是視差計(jì)算的關(guān)鍵，根據(jù)極線約束條件，右 視圖計(jì)數(shù)線上像素點(diǎn)的匹配點(diǎn)在左視圖的對應(yīng)計(jì)數(shù)線上。視差計(jì)算方法如下
首先在右視圖的計(jì)數(shù)線上檢測運(yùn)動(dòng)候選目標(biāo)點(diǎn)，然后到左視圖的對應(yīng)計(jì)數(shù)線上搜索最佳匹配目標(biāo)點(diǎn)，并采用以目標(biāo)候選點(diǎn)和待匹配像素點(diǎn)為中心長為2許1的兩個(gè)一維窗口的灰度互 相關(guān)函數(shù)作為相似度的測量，根據(jù)相關(guān)系數(shù)的極值尋找最佳匹配像素點(diǎn)。其中，匹配窗口的 長度根據(jù)窗口內(nèi)像素灰度的方差作動(dòng)態(tài)調(diào)整，方差越小，窗口越大，用于解決灰度平坦區(qū)域 的視差匹配問題。在匹配過程中，根據(jù)匹配準(zhǔn)則的唯一性約束、連續(xù)性約束條件判斷所求視 差的合理性并進(jìn)行調(diào)整。
(2-3)、將每幀計(jì)數(shù)線上得到的行視差灰度數(shù)據(jù)按時(shí)間軸依次展開，并取最近的固定行數(shù) 形成行視差時(shí)空圖。
對in計(jì)數(shù)線和out計(jì)數(shù)線重復(fù)上述步驟(2-1) (2-3),分別得到in計(jì)數(shù)線和out計(jì)數(shù) 線上的2幅行視差時(shí)空圖。
上述步驟(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)的提取、標(biāo)記，上述左、右行視差時(shí)空 圖通過微處理器由運(yùn)動(dòng)目標(biāo)的提取與串行標(biāo)記模塊處理。串行標(biāo)記是指運(yùn)動(dòng)目標(biāo)的標(biāo)記只在 當(dāng)前行進(jìn)行，每幀只處理in和out線上的視差數(shù)據(jù)，通過時(shí)間軸上的串行計(jì)算得到行視差時(shí)
空圖中的運(yùn)動(dòng)目標(biāo)。該模塊中自定義2個(gè)結(jié)構(gòu)體OA7 — 7MG和i fiCr — 7^G ，用一個(gè) OA/ —7MG結(jié)構(gòu)變量記錄一個(gè)沒有完全進(jìn)入的目標(biāo)區(qū)域信息，以建立動(dòng)態(tài)鏈表方式記錄同時(shí) 出現(xiàn)多個(gè)不連通的目標(biāo)區(qū)域信息，用一個(gè)i^C71 —r乂G結(jié)構(gòu)變量記錄一個(gè)已經(jīng)完全進(jìn)入的目 標(biāo)區(qū)域信息，以該結(jié)構(gòu)數(shù)組存儲(chǔ)多個(gè)完全進(jìn)入的目標(biāo)區(qū)域信息。
(3-1)、采用3xll的形態(tài)學(xué)平滑算子對當(dāng)前行的視差進(jìn)行平滑處理。3行視差是當(dāng)前行視
差及前后各一行視差，所以行視差時(shí)空圖比行灰度時(shí)空圖在時(shí)間上延遲一幀。
(3-2)、根據(jù)運(yùn)動(dòng)目標(biāo)的視差判斷當(dāng)前行是否是存在真正的運(yùn)動(dòng)目標(biāo)(乘客)，如果像素
視差值大于^^"-^^^則認(rèn)為是運(yùn)動(dòng)目標(biāo)點(diǎn)，否則就認(rèn)為是由于光照變化等干擾因素所造成 的虛假運(yùn)動(dòng)目標(biāo)點(diǎn)，作為背景點(diǎn)對待。當(dāng)檢測到當(dāng)前處理行有目標(biāo)出現(xiàn)，判斷該目標(biāo)段是已 出現(xiàn)目標(biāo)區(qū)域的部分，還是新目標(biāo)區(qū)域的開始，如果是已有目標(biāo)區(qū)域的部分，則更新該目標(biāo) 區(qū)域的信息，并判斷每個(gè)目標(biāo)連通區(qū)域是否結(jié)束。如果是新目標(biāo)區(qū)域，則開辟一個(gè)新的鏈表 結(jié)點(diǎn)存儲(chǔ)該新目標(biāo)區(qū)域的信息。
(3-3)、檢測到目標(biāo)連通區(qū)域已結(jié)束，計(jì)算其外接矩形的寬度，如果寬度大于 —^JDn/ —m!'"時(shí)，則認(rèn)為該連通區(qū)域是目標(biāo)，將該目標(biāo)的信息存儲(chǔ)到/^CT — L4G結(jié)構(gòu) 數(shù)組中，并標(biāo)記目標(biāo)連通域和記錄計(jì)數(shù)線出現(xiàn)目標(biāo)連通域的個(gè)數(shù)，如果寬度小于 OA/『/DZH" m/w，則認(rèn)為該連通區(qū)域是假目標(biāo)，對該目標(biāo)塊做丟棄處理。
8對in計(jì)數(shù)線和out計(jì)數(shù)線的行視差重復(fù)上述步驟(3-1) (3-3)，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)提取與串 行標(biāo)記，g_iOtyCow"" ^[]g__/C^CowWC^分別記錄in和out計(jì)數(shù)線上出現(xiàn)的目標(biāo)個(gè)數(shù)。
上述步驟(4)、對上述運(yùn)動(dòng)目標(biāo)的分割與合并上述運(yùn)動(dòng)目標(biāo)經(jīng)微處理器由運(yùn)動(dòng)目標(biāo)的分 割合并模塊處理。由于客流的擁擠和光照變化，有些運(yùn)動(dòng)目標(biāo)容易發(fā)生合并，而有些運(yùn)動(dòng)目 標(biāo)則發(fā)生分裂，需要進(jìn)行相應(yīng)的分割和合并。
(4-1)、當(dāng)計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)不為O時(shí)，檢測^^CT-^G數(shù)組中每個(gè)目標(biāo)區(qū)域 的視差灰度直方圖和面積，根據(jù)目標(biāo)區(qū)域的面積判斷該目標(biāo)區(qū)域是否需要分割，如果其面積 大于<9^/—Ji^EL4 —T7/0時(shí)，執(zhí)行步驟(4-2)，否則，執(zhí)行步驟(4-3)。
(4-2)、根據(jù)該目標(biāo)區(qū)域的視差灰度直方圖，把視差灰度值動(dòng)態(tài)范圍的某個(gè)比例作為分割 閾值，把低于該閾值的目標(biāo)區(qū)域標(biāo)記為背景，分割后對該目標(biāo)的外接矩形區(qū)域執(zhí)行步驟3， 對該矩形區(qū)域重新進(jìn)行平滑和標(biāo)記。
(4-3)、檢測計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)，如果大于l，判斷己標(biāo)記目標(biāo)中兩兩目標(biāo)間是 否滿足目標(biāo)合并的條件，如果滿足，合并目標(biāo)，并更新結(jié)構(gòu)數(shù)組中目標(biāo)區(qū)域的信息和目標(biāo)個(gè) 數(shù)。滿足下列條件的兩個(gè)目標(biāo)需要合并
(1) 兩個(gè)目標(biāo)在時(shí)間軸上間斷不超過3幀。
(2) 兩個(gè)目標(biāo)在水平方向上有交叉，并且要求交叉區(qū)域的寬度大于兩個(gè)目標(biāo)中寬度較 小目標(biāo)寬度的50%。
(3) 兩個(gè)目標(biāo)區(qū)域的視差平均值之差小于OA/ — G/L4F_D/Fmox 。
對右視圖中in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)重復(fù)執(zhí)行步驟(4-l) (4-3)、分別實(shí) 現(xiàn)in計(jì)數(shù)線和out計(jì)數(shù)線上目標(biāo)的分割與合并。
上述步驟(5)、運(yùn)動(dòng)目標(biāo)的匹配、方向判斷和計(jì)數(shù)上述經(jīng)合并、分割后的運(yùn)動(dòng)目標(biāo)通過 微處理器處理由運(yùn)動(dòng)目標(biāo)的匹配和計(jì)數(shù)模塊處理。
(5-1)、檢測in計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)gj6^Cow"""是否為0，如果不為0，檢測
每個(gè)目標(biāo)經(jīng)過的幀數(shù),awe —pow，如果/ra/ne — ; GM大于FiL4M五—五M)'執(zhí)行步驟(5-2),
如果^Yime —/wm大于F/MM五—S7^ r，且小于FWAffi—，執(zhí)行步驟(5-3)。
(5-2)、該目標(biāo)在out計(jì)數(shù)線的匹配范圍內(nèi)沒有得到匹配目標(biāo)，將該目標(biāo)區(qū)域信息從in 計(jì)數(shù)線的目標(biāo)結(jié)構(gòu)數(shù)組中刪除。
(5-3)、在out計(jì)數(shù)線上出現(xiàn)的目標(biāo)中，搜索與in計(jì)數(shù)線上該目標(biāo)最佳匹配的目標(biāo)，如
9果得到最佳匹配目標(biāo)，根據(jù)兩個(gè)匹配目標(biāo)的質(zhì)心在時(shí)間軸上位置關(guān)系，判斷目標(biāo)運(yùn)動(dòng)方向， 更新上下車計(jì)數(shù)器，如果in計(jì)數(shù)線上目標(biāo)的質(zhì)心在時(shí)間軸上先于out計(jì)數(shù)線上目標(biāo)的質(zhì)心， 則該目標(biāo)為上車，反之，則為下車，更新上下車計(jì)數(shù)器。將兩個(gè)匹配目標(biāo)的信息分別從in計(jì) 數(shù)線和out計(jì)數(shù)線的結(jié)構(gòu)數(shù)組中刪除。當(dāng)在out計(jì)數(shù)線上存在多個(gè)待匹配目標(biāo)時(shí)，根據(jù)代價(jià) 函數(shù)求出最佳匹配目標(biāo)，代價(jià)函數(shù)定義如下
尸O,凡)=) + (;c, y ) + (x,凡) 該函數(shù)計(jì)算in計(jì)數(shù)線上目標(biāo)z與out線上待匹配目標(biāo)K的相似度，其中，S(x,凡)為;f 和/ 的視差灰度平均值之差的絕對值，A(x,凡)為運(yùn)動(dòng)目標(biāo)間的水平方向距離，i^O,凡)為 運(yùn)動(dòng)目標(biāo)間的垂直方向距離，a, & c是加權(quán)值。F(x，凡)值越小，說明兩個(gè)目標(biāo)越匹配，選 擇使F(x，凡)值最小的目標(biāo)^為最佳匹配目標(biāo)。
重復(fù)循環(huán)執(zhí)行步驟1到步驟5，完成公交車客流自動(dòng)計(jì)數(shù)。
權(quán)利要求
1、一種基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)，它包括裝在公交車門頂部的平行同步左、右攝像機(jī)、微處理器，微處理器包括行灰度時(shí)空圖生成模塊、行視差時(shí)空圖生成模塊、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊、運(yùn)動(dòng)目標(biāo)的分割與合并模塊、運(yùn)動(dòng)目標(biāo)匹配及方向判斷和計(jì)數(shù)模塊，左、右攝像機(jī)分別與微處理器相連。
2、 根據(jù)權(quán)利要求l所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)，其特征在于，上 述微處理器接有紅外LED燈。
3、 一種雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于該計(jì)數(shù)方法包括如下步驟(1) 、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列，在與乘客運(yùn)動(dòng)方向垂直 的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上形成左、右各2幅行灰度時(shí)空圖；(2) 、由上述行灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差，分別形成雙 計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖；(3) 、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)記；(4) 、對上述目標(biāo)進(jìn)行分割與合并；(5) 、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配，獲得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。
4、 根據(jù)權(quán)利要求3所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于，上 述步驟(2)生成行視差時(shí)空圖，左、右行灰度時(shí)空圖通過微處理器由行視差時(shí)空圖生成模 塊處理，其具體步驟如下-(2-1)、采用3行行幀差法檢測計(jì)數(shù)線上可能的運(yùn)動(dòng)目標(biāo)候選點(diǎn)，3行是指當(dāng)前行及上2行， 將3行圖像兩兩之間的灰度差絕對值之和作為當(dāng)前行幀差，判斷運(yùn)動(dòng)候選目標(biāo)的閾值為 C^/ —77/，若當(dāng)前行像素點(diǎn)的幀差大于C^^ —TH，則認(rèn)為該像素是運(yùn)動(dòng)區(qū)域候選點(diǎn)，否則 認(rèn)為是背景點(diǎn)；(2-2)、計(jì)算當(dāng)前處理行的視差，如果像素為目標(biāo)候選點(diǎn)，則計(jì)算該像素的視差，否則將其視 差當(dāng)作0處理，將像素的視差做灰度變換，最后獲得視差灰度在(T255范圍內(nèi)的行視差； (2-3)、將每幀計(jì)數(shù)線上得到的行視差數(shù)據(jù)按時(shí)間軸依次展開，并取最近的固定行數(shù)形成行視 差時(shí)空圖，對in計(jì)數(shù)線和out計(jì)數(shù)線重復(fù)上述步驟(2-1) (2-3)，分別得到in計(jì)數(shù)線和out 計(jì)數(shù)線上的2幅行視差時(shí)空圖。
5、 根據(jù)權(quán)利要求4所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于，上 述步驟(3)對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)的提取、標(biāo)記，上述左、右行視差時(shí)空圖通 過微處理器由運(yùn)動(dòng)目標(biāo)的提取與串行標(biāo)記模塊處理，其具體步驟如下(3-1)、采用3xll的形態(tài)學(xué)平滑算子對當(dāng)前行的視差進(jìn)行平滑處理，3行視差是當(dāng)前行視差及前后各一行視差，所以行視差時(shí)空圖比行灰度時(shí)空圖在時(shí)間上延遲一幀；(3-2)、根據(jù)運(yùn)動(dòng)目標(biāo)的視差判斷當(dāng)前行是否是存在真正的運(yùn)動(dòng)目標(biāo)，如果像素視差值大于/MiM—M/iV，則認(rèn)為是運(yùn)動(dòng)目標(biāo)點(diǎn)，否則就認(rèn)為是背景點(diǎn)；當(dāng)檢測到當(dāng)前處理行有目標(biāo)出現(xiàn)，則更新該目標(biāo)區(qū)域的信息，并判斷每個(gè)目標(biāo)連通區(qū)域是否結(jié)束，如果是新目標(biāo)區(qū)域，則開辟 一個(gè)新的鏈表結(jié)點(diǎn)存儲(chǔ)該新目標(biāo)區(qū)域的信息；(3-3)、檢測到目標(biāo)連通區(qū)域已結(jié)束，計(jì)算其外接矩形的寬度，如果寬度大于 C^7-『/Z)77/ —m/"時(shí)，則認(rèn)為該連通區(qū)域是目標(biāo)，將該目標(biāo)的信息存儲(chǔ)到^^^^-T^G結(jié)構(gòu) 數(shù)組中，并標(biāo)記目標(biāo)連通域和記錄計(jì)數(shù)線出現(xiàn)目標(biāo)連通域的個(gè)數(shù)，如果寬度小于 05J—『/DH/ —/m'"，則認(rèn)為該連通區(qū)域是假目標(biāo)，對該目標(biāo)塊做丟棄處理，對in計(jì)數(shù)線和out計(jì)數(shù)線的行視差重復(fù)上述步驟(3-1)~ (3-3)，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)提取與串行標(biāo)記。
6、根據(jù)權(quán)利要求5所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于，上述步驟(4)對上述運(yùn)動(dòng)目標(biāo)的分割與合并，上述運(yùn)動(dòng)目標(biāo)經(jīng)微處理器由運(yùn)動(dòng)目標(biāo)的合并分割模塊處理，其具體步驟如下(4-1)、當(dāng)計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)不為O時(shí)，檢測^^^^-T^^數(shù)組中每個(gè)目標(biāo)區(qū)域的視 差灰度直方圖和面積，根據(jù)目標(biāo)區(qū)域的面積判斷該目標(biāo)區(qū)域是否需要分割，如果其面積大于 C A/—77/0時(shí)，執(zhí)行步驟(4—2)，否則，執(zhí)行步驟(4-3);(4-2)、根據(jù)該目標(biāo)區(qū)域的視差灰度直方圖，把視差灰度值動(dòng)態(tài)范圍的某個(gè)比例作為分割閾值， 把低于該閾值的目標(biāo)區(qū)域標(biāo)記為背景，分割后對該目標(biāo)的外接矩形區(qū)域執(zhí)行步驟(4-3); (4-3)、檢測計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)，如果大于l，判斷已標(biāo)記目標(biāo)中兩兩目標(biāo)間是否滿 足目標(biāo)合并的條件，如果滿足，合并目標(biāo)，并更新結(jié)構(gòu)數(shù)組中目標(biāo)區(qū)域的信息和目標(biāo)個(gè)數(shù)， 滿足下列條件的兩個(gè)目標(biāo)需要合并(1) 兩個(gè)目標(biāo)在時(shí)間軸上間斷不超過3幀；(2) 兩個(gè)目標(biāo)在水平方向上有交叉，并且要求交叉區(qū)域的寬度大于兩個(gè)目標(biāo)中寬 度較小目標(biāo)寬度的50%;(3 ) 兩個(gè)目標(biāo)區(qū)域的視差平均值之差小于0^/_GiL47一D/Fwm:，對右視圖中in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)重復(fù)執(zhí)行步驟(4-1) ~ (4-3)，分別實(shí)現(xiàn)in 計(jì)數(shù)線和out計(jì)數(shù)線上目標(biāo)的分割與合并。
7、根據(jù)權(quán)利要求6所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法，其特征在于，上 述步驟(5)、運(yùn)動(dòng)目標(biāo)的匹配、方向判斷和計(jì)數(shù)，上述經(jīng)分割、合并后的運(yùn)動(dòng)目標(biāo)通過微 處理器處理由運(yùn)動(dòng)目標(biāo)的匹配和計(jì)數(shù)模塊處理，其具體步驟如下(5-1)、檢測in計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)g JGWC^""^是否為0，如果不為O，檢測每個(gè) 目標(biāo)經(jīng)過的幀數(shù)々譜e-戶鵬，如果/^附e —P,大于^^ffi —執(zhí)行步驟(5-2)，如果 々"附e 一joow大于FiL4A/E 一iST」i !T ， 且,j、于 FWA/E —五iVD ， 執(zhí)《亍步驟(5-3) (5-2)、上述目標(biāo)在out計(jì)數(shù)線的匹配范圍內(nèi)沒有得到匹配目標(biāo)，將該目標(biāo)區(qū)域信息從in計(jì) 數(shù)線的目標(biāo)結(jié)構(gòu)數(shù)組中刪除；(5-3)、在out計(jì)數(shù)線上出現(xiàn)的目標(biāo)中，搜索與in計(jì)數(shù)線上待匹配目標(biāo)的最佳匹配目標(biāo)，如 果得到最佳匹配目標(biāo)，根據(jù)兩個(gè)匹配目標(biāo)的質(zhì)心在時(shí)間軸上位置關(guān)系，判斷目標(biāo)運(yùn)動(dòng)方向， 如果in計(jì)數(shù)線上目標(biāo)的質(zhì)心在時(shí)間軸上先于out計(jì)數(shù)線上目標(biāo)的質(zhì)心，則該目標(biāo)為上車，反 之，則為下車，更新上下車計(jì)數(shù)器，將兩個(gè)匹配目標(biāo)的信息分別從in計(jì)數(shù)線和out計(jì)數(shù)線的 結(jié)構(gòu)數(shù)組中刪除。
全文摘要
本發(fā)明公開了一種基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)，它包括左、右攝像機(jī)、微處理器、紅外LED燈等。該方法步驟包括平行同步左、右攝像機(jī)獲得in計(jì)數(shù)線和out計(jì)數(shù)線上生成的4幅行灰度時(shí)空圖；由上述行灰度時(shí)空圖形成in計(jì)數(shù)線和out計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖；對行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)記；對運(yùn)動(dòng)目標(biāo)進(jìn)行分割與合并；對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配，獲得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。該方法及其系統(tǒng)適用在環(huán)境復(fù)雜的公交車上進(jìn)行客流計(jì)數(shù)，系統(tǒng)結(jié)構(gòu)緊湊，魯棒性高。該方法采用雙行計(jì)數(shù)線和立體視覺技術(shù)提高了系統(tǒng)的抗干擾性和實(shí)時(shí)性，適用于光線變化劇烈的計(jì)數(shù)場景，能排除陰影對計(jì)數(shù)結(jié)果的干擾。
文檔編號(hào)G07C9/00GK101567097SQ20091005259
公開日2009年10月28日 申請日期2009年6月5日 優(yōu)先權(quán)日2009年6月5日
發(fā)明者利 唐, 朱秋煜, 江毅憑, 宇 趙, 銘 郁 申請人:上海大學(xué);上海交通投資信息科技有限公司