專利名稱:基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明是一種涉及用于公交客流統(tǒng)計(jì),具體地說是涉及一種基于雙行視差時(shí)空圖的公交 車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)。該方法采用立體視覺技術(shù)進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測、匹配和計(jì)數(shù), 尤其適用于公交車這種復(fù)雜場景中的客流計(jì)數(shù)。
背景技術(shù):
隨著人口的急劇增長和人們出行的頻繁,我國的交通運(yùn)輸系統(tǒng)面臨巨大的壓力,出現(xiàn)了 交通阻塞、資源浪費(fèi)、環(huán)境污染等一系列問題。而實(shí)現(xiàn)智能交通系統(tǒng)(ITS)是解決一系列交 通問題的關(guān)鍵。在整個(gè)交通運(yùn)輸系統(tǒng)中,城市公共交通系統(tǒng)是其重要的組成部分。城市公共 交通具有運(yùn)輸量大、集約化經(jīng)營、節(jié)省能源和道路空間、環(huán)境污染小等優(yōu)點(diǎn)。國內(nèi)外各大城 市都相繼提出了優(yōu)先發(fā)展城市公交、加快實(shí)現(xiàn)公共交通的信息化和智能化的策略。公共交通 系統(tǒng)中及時(shí)準(zhǔn)確地獲取公交客流數(shù)據(jù),是公交管理部門合理安排公交線路、優(yōu)化調(diào)度公交車 輛、提高運(yùn)營效率的最主要依據(jù),因此對公交客流數(shù)據(jù)統(tǒng)計(jì)方法的研究具有重大的實(shí)用價(jià)值。
目前已提出的自動(dòng)客流計(jì)數(shù)方法主要有基于主動(dòng)紅外感應(yīng)、被動(dòng)紅外感應(yīng)、踏板壓力傳 感、視頻圖像處理等方法?;谥鲃?dòng)紅外感應(yīng)的系統(tǒng),該技術(shù)成熟,抗千擾能力強(qiáng),但無論 是采用單束還是多束紅外光,都不能解決擁擠客流的計(jì)數(shù);被動(dòng)式紅外計(jì)數(shù)技術(shù)通過檢測人 體發(fā)出的熱紅外進(jìn)行計(jì)數(shù),可區(qū)分有生命和無生命的對象,但易受乘客著裝、環(huán)境溫度等的 影響,也無法適應(yīng)擁擠客流的計(jì)數(shù)?;谔ぐ鍓毫鞲衅鞯挠?jì)數(shù)方法對人的個(gè)體差異要求較 小,但要求乘客依次上車、不可擁擠,并且無法較好的判別客流的進(jìn)出方向,壓力傳感器的 故障率也較高。
基于視頻圖像處理技術(shù)的方法目前是最有發(fā)展前途的計(jì)數(shù)方法,分為基于單目和雙目攝 像兩類。前一種方法利用目標(biāo)的灰度、色度信息進(jìn)行運(yùn)動(dòng)目標(biāo)的分割,但對計(jì)數(shù)場景中光線 的變化極其敏感,陰影和干擾物對運(yùn)動(dòng)目標(biāo)提取的影響也非常大,難以準(zhǔn)確地進(jìn)行計(jì)數(shù);后 一種方法利用了運(yùn)動(dòng)目標(biāo)的三維深度信息,該方法可以較好地解決前一種方法存在的光照變 化和陰影的問題,但現(xiàn)有的方法計(jì)算量大,全局運(yùn)動(dòng)目標(biāo)跟蹤困難,系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性 受到了極大的限制。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有客流計(jì)數(shù)技術(shù)中存在的技術(shù)問題,提供一種基于雙行視差時(shí) 空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng),它適合在公交車上的復(fù)雜計(jì)數(shù)場景中進(jìn)行客流計(jì) 數(shù),計(jì)數(shù)算法能夠很好地滿足系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性要求。
5為了達(dá)到上述目的,本發(fā)明的技術(shù)方案是-
上述基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng),它包括裝在公交車門頂部的平行 同步左、右攝像機(jī)、微處理器,微處理器包括行灰度時(shí)空圖生成模塊、行視差時(shí)空圖生成模 塊、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊、運(yùn)動(dòng)目標(biāo)的分割與合并模塊、運(yùn)動(dòng)目標(biāo)匹配及方向判 斷和計(jì)數(shù)模塊,左、右攝像機(jī)分別與微處理器相連,并有紅外LED燈與微處理器相連。
上述雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于該計(jì)數(shù)方法包括如下步驟
(1)、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列,在與乘客運(yùn)動(dòng)方向垂直
的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上生成4幅行灰度時(shí)空圖;(2)、由上述行
灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差,分別形成in計(jì)數(shù)線和out
計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)視差時(shí)空圖;(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)
記;(4)、對上述目標(biāo)進(jìn)行分割與合并;(5)、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配,獲得客流運(yùn)動(dòng)方向
的判斷和完成自動(dòng)計(jì)數(shù)。
本發(fā)明與現(xiàn)有客流采集技術(shù)相比較,具有如下特征和優(yōu)點(diǎn)本發(fā)明釆用雙行計(jì)數(shù)線,僅
對計(jì)數(shù)線上的數(shù)據(jù)進(jìn)行處理和目標(biāo)檢測與匹配,能大大減少計(jì)算量,并提高系統(tǒng)的抗干擾性;
利用行幀差法提取出所有可能的運(yùn)動(dòng)目標(biāo),再通過視差閾值提取真正的運(yùn)動(dòng)目標(biāo),與僅利用
幀差提取運(yùn)動(dòng)目標(biāo)的方法相比,幾乎不受光照變化及陰影的影響。本發(fā)明提出的基于雙行視
差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)適用于環(huán)境復(fù)雜的計(jì)數(shù)場所,并能夠很好地滿
足計(jì)數(shù)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性要求。
圖1是基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng)的結(jié)構(gòu)框圖。 圖2是裝在公交車門頂部的平行同步左、右攝像機(jī)和在與乘客上下車方向垂直的方向上 且相隔一定間距設(shè)置的in和out兩條計(jì)數(shù)線的示意圖。 圖3是系統(tǒng)軟件實(shí)現(xiàn)的處理框圖。
圖4是基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法的工作流程示意圖。
具體實(shí)施例方式
以下將結(jié)合附圖對本發(fā)明的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng)作 進(jìn)一步的詳細(xì)描述。
如圖l、 2所示,上述基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng),它包括裝在公交 車門頂部的平行同步左、右攝像機(jī)A1、 A2、 DSP微處理器B、紅外LED燈C, DSP微處理器B 包括行灰度時(shí)空圖生成模塊B1、行視差時(shí)空圖生成模塊B2、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊B3、運(yùn)動(dòng)目標(biāo)的分割與合并模塊B4、運(yùn)動(dòng)目標(biāo)匹配及方向判斷和計(jì)數(shù)模塊B5,左、右攝像機(jī) Al、 A2分別與DSP微處理器B相連。該系統(tǒng)可通過RS-485接口與車載系統(tǒng)實(shí)時(shí)通信,傳送 計(jì)數(shù)結(jié)果,并接受其控制;通過100base-T網(wǎng)絡(luò)接口進(jìn)行系統(tǒng)參數(shù)設(shè)置及實(shí)時(shí)數(shù)字視頻的輸 出;配置模擬視頻輸出接口用于視頻圖像的監(jiān)控;配置受微處理器控制的紅外LED燈實(shí)現(xiàn)夜 間照明補(bǔ)光。
如圖廣3所示,上述雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于該計(jì)數(shù)方 法包括如下步驟(1)、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列,在與乘 客運(yùn)動(dòng)方向垂直的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上生成4幅行灰度時(shí)空圖; (2)、由上述行灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差,分別形成in 計(jì)數(shù)線和out計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖;(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目 標(biāo)進(jìn)行提取、標(biāo)記;(4)、對上述目標(biāo)進(jìn)行分割與合并;(5)、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配,獲 得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。
上述步驟(l)生成行灰度時(shí)空圖,裝在公交車門頂部的平行同步左、右攝像機(jī)從2個(gè)位置 監(jiān)視同一場景,在監(jiān)視場景中垂直乘客上下車的方向上相隔一定間距設(shè)置2條計(jì)數(shù)線(in計(jì) 數(shù)線和out計(jì)數(shù)線),獲得左、右2個(gè)同步圖像序列,將其通過微處理器,由行灰度時(shí)空圖生 成模塊處理。左、右視頻圖像中各有2條計(jì)數(shù)線分別對應(yīng)同一物理場景中in計(jì)數(shù)線和out計(jì) 數(shù)線。從每幀視頻圖像中提取計(jì)數(shù)線上的圖像行灰度數(shù)據(jù)按時(shí)間軸逐行依次展開,并取最近 的固定行數(shù)形成左右各2幅,共4幅動(dòng)態(tài)行灰度時(shí)空圖。
上述步驟(2)生成行視差時(shí)空圖,上述左、右行灰度時(shí)空圖通過微處理器由行視差時(shí)空圖 生成模塊處理,其具體步驟如下。
(2-1)、利用行幀差提取計(jì)數(shù)線上可能的運(yùn)動(dòng)目標(biāo)為了減少計(jì)算量,同時(shí)減少靜止背景 的影響,采用3行行幀差法在右視圖中檢測可能的運(yùn)動(dòng)目標(biāo)候選點(diǎn),3行是指當(dāng)前行及上2 行,將3行圖像兩兩之間的灰度差絕對值之和作為當(dāng)前行幀差,判斷運(yùn)動(dòng)候選目標(biāo)的閾值為
(9^7 —7W,若當(dāng)前行像素點(diǎn)的幀差大于C^J —?jiǎng)t認(rèn)為該點(diǎn)是運(yùn)動(dòng)區(qū)域候選點(diǎn),否則認(rèn)
為是背景點(diǎn)。
(2-2)、計(jì)算當(dāng)前處理行的視差,如果像素為目標(biāo)候選點(diǎn),則計(jì)算該像素的視差,否則將 其視差當(dāng)作0處理,為了對行視差圖進(jìn)行后續(xù)圖像處理,將像素的視差做灰度變換,最后獲 得視差灰度在0~255范圍內(nèi)的行視差。像素匹配是視差計(jì)算的關(guān)鍵,根據(jù)極線約束條件,右 視圖計(jì)數(shù)線上像素點(diǎn)的匹配點(diǎn)在左視圖的對應(yīng)計(jì)數(shù)線上。視差計(jì)算方法如下
首先在右視圖的計(jì)數(shù)線上檢測運(yùn)動(dòng)候選目標(biāo)點(diǎn),然后到左視圖的對應(yīng)計(jì)數(shù)線上搜索最佳匹配目標(biāo)點(diǎn),并采用以目標(biāo)候選點(diǎn)和待匹配像素點(diǎn)為中心長為2許1的兩個(gè)一維窗口的灰度互 相關(guān)函數(shù)作為相似度的測量,根據(jù)相關(guān)系數(shù)的極值尋找最佳匹配像素點(diǎn)。其中,匹配窗口的 長度根據(jù)窗口內(nèi)像素灰度的方差作動(dòng)態(tài)調(diào)整,方差越小,窗口越大,用于解決灰度平坦區(qū)域 的視差匹配問題。在匹配過程中,根據(jù)匹配準(zhǔn)則的唯一性約束、連續(xù)性約束條件判斷所求視 差的合理性并進(jìn)行調(diào)整。
(2-3)、將每幀計(jì)數(shù)線上得到的行視差灰度數(shù)據(jù)按時(shí)間軸依次展開,并取最近的固定行數(shù) 形成行視差時(shí)空圖。
對in計(jì)數(shù)線和out計(jì)數(shù)線重復(fù)上述步驟(2-1) (2-3),分別得到in計(jì)數(shù)線和out計(jì)數(shù) 線上的2幅行視差時(shí)空圖。
上述步驟(3)、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)的提取、標(biāo)記,上述左、右行視差時(shí)空 圖通過微處理器由運(yùn)動(dòng)目標(biāo)的提取與串行標(biāo)記模塊處理。串行標(biāo)記是指運(yùn)動(dòng)目標(biāo)的標(biāo)記只在 當(dāng)前行進(jìn)行,每幀只處理in和out線上的視差數(shù)據(jù),通過時(shí)間軸上的串行計(jì)算得到行視差時(shí)
空圖中的運(yùn)動(dòng)目標(biāo)。該模塊中自定義2個(gè)結(jié)構(gòu)體OA7 — 7MG和i fiCr — 7^G ,用一個(gè) OA/ —7MG結(jié)構(gòu)變量記錄一個(gè)沒有完全進(jìn)入的目標(biāo)區(qū)域信息,以建立動(dòng)態(tài)鏈表方式記錄同時(shí) 出現(xiàn)多個(gè)不連通的目標(biāo)區(qū)域信息,用一個(gè)i^C71 —r乂G結(jié)構(gòu)變量記錄一個(gè)已經(jīng)完全進(jìn)入的目 標(biāo)區(qū)域信息,以該結(jié)構(gòu)數(shù)組存儲(chǔ)多個(gè)完全進(jìn)入的目標(biāo)區(qū)域信息。
(3-1)、采用3xll的形態(tài)學(xué)平滑算子對當(dāng)前行的視差進(jìn)行平滑處理。3行視差是當(dāng)前行視
差及前后各一行視差,所以行視差時(shí)空圖比行灰度時(shí)空圖在時(shí)間上延遲一幀。
(3-2)、根據(jù)運(yùn)動(dòng)目標(biāo)的視差判斷當(dāng)前行是否是存在真正的運(yùn)動(dòng)目標(biāo)(乘客),如果像素
視差值大于^^"-^^^則認(rèn)為是運(yùn)動(dòng)目標(biāo)點(diǎn),否則就認(rèn)為是由于光照變化等干擾因素所造成 的虛假運(yùn)動(dòng)目標(biāo)點(diǎn),作為背景點(diǎn)對待。當(dāng)檢測到當(dāng)前處理行有目標(biāo)出現(xiàn),判斷該目標(biāo)段是已 出現(xiàn)目標(biāo)區(qū)域的部分,還是新目標(biāo)區(qū)域的開始,如果是已有目標(biāo)區(qū)域的部分,則更新該目標(biāo) 區(qū)域的信息,并判斷每個(gè)目標(biāo)連通區(qū)域是否結(jié)束。如果是新目標(biāo)區(qū)域,則開辟一個(gè)新的鏈表 結(jié)點(diǎn)存儲(chǔ)該新目標(biāo)區(qū)域的信息。
(3-3)、檢測到目標(biāo)連通區(qū)域已結(jié)束,計(jì)算其外接矩形的寬度,如果寬度大于 —^JDn/ —m!'"時(shí),則認(rèn)為該連通區(qū)域是目標(biāo),將該目標(biāo)的信息存儲(chǔ)到/^CT — L4G結(jié)構(gòu) 數(shù)組中,并標(biāo)記目標(biāo)連通域和記錄計(jì)數(shù)線出現(xiàn)目標(biāo)連通域的個(gè)數(shù),如果寬度小于 OA/『/DZH" m/w,則認(rèn)為該連通區(qū)域是假目標(biāo),對該目標(biāo)塊做丟棄處理。
8對in計(jì)數(shù)線和out計(jì)數(shù)線的行視差重復(fù)上述步驟(3-1) (3-3),實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)提取與串 行標(biāo)記,g_iOtyCow"" ^[]g__/C^CowWC^分別記錄in和out計(jì)數(shù)線上出現(xiàn)的目標(biāo)個(gè)數(shù)。
上述步驟(4)、對上述運(yùn)動(dòng)目標(biāo)的分割與合并上述運(yùn)動(dòng)目標(biāo)經(jīng)微處理器由運(yùn)動(dòng)目標(biāo)的分 割合并模塊處理。由于客流的擁擠和光照變化,有些運(yùn)動(dòng)目標(biāo)容易發(fā)生合并,而有些運(yùn)動(dòng)目 標(biāo)則發(fā)生分裂,需要進(jìn)行相應(yīng)的分割和合并。
(4-1)、當(dāng)計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)不為O時(shí),檢測^^CT-^G數(shù)組中每個(gè)目標(biāo)區(qū)域 的視差灰度直方圖和面積,根據(jù)目標(biāo)區(qū)域的面積判斷該目標(biāo)區(qū)域是否需要分割,如果其面積 大于<9^/—Ji^EL4 —T7/0時(shí),執(zhí)行步驟(4-2),否則,執(zhí)行步驟(4-3)。
(4-2)、根據(jù)該目標(biāo)區(qū)域的視差灰度直方圖,把視差灰度值動(dòng)態(tài)范圍的某個(gè)比例作為分割 閾值,把低于該閾值的目標(biāo)區(qū)域標(biāo)記為背景,分割后對該目標(biāo)的外接矩形區(qū)域執(zhí)行步驟3, 對該矩形區(qū)域重新進(jìn)行平滑和標(biāo)記。
(4-3)、檢測計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù),如果大于l,判斷己標(biāo)記目標(biāo)中兩兩目標(biāo)間是 否滿足目標(biāo)合并的條件,如果滿足,合并目標(biāo),并更新結(jié)構(gòu)數(shù)組中目標(biāo)區(qū)域的信息和目標(biāo)個(gè) 數(shù)。滿足下列條件的兩個(gè)目標(biāo)需要合并
(1) 兩個(gè)目標(biāo)在時(shí)間軸上間斷不超過3幀。
(2) 兩個(gè)目標(biāo)在水平方向上有交叉,并且要求交叉區(qū)域的寬度大于兩個(gè)目標(biāo)中寬度較 小目標(biāo)寬度的50%。
(3) 兩個(gè)目標(biāo)區(qū)域的視差平均值之差小于OA/ — G/L4F_D/Fmox 。
對右視圖中in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)重復(fù)執(zhí)行步驟(4-l) (4-3)、分別實(shí) 現(xiàn)in計(jì)數(shù)線和out計(jì)數(shù)線上目標(biāo)的分割與合并。
上述步驟(5)、運(yùn)動(dòng)目標(biāo)的匹配、方向判斷和計(jì)數(shù)上述經(jīng)合并、分割后的運(yùn)動(dòng)目標(biāo)通過 微處理器處理由運(yùn)動(dòng)目標(biāo)的匹配和計(jì)數(shù)模塊處理。
(5-1)、檢測in計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)gj6^Cow"""是否為0,如果不為0,檢測
每個(gè)目標(biāo)經(jīng)過的幀數(shù),awe —pow,如果/ra/ne — ; GM大于FiL4M五—五M)'執(zhí)行步驟(5-2),
如果^Yime —/wm大于F/MM五—S7^ r,且小于FWAffi—,執(zhí)行步驟(5-3)。
(5-2)、該目標(biāo)在out計(jì)數(shù)線的匹配范圍內(nèi)沒有得到匹配目標(biāo),將該目標(biāo)區(qū)域信息從in 計(jì)數(shù)線的目標(biāo)結(jié)構(gòu)數(shù)組中刪除。
(5-3)、在out計(jì)數(shù)線上出現(xiàn)的目標(biāo)中,搜索與in計(jì)數(shù)線上該目標(biāo)最佳匹配的目標(biāo),如
9果得到最佳匹配目標(biāo),根據(jù)兩個(gè)匹配目標(biāo)的質(zhì)心在時(shí)間軸上位置關(guān)系,判斷目標(biāo)運(yùn)動(dòng)方向, 更新上下車計(jì)數(shù)器,如果in計(jì)數(shù)線上目標(biāo)的質(zhì)心在時(shí)間軸上先于out計(jì)數(shù)線上目標(biāo)的質(zhì)心, 則該目標(biāo)為上車,反之,則為下車,更新上下車計(jì)數(shù)器。將兩個(gè)匹配目標(biāo)的信息分別從in計(jì) 數(shù)線和out計(jì)數(shù)線的結(jié)構(gòu)數(shù)組中刪除。當(dāng)在out計(jì)數(shù)線上存在多個(gè)待匹配目標(biāo)時(shí),根據(jù)代價(jià) 函數(shù)求出最佳匹配目標(biāo),代價(jià)函數(shù)定義如下
尸O,凡)=) + (;c, y ) + (x,凡) 該函數(shù)計(jì)算in計(jì)數(shù)線上目標(biāo)z與out線上待匹配目標(biāo)K的相似度,其中,S(x,凡)為;f 和/ 的視差灰度平均值之差的絕對值,A(x,凡)為運(yùn)動(dòng)目標(biāo)間的水平方向距離,i^O,凡)為 運(yùn)動(dòng)目標(biāo)間的垂直方向距離,a, & c是加權(quán)值。F(x,凡)值越小,說明兩個(gè)目標(biāo)越匹配,選 擇使F(x,凡)值最小的目標(biāo)^為最佳匹配目標(biāo)。
重復(fù)循環(huán)執(zhí)行步驟1到步驟5,完成公交車客流自動(dòng)計(jì)數(shù)。
權(quán)利要求
1、一種基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng),它包括裝在公交車門頂部的平行同步左、右攝像機(jī)、微處理器,微處理器包括行灰度時(shí)空圖生成模塊、行視差時(shí)空圖生成模塊、運(yùn)動(dòng)目標(biāo)的提取和串行標(biāo)記模塊、運(yùn)動(dòng)目標(biāo)的分割與合并模塊、運(yùn)動(dòng)目標(biāo)匹配及方向判斷和計(jì)數(shù)模塊,左、右攝像機(jī)分別與微處理器相連。
2、 根據(jù)權(quán)利要求l所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)系統(tǒng),其特征在于,上 述微處理器接有紅外LED燈。
3、 一種雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于該計(jì)數(shù)方法包括如下步驟(1) 、用平行同步左、右攝像機(jī)獲得左、右二個(gè)同步視頻圖像序列,在與乘客運(yùn)動(dòng)方向垂直 的方向且保持一定間距的in計(jì)數(shù)線和out計(jì)數(shù)線上形成左、右各2幅行灰度時(shí)空圖;(2) 、由上述行灰度時(shí)空圖計(jì)算出in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)的視差,分別形成雙 計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖;(3) 、對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)記;(4) 、對上述目標(biāo)進(jìn)行分割與合并;(5) 、對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配,獲得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。
4、 根據(jù)權(quán)利要求3所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于,上 述步驟(2)生成行視差時(shí)空圖,左、右行灰度時(shí)空圖通過微處理器由行視差時(shí)空圖生成模 塊處理,其具體步驟如下-(2-1)、采用3行行幀差法檢測計(jì)數(shù)線上可能的運(yùn)動(dòng)目標(biāo)候選點(diǎn),3行是指當(dāng)前行及上2行, 將3行圖像兩兩之間的灰度差絕對值之和作為當(dāng)前行幀差,判斷運(yùn)動(dòng)候選目標(biāo)的閾值為 C^/ —77/,若當(dāng)前行像素點(diǎn)的幀差大于C^^ —TH,則認(rèn)為該像素是運(yùn)動(dòng)區(qū)域候選點(diǎn),否則 認(rèn)為是背景點(diǎn);(2-2)、計(jì)算當(dāng)前處理行的視差,如果像素為目標(biāo)候選點(diǎn),則計(jì)算該像素的視差,否則將其視 差當(dāng)作0處理,將像素的視差做灰度變換,最后獲得視差灰度在(T255范圍內(nèi)的行視差; (2-3)、將每幀計(jì)數(shù)線上得到的行視差數(shù)據(jù)按時(shí)間軸依次展開,并取最近的固定行數(shù)形成行視 差時(shí)空圖,對in計(jì)數(shù)線和out計(jì)數(shù)線重復(fù)上述步驟(2-1) (2-3),分別得到in計(jì)數(shù)線和out 計(jì)數(shù)線上的2幅行視差時(shí)空圖。
5、 根據(jù)權(quán)利要求4所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于,上 述步驟(3)對上述行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)的提取、標(biāo)記,上述左、右行視差時(shí)空圖通 過微處理器由運(yùn)動(dòng)目標(biāo)的提取與串行標(biāo)記模塊處理,其具體步驟如下(3-1)、采用3xll的形態(tài)學(xué)平滑算子對當(dāng)前行的視差進(jìn)行平滑處理,3行視差是當(dāng)前行視差及前后各一行視差,所以行視差時(shí)空圖比行灰度時(shí)空圖在時(shí)間上延遲一幀;(3-2)、根據(jù)運(yùn)動(dòng)目標(biāo)的視差判斷當(dāng)前行是否是存在真正的運(yùn)動(dòng)目標(biāo),如果像素視差值大于/MiM—M/iV,則認(rèn)為是運(yùn)動(dòng)目標(biāo)點(diǎn),否則就認(rèn)為是背景點(diǎn);當(dāng)檢測到當(dāng)前處理行有目標(biāo)出現(xiàn),則更新該目標(biāo)區(qū)域的信息,并判斷每個(gè)目標(biāo)連通區(qū)域是否結(jié)束,如果是新目標(biāo)區(qū)域,則開辟 一個(gè)新的鏈表結(jié)點(diǎn)存儲(chǔ)該新目標(biāo)區(qū)域的信息;(3-3)、檢測到目標(biāo)連通區(qū)域已結(jié)束,計(jì)算其外接矩形的寬度,如果寬度大于 C^7-『/Z)77/ —m/"時(shí),則認(rèn)為該連通區(qū)域是目標(biāo),將該目標(biāo)的信息存儲(chǔ)到^^^^-T^G結(jié)構(gòu) 數(shù)組中,并標(biāo)記目標(biāo)連通域和記錄計(jì)數(shù)線出現(xiàn)目標(biāo)連通域的個(gè)數(shù),如果寬度小于 05J—『/DH/ —/m'",則認(rèn)為該連通區(qū)域是假目標(biāo),對該目標(biāo)塊做丟棄處理,對in計(jì)數(shù)線和out計(jì)數(shù)線的行視差重復(fù)上述步驟(3-1)~ (3-3),實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)提取與串行標(biāo)記。
6、根據(jù)權(quán)利要求5所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于,上述步驟(4)對上述運(yùn)動(dòng)目標(biāo)的分割與合并,上述運(yùn)動(dòng)目標(biāo)經(jīng)微處理器由運(yùn)動(dòng)目標(biāo)的合并分割模塊處理,其具體步驟如下(4-1)、當(dāng)計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)不為O時(shí),檢測^^^^-T^^數(shù)組中每個(gè)目標(biāo)區(qū)域的視 差灰度直方圖和面積,根據(jù)目標(biāo)區(qū)域的面積判斷該目標(biāo)區(qū)域是否需要分割,如果其面積大于 C A/—77/0時(shí),執(zhí)行步驟(4—2),否則,執(zhí)行步驟(4-3);(4-2)、根據(jù)該目標(biāo)區(qū)域的視差灰度直方圖,把視差灰度值動(dòng)態(tài)范圍的某個(gè)比例作為分割閾值, 把低于該閾值的目標(biāo)區(qū)域標(biāo)記為背景,分割后對該目標(biāo)的外接矩形區(qū)域執(zhí)行步驟(4-3); (4-3)、檢測計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù),如果大于l,判斷已標(biāo)記目標(biāo)中兩兩目標(biāo)間是否滿 足目標(biāo)合并的條件,如果滿足,合并目標(biāo),并更新結(jié)構(gòu)數(shù)組中目標(biāo)區(qū)域的信息和目標(biāo)個(gè)數(shù), 滿足下列條件的兩個(gè)目標(biāo)需要合并(1) 兩個(gè)目標(biāo)在時(shí)間軸上間斷不超過3幀;(2) 兩個(gè)目標(biāo)在水平方向上有交叉,并且要求交叉區(qū)域的寬度大于兩個(gè)目標(biāo)中寬 度較小目標(biāo)寬度的50%;(3 ) 兩個(gè)目標(biāo)區(qū)域的視差平均值之差小于0^/_GiL47一D/Fwm:,對右視圖中in計(jì)數(shù)線和out計(jì)數(shù)線上的運(yùn)動(dòng)目標(biāo)重復(fù)執(zhí)行步驟(4-1) ~ (4-3),分別實(shí)現(xiàn)in 計(jì)數(shù)線和out計(jì)數(shù)線上目標(biāo)的分割與合并。
7、根據(jù)權(quán)利要求6所述的基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法,其特征在于,上 述步驟(5)、運(yùn)動(dòng)目標(biāo)的匹配、方向判斷和計(jì)數(shù),上述經(jīng)分割、合并后的運(yùn)動(dòng)目標(biāo)通過微 處理器處理由運(yùn)動(dòng)目標(biāo)的匹配和計(jì)數(shù)模塊處理,其具體步驟如下(5-1)、檢測in計(jì)數(shù)線上已標(biāo)記目標(biāo)的個(gè)數(shù)g JGWC^""^是否為0,如果不為O,檢測每個(gè) 目標(biāo)經(jīng)過的幀數(shù)々譜e-戶鵬,如果/^附e —P,大于^^ffi —執(zhí)行步驟(5-2),如果 々"附e 一joow大于FiL4A/E 一iST」i !T , 且,j、于 FWA/E —五iVD , 執(zhí)《亍步驟(5-3) (5-2)、上述目標(biāo)在out計(jì)數(shù)線的匹配范圍內(nèi)沒有得到匹配目標(biāo),將該目標(biāo)區(qū)域信息從in計(jì) 數(shù)線的目標(biāo)結(jié)構(gòu)數(shù)組中刪除;(5-3)、在out計(jì)數(shù)線上出現(xiàn)的目標(biāo)中,搜索與in計(jì)數(shù)線上待匹配目標(biāo)的最佳匹配目標(biāo),如 果得到最佳匹配目標(biāo),根據(jù)兩個(gè)匹配目標(biāo)的質(zhì)心在時(shí)間軸上位置關(guān)系,判斷目標(biāo)運(yùn)動(dòng)方向, 如果in計(jì)數(shù)線上目標(biāo)的質(zhì)心在時(shí)間軸上先于out計(jì)數(shù)線上目標(biāo)的質(zhì)心,則該目標(biāo)為上車,反 之,則為下車,更新上下車計(jì)數(shù)器,將兩個(gè)匹配目標(biāo)的信息分別從in計(jì)數(shù)線和out計(jì)數(shù)線的 結(jié)構(gòu)數(shù)組中刪除。
全文摘要
本發(fā)明公開了一種基于雙行視差時(shí)空圖的公交車客流自動(dòng)計(jì)數(shù)方法及其系統(tǒng),它包括左、右攝像機(jī)、微處理器、紅外LED燈等。該方法步驟包括平行同步左、右攝像機(jī)獲得in計(jì)數(shù)線和out計(jì)數(shù)線上生成的4幅行灰度時(shí)空圖;由上述行灰度時(shí)空圖形成in計(jì)數(shù)線和out計(jì)數(shù)線上的2幅運(yùn)動(dòng)目標(biāo)行視差時(shí)空圖;對行視差時(shí)空圖中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取、標(biāo)記;對運(yùn)動(dòng)目標(biāo)進(jìn)行分割與合并;對運(yùn)動(dòng)目標(biāo)進(jìn)行最佳匹配,獲得客流運(yùn)動(dòng)方向的判斷和完成自動(dòng)計(jì)數(shù)。該方法及其系統(tǒng)適用在環(huán)境復(fù)雜的公交車上進(jìn)行客流計(jì)數(shù),系統(tǒng)結(jié)構(gòu)緊湊,魯棒性高。該方法采用雙行計(jì)數(shù)線和立體視覺技術(shù)提高了系統(tǒng)的抗干擾性和實(shí)時(shí)性,適用于光線變化劇烈的計(jì)數(shù)場景,能排除陰影對計(jì)數(shù)結(jié)果的干擾。
文檔編號(hào)G07C9/00GK101567097SQ20091005259
公開日2009年10月28日 申請日期2009年6月5日 優(yōu)先權(quán)日2009年6月5日
發(fā)明者利 唐, 朱秋煜, 江毅憑, 宇 趙, 銘 郁 申請人:上海大學(xué);上海交通投資信息科技有限公司