一種面向高速列車(chē)實(shí)時(shí)監(jiān)控的海量數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于海量異構(gòu)感知數(shù)據(jù)高性能存儲(chǔ)管理研究與應(yīng)用領(lǐng)域，具體涉及一種面向高速列車(chē)實(shí)時(shí)監(jiān)控與綜合分析的海量數(shù)據(jù)管理方法。針對(duì)高速列車(chē)實(shí)時(shí)監(jiān)控采集數(shù)據(jù)以及其領(lǐng)域特點(diǎn)，本發(fā)明基于松耦合的信息組織模型，以分布式文件系統(tǒng)以及關(guān)系數(shù)據(jù)庫(kù)構(gòu)成兩層結(jié)合的存儲(chǔ)結(jié)構(gòu)。通過(guò)關(guān)系數(shù)據(jù)庫(kù)建立面向里程觸發(fā)的窗口緩存；同時(shí)，利用分布式文件數(shù)據(jù)庫(kù)，基于key-value的模式實(shí)現(xiàn)海量、異構(gòu)數(shù)據(jù)的高性能存儲(chǔ)與組織，并利用屬性傳遞實(shí)現(xiàn)動(dòng)態(tài)耦合下對(duì)象基于累計(jì)里程的數(shù)據(jù)窗口管理。通過(guò)本發(fā)明提出的數(shù)據(jù)管理技術(shù)可以有效實(shí)現(xiàn)海量、異構(gòu)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)管理以及基于KV-RDB高性能查詢(xún)。這一方法在大型復(fù)雜裝備監(jiān)控、交通、物流、智慧城市以及環(huán)境保護(hù)等方面同樣具有積極的應(yīng)用價(jià)值。
【背景技術(shù)】
[0002]近年來(lái)，隨著鐵路建設(shè)的推進(jìn)，高速列車(chē)逐漸在我國(guó)國(guó)民經(jīng)濟(jì)發(fā)展中發(fā)揮著越來(lái)越重要作用。以CRH380III型車(chē)為例，其是一個(gè)由多專(zhuān)業(yè)構(gòu)成的復(fù)雜系統(tǒng)，組成部分涵蓋機(jī)械、電氣電路、控制網(wǎng)絡(luò)、信號(hào)等。在日常運(yùn)營(yíng)中，高速列車(chē)根據(jù)調(diào)度，在特定線路上承擔(dān)高速客運(yùn)的任務(wù)。因此，安全性成為高速列車(chē)建設(shè)與發(fā)展的重點(diǎn)之一。圍繞列車(chē)，在運(yùn)營(yíng)過(guò)程中實(shí)時(shí)采集各種子系統(tǒng)的狀態(tài)數(shù)據(jù)，針對(duì)這些增量數(shù)據(jù)開(kāi)展高性能存儲(chǔ)管理成為高鐵運(yùn)營(yíng)保障的重要需求。在這一基礎(chǔ)上可以為實(shí)時(shí)監(jiān)控、列車(chē)健康分析評(píng)估、故障數(shù)據(jù)挖掘等工作提供數(shù)據(jù)資源以及分析決策的依據(jù)。
[0003]高速列車(chē)是一個(gè)由多種子系統(tǒng)構(gòu)成并高速運(yùn)行的復(fù)雜系統(tǒng)。在日常運(yùn)營(yíng)中，列車(chē)通常根據(jù)調(diào)度安排在固定的線路行駛。這一線路跨越較大區(qū)域范圍。列車(chē)在行駛過(guò)程中其負(fù)載情況變化較為復(fù)雜，受到外部天氣環(huán)境、鐵路沉降以及軌道狀態(tài)、地形地貌、周邊電磁信號(hào)以及承載乘客數(shù)量等多種因素的影響。因此，為實(shí)現(xiàn)對(duì)列車(chē)整體、實(shí)時(shí)、全面的監(jiān)控通常需要針對(duì)不同子系統(tǒng)的特點(diǎn)布設(shè)大量傳感器，采集不同專(zhuān)業(yè)的設(shè)備狀態(tài)數(shù)據(jù)。由于列車(chē)行駛高速性，通常這些傳感器采用相對(duì)較高的頻率采集數(shù)據(jù)。另一方面，由于列車(chē)行駛的空間范圍較為廣闊，不同地區(qū)線路狀態(tài)、氣象條件、電磁環(huán)境差異較大。同時(shí)，也是導(dǎo)致累積性健康勞損的主要原因之一。因此地域位置就構(gòu)成列車(chē)監(jiān)控?cái)?shù)據(jù)組織與管理的主要屬性之一。在這一基礎(chǔ)上，針對(duì)列車(chē)開(kāi)展各種分析挖掘活動(dòng)。
[0004]如上所述，與其他復(fù)雜系統(tǒng)的監(jiān)控相比，高速列車(chē)監(jiān)控?cái)?shù)據(jù)具有以下特點(diǎn):
[0005]1.數(shù)據(jù)海量性與時(shí)序性:列車(chē)是一個(gè)綜合整體，針對(duì)其中不同子系統(tǒng)\設(shè)備布設(shè)大量傳感器，由于列車(chē)高速性，這些傳感器需要以相對(duì)較高頻率采集數(shù)據(jù)。因此，在增量過(guò)程中形成較大規(guī)模的數(shù)據(jù)集。以轉(zhuǎn)向架振動(dòng)傳感器為例，其單點(diǎn)數(shù)據(jù)日增量達(dá)到10M以上，整列日增量達(dá)到500M ;全網(wǎng)整體增量達(dá)到5GB ;同時(shí)，這些數(shù)據(jù)具有明確的時(shí)序性。在數(shù)據(jù)組織過(guò)程中，需要根據(jù)時(shí)序先后順序組織，同時(shí)也為各種分析處理活動(dòng)的查詢(xún)業(yè)務(wù)提供組織基礎(chǔ)；
[0006]2.列車(chē)數(shù)據(jù)管理空間與里程相關(guān)性:如前所述，列車(chē)沿著固定路線行駛；所覆蓋空間范圍較為廣闊。一方面，列車(chē)行駛路線的不同分段的外部環(huán)境對(duì)于列車(chē)健康以及故障發(fā)展具有不同的程度的影響；這一情況導(dǎo)致列車(chē)空間位置屬性對(duì)于列車(chē)的采集數(shù)據(jù)的查詢(xún)具有重要意義。因此，在列車(chē)數(shù)據(jù)組織過(guò)程中，需要將列車(chē)空間屬性與采樣數(shù)據(jù)之間建立關(guān)聯(lián)關(guān)系；另一方面，根據(jù)管理規(guī)定，列車(chē)在行駛固定里程數(shù)后開(kāi)展各種檢修、分析工作，判斷列車(chē)的健康狀態(tài)，排除各種故障與潛在風(fēng)險(xiǎn)；因此列車(chē)數(shù)據(jù)管理活動(dòng)中，需要在空間屬性累積增量的基礎(chǔ)上，依據(jù)里程對(duì)列車(chē)各種采集數(shù)據(jù)完整提取，開(kāi)展綜合分析；
[0007]3.列車(chē)對(duì)象關(guān)系動(dòng)態(tài)性:列車(chē)由一組車(chē)廂構(gòu)成。子系統(tǒng)\設(shè)備安裝、附著在不同車(chē)廂中。各種傳感器圍繞子系統(tǒng)\設(shè)備開(kāi)展數(shù)據(jù)采集與監(jiān)控工作；列車(chē)由于其特點(diǎn)，在實(shí)際運(yùn)營(yíng)中其車(chē)廂編組具有一定的動(dòng)態(tài)性，在不同時(shí)期根據(jù)運(yùn)管要求加入或離開(kāi)列車(chē)編組。這一情況導(dǎo)致采集數(shù)據(jù)與列車(chē)空間屬性之間的關(guān)系具有動(dòng)態(tài)性；在列車(chē)?yán)鄯e里程數(shù)據(jù)提取過(guò)程中，不能簡(jiǎn)單以車(chē)廂當(dāng)前所屬編組的列車(chē)?yán)锍套鳛檐?chē)廂真實(shí)行駛里程；
[0008]4.數(shù)據(jù)提取復(fù)雜性:列車(chē)數(shù)據(jù)管理系統(tǒng)一方面承擔(dān)各種采集數(shù)據(jù)存儲(chǔ)管理的任務(wù)。另一方面，面向?qū)崟r(shí)監(jiān)控、綜合分析等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)查詢(xún)、提取的接口 ；在這些業(yè)務(wù)支撐過(guò)程中，一方面提供數(shù)據(jù)多值查詢(xún)的接口 ；另一個(gè)方面往往針對(duì)傳感器，提供單點(diǎn)數(shù)據(jù)查詢(xún)的接口。因此，數(shù)據(jù)管理系統(tǒng)在組織結(jié)構(gòu)上需要同時(shí)滿(mǎn)足關(guān)系-鍵值查詢(xún)結(jié)合的存儲(chǔ)管理模型；
[0009]5.數(shù)據(jù)增量多樣性:列車(chē)在行駛過(guò)程中，路況以及通信情況較為復(fù)雜。同時(shí)，各種傳感器在采集數(shù)據(jù)的過(guò)程中，受網(wǎng)絡(luò)、工況以及能量等方面的約束，不能全部以實(shí)時(shí)網(wǎng)絡(luò)傳輸?shù)姆绞?，?shí)現(xiàn)全部數(shù)據(jù)上報(bào)；部分?jǐn)?shù)據(jù)通過(guò)本地緩存、階段性上報(bào)的方式實(shí)現(xiàn)數(shù)據(jù)的接入增量；
[0010]高速列車(chē)是一個(gè)高速運(yùn)行的復(fù)雜系統(tǒng)。由于其上述特點(diǎn)導(dǎo)致傳統(tǒng)的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)在應(yīng)對(duì)海量時(shí)序數(shù)據(jù)高性能存儲(chǔ)、動(dòng)態(tài)編組對(duì)象數(shù)據(jù)建模、面向列車(chē)的時(shí)空組織與復(fù)雜數(shù)據(jù)查詢(xún)與提取等方面存在較大的不足，無(wú)法適應(yīng)未來(lái)高速列車(chē)全網(wǎng)、全域范圍內(nèi)綜合監(jiān)控網(wǎng)絡(luò)建設(shè)與發(fā)展的需求；針對(duì)上述問(wèn)題，本發(fā)明提出一種面向高速列車(chē)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)海量數(shù)據(jù)管理技術(shù)。這一技術(shù)底層以分布式文件系統(tǒng)為基礎(chǔ)，結(jié)合關(guān)系數(shù)據(jù)庫(kù)構(gòu)成基礎(chǔ)數(shù)據(jù)存儲(chǔ)管理支撐環(huán)境；在數(shù)據(jù)接入過(guò)程中，結(jié)合流式數(shù)據(jù)窗口管理、列車(chē)數(shù)據(jù)存儲(chǔ)模型等手段滿(mǎn)足高速列車(chē)海量監(jiān)控?cái)?shù)據(jù)管理的需求。

【發(fā)明內(nèi)容】

[0011]針對(duì)目前高速列車(chē)實(shí)時(shí)監(jiān)控工作采集的海量、異構(gòu)感知數(shù)據(jù)高性能存儲(chǔ)管理的需求，結(jié)合高速列車(chē)?yán)锍逃|發(fā)、動(dòng)態(tài)編組等業(yè)務(wù)特點(diǎn)，本發(fā)明提出了一種面向高速列車(chē)實(shí)時(shí)監(jiān)控的海量數(shù)據(jù)管理技術(shù)。這一技術(shù)以分布式文件系統(tǒng)和關(guān)系數(shù)據(jù)庫(kù)構(gòu)成二級(jí)存儲(chǔ)架構(gòu)。其上層基于關(guān)系數(shù)據(jù)庫(kù)建立面向里程觸發(fā)的窗口數(shù)據(jù)管理機(jī)制，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的組織；利用底層分布式文件系統(tǒng)實(shí)現(xiàn)海量數(shù)據(jù)的平衡存儲(chǔ)管理。在這一基礎(chǔ)上，結(jié)合對(duì)象動(dòng)態(tài)耦合的存儲(chǔ)模型實(shí)現(xiàn)數(shù)據(jù)的有序組織。同時(shí)，利用全局-局部屬性傳遞管理的方式，針對(duì)列車(chē)建立里程累積觸發(fā)。滿(mǎn)足列車(chē)監(jiān)控、分析的需求。
[0012]本發(fā)明的一種面向高速列車(chē)實(shí)時(shí)監(jiān)控的海量數(shù)據(jù)管理方法，其步驟包括:
[0013]1)基于關(guān)系數(shù)據(jù)庫(kù)與分布式文件存儲(chǔ)系統(tǒng)建立一體化流數(shù)據(jù)存儲(chǔ)架構(gòu)。
[0014]1-1)這一存儲(chǔ)架構(gòu)針對(duì)海量流數(shù)據(jù)存儲(chǔ)以及高性能查詢(xún)的需求，以分布式文件系統(tǒng)實(shí)現(xiàn)底層10存儲(chǔ)，利用文件的方式，實(shí)現(xiàn)單點(diǎn)傳感器數(shù)據(jù)記錄的存儲(chǔ)；
[0015]1-2)在上述分布式文件存儲(chǔ)系統(tǒng)存儲(chǔ)傳感器采集的數(shù)據(jù)的過(guò)程中，全部存儲(chǔ)節(jié)點(diǎn)參與傳感器數(shù)據(jù)的存儲(chǔ)，在節(jié)點(diǎn)中建立與傳感器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)文件目錄，通過(guò)目錄的名字實(shí)現(xiàn)傳感器數(shù)據(jù)文件的快速索引與定位；
[0016]1-3)在利用上述分布式文件系統(tǒng)存儲(chǔ)單點(diǎn)傳感器的數(shù)據(jù)記錄的過(guò)程中，在存儲(chǔ)節(jié)點(diǎn)與采樣數(shù)據(jù)對(duì)應(yīng)時(shí)段之間建立映射關(guān)系，根據(jù)傳感器采集數(shù)據(jù)的時(shí)間所對(duì)應(yīng)的時(shí)段位置綁定存儲(chǔ)節(jié)點(diǎn)，實(shí)現(xiàn)定向存儲(chǔ)，降低單點(diǎn)存儲(chǔ)與查詢(xún)瓶頸的限制；
[0017]1-4)在利用上述分布式文件存儲(chǔ)系統(tǒng)存儲(chǔ)采集的數(shù)據(jù)記錄的過(guò)程中，在節(jié)點(diǎn)存儲(chǔ)文件的內(nèi)部以時(shí)間增量的順序排序，便于基于時(shí)間約束的感知數(shù)據(jù)快速檢索；
[0018]1-5)在上述存儲(chǔ)架構(gòu)中，以關(guān)系數(shù)據(jù)庫(kù)構(gòu)建存儲(chǔ)緩存；這一緩存用于存儲(chǔ)里程窗口內(nèi)的感知數(shù)據(jù)；同時(shí)，這一關(guān)系數(shù)據(jù)庫(kù)也為窗口內(nèi)數(shù)據(jù)的基于關(guān)系代數(shù)的查詢(xún)提供基礎(chǔ)；
[0019]1-7)利用上述關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)緩存實(shí)現(xiàn)窗口數(shù)據(jù)管理以及累計(jì)里程觸發(fā)響應(yīng)操作；
[0020]1-8)在采樣數(shù)據(jù)增量過(guò)程中，關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)與分布式文件系統(tǒng)中的數(shù)據(jù)同步。
[0021]2)圍繞高速列車(chē)的對(duì)象組織以及數(shù)據(jù)管理的特點(diǎn)，提出一種數(shù)據(jù)存儲(chǔ)模型。這一模型通過(guò)松耦合的方式在不同層次的對(duì)象之間建立動(dòng)態(tài)的組織關(guān)系。同時(shí)，基于這一動(dòng)態(tài)組織關(guān)系，在全局時(shí)空屬性以及局部時(shí)空屬性之間建立傳導(dǎo)。
[0022]2-1)在這一存儲(chǔ)模型中，根據(jù)動(dòng)態(tài)分組、傳感器布設(shè)信息構(gòu)造獨(dú)立的組織模型。利用組織模型實(shí)現(xiàn)列車(chē)-車(chē)廂-傳感器信息的動(dòng)態(tài)聚合，解耦不同層次對(duì)象的信息組織關(guān)系，適應(yīng)列車(chē)實(shí)際運(yùn)行需要；
[0023]2-2)在這一模型中針對(duì)不同層次的對(duì)象建立全局屬性(時(shí)空\(chéng)里程)以及局部(時(shí)空\(chéng)里程)信息組織模型，分別記錄列車(chē)、車(chē)廂等級(jí)別對(duì)象的屬性動(dòng)態(tài)信息；
[0024]2-3)在數(shù)據(jù)增量的過(guò)程中，基于上述存儲(chǔ)模型，利用對(duì)象之間的組織模型實(shí)現(xiàn)耦合期間不同層次對(duì)象之間全局屬性(時(shí)空\(chéng)里程)對(duì)局部屬性(時(shí)空\(chéng)里程)的傳導(dǎo)。
[0025]3)在列車(chē)行駛過(guò)程中，傳感器采樣數(shù)據(jù)增量，基于上述存儲(chǔ)架構(gòu)以及存儲(chǔ)模型的基礎(chǔ)上，開(kāi)展列車(chē)海量監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)管理。
[0026]3-1)列車(chē)傳感器采樣數(shù)據(jù)增量過(guò)程中，根據(jù)當(dāng)前采樣數(shù)據(jù)時(shí)間對(duì)應(yīng)時(shí)段進(jìn)行哈希處理，形成哈希值；
[0027]3-2)將底層分布式文件系統(tǒng)的全部存儲(chǔ)節(jié)點(diǎn)首尾相接構(gòu)成“環(huán)”，將其中的節(jié)點(diǎn)標(biāo)識(shí)進(jìn)行哈希處理，獲得節(jié)點(diǎn)的哈希值；
[0028]3-3)將3-1與3-2所述的哈希值對(duì)應(yīng)，為當(dāng)前數(shù)據(jù)存儲(chǔ)綁定節(jié)點(diǎn)；
[0029]3-4)在綁定節(jié)點(diǎn)中檢索與當(dāng)前傳感器標(biāo)識(shí)一致的目錄，如果不存在則創(chuàng)建對(duì)應(yīng)的目錄；
[0030]3-5)在當(dāng)前存儲(chǔ)節(jié)點(diǎn)的對(duì)應(yīng)目錄下檢索與當(dāng)前時(shí)間段一致名稱(chēng)的數(shù)據(jù)文件，如果不存在則創(chuàng)建該文件；
[0031]3-6)將當(dāng)前數(shù)據(jù)記錄存儲(chǔ)在上述文件中，存儲(chǔ)過(guò)程中，依據(jù)采樣時(shí)間排序；
[0032]3-7)將當(dāng)前數(shù)據(jù)緩存在關(guān)系數(shù)據(jù)庫(kù)的采樣數(shù)據(jù)表中。
[0033]4)在列車(chē)行駛過(guò)程中，列車(chē)GPS數(shù)據(jù)增量(GPS是指全局屬性)，根據(jù)上述存儲(chǔ)模型實(shí)現(xiàn)里程窗口的管理以及閾值觸發(fā)操作。
[0034]4-1)在上述過(guò)程中，將列車(chē)GPS數(shù)據(jù)的最新增量，插入全局屬性(時(shí)空\(chéng)里程)表中；
[0035]4-2)根據(jù)組織模型，獲取當(dāng)前列車(chē)