日志信息入庫處理方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種日志信息入庫處理方法和裝置。其中，日志信息入庫處理方法包括：獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息；將日志信息存儲到緩存文件；以及通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫。通過本發(fā)明，解決了日志信息入庫的效率低的問題，提高了日志信息的入庫效率。
【專利說明】日志信息入庫處理方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種日志信息入庫處理方法和裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)環(huán)境變的越來越復(fù)雜。網(wǎng)絡(luò)中的各種網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機、應(yīng)用和業(yè)務(wù)系統(tǒng)在工作中也將會產(chǎn)生越來越多的安全事件和日志。如何能對這些安全事件和日志進行存儲，并及時給出相應(yīng)的分析、報表以及告警信息等，就顯的越來越重要。
[0003]傳統(tǒng)的日志審計系統(tǒng)中，需要依次進行入庫，統(tǒng)計報表，告警信息等處理，由于入庫是系統(tǒng)整體性能的短板，日志信息入庫的效率低，使得后續(xù)的處理操作都需要等待入庫處理的完成才能進行操作，導(dǎo)致浪費單機狀態(tài)下的中央處理器(CPU)和內(nèi)存資源。日志信息不能得到及時的解析，統(tǒng)計報表、告警信息也會延誤，甚至因此導(dǎo)致用戶日志信息的丟失。日志信息入庫的效率，限制了系統(tǒng)的性能提升。
[0004]針對現(xiàn)有技術(shù)中日志信息入庫的效率低的問題，目前尚未提出有效的解決方案。
【發(fā)明內(nèi)容】

[0005]本發(fā)明的主要目的在于提供一種日志信息入庫處理方法和裝置，以解決日志信息入庫的效率低的問題。
[0006]為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種日志信息入庫處理方法。根據(jù)本發(fā)明的日志信息入庫處理方法包括:獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息；將日志信息存儲到緩存文件；以及通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫。
[0007]進一步地，通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫包括:通過單獨的進程讀取緩存文件；以及采用數(shù)據(jù)庫的文件入庫方式將單獨的進程讀取的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0008]進一步地，在將日志信息存儲到緩存文件之后，日志信息入庫處理方法還包括:生成與緩存文件對應(yīng)的編號；將緩存文件對應(yīng)的編號寫入到緩存文件中，其中，通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫包括:當(dāng)單獨的進程啟動時，通過單獨的進程從緩存文件中讀取緩存文件對應(yīng)的編號；通過緩存文件對應(yīng)的編號判斷編號對應(yīng)的緩存文件是否已經(jīng)導(dǎo)入數(shù)據(jù)庫；如果判斷出編號對應(yīng)的緩存文件未導(dǎo)入數(shù)據(jù)庫，則將編號對應(yīng)的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0009]進一步地，將日志信息存儲到緩存文件包括:對日志信息進行解析；將解析后的日志信息轉(zhuǎn)化為數(shù)據(jù)對象；驗證數(shù)據(jù)對象的屬性與日志信息是否相符；如果驗證出數(shù)據(jù)對象的屬性與日志信息相符，則將數(shù)據(jù)對象寫入緩存文件。
[0010]進一步地，數(shù)據(jù)對象為數(shù)據(jù)庫可識別的POJO對象，緩存文件為cache文件，其中，將數(shù)據(jù)對象寫入緩存文件包括:將POJO對象存儲在日志信息隊列池中；從日志信息隊列池中讀取存儲后的POJO對象；以及按照預(yù)設(shè)時長將讀取的POJO對象寫入到cache文件。
[0011]為了實現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種日志信息入庫處理裝置。根據(jù)本發(fā)明的日志信息入庫處理裝置包括:獲取單元，用于獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息；存儲單元，用于將日志信息存儲到緩存文件；以及導(dǎo)入單元，用于通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫。
[0012]進一步地，導(dǎo)入單元包括:第一讀取模塊，用于通過單獨的進程讀取緩存文件；以及第一導(dǎo)入模塊，用于采用數(shù)據(jù)庫的文件入庫方式將單獨的進程讀取的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0013]進一步地，日志信息入庫處理裝置還包括:生成單元，用于在將日志信息存儲到緩存文件之后，生成與緩存文件對應(yīng)的編號；寫入單元，用于將緩存文件對應(yīng)的編號寫入到緩存文件中，其中，導(dǎo)入單元包括:第二讀取模塊，用于當(dāng)單獨的進程啟動時，通過單獨的進程從緩存文件中讀取緩存文件對應(yīng)的編號；判斷模塊，用于通過緩存文件對應(yīng)的編號判斷編號對應(yīng)的緩存文件是否已經(jīng)導(dǎo)入數(shù)據(jù)庫；第二導(dǎo)入模塊，用于當(dāng)判斷出編號對應(yīng)的緩存文件未導(dǎo)入數(shù)據(jù)庫，將編號對應(yīng)的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0014]進一步地，存儲單元包括:解析模塊，用于對日志信息進行解析；轉(zhuǎn)化模塊，用于將解析后的日志信息轉(zhuǎn)化為數(shù)據(jù)對象；驗證模塊，用于驗證數(shù)據(jù)對象的屬性與日志信息是否相符；寫入模塊，用于當(dāng)驗證出數(shù)據(jù)對象的屬性與日志信息相符時，將數(shù)據(jù)對象寫入緩存文件。
[0015]進一步地，數(shù)據(jù)對象為數(shù)據(jù)庫可識別的POJO對象，緩存文件為cache文件，其中，寫入模塊包括:存儲子模塊，用于將POJO對象存儲在日志信息隊列池中；讀取子模塊，用于從日志信息隊列池中讀取存儲后的POJO對象；以及寫入子模塊，用于按照預(yù)設(shè)時長將讀取的POJO對象寫入到cache文件。
[0016]通過本發(fā)明，采用獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息；將日志信息存儲到緩存文件；以及通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫，解決了日志信息入庫的效率低的問題，提高了日志信息的入庫效率。
【專利附圖】

【附圖說明】
[0017]構(gòu)成本申請的一部分的附圖用來提供對本發(fā)明的進一步理解，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0018]圖1是根據(jù)本發(fā)明第一實施例的日志信息入庫處理裝置的示意圖；
[0019]圖2是根據(jù)本發(fā)明第二實施例的日志信息入庫處理裝置的示意圖；
[0020]圖3是根據(jù)本發(fā)明實施例的一種優(yōu)選的日志信息入庫處理過程的拓?fù)鋱D；
[0021]圖4是根據(jù)本發(fā)明第一實施例的日志信息入庫處理方法的流程圖；以及
[0022]圖5是根據(jù)本發(fā)明第二實施例的日志信息入庫處理方法的流程圖。
【具體實施方式】
[0023]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。
[0024]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護的范圍。
[0025]需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實施例。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0026]本發(fā)明實施例提供了 一種日志信息入庫處理裝置，該裝置可以通過計算機設(shè)備上實現(xiàn)其功能。
[0027]圖1是根據(jù)本發(fā)明第一實施例的日志信息入庫處理裝置的示意圖。如圖1所示，該日志信息入庫處理裝置包括獲取單元10、存儲單元30和導(dǎo)入單元50。
[0028]獲取單元10用于獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息。
[0029]網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息可以是網(wǎng)絡(luò)環(huán)境中各種網(wǎng)路設(shè)備、安全設(shè)備、主機、應(yīng)用和業(yè)務(wù)系統(tǒng)等產(chǎn)生的日志信息。獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息可以是從網(wǎng)絡(luò)環(huán)境中獲取日志信息，也可以是由網(wǎng)絡(luò)環(huán)境如網(wǎng)絡(luò)設(shè)備發(fā)送日志信息，數(shù)據(jù)庫本地接收該日志信息。獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息以便于對日志信息進行入庫處理。
[0030]存儲單元30用于將日志信息存儲到緩存文件。
[0031]在獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息之后，可以將日志信息存儲到緩存文件中，形成日志文件。其中，緩存文件可以是存儲在緩存中的文件，例如高速緩存文件cache文件。將日志信息存儲到緩存文件之后，日志審計系統(tǒng)就可以進行統(tǒng)計報表、告警信息處理等操作。具體地，可以是先將日志信息cache到文件系統(tǒng)中，因為文件的存儲比數(shù)據(jù)的存儲要快，日志信息能快速存儲到文件系統(tǒng)中，使統(tǒng)計報表，告警信息處理等功能不必等待日志文件的入庫，從而解放了中央處理器CPU和內(nèi)存等資源，提升了系統(tǒng)的日志處理能力。具體地，將日志信息存儲到緩存文件可以是先對日志信息進行解析，從而轉(zhuǎn)化為數(shù)據(jù)庫系統(tǒng)能夠識別的數(shù)據(jù)對象，然后將轉(zhuǎn)化后的數(shù)據(jù)對象寫入到緩存文件中。
[0032]導(dǎo)入單元50用于通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫。
[0033]在將日志信息存儲到緩存文件之后，可以通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫中，可以從存儲有緩存文件的文件夾中，讀取緩存文件，將緩存文件導(dǎo)入到數(shù)據(jù)庫中。具體地，可以是采用分層的方式，采用單獨的一個進程讀取緩存文件，然后采用數(shù)據(jù)庫自帶的文件入庫方法，將緩存文件導(dǎo)入到數(shù)據(jù)庫，實現(xiàn)對日志信息批量導(dǎo)入數(shù)據(jù)。
[0034]根據(jù)本發(fā)明實施例，通過先將日志信息存儲到緩存文件中，在通過緩存文件將日志信息導(dǎo)入數(shù)據(jù)庫，由于先將日志信息存儲到緩存文件之后，日志審計系統(tǒng)就可以進行統(tǒng)計報表、告警信息處理等操作，無需等待日志文件的入庫，避免造成統(tǒng)計報表、告警信息的延誤和日志信息的丟失。同時，由于文件的存儲比單純的數(shù)據(jù)存儲的速度快，通過緩存文件將日志信息批量地導(dǎo)入到數(shù)據(jù)庫，解決了日志信息入庫的效率低的問題，提高了日志信息的入庫效率。
[0035]圖2是根據(jù)本發(fā)明第二實施例的日志信息入庫處理裝置的示意圖。如圖2所示，該日志信息入庫處理裝置包括獲取單元10、存儲單元30和導(dǎo)入單元50。其中，導(dǎo)入單元50包括第一讀取模塊501和第一導(dǎo)入模塊503。
[0036]第一讀取模塊501用于通過單獨的進程讀取緩存文件。
[0037]以進程的方式對日志信息進行處理，采用單獨的進程讀取寫入日志信息的緩存文件，從而能夠給日志信息的入庫分配更多的CPU時間片段，提高緩存文件的讀取效率，進而提聞日志?目息的入庫效率。
[0038]第一導(dǎo)入模塊503用于采用數(shù)據(jù)庫的文件入庫方式將單獨的進程讀取的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0039]數(shù)據(jù)庫的文件入庫方式可以是數(shù)據(jù)庫自帶的文件入庫的方式，將緩存文件例如cache文件導(dǎo)入到數(shù)據(jù)庫中，實現(xiàn)日志信息的批量導(dǎo)入。
[0040]根 據(jù)本發(fā)明實施例，通過采用單獨的進程讀取存儲有日志信息的緩存文件，將日志信息的入庫從日志信息的處理環(huán)節(jié)中獨立出來，分配更多的CPU時間片段，從而保證了日志信息的入庫效率，同時不影響日志信息的后續(xù)操作。
[0041]優(yōu)選地，日志信息入庫處理裝置還包括:生成單元，用于在將日志信息存儲到緩存文件之后，生成與緩存文件對應(yīng)的編號；寫入單元，用于將緩存文件對應(yīng)的編號寫入到緩存文件中。
[0042]生成緩存文件對應(yīng)的編號可以是獲取緩存文件中日志信息生成的日期，基于該日期生成編號，也可以是在將日志信息存儲到緩存文件之后，按時間順序生成緩存文件的編號。在生成緩存文件對應(yīng)的編號之后，可以將緩存文件對應(yīng)的標(biāo)號寫入緩存文件中，以便于在讀取緩存文件時，可以按照緩存文件的編號順序讀取緩存文件。
[0043]導(dǎo)入單元包括:第二讀取模塊，用于當(dāng)單獨的進程啟動時，通過單獨的進程從緩存文件中讀取緩存文件對應(yīng)的編號；判斷模塊，用于通過緩存文件對應(yīng)的編號判斷編號對應(yīng)的緩存文件是否已經(jīng)導(dǎo)入數(shù)據(jù)庫；第二導(dǎo)入模塊，用于當(dāng)判斷出編號對應(yīng)的緩存文件未導(dǎo)入數(shù)據(jù)庫，將編號對應(yīng)的緩存文件導(dǎo)入到數(shù)據(jù)庫。
[0044]當(dāng)單獨的進程啟動時，自動讀取緩存文件對應(yīng)的編號，可以判斷該編號對應(yīng)的緩存文件是否已經(jīng)被讀取，或者判斷編號是否為當(dāng)天的編號。由于緩存文件對應(yīng)的編號可以按照根據(jù)獲取到的時間生成，因此，在可以通過編號可以判斷緩存文件是否為當(dāng)天的文件，如果是當(dāng)天的文件，直接讀取編號對應(yīng)的緩存文件，反之，則讀取下一個緩存文件進行相同的判斷處理。例如，去當(dāng)天所對應(yīng)的文件內(nèi)讀取上次讀取的文件編號位置，和已經(jīng)寫入的文件編號位置，然后使用數(shù)據(jù)庫自帶的方式，將未入庫的文件導(dǎo)入到數(shù)據(jù)庫中。
[0045]本發(fā)明實施例中，如果存儲有日志信息的緩存文件在導(dǎo)入到數(shù)據(jù)庫的過程中出現(xiàn)突發(fā)事件，導(dǎo)致文件導(dǎo)入過程終止，當(dāng)用于將日志信息導(dǎo)入數(shù)據(jù)庫的單獨的進程重新啟動時，也可以通過緩存文件對應(yīng)的編號判斷出緩存文件是否已經(jīng)導(dǎo)入數(shù)據(jù)庫中，從而可以避免日志信息在導(dǎo)入數(shù)據(jù)庫的過程中出錯，提高日志信息導(dǎo)入數(shù)據(jù)庫的穩(wěn)定性。
[0046]優(yōu)選地，存儲單元包括解析模塊、轉(zhuǎn)化模塊、驗證模塊和寫入模塊。解析模塊用于對日志信息進行解析；轉(zhuǎn)化模塊用于將解析后的日志信息轉(zhuǎn)化為數(shù)據(jù)對象；驗證模塊用于驗證數(shù)據(jù)對象的屬性與日志信息是否相符；寫入模塊用于當(dāng)驗證出數(shù)據(jù)對象的屬性與日志信息相符時，將數(shù)據(jù)對象寫入緩存文件。
[0047]在獲取到日志信息之后，對日志信息進行解析，日志信息經(jīng)過解析后，生成數(shù)據(jù)對象例如變成數(shù)據(jù)庫系統(tǒng)能識別的POJO對象。其中，數(shù)據(jù)對象包括多個屬性，由于對日志信息進行解析之后，可能會造成生成的數(shù)據(jù)對象的屬性與原日志信息不相符，或者出錯。因此，生成數(shù)據(jù)對象之后，可以對該數(shù)據(jù)對象進行信息驗證，驗證該數(shù)據(jù)對象的每一個屬性是否與日志信息是否相符(或者出錯)，如果不相符或者出錯，則進行錯誤標(biāo)示。將該日志存入日志隊列池中。Cache日志信息到文件的線程從該隊列中讀取日志信息，并寫入文件中。入庫模塊讀取寫入完成的cache文件，采用數(shù)據(jù)庫自帶的方式導(dǎo)入到數(shù)據(jù)庫中。反之，則可以將日志信息對應(yīng)的數(shù)據(jù)對象存入日志信息隊列池中。通過進程日志信息隊列池中讀取日志信息，按照一定的格式寫入緩存文件中。
[0048]根據(jù)本發(fā)明實施例，通過對日志信息進行解析，生成數(shù)據(jù)庫系統(tǒng)能夠識別的數(shù)據(jù)對象，并對生成的數(shù)據(jù)對象進行驗證，提高日志信息的入庫效率，同時，保證日志信息在入庫過程的一致性，避免由于導(dǎo)入數(shù)據(jù)庫后的日志信息與原日志信息不一致的問題。
[0049]優(yōu)選地，數(shù)據(jù)對象為數(shù)據(jù)庫可識別的POJO對象，緩存文件為cache文件，其中，寫入模塊包括存儲子模塊、讀取子模塊和寫入子模塊。存儲子模塊用于將POJO對象存儲在日志信息隊列池中；讀取子模塊用于從日志信息隊列池中讀取存儲后的POJO對象；寫入子模塊用于按照預(yù)設(shè)時長將讀取的POJO對象寫入到cache文件。
[0050]預(yù)設(shè)時長可以用于控制cache文件的大小，預(yù)設(shè)時長可以是10秒。
[0051]圖3是根據(jù)本發(fā)明實施例的一種優(yōu)選的日志信息入庫處理過程的拓?fù)鋱D。如圖3所示，其中，日志信息cache到文件模塊，主要負(fù)責(zé)接收日志信息，該日志信息是由網(wǎng)絡(luò)設(shè)備發(fā)送過來，并經(jīng)過解析和驗證后，變成系統(tǒng)能識別的POJO對象，存入日志信息cache到文件模塊的隊列中，并由寫入文件的線程讀取后按照一定的格式存入Cache文件夾中。Cache文件入庫模塊讀取cache文件夾下已經(jīng)寫入完成的cache文件,使用數(shù)據(jù)庫自帶的文件入庫方法，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫中。其中，日志信息cache到文件模塊可以用于實現(xiàn)本發(fā)明實施例中的存儲單元的作用，Cache文件入庫模塊可以用于實現(xiàn)本發(fā)明實施例的導(dǎo)入單元的作用。
[0052]下面對本發(fā)明實施例進行詳細(xì)說明。
[0053]本發(fā)明實施例的運行環(huán)境如下表所示:
[0054]
【權(quán)利要求】
1.一種日志信息入庫處理方法，其特征在于，包括: 獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息； 將所述日志信息存儲 到緩存文件；以及 通過所述緩存文件將所述日志信息導(dǎo)入數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求1所述的日志信息入庫處理方法，其特征在于，通過所述緩存文件將所述日志信息導(dǎo)入數(shù)據(jù)庫包括: 通過單獨的進程讀取所述緩存文件；以及 采用所述數(shù)據(jù)庫的文件入庫方式將所述單獨的進程讀取的緩存文件導(dǎo)入到所述數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求2所述的日志信息入庫處理方法，其特征在于， 在將所述日志信息存儲到緩存文件之后，所述日志信息入庫處理方法還包括:生成與所述緩存文件對應(yīng)的編號；將所述緩存文件對應(yīng)的編號寫入到所述緩存文件中， 其中，通過所述緩存文件將所述日志信息導(dǎo)入數(shù)據(jù)庫包括:當(dāng)所述單獨的進程啟動時，通過所述單獨的進程從所述緩存文件中讀取所述緩存文件對應(yīng)的編號；通過所述緩存文件對應(yīng)的編號判斷所述編號對應(yīng)的緩存文件是否已經(jīng)導(dǎo)入所述數(shù)據(jù)庫；如果判斷出所述編號對應(yīng)的緩存文件未導(dǎo)入所述數(shù)據(jù)庫，則將所述編號對應(yīng)的緩存文件導(dǎo)入到所述數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求1所述的日志信息入庫處理方法，其特征在于，將所述日志信息存儲到緩存文件包括: 對所述日志信息進行解析； 將解析后的日志信息轉(zhuǎn)化為數(shù)據(jù)對象； 驗證所述數(shù)據(jù)對象的屬性與所述日志信息是否相符； 如果驗證出所述數(shù)據(jù)對象的屬性與所述日志信息相符，則將所述數(shù)據(jù)對象寫入緩存文件。
5.根據(jù)權(quán)利要求4所述的日志信息入庫處理方法，其特征在于，所述數(shù)據(jù)對象為所述數(shù)據(jù)庫可識別的POJO對象，所述緩存文件為cache文件，其中，將所述數(shù)據(jù)對象寫入緩存文件包括: 將所述POJO對象存儲在日志信息隊列池中； 從所述日志信息隊列池中讀取存儲后的POJO對象；以及 按照預(yù)設(shè)時長將讀取的POJO對象寫入到所述cache文件。
6.一種日志信息入庫處理裝置，其特征在于，包括: 獲取單元，用于獲取網(wǎng)絡(luò)環(huán)境中產(chǎn)生的日志信息； 存儲單元，用于將所述日志信息存儲到緩存文件；以及 導(dǎo)入單元，用于通過所述緩存文件將所述日志信息導(dǎo)入數(shù)據(jù)庫。
7.根據(jù)權(quán)利要求6所述的日志信息入庫處理裝置，其特征在于，所述導(dǎo)入單元包括: 第一讀取模塊，用于通過單獨的進程讀取所述緩存文件；以及 第一導(dǎo)入模塊，用于采用所述數(shù)據(jù)庫的文件入庫方式將所述單獨的進程讀取的緩存文件導(dǎo)入到所述數(shù)據(jù)庫。
8.根據(jù)權(quán)利要求7所述的日志信息入庫處理裝置，其特征在于， 所述日志信息入庫處理裝置還包括:生成單元，用于在將所述日志信息存儲到緩存文件之后，生成與所述緩存文件對應(yīng)的編號；寫入單元，用于將所述緩存文件對應(yīng)的編號寫入到所述緩存文件中， 其中，所述導(dǎo)入單元包括:第二讀取模塊，用于當(dāng)所述單獨的進程啟動時，通過所述單獨的進程從所述緩存文件中讀取所述緩存文件對應(yīng)的編號；判斷模塊，用于通過所述緩存文件對應(yīng)的編號判斷所述編號對應(yīng)的緩存文件是否已經(jīng)導(dǎo)入所述數(shù)據(jù)庫；第二導(dǎo)入模塊，用于當(dāng)判斷出所述編號對應(yīng)的緩存文件未導(dǎo)入所述數(shù)據(jù)庫，將所述編號對應(yīng)的緩存文件導(dǎo)入到所述數(shù)據(jù)庫。
9.根據(jù)權(quán)利要求6所述的日志信息入庫處理裝置，其特征在于，所述存儲單元包括: 解析模塊，用于對所述日志信息進行解析； 轉(zhuǎn)化模塊，用于將解析后的日志信息轉(zhuǎn)化為數(shù)據(jù)對象； 驗證模塊，用 于驗證所述數(shù)據(jù)對象的屬性與所述日志信息是否相符； 寫入模塊，用于當(dāng)驗證出所述數(shù)據(jù)對象的屬性與所述日志信息相符時，將所述數(shù)據(jù)對象寫入緩存文件。
10.根據(jù)權(quán)利要求9所述的日志信息入庫處理裝置，其特征在于，所述數(shù)據(jù)對象為所述數(shù)據(jù)庫可識別的POJO對象，所述緩存文件為cache文件，其中，所述寫入模塊包括: 存儲子模塊，用于將所述POJO對象存儲在日志信息隊列池中； 讀取子模塊，用于從所述日志信息隊列池中讀取存儲后的POJO對象；以及 寫入子模塊，用于按照預(yù)設(shè)時長將讀取的POJO對象寫入到所述cache文件。
【文檔編號】G06F17/30GK103927338SQ201410116995
【公開日】2014年7月16日 申請日期:2014年3月26日 優(yōu)先權(quán)日:2014年3月26日
【發(fā)明者】趙豐富 申請人:網(wǎng)神信息技術(shù)（北京）股份有限公司, 網(wǎng)神科技（北京）有限公司