亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

日志文件處理方法及裝置的制造方法

文檔序號(hào):8905136閱讀:247來(lái)源:國(guó)知局
日志文件處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于日志處理領(lǐng)域,特別是涉及一種日志文件處理方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,手持設(shè)備、桌面終端等諸多互聯(lián)網(wǎng)終端被大量使用,同時(shí)也產(chǎn)生了海量的信息。海量信息背后的“大數(shù)據(jù)”隱藏著人們自主行為意識(shí),可以產(chǎn)生很多商業(yè)行為的潛在價(jià)值導(dǎo)向,因而這些海量數(shù)據(jù)的快速處理和分析技術(shù)的需求就日益緊迫。
[0003]現(xiàn)有技術(shù)中,CDN服務(wù)提供商是通過(guò)大量的節(jié)點(diǎn)(邊緣)服務(wù)器來(lái)為客戶提供加速服務(wù)的。其中,CDN網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件數(shù)量是巨大的。面對(duì)海量的日志文件信息,如何合理高效地對(duì)對(duì)海量日志文件快速分析、篩選、提煉,已成為亟待解決的問(wèn)題。
[0004]現(xiàn)有技術(shù)中,⑶N網(wǎng)絡(luò)中的節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分發(fā)到各個(gè)處理線程進(jìn)行處理,存在著浪費(fèi)資源,日志文件處理效率低的問(wèn)題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例解決的問(wèn)題是節(jié)約處理線程的資源,提高日志文件的處理效率。
[0006]為解決上述問(wèn)題,本發(fā)明實(shí)施例提供了一種日志文件處理方法,所述方法包括:
[0007]建立各個(gè)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系;
[0008]將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理。
[0009]可選地,所述方法還包括:當(dāng)滿足預(yù)設(shè)的條件時(shí),對(duì)所述映射關(guān)系進(jìn)行調(diào)整,直至各個(gè)處理線程之間達(dá)到負(fù)載均衡。
[0010]可選地,所述預(yù)設(shè)的條件包括:第一處理線程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值,其中,所述第一處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最大負(fù)載量的處理線程,所述第二處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最小負(fù)載量的處理線程。
[0011]可選地,所述當(dāng)滿足預(yù)設(shè)的條件時(shí),對(duì)所述映射關(guān)系進(jìn)行調(diào)整,直至各個(gè)處理線程之間達(dá)到負(fù)載均衡,包括:
[0012]當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于所述第一閾值時(shí),分別獲取第一處理線程和第二處理線程對(duì)應(yīng)的節(jié)點(diǎn)服務(wù)器在所述預(yù)設(shè)時(shí)間段內(nèi)的日志文件增量;
[0013]按照日志文件增量從小到大的順序遍歷所述第一處理線程對(duì)應(yīng)的各個(gè)節(jié)點(diǎn)服務(wù)器,將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,并將所述第一處理線程與所述第二處理線程的負(fù)載量差值與所述第一閾值進(jìn)行比較;
[0014]當(dāng)確定所述第一處理線程與所述第二處理線程之間的負(fù)載量差值大于所述第一閾值時(shí),則將下一位序的節(jié)點(diǎn)服務(wù)器映射至所述第二處理線程,直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值;
[0015]當(dāng)確定將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,所述第二處理線程與所述第一處理線程的負(fù)載量差值大于所述第一閾值時(shí),則舍棄當(dāng)前位序的節(jié)點(diǎn)服務(wù)器,將下一位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值。
[0016]可選地,所述建立所述節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系,包括:通過(guò)將各個(gè)節(jié)點(diǎn)服務(wù)器循環(huán)映射至各個(gè)處理線程,建立各個(gè)節(jié)點(diǎn)服務(wù)器與各個(gè)處理線程之間的映射關(guān)系O
[0017]可選地,在將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理之后,還包括:
[0018]當(dāng)有新節(jié)點(diǎn)服務(wù)器加入時(shí),獲取所述的各個(gè)節(jié)點(diǎn)服務(wù)器中最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程;
[0019]將所述新加入的節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程。
[0020]本發(fā)明實(shí)施例還提供了一種日志文件處理裝置,所述裝置包括:
[0021]建立單元,適于建立各個(gè)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系;
[0022]分發(fā)單元,適于將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理。
[0023]可選地,所述裝置還包括:負(fù)載均衡單元,適于當(dāng)滿足預(yù)設(shè)的條件時(shí),對(duì)所述映射關(guān)系進(jìn)行調(diào)整,直至各個(gè)處理線程之間達(dá)到負(fù)載均衡。
[0024]可選地,所述預(yù)設(shè)的條件包括:第一處理線程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值,其中,所述第一處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最大負(fù)載量的處理線程,所述第二處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最小負(fù)載量的處理線程。
[0025]可選地,所述負(fù)載均衡單元適于:當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于所述第一閾值時(shí),分別獲取第一處理線程和第二處理線程對(duì)應(yīng)的節(jié)點(diǎn)服務(wù)器在所述預(yù)設(shè)時(shí)間段內(nèi)的日志文件增量;按照日志文件增量從小到大的順序遍歷所述第一處理線程對(duì)應(yīng)的各個(gè)節(jié)點(diǎn)服務(wù)器,將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,并將所述第一處理線程與所述第二處理線程的負(fù)載量差值與所述第一閾值進(jìn)行比較;當(dāng)確定所述第一處理線程與所述第二處理線程之間的負(fù)載量差值大于所述第一閾值時(shí),則將下一位序的節(jié)點(diǎn)服務(wù)器映射至所述第二處理線程,直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值;當(dāng)確定將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,所述第二處理線程與所述第一處理線程的負(fù)載量差值大于所述第一閾值時(shí),則舍棄當(dāng)前位序的節(jié)點(diǎn)服務(wù)器,將下一位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程,直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值。
[0026]可選地,所述建立單元適于通過(guò)將各個(gè)節(jié)點(diǎn)服務(wù)器循環(huán)映射至各個(gè)處理線程,建立各個(gè)節(jié)點(diǎn)服務(wù)器與各個(gè)處理線程之間的映射關(guān)系。
[0027]可選地,所述建立單元還適于:在將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理之后,當(dāng)有新節(jié)點(diǎn)服務(wù)器加入時(shí),獲取所述的各個(gè)節(jié)點(diǎn)服務(wù)器中最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程;將所述新加入的節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程。
[0028]與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例的技術(shù)方案具有以下的優(yōu)點(diǎn):
[0029]通過(guò)將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件按照預(yù)設(shè)的映射關(guān)系分配至相應(yīng)的處理線程進(jìn)行處理,與將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分配給相應(yīng)的處理線程相比,可以避免將同一節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件重復(fù)分發(fā)給不同的處理線程進(jìn)行處理,因此,可以節(jié)約處理線程的處理資源,提高日志文件處理的效率。
[0030]進(jìn)一步地,當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值時(shí),對(duì)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系進(jìn)行調(diào)整,直至第一處理線程和第二處理線程的負(fù)載量差值小于預(yù)設(shè)的第一閾值,當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值小于預(yù)設(shè)的第一差值閾值時(shí),各個(gè)處理線程之間達(dá)到負(fù)載均衡,可以快速及時(shí)地對(duì)各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件進(jìn)行處理,因此,可以進(jìn)一步提升日志文件的處理效率。
[0031]進(jìn)一步地,當(dāng)所述有新節(jié)點(diǎn)服務(wù)器加入時(shí),將所述新節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程,可以不受節(jié)點(diǎn)服務(wù)器個(gè)數(shù)的限制,因此,可以提高日志處理的靈活性。
【附圖說(shuō)明】
[0032]圖1是本發(fā)明實(shí)施例中一種的日志文件處理方法的流程圖;
[0033]圖2是本發(fā)明實(shí)施例中另一種的日志文件處理方法的流程圖;
[0034]圖3是本發(fā)明實(shí)施例中的負(fù)載均衡的流程圖;
[0035]圖4是本發(fā)明實(shí)施例中的一種日志文件處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0036]現(xiàn)有技術(shù)中,⑶N網(wǎng)絡(luò)中的節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分發(fā)到各個(gè)處理線程進(jìn)行處理,存在著浪費(fèi)資源,日志文件處理效率低的問(wèn)題。
[0037]為解決現(xiàn)有技術(shù)中存在的上述問(wèn)題,本發(fā)明實(shí)施例采用的技術(shù)方案通過(guò)將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件按照預(yù)設(shè)的映射關(guān)系分配至相應(yīng)的處理線程進(jìn)行處理,可以避免將同一節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件重復(fù)分發(fā)給不同的處理線程進(jìn)行處理,可以節(jié)約處理線程的處理資源,提高日志文件處理的效率。
[0038]為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更為明顯易懂,下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施例做詳細(xì)的說(shuō)明。
[0039]圖1是本發(fā)明實(shí)施例中的一種日志文件處理方法的流程圖。如圖1所示的日志文件處理方法,可以包括:
[0040]步驟SlOl:建立節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系。
[0041]在具體實(shí)施中,CDN網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)服務(wù)器可以將其緩存的源站的資源文件按照就近原則提供給相應(yīng)的用戶。其中,節(jié)點(diǎn)服務(wù)器在運(yùn)行過(guò)程中會(huì)產(chǎn)生相應(yīng)的日志文件。對(duì)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件的分析,可以獲取相應(yīng)的商業(yè)信息。
[0042]在具體實(shí)施中,處理線程可以對(duì)節(jié)點(diǎn)服務(wù)器的日志文件進(jìn)
當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1