一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法
【專利摘要】本發(fā)明公開(kāi)了一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，實(shí)現(xiàn)面向視頻幀數(shù)據(jù)的實(shí)時(shí)分析計(jì)算，具體步驟包括：接入視頻幀數(shù)據(jù)，將視頻幀數(shù)據(jù)隊(duì)列化；設(shè)定并開(kāi)始選擇周期T；解析已接收的計(jì)算指令，獲取分布式節(jié)點(diǎn)性能參數(shù)和實(shí)時(shí)信息，并反饋管理節(jié)點(diǎn)；創(chuàng)建分布式節(jié)點(diǎn)二維表，實(shí)現(xiàn)節(jié)點(diǎn)優(yōu)選；遍歷分布式節(jié)點(diǎn)二維表，選擇忙閑狀態(tài)標(biāo)識(shí)為“1”且內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)；定量化視頻幀數(shù)據(jù)，映射到已選節(jié)點(diǎn)內(nèi)存,同時(shí)添加工作記錄至工作表；當(dāng)選擇周期T結(jié)束時(shí)，分布式節(jié)點(diǎn)重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表；管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)；判斷視頻幀數(shù)據(jù)存儲(chǔ)操作是否結(jié)束和分布式節(jié)點(diǎn)內(nèi)存是否滿載。
【專利說(shuō)明】
一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于計(jì)算機(jī)科學(xué)存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法。
【背景技術(shù)】
[0002]分布式網(wǎng)絡(luò)存儲(chǔ)技術(shù)就是將數(shù)據(jù)分布存儲(chǔ)至多臺(tái)獨(dú)立的機(jī)器，利用多臺(tái)機(jī)器組成分布式系統(tǒng)，解決了集中式存儲(chǔ)系統(tǒng)單存儲(chǔ)節(jié)點(diǎn)的瓶頸問(wèn)題，提高了系統(tǒng)的可靠性和拓展性。需要說(shuō)明的是本專利應(yīng)用于常規(guī)的局域網(wǎng)，局域網(wǎng)內(nèi)計(jì)算機(jī)的性能配置相同或者差別不大。計(jì)算機(jī)中所有程序的運(yùn)行都是在內(nèi)存中進(jìn)行的，其作用是用于暫時(shí)存放CHJ中的運(yùn)算數(shù)據(jù)，以及與硬盤等外部存儲(chǔ)器交換的數(shù)據(jù)。計(jì)算機(jī)運(yùn)行過(guò)程中，CPU會(huì)把磁盤內(nèi)需要運(yùn)算的數(shù)據(jù)調(diào)到內(nèi)存中進(jìn)行存儲(chǔ)，由于內(nèi)存的讀寫效率遠(yuǎn)高于磁盤讀寫效率，因此，將需要計(jì)算的數(shù)據(jù)存儲(chǔ)到內(nèi)存就可以提尚計(jì)算性能。
[0003]更為重要的是，本專利研究的是實(shí)時(shí)的視頻幀數(shù)據(jù)，面向分析計(jì)算模塊，通過(guò)圖像提取有用的特征信息，而且數(shù)據(jù)量很大，僅僅靠一臺(tái)或是幾臺(tái)計(jì)算機(jī)內(nèi)存存儲(chǔ)是不夠的；另夕卜，實(shí)時(shí)的視頻幀數(shù)據(jù)需要快速的被獲取，存儲(chǔ)在內(nèi)存中，以便更快地被調(diào)用。分布式內(nèi)存結(jié)合了分布式和內(nèi)存的優(yōu)點(diǎn)，以網(wǎng)絡(luò)中的內(nèi)存為存儲(chǔ)介質(zhì)，并通過(guò)分布式存儲(chǔ)管理協(xié)議實(shí)現(xiàn)系統(tǒng)的通信機(jī)制，以保證良好的可控性和動(dòng)態(tài)性。在系統(tǒng)運(yùn)行時(shí)，能夠隨時(shí)加入新的機(jī)器節(jié)點(diǎn)，并使系統(tǒng)的存儲(chǔ)能力保持良好的可擴(kuò)展?fàn)顟B(tài)。同時(shí)，通過(guò)合理的轉(zhuǎn)化存儲(chǔ)介質(zhì)機(jī)制，及時(shí)處理失效的機(jī)器節(jié)點(diǎn)及所存儲(chǔ)的數(shù)據(jù)，保證了整個(gè)系統(tǒng)的高容錯(cuò)性。專利中數(shù)據(jù)是幀為單位，數(shù)據(jù)量龐大，如果多臺(tái)節(jié)點(diǎn)沒(méi)有配置成負(fù)載均衡的集群系統(tǒng)，反而會(huì)制約整個(gè)分布式節(jié)點(diǎn)系統(tǒng)性能的發(fā)揮。負(fù)載均衡技術(shù)是將大量同時(shí)到達(dá)或是短時(shí)間內(nèi)大量到達(dá)的視頻幀數(shù)據(jù)處理后合理的分配給后臺(tái)各個(gè)節(jié)點(diǎn)之上的技術(shù)。并且當(dāng)某臺(tái)分布式節(jié)點(diǎn)由于故障而停止運(yùn)行時(shí)，能夠停止向該分布式節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)，并尋找新的分布式節(jié)點(diǎn)。
[0004]分布式數(shù)據(jù)庫(kù)的分片策略直接影響系統(tǒng)中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的均衡負(fù)載。數(shù)據(jù)的分片策略主要分為水平分片，垂直分片，以及將水平分片和垂直分片相結(jié)合的混合分片。
[0005]目前，分布式內(nèi)存數(shù)據(jù)存儲(chǔ)策略最常用的主要有以下三種:
(I)Round-Robin策略。將進(jìn)入數(shù)據(jù)庫(kù)的數(shù)據(jù)串行化，然后依次輪流分配到各個(gè)節(jié)點(diǎn)上。
對(duì)于某些低謂語(yǔ)查詢十分有效，但是各節(jié)點(diǎn)的負(fù)載能力不同，并且查詢需要所有節(jié)點(diǎn)參與，很大程度上降低了系統(tǒng)性能。該類方法在下列文獻(xiàn)中均有論述:A.B.M.Rubaiyat IslamSadat and paola Lecca.0n the performances in simulat1n of paralleldatabases: an overview on the most recent techniques for query optimizat1n.1nternat1nal Workshop on High Performance Computat1nal SystemsB1logy.2009.蔣占軍，李成.分布式無(wú)線通信系統(tǒng)中并行Round Robin調(diào)度算法研究.新型工業(yè)化，2011。
[0006](2)Range范圍劃分策略。針對(duì)某一屬性的值域進(jìn)行劃分，每一劃分的值域?qū)?yīng)一個(gè)節(jié)點(diǎn)，當(dāng)?shù)竭_(dá)的數(shù)據(jù)落入到哪一個(gè)劃分值域內(nèi)，數(shù)據(jù)就存儲(chǔ)在相應(yīng)的節(jié)點(diǎn)上。對(duì)簡(jiǎn)單查詢有效，且查詢不需要所有節(jié)點(diǎn)參與，但是各個(gè)范圍內(nèi)的數(shù)據(jù)量很可能不同，容易出現(xiàn)數(shù)據(jù)傾斜。該類方法在下列文獻(xiàn)中有論述:A.Silberschatz , H.F.Korrth.Database SystemsConcepts, 4th ed.McGraw-Hi 11, 2002.(3)Hash劃分策略。Hash劃分是針對(duì)數(shù)據(jù)的一個(gè)或者幾個(gè)屬性設(shè)計(jì)一個(gè)Hash函數(shù)，所有到達(dá)系統(tǒng)的數(shù)據(jù)根據(jù)Hash函數(shù)計(jì)算出來(lái)的值來(lái)確定所存儲(chǔ)的節(jié)點(diǎn)?？梢灾С趾?jiǎn)單查詢和復(fù)雜查詢，但在增加節(jié)點(diǎn)時(shí)數(shù)據(jù)需重新分配，從而增加了系統(tǒng)冗余。該類方法在下列文獻(xiàn)中均有論述:Martin ffolstencrooft, Omer F.Rana and J.Huw Davies.DistributedStorage of High-Volume Environment Simulat1n Data: Mantle Modelling.Proceedings of the 2006 IEEE/ffIC/ACM Internat1nal Conference on WebIntelligence.李存琛.海量數(shù)據(jù)分布式存儲(chǔ)技術(shù)的研究和應(yīng)用.計(jì)算機(jī)科學(xué)與技術(shù)，
2012ο

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種解決面向視頻數(shù)據(jù)實(shí)時(shí)分析計(jì)算的視頻幀數(shù)據(jù)高速存儲(chǔ)管理的難題，針對(duì)視頻幀數(shù)據(jù)的特點(diǎn)，提出一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，以解決上述【背景技術(shù)】中提出的問(wèn)題。
[0008]為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，包括有以下步驟，
步驟I，接入視頻幀數(shù)據(jù)，將視頻幀數(shù)據(jù)隊(duì)列化；
步驟2，利用管理節(jié)點(diǎn)監(jiān)測(cè)任務(wù)并發(fā)送計(jì)算指令，設(shè)定并開(kāi)始選擇周期T;
步驟3，解析已接收的計(jì)算指令，獲取分布式節(jié)點(diǎn)性能參數(shù)和實(shí)時(shí)信息，并根據(jù)獲取的數(shù)據(jù)定量化內(nèi)存分配權(quán)值和判斷狀態(tài)，反饋管理節(jié)點(diǎn)；
步驟4，基于反饋結(jié)果，創(chuàng)建分布式節(jié)點(diǎn)二維表，應(yīng)用于后續(xù)節(jié)點(diǎn)優(yōu)選；
步驟5，遍歷分布式節(jié)點(diǎn)二維表，選擇忙閑狀態(tài)標(biāo)識(shí)為“I”且內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)；步驟6，定量化視頻幀數(shù)據(jù)，映射到已選節(jié)點(diǎn)內(nèi)存，同時(shí)創(chuàng)建并添加工作記錄至工作表，節(jié)點(diǎn)任務(wù)結(jié)束則自動(dòng)刪除工作表記錄；
步驟7，當(dāng)選擇周期T結(jié)束時(shí)，分布式節(jié)點(diǎn)重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表;管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)，依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略，同時(shí)開(kāi)始下一周期選擇存儲(chǔ)過(guò)程。
[0009]步驟8，周期性判斷視頻幀數(shù)據(jù)存儲(chǔ)操作是否結(jié)束和全部分布式節(jié)點(diǎn)內(nèi)存是否滿載，若兩者均未完成，則繼續(xù)下一周期，若兩者任一完成，則任務(wù)結(jié)束。
[0010]優(yōu)選的，步驟3中包括以下子步驟:
步驟3.1，接收并解析定量化指令后，分布式節(jié)點(diǎn)獲取自身性能參數(shù)和實(shí)時(shí)信息；
步驟3.2，性能參數(shù)有CPU頻率、內(nèi)存大小，分別用表示;實(shí)時(shí)狀態(tài)信息CPU利用率、內(nèi)存占用率，分別用表示;網(wǎng)絡(luò)帶寬占用率表示；
步驟3.3，根據(jù)步驟3.2中網(wǎng)絡(luò)帶寬占用率大小，定性節(jié)點(diǎn)忙閑狀態(tài)；
步驟3.4，各節(jié)點(diǎn)將步驟2所得到的結(jié)果發(fā)送到分布式管理節(jié)點(diǎn)。
[0011 ]優(yōu)選的，步驟5包括以下子步驟:
步驟5.1，遍歷分布式節(jié)點(diǎn)二維表，選中忙閑狀態(tài)標(biāo)識(shí)為“I”的節(jié)點(diǎn)； 步驟5.2，基于步驟5.1中已選中的節(jié)點(diǎn)選出內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)，獲取其編號(hào)即選出節(jié)點(diǎn)；
步驟5.3，若存在兩個(gè)或多個(gè)內(nèi)存分配權(quán)值相等，則依據(jù)“就近原則”選擇，獲取節(jié)點(diǎn)編號(hào)。
[0012]優(yōu)選的，步驟7中包括以下子步驟:
步驟7.1，選擇周期T結(jié)束，對(duì)分布式節(jié)點(diǎn)并發(fā)處理，重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表內(nèi)對(duì)應(yīng)數(shù)據(jù)；
步驟7.2，管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略。
[0013]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本發(fā)明利用分布式節(jié)點(diǎn)實(shí)時(shí)運(yùn)行參數(shù)和閑忙狀態(tài)作為考量標(biāo)準(zhǔn)，通過(guò)已建立的篩選機(jī)制，從而選擇最優(yōu)節(jié)點(diǎn)，并將視頻幀數(shù)據(jù)存儲(chǔ)到分布式節(jié)點(diǎn)內(nèi)存;通過(guò)周期反饋機(jī)制，實(shí)現(xiàn)分布式節(jié)點(diǎn)的監(jiān)測(cè)和均衡負(fù)載。
[0014]本發(fā)明提出的基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法具有方法簡(jiǎn)潔、執(zhí)行效率高的優(yōu)點(diǎn)，有效地解決在計(jì)算機(jī)上進(jìn)行大量視頻幀數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)均衡的難題，并以此指導(dǎo)任務(wù)的分配，盡量使得節(jié)點(diǎn)各盡其能，充分發(fā)揮集群系統(tǒng)的優(yōu)勢(shì)，保證系統(tǒng)穩(wěn)定性，提高可靠性和可用性。適用于各種大量媒體流數(shù)據(jù)，尤其適用于TB級(jí)以上數(shù)據(jù)規(guī)模的視頻幀的存儲(chǔ)管理。
【附圖說(shuō)明】
[0015]圖1本發(fā)明的總體流程圖；
圖2定量化內(nèi)存分配權(quán)值和判斷狀態(tài)過(guò)程；
圖3分布式節(jié)點(diǎn)二維表；
圖4節(jié)點(diǎn)選擇原理；
圖5工作表工作原理；
圖6均衡策略選擇流程圖。
【具體實(shí)施方式】
[0016]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0017]請(qǐng)參閱圖1，本發(fā)明的基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理的關(guān)鍵技術(shù)主要是分布式節(jié)點(diǎn)選擇和均衡策略。節(jié)點(diǎn)選擇即依據(jù)分布式節(jié)點(diǎn)內(nèi)存分配權(quán)值和閑忙狀態(tài)選擇最優(yōu)節(jié)點(diǎn)；均衡策略，即通過(guò)對(duì)分布式節(jié)點(diǎn)內(nèi)存分配權(quán)值和閑忙狀態(tài)周期性評(píng)估，實(shí)現(xiàn)視頻幀數(shù)據(jù)的均衡負(fù)載。本發(fā)明實(shí)施的實(shí)現(xiàn)過(guò)程采用計(jì)算機(jī)實(shí)現(xiàn)自動(dòng)化處理，包括以下步驟，
步驟I，接入視頻幀數(shù)據(jù)，將視頻幀數(shù)據(jù)隊(duì)列化;視頻幀接入時(shí)是無(wú)序的，以幀為單位，隊(duì)列形式排列后方便后續(xù)存儲(chǔ)。
[0018]步驟2，利用管理節(jié)點(diǎn)監(jiān)測(cè)任務(wù)并發(fā)送定量化指令，設(shè)定并開(kāi)始選擇周期T;管理節(jié)點(diǎn)監(jiān)測(cè)到任務(wù)，發(fā)送指令到分布式節(jié)點(diǎn);在選擇存儲(chǔ)過(guò)程開(kāi)始狀態(tài)，需要約定周期T開(kāi)始。
[0019]步驟3，解析已接收的定量化指令，獲取分布式節(jié)點(diǎn)性能參數(shù)和實(shí)時(shí)信息，并根據(jù)獲取的數(shù)據(jù)定量化內(nèi)存分配權(quán)值和判斷忙閑狀態(tài)，反饋到管理節(jié)點(diǎn)。如圖2所示，具體的步驟如下:
步驟3.1，接收并解析定量化指令后，分布式節(jié)點(diǎn)獲取自身性能參數(shù)和實(shí)時(shí)信息。
[0020]步驟3.2，性能參數(shù)有CPU頻率、內(nèi)存大小，分別用表示;實(shí)時(shí)狀態(tài)信息CPU利用率、內(nèi)存占用率，分別用表示；網(wǎng)絡(luò)帶寬占用率表示。基于以上數(shù)據(jù)，計(jì)算CPU剩余量、內(nèi)存剩余量和節(jié)點(diǎn)剩余處理能力F的初始值通過(guò)德?tīng)柗品ǐ@得，但在實(shí)際工作中，可以根據(jù)系統(tǒng)運(yùn)行自適應(yīng)調(diào)整，以達(dá)到更好的負(fù)載均衡效果。結(jié)合本專利研究方向以及具體工作，確認(rèn)了德?tīng)柗品ńY(jié)果的正確性。
[0021 ]步驟3.3，根據(jù)步驟3.2中網(wǎng)絡(luò)帶寬占用率大小，定性節(jié)點(diǎn)忙閑狀態(tài)。在無(wú)存儲(chǔ)任務(wù)狀態(tài)下即只有少數(shù)程序后臺(tái)運(yùn)行，根據(jù)有關(guān)資料以及實(shí)踐，計(jì)算機(jī)網(wǎng)絡(luò)帶寬占用率一般不超過(guò)10%。因此，對(duì)節(jié)點(diǎn)忙閑狀態(tài)如下:若，則分布式節(jié)點(diǎn)處于“忙”狀態(tài)，標(biāo)識(shí)為“O” ；若，則分布式節(jié)點(diǎn)處于“閑”狀態(tài)，標(biāo)識(shí)為“I”。此標(biāo)準(zhǔn)不是一成不變的，在執(zhí)行任務(wù)過(guò)程中，根據(jù)分布式系統(tǒng)運(yùn)行自適應(yīng)調(diào)整。
[0022]步驟3.4，各節(jié)點(diǎn)將步驟2所得到結(jié)果發(fā)送到分布式管理節(jié)點(diǎn)。
[0023]步驟4，基于反饋結(jié)果，創(chuàng)建以分布式節(jié)點(diǎn)代號(hào)、內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)為記錄的二維表，其形式如圖3所示，以應(yīng)用于后續(xù)節(jié)點(diǎn)優(yōu)選；
步驟5，遍歷分布式節(jié)點(diǎn)二維表，選擇忙閑狀態(tài)標(biāo)識(shí)為“I”(閑狀態(tài))且內(nèi)存分配權(quán)值最大的節(jié)點(diǎn);如圖4所示，具體步驟如下:
步驟5.1，遍歷分布式節(jié)點(diǎn)二維表，選中忙閑狀態(tài)標(biāo)識(shí)為“I”的(“閑”狀態(tài))節(jié)點(diǎn)。
[0024]步驟5.2，基于步驟5.1中已選中的節(jié)點(diǎn)選出內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)，獲取其編號(hào)即選出節(jié)點(diǎn)。
[0025]步驟5.3，若存在兩個(gè)或多個(gè)內(nèi)存分配權(quán)值相等，則依據(jù)“就近原則”選擇，獲取節(jié)點(diǎn)編號(hào)。
[0026]步驟6，定量化視頻幀數(shù)據(jù)，存儲(chǔ)視頻幀數(shù)據(jù)到已選節(jié)點(diǎn)內(nèi)存，同時(shí)創(chuàng)建并添加記錄至工作表，節(jié)點(diǎn)任務(wù)結(jié)束則自動(dòng)刪除工作表記錄。規(guī)定節(jié)點(diǎn)每次只能存儲(chǔ)500幀視頻幀數(shù)據(jù);如圖5所示，存儲(chǔ)任務(wù)開(kāi)始后，分布式管理節(jié)點(diǎn)創(chuàng)建工作表并添加此任務(wù)記錄;節(jié)點(diǎn)任務(wù)結(jié)束后，刪除對(duì)應(yīng)的任務(wù)記錄。
[0027]步驟7，當(dāng)選擇周期T結(jié)束時(shí)，分布式節(jié)點(diǎn)重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表;如圖6所示，管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)，依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略，同時(shí)開(kāi)始下一周期選擇存儲(chǔ)過(guò)程。
[0028]步驟7.1，選擇周期T結(jié)束，對(duì)分布式節(jié)點(diǎn)并發(fā)處理，重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表內(nèi)對(duì)應(yīng)數(shù)據(jù)；
步驟7.2，管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略。若統(tǒng)計(jì)顯示無(wú)節(jié)點(diǎn)，則全部分布式節(jié)點(diǎn)進(jìn)入下一周期選擇存儲(chǔ)過(guò)程;若統(tǒng)計(jì)顯示存在節(jié)點(diǎn)，貝Ij剩余節(jié)點(diǎn)進(jìn)入下一周期選擇存儲(chǔ)過(guò)程;若統(tǒng)計(jì)顯示全部節(jié)點(diǎn)，則視頻幀數(shù)據(jù)隊(duì)列處于“等待狀態(tài)”，直到下周期的選擇存儲(chǔ)過(guò)程。
[0029]步驟8，周期性判斷視頻幀數(shù)據(jù)存儲(chǔ)操作是否結(jié)束和全部分布式節(jié)點(diǎn)內(nèi)存是否滿載。若兩者均未完成，則繼續(xù)下一周期，若兩者任一完成，則任務(wù)結(jié)束。
[0030]盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。
【主權(quán)項(xiàng)】
1.一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，其特征在于:包括有以下步驟: 步驟I，接入視頻幀數(shù)據(jù)，將視頻幀數(shù)據(jù)隊(duì)列化； 步驟2，利用管理節(jié)點(diǎn)監(jiān)測(cè)任務(wù)并發(fā)送計(jì)算指令，設(shè)定并開(kāi)始選擇周期T; 步驟3，解析已接收的計(jì)算指令，獲取分布式節(jié)點(diǎn)性能參數(shù)和實(shí)時(shí)信息，并根據(jù)獲取的數(shù)據(jù)定量化內(nèi)存分配權(quán)值和判斷狀態(tài)，反饋管理節(jié)點(diǎn)； 步驟4，基于反饋結(jié)果，創(chuàng)建分布式節(jié)點(diǎn)二維表，應(yīng)用于后續(xù)節(jié)點(diǎn)優(yōu)選； 步驟5，遍歷分布式節(jié)點(diǎn)二維表，選擇忙閑狀態(tài)標(biāo)識(shí)為“I”且內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)；步驟6，定量化視頻幀數(shù)據(jù)，映射到已選節(jié)點(diǎn)內(nèi)存，同時(shí)創(chuàng)建并添加工作記錄至工作表，節(jié)點(diǎn)任務(wù)結(jié)束則自動(dòng)刪除工作表記錄； 步驟7，當(dāng)選擇周期T結(jié)束時(shí)，分布式節(jié)點(diǎn)重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表;管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)，依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略，同時(shí)開(kāi)始下一周期選擇存儲(chǔ)過(guò)程； 步驟8，周期性判斷視頻幀數(shù)據(jù)存儲(chǔ)操作是否結(jié)束和全部分布式節(jié)點(diǎn)內(nèi)存是否滿載，若兩者均未完成，則繼續(xù)下一周期，若兩者任一完成，則任務(wù)結(jié)束。2.根據(jù)權(quán)利要求1所述的一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，其特征在于:所述步驟3中包括以下子步驟: 步驟3.1，接收并解析定量化指令后，分布式節(jié)點(diǎn)獲取自身性能參數(shù)和實(shí)時(shí)信息； 步驟3.2，性能參數(shù)有CPU頻率、內(nèi)存大小，分別用表示;實(shí)時(shí)狀態(tài)信息CPU利用率、內(nèi)存占用率，分別用表示;網(wǎng)絡(luò)帶寬占用率表示； 步驟3.3，根據(jù)步驟3.2中網(wǎng)絡(luò)帶寬占用率大小，定性節(jié)點(diǎn)忙閑狀態(tài)； 步驟3.4，各節(jié)點(diǎn)將步驟2所得到的結(jié)果發(fā)送到分布式管理節(jié)點(diǎn)。3.根據(jù)權(quán)利要求1所述的一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，其特征在于:所述步驟5包括以下子步驟: 步驟5.1，遍歷分布式節(jié)點(diǎn)二維表，選中忙閑狀態(tài)標(biāo)識(shí)為“I”的節(jié)點(diǎn)； 步驟5.2，基于步驟5.1中已選中的節(jié)點(diǎn)選出內(nèi)存分配權(quán)值最大的節(jié)點(diǎn)，獲取其編號(hào)即選出節(jié)點(diǎn)； 步驟5.3，若存在兩個(gè)或多個(gè)內(nèi)存分配權(quán)值相等，則依據(jù)“就近原則”選擇，獲取節(jié)點(diǎn)編號(hào)。4.根據(jù)權(quán)利要求1所述的一種基于分布式內(nèi)存的視頻幀數(shù)據(jù)動(dòng)態(tài)均衡存儲(chǔ)管理方法，其特征在于:所述步驟7中包括以下子步驟: 步驟7.1，選擇周期T結(jié)束，對(duì)分布式節(jié)點(diǎn)并發(fā)處理，重新定量化和反饋內(nèi)存分配權(quán)值和忙閑狀態(tài)標(biāo)識(shí)并更新二維表內(nèi)對(duì)應(yīng)數(shù)據(jù)； 步驟7.2，管理節(jié)點(diǎn)統(tǒng)計(jì)工作表內(nèi)任務(wù)節(jié)點(diǎn)依據(jù)統(tǒng)計(jì)節(jié)點(diǎn)情況執(zhí)行負(fù)載均衡策略。
【文檔編號(hào)】H04L29/08GK105975345SQ201610336195
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年5月20日
【發(fā)明人】朱慶
【申請(qǐng)人】江蘇得得空間信息科技有限公司, 南通智慧建筑產(chǎn)業(yè)研究院有限公司