本發(fā)明涉及計(jì)算機(jī),尤其涉及一種基于多裝置的并行數(shù)據(jù)處理方法。
背景技術(shù):
1、在當(dāng)今的科技背景下,隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的快速發(fā)展,數(shù)據(jù)處理的需求呈現(xiàn)出爆炸式增長(zhǎng)。大量的計(jì)算任務(wù)要求更高的處理速度和更低的延遲,尤其是在復(fù)雜的并行計(jì)算環(huán)境中,如何高效地利用多裝置、多設(shè)備協(xié)同工作,成為了提升系統(tǒng)整體性能的關(guān)鍵挑戰(zhàn)。多裝置并行數(shù)據(jù)處理已經(jīng)成為各大技術(shù)領(lǐng)域的重要研究方向之一,廣泛應(yīng)用于云計(jì)算、數(shù)據(jù)中心、大規(guī)模機(jī)器學(xué)習(xí)訓(xùn)練、實(shí)時(shí)數(shù)據(jù)分析等場(chǎng)景中。這些場(chǎng)景中,往往涉及到海量數(shù)據(jù)的處理與分析,單一設(shè)備的處理能力已經(jīng)無(wú)法滿足如此巨大的數(shù)據(jù)需求。
2、為了提高系統(tǒng)的處理能力,利用多個(gè)設(shè)備協(xié)同并行處理任務(wù)成為了主流趨勢(shì)。然而,多裝置并行處理環(huán)境的復(fù)雜性也相應(yīng)增加。不同設(shè)備的處理能力、網(wǎng)絡(luò)帶寬、存儲(chǔ)能力和實(shí)時(shí)負(fù)載狀態(tài)各不相同,如何合理地在多個(gè)異構(gòu)設(shè)備中進(jìn)行任務(wù)的動(dòng)態(tài)分配,成為了并行計(jì)算中的重要課題。此外,在這些多裝置環(huán)境中,不同設(shè)備之間的計(jì)算任務(wù)可能存在依賴關(guān)系,設(shè)備間的數(shù)據(jù)傳輸和同步也變得至關(guān)重要,保證數(shù)據(jù)的一致性、及時(shí)性和高效傳輸是實(shí)現(xiàn)并行處理的關(guān)鍵。同時(shí),隨著任務(wù)處理的進(jìn)行,設(shè)備的負(fù)載和性能會(huì)發(fā)生動(dòng)態(tài)變化,這使得需要更加靈活和自適應(yīng)的機(jī)制來(lái)調(diào)整任務(wù)分配和負(fù)載均衡,確保整個(gè)系統(tǒng)能夠以最優(yōu)狀態(tài)持續(xù)運(yùn)行。
3、綜上,傳統(tǒng)的數(shù)據(jù)處理方法存在如下技術(shù)問(wèn)題:任務(wù)分配效率較低,未能充分考慮設(shè)備間性能的差異性、網(wǎng)絡(luò)延遲和存儲(chǔ)能力的不同,導(dǎo)致任務(wù)長(zhǎng)期集中在部分高性能設(shè)備上,容易造成這些設(shè)備負(fù)載過(guò)重,導(dǎo)致計(jì)算資源浪費(fèi)和系統(tǒng)整體效率的低下;忽略了任務(wù)復(fù)雜度隨著時(shí)間的變化以及設(shè)備性能波動(dòng)的影響,導(dǎo)致任務(wù)處理時(shí)間延長(zhǎng),降低了整體的計(jì)算資源利用效率;未能根據(jù)設(shè)備間的帶寬、網(wǎng)絡(luò)延遲以及任務(wù)的依賴性合理調(diào)整數(shù)據(jù)同步速率,容易導(dǎo)致數(shù)據(jù)傳輸瓶頸和網(wǎng)絡(luò)擁堵,嚴(yán)重影響系統(tǒng)的并行處理性能。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提供一種基于多裝置的并行數(shù)據(jù)處理方法,以解決傳統(tǒng)的數(shù)據(jù)處理方法中任務(wù)分配效率較低,未能充分考慮設(shè)備間性能的差異性、網(wǎng)絡(luò)延遲和存儲(chǔ)能力的不同,導(dǎo)致任務(wù)長(zhǎng)期集中在部分高性能設(shè)備上,容易造成這些設(shè)備負(fù)載過(guò)重,導(dǎo)致計(jì)算資源浪費(fèi)和系統(tǒng)整體效率的低下;忽略了任務(wù)復(fù)雜度隨著時(shí)間的變化以及設(shè)備性能波動(dòng)的影響,導(dǎo)致任務(wù)處理時(shí)間延長(zhǎng),降低了整體的計(jì)算資源利用效率;未能根據(jù)設(shè)備間的帶寬、網(wǎng)絡(luò)延遲以及任務(wù)的依賴性合理調(diào)整數(shù)據(jù)同步速率,容易導(dǎo)致數(shù)據(jù)傳輸瓶頸和網(wǎng)絡(luò)擁堵,嚴(yán)重影響系統(tǒng)的并行處理性能的問(wèn)題。
2、本發(fā)明的一種基于多裝置的并行數(shù)據(jù)處理方法,具體包括以下技術(shù)方案:
3、一種基于多裝置的并行數(shù)據(jù)處理方法,包括以下步驟:
4、s1、計(jì)算設(shè)備的性能矩陣和任務(wù)的復(fù)雜度矩陣,將得到的任務(wù)的復(fù)雜度矩陣與設(shè)備的性能矩陣相結(jié)合,生成動(dòng)態(tài)任務(wù)映射矩陣;基于動(dòng)態(tài)任務(wù)映射矩陣,進(jìn)行動(dòng)態(tài)任務(wù)分配;
5、s2、任務(wù)分配完成后,計(jì)算設(shè)備與任務(wù)的數(shù)據(jù)依賴性;基于設(shè)備與任務(wù)的數(shù)據(jù)依賴性,進(jìn)行設(shè)備間的數(shù)據(jù)同步,得到設(shè)備間的數(shù)據(jù)同步速率;基于動(dòng)態(tài)任務(wù)映射矩陣和設(shè)備間的數(shù)據(jù)同步速率,通過(guò)分布式自適應(yīng)迭代優(yōu)化,生成全局最優(yōu)任務(wù)分配。
6、優(yōu)選的,所述s1,具體包括:
7、引入設(shè)備的處理器性能、設(shè)備當(dāng)前的負(fù)載、設(shè)備的存儲(chǔ)能力以及設(shè)備的網(wǎng)絡(luò)延遲參數(shù),計(jì)算設(shè)備在不同時(shí)間的處理能力,得到設(shè)備的性能矩陣。
8、優(yōu)選的,所述s1,具體包括:
9、引入任務(wù)的歷史執(zhí)行負(fù)載和任務(wù)的依賴性參數(shù),對(duì)任務(wù)的復(fù)雜性進(jìn)行量化,得到任務(wù)的復(fù)雜度矩陣。
10、優(yōu)選的,所述s1,具體包括:
11、基于任務(wù)的復(fù)雜度矩陣和設(shè)備的性能矩陣,生成動(dòng)態(tài)任務(wù)映射矩陣,具體公式如下:
12、,
13、其中,表示第個(gè)任務(wù)在時(shí)刻被分配到第個(gè)設(shè)備的動(dòng)態(tài)任務(wù)映射矩陣;是第個(gè)設(shè)備的能量消耗系數(shù);是在時(shí)刻第個(gè)設(shè)備的性能矩陣;表示第個(gè)任務(wù)在時(shí)刻的復(fù)雜度矩陣。
14、優(yōu)選的,所述s2,具體包括:
15、通過(guò)數(shù)據(jù)依賴性模型,計(jì)算得到設(shè)備與任務(wù)的數(shù)據(jù)依賴性,具體公式如下:
16、,
17、其中,表示第個(gè)任務(wù)和第個(gè)設(shè)備的數(shù)據(jù)依賴性;表示第個(gè)任務(wù)的存儲(chǔ)需求;表示第個(gè)設(shè)備的存儲(chǔ)能力;表示設(shè)備與任務(wù)的數(shù)據(jù)依賴性調(diào)節(jié)參數(shù);表示數(shù)據(jù)傳輸速度。
18、優(yōu)選的,所述s2,具體包括:
19、基于設(shè)備與任務(wù)的數(shù)據(jù)依賴性,通過(guò)數(shù)據(jù)同步函數(shù),得到設(shè)備間的數(shù)據(jù)同步速率;在數(shù)據(jù)同步函數(shù)中引入設(shè)備的網(wǎng)絡(luò)延遲、設(shè)備的帶寬,自動(dòng)調(diào)整設(shè)備間的數(shù)據(jù)同步速率。
20、優(yōu)選的,所述s2,具體包括:
21、在分布式自適應(yīng)迭代優(yōu)化的實(shí)現(xiàn)過(guò)程中,基于動(dòng)態(tài)任務(wù)映射矩陣和設(shè)備間的數(shù)據(jù)同步速率,引入設(shè)備的任務(wù)權(quán)重,計(jì)算目標(biāo)損耗函數(shù),對(duì)當(dāng)前任務(wù)分配的合理性進(jìn)行評(píng)估。
22、優(yōu)選的,所述s2,具體包括:
23、通過(guò)梯度下降法,動(dòng)態(tài)調(diào)整每個(gè)設(shè)備的任務(wù)權(quán)重,對(duì)目標(biāo)損耗函數(shù)進(jìn)行優(yōu)化;根據(jù)每個(gè)設(shè)備更新后的任務(wù)權(quán)重和動(dòng)態(tài)任務(wù)映射矩陣將下一批任務(wù)分配到不同的設(shè)備。
24、本發(fā)明的技術(shù)方案的有益效果是:
25、1、通過(guò)計(jì)算設(shè)備的性能矩陣和任務(wù)的復(fù)雜度矩陣,合理分配任務(wù)到多個(gè)異構(gòu)設(shè)備上,實(shí)現(xiàn)了動(dòng)態(tài)任務(wù)分配;引入正弦函數(shù),模擬設(shè)備性能的時(shí)間周期性波動(dòng);通過(guò)引入的動(dòng)態(tài)任務(wù)映射矩陣,可以根據(jù)設(shè)備的性能和任務(wù)的復(fù)雜度,靈活分配任務(wù),確保每個(gè)設(shè)備在不同時(shí)間段內(nèi)能夠動(dòng)態(tài)調(diào)整處理任務(wù)的優(yōu)先級(jí),避免了任務(wù)長(zhǎng)期集中在某些設(shè)備上的問(wèn)題,平衡了設(shè)備的負(fù)載,有效提高了多設(shè)備環(huán)境下的任務(wù)分配效率。
26、2、通過(guò)對(duì)設(shè)備的實(shí)際任務(wù)負(fù)載和任務(wù)的復(fù)雜度進(jìn)行精細(xì)計(jì)算,動(dòng)態(tài)調(diào)整設(shè)備的任務(wù)權(quán)重和任務(wù)分配策略,使得復(fù)雜的任務(wù)能夠分配到性能更強(qiáng)的設(shè)備處理,從而最大化利用計(jì)算資源;此外,任務(wù)復(fù)雜度隨時(shí)間的衰減機(jī)制使得部分已處理過(guò)的任務(wù)能夠逐步分配到性能較低的設(shè)備,進(jìn)一步優(yōu)化了計(jì)算資源的整體利用率。
27、3、通過(guò)引入數(shù)據(jù)依賴性模型和數(shù)據(jù)同步速率函數(shù),確保設(shè)備之間的數(shù)據(jù)一致性能夠得到有效維護(hù);數(shù)據(jù)依賴性模型能夠動(dòng)態(tài)識(shí)別設(shè)備與任務(wù)之間的數(shù)據(jù)傳輸需求,設(shè)備之間的數(shù)據(jù)同步速率依據(jù)設(shè)備的帶寬、網(wǎng)絡(luò)延遲等實(shí)際情況進(jìn)行自動(dòng)調(diào)整,避免了網(wǎng)絡(luò)擁堵和數(shù)據(jù)沖突的發(fā)生;同時(shí),通過(guò)對(duì)設(shè)備間網(wǎng)絡(luò)延遲的有效控制,在高數(shù)據(jù)依賴性情況下維持高效的數(shù)據(jù)同步,確保并行任務(wù)之間的數(shù)據(jù)共享及時(shí)、準(zhǔn)確。
28、4、提出了分布式自適應(yīng)迭代優(yōu)化方法,通過(guò)計(jì)算目標(biāo)損耗函數(shù)對(duì)當(dāng)前任務(wù)分配的合理性進(jìn)行評(píng)估;通過(guò)梯度下降法動(dòng)態(tài)調(diào)整設(shè)備的任務(wù)權(quán)重,根據(jù)設(shè)備的實(shí)際任務(wù)負(fù)載、數(shù)據(jù)同步速率以及設(shè)備的負(fù)載調(diào)整速率進(jìn)行優(yōu)化,使得每個(gè)設(shè)備在處理任務(wù)時(shí)負(fù)載均衡,根據(jù)實(shí)際運(yùn)行情況不斷迭代優(yōu)化任務(wù)分配,確保在負(fù)載不均或設(shè)備狀態(tài)發(fā)生變化時(shí)能夠自適應(yīng)調(diào)整任務(wù)負(fù)載。
1.一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,所述s1,具體包括:
3.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,在所述s1中,還包括:
4.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,在所述s1中,還包括:
5.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,所述s2,具體包括:
6.根據(jù)權(quán)利要求5所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,在所述s2中,還包括:
7.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,在所述s2中,還包括:
8.根據(jù)權(quán)利要求7所述的一種基于多裝置的并行數(shù)據(jù)處理方法,其特征在于,在所述s2中,還包括: